情報理論演習 No.7
1. ３つのボールが袋の中に入っており，それぞれに 1,2,3 と数字が書かれている．袋から
ボールを順に取り出し 3 桁の数を次のように作ることにする．
• 百の位の数を最初に取り出したボールに書かれている数とし，X で表す．
• 十の位の数を二番目に取り出したボールに書かれている数とし，Y で表す．
• 一の位の数を三番目に取り出したボールに書かれている数とし，Z で表す．
このとき次の問いに答えよ．
(1) エントロピー S(X × Y × Z) を求めよ．
(2) エントロピー S(X) を求めよ．
(3) 条件付エントロピー S(Y |X) を求めよ．
(4) 条件付エントロピー S(Z|X × Y ) を求めよ．
(5) S(X × Y × Z) = S(X) + S(Y |X) + S(Z|X × Y ) が成り立つことを確認せよ．
(6) 条件付エントロピー S(Y × Z|X) を求めよ．