情報理論演習 No.7

情報理論演習 No.7
1. 3つのボールが袋の中に入っており,それぞれに 1,2,3 と数字が書かれている.袋から
ボールを順に取り出し 3 桁の数を次のように作ることにする.
• 百の位の数を最初に取り出したボールに書かれている数とし,X で表す.
• 十の位の数を二番目に取り出したボールに書かれている数とし,Y で表す.
• 一の位の数を三番目に取り出したボールに書かれている数とし,Z で表す.
このとき次の問いに答えよ.
(1) エントロピー S(X × Y × Z) を求めよ.
(2) エントロピー S(X) を求めよ.
(3) 条件付エントロピー S(Y |X) を求めよ.
(4) 条件付エントロピー S(Z|X × Y ) を求めよ.
(5) S(X × Y × Z) = S(X) + S(Y |X) + S(Z|X × Y ) が成り立つことを確認せよ.
(6) 条件付エントロピー S(Y × Z|X) を求めよ.