YXI, XYI (C) XY H YXI| YxH|1 | xYH XYH | YXH, YXH| XYH , | xYH

情報理論小テスト(2)
2014/11/4
1.
相関のある 2 つの事象系 X , Y があるとき、以下の説明にあうものを(A)～(J)から選び、記号を書け。
(1) X の結果が x1 であることがわかっているときの Y のエントロピー
(2) X の結果がわかっているときの Y のエントロピー
(3) Y の結果がわかっているときの X のエントロピー
(4) X , Y の結合エントロピー
(5) X , Y の相互情報量
選択肢
(A) I  X , Y  (B) I  XY  (C) H  XY  (D) I  X | Y  (E) H  x1 | Y  (F) H Y | x1  (G) H Y | X 
(H) H  X , Y  (I) H  X | Y  (J) H Y , X 
(1) (F) H Y | x1 
(2) (G) H Y | X 
(3) (I) H  X | Y 
(4) (C) H  XY 
(5) (A) I  X , Y 
※ 「|」の右側が「すでに分かっているもの」
※ 結合エントロピーは結合事象系 XY のエントロピー
※ 相互情報量を書くときはコンマを忘れずに
情報理論小テスト(2)
2014/11/4
2.
次の 8 種類のカードから無作為に 1 枚引いたとき、以下の 2 つの事象系を考える。
事象系 X ：マークの形を調べる( x丸：丸印、 x星：星印)
事象系 Y ：マークの色を調べる( y白 :白、 y黒 :黒)
ここで以下の事象系を行列の形で記述せよ。
★
★
☆
●
●
○
○
○
(1) Y
( X の結果が未確定であるものとする)
(2) X
( Y の結果が未確定であるものとする)
(3) Y x丸
( X の結果が x丸であることがわかっている)
(4)
( Y の結果が y黒であることがわかっている)
 
X  y黒 
(5) X と Y の結合事象系 XY
(1) Y   1
 y白
y黒 
1 

2 
 x丸
(2) X   5

8
x星 
3

8

2
 y白 x丸  y黒 x丸 
 3


Y
x

(3)
2 
丸


5 
 5
 x丸  y黒  x星  y黒 
(4) X  y黒    1
1 


2 
 2
 x丸 , y白
 3
XY

(5)

 8
x丸 , y黒
1
4
x星 , y白
1
8
x星 , y黒 
1 

4 
※ (1), (2)を考えるときは 8 枚中何枚がそれにあたるかを考える。
※ (3)では丸のカードだけを考えればいいので、5 枚中 2 枚が黒、3 枚が白
※ (4)では黒のカードだけを考えればいいので、4 枚中 2 枚が丸、2 枚が星
※ (5)ではそれぞれの組合わせで 4 つの事象について考える
情報理論小テスト(2)
2014/11/4
3.
事象系 X , Y について次のことが分かっている場合に、以下の量を求めよ。
H  X   3 .2
H Y   1.5
H  X | Y   2 .8
(1) H  XY 
(2) H Y | X 
(3) I  X , Y 
(1) 4.3
(2) 1.1
(3) 0.4
※ 最初に相互情報量 I  X , Y  を求めれば楽。 I  X , Y   H  X   H  X | Y   3.2  2.8  0.4 →(3)
※ I  X , Y   I Y , X   H Y   H Y | X   0.4 なので、 H Y | X   H Y   0.4  1.5  0.4  1.1 →(2)
※ H  XY  の求め方はいろいろある。
方法 1 (「 X について知らないこと」+「 X について知っているときに Y について知らないこと」)
H  X   H Y | X   3.2  1.1  4.3
方法 2 (「 Y について知らないこと」+「 Y について知っているときに X について知らないこと」)
H Y   H  X | Y   1.5  2.8  4.3
方法 3(「 X について知らないこと」+「 Y について知らないこと」－「重複部分」)
H  X   H Y   I  X , Y   3.2  1.5  0.4  4.3

Download Report