⌋ ⌉ ⌊ ⌈ = 2 1 2 1 x x X ⌋ ⌉ ⌊ ⌈ = 2 1 2 1 y y Y ⌋ ⌉ ⌊ ⌈ = 6 1 3 1 3 1

情報理論第 5 回
結合エントロピーと相互情報量
2014/10/28

条件付きエントロピー(前回の復習)

相関のある 2 つの事象系で、一方の事象系の結果が確定しているときのもう一方の事象系のエン
トロピー


H Y | X  ： X の結果が確定しているときの Y のエントロピー
条件付きエントロピーは元のエントロピーよりも小さい

H Y | X   H Y 

「 X についての情報がわかっているので、 Y についての不確定さが減った」と解釈できる
 結合エントロピー


結合エントロピー：結合事象系のエントロピー

元の事象系に相関がない場合：それぞれの事象系のエントロピーを足したものと同じ

元の事象系に相関がある場合：それぞれの事象系のエントロピーを足したものより小さい
例 1 (普通のコインを 2 回投げる)

事象系 X ：1 回目の裏表を調べる( x表：表, x裏：裏)

事象系 Y ：2 回目の裏表を調べる( y 表：表, y 裏：裏)

結合事象系 XY ： X , Y の組み合わせでできる 4 つの事象
x裏 
x
X  表

1 2 1 2 




y裏 
y
Y  表

1 2 1 2 
x , y
XY   表表
 14
x表 , y 裏
14
x裏 , y 表
14
x裏 , y 裏 
1 4 
x大 , y 偶
13
x大 , y 奇 
1 6 
事象系 X のエントロピー： H  X    1 2 log1 2   2  1
事象系 Y のエントロピー： H Y    1 2 log1 2   2  1
結合事象系 XY のエントロピー： H  XY    1 4 log1 4   4  2
⇒ H  XY   H  X   H Y 
例 2 (普通のサイコロを 1 回振る)

事象系 X ：目の大小を調べる( x小：1～3, x大：4～6)

事象系 Y ：目の偶奇を調べる( y 偶：偶数, y 奇：奇数)

結合事象系 XY ： X , Y の組み合わせでできる 4 つの事象
x大 
x
X  小

1 2 1 2 



y奇 
y
Y  偶

1 2 1 2 
x , y
XY   小偶
 16
x小 , y 奇
13
事象系 X のエントロピー： H  X    1 2 log1 2   2  1
事象系 Y のエントロピー： H Y    1 2 log1 2   2  1
結合事象系 XY のエントロピー： H  XY    1 6 log1 6   2  1 3 log1 3  2  1.91
1
情報理論第 5 回
結合エントロピーと相互情報量
2014/10/28
⇒ H  XY   H  X   H Y 
練習問題 1
次のような事象系 X , Y について、それぞれのエントロピーとそれらの結合エントロピーを求めよ。
1～4 の数字が書かれたカードから 2 枚引く。
事象系 X ：数字の和が 5 以上かどうかを調べる( x大：5 以上, x小：5 未満)
事象系 Y ：数字の和の偶奇を調べる( y偶：偶数, y奇：奇数)
x
X  大

x小 


x , y
XY   大偶

y
Y  偶

x大 , y 奇
y奇 


x小 , y 偶
x小 , y 奇 


 相互情報量

相互情報量：相関のある 2 つの事象系で、一方の事象系の情報を知ることによって得られるも
う一方の事象系の情報量


I Y , X  ： X の結果が確定することで得られる Y に関する情報量
相互情報量は、通常のエントロピーと条件付きエントロピーを使って次の様に書ける

I Y , X   H Y   H Y | X 
練習問題 2
練習問題 1 の例で H Y  , H Y | X  を求め、相互情報量 I Y , X   H Y   H Y | X  を計算せよ。


(まず H Y  を計算する。次に X の結果が x大のとき、x小のときのエントロピー H Y | x大 , H Y | x小  を
  

計算して、それらから H Y | X   p x大 H Y | x大  px小 H Y | x小  を求める)
(途中の計算では log 3 を具体的な数値にしないでそのまま残し、最後の I Y , X  の値を求めるときに 1.58
に置き換える)
y 奇 x大    y 偶 x大  y 奇 x大 
 y 偶 x大 
Y 

 ( X の結果が x大のとき)




|
|
p
y
x
p
y
x
1
4
3
4
偶
大
大
奇


 
y 奇 x小    y 偶 x小  y 奇 x小 
 y 偶 x小 
( X の結果が x小のとき)
Y 

1 2 
 p  y 偶 | x小  p  y 奇 | x小   1 2
2
情報理論第 5 回
結合エントロピーと相互情報量
2014/10/28
※ 条件付きエントロピー、結合エントロピー、相互情報量の関係
X (左), Y (右)に相関があるときは…
H  X  ： X についての不確定さ
H Y  ： Y についての不確定さ
H  XY  ： X , Y 両方についての不確定さ
H  X | Y  ： Y について知っているときの
X についての不確定さ
H Y | X  ： X について知っているときの
Y についての不確定さ
I Y , X  ： X を知ることで得られる Y についての情報量
I  X , Y  ： Y を知ることで得られる X についての情報量
この図から明らかにわかること
I Y , X   H Y   H Y | X 
I X ,Y   H X   H X | Y 
I Y , X   I  X , Y 
I Y , X   H  X   H Y   H  XY 
相関( H  X  , H Y  の重なり)がない時は
3
情報理論第 5 回
結合エントロピーと相互情報量
I Y , X   I  X , Y   0
2014/10/28
H  XY   H  X   H Y 
練習問題 3
次の事象系 X , Y について、相互情報量 I Y , X  を求めよ。
1～5 の数字が書かれたカードから 2 枚引く。
事象系 X ：1 と 2, 2 と 3 のように数字が連続しているかどうかを調べる( x連：連続, x不：不連続)
事象系 Y ：数字の和の大小を調べる( y 小：8 未満, y大：8 以上)
計算するには
1.
2.
3.
H  X  , H  X | Y  から求める
H Y  , H Y | X  から求める
H  X  , H Y  , H  XY  から求める
の方法があるが、1, 2 では条件付きエントロピーを求める手間が結構多いので 3 が一番楽。
(時間に余裕があったら複数の方法を試して一致することを確認してみるといいかもしれない)
※ 次回 11/4(火)に小テストを行う。

範囲：条件付きエントロピー、結合エントロピー、相互情報量(第 3～5 回の内容)

問題：これらの量の定義、値の計算、量の間の関係
4

Download Report