確率と情報およびエントロピー

確率と情報およびエントロピー
事象 E = {E1 , E2 , · · · , En } の確率を P (Ei ) と表す。また別の確率事象 F = {F1 , F2 , · · · , Fm } が
あるとき、両者の結合確率を P (Ei ∩ Fj ) と表すとき、条件付確率は P (Fj |Ei ) = P (Fj ∩ Ei )/P (Ei )
で与えられる。これらの確率については次の関係がある。
n
∑
m
∑
P (Ei ∩ Fj ) = P (Fj )
i=1
n ∑
m
∑
P (Ei ∩ Fj ) = 1
i=1 j=1
P (Ei ∩ Fj ) = P (Ei )
j=1
m
∑
n
∑
j=1
i=1
P (Fj |Ei ) = 1
n
∑
P (Ei ) =
i=1
m
∑
P (Fj ) = 1
j=1
(1)
P (Ei |Fj ) = 1
一方，事象 Ei 及び Ei の情報量は I(Ei ) = − log2 P (Ei )，I(Fj ) = − log2 P (Fj ),
事象 E 及び F のエントロピーは
∑
∑
H(E) = − ni=1 P (Ei ) log2 P (Ei ), H(F ) = − m
j=1 P (Fj ) log2 P (Fj ),
∑n ∑m
結合エントロピーは H(E, F ) = − i=1 j=1 P (Ei ) ∩ P (Fj ) log2 P (Ei ) ∩ P (Fj )、
∑n
∑m
条件付エントロピーは H(F |E) = − i=1 P (Ei ) j=1 P (Fj |Ei ) log2 P (Fj |Ei ),
∑
∑n
H(E|F ) = − m
j=1 P (Fj )
i=1 P (Ei |Fj ) log2 P (Ei |Fj ) であり、単位は [bit] である。
演習問題
ある大学の学生の出身別および男女別の割合は表のように毎年一定とする。このとき各問いに
答えよ。ただし、log2 x = log10 x/ log10 2 の関係式を用いて、log10 2 ≃ 0.3 、log10 3 ≃ 0.477 、
log10 7 ≃ 0.845 とせよ。
E1 (男) E2 (女) F1 (九州)
F2 (その他)
60%
10%
10%
20%
問題１確率と情報量
1. 確率 P (Ei ) および P (Fj ) を求めよ。
2. 結合確率 P (Ei ∩ Fj ) を求めよ。
3. 条件付確率 P (Ei |Fj ) および P (Fj |Ei ) を求めよ。
4. 情報量 I(Ei ) = − log2 pi および I(Fj ) = − log2 pj を求めよ。
∑
∑
5. エントロピー H(E) = − ni=1 P (Ei ) log2 P (Ei ) および H(F ) = − nj=1 P (Fj ) log2 P (Fj )
を求めよ。
問題 2 情報のエントロピー
∑ ∑
1. 結合エントロピー H(E, F ) = H(F , E) = − ni=1 m
j=1 P (Ei ) ∩ P (Fj ) log2 P (Ei ) ∩ P (Fj ) を
求めよ。
∑
∑
2. 条件付エントロピー H(F |E) = − ni=1 P (Ei ) m
j=1 P (Fj |Ei ) log2 P (Fj |Ei ) を求めよ。
∑n
∑
3. 条件付エントロピー H(E|F ) = − m
i=1 P (Ei |Fj ) log2 P (Ei |Fj ) を求めよ。
j=1 P (Fj )
演習名 (確率と情報量)
学籍番号（
）氏名（
）
ある大学の学生の出身別および男女別の割合は表のように毎年一定とする。このとき各問いに
答えよ。ただし、log2 x = log10 x/ log10 2 の関係式を用いて、log10 2 ≃ 0.3 、log10 3 ≃ 0.477 、
log10 7 ≃ 0.845 とせよ。
E1 (男) E2 (女) F1 (九州)
F2 (その他)
60%
10%
10%
20%
1. 確率 P (Ei ) および P (Fj ) を求めよ。
2. 結合確率 P (Ei ∩ Fj ) を求めよ。
3. 条件付確率 P (Ei |Fj ) および P (Fj |Ei ) を求めよ。
4. 情報量 I(Ei ) = − log2 P (Ei ) を求めよ。
5. 情報量 I(Fj ) = − log2 P (Fj ) を求めよ。
6. エントロピー H(E) = −
7. エントロピー H(F ) = −
∑n
i=1
∑m
j=1
P (Ei ) log2 P (Ei ) を求めよ。
P (Fj ) log2 P (Fj ) を求めよ。
演習名 (情報のエントロピー)
学籍番号（
）氏名（
）
ある大学の学生の出身別および男女別の割合は表のように毎年一定とする。このとき各問いに
答えよ。ただし、log2 x = log10 x/ log10 2 の関係式を用いて、log10 2 ≃ 0.3 、log10 3 ≃ 0.477 、
log10 7 ≃ 0.845 とせよ。
E1 (男) E2 (女) F1 (九州)
F2 (その他)
60%
10%
10%
20%
1. 結合エントロピー H(E, F ) = H(F , E) = −
求めよ。
2. 条件付エントロピー H(F |E) = −
3. 条件付エントロピー H(E|F ) = −
∑n
i=1
∑m
j=1
∑n ∑m
P (Ei )
P (Fj )
i=1
∑m
j=1
∑n
i=1
j=1
P (Ei ) ∩ P (Fj ) log2 P (Ei ) ∩ P (Fj ) を
P (Fj |Ei ) log2 P (Fj |Ei ) を求めよ。
P (Ei |Fj ) log2 P (Ei |Fj ) を求めよ。
演習解答例 (確率と情報量)
1. 確率 P (Ei ) および P (Fj ) を求めよ。
P (E1 ) = 0.6 + 0.1 = 0.7, P (E2 ) = 0.1 + 0.2 = 0.3, P (F1 ) = 0.7, P (F2 ) = 0.3
2. 結合確率 P (Ei ∩ Fj ) を求めよ。
P (E1 ∩ F1 ) = 0.6,
P (E1 ∩ F2 ) = 0.1,
P (E2 ∩ F1 ) = 0.1,
P (E2 ∩ F2 ) = 0.2
3. 条件付確率 P (Ei |Fj ) および P (Fj |Ei ) を求めよ。
0.6
6
= , P (E2 |F1 ) =
0.7
7
0.6
6
P (F1 |E1 ) =
= , P (F2 |E1 ) =
0.7
7
P (E1 |F1 ) =
0.1
1
= , P (E1 |F2 ) =
0.7
7
0.1
1
= , P (F1 |E2 ) =
0.7
7
0.1
1
= , P (E2 |F2 ) =
0.3
3
0.1
1
= , P (F2 |E2 ) =
0.3
3
0.2
2
=
0.3
3
0.2
2
=
0.3
3
4. 情報量 I(Ei ) = − log2 P (Ei ) を求めよ。
log10 (7/10)
log 7 − log10 10
−0.845 + 1
0.155
= − 10
≃
=
≃ 0.52 [b]
log10 3
log10 3
0.3
0.3
log (3/10)
log 3 − log10 10
−0.477 + 1
0.523
I(E2 ) = − log2 0.3 = − 10
= − 10
≃
=
≃ 1.74 [b]
log10 3
log10 3
0.3
0.3
I(E1 ) = − log2 0.7 = −
5. 情報量 I(Fj ) = − log2 P (Fj ) を求めよ。
I(F1 ) = − log2 0.7 ≃ 0.51 [b], I(F2 ) = − log2 0.3 ≃ 1.74 [b]
6. エントロピー H(E) = −
∑n
i=1
P (Ei ) log2 P (Ei ) を求めよ。
H(E) = −0.7 × log2 0.7 − 0.3 × log2 0.3 = −0.7 × (log2 7 − log2 10) − 0.3 × (log2 3 − log2 10)
0.845
0.477
1
= −0.7 × log2 7 − 0.3 × log2 3 + log2 10 ≃ −0.7 ×
− 0.3 ×
+
0.3
0.3
0.3
−0.5915 − 0.1431 + 1
0.2654
=
=
≃ 0.88 [bit]
0.3
0.3
7. エントロピー H(F ) = −
∑m
j=1
P (Fj ) log2 P (Fj ) を求めよ。
H(F ) = −0.7 × log2 0.7 − 0.3 × log2 0.3 ≃ 0.88 [bit]
演習解答例 (情報量とエントロピー)
1. 結合エントロピー H(E, F ) = H(F , E) = −
∑n ∑m
i=1
j=1
pi,j log2 pi,j を求めよ。
H(E, F ) = H(F , E) = −0.6 × log2 0.6 − 0.1 × log2 0.1 − 0.1 × log2 0.1 − 0.2 × log2 0.2
= −0.6 × log2 6 − 0.1 × log2 1 − 0.1 × log2 1 − 0.2 × log2 2 + log2 10
0.3 + 0.477
1
≃ −0.6 ×
− 0.2 +
≃ −2 × 0.777 − 0.2 + 3.334
0.3
0.3
≃ 1.58 [bit]
2. 条件付エントロピー H(F |E) = −
∑n
i=1
P (Ei )
∑m
j=1
P (Fj |Ei ) log2 P (Fj |Ei ) を求めよ。
H(F |E) = −0.7 × [(6/7) log2 (6/7) + (1/7) log2 (1/7)] − 0.3 × [(1/3) log2 (1/3) + (2/3) log2 (2/3)]
= −0.7 × [(6/7) log2 6 + (1/7) log2 1 − log2 7] − 0.3 × [(1/3) log2 1 + (2/3) log2 2 − log2 3]
6 0.777 0.845
2 0.477
≃ −0.7 × [ ×
−
] − 0.3 × [ −
]
7
0.3
0.3
3
0.3
0.2 − 0.477
0.666 − 0.845
− 0.3 ×
≃ −0.7 ×
0.3
0.3
0.178
≃ 0.7 ×
+ 0.277
0.3
≃ 0.69 [bit]
3. 条件付エントロピー H(E|F ) = −
∑m
j=1
P (Fj )
∑n
i=1
P (Ei |Fj ) log2 P (Ei |Fj ) を求めよ。
H(E|F ) = −0.7 × [log2 (6/7) + log2 (1/7)] − 0.3 × [log2 (1/3) + log2 (2/3)]
≃ 0.69 [bit]

Download Report