演習問題（10/16更新）

2015/10/16
平成２７年度後期
工学部・情報工学科
問題１
ある都市の５月８日のお天気の生起確率が次に与えられ
るとき，平均情報量を求めよ．
情報理論
𝑝 晴 =
講義資料－３章－
情報量とエントロピー
＜演習問題と解答例＞
1
1
1
1
,𝑝 雨 = ,𝑝 曇 = ,𝑝 雪 =
2
4
8
8
中山謙二
1
2
＜解答例＞
問題２
上記の生起確率を平均情報量の式に代入する．
ある壺の中に赤玉が４個，青玉が２個，白玉が２個入っ
ている．この壺から１個の玉を取り出すときのエントロ
ピー（平均情報量）を求めよ．
4
𝐻 𝐴 =−
𝑝𝑖 log 2 𝑝𝑖
𝑖=1
1
1 1
1 1
1 1
1
= − log 2 − log 2 − log 2 − log 2
2
2 4
4 8
8 8
8
1 1 3 3
= + + + = 1.75 [𝑏𝑖𝑡]
2 2 8 8
3
4
＜解答例＞
問題３
赤玉を取り出す確率：𝑝1 = 4/8 = 1/2
青玉を取り出す確率：𝑝2 = 2/8 = 1/4
白玉を取り出す確率：𝑝3 = 2/8 = 1/4
これらをエントロピーの式に代入する．
Ａ君が卒業できる確率は75%，Ｂ君が卒業できる確率は
50%である．結合エントロピーを求めよ．
3
𝐻 𝐴 =−
𝑝𝑖 log 2 𝑝𝑖
𝑖=1
1
1 1
1 1
1
= − log 2 − log 2 − log 2
2
2 4
4 4
4
1 1 1
= + + = 1.5 [𝑏𝑖𝑡]
2 2 2
5
6
1
2015/10/16
＜解答例＞
事象𝑎1 ：Ａ君が卒業できる
事象𝑎2 ：Ａ君が卒業できない
事象𝑏1 ：Ｂ君が卒業できる
事象𝑏2 ：Ｂ君が卒業できない
結合事象の確率
𝑎1 , 𝑏1 →
𝑎1 , 𝑏2 →
𝑎2 , 𝑏1 →
𝑎2 , 𝑏2 →
𝑝𝑎1 = 0.75
𝑝𝑎2 = 0.25
𝑝𝑏1 = 0.5
𝑝𝑏2 = 0.5
これらの確率を結合エントロピーの式に代入する．
2
𝐻 𝐴 =−
𝑝𝑖𝑗 log 2 𝑝𝑖𝑗
𝑖,𝑗=1
3
3 3
3 1
1 1
1
= − log 2 − log 2 − log 2 − log 2
8
8 8
8 8
8 8
8
3
= 3 − log 2 3 = 1.81 [𝑏𝑖𝑡]
4
3 1 3
𝑝11 = 0.75 × 0.5 = × =
4 2 8
3 1 3
𝑝12 = 0.75 × 0.5 = × =
4 2 8
1 1 1
𝑝21 = 0.25 × 0.5 = × =
4 2 8
1 1 1
𝑝22 = 0.25 × 0.5 = × =
4 2 8
7
8
＜解答例＞
事象Ａ：目の和が７であり，目の組合せも分かっている．
事象Ｂ：目の和が７であるが目の組合せは分かっていない
問題４
二つのサイコロを振ったとき，その目の和が７であり，サ
イコロの目も分かっていた．しかし，後日，そのサイコロ
の目を忘れてしまった．このとき失われた情報量（ビッ
ト）を求めよ．
事象Ａの確率：全ての目の組合せは6 × 6 = 36通りであり，
その中の一つの組合せの確率は1/36．
事象Ｂの確率：目の和が７である組合せは
(1, 6), (2,5), (3,4), (4,3), (5,2), (6,1)の６
通りであるから，確率は6/36 = 1/6．
（ヒント）
二つのサイコロの目を知っていたときと忘れたときの自
己情報量（ビット）を求め，さらに，それらの差（失われた
情報量）を求める．
これらに対する自己情報量を求める．
1
1
𝐼 𝐴 = −log 2
= 5.16,
𝐼 𝐵 = −log 2 = 2.58
36
6
失われた情報量
𝐼 𝐴 − 𝐼 𝐵 = 5.76 − 2.58 = 2.58 [𝑏𝑖𝑡]
9
10
＜解答例＞
問題５
全ての目の組合せは6 × 6 = 36通り．
各目の和に対する組合せを求め，確率を計算する．
二つのサイコロを同時に振ったときの目の和についてエン
トロピーを求めよ．
（ヒント）
目の和に対する確率を求め，エントロピーの式に代入する．
例えば，
目の和= 2 → 1 + 1 ⋯ 1通り → 確率 = 1/36
目の和= 3 → 1 + 2,2 + 1 ⋯ 2通り → 確率 = 2/36
目の和= 4 → 1 + 3,2 + 2,3 + 1 ⋯ 3通り → 確率 = 3/36
これらの確率をエントロピーの式に代入する．
−
11
1
1
2
2
3
3
log 2
−
log 2
−
log 2
⋯ = 3.27 [𝑏𝑖𝑡]
36
36 36
36 36
36
12
2

Download Report