情報理論

1
北海道大学
Hokkaido University
情報エレクトロニクス学科共通科目・２年次・第1学期〔必修科目〕
講義「情報理論」第5回
第3章情報源のモデル[後半]
3.5 情報源のエントロピー
2015/05/01
情報理論講義資料
北海道大学 Hokkaido University
2
[復習]情報源の統計的表現

離散的M元情報源
– M個の元を持つ情報源アルファベット A={a1,a2,…,aM} から
– 時点0 より情報源記号を発生する（時点は整数値）
確率変数
– 時点 i の情報源の出力を Xi （i = 0, 1, 2, ・・・）で表す
– 時点 n-1 まで（長さ n）の情報源系列 X0 X1 X2…Xn-1 を考える
離散的M元情報源
情報源系列 X0 X1 X2 X3
Xn-2Xn-1
…
0
1
2
3
n-2 n-1
時点
A={a1,a2,…,aM}
この情報系列の統計的性質は
X0 X1 X2…Xn-1の結合確率分布で完全に定まる。
X0, X1, …, Xn-1の結合確率分布
PX0, X1…Xn-1(x0, x1, …, xn-1)= 〔X0 = x0, X1 = x1, …, Xn-1= xn-1 となる確率〕
2015/05/01
情報理論講義資料
北海道大学 Hokkaido University
3
[復習]扱いやすい情報源の性質

定常情報源
– 時間をずらしても、統計的性質の変わらない情報源
– 任意の正整数 n と i および情報源アルファベットの任意の元 x0, x1, …, xn-1 に対し、
以下が成立。
PX0X1・・・Xn-1(x0, x1, …, xn-1) = PXi Xi+1・・・Xi+n-1(x0, x1, …, xn-1)

エルゴード情報源
– それが発生する十分長い任意の系列に、その情報源の統計的性質が完全に現れて
いる定常情報源
– 集合平均と時間平均が一致する。
記
記
憶
の
な
い
情
報
源
2015/05/01
エルゴード
情報源
定常
情報源
マルコフ情報源
憶
の
あ
る
情
報
源
情報理論講義資料
北海道大学 Hokkaido University
4
[復習]よく用いられる情報源

記憶のない定常情報源
– 各時点における情報源記号の発生が、他の時点と独立で、各時点における情
報源記号の発生が同一の確率分布 PX(x) に従う情報源
n-1
PX0・・・Xn-1(x0, …, xn-1) = iΠ
PX (xi)
=0

正規マルコフ情報源
– 記憶のある情報源。
– 閉じた状態集合からなる非周期的なマルコフ情報源
– 初期分布としてどんな分布を与えても十分時間がたてば定常情報源でありエ
ルゴード情報源とみなせる。
1/ 0.6
s0
0/ 0.4
s1
0/ 0.3
1/ 0.2
1/ 0.7
s2
0/ 0.8
2015/05/01
記
憶
の
な
い
情
報
源
エルゴード
情報源
定常
情報源
マルコフ情報源
記
憶
の
あ
る
情
報
源
情報理論講義資料
北海道大学 Hokkaido University
5
[復習]確率変数のエントロピー
確率変数Xの取りうる値をa1, a2,・・・, aM とし、Xがそれぞれの
値をとる確率がp1, p2,・・・, pM （ただし、p1+p2+・・・+pM=1)であ
るとき、確率変数XのエントロピーH(X)は、
M
H(X)＝－∑ pi log2 pi
i =1
と定義される。
2015/05/01
情報理論講義資料
北海道大学 Hokkaido University
6
定常情報源の１次エントロピー
情報源記号列X0,X1,…を出力する情報源Sのエントロピーは
どのように定義すればよいか？
定常情報源であれば、PXi(x)は時点iによらず同じであるから、
XiのエントロピーH(Xi)は時点iによらず一定
定常情報源SのエントロピーをH(Xi)で定義してはどうか。
各時点に情報源記号a1,a2,…,aMを出力する確率がそれぞれ
p1,p2,…,pMであるようなM元定常情報源Sの１次エントロピーH1(S)を
M
H1 (S) = -å pi log 2 pi
と定義する。
2015/05/01
i=1
情報理論講義資料
北海道大学 Hokkaido University
7
１次エントロピーで情報源の曖昧さは測れるか？
どの時点でも出力情報源記号Xの確率分布PX(x)が同じであれば
その情報源から出力される記号列X0X1・・・の曖昧さは同じ？
無記憶定常情報源S
PX(0)=0.8
PX(1)=0.2
マルコフ情報源S
0 / 0.9
s0
1 / 0.1
1 / 0.6
s1
0 / 0.4
ともに各時点において0, 1が出力
される確率はそれぞれ0,8と0.2
どちらも１次エントロピーは同じ
H1(S)=-0.8log20.8-0.2log20.2=0.7219
2015/05/01
Sの定常分布(w0, w1)は、
0.9 0.1
＝ (w0, w1)
0.4 0.6
および w0+w1＝1 から、w0＝0.8、w1＝0.2
(w0, w1)
PX(0)=0.8×0.9+0.2×0.4=0.8
PX(1)=0.8×0.1+0.2×0.6=0.2
情報理論講義資料
北海道大学 Hokkaido University
8
もう少し長い系列の分布でみたら
定常情報源であればXiXi+1の結合確率分布PXiXi+1(x,y)も
時点iによらず一定
X0とX1の結合エントロピーに情報源の曖昧さの差が現れるのでは？
無記憶定常情報源S
PX(0)=0.8
PX(1)=0.2
PX0X1(0,0)=0.64
PX0X1(0,1)=0.16
PX0X1(1,0)=0.16
PX0X1(1,1)=0.04
H(X0,X1)=1.444
無記憶定常情報源の方
H(X0,X1)=1.291
が曖昧さがおおきい！
2015/05/01
マルコフ情報源S
0 / 0.9
s0
1 / 0.1
1 / 0.6
s1
0 / 0.4
Sの定常分布:(w0, w1)=(0.8,0.2)
PX(0)=0.8 PX(1)=0.2
PX0X1(0,0)=0.8×0.9×0.9+0.2×0.4×0.9=0.72
PX0X1(0,1)=0.8×0.9×0.1+0.2×0.4×0.1=0.08
PX0X1(1,0)=0.8×0.1×0.4+0.2×0.6×0.4=0.08
PX0X1(1,1)=0.8×0.1×0.6+0.2×0.6×0,6=0.12
情報理論講義資料
北海道大学 Hokkaido University
9
n次エントロピー
M元情報源Sのn次拡大情報源Sn
Sが出力する連続するn個の情報源記号をまとめて１つの
情報源記号とみたとき、それを発生するMn元情報源
n次拡大情報源Snの１次エントロピーH1(Sn)
H1(Sn)=H(X0,X1,…,Xn-1)
n確率変数の結合エントロピー
情報源Sのn次エントロピーHn(S)
Hn(S)=H1(Sn)/n=H(X0,X1,…,Xn-1)/n
無記憶定常情報源S
PX(0)=0.8
PX(1)=0.2
H2(S)=H(X0,X1)/2=1.444/2=0.722
2015/05/01
マルコフ情報源S
0 / 0.9
s0
1 / 0.1
1 / 0.6
s1
0 / 0.4
H2(S)=H(X0,X1)/2=1.291/2=0.646
情報理論講義資料
北海道大学 Hokkaido University
10
情報源のエントロピー
H(S) = lim H n (S) = lim H1 (S n ) / n = lim H(X0 , X1,..., Xn ) / n
n®¥
n®¥
n®¥
－
H(S)=情報源Sから得られる１記号あたりの平均情報量
2015/05/01
情報理論講義資料
北海道大学 Hokkaido University
11
無記憶定常情報源のエントロピー
P(x)
無記憶

0
0
2015/05/01
0
情報理論講義資料
北海道大学 Hokkaido University
12
マルコフ情報源のエントロピー

0 / 0.9
s0
図のマルコフ情報源S のエントロピーを考える
Sの定常分布(w0, w1)は、(0.8,0.2)。
1 / 0.1
1 / 0.6
s1
0 / 0.4
図: マルコフ情報源S
いまS が状態 s0 にあるときだけに注目すると、この情報源は
1, 0 を 0.1, 0.9 の確率で発生する無記憶情報源とみなせる。
その場合のエントロピーを Hs0(S) と書くと
H(x)=－xlog x－(1－x)log(1－x)
Hs0(S) ＝H(0.1)＝0.4690
同様に、Sが状態 s1 にあるときだけを注目すれば
Hs1(S) ＝H(0.6)＝0.9710
（定常分布では）s0にいる確率が0.8、s1にいる確率が0.2だから、H(S)は
H(S)＝0.8×0.4690 + 0.2×0.9710＝0.5694
になると考えられる。
2015/05/01
情報理論講義資料
北海道大学 Hokkaido University
13
一般のマルコフ情報源のエントロピー
一般のマルコフ情報源のエントロピー
情報源アルファベット {a1, a2,・・・, aM}
状態 s0, s1,・・・, sN－1
定常分布 (w0, w1,・・・, wN－1)
状態si にあるときに記号 aj を発生する確率 P(aj | si)
この情報源に対するエントロピーH(S)は
N–1
M
i=0
j =1
H(S) ＝ ∑ wi －∑ P(aj | si) log2P(aj | si)
2015/05/01
情報理論講義資料
北海道大学 Hokkaido University
14
マルコフ情報源のn次エントロピー
nを大きくしていくと、マルコフ情報源Sのn次エントロピーHn(S)=H1(Sn)/nは図のよ
うに0.5694に収束していく。
Sと同じ出力記号の
定常分布(P(0),P(1))=(0.8,0.2)
をもつ無記憶定常情報源S’の
エントロピーH(S’)
0.722
0.646
記憶がある分だけ曖昧さが減っている
予想しやすくなっている
（圧縮しやすくなっている）
1
図：マルコフ情報源のエントロピー
2015/05/01
情報理論講義資料

Download Report