情報理論入門
解答例
2014.11.18
■ 情報源
{
s1
p1
S=
s2
p2
···
···
s3
p3
sM
pM
}
に対して
T =−
M ∑
M
∑
{pk pj logr (pk pj )}
k=1 j=1
を簡単にせよ．
（解） 情報源 S に対して
M
∑
pk = 1,
H(S) = −
k=1
M
∑
(pk logr pk )
k=1
であることに注意すると，




M
M
M
M
M
∑
∑
∑
∑
∑


T =−
{pk pj (logr pk + logr pj )} = −
(pk pj logr pk ) +
(pk pj logr pj )
k=1
=−
M
∑
k=1
=−
M
∑
k=1

j=1
pk logr pk
k=1
M
∑
pj + pk
j=1
(pk logr pk ) + H(S)
M
∑

(pj logr pj ) = −
j=1
M
∑
j=1
M
∑
j=1
[pk logr pk + pk (−H(S))]
k=1
pk = H(S) + H(S) = 2 H(S)
k=1
となる．
1

解答例