スライド 1

第8回の演習
データ：
x  {x1 ,...,xn }
xi {0, 1}
ベルヌーイ分布
事前分布：ベータ分布
p( x | a)  a x (1  a)1 x
a [0 1] ：パラメータ
演習
p0 (a) 
(   )  1
a (1  a)  1
( )(  )
 ,  ハイパーパラメータ

( s)   t s 1e t dt はガンマ関数
0
1 n
（１）事後分布 p(a | x)   p( xi | a) p0 (a) を計算せよ
Z i 1
1
ヒント：
（２）予測分布
p( x | x)   p( x | a) p(a | x)da
ヒント：

0
a 1 (1  a)  1 da 
を計算せよ
(s  1)  s(s)
( )(  )
(   )
演習の略解
n

（１） p(a | x)    a xi (1  a)1 xi a 1 (1  a)  1


 i 1

n
n
x



1
n

i
 xi   1
i 1
a
(1  a ) i1
n   x   1
1  x  1
より
p ( a | x)  a
(1  a)
n
n
i
i
i 1
C
（２）
n
1 
p( x  1 | x)   a a i1
C
n
xi  1
(1  a)
n

C
i 1

 i 1 xi    n  i 1 xi  
n
n     
n

ベータ分布
n
 xi   1
i 1
da
n

 xi   1
1
i 1
 a
(1  a) i1
da
C
n
n
i 1 xi    1n  i 1 xi   
n     

n
n
n      1
i 1 xi   n  i 1 xi   
1



xi  1
n

i1 xi  
 i 1 xi    1 n     
n
n

x   n      1
i 1 i
n

n   
n  i 1 xi  
n
p( x  0 | x)  1  p( x  1 | x) 
n   
第8回の演習（つづき）
（３）混合ニ項分布（ x{0, 1, 2,...,N} N は既知） w  {a, r1, r2}
N x
1 x y
x
1 x y
p( x, y | w)   ar1 (1  r1 )  (1  a)r2 (1  r2 ) 
x
(1 )
( 2)
に対する変分ベイズ法の適用を考える。
n
q(y )   q( yi ) を固定したとき、変分自由エネルギーを最小化する q (w ) 、
i 1
1
n
q(w) 
p0 (w) exp log p( xi , yi | w)
Cw
 i 1
を nk 
n

i 1
(k )
i
q ( yi )
y
1


及び k
nk

q ( yi ) 

n

i 1
yi( k )
x
q ( yi ) i
(k=1,2)を用いて表せ。
p0 (w)  p0 (a) p0 (r1 ) p0 (r2 )
1
1
1
p0 (a) 
p0 (r1 ) 
p0 (r2 ) 
a(1  a)
r1 (1  r1 )
r2 (1  r2 )
ただし、事前分布を
とする。
演習の略解
（３）
1
n
q(w) 
p0 (w) exp log p( xi , yi | w)
Cw
 i 1

q ( yi ) 

N
 xi 
N
 yi(1) log a  xi log r1  ( N  xi ) log(1  r1 ) yi( 2) log(1  a)  xi log r2  ( N  xi ) log(1  r2 )  
 xi  より
log p( xi , yi | w)  yi(1) log a  logr1x (1  r1 ) N  x  yi( 2) log(1  a)  logr2x (1  r2 ) N  x   
i
log p( xi , yi | w )
q ( yi )
 yi( k )
q ( yi )
 y
n
 log p( x , y | w)
i 1
i
ここで
i
q ( yi )
i
i
log a  xi log r1  ( N  xi ) log(1  r1 )
( 2)
i
q ( yi )
よって
i
N
log(1  a)  xi log r2  ( N  xi ) log(1  r2 )  
 xi 
n1 log a  n11 log r1  n1 ( N 1 ) log(1  r1 )
N
n 2 log(1  a)  n2 2 log r2  n2 ( N  2 ) log(1  r2 )    
n
i 1  xi 
1 n (k )
(k )
n
nk   yi
i 1
q ( yi )
k 
nk

i 1
yi
x
q ( yi ) i
(k=1,2)
演習の略解
（３）
よって、
ここで、
q(w)  q(a)q(r1 )q(r2 )
1 n1 1/ 2
a
(1  a) n2 1/ 2
Ca
1 n11 1/ 2
q(r1 ) 
r1
(1  r1 ) n1 ( N 1 )1/ 2
Cr1
q(a) 
q(r2 ) 
Ca 
Cr1 
(n1  1 / 2)(n2  1 / 2)
(n  1)
(n1 1  1 / 2)(n1 ( N  1 )  1 / 2)
(n1 N  1)
1 n2 2 1/ 2
r2
(1  r2 ) n2 ( N  2 )1/ 2 Cr  (n2 2  1 / 2)(n2 ( N  2 )  1 / 2)
Cr2
(n2 N  1)
2
は、それぞれパラメータ、
n1  1 / 2, n2  1 / 2
n1 1  1 / 2, n1 ( N  1 )  1 / 2
n2 2  1 / 2, n2 ( N  2 )  1 / 2
を持つベータ分布。
演習の略解
 事後分布
x が与えられたもとでの
a の分布
p ( a | x) 
a が与えられたもとでの
x の分布
データ x  {x1 ,..., xn }
n
（独立）
i 1
a の分布
p(x | a) p0 (a)
Z
p(x | a)   p( xi | a)
 p(x | a) p (a)da
0
x の分布
 事後分布（もしくはその近似）がパラメータのどんな関数にな
っているか（どんな関数形に比例するか）を意識すれば、規
格化定数は後から決められる。
 ただし、事後分布（もしくはその近似）が共役性の結果、どん
な分布になるか分かる場合。

Download Report