スライド 1

第9回の演習
混合ニ項分布（ x{0, 1, 2,...,N} N は既知） w  {a, r1, r2}
N x
N x y
x
N x y
p( x, y | w)   ar1 (1  r1 )  (1  a)r2 (1  r2 ) 
x
について、データ x  {x1 , x2 ,...,xn } 及び、隠れ変数 y  { y1, y2 ,..., yn }
(1)
が与えられたときのパラメータ
n
( 2)
w の条件付分布
p(w | y, x)  p0 (w) p( xi , yi | w)
n
を nk   y
i 1
i 1
(k )
i
及び
1
k 
nk
n
y
i 1
(k )
i
i
x
（k=1,2）を用いて表せ。
p0 (w)  p0 (a) p0 (r1 ) p0 (r2 )
1
1
1
p0 (a) 
p0 (r1 ) 
p0 (r2 ) 
a(1  a)
r1 (1  r1 )
r2 (1  r2 ) とする。
ただし、事前分布を
☆上の条件付分布は事後分布
p ( y , w | x)
からのギブスサンプリングで必要
演習の略解
n
p(w | y, x)  p0 (w) p( xi , yi | w)
i 1
1

a(1  a)
n

 a i1
yi(1) 1 / 2
1
r1 (1  r1 )
n

(1  a) i1
yi( 2 ) 1/ 2
n  N
  xi
1
N  xi
  ar1 (1  r1 )

r2 (1  r2 ) i 1  xi 

n
n
(1)
 yi xi 1 / 2
i 1
r1

(1  r1 ) i1
yi(1) ( N  xi ) 1 / 2
 (1  a)r
yi(1)
n
(2)
 yi xi 1 / 2
i 1
r2
xi
2
(1  r2 )
n
 yi( 2 ) ( N  xi )1/ 2
(1  r2 ) i1
よって、 p(w | y, x)  p(a | y) p(r1 | y, x) p(r2 | y, x) となり
p(a | y), p(r1 | y, x), p(r2 | y, x) はそれぞれ、
パラメータ
n1 
1
2
，
1
，
2
1
n2 2  ，
2
n1 1 
n2 
1
2
，
1
，
2
1
n2 ( N  2 ) 
，を持つベータ分布
2
n1 ( N  1 ) 

( 2)
N  xi yi



演習の略解
 事後分布 p(y, w | x)
からのギブスサンプリングでは、
~  {a~, ~r , ~r } の適当な初期値を決め、下の2つを繰り返す。
w
1 2
n
~)
p( xi , yi | w
~
1. p(y | w, x)  
から隠れ変数のサンプルを生成。
~)
p
(
x
|
w
i 1
i
すなわち、i=1,2,…,n について
a~~r1 xi (1  ~r1 ) N  xi
確率 a~~r xi (1  ~r ) N  xi  (1  a~)~r xi (1  ~r ) N  xi で
1
1
2
2
(1  a~)~r2xi (1  ~r2 ) N  xi
確率 a~~r xi (1  ~r ) N  xi  (1  a~)~r xi (1  ~r ) N  xi で
1
1
2
2
~y (1)  1 ( ~y (2)  0)
i
i
~y (2)  1 ( ~y (1)  0)
i
i
とし、サンプル ~
y  {~
y1 ,..., ~
yn } を得る。
2.
p(w | ~y , x) に従い a, r1 , r2 のサンプルを生成。
３つともベータ分布からサンプルを生成
~  {a~, ~r , ~r }
w
1 2
演習の略解
 ベータ分布からのサンプリング
X , Y がそれぞれパラメータ ( , 1)、( , 1) を持つガンマ分布に従うとき
X
X Y
はパラメータ ( ,  ) を持つベータ分布に従う
パラメータ ( , 1)を持つガンマ分布の密度関数
x 1e  x
p ( x) 
( )
( x  0)
 予測分布
1 N
p ( x | x)   p ( x | w ( i ) )
N i 1
w (i ) ：パラメータのサンプル

Download Report