スライド 1

第10回の演習
 ( x  w) 2 
1
exp
学習モデル： p( x | w) 

2
2


 w2 

exp
事前分布： p( w |  ) 

2
2


について
n


(1) 周辺尤度 p(x |  )  
p
(
x
|
w
)
 p( w |  )dw を計算せよ。
i
  
i 1

n
(2) 自由エネルギー F (xn )   log Z (xn )   log p(xn |  ) を計算せよ。
(3) 好きな方を選択して答えてください。
(3a) F (x n ) を最小にする
 を求めよ。
 x2 
1
exp  として、 G (n) を求めよ。
(3b) 真の分布を p( x | w0 ) 
2
 2
演習の略解
（１）
n
p( w |  ) p( xi | w)
i 1

 2
 1 n
2

exp

(
x

w
)

w 
  i
n 1
2 
 2 i 1
2
事後分布は、正規分布
 n  2  n 
1 n 2

exp
w    xi w   xi 
n 1
2
2 i 1 
 i 1 
2


 n   
1

exp

w



n 1
2 
n 

2


x

i
i 1

n
2
1
平均：
n 
n
 xi
分散：
i 1
1
n 
2

 1
 n  1 n 2 
  xi    xi 
 exp

 2(n   )  i 1  2 i 1 
n
∴ Z (x )  p( w |  )
p( xi | w)dw


i 1


1
 n  

exp

w



n 1 
2 
n 

2

n

x

i
i 1

n
2
2


1
 n  1 n 2



dw
exp
x

x






i
i 
2
(
n


)
2
i 1
i 1








演習の略解
（１）
n
∴ Z (x n )  p( w |  )
p( xi | w)dw


i 1
2
2



1 n  
1
 n  1 n 2
 n  




exp

w

x
dw
exp
x

x











i
i
i
n 1 
2
n


2
(
n


)
2
i

1
i

1
i

1








2




2

1

1
 n  1 n 2



exp
x

x





i
i 
n
2
(
n


)
2
n 
i 1
i 1




2


2

1 n  
2
 n  

x
dw

w

∵  exp


i
2
n


n 
i 1


 


（２）
F (xn )   log Z (xn )
2
n
1
n  
1
 n  1 n 2


 log 2  log

  xi    xi 
2
2


 2(n   )  i 1  2 i 1 

演習の略解
（３a） F (x n )

2
1 1
1 
1
 n  


 
 
x



2  i
2  n    
2
(
n


)
 i 1  


2
n


1




2


(
n


)

(
n


)


x





i
2 (n   ) 2 
i 1





2
 

1
 n 
 2
   xi   n  n 

2 (n   ) 2  



  i 1 
より、 
2
n2

のとき最小となり、
  xi   n  0 のとき、Fは   n
2


 i 1 
  xi   n
 i 1 
2
n


  xi   n  0 のとき、Fはαに関して単調減少する。
 i 1 

 1 n

n2
n
よってFを最小にするαは


n
 i 1 xi
 




2



n




n
1
n
x
i
i 1
n
x
i 1
i
 1 のとき 



 1 のとき 


演習の略解
（３b）

  n2 log2  12 log n     2(nn  )  n2 
Exn F (xn )
∵
 
Exi xi2  1
 
 
Exi , x j xi x j  Exi xi Ex j x j  0 (i≠j)
また、 S   p ( x | w0 ) log p ( x | w0 ) dx

 1
x2 
1
1
   p( x | w0 )  log 2  dx  log 2 
2 
2
2 より
 2
F (n)  nS 
∴
1
n 
n
1
1
1
1
log

 nS  log n  log   O 
2

2(n   )
2
2
2
n
G(n)  F (n  1)  F (n)  S

1
2
の場合
1
n 1 
n 1
n
1
 1 
 log



 O 2 
2
n 
2(n  1   ) 2(n   ) 2n
n 

Download Report