入門ベイズ統計 1．5確率の更新～1．8事前分布

入門ベイズ統計
１．５確率の更新～１．８事前分布
９月１９日
田中洸一
内容
•
•
•
•
1.5 確率の更新
1.6 多数の原因
1.7 事後分布
1.8 事前分布
1.5 確率の更新（１）
• ”標的と射手”の問題について、標的Xにもう一度射
たれた場合
前回の事後確率が今回の事前確率となる。
8
9
P( H1 )  , P( H 2 ) 
17
17
 8
    0.8 
64
17 

P( H1 | F ) 

 0.703
91
 8
 9

0.8


0.3




 
 
 17 
 17 
F   2回目にも標的X が射たれる
1.5 確率の更新（２）
• 前回の事後確率が、今回の事前確率となる根拠
P(H1)  0.25, P(H2 )  0.75
2
P(FF | H1)   0.8 , P(FF | H2 )   0.3
2
※F  F   FF 
2
0.25  0.8

64

P(H1 | FF ) 

2
2
 0.25  0.8  0.75  0.3 91
(1 .5 .2 )と一致する
(1.5.3)
1.6 多数の原因（１）
・原因が３つ以上であってもベイズの定理は適用可能
図1.2 壺から玉を抜き出す実験
1.6 多数の原因（２）
事象R：赤の玉が取り出される
P ( R | H1 ) 
3
1
1
 0.75, P( R | H 2 )   0.50, P( R | H 3 )   0.33
4
2
3
1
理由不十分の原理からP ( H1 )  P ( H 2 )  P ( H 3 )   0.33
3
1  3
  
9
3  4
P( H1 | R) 
  0.47
 1   3   1   1   1   1  19
          
 3  4  3  2  3  3
(1.6.1)
1.6 多数の原因（３）
他も同様に、
6
4
P ( H 2 | R )   0.32, P ( H 3 | R )   0.21
19
19
表1.2　壺H1 , H 2 , H 3の確率
1.6 多数の原因（４）
• 確率の更新の原理によって、２回目が赤のときの事後確率
 9   3
  
81
 19   4 
P( H1 | RR) 

 0.61
9
3
6
1
4
1
            133
          
 19   4   19   2   19   3 
36
16
 0.27, P ( H 3 | RR) 
 0.12
133
133
表1.3 赤の多い壺 H１に対する予想の上昇
P ( H 2 | RR) 
1.7 事後分布（１）
・原因( A)を , 結果( B)をZ ,
・事前確率P( Ai )をw(i ), 事後確率P( Ai | B)をw(i | z ),
・確率P( z | i )をzの関数としてp ( z | i )と表記
w(i ) p( z | i )
ベイズの定理　w(i | z ) 
 w( j ) p( z |  j )
(1.7.1)
が連続なら
w ( ) p ( z |  )
w ( | z ) 
 w ( ) p ( z |  )
(1.7.2)

は  全体の集合
1.7 事後分布（２）
• （1.7.1）,（1.7.2）は統計学的な考えによって、
・ は母集合の母数 パラメータ , zは標本 ,
p ( z |  )は母数が のときの標本の確率分布（尤度）
※(1.7.1), (1.7.2)の分母は が含まれず定数、よって分子のみ表示
比例関数表記
w( | z )  w( ) p( z |  )
事後に有する情報 ＝事前に関する  情 報
(1.7.3)
標本の出方  の情報
1.8 事前分布
• ベイズ統計学では事前分布の選び方に、さまざまな方法が
ある。ここでは、「共役事前分布」について紹介。
• 例題「ある両親から、連続して男の子が３人生まれた。次の
子が女の子である確率はどれほどか？」
• 男の子＝１、女の子＝０とおく。
wi   i  1,  , n は独立な確率変数
xi （確率
1
）
, xi （確率
0
1  ）
z (x1,, xn )の尤度
nxi
xi

p  z |     1 
(1.8.1)
1.8 事前分布
この形に合わせて, w  を母数 ,  のベータ分布の形にとる
w    
 1
1   
 1
(1.8.2)
1
比例定数は  w   d   1とすればよいので
0
1
B  ,     u
0
 1
1   
 1
du
(1.8.3)
1 B,  として求める
1
(1.7.3)の表記は、 w  | z  1 
 1
(1.8.4)
※   xi ,     n xi
すなわち、ベータ分布B  ,   となる
(1.8.5)
1.8 事前分布
・事前分布の , における、確率変数 の分布の期待値,
分散,モード（最頻値）
期待値
分散
E   
V   
モード（最頻値）

 

(   )2 (   1)
 1
Mode   
(  1)  (   1)
1.8 事前分布
• 例題　一人目が男の子である確率θは、理由不十分の原理
1
 
から　。つまり　。
2
    1としてに一様分布を仮定
1.8 事前分布
p z |
・ベイズ統計学による分析は、現象の尤度　に対して、
適切な事前分布　を選ぶことから始まる。
w 
p z |  
・適切な　を選ぶには、　の関数型に応じて、
w  
（1.7.3）の変換　wwが円滑にいく分布をとればよい。
↓
p z |  
この分布を　の「自然な共役事前分布」という。
例：二項分布の共役事前分布はベータ分布
1.8 事前分布
• 正規分布の共役事前分布
n
z (x1 , , xn )の尤度
p z |   
i1
 (xi  )2 
1
exp 

2
2

2




2
2
 ( x  ) 
1 n
  ( xi  x ) 
 exp 
) exp 
(
 (1.8.7)
2
2
2
 2  2



n 
x
※ x   i （xはに対して十分であるという）
n
• θの関数として必要な情報は第一因数のみ。
よって、（1.7.3）より


w   | z   w   exp  



( x   ) 

2 2 
n

2
(1.8.8)
1.8 事前分布
• 事前確率分布は（1.8.8）の関数形に着目すれば、正規分布
N u
, 2
が適当
 (  )2 
1
w  
exp 

2
2
 2 
(1.8.9)
1.8 事前分布
• 二次式を操作すれば、事後確率は再び以下の形になり、　N  , 2 
となる
 (  )2 
w  | z   exp 

2
 2 
1
1 n
※ 2 2 2
  
(1.8.10)
 1
 2

※   

 n 



 2 x

 
1
n

2 2
尤度が正規分布ならば、事前分布を正規分布にとれば、
事後分布も正規分布となる
1.8 事前分布
• ポアソン分布の共役事前分布
独立な確率変数 xi  i 1,, n
母数θ（平均θ）のポアソン分布に従う
とする
z (x1,, xn )
xi
n


 n  xi
pz |   e
 
尤度
xi !
i 1
(1.8.12)
w  を母数 ,のガンマ分布の形にとる
w        1

比例定数は   s   0
(1.8.13)


euu s1du(1.8.14) として  
 
1.8 事前分布
よって、
 1

w | z e  (  n,  xi )
(1.8.15)
母数  ,  のガンマ分布となる。
つまり、ポアソン分布の共役事前分布はガン
 , は以下の式で定められる
E   


,V    2 (1.8.16)


マ分布となる

Download Report