ベイジアンネットワーク概説 3.3

ベイジアンネットワーク概説
3.3 ベイジアンネットワークの母数推定
茨城大学工学部
佐々木稔
はじめに

サンプルデータ数の影響を考慮した推論


母数（パラメトリック）モデルの導出
母数モデル

確率構造 BS のとき、3.2節より
n
p( X 1 , X 2 ,, X n | BS )   p X i | pa X i , Bs 
i 1


θijk : 親ノード変数集合 pa(Xi) のうち、j 番目の
パターンをとり、Xi = k となる条件付き確率の母数
Θ= {θijk}
(i=1, ・・・, n ; j=1, ・・・, qi ; k=0, ・・・,ri-1)
W = （a1, a2, ・・・, at）がパターン
このパターンが qi 個存在
W1 = a1
Xi = k
Wt = at
i
W = （a1, a2, ・・・, at）と Xi = k
となるデータ数が Nijk
Θについての尤度

Xを所与としたときのパラメータΘについての尤度


多項分布に従う
この尤度が最大となる母数を求める
ri 1
n
qi
i 1
j 1
p X | , Bs   
N
k 0
ri 1
ijk
!
qi
ri 1
  
i 1

k 0
N
!
 ijk
k 0
n
ri 1
j 1 k  0
N ijk
ijk
N ijk
ijk
独立試行確率の計算
全試行回数
ri 1
N
k 0
ri 1
ri 1
ijk
N
!
ijk
!
ri 1

N ijk
ijk

k 0
N
k 0
ijk
!
N ij 0 ! N ij1! N ij ( ri 1) !

N ij 0
ij 0

N ij 1
ij1

N ij ( ri 1)
ij ( ri 1)
k 0
ラベル
確率
回数
0
θij0
Nij0
1
θij1
Nij1
・・・
・・・
・・・
ri - 1
θij(ri -1)
Nij(ri -1)
事前分布の推定
パラメータθについての事前分布 p(θ|BS)
 自然共益事前分布の導入




ディリクレ(Dirichlet)分布
事前、事後の分布形を同一にする
N’ijk は Nijk に対応するハイパーパラメータ
n
qi
p | Bs   
i 1
j 1
 ri 1

 
  N ijk
 k 0

ri 1
 Nijk 
k 0
ri 1

k 0
 1
N ijk
ijk
事前分布の推定

i, j, k 以外は積分するとベータ分布になる
pijk | Bs     pijk | Bs  d110  d nqi ( ri 1)

 
2 Nijk
 
Nijk
2

 1
N ijk
ijk
母数値とベータ分布の形状
5
ホールデン事前分布
4
β(0.5, 0.5)
3
β(10, 9)
2
β(1.0, 1.0)
1
0
母数推定
事後分布 p(X, θ|BS)
 尤度と事前分布の積

n
qi
pX,  | Bs   
i 1
j 1
 ri 1

 
  N ijk
 k 0

ri 1
 N ijk 
ri 1

k 0
k 0
n
qi
ri 1
   ijkijk
i 1
j 1 k  0
N
 N ijk 1
  N ijk 1
N ijk
ijk
母数推定

事後分布 p(X, θ|BS) を最大化する
qi ri 1
  Nijk  1 logijk
log pX,  | Bs    Nijk
n
i 1 j 1 k 0

このとき、
ri  2
 ij ( r 1)  1   ijk
i

より、
k 0
ri  2
 ri 2 
  N ijk  1log  ijk  N ijk
  N ijk  1log1   ijk 
log pX,  | Bs     N ijk
i 1 j 1  k  0
 k 0 
n
qi
母数推定

θijkで偏微分したものが 0 となる θijk を求める
d log pX,  | Bs 
d ijk



n qi  ri  2 N   N





1
N

N

1
ijk
ijk
ijk
ijk
0
  


 ijk
 ri 2  
i 1 j 1 k  0
1   ijk  


 k 0  
母数推定


推定値は
ただし、
  Nijk
N
ijk
ˆijk 
Nij  Nij
ri 1
ri 1
k 0
k 0
 , Nij   Nijk
Nij   Nijk
数値例
θijk の推定値と真の値との平均二乗誤差
 3.2節のデータを利用

3.2節のデータの推定値
真の値 N’ijk=0 N’ijk=1 N’ijk=1/2
p(X2=1|X1=1)
0.8
0.8
0.76
0.78
p(X2=1|X1=0)
0.2
0
0.14
0.08
p(X3=1|X1=1)
0.8
0.8
0.76
0.78
p(X3=1|X1=0)
0.2
0
0.14
0.08
p(X4=1|X2=1, X3=1)
0.8
0.66
0.64
0.65
p(X4=1|X2=1, X3=0)
0.2
0.5
0.5
0.5
p(X4=1|X2=0, X3=1)
0.6
0.5
0.5
0.5
p(X4=1|X2=0, X3=0)
0.2
0.4
0.43
0.41
p(X5=1|X3=1)
0.8
0.67
0.64
0.42
p(X5=1|X3=0)
0.2
0.33
0.35
0.34
0.0193
0.015
0.028
真の値との二乗誤差

Download Report