Q状態イジング模型を用いた多値画像修復における
周辺尤度最大化によるハイパパラメータ推定
東北大学大学院情報科学研究科
田中和之
北海道大学大学院工学研究科
井上純一
共同研究者:D. M. Titterington (University of Glasgow)
1
はじめに
マルコフ確率場モデルと古典スピン系の類似性
平均場理論をはじめとする統計力学的近似解析手法の有効性
Ising 模型・Potts模型でのいくつかの研究成果
Q-Ising 模型
レプリカ法を用いた統計的性能評価（Inoue and Carlucci）
ハイパパラメータ推定も含めた平均場理論を
用いたアルゴリズム設計と数値実験による性能
評価(本講演)
期待値最大化(EM)アルゴリズムを用いたアル
ゴリズムのレプリカ法を用いた統計的評価(井
上・田中)
2
確率的画像処理
劣化過程

Pg f    P g x, y f x, y
M
N
x 1 y 1

f x, y  0,1,2,, Q 1
事前確率
P f 
 0



2
2 

exp     f x , y  f x 1, y    f x , y  f x , y 1  
( x , y )


P f  

2
2 

exp     f x , y  f x 1, y    f x , y  f x , y 1  

f
( x , y )




3
ベイズの公式と事後確率
P f g  
Pg f P f 
P g 

exp E  f g 
 exp E f g 
f
E f g  
  
( x , y )
gx,y , f x,y
  ( f x, y  f x1, y ) 2   ( f x, y  f x, y 1 ) 2
 1  Qp  p 
  0
p


  ln
Z  ,     exp E f g 
f
周辺事後確率最大化による修復画像の推定
fˆx, y  arg max Px, y ( f x, y g)
f x,y
Px , y ( f x , y g ) 
 P( f g )
f \ f x,y
4

ハイパパラメータ推定
周辺尤度最大化
ˆ , ˆ   arg max Pg  ,  
 , 
Z  ,  
P g |  ,     P g, f |  ,     P g | f ,  P f   
Z   0,  Z  ,   0
f
f
Z  ,     exp E f g,  ,  
f
   g x , y , f x , y


M N 
E  f g,  ,        ( f x , y  f x 1, y ) 2 

x 1 y 1 
2




(
f

f
)
x
,
y
x
,
y

1


 1  Qp  p 
  0
p


  ln
5
ベーテ近似における周辺確率分布
Wxx, y1, y  f x , y , f x 1, y  xx,y1, y  f x , y  xx,,yy 1  f x , y  xx,,yy 1  f x , y 



x

2
,
y
x

1
,
y

1
x

1
,
y

1

  x 1, y  f x 1, y  x 1, y  f x 1, y  x 1, y  f x 1, y 

x 1, y
 x , y  f x , y , f x 1, y  
Wxx, y1, y  f x , y , f x 1, y  xx,y1, y  f x , y  xx,,yy 1  f x , y  xx,,yy 1  f x , y 





x

2
,
y
x

1
,
y

1
x

1
,
y

1

  x 1, y  f x 1, y  x 1, y  f x 1, y  x 1, y  f x 1, y 
f x , y f x1, y


x, y
x 1, y
f
x 1, y

W
x 1, y
x, y
f x,y
W
 f , f   f   f   f 
 f , f   f   f   f 
x 1, y
x, y
x 1, y
x, y
x, y
x 1, y
x 1, y
x, y
x, y
x 1, y
x, y
x, y
x , y 1
x, y
x, y
x , y 1
x, y
x , y 1
x, y
x, y
x , y 1
x, y
x, y
x, y
f x1, y f x , y

1
Wx, y  f x, y  
exp  g x , y , f x , y
Z x, y
Wxx, 'y, y '  f x, y , f x ', y '  
1
Z
x ', y '
x, y

exp  g x , y , f x , y

 exp  ( f

( x, y  1)
xx,,yy1 ( f x, y )

 exp   ( g x ', y '  f x ', y ' )
2

f
)
x, y
x ', y '
( x  1, y )
2


 xx, y1, y ( f x1, y )
xx,y1, y ( f x, y )
( x, y )
( x  1, y )
xx,,yy1 ( f x, y )
( x, y  1)
6
数値実験
ハイパパラメータはすべて周辺尤度最大化により決定．
ˆ  0.58899
Q3
  0.65
2 p  0 .3
2 pˆ  0.27166
ˆ  1.67937
原画像
Q4
  0.75
3 p  0 .3
劣化画像
修復画像
ˆ  0.62021
3 pˆ  0.27153
ˆ  2.08551
7
数値実験
周辺尤度最大化によるハイパパラメータの決定．
P g |  ,     P g | f ,  P f   
f
Z  ,     exp E f g,  ,  
f
Q3
対数周辺尤度
1
ln P g |  ,  
|Ω|
ˆ  0.58899
2 pˆ  0.27166
ˆ  1.67937
  0.58899

Z  ,  
Z   0,  Z  ,   0
 1  Qp  p 
  0
p


  ln
Q4
ˆ  0.62021
3 pˆ  0.27153
ˆ  2.08551
  0.62021

8
数値実験
ハイパパラメータは周辺尤度最大化により決定．
Q3
原画像
Q4
劣化画像
(Q-1)p=0.3
Potts 模型に
よる修復画像
Q-Ising 模型に
よる修復画像
9
おわりに
要約
Q-Ising 模型を用いた確率的画像処理
ベーテ近似にもとづく Loopy Belief Propagation
周辺尤度最大化によるハイパパラメータ推定
Q=3 と Q=4 に対する数値実験
今後の課題
事前分布に従うモンテカルロシミュレーションの
スナップショットにおいて 0 と Q-1 のパターン
が比較的でにくい．これを補う項の導入について
の検討 => スピンＳ Ising 模型への拡張
10

確率モデルによる 画像処理技術入門