確率モデルによる画像処理技術入門

物理フラクチュオマティクス論
Physical Fluctuomatics
応用確率過程論
Applied Stochastic Process
第10回確率的画像処理と確率伝搬法
10th Probabilistic image processing by means of physical models
東北大学大学院情報科学研究科応用情報科学専攻
田中和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
物理フラクチュオマティクス論(東北大)
1
今回の講義の講義ノート
1.
田中和之著: 確率モデルによる画像処理技術入門，森北出版，
第６章-第９章，2006．
2. 田中和之編著: 数理科学臨時別冊 SCG ライブラリ「確率的情
報処理と統計力学 ---様々なアプローチとそのチュートリアル--」，pp.101-108，サイエンス社，2006．
3. 田中和之: 大規模確率場における予測と推論，電子情報通信
学会誌，Vol.88, No.9, pp.698-702, September 2005.
物理フラクチュオマティクス論(東北大)
2
画像処理
画像処理の基本操作
画像の移動，回転，コピー，貼付け
ノイズの除去
ぼけた画像からの輪郭線強調
画像の拡大
画像をコンピュータで加工
アプリケーション：Photo Shop, Paint Shop, etc.
物理フラクチュオマティクス論(東北大)
3
画像の基礎知識
画像を使いこなすには画像がどのような形式で数値
データとして保存されているかを理解することが必
要!!→画像表示
P3
640 480
255
192 209 190 202 219 200 213 201
221 218 206 226 210 209 215 211
210 216 211 208 217 211 208 217
210 203 210 217 210 217 216 210
220 217 211 221 218 213 219 218
………………
コンピュータは数値は扱えるが光そのものは扱えない．
物理フラクチュオマティクス論(東北大)
4
画像表示の基礎
画素の場所→位置ベクトル
x
y
640  480  307200 Pixels
約３０万画素
x
( x, y )
(1,1)
(2,1)
(3,1)
(1,2)
(2,2)
(3,2)
(1,3)
(2,3)
(3,3)
y
基本単位は画素（ピクセル）
物理フラクチュオマティクス論(東北大)
5
画像表示の基礎（モノクロ画像）
x
画像は各画素ごとの強さの異なる光により表される．
( x, y)  f x, y 
y
f x, y   0
f x, y   255
256  256  65536 Pixels
基本単位は画素（ピクセル）
光の強さは０から２５５までの２５６段階
０が真っ黒，２５５が真っ白
各画素にその光の強さに応じて整数値（0,1,2,…,255）を割り当て，
データとして保存し，加工する．
物理フラクチュオマティクス論(東北大)
6
画像表示の基礎（モノクロ画像）
PGM 形式
f x, y   0
f x, y   1
物理フラクチュオマティクス論(東北大)
7
画像表示の基礎 (モノクロ画像）
PGM 形式
f x, y   0
f x, y   255
P2
# kazu
88
255
0 200 50 125 56 255 255 0
220 210 100 25 255 156 125 125
125 125 105 30 215 100 135 75
105 125 256 200 125 56 255 255
34 210 230 125 56 125 255 125
0 145 145 105 126 30 215 67
125 100 200 25 156 0 225 45
0 126 60 0 56 47 155 160
物理フラクチュオマティクス論(東北大)
8
画像を手なずけるための確率の基礎知識（１）
事象 B の周辺確率
PrB   PrA, B, C, D
A
C
D
A
B
C
D
周辺化
物理フラクチュオマティクス論(東北大)
9
画像を手なずけるための確率の基礎知識（２）
ベイズの公式 (Bayes Formula)
PrA B 
PrB APrA
 PrB APrA
事前確率
(A Priori
Probability)
A
事後確率 (A Posteriori Probability)
A
Bayes 規則 (Bayes Rule) とも言う．
B
ベイジアンネットワーク
物理フラクチュオマティクス論(東北大)
10
画像修復の確率モデル
劣化画像  原画像 白色ガウス雑音
雑音
通信路
原画像
劣化画像
尤度
事前確率












事後確率

 Pr劣化画像 | 原画像 Pr原画像 
Pr原画像 | 劣化画像  
Pr劣化画像 

周辺尤度
物理フラクチュオマティクス論(東北大)
11
画像修復の事前確率分布
PrF  f  
1
Z Prior
２値画像の例
(fi=0,1)
E：すべての
最近接画素
対の集合
 1
2
exp     f i  f j  
 2 {i , j}E

マルコフ連鎖モンテカルロ法によるサンプリング
 1
Ferromagnetic
Paramagnetic
V：すべての画
素の集合
 4
 2
α=1.76… 付近で
ゆらぎが大きくなる．
物理フラクチュオマティクス論(東北大)
12
劣化過程
２元対称通信路 (Binary Symmetric Channel)
PrG  g F  f    p
1 fi ,gi
1  p
fi , gi
iV
V：すべての画
素の集合
物理フラクチュオマティクス論(東北大)
13
劣化過程
加法的白色ガウス雑音 (Additive White Gaussian Noise)
PrG  g F  f   
iV
 1
2
exp  2  f i  gi  
 2

2 2
1

gi  fi ~ N 0, 2
V：すべての画
素の集合
物理フラクチュオマティクス論(東北大)

14
ベイズ統計・最尤推定と画像処理
PrF  f 
f
事前確率
原画像
画素
PrG  g F  f 
g
g
加法的白色ガウス雑音劣化画像
または２元対称通信路
事後確率
PrF  f G  g 
fˆi  PrFi  f i G  g 
PrG  g F  f PrF  f 
PrG  g
 PrF 
f \ fi
f G  g
計算困難
各画素ごとの周辺事後確率
物理フラクチュオマティクス論(東北大)
15
画像処理とベイズ統計の事後確率
PrF  f G  g 
1
Z Posterior
 1
1
2
2

exp     f i  g i      f i  f j  
2 {i , j}E
 2 iV

1 p 

 p 
2元対称通信路   2 ln
加法的白色ガウス雑音  
PrF  f G  g 
1
Z Posterior
1
2
  f , f 
{i , j }
i
j
{i , j }E
1
1
 1
2
2
2
{i , j}  f i , f j   exp    f i  gi     f j  g j     f i  f j  
8
2
 8

物理フラクチュオマティクス論(東北大)
16
確率的画像処理とベイジアンネットワーク
事後確率
ベイジアンネットワーク
P rF  f G  g

P rG  g F  f P rF  f 
P rG  g
閉路のあるグラフ上の確率モデル
1
PrF  f G  g 
Z Posterior
  f , f 
{i , j }
i
j
{i , j }E
V：すべての画素の集合
E：すべての最近接画素対の集合
物理フラクチュオマティクス論(東北大)
17
マルコフ確率場
PrF  f G  g 
  f , f 
1
{i , j }
Z Posterior
i
j
{i , j }E
P rFi  f i F1  f1 ,, Fi 1  f i 1 , Fi 1  f i 1 , , FL  f L , G  g
 f , f 

P rF  f G  g


 Px x
 P rF  z G  g   z , f 
{i , j }
i
j
ji
i
{i , j }
zi
(V , E )
zi
i
i
j
j  i

j
ji
i
(V , E )
マルコフ確率場
i ：画素 i のすべての最近接画素の集合
物理フラクチュオマティクス論(東北大)
18
確率伝搬法
閉路のあるグラフ上の確率モデル
PrF  f G  g 
1
Z Posterior
  f , f 
{i , j }
i
j
{i , j }E
V：すべての画素の集合
E：すべての最近接画素対の集合
P rF1  f1 G  g 
 P rF  f G  g
f \ f1
３
４
１
５
２
M 21  f1 M 31  f1 M 41  f1 M 51  f1 

 M 21 z1 M 31 z1 M 41 z1 M 51 z1 
z1
物理フラクチュオマティクス論(東北大)
19
閉路のあるグラフ上の確率モデル
M 12  f 2  
  z , f M z M z M z 
{1, 2}
1
３
５
51
1
1
  z , z M z M z M z 
z1
１
41
1
z1
{1, 2}
４
31
2
２
1
2
31
1
41
1
51
1
z2
閉路のあるグラフ上でも局所的な
構造だけに着目してアルゴリムを
構成することは可能．
ただし，得られる結果は厳密では
なく近似アルゴリズム
 
  
M  M
メッセージに対する固
定点方程式
物理フラクチュオマティクス論(東北大)
20
確率伝搬法による２値画像の画像修復アルゴリズム
Step 1: 8L 個のメッセージについての連立非線形方程式
1
  z , f M z M z M z 
３
４
１
２
M 12  f 2  
z1 0
1
1
{1, 2}
31
2
41
1
51
1
1
   z , z M z M z M z 
z1 0 z 2 0
５
1
{1, 2}
1
2
31
1
41
1
51
1
を反復法により数値的に解く．
Step 2: 得られたメッセージを
３
４
１
５
P1  f1  
２
M 21  f1 M 31  f1 M 41  f1 M 51  f1 

1
z 0
M 21 z1 M 31 z1 M 41 z1 M 51 z1 
に代入し，原画像の推定値を
fˆ1  arg max P1 z 
により求める．
z 0 ,1
具体的なアルゴリズムは
田中和之: 統計力学を用いた確率的画像処理アルゴリズムの基礎 -- 確率伝搬法と統計力学 --,
ミニ特集「ベイズ統計・統計力学と情報処理」, 計測と制御, vol.42, no.8, pp.631-636, 2003.
などを参照．
物理フラクチュオマティクス論(東北大)
21
Binary Image Restoration
by Gaussian Graphical Model
p  0.2


ˆ は統計的学習理論
(α,p) の推定値 ˆ , p
により劣化画像から決定
pˆ
ˆ
MSE
p=0.1
0.07072
0.28981
0.07902
p=0.2
0.11864
0.38206
0.17184
p  0.2
MSE
ˆ
pˆ
p=0.1
0.04761
0.41097
0.04857
p=0.2
0.08319
0.39216
0.13290
MSE 

1
f i  fˆi

|  | i
物理フラクチュオマティクス論(東北大)

2
22
Binary Image Restoration
by Gaussian Graphical Model
原画像
劣化画像 p  0.2
物理フラクチュオマティクス論(東北大)
修復画像
23
Image Restoration
by Gaussian Graphical Model
  40


ˆ , ˆは統計的学習理論
(α,σ) の推定値
により劣化画像から決定
ˆ
MSE
  40
Belief
Propagation
Belief
Propagation
327
ˆ
0.000611
36.302
MSE
ˆ
ˆ
260
0.000574
33.998
MSE 

1
f i  fˆi

|  | i
物理フラクチュオマティクス論(東北大)

2
24
Image Restoration by Gaussian Graphical
Model and Conventional Filters
Degraded Image
Original Image
  40
MSE
Belief Propagation
327
Lowpass
Filter
(3x3)
388
(5x5)
413
Median
Filter
(3x3)
486
(5x5)
445
MSE 
Belief Propagation
(3x3) Lowpass

1
 fi  fˆi
|  | i
(5x5) Median
物理フラクチュオマティクス論(東北大)
25

2
Image Restoration by Gaussian Graphical
Model and Conventional Filters
MSE
Degraded Image
Original Image
  40
Belief Propagation
260
Lowpass
Filter
(3x3)
241
(5x5)
224
Median
Filter
(3x3)
331
(5x5)
244
MSE 
Belief Propagation
(5x5) Lowpass

1
f i  fˆi

|  | i
(5x5) Median
物理フラクチュオマティクス論(東北大)
26

2
Gray-Level Image Restoration
(Spike Noise)
Original Image
Belief
Propagation
Lowpass Filter
Median Filter
MSE: 2075
MSE: 244
MSE: 217
MSE:135
MSE: 3469
MSE: 371
Degraded
Image
MSE: 523
物理フラクチュオマティクス論(東北大)
MSE: 395
27
カラー画像の確率的画像修復
原画像
劣化画像
修復画像
ハイパパラメータ,  は周辺尤度最大化で
決定．解析的に扱えるモデルでは良好
物理フラクチュオマティクス論(東北大)
28
カラー画像の確率的画像修復
原画像
劣化画像
修復画像
ハイパパラメータ, は周辺尤度最大化で決
定．解析的に扱えるモデルでは良好
物理フラクチュオマティクス論(東北大)
29
結合ガウス・マルコフ確率場モデル
 1 M N
1
2
P f g   exp     f x , y  g x , y 
Z
 2 x 1 y 1




1 M N
2
2
   1  u xx,y1, y  f x , y  f x 1, y   1  u xx,,yy 1  f x , y  f x , y 1 
2 x 1 y 1

 V u 
ライン場についての事前情報 V(u)
物理フラクチュオマティクス論(東北大)
30
結合ガウス・マルコフ確率場モデル
原画像
劣化画像
ライン場を導入した
確率場モデル
ライン場のない確
率場モデル
量子力学的に拡張されたライ
ン場を導入した確率場モデル
物理フラクチュオマティクス論(東北大)
31
結合ガウス・マルコフ確率場モデル
原画像
劣化画像
ライン場を導入した
確率場モデル
ライン場のない確
率場モデル
量子力学的に拡張されたライ
ン場を導入した確率場モデル
物理フラクチュオマティクス論(東北大)
32
まとめ
画像処理の基礎
確率的画像処理としてのベイジアンネット
ワーク
確率伝搬法によるアルゴリズム化
さらなる詳細は
田中和之著: 確率モデルによる画像処理入門，
森北出版，2006
を参照．
付録にお試しプログラムを掲載．
物理フラクチュオマティクス論(東北大)
33
演習問題10－1
確率場 F=(F1,F2,…,F|V|)T および G=(G1,G2,…,G|V|)T およびその状態ベクトル変数
f=(f1,f2,…,f|V|)T および g=(g1,g2,…,g|V|)Tから定義される事後確率
PrF  f G  g 
1
Z Posterior
  f , f 
{i , j }
i
j
{i , j }E
に対して PrFi  fi F1  f1,, Fi 1  fi 1, Fi 1  fi 1,, FL  f L , G  g
PrFi  f i F1  f1 ,, Fi 1  f i 1 , Fi 1  f i 1 ,, FL  f L , G  g 
PrF  f G  g
 PrF  z G  g
zi
が成り立つことを説明し，その上で次の等式が成り立つことを示せ．
 f , f 

P rF  f G  g

 P rF  z G  g   z , f 
{i , j }
i
j
ji
{i , j }
zi
zi
i
j
ji
ここで ZPosterior は規格化定数，Eはすべての最隣接頂点対の集合，
i は画素 i のすべての最近接画素の集合を表す．
物理フラクチュオマティクス論(東北大)
34
演習問題10－2
各画素の階調値が 0 または 1 をとる２階調の画像 f =(f1,f2,…,f|V|)T を読
み込み各画像ごと独立に確率 p （0<p<0.5）の２元対称通信路
PrG  g F  f    p
1 fi ,gi
1  p
fi , gi
iV
により劣化画像 g=(g1,g2,…,g|V|)T を生成するプログラムを作成し，数値
実験を実行せよ．
f
g
p=0.2 の数値実験例
物理フラクチュオマティクス論(東北大)
35
演習問題10－3
各画素の階調値が 0 ,1,…Q-1 をとるQ階調の画像 f =(f1,f2,…,f|V|)T を読
み込み各画像ごと独立に平均0，分散2の加法的白色ガウスノイズ
PrG  g F  f   
iV
 1
2
exp  2  f i  gi  
 2

2 2
1
により劣化画像 g=(g1,g2,…,g|V|)T を生成するプログラムを作成し，数値
実験を実行せよ．ここで，Vはすべての画素からなる集合である．
物理フラクチュオマティクス論(東北大)
36
演習問題10－4
各画素の階調値が 0 または 1 をとる2階調の画像 g =(g1,g2,…,g|V|)T を
読み込み，これを劣化画像として原画像 f =(f1,f2,…,fL)T の事後確率
PrF  f G  g 
1
Z Posterior
  f , f 
ij
i
j
ijB
1
1
 1
2
2
2
 ij  f i , f j   exp    f i  gi     f j  g j     f i  f j  
8
2
 8

に対する確率伝搬法によりノイズを除去する（画像修復の）プログラム
を作成し，数値実験を実行せよ．ZPosterior は規格化定数である．
具体的なアルゴリズムは
田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006．
田中和之: 統計力学を用いた確率的画像処理アルゴリズムの基礎 -- 確率伝
搬法と統計力学 -- (解説), ミニ特集「ベイズ統計・統計力学と情報処理」, 計測
自動制御学会誌「計測と制御」, Vol.42, No.8 (August 2003), pp.631-636.
などを参照．
物理フラクチュオマティクス論(東北大)
37
演習問題10－4 のヒント
Step 1: 4L 個のメッセージについての連立非線形方程式
1
３
４
１
２
M 12  f 2  
５
  z , f M z M z M z 
12
z1 0
1
1
1
31
2
41
1
51
1
1
   z , z M z M z M z 
z1 0 z 2 0
12
1
2
31
1
41
1
51
1
を反復法により数値的に解く．
Step 2: 得られたメッセージを
３
４
１
５
２
P1  f1 g,  ,   
M 21  f1 M 31  f1 M 41  f1 M 51  f1 

1
z 0
M 21 z1 M 31 z1 M 41 z1 M 51 z1 
に代入し，原画像の推定値を
fˆ1  arg max P1 z 
により求める．
z 0 ,1
物理フラクチュオマティクス論(東北大)
38
演習問題10－5
各画素の階調値が任意の実数値をとる画像 g =(g1,g2,…,g|V|)T を読み
込み，これを劣化画像として原画像 f =(f1,f2,…,f|V|)T の事後確率
PrF  f G  g 
1
  f , f 
Z Posterior {i , j}E
{i , j }
i
j
1
1
 1
2
2
2
{i , j}  f i , f j   exp    f i  gi     f j  g j     f i  f j  
8
2
 8

に対する確率伝搬法によりノイズを除去する（画像修復の）プログラム
を作成し，数値実験を実行せよ．ZPosterior は規格化定数である．
具体的なアルゴリズムは
田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006．
を参照．
物理フラクチュオマティクス論(東北大)
39

Download Report