確率モデルによる画像処理技術入門

物理フラクチュオマティクス論
応用確率過程論
(2006年6月13日)
東北大学大学院情報科学研究科
田中和之
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
本講義の田中和之助教授担当分のWebpage:
http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2006/
2006/6/13
物理フラクチュオマティクス論(東北大)
1
本講義の参考文献
田中和之・樺島祥介編, ミニ特集/ベイズ統計・統計力学と情報処
理, 計測と制御 2003年8月号．
田中和之，村田昇，赤穂昭太郎他著，小特集/確率を手なづける秘
伝の計算技法～古くて新しい確率・統計モデルのパラダイム～，電
子情報通信学会誌 2005年9月号．
人工知能学会編：人工知能学事典，共立出版, 2005年12月 (田中和
之，樺島祥介，岡田真人他分担執筆)．
田中和之編著: 数理科学臨時別冊 SCG ライブラリ「確率的情報処
理と統計力学 ---様々なアプローチとそのチュートリアル---」，
サイエンス社，2006年9月刊行．
田中和之著: 確率モデルによる画像処理技術入門，森北出版，2006年末
刊行予定．
2006/6/13
物理フラクチュオマティクス論(東北大)
2
前回（５月９日）までの田中助教授担当分のまとめ
確率的情報処理とベイジアンネットワーク（5月2日）
確率的計算技法の基礎(5月2日)
マルコフ連鎖モンテカルロ法
確率伝搬法
ベイジアンネットワークと確率的情報処理の応用事例（5月9日）
確率的画像処理
確率推論
今回の話題（６月１３日）
統計的学習理論
モデル選択とEMアルゴリズム
2006/6/13
物理フラクチュオマティクス論(東北大)
3
Contents
1.
2.
3.
4.
5.
6.
序論：確率的情報処理とベイジアンネットワーク（５月２日）
確率的計算技法の基礎
---マルコフ連鎖モンテカルロ法と確率伝搬法---（５月２日）
確率的画像処理とベイジアンネットワーク ---マルコフ確率
場と確率伝搬法--- （５月９日）
確率推論とベイジアンネットワーク---グラフィカルモデルと
確率伝搬法--- （５月９日）
統計的学習理論とモデル選択（６月１３日）
確率的情報処理のこれまでとこれから（６月１３日）
2006/6/13
物理フラクチュオマティクス論(東北
大)
4
ベイズの公式による確率的推論の例（１）
A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，
機嫌のよい期間はわずかの 1/4 にすぎない．
教授には美人の秘書がいるが，よく観察してみると，教授の機嫌の
よいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8
回中 1 回にすぎない．
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回で
ある．
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一：情報理論 (ダイヤモンド社，1970) より
2006/6/13
物理フラクチュオマティクス論(東北大)
5
ベイズの公式による確率的推論の例（２）
教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの
1/4 にすぎない．
1
Pr教授機嫌良い  
4
3
Pr教授機嫌悪い  
4
教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．
7
Pr秘書機嫌良い教授機嫌良い  
8
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．


Pr 秘書機嫌良い教授機嫌悪い 
2006/6/13
物理フラクチュオマティクス論(東北大)
1
4
6
ベイズの公式による確率的推論の例（３）
P r秘書機嫌良し


 P r秘書機嫌良し教授機嫌悪い P r教授機嫌悪い 
 P r 秘書機嫌良し教授機嫌良し P r教授機嫌良し
7 1 1 3 13
    
8 4 4 4 32
1


Pr 教授機嫌良い 
Pr教授機嫌悪い  
4


Pr 秘書機嫌良い教授機嫌悪い 
2006/6/13

3
4

1
7
Pr 秘書機嫌良い教授機嫌良い 
4
8
物理フラクチュオマティクス論(東北大)
7
ベイズの公式による確率的推論の例（４）

P r 教授機嫌良し秘書機嫌良し

7 1
P r 秘書機嫌良し教授機嫌良し P r教授機嫌良し 8  4 7



13
P r秘書機嫌良し
13
32




7
Pr 秘書機嫌良い教授機嫌良い 
8
Pr教授機嫌良い  
1
4
13
Pr秘書機嫌良い  
32
2006/6/13
物理フラクチュオマティクス論(東北大)
8
統計的学習理論とデータ
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．
7
Pr秘書機嫌良い教授機嫌良い  
8
すべての命題に対してデータが完全かつ十分に得られている場合
標本平均，標本分散などから確率を決定することができる．
「教授の機嫌の悪いときで，彼女の機嫌のよいとき」の
データが分からなかったらどうしよう?
不完全データ
2006/6/13
物理フラクチュオマティクス論(東北大)
9
統計的学習理論とモデル選択
データから確率モデルの確率を推定する操作
モデル選択
統計的学習理論における確率モデルのモデル選択の代表例
最尤推定に基づく定式化
更なる
拡張
不完全データにも対応
EMアルゴリズムによるアルゴリズム化
確率伝搬法，マルコフ連鎖モンテカルロ法に
よるアルゴルズムの実装
赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc.
2006/6/13
物理フラクチュオマティクス論(東北大)
10
最尤推定
データ
パラメータ
 ,
 g0 


  g1 
g 
 


g 
 N 1 

ˆ , ˆ   arg max Pg  ,  
  , 
N 1

Pg  ,    
i 0
平均μと標準偏差σが与えられたと

きの確率密度関数をデータ g が与
えられたときの平均μと分散σ2に対
する尤もらしさを表す関数（尤度関
数）とみなす．
 Pg  ,  
0

極値条件  
   ˆ , ˆ
 Pg  ,  
0





   ˆ , ˆ
N 1
標本平均
   gi
i 0
2006/6/13
 1
2
exp  2 gi    
 2

2 2
1
N
1
2
2
   gi    標本分散
N i 1
物理フラクチュオマティクス論(東北大)
11
最尤推定
データ



 
f 








f N 1 
f0
f1

極値条件

 g0 


  g1 
g 
 


g 
 N 1 
 Pg  ,  
0





  ˆ , ˆ

 
 
 , 

 

 
P f , g  ,  P g f , P f 


N 1

P g f ,  
i 0

2
    fi 
 i 0

 1
2
exp  2 gi  f i  
 2

2 2
1
 
N 1


  
P f  
exp  f i 2 
2
 2 
i 0
 Pg  ,  
0





  ˆ , ˆ
N 1
2006/6/13

 
ˆ ,ˆ   arg max P f , g  , 
パラメータ
1
N 1
1
2
2
   gi  f i 
N i 1
物理フラクチュオマティクス論(東北大)
12

f
最尤推定
が分からなかったらどうしよう

ˆ  arg max Pg  
データ
ハイパパラメータ



 
f 



不完全





f N 1 
f0
f1

データ
パラメータ

ベイズの公式


f


N 1

P g f ,  
 ˆ
i 0
 1
2
exp  2 gi  f i  
 2

2 2
1

 N 1
P f 
0
i 0
1
 1 
exp  fi 2 
2
 2 


まずP f は完全に
1
ˆ  1   gi2
N i 1


f
2

 
P g f , P f

P f g, 

Pg  
2006/6/13



N 1
不完全
データ

周辺尤度
極値条件  Pg   1,  


 


 
Pg    
P f ,g  
P g f , P f


 g0 


  g1 
g 
 


g 
 N 1 
わかっている場合
を考えよう．


 
ˆ

f   f P f g , ˆ df
物理フラクチュオマティクス論(東北大)
13
信号処理の確率モデル
観測信号  原信号 白色ガウス雑音
雑音
gi
fi
i
i
通信路
原信号
観測信号
尤度
事前確率













事後確率


 Pr観測信号 | 原信号 Pr原信号 
Pr原信号観測信号  
Pr観測信号 

ベイズの公式
2006/6/13
周辺尤度
物理フラクチュオマティクス論(東北大)
14
原信号の事前確率
 

P f 
1
Z Prior
 1
2
exp     f i  f j  
 2 ijB

画像データの場合
1次元信号データの場合
Ω：すべてのノード
（画素）の集合
2006/6/13
B：すべての最近接
ノード（画素）対の集合
物理フラクチュオマティクス論(東北大)
15
データ生成過程
加法的白色ガウス雑音 (Additive White Gaussian Noise)


 
P g f ,  
i
 1
2
exp  2  f i  gi  
 2

2 2
1

gi  fi ~ N 0, 2
2006/6/13
物理フラクチュオマティクス論(東北大)

16
信号処理の確率モデル
パラメータ


 
f 




不完全
データ





f N 1 
f0
f1

データ
 g0 


  g1 
g 
 


g 
 N 1 

gi
fi
i
ハイパパラメータ
i



P g f ,  
i
 

1
 1
2


P f 
exp


f

f
  2 i j 
Z prior ijB
fˆi  




f i P f g ,  ,  df


 
 

 
P g f , P f 

P f g, , 


 
 P g f , P f  df

事後確率
2006/6/13
 1
2
exp  2 gi  f i  
 2

2 2
1
物理フラクチュオマティクス論(東北大)

17
信号処理の最尤推定
パラメータ



 
f 



不完全
データ





f N 1 
f0
f1

ハイパパラメータ

データ
 g0 


  g1 
g 
 


g 
 N 1 

ˆ , ˆ   arg max Pg  ,  
 , 

 



 
Pg  ,     P g f ,  P f  df
周辺尤度
極値条件
 Pg  ,  
 Pg  ,  
 0, 
0






 ˆ , ˆ

 ˆ , ˆ
2006/6/13
物理フラクチュオマティクス論(東北大)
18
最尤推定とEMアルゴリズム
パラメータ

不完全
データ




 

f 



f 
 N 1 
f0
f1


データ
 g0 


  g1 
g 
 


g 
 N 1 
ハイパパラメータ
E Step : CalculateQ ,   (t ), (t ) 
M Step : Update
α(t  1),σ (t  1)
 arg maxQ ,   (t ), (t ) 
( , )
EM アルゴリズムが収束すれば
周辺尤度の極値条件の解になる．
2006/6/13

 



 
Pg  ,     P g f ,  P f  df
周辺尤度
Q関数
Q ,   ,  

 

  P f g ,  ,   ln P f , g  ,  df

 

 Q  ,   ,  
0





   , 
 Q  ,   ,  
0




   , 
 Pg  ,  
 Pg  ,  

0
,
0









 ˆ , ˆ

 ˆ , ˆ
物理フラクチュオマティクス論(東北大)
極値条件
19
1次元信号のモデル選択
EM Algorithm
Original Signal
200
fi
100
0.04
0
Degraded Signal
200
0
127
i
255
i
255
0.03
α(t)
0.02
gi
  40
100
0
0
Estimated Signal
127
0.01
200
fˆi
0
100
0
2006/6/13
0
127
i
255
α(0)=0.0001, σ(0)=100
物理フラクチュオマティクス論(東北大)
20
ノイズ除去のモデル選択
原画像
  40
劣化画像
MSE
327
推定画像
ˆ
0.000611
ˆ
36.30
EMアルゴリズムと
確率伝搬法
α(0)=0.0001
σ(0)=100
MSE 
2006/6/13

1
 fi  fˆi
|  | i

2
MSE
ˆ
ˆ
260
0.000574
34.00
物理フラクチュオマティクス論(東北大)
21
ガウス混合モデル
  (0) 


   (1) 
 




  ( K  1) 


 a0 


  a 
a  1 



a 
 N 1 
 a0 


  a1 
a 
 


a 
 N 1 
  (1) 
  (1) 




   (2)     (2) 
 
,  
 
 




  (K ) 
 ( K ) 






N
  
P f a,  ,  
i 1
2006/6/13
N

Pa     ai 
i 1


 
f 



K
  k   1
k 1





f N 1 
f0
f1


1
2
 f i   ai  
exp 
2
2  ai 
 2 ai 

1
物理フラクチュオマティクス論(東北大)
22
ガウス混合モデルのベイズ推定
事後確率
パラメータ


不完全
データ
 a0 


  a1 
a 
 


a 
 N 1 

    
P a f ,  ,  ,
   
P f a ,  ,  Pa  
   

 P f a,  , Pa  
データ






 
f 




ベイズの公式





f N 1 
f0
f1



a



N

Pa     ai 
i 1
ハイパパラメータ


N
  
P f a,  ,  
i 1
2006/6/13

1
2

 f i   ai  
exp 
2
2  ai 
 2 ai 

1
物理フラクチュオマティクス論(東北大)
23
ガウス混合モデルのEMアルゴリズム
パラメータ


不完全
データ
 a0 


  a1 
a 
 


a 
 N 1 




周辺尤度

データ


 
f 








f N 1 
f0
f1


 
P f μ,σ,
    
  P f a,μ,σ P a γ 

a
N

K
 
i 1 k 1

 1  64,  2  127,
 3  192,  4  192,
 1   2
  3   4  10
  f i   k 2 
 k 

exp 
2
2 k  
2  k 

ˆ ˆ ˆ
  


 ,  ,   arg max P f  ,  ,  


ハイパパラメータ
    
   
   
Q , ,   , ,    Pa f ,  , , ln Pa, f  , ,  
  
 ,  ,

a
EM アルゴリズム
(t  1),  (t  1),σ(t  1)  arg (max
   Q ,  ,   (t ),  (t ), (t ) 
 ,  , )
2006/6/13
物理フラクチュオマティクス論(東北大)
24
ガウス混合モデルの数値実験

  
P f a,  , 

Pa γ 

観測データ
 1  64,  2  127,
 3  192,  4  192,
 1   2   3   4  10
ˆ 1  63.4, ˆ 2   91.6,
ˆ 3  127.5, ˆ 4   191.5,
ˆ 1  7.5, ˆ 2   7.5
ˆ 3  7.5, ˆ 4   7.6
ˆ 1  0.20, ˆ 2   0.16
ˆ 3  0.53, ˆ 4   0.11


 
周辺確率
P f μ,σ,
    
  P f a,μ,σ P a γ 
推定結果


a
N
K
 
i 1 k 1


  f i   k 2 
 k 

exp 
2



2

k
2  k 



   

P f a ,  ,  P a   事後確率
   
   
P a f ,  ,  , 
 P f a,  ,  Pa  



a
2006/6/13
観測データの
ヒストグラム
物理フラクチュオマティクス論(東北大)


25
ガウス混合モデルの数値実験

a

  
P f a,  , 


f
 1  64,  2  127,
 3  192,  4  192,
 1   2   3   4  20
Gauss Mixture Model



1 
Pa γ  
    ai   exp  ai ,a j
Z PR γ   i
 ijB
ポッツモデル
2006/6/13
＋Potts Model





＋EM Algorithm
＋Belief Propagation

aˆ
物理フラクチュオマティクス論(東北大)
26
ガウス混合モデルによる領域分割の数値実験
観測画像
ヒストグラム
 1  12.7,  1  2.7,  1  0.1831
 2   42.2,  2   18.0,  2  0.0711
 3  130.6,  3  23.6,  3  0.3375
 4   168.4,  4  11.7,  4  0.3982
 5  224.8,  5  14.4,  5  0.0101
2006/6/13
Gauss Mixture
Gauss Mixture
Model
Model and
物理フラクチュオマティクス論(東北大)
Potts Model
Belief
Propagation
27
統計的学習理論による移動体検出
a
Segmentation
a b
b
bc
Detection
AND
Segmentation
c
Gauss Mixture Model and Potts Model with Belief Propagation
2006/6/13
物理フラクチュオマティクス論(東北大)
28
Contents
1.
2.
3.
4.
5.
6.
序論：確率的情報処理とベイジアンネットワーク（５月２日）
確率的計算技法の基礎
---マルコフ連鎖モンテカルロ法と確率伝搬法---（５月２日）
確率的画像処理とベイジアンネットワーク ---マルコフ確率場
と確率伝搬法--- （５月９日）
確率推論とベイジアンネットワーク---グラフィカルモデルと確
率伝搬法--- （５月９日）
統計的学習理論とモデル選択（６月１３日）
確率的情報処理のこれまでとこれから（６月１３日）
2006/6/13
物理フラクチュオマティクス論(東北
大)
29
モノの理とコトの技の学術的循環
コトの技を通して
モノの理を鍛える
モノの理による
新たなコトの技の
創出
共通の数理
情報統計力学
確率的情報処理
学術的循環
学術的循環
統計科学
物質の性質・自然現象の理解・予言
データからの情報の抽出・加工
モノの理
物理学
コトの技
情報工学
田中和之編著: 数理科学別冊「確率的情報処理と統計力学 ---様々な
アプローチとそのチュートリアル---」，サイエンス社，2006年9月刊行．
2006/6/13
物理フラクチュオマティクス論(東北大)
30
たくさんが関連して集まり構成されたシステム：
情報と物理が扱う対象に共通する概念
ビットが集まってデータを形成し，コトとなる．
主な研究対象
情報工学：コト
データ
物理：モノ
０,1
ビット
101101
110001
01001110111010
10001111100001
10000101000000
11101010111010
1010
コト（データ）
物質・自然現象
並びをきちんと決めることによって意味のある文章になる．
共通点：たくさんが関連
モデル化と
アルゴリズム化
の両面で有効
共通の数理を持つなら
ば物理学で提案された
計算技法と解明された
モデルの性質が確率
的情報処理システム
の設計に役に立つ．
2006/6/13
分子が集まって物質を形成し，モノになる．
分子
分子同士は引っ張り合っている．
物理フラクチュオマティクス論(東北大)
モノ（物質）
31
確率的情報処理 (Probabilistic Information
Processing) のWebを介しての更なる拡大
日常生活の
情報処理
ポイントはやはり「たくさんが関連」
ICT 技術の要請に耐えうる統計科学
通信理論・像情報処理・確率推論
データマイニング
統計科学
複雑ネットワーク科学
統計的学習理論
情報統計力学
次回の田中助教授
担当時（７月14日）の
本講義でのテーマ
2006/6/13
確率的情報処理のこれからの数理的基盤
コトの物理学としての定着
物理フラクチュオマティクス論(東北大)
32
本講演の参考文献
田中和之・樺島祥介編, “ミニ特集/ベイズ統計・統
計力学と情報処理”, 計測自動制御学会誌「計測と
制御」2003年8月号．
田中和之，村田昇，赤穂昭太郎他著，小特集/確率を
手なづける秘伝の計算技法～古くて新しい確率・統
計モデルのパラダイム～，電子情報通信学会誌2005
年9月号．
田中和之編著: 数理科学臨時別冊 SCG ライブラリ
「確率的情報処理と統計力学 ---様々なアプローチ
とそのチュートリアル---」，サイエンス社，2006年
9月刊行．
田中和之著: 確率モデルによる画像処理技術入門，森
北出版，2006年末刊行予定．
2006/6/13
物理フラクチュオマティクス論(東北大)
33

Download Report