確率モデルによる画像処理技術入門

物理フラクチュオマティクス論
Physical Fluctuomatics
第6回線形モデルによる統計的推定
6th Linear models and statistical inferences
東北大学大学院情報科学研究科応用情報科学専攻
田中和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
本講義のWebpage:
http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2007/
15 May, 2007
物理フラクチュオマティクス論(東北大)
1
今回の講義の講義ノート
田中和之著：
確率モデルによる画像処理技術入門，
森北出版，第４章，2006．
15 May, 2007
物理フラクチュオマティクス論(東北大)
2
ベイズの公式による確率的推論の例（１）
A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，
機嫌のよい期間はわずかの 1/4 にすぎない．
教授には美人の秘書がいるが，よく観察してみると，教授の機嫌の
よいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8
回中 1 回にすぎない．
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回で
ある．
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一：情報理論 (ダイヤモンド社，1970) より
15 May, 2007
物理フラクチュオマティクス論(東北大)
3
ベイズの公式による確率的推論の例（２）
教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの
1/4 にすぎない．
1
Pr教授機嫌良い  
4
3
Pr教授機嫌悪い  
4
教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．
7
Pr秘書機嫌良い教授機嫌良い  
8
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．


Pr 秘書機嫌良い教授機嫌悪い 
15 May, 2007
物理フラクチュオマティクス論(東北大)
1
4
4
ベイズの公式による確率的推論の例（３）
P r秘書機嫌良し


 P r秘書機嫌良し教授機嫌悪い P r教授機嫌悪い 
 P r 秘書機嫌良し教授機嫌良し P r教授機嫌良し
7 1 1 3 13
    
8 4 4 4 32
1


Pr 教授機嫌良い 
Pr教授機嫌悪い  
4


Pr 秘書機嫌良い教授機嫌悪い 
15 May, 2007

3
4

1
7
Pr 秘書機嫌良い教授機嫌良い 
4
8
物理フラクチュオマティクス論(東北大)
5
ベイズの公式による確率的推論の例（４）

P r 教授機嫌良し秘書機嫌良し

7 1
P r 秘書機嫌良し教授機嫌良し P r教授機嫌良し 8  4 7



13
P r秘書機嫌良し
13
32




7
Pr 秘書機嫌良い教授機嫌良い 
8
Pr教授機嫌良い  
1
4
13
Pr秘書機嫌良い  
32
15 May, 2007
物理フラクチュオマティクス論(東北大)
6
統計的学習理論とデータ
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．
7
Pr秘書機嫌良い教授機嫌良い  
8
すべての命題に対してデータが完全かつ十分に得られている場合
標本平均，標本分散などから確率を決定することができる．
「教授の機嫌の悪いときで，彼女の機嫌のよいとき」の
データが分からなかったらどうしよう?
不完全データ
15 May, 2007
物理フラクチュオマティクス論(東北大)
7
統計的学習理論とモデル選択
データから確率モデルの確率を推定する操作
モデル選択
統計的学習理論における確率モデルのモデル選択の代表例
最尤推定に基づく定式化
更なる
拡張
不完全データにも対応
EMアルゴリズムによるアルゴリズム化
確率伝搬法，マルコフ連鎖モンテカルロ法に
よるアルゴルズムの実装
赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc.
15 May, 2007
物理フラクチュオマティクス論(東北大)
8
最尤推定
データ
パラメータ
 ,
 g0 


  g1 
g 
 


g 
 N 1 

ˆ , ˆ   arg max Pg  ,  
  , 
N 1

Pg  ,    
i 0
平均μと標準偏差σが与えられたと

きの確率密度関数をデータ g が与
えられたときの平均μと分散σ2に対
する尤もらしさを表す関数（尤度関
数）とみなす．
 Pg  ,  
0

極値条件  
   ˆ , ˆ
 Pg  ,  
0





   ˆ , ˆ
N 1
標本平均
   gi
i 0
15 May, 2007
 1
2
exp  2 gi    
 2

2 2
1
N
1
2
2
   gi    標本分散
N i 1
物理フラクチュオマティクス論(東北大)
9
最尤推定
データ



 
f 








f N 1 
f0
f1

極値条件

 g0 


  g1 
g 
 


g 
 N 1 
 Pg  ,  
0





  ˆ , ˆ

 
 
 , 

 

 
P f , g  ,  P g f , P f 


N 1

P g f ,  
i 0

2
    fi 
 i 0

 1
2
exp  2 gi  f i  
 2

2 2
1
 
N 1


  
P f  
exp  f i 2 
2
 2 
i 0
 Pg  ,  
0





  ˆ , ˆ
N 1
15 May, 2007

 
ˆ ,ˆ   arg max P f , g  , 
パラメータ
1
N 1
1
2
2
   gi  f i 
N i 1
物理フラクチュオマティクス論(東北大)
10

f
最尤推定
が分からなかったらどうしよう

ˆ  arg max Pg  
データ
ハイパパラメータ



 
f 



不完全





f N 1 
f0
f1

データ
パラメータ

ベイズの公式


f


N 1

P g f ,  
 ˆ
i 0
 1
2
exp  2 gi  f i  
 2

2 2
1

 N 1
P f 
0
i 0
1
 1 
exp  fi 2 
2
 2 


まずP f は完全に
1
ˆ  1   gi2
N i 1


f
2

 
P g f , P f

P f g, 

Pg  
15 May, 2007



N 1
不完全
データ

周辺尤度
極値条件  Pg   1,  


 


 
Pg    
P f ,g  
P g f , P f


 g0 


  g1 
g 
 


g 
 N 1 
わかっている場合
を考えよう．


 
ˆ

f   f P f g , ˆ df
物理フラクチュオマティクス論(東北大)
11
信号処理の確率モデル
観測信号  原信号 白色ガウス雑音
雑音
gi
fi
i
i
通信路
原信号
観測信号
尤度
事前確率













事後確率


 Pr観測信号 | 原信号 Pr原信号 
Pr原信号観測信号  
Pr観測信号 

ベイズの公式
15 May, 2007
周辺尤度
物理フラクチュオマティクス論(東北大)
12
原信号の事前確率
 

P f 
1
Z Prior
 1
2
exp     f i  f j  
 2 ijB

画像データの場合
1次元信号データの場合
Ω：すべてのノード
（画素）の集合
15 May, 2007
B：すべての最近接
ノード（画素）対の集合
物理フラクチュオマティクス論(東北大)
13
データ生成過程
加法的白色ガウス雑音 (Additive White Gaussian Noise)


 
P g f ,  
i
 1
2
exp  2  f i  gi  
 2

2 2
1

gi  fi ~ N 0, 2
15 May, 2007
物理フラクチュオマティクス論(東北大)

14
信号処理の確率モデル
パラメータ


 
f 




不完全
データ





f N 1 
f0
f1

データ
 g0 


  g1 
g 
 


g 
 N 1 

gi
fi
i
ハイパパラメータ
i



P g f ,  
i
 

1
 1
2


P f 
exp


f

f
  2 i j 
Z prior ijB
fˆi  




f i P f g ,  ,  df


 
 

 
P g f , P f 

P f g, , 


 
 P g f , P f  df

事後確率
15 May, 2007
 1
2
exp  2 gi  f i  
 2

2 2
1
物理フラクチュオマティクス論(東北大)

15
信号処理の最尤推定
パラメータ



 
f 



不完全
データ





f N 1 
f0
f1

ハイパパラメータ

データ
 g0 


  g1 
g 
 


g 
 N 1 

ˆ , ˆ   arg max Pg  ,  
 , 

 



 
Pg  ,     P g f ,  P f  df
周辺尤度
極値条件
 Pg  ,  
 Pg  ,  
 0, 
0






 ˆ , ˆ

 ˆ , ˆ
15 May, 2007
物理フラクチュオマティクス論(東北大)
16
最尤推定とEMアルゴリズム
パラメータ

不完全
データ




 

f 



f 
 N 1 
f0
f1


データ
 g0 


  g1 
g 
 


g 
 N 1 
ハイパパラメータ
E Step : CalculateQ ,   (t ), (t ) 
M Step : Update
α(t  1),σ (t  1)
 arg maxQ ,   (t ), (t ) 
( , )
EM アルゴリズムが収束すれば
周辺尤度の極値条件の解になる．
15 May, 2007

 



 
Pg  ,     P g f ,  P f  df
周辺尤度
Q関数
Q ,   ,  

 

  P f g ,  ,   ln P f , g  ,  df

 

 Q  ,   ,  
0





   , 
 Q  ,   ,  
0




   , 
 Pg  ,  
 Pg  ,  

0
,
0









 ˆ , ˆ

 ˆ , ˆ
物理フラクチュオマティクス論(東北大)
極値条件
17
1次元信号のモデル選択
EM Algorithm
Original Signal
200
fi
100
0.04
0
Degraded Signal
200
0
127
i
255
i
255
0.03
α(t)
0.02
gi
  40
100
0
0
Estimated Signal
127
0.01
200
fˆi
0
100
0
15 May, 2007
0
127
i
255
α(0)=0.0001, σ(0)=100
物理フラクチュオマティクス論(東北大)
18
ノイズ除去のモデル選択
原画像
  40
劣化画像
MSE
327
推定画像
ˆ
0.000611
ˆ
36.30
EMアルゴリズムと
確率伝搬法
α(0)=0.0001
σ(0)=100
MSE 
15 May, 2007

1
 fi  fˆi
|  | i

2
MSE
ˆ
ˆ
260
0.000574
34.00
物理フラクチュオマティクス論(東北大)
19
ガウス混合モデル
  (0) 


   (1) 
 




  ( K  1) 


 a0 


  a 
a  1 



a 
 N 1 
 a0 


  a1 
a 
 


a 
 N 1 
  (1) 
  (1) 




   (2)     (2) 
 
,  
 
 




  (K ) 
 ( K ) 






N
  
P f a,  ,  
i 1
15 May, 2007
N

Pa     ai 
i 1


 
f 



K
  k   1
k 1





f N 1 
f0
f1


1
2
 f i   ai  
exp 
2
2  ai 
 2 ai 

1
物理フラクチュオマティクス論(東北大)
20
ガウス混合モデルのベイズ推定
事後確率
パラメータ


不完全
データ
 a0 


  a1 
a 
 


a 
 N 1 

    
P a f ,  ,  ,
   
P f a ,  ,  Pa  
   

 P f a,  , Pa  
データ






 
f 




ベイズの公式





f N 1 
f0
f1



a



N

Pa     ai 
i 1
ハイパパラメータ


N
  
P f a,  ,  
i 1
15 May, 2007

1
2

 f i   ai  
exp 
2
2  ai 
 2 ai 

1
物理フラクチュオマティクス論(東北大)
21
ガウス混合モデルのEMアルゴリズム
パラメータ


不完全
データ
 a0 


  a1 
a 
 


a 
 N 1 




周辺尤度

データ


 
f 








f N 1 
f0
f1


 
P f μ,σ,
    
  P f a,μ,σ P a γ 

a
N

K
 
i 1 k 1

 1  64,  2  127,
 3  192,  4  192,
 1   2
  3   4  10
  f i   k 2 
 k 

exp 
2
2 k  
2  k 

ˆ ˆ ˆ
  


 ,  ,   arg max P f  ,  ,  


ハイパパラメータ
    
   
   
Q , ,   , ,    Pa f ,  , , ln Pa, f  , ,  
  
 ,  ,

a
EM アルゴリズム
(t  1),  (t  1),σ(t  1)  arg (max
   Q ,  ,   (t ),  (t ), (t ) 
 ,  , )
15 May, 2007
物理フラクチュオマティクス論(東北大)
22
ガウス混合モデルの数値実験

  
P f a,  , 

Pa γ 

観測データ
 1  64,  2  127,
 3  192,  4  192,
 1   2   3   4  10
ˆ 1  63.4, ˆ 2   91.6,
ˆ 3  127.5, ˆ 4   191.5,
ˆ 1  7.5, ˆ 2   7.5
ˆ 3  7.5, ˆ 4   7.6
ˆ 1  0.20, ˆ 2   0.16
ˆ 3  0.53, ˆ 4   0.11


 
周辺確率
P f μ,σ,
    
  P f a,μ,σ P a γ 
推定結果


a
N
K
 
i 1 k 1


  f i   k 2 
 k 

exp 
2



2

k
2  k 



   

P f a ,  ,  P a   事後確率
   
   
P a f ,  ,  , 
 P f a,  ,  Pa  



a
15 May, 2007
観測データの
ヒストグラム
物理フラクチュオマティクス論(東北大)


23
ガウス混合モデルの数値実験

a

  
P f a,  , 


f
 1  64,  2  127,
 3  192,  4  192,
 1   2   3   4  20
Gauss Mixture Model



1 
Pa γ  
    ai   exp  ai ,a j
Z PR γ   i
 ijB
ポッツモデル
15 May, 2007
＋Potts Model





＋EM Algorithm
＋Belief Propagation

aˆ
物理フラクチュオマティクス論(東北大)
24
ガウス混合モデルによる
領域分割の数値実験
観測画像
ヒストグラム
 1  12.7,  1  2.7,  1  0.1831
 2   42.2,  2   18.0,  2  0.0711
 3  130.6,  3  23.6,  3  0.3375
 4   168.4,  4  11.7,  4  0.3982
 5  224.8,  5  14.4,  5  0.0101
15 May, 2007
Gauss Mixture
Gauss Mixture
Model
Model and
物理フラクチュオマティクス論(東北大)
Potts Model
Belief
Propagation
25
統計的学習理論による移動体検出
a
Segmentation
a b
b
bc
Detection
AND
Segmentation
c
Gauss Mixture Model and Potts Model with Belief Propagation
15 May, 2007
物理フラクチュオマティクス論(東北大)
26
ベイジアンネットとインターネット
観察により得られたデータから確率を求めた例
教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．
7
Pr秘書機嫌良い教授機嫌良い  
8
アンケート調査等によるデータの収集
従来はデータ収集自体が大変な作業であった
インターネットの登場により，アンケートを通して膨大な
データを一度に回収することが可能
膨大なデータから如何に効率よく本質を抽出したベ
イジアンネットを構成し，計算にのせるか？
15 May, 2007
物理フラクチュオマティクス論(東北大)
27
項目応答理論 (Item Response Theory)
問題設定：
M人の受験者に N 問の問題を出題し，採点によ
り得られたデータから各受験者の能力と各問題
の難易度を同時に推定したい．
インターネット上で選択形式の試験を実施することに
より，場所と採点要員の確保の手間を解消し，膨大
な受験者のデータを収集することが可能．
15 May, 2007
物理フラクチュオマティクス論(東北大)
28
項目応答理論 (Item Response Theory)
簡単な問題設定：
M 人の受験者に 1 問の問題を出題し，
採点により得られたデータからその問
題の難易度を同時に推定したい．
1
qˆ  1 
M
q
1
2
3
M
X
i 1
i
i 番目の受験者が正答 Xi=1
i 番目の受験者が不正答 Xi=0
いったい何人間違えたかを数えればよい．
ˆ  arg max PrX i q
q
最尤法
q
M
i 1
M個のデータ
15 May, 2007
PrX i  0 q q
1 個のパラメータ
物理フラクチュオマティクス論(東北大)
29
項目応答理論 (Item Response Theory)
基本的な問題設定：
M 人の受験者に N 問の問題を出題し，採点により得られ
たデータからその問題の難易度を同時に推定したい．
最尤法
 pˆ1,, pˆ M , qˆ1 ,, qˆ N   arg p ,,max
PrX ij pi , q j 

p , q ,,q
1
M
1
N
パラメータの推定値
M
N
i 1
j 1
MN個のデータ
i 番目の受験者が j 番
目の問題を正答 Xij=1

M+N個の
パラメータ
i 番目の受験者が j 番目
の問題を不正答 Xij=0

Pr X ij  1 pi , q j  pi 1  q j 
15 May, 2007
物理フラクチュオマティクス論(東北大)
30
項目応答理論のグラフ表現
q1
q2
X 11
たくさんのデータがパラメータを介し
て関連しながらランダムに生成
q3
p1
X 21
X 31
X 12
p2
 X 11

 X 21
X 


X
 M1
X 22
X 32
物理的計算技法が使える
15 May, 2007
物理フラクチュオマティクス論(東北大)
X 12
X 22

XM2
X 1n 

 X 2N 

 

 X MN 

 q1 
 p1 
 


  p 2    q2 
p
q  



 


p 
q 
 M
 N
31
「項目応答理論＋ベイジアンネット」の広い守備範囲
試験の実施によるデータの統計解析
問題の難易度
商品の人気度
受験者の能力
顧客の購買力
インターネット上の商取引におけるデータの統計解析への転用
ベイジアンネットと組み合わせることで顧客の年齢，性別，
職種などの属性を考慮したWebデータマイニングシステム
への進化が期待される
Web上で得られるデータの統計解析に対する
強固な理論的基盤の形成
15 May, 2007
物理フラクチュオマティクス論(東北大)
32
まとめ
最尤推定とEMアルゴリズム
ガウス混合モデル
項目応答理論
15 May, 2007
物理フラクチュオマティクス論(東北大)
33

Download Report