確率モデルによる画像処理技術入門

物理フラクチュオマティクス論
Physical Fluctuomatics
第6回グラフィカルモデルと物理モデル
6th Graphical model and physical model
東北大学大学院情報科学研究科応用情報科学専攻
田中和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
15 May, 2008
物理フラクチュオマティクス論（東北大）
1
今回の講義ノート
田中和之著: 確率モデルによる画像処理技術入門,
第5章, 森北出版, 2006.
参考図書
西森秀稔：相転移・臨界現象の統計物理学，
培風館，2005．
宮下精二：熱・統計物理学，培風館，1993．
15 May, 2008
物理フラクチュオマティクス論（東北大）
2
たくさんが関連して集まり構成されたシステム：
情報と物理が扱う対象に共通する概念
ビットが集まってデータを形成し，コトとなる．
主な研究対象
情報工学：コト
データ
物理：モノ
０,1
ビット
101101
110001
01001110111010
10001111100001
10000101000000
11101010111010
1010
コト（データ）
物質・自然現象
並びをきちんと決めることによって意味のある文章になる．
共通点：たくさんが関連
分子が集まって物質を形成し，モノになる．
分子
分子同士は引っ張り合っている．
15 May, 2008
物理フラクチュオマティクス論（東北大）
モノ（物質）
3
何故，確率的情報処理に物理的視点が有効なのか？
物質はたくさんの分子から構成されている
（1 mol の中に約N=1023個の分子）
分子と分子の間には分子間力が働いている．
 f x , x ,, x 
1
x1
x2
2
N
xN
のような多重和の大規模計算が宿命（厳密計算は断念）
近似理論によるアプローチ
統計科学による情報処理も同じ多重和の計算が要請される．
物理学的計算手法の情報処理への使い回しが可能
15 May, 2008
物理フラクチュオマティクス論（東北大）
4
強磁性体と確率モデル
P(1,1)  P(1.  1)  p
P(1,1)  P(1.  1)
1
 p
2
p
p
p

a1  1 a2  1


p


1
1

1
1
1
1
P(1.  1)  P(1.  1)  P(1,1)  P(1,1)
15 May, 2008
物理フラクチュオマティクス論（東北大）
5
強磁性体と確率モデル
p
a1  1 a2  1
p

1
1


1
1
1
1

# of BlueLines 1
P(a )  p
(  p) # of Red Lines
2
=
>
赤い線が少ないほど確率
が高くなるように確率モデ
ルは設計されている
15 May, 2008
>
スピンがいくつか集まると周りのスピンの状
態をよく見ながら自分の状態を決めないとい
けなくなるもっとたくさん集まったらどうなるか?
物理フラクチュオマティクス論（東北大）
6
強磁性体の確率モデルと More is different
p
p
p


マルコフ連鎖モン
テカルロ法による
サンプリング
p



1
p
2

1
p
2
p が小さい
p が大きい
無秩序状態
秩序状態
More is different.
ある p の値の付近で
ゆらぎが大きくなる．
量が増えれば質が変わる
15 May, 2008
物理フラクチュオマティクス論（東北大）
7
外場をもつ簡単な磁性体のモデル
exp(ha)
P( a ) 
 exp(ha)
a  1
e
h
h0
e

+1
h
1
a  1
h が正値なので白（下向きスピン）の確率が高くなる．
平均
m
 aP (a)  tanh( h)
h ：外場
a  1
分散
V a 
2
2
(
a

m
)
P
(
a
)

1

tanh
( h)

a  1
15 May, 2008
物理フラクチュオマティクス論（東北大）
8
相互作用をもつ簡単な磁性体のモデル
P(a1 , a 2 ) 

exp(Ja1a 2 )
 exp(Ja1a2 )
a1  1 a 2  1
a1  1
a2  1
J ：相互作用
J 0
eJ

eJ
1
J が正値なので白白と黒黒の
確率が高くなる．
平均
m1 
分散
15 May, 2008
  a1P(a1 , a2 )  0
a1  1 a 2  1
V a1  

1
+1
+1

eJ

+1
1
eJ
1
+1



2
(
a

m
)
 1 1 P(a1, a2 )  1
a1  1 a 2  1
物理フラクチュオマティクス論（東北大）
9
強磁性体の基本的な確率モデル

a  (a1, a2 ,, a N )


1
P(a )  exp  E (a ) 
Z
ai  1

Z   exp(  E ( a ))

a

E ( a )   h  ai  J
i
B：すべての最近接ノード対の集合
 ai a j
ijB
エネルギーの役割を果たし，エネルギーが低い
状態ほど確率が高くなるようにデザインされる．

1 N
ai P(a ) を計算せよ．
問題： m 
N i 1 a

15 May, 2008
ai  1
物理フラクチュオマティクス論（東北大）
h
J
h
J

どのノードから周りを
見回しても同じにみえる
10
イジングモデルと平均場近似

a  (a1, a2 ,, a N )
h
J
ai  1


1
P(a )  exp  E (a ) 
Z

E ( a )   h  ai  J
i
h
 ai a j
J

どのノードから周りを
見回しても同じにみえる
ijB

1 N
ai P (a ) を計算せよ．
問題： m  lim lim

h  0 N   N i 1 a
自発磁化 (Spontaneous Magnetization)
15 May, 2008
物理フラクチュオマティクス論（東北大）
11
イジングモデルと平均場近似

E a   h  ai  J  ai a j
i
ijB
(ai  m)(a j  m)  0
のとき確率が非常に大きくなると仮定
h
ai a j  m a j  m ai  m 2

E ( a )    ( h  4 Jm ) ai
Jm
Jm
i
Jm
Jm
i
15 May, 2008
物理フラクチュオマティクス論（東北大）
12
イジングモデルと平均場近似


1
P(a )  exp( E (a ))   Pi (ai )
Z
i

E ( a )    ( h  4 Jm ) ai
i
確率変数 ai は互いに独立

1 N
m   ai P(a )  tanh(h  4 Jm)
N i 1 a
に対する固定点方程式
15 May, 2008
m  (m)
物理フラクチュオマティクス論（東北大）
13
固定点方程式と反復法
*
反復法
繰り返し出力を入力に入れることにより，
固定点方程式の解が数値的に得られる．
x1  ( x0 )
y
x2  ( x1 )
x1
x3  ( x2 )

15 May, 2008
*
m  (m )
固定点方程式
* x
m
1
0
物理フラクチュオマティクス論（東北大）
yx
y  (x)
x0
x
14
平均場近似による周辺確率分布
Pi (ai ) 
 
a1 a 2



P
(
a
  )
a i 1 a i 1
aN
1
exp((h  4 Jm)ai )
Zi
m
h
 ai Pi (ai )
Jm
Jm
i
Jm
Jm
a i  1
m  tanh((h  4 J )m)
15 May, 2008
物理フラクチュオマティクス論（東北大）
Jm：平均場
15
平均場近似の拡張
h
Bethe 近似
：有効場

1
Pi (ai ) 
exp((h  4 )ai )
Zi
1
Pij (ai , a j ) 
exp((h  3 )(ai  a j )  Jai a j )
Zi
Pi (ai ) 
 Pij (ai , a j )
h
a j  1
  arctanh(tanh(J ) tanh(h  3 ))
J 

h
 についての固定点方程式
Kikuchi 近似（クラスター変分法）
15 May, 2008
更なる拡張
物理フラクチュオマティクス論（東北大）
16
イジングモデルの確率変数の期待値


1
Pa  
exp h  ai  J  ai a j

Z
ijB
 i
lim




h
J
h
J


lim  ai P (a )
h  0 N   a
(a)
(b)
(c)
(d)
平均場近似（ワイス近似）
ベーテ近似
クラスター変分法（菊池近似）
厳密解（L. Onsager，C.N.Yang）
h=0 の場合は厳密解が1940年代
に得られている．
15 May, 2008
物理フラクチュオマティクス論（東北大）
1/ J
17
統計物理学におけるモデルの表現
Pr{A1  a1, A2  a2 ,, AN  a N }  P(a1, a2 ,, a N )
 

Pr{A  a}  P(a)
ギブス分布
分配関数
エネルギー関数


1
P(a )  exp(  E (a ))
Z
自由エネルギー
15 May, 2008

A  ( A1, A2 ,, AN )

Z   exp(  E ( a ))

a

F   ln Z   ln(  exp(  E ( a )) )

a
物理フラクチュオマティクス論（東北大）
18
統計物理学における基本原理


1
ギブス分布 P(a )  exp(  E (a ))
Z
は自由エネルギー最小の変分原理を満たし，
その最小値が – ln Z となる．

min{F [Q ] |  Q (a )  1}  F [ P ]   ln Z

a
Q




F [Q ]   E ( a )Q (a )   Q (a ) ln Q ( a )

a
15 May, 2008

a
物理フラクチュオマティクス論（東北大）
19
自由エネルギー最小の変分原理の具体的計算

min{F [Q ] |  Q (a )  1}  F [ P ]   ln Z
Q

a











LQ  F Q    Q(a)  1   ( E (a )  ln Q(a ))Q(a )    Q(a )  1
 
 
 

 a
 a
 a



LQ
  E (a )  ln Q(a )  1    0
Q(a )




exp

E
(
a
)


ˆ
Q(a ) 
  P( a )
Qˆ (a)  exp E(a)    1
 exp E(a)
規格化条件
15 May, 2008
物理フラクチュオマティクス論（東北大）

a
20
カルバック・ライブラー情報量
と自由エネルギー

  Q( a ) 
DQ P    Q(a ) ln    0

 P(a ) 
a




 Q(a )  0,  Q(a )  1



a




Q(a)  P(a)  DQ P  0


1
P(a )  exp(  E (a ))
Z
 


D[Q | P]   Q(a )E (a )   Q(a ) ln Q(a )  ln Z


a
a

F [Q ]
 F [Q]  ln Z
自由エネルギーが最小になるとき，カルバック・ライブラー情報量も最小となる．
15 May, 2008
物理フラクチュオマティクス論（東北大）
21
平均場近似の情報論的理解

Q(a ) 
 Qi (ai )
i
と


1
Pa   exp(  E (a ))
Z
の距離をカルバック・ライブラー情報量

  Q(a ) 
DQ P    Q(a ) ln  

 P(a ) 
a
で計って最小になるように周辺確率分布 Qi (ai )
を決定する Qi (ai )   Q(a )      Q(a )

a \ ai
15 May, 2008
a1 a 2
物理フラクチュオマティクス論（東北大）
ai 1 ai 1
aN
22
平均場近似における
カルバックライブラー情報量

  Q(a ) 
DQ P    Q(a ) ln  

 P(a ) 
a

Q(a ) 

Qi (ai )   Q(a )

 Qi (ai )
a \ ai
   
i
a1 a 2

   Q(a )
a i 1 a i 1
aN
DQ P  FMF Qi   lnZ 
FMF [{Q x, y }]  h 
 Qi ( )
i   1
J
 (  Qi ( ))(  Q j ( ))    Qi  ln Qi  
ijB   1
15 May, 2008
  1
物理フラクチュオマティクス論（東北大）
i   1
23
カルバック・ライブラー情報量の最小化
と平均場方程式
{Qˆ i ( )}  arg min{D[Q | P] |  Qi ( )  1, i  }
{Qi }

条件付き変分
頂点 i の最
近接ノード
の集合


1

Qˆ i   
exp  (h  J   Qˆ j ( )) 


Zi
j  Bi   1


Bi
i



Z i   exp  (h  J   Qˆ j ( )) 


  1
j

B



1
i


｛Qi} に対する固定点方程式
15 May, 2008
物理フラクチュオマティクス論（東北大）
24
イジングモデルにおける
周辺確率分布の直交関数展開

a  (a1, a2 ,, a N )
ai  1


Qi (ai )   Q(a )      Q(a )

a \ ai
a1 a 2
ai 1 ai 1

mi   ai Qa  

a
1 1
Qi (ai )   mi ai
2 2
 Qi (ai )  c  dai
aN
 ai Qi (ai )
a i  1
(ai 2  1)
1
1
 Qi (ai )   (c  dai ) 2c  c  2  Qi (ai )  2
a i  1
a i  1
a i  1
1
1
 ai Qi (ai )   ai (c  dai ) 2d  d  2  ai Qi (ai )  2 mi
a i  1
15 May, 2008
a i  1
物理フラクチュオマティクス論（東北大）
a i  1
25
通常の平均場方程式へ

E ( a )   h  ai  J
i
 ai a j
h
h
J
ijB
J
m1  m2    mN  m
1 1
1 1
ˆ
Qi (ai )   mi ai   ma i
2 2
2 2

どのノードから周りを
見回しても同じにみえる

 1
1

Qˆ i (ai ) 
exp (h  J   Qˆ j ( ))ai  
exp((h  4 Jm)ai )


Zi
Zi
jBi   1


m  tanh(h  4 Jm)
固定点方程式
15 May, 2008
N

1
ai P ( a )  m

N i 1 a
物理フラクチュオマティクス論（東北大）
26
今回のまとめ
統計物理学と情報処理の不思議な共通点
強磁性体の確率モデル
平均場理論
ギブス分布と自由エネルギー．
自由エネルギーとカルバックライブラー情報量．
平均場近似の情報論的理解．
15 May, 2008
物理フラクチュオマティクス論（東北大）
27

Download Report