統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--２００３年８月１２日後半東北大学大学院情報科学研究科田中和之 [email protected] http://www.statp.is.tohoku.ac.jp/~kazu/ 第４８回物性若手研究者夏の学校 1 この時間の主な内容ギブス分布と自由エネルギー自由エネルギーとカルバックライブラー情報量イジング模型と平均場近似カルバックライブラー情報量と平均場近似第４８回物性若手研究者夏の学校 2 自由エネルギーが何故情報処理に有効？多くの情報処理は大規模確率モデル計算困難の問題近似で良いから，現実的計算時間で近い結果が得られれば満足．統計力学の歴史は常にシステムサイズ無限大との戦いの歴史である．豊富な経験第４８回物性若手研究者夏の学校 3 ギブス分布と自由エネルギー PrA1  a1, A2  a2 ,, AN  aN   Pa1, a2 ,, aN  PrA  a  Pa  ギブス分布分配関数 1 P a   exp  E (a )  Z 自由エネルギー A  ( A1 , A2 ,, AN ) Z   exp E a a   F   ln Z   ln  exp E a  a  第４８回物性若手研究者夏の学校 4 統計力学における基本原理 1 ギブス分布 P a   exp  E (a )  Z は自由エネルギー最小の変分原理を満たし，その最小値が – ln Z となる．   minF [Q]  Qa   1  F [ P]   ln Z Q a   F[Q]   EaQa   Qaln Qa a a 第４８回物性若手研究者夏の学校 5 自由エネルギー最小の変分原理の具体的計算   minF [Q]  Qa   1  F [ P]   ln Z Q a       LQ   F Q      Qa   1   E a   ln Qa Qa      Qa   1  a  a  a  LQ  E a   ln Qa   1    0 Qa  Qˆ a   exp Ea    1 exp E (a)  ˆ Qa    exp E (a) 規格化条件第４８回物性若手研究者夏の学校 a  P(a) 6 カルバック・ライブラー情報量と自由エネルギー  Qa     0 DQ P   Q(a) ln a  Pa     Qa   0,  Qa   Pa   DQ P  0  a Q(a)  1 1 P a   exp  E (a )  Z D[Q | P]   Q(a )E a    Q(a ) ln Qa   ln Z f  f F [Q ]  F [Q]  ln Z 自由エネルギーが最小になるとき，カルバック・ライブラー情報量も最小となる．第４８回物性若手研究者夏の学校 7 イジング模型と平均場近似 s  sx, y x, y  sx, y  1 1 P s   exp  E ( s )  Z Es     Bx, y sx, y  C sx, y sx1, y  sx, y sx, y 1  ( x , y ) y 問題： M x, y   sx, y Ps  を計算せよ． s 2|Ω| 通りの和を計算するのは困難．第４８回物性若手研究者夏の学校  x 8 イジング模型と平均場近似 Es     B ( x , y ) x, y sx, y  C sx, y sx1, y  sx, y sx, y 1  sx, y  M x, y sx', y'  M x', y'   0 のとき確率が非常に大きくなると仮定 sx, y sx', y'  M x, y sx', y'  M x', y' sx, y  M x, y M x', y'  Bx , y  Cm x 1, y  Cm x 1, y  sx, y E s        Cm x , y 1  Cm x , y 1  ( x , y )  第４８回物性若手研究者夏の学校 9 イジング模型と平均場近似 1 Ps   exp E (s)    Px , y s x , y  Z ( x , y ) Es    B ( x , y ) x, y  CM x1, y  CM x1, y  CM x, y 1  CM x, y 1 sx, y 確率変数 Sx,y は互いに独立 M x, y   sx, y Ps   tanhBx, y  C M x1, y  M x1, y  M x1, y  M x1, y  s  M  M x, y ( x, y)          に対する固定点方程式 M   M 第４８回物性若手研究者夏の学校 10 固定点方程式と反復法固定点方程式反復法繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる．         M1   M 0   M 2   M1   M3   M2    *  * M  M yx y M1 0 y  (x) M * M1 第４８回物性若手研究者夏の学校 M0 x 11 平均場近似の情報論的理解   Q(s )    Qx , y s x , y  と  ( x , y )  1 Ps   exp  E s  Z の距離をカルバック・ライブラー情報量  Qs    DQ P   Q( s) ln s  Ps   で計って最小になるように周辺確率分布を決定する Qx , y ( s x , y )   Q s    Qx, y sx, y s \ sx ,y 第４８回物性若手研究者夏の学校 12 平均場近似におけるカルバックライブラー情報量  Qs    DQ P   Q( s) ln  Ps   s   Q(s )    Qx , y s x , y   ( x , y )   Qx , y ( s x , y )   Q s  s \ sx ,y  DQ P  FMF Qx, y   lnZ            Qx , y   Bx , y  C    Qx 1, y      Qx , y 1       1      1    1         FMF [{Qx , y }]      ( x , y )     Qx , y   ln Qx , y     1  第４８回物性若手研究者夏の学校 13 カルバック・ライブラー情報量の最小化と平均場方程式     ˆ Qx, y    arg minDQ P Qx, y    1, ( x,y)   Qx , y        条件付き変分         exp  Bx, y  C    Qˆ x1, y    Qˆ x1, y    Qˆ x, y 1    Qˆ x, y 1         1      Qˆ x, y            exp   Bx, y  C   Qˆ x1, y    Qˆ x1, y    Qˆ x, y1   Qˆ x, y1      1   1        ｛Ｑx,y } に対する固定点方程式第４８回物性若手研究者夏の学校 14 イジング模型における周辺確率分布の直交関数展開 s  sx, y x, y  sx, y  1 Qx , y ( s x , y )   Q s  s \ sx ,y mx , y   s x , y Q s   s 1 1 Qx , y s x , y    mx , y s x , y 2 2 s s x , y  1  Qx , y s x , y   a  bsx , y x, y Qx , y s x , y  ( s x , y  1) 2 1 1  Q s    a  bs  2a  a  2  Q s   2 s x , y  1 s s x , y  1 x, y x, y x, y x, y s x , y  1 Qx , y s x , y   s x , y  1 x, y x, y 1  s a  bs  2b  b  2  s s x , y  1 x, y 第４８回物性若手研究者夏の学校 x, y s x , y  1 x, y Qx , y s x , y   1 mx , y 2 15 通常の平均場方程式へ 1 1 ˆ ˆ Qx , y s x , y    M x , y s x , y 2 2   Mˆ x, y  tanh Bx, y  C Mˆ x1, y  Mˆ x1, y  Mˆ x1, y  Mˆ x1, y 固定点方程式 ˆ   s P s  M  x, y x, y  s ˆ s  s Q  x, y x, y x, y s x , y  1 第４８回物性若手研究者夏の学校 16  イジング模型の確率変数 Sx,y の期待値    Mˆ x, y  tanh Bx, y  C Mˆ x1, y  Mˆ x1, y  Mˆ x1, y  Mˆ x1, y Bx, y  h / T 1  C  J /T  exp hsx , y  J s x , y s x 1, y  s x , y s x , y 1   T ( x , y )   P s   1  hsx, y  J sx, y sx1, y  sx, y sx, y 1  s exp T ( x , y )   なら Mˆ x , y は (x,y) によらなくなる．  h 4J  lim  s x , y Ps   m  tanh  m || T T  s mに対する固定点方程式第４８回物性若手研究者夏の学校 17 イジング模型の確率変数の期待値 J   exp  T  s x , y s x 1, y  s x , y s x , y 1  ( x , y )     P s  J   exp   T  s x , y s x 1, y  s x , y s x , y 1  s  ( x , y )  (a) (b) (c) (d) lim  sx, y Ps  || s 平均場近似（ワイス近似）ベーテ近似クラスター変分法（菊池近似）厳密解（L. Onsager） h0 T/J 第４８回物性若手研究者夏の学校 18 ここまでのまとめ統計力学と情報処理の不思議な共通点ギブス分布と自由エネルギー．自由エネルギーとカルバックライブラー情報量．平均場近似の情報論的理解．明日の予定ベイズ統計を用いた確率的画像処理ベーテ近似を用いた確率的画像処理アルゴリズム第４８回物性若手研究者夏の学校 19