確率的情報処理における確率伝搬型アルゴリズムと

ゆらぎが生み出す新しい情報処理技術
ベイジアンネットと確率推論
東北大学大学院情報科学研究科
田中和之
[email protected]
http://www.statp.is.tohoku.ac.jp/~kazu/
参考資料：第48回物性夏の学校講義
「統計力学と情報処理 --- 自由エネルギーの生み出す新しい情報処理技術---」
(田中和之著，物性研究, 2003)
http://www.statp.is.tohoku.ac.jp/~kazu/tutorial-lecture-note/SummerSchool-200308/
1
ベイジアンネットと統計力学
ベイズの公式
確率モデル
グラフィカルモデル
確率推論
医療診断
故障診断
ベイジアンネット
確率伝搬法
たくさんのノードが関連しあって集まっている．
要請：多様なデータに耐えうる推論システム
ゆらぎを系統的に扱える理論の必要性
共通の数理
統計力学の出番
2
確率推論に使う数学
PrA, B, C  PrC A, BPrA, B
 PrC A, BPrB APrA
 PrC BPrB APrA
PrB A
PrC A, B PrC B
A
B
C
P rA, C
P rA C 
P rC
 P rA, B, C
 B
 P rA, B, C
A, B
3
簡単なベイジアンネットの例
問題
芝生がぬれているのは何故でしょうか？
雨が降ったせいでしょうか？
それともスプリンクラーを動かしたせいでしょうか？

P rAR  T AW  T P rAS  T AW  T?

P rAC , AS , AR , AW 
 P rAW AC , AS , AR P rAC , AS , AR 
 P rAW AC , AS , AR P rAR AC , AS P rAC , AS 
 P rAW AC , AS , AR P rAR AC , AS P rAS AC P rAC 
 P rAW AS , AR P rAR AC P rAS AC P rAC 
4
簡単なベイジアンネットの例
PrAR  T, AW  T

  PrA
AC T,F AS T,F
C
, AS , AR  T, AW  T  0.4581
PrAS  T, AW  T

  PrA
C
, AS  T, AR , AW  T  0.2781
AC T,F AR T,F
PrAW  T 
   PrA , A , A , A
AC T,F AS T,F AR T,F
P rAR  T AW  T 
C
S
R
W
 T  0.6471
P rAR  T, AW  T 0.4581

 0.7079
P rAW  T
0.6471
PrAS  T, AW  T 0.2781
PrAS  T AW  T 

 0.4298
PrAW  T
0.6471
回答：芝生がぬれているのは雨が降ったせいだと考えられます．
5
より複雑なベイジアンネット
PrX 1  x1 , X 2  x2 , X 3  x3 , X 4  x4 , X 5  x5 , X 6  x6 , X 7  x7 , X 8  x8 
1 W568 ( x5 , x6 , x8 )W346 ( x3 , x4 , x5 )W67 ( x6 , x7 )W25 ( x2 , x5 )W24 ( x2 , x4 )W13 ( x1 , x3 )

Z
W6 ( x6 )2W5 ( x5 )W4 ( x4 )W3 ( x3 )W2 ( x2 )
X1
X2
W24
W13
X3
W3
W6
W67
X7
W346
X6
W25
X4
W4
W568
X5
W5
X8
6
周辺確率分布
X1
Pi ( X i )

X , X , X , X , X , X , X , X 
 Pr

1
2
3
4
5
6
7
W24
W13
8
X \ Xi
X3
W3
W6
Pij ( X i , X j )

PrX , X , X , X , X , X , X , X 

 
1
2
3
4
5
6
7
8
X2
W67
W346
X6
W25
X4
W4
W568
X7
X5
W5
X8
X \ Xi ,X j
Pijk ( X i , X j , X k ) 
PrX , X



1
2
, X 3, X 4 , X 5 , X 6 , X 7 , X 8
X \ Xi ,X j ,Xk
7
Message Passing Algorithm
 W
346
M 6346 ( X 6 ) 
( X 3 , X 4 , X 6 ) M 313 ( X 3 ) M 424 ( X 4 ) 
X3 X4
 W
346
( X 3 , X 4 , X 6 ) M 313 ( X 3 ) M 424 ( X 4 ) 
X3 X4 X6
X1
X2
M 313 ( X 3 )
M 424 ( X 4 )
X3
X4
M 6346 ( X 6 )
X1
X2
W24
W13
X3
W3
W6
X6
Message Passing Algorithm
W67
X7
W346
X6
W25
X4
W4
W568
X5
W5
X8
8
Message を用いた周辺確率分布の近似表式
W346 ( X 3 , X 4 , X 6 ) M 313 ( X 3 ) M 424 ( X 4 ) 


 M 667 ( X 6 ) M 6568 ( X 6 ) 

P346 ( X 3 , X 4 , X 6 ) 
W346 ( X 3 , X 4 , X 6 ) M 313 ( X 3 ) M 424 ( X 4 ) 



 M 667 ( X 6 ) M 6568 ( X 6 ) 
X3 X4 X6 
X1
X2
M 313 ( X 3 )
X3
M 667 ( X 6 )
X7
W346
M 424 ( X 4 )
X4
X6
X5
X8
M 6568 ( X 6 )
9
線形応答理論
（人為的に小さなゆらぎを与えてその応答を見ることで詳細を知ることができる．）
X2
X1
Pij (m, n)  Pi (m) Pj (n)
  Pj (n) 

 lim

hi 0
h
i


X3
(i )
X4
X6
x  {xi | i  Ω}
X7
X5
X8
~
~
 Pj (n)  Pj ( n)  Pj ( n)    n, x j P( x )    n, x j P( x )

xx

(i )
Dev iationof Av erageat Node j with respect to ExternalField at Node i

1
~
P ( x )  ~ P ( x )exp hi xi , m
Z

10
数値実験


P r X Tuberculos is  Present X Dyspnea  Present

P rX Tuberculos is  Present, X Dyspnea  Present
P rX Dyspnea  Present
0.0082

 0.0187
0.4393
X1
X2
W24
W13
X3
W3
W6
W67
X7
W346
X6
W25
X4
W4
W568
X5
W5
X8
11
確率推論のまとめ
ベイジアンネットと確率伝搬法を用いた確率推論の概説
線形応答定理を用いた高次の推論システムへの発展
ベイジアンネットの最近の動向
K. Tanaka: Probabilistic Inference by means of Cluster Variation
Method and Linear Response Theory, IEICE Transactions on
Information and Systems, vol.E86-D, no.7, July 2003.
2003 年ベイジアンネットセミナー， 2003 年 11 月 13 日 - 14 日, ぱ
るるプラザ京都( http://www.bn2003.org/)
12
確率的情報処理の統計力学的アプローチ
トピックス：
情報統計力学，複雑情報系，
情報通信トラフィック，
確率伝搬法，画像処理，情報／符号理論，
移動体通信，アルゴリズム解析，
進化的アルゴリズム，集団学習,
ベイジアンネット
主な武器：
統計科学，統計力学，情報幾何，情報理論，
アルゴリズム工学，ニューロコンピューティング
13
カラー画像の画像処理
Kazuyuki Tanaka et al, Phys. Rev. E, 2002.
劣化画像（ガウス雑音）
確率的画像処理手法
MSE:520
MSE: 2137
ローパスフィルター
MSE:860
ウィナーフィルター
MSE:767
メジアンフィルター
MSE:1040
14
CDMA各種復調法の性能評価
Toshiyuki Tanaka, IEEE Trans. Inform. Theory, 2002
移動体通信に関する解析的性能評価
従来法
数値
統計力学実験
的解析
15
統計力学的アプローチによる公開鍵暗号
Yoshiyuki Kabashima et al., Phys. Rev. Lett., 2000.
ゴルフコース問題と情報の秘匿
16
確率的情報処理への統計力学的アプローチ
モノの理とコトの技の接点
たくさんが関連
キーワードは「ベイズの公式」
データの持つゆらぎを統計科学と統計力学を武
器に系統的に扱えるシステムの設計
新しい物理学の開拓
最新情報は SMAPIP ホームページ
http://www.smapip.eei.metro-u.ac.jp./ を参照
17

Download Report