確率の生み出す新しい情報処理技術東北大学大学院情報科学研究科田中和之 [email protected] http://www.statp.is.tohoku.ac.jp/~kazu/ 豊田中央研究所2003年11月27日 1 スケジュールはじめにベイズ統計とは確率的画像処理と確率伝搬法ベイジアンネットと確率伝搬法確率的情報処理の最近の動向豊田中央研究所2003年11月27日 2 確率的情報処理への統計力学的アプローチ共通の数理たくさんが関連統計力学ベイズ統計物性の理解・予言豊田中央研究所2003年11月27日情報科学情報の抽出・加工 3 スケジュールはじめにベイズ統計とは確率的画像処理と確率伝搬法ベイジアンネットと確率伝搬法確率的情報処理の最近の動向豊田中央研究所2003年11月27日 4 確率の知識（１）事象Ａの起こる確率 Pr{A} 事象Aと事象Bの結合確率 PrA, B PrA  B 条件付き確率と結合確率 PrA, B PrB A  PrA  PrA, B  PrB APrA 豊田中央研究所2003年11月27日 A B 5 確率の知識（２）ベイズの公式 PrB APrA PrA B  PrB APrA A 豊田中央研究所2003年11月27日 6 スケジュールはじめにベイズ統計とは確率的画像処理と確率伝搬法ベイジアンネットと確率伝搬法確率的情報処理の最近の動向 http://www.statp.is.tohoku.ac.jp/~kazu/SMAPIP-KazuKazu/ 豊田中央研究所2003年11月27日 7 画像修復の確率モデル雑音通信路原画像劣化画像事前確率    Pr劣化画像| 原画像Pr原画像  Pr 原画像| 劣化画像    Pr劣化画像 事後確率豊田中央研究所2003年11月27日 8 ベイズの公式と確率的画像処理 P f   事前確率 y  画素 x P f g,  f  原画像劣化過程  劣化画像  f  f x, y x, y 事後確率 g g  g  gx, y x, y Pg f , P f   P f g, ,   Pg  ,    修復画像fˆ  fˆx, y ( x, y)    P f g, ,  豊田中央研究所2003年11月27日 9 画像処理の直感的理解劣化画像には原画像の情報が残っている．よく見ると猿の顔に見えるな！周りが白ければ自分も白い．ごみかな？できるだけ白い固まりと黒い固まりの多い画像の中で劣化画像に近い画像を探す．豊田中央研究所2003年11月27日 10 確率伝搬法 W  , g x, y M xx,y1, y  M xx,,yy 1 M xx,,yy 1  255  0 M xx, y1, y    255 255 x 1, y   x, y 1  x, y 1  W  ,  ' g M  x, y x, y  M x, y  M x, y   0 '0   ( x, y 1) M xx,,yy 1 ( x 1, y) 固定点方程式 M xx, y1, y ( x, y) M xx,y1, y ( x 1, y) M xx,,yy 1 ( x, y 1) 豊田中央研究所2003年11月27日      M  M 反復法  M  f̂ 11 反復法反復法   M M * 固定点方程式 * 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる． M1  M 0  M 2  M1  M 3  M 2   yx y M1 0 y  (x) M * M1 豊田中央研究所2003年11月27日 M0 x 12 画像修復の劣化過程と事前確率 f x, y , gx, y  , 劣化過程   1 1 Pg f ,    exp  2 f x, y  g x, y  2 ( x, y) 2    2  事前確率     2 P f    exp  f  f   x, y x 1, y  ZPR   ( x, y)  2  1        exp  f x, y  f x, y 1 2   2  ( x, y) 豊田中央研究所2003年11月27日 13 確率伝搬法を用いた画像修復（白色ガウス雑音）原画像劣化画像 MSE: 1512 平滑化フィルター MSE: 411 ウィーナーフィルター MSE: 545 豊田中央研究所2003年11月27日確率伝搬法 MSE: 325 メジアンフィルター MSE: 447 14 確率伝搬法を用いた画像修復（一様分布）原画像平滑化フィルター MSE: 784 劣化画像確率伝搬法 MSE: 3469 MSE: 371 メジアンフィルターウィーナーフィルター MSE：1169 豊田中央研究所2003年11月27日 MSE: 477 15 スケジュールはじめにベイズ統計とは確率的画像処理と確率伝搬法ベイジアンネットと確率伝搬法確率的情報処理の最近の動向豊田中央研究所2003年11月27日 16 ベイジアンネットと統計力学ベイズの公式確率モデルグラフィカルモデル確率推論医療診断故障診断ベイジアンネット確率伝搬法たくさんのノードが関連しあって集まっている．要請：多様なデータに耐えうる推論システムゆらぎを系統的に扱える理論の必要性豊田中央研究所2003年11月27日共通の数理確率的情報処理の出番 17 簡単なベイジアンネットの例問題芝生がぬれているのは何故でしょうか？雨が降ったせいでしょうか？それともスプリンクラーを動かしたせいでしょうか？  PrAR  T AW  T PrAS  T AW  T?  豊田中央研究所2003年11月27日 18 簡単なベイジアンネットの例 PrAR  T, AW  T PrAW  T 0.4581   0.7079 0.6471 PrAR  T AW  T  PrAS  T, AW  T PrAW  T 0.2781   0.4298 0.6471 PrAS  T AW  T  回答：芝生がぬれているのは雨が降ったせいだと考えられます．豊田中央研究所2003年11月27日 19 より複雑なベイジアンネット 1 2 W13 W3 3 4 W346 W 4 W6 W67 7 豊田中央研究所2003年11月27日 W24 6 W568 W25 5 W5 8 20 確率伝搬法 W346 (a3, a4 , a6 )M313(a3)M 424 (a4 ) M 6346 (a6 )  a3 a4 W346 (a3, a4 , a6 )M313(a3)M 424 (a4 ) a3 a4 a6 1 1 3 4 M 424 W3 3 4 W346 W 4 W6 M 6346 6 W24 W13 2 M313 2 W67 7 豊田中央研究所2003年11月27日 6 W568 W25 5 W5 8 21 固定点方程式と反復法固定点方程式反復法   *  * M  M 繰り返し出力を入力に入れることにより，固定点方程式の解が数値的に得られる．         M1   M 0   M 2   M1   M3   M 2  y M1 * M1 M 0 豊田中央研究所2003年11月27日 yx y  (x) M0 x 22 数値実験   Pr ATuberculosis  PresentADyspnea  Present   Pr ATuberculosis  Present, ADyspnea  Present 0.0082    0.0187 Pr ADyspnea  Present 0.4393   A2 A1 W24 W13 A3 W3 W6 W67 A7 豊田中央研究所2003年11月27日 A4 W346 W 4 A6 W568 W25 A5 W5 A8 23 スケジュールはじめにベイズ統計とは確率的画像処理と確率伝搬法ベイジアンネットと確率伝搬法確率的情報処理の最近の動向豊田中央研究所2003年11月27日 24 本講演で取り上げなかったトピックス (符号理論・移動体通信) の参考文献樺島祥介 “物理の世界/学習と情報の平均場理論”, 岩波書店, 2002. 樺島祥介 “コトの物理学 ---誤り訂正符号を例として---”,日本物理学会誌, vol.58, no.4, pp.239-246, 2003. 田中利幸, ``移動体通信技術とスピングラスとの意外な関係”, 日本物理学会誌, vol.56, no.9, pp. 660-666, 2001. 豊田中央研究所2003年11月27 日 25 これから参入したい方のために西森，樺島，田中他著, “特集/知識情報処理の統計力学的アプローチ”, 数理科学1999 年 12 月号. 西森秀稔, “新物理学選書/スピングラス理論と情報統計力学” 岩波書店, 1999. H. Nishimori, “Statistical Physics of Spin Glasses and Information Processing: An Introduction”, Oxford University Press, 2001. 田中・樺島編, “ミニ特集/ベイズ統計・統計力学と情報処理”, 計測自動制御学会誌「計測と制御」2003年8月号豊田中央研究所2003年11月27 日 26 What is SMAPIP? http://www.smapip.eei.metro-u.ac.jp./ 文部科学省科学研究費補助金特定領域研究２００２年４月－２００６年３月豊田中央研究所2003年11月27 日 27