確率的画像処理における EMアルゴリズムの平均場理論 井上純一 北大 大学院工学研究科 URL : http://chaosweb.complex.eng.hokudai.ac.jp/~j_inoue/ Email : [email protected] 共同研究者 田中和之 東北大 大学院情報科学研究科 1 この研究の目的 ベイズ推定の枠組みでの確率的画像修復アルゴリズム : 画素推定 : 最大周辺化事後確率推定 ハイパパラメータ :EMアルゴリズムによる周辺尤度最大化 を平均場モデルを用いて、ダイナミックスの観点から明らか にする(⇒平均場理論の構築) ⇒ 得られる知見を新しいアルゴリズムの開発に役立てる 2 画像修復 原画像 劣化画像 3 イジングモデル(磁石の模型)での定式化 P({ξ})=exp(βsij ξi ξj )/Zs ξi ⇒ 拡大 すると = 1 イジングスピン 原画像 Ts = (βs)-1 : 制御変数「温 度」 4 劣化画像(条件付確率によるノイズの表現) P(τi|ξi) = A exp (βττiξi ) ↓ 劣化画素 ξi ξi with prob. p ⇒ 別な表現 : βτ= (1/2) log(1p / p) 劣化画像 P({τ}|{ξ} ) = exp( βτΣτiξi )/Zτ βτ : ノイズレベル 5 有名なベイズの公式による事後確率の導出 P({σ} |{τ}) = P({τ}|{ σ} )P({σ} ) σ P({τ}| {σ} ) P({σ} ) ノイズのモデル 原画像のモデル 確率の規格化因子 ⇒ 分配関数 Z = σ exp (J ij σ iσ j + h iτi σ i) MAP 推定 : エネルギー関数の最適化 H ({σ} |{τ}) =- J ij σ iσ j ー h iτi σ i データ(劣化画像)に依存 6 温度を用いた修復(周辺事後確率最大推定) 画素 ξi の推定値は事後確率での期待値(熱平均値) sgn( < σ i>) = sgn ( σ σ i exp ( H ({σ} |{τ}) ) / Z) 白黒画像なので符号をとる H ({σ} |{τ}) = - J ij σ iσ j ー h iτi σ i ⇒ ノイズレベルが大きい場合、MAP推定より高精度で修復できる Marroquin et al (1987) 7 Nishimori & Wong (1999) 平均場モデル解析 : M ( J, h ) = [ ξi sgn( < σ i>)]{ ξ, τ} ⇒ 西森温度 で最良 8 問題となるポイント どのように J と h を選ぶか ? 周辺尤度最大化法 (Geman & McClure 1987) EM アルゴリズムによる周辺尤度の最大化 (Dempster et al 1977) Iba (1991) によるマルコフ鎖モンテカルロ法の適用 これらの性能を平均場モデルを用いて計算機実験 に依らない形で評価したい : 平均場理論の構築 9 平均場モデル 全結合の人工的模型 (例 : SKモデル、ホップフィールドモデル、ソーラス符号) 平均場近似が厳密に成り立つ(きれいに解ける) 巨視的物理量の振る舞いを定性的に良く説明する 緩和のダイナミックスが有限個の巨視的物理量の 時間発展で記述できる 10 J, h 固定系のダイナミックス “From microstates to macroscopic quantities” d pt() = k [ pt (Fk) wk (Fk) pt () wk () ] dt wk () = (1/2) [1 k tanh [hk()] ] hk() = (J/N) j j + h k Pt (m,a)= pt () [mm( )] [aa( )] m = (1/N) j j a = (1/N) j j j 11 J, h をどう決めるか ? : 周辺尤度最大化 K( J, h )= log(σ exp (Jij σi σj + hi τi σj )) log(σ exp (Jij σi σj )) log Zτ 観測データ 不等式 : [ K ( J, h )]{ τ、} [ K ( βs , βτ) ] { τ、 } 西森温度 ⇒ K ( J, h ) を J と h に関して最大化 12 データ平均による性能評価 [ K ( J, h )]{ τ、} をレプリカ法により計算 ⇒ ハイパーパラメータが西森温度(真値)で周辺尤度最大 13 素朴な勾配法での最大化 (ボルツマンマシン学習) cJ (dJ/dt) = K/J, ch (dh/dt) = K/h cJ (dJ/dt) = σ (ij σi σj) exp(Jij σi σj + hi τi σi) σ exp(Jij σi σj + hi τi σi) σ (ij σi σj) exp(Jij σi σj ) σ exp(Jij σi σj ) σ (iτi σi) exp(Jij σi σj + hi τi σi ) ch (dh/dt) = σ exp(Jij σi σj + hi τi σi ) Nτ2h 14 ダイナミックスの解析 cJ (dJ/dt) = [K/J ] {ξ,τ} ch (dh/dt) = [K/h] {ξ,τ} ⇒ 右辺をレプリカ法 で計算 ⇒ の中に現れる巨視的物理量 : [m(t), a(t), m1(t)] ⇒ J,h 固定で個別に計算 の時間発展式と連立して解く ⇒ 重なり : M(m(t), a(t), m1(t), J(t), h(t)) 15 解析結果 ⇒ 初期条件に依らず真のハイパーパラメータ及び重なり 最大値に収束する (最近の報告 Ozeki & Okada : 温度固定した場合の緩和過程で西森 温度と異なるハイパーパラメータ値で重なり最大) 16 周辺尤度最大化の別法 : EMアルゴリズム Q(J,h | Jt , ht) = trσ log Ph ({τ}|{ σ} )PJ ({σ} ) × PJt ,ht ({σ} |{τ}) E ステップ : Q(J,h | Jt , ht) (期待値)を計 算ステップ : M Jt+1 = argmaxJ Q(J,h | Jt , ht) ht+1 = argmaxh Q(J,h | Jt , ht) ⇒ 周辺尤度の間接的最大化 J,h の収束点は周辺尤度の局所最大点 17 平均場モデルでの具体的構成 Q(J,h | Jt , ht) = J σ (ij σi σj) exp(Jt ij σi σj + ht i τi σi) +h log σ exp(Jt ij σi σj + ht i τi σi) σ (iσi τi ) exp(Jt ij σi σj + ht i τi σi) σ exp(Jt ij σi σj + ht i τi σi) σ exp (J ij σi σj ) + (Nτ02 / 2τ2) (Nτ2h2 / 2) ⇒ ハイパーパラメータに関する反復式が書き下せて データ平均もレプリカ法により処理できる 18 解析結果 ⇒ 初期条件に依らず真のハイパーパラメータ及 び重なり最大値に収束する(勾配法と同じ) ⇒ 収束速度は速い 19 勾配法とEMアルゴリズムの比較 ⇒ EMアルゴリズムは勾配法より近道を選んでいる しかし、EMがこれほどうまくいくのは周辺尤度に局所最大 が無い系の特徴 20 平均場EMアルゴリズム 2次元画像へのEMアルゴリズムの適用 (ナイーヴ)平均場近似 注目する画素 σij の周辺の 画素を全てその「期待値」 mi+1 j = < σij >で置き換えてし まう ij Mij tanh(Jt+1 Mij(1)) = ij Mij tanh(Jt Mij(1) + ht τij) ht+1 = tanh-1[ (1/N) ij τij tanh(Jt Mij + ht τij) ] Mij = mi+1 j + mi-1 j + mi j+1 + mi j -1 等 21 性能評価の途中経過 原画像 劣化画像 修復画像 ⇒ 真値には収束しないものの、修復画像は割と良好 ⇒ トラップされたローカルミニマムが偶然性質の良かった 可能性? 22 まとめ 画像修復とEMアルゴリズムによるハイパーパラメータ推 定のダイナミックスの平均場理論を構築した 平均場理論ではEMアルゴリズムは有効であると言える が現実の2次元画像ではそうとは限らない(⇒今後の課 題) より複雑な確率場モデルでの解析(⇒今後の課題) 参考文献 : J. Inoue and K. Tanaka, Phys.Rev.E 65, 016125 (2002) 23
© Copyright 2024 ExpyDoc