正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室 西山 悠， 渡辺澄夫 背景 指数オーダ計算 (高次元)確率分布 周辺確率 例． 効率的な計算 確率伝搬法(Belief Propagation;BP) Sum Product Algorithm 直接 通り! 確率伝搬法の応用研究 (i) ベイジアンネットを用いた確率的推論 (ii) 誤り訂正符号 (Turbo, LDPC 符号) noise 000101 000111 decode (iii) CDMA (符号分割多元接続) (iv) 確率的画像処理 劣化 画像 復元アルゴリズム 復元 画像 000101 確率伝搬法の問題点 ・グラフがループを持たないとき(BP) BPは，正確な周辺確率を計算 ・グラフがループを持つとき(Loopy BP;LBP) LBPは，近似的に周辺確率を計算 or LBPの解が収束しない場合もある． Ex. ・T. Heskes, ”On the Uniqueness of Loopy Belief Propagation Fixed Points”, Neural Computation 16(11), 2379-2414, 2004. ・Y. Weiss,”Correctness of belief propagation in graphical models with arbitrary topology”, Neural Computation 13(10), 2173-2200, 2001. 統計力学との接点 ベーテ自由エネルギー(汎関数) LBPによって計算される 近似周辺確率(LBP解) 周辺確率 ベーテ近似解 LBP解 = ベーテ近似解 CCCP(A.L.Yuille, 2002) ベーテ自由エネルギーをConcave関数，Convex関 数に分けて，関数の間の更新則を与え，極値に収 束させる反復アルゴリズム + ベーテ自由エネルギー = concave 更新の様子 更新則 ー convex convex concave 本発表の位置づけ 本発表 ベーテ自由エネルギーの最小化 正規分布 ・LBPの近似精度 (Loopy) Belief Propagation 一般化 CCCP ・・・ ・LBP収束条件 Extended CCCP (3月NC研，玉川大学) 菊池自由エネルギーの最小化 Generalized BP (GBP) CCCP ・・・ Extended CCCP (3月日本物理学会，年次大会) 目的 ループの入った正規分布の場合に，ベーテ自由エネルギー の極値を与え，ベーテ近似の近似精度を解析する． ・正規分布 の精度行列 が， (i)1重ループを表すとき ベーテ近似解析解(LBP解析解) LBPが収束するための必要条件 (ii)任意のグラフで相関が小さいとき ベーテ近似解析解の展開式 LBPアルゴリズム メッセージ メッセージの固定点 LBP解 正規分布 1重ループ x1 xd x2 x3 (i)1重ループ 定理2(LBP解) 定理1(メッセージの固定点) 真の周辺分布 ＊ベーテ近似の近似精度 LBP収束条件(1重ループ) 収束必要条件(1重ループ) 1重ル－プのLBPが収束するためには，精度行列 について， が成り立つことが必要． 例． のとき ＊十分条件にもなっていることを特殊な場合で証明（予稿集） 数値実験(1重ループ) LBP数値解 LBP数値解 LBP解析解 真値 (ii)任意グラフ(相関が小さい) 定理3(LBP解) 真の周辺分布 多重ループ ＊相関が小さいときの ベーテ近似の近似精度 補正 の性質 木構造，1重ループ 周辺密度関数 の精度 一様全結合 LBP数値解の補正 真値 LBP解析解の展開式 LBP数値解 まとめ ループの入った正規分布の場合にベーテ近似(LBP)の 近似精度を理論的に明らかにした． (i)1重ループのとき ベーテ近似解析解(LBP解析解)を導出し，LBPの収束条件， 近似精度を決定している量を解析的に明らかにした． (ii)任意のグラフ構造のとき 相関が小さいときの，LBPの近似精度を決定している量を 解析的に明らかにした． 今後の展開 本発表 正規分布 ベーテ自由エネルギーの最小化 ・LBPの近似精度 (Loopy) Belief Propagation 一般化 CCCP ・・・ Extended CCCP (3月NC研，玉川大学) 菊池自由エネルギーの最小化 Generalized BP (GBP) CCCP ・・・ ・LBP収束条件 正規分布 ・GBPの近似精度？ ・GBP収束条件？ Extended CCCP (3月日本物理学会，年次大会) 参考文献 確率的画像処理 ・ 田中和之，確率モデルによる画像処理技術入門，森北出版，2006. ・ 田中和之， ガウシアングラフィカルモデルに基づく確率的情報処理 における一般化された信念伝搬法， 電子情報通信学会誌 D-II, Vol. J88-D-II, No. 12, pp. 2368-2379, 2005. ・ K.Tanaka, H. Shouno, and M. Okada. Accuracy of the bethe approximation For hyperparameter estimation in probabilistic image processing. J. Phys. A, Math. Gen., Vol. 37, No. 36, pp. 8675-8696, 2004
© Copyright 2024 ExpyDoc
