領域ベースの隠れ変数を用いた画像領域分割三好誠司岡田真人関西大東大，理研あらましマルコフ確率場（MRF）とベイズ推定に基づく画像処理においてはエッジの保存のために隠れ変数の導入が効果的である．ポッツスピン型の領域ベース隠れ変数と隣接画素値情報を用い，変分推論により画像領域分割を行うアルゴリズムを導出する．ガウス雑音が重畳した人工画像や自然画像を用いた実験により，このアルゴリズムが有効であり頑健であることを明らかにする． 2 背景１ • 多数の変数とその変数間の無向性相互作用からなる系はマルコフ確率場（MRF）と呼ばれ，画像の確率モデルとして広く利用されている． • MRFに基づく画像処理においては，ベイズの定理で計算される事後分布を用いる推定（＝ベイズ推定）がよく用いられるが，計算量的困難に直面することが多い． • MRFとベイズ推定に基づいた画像処理を行う場合，画像の事前分布を素朴なガウス分布とすると画像中のエッジの表現が難しい． • エッジを表現するためには事前分布に隠れ変数を導入することが有効． 3 背景２ • 隠れ変数には境界ベースと領域ベースがある． • 境界ベースは画素と画素の間に，そこがエッジであるかどうかを表す隠れ変数を置いてゆく． • 領域ベースは各画素がどの領域に属するかを示す隠れ変数を画素ごとに貼り付ける． • 境界ベースの隠れ変数→多くの拘束条件が必要 • 領域ベースの隠れ変数→境界が自然に閉じたループになるなど好ましい性質を多く持つ．ただし，局所解に陥りやすいという欠点があるため，あまり使われていない． 4 背景３ • 画像をある一定の特徴を持つ小領域ごとに分割する問題は領域分割（セグメンテーション）と呼ばれる – 画像に含まれる対象物を抽出する手法 – 画像の認識や理解のための第一次画像処理として重要 – 網膜という2次元センサーの信号から3次元の現実世界を再構成するための第一歩でもあることから視覚の計算論の基礎としても重要 5 先行研究 D. Geman, S. Geman, Graffigne and Dong, Boundary detection by constrained optimization, IEEE trans. PAMI (1990) MRFに領域ベースの隠れ変数を導入し，シミュレーテッドアニーリングを用いたモンテカルロ法により画像領域分割を行った． Bratsolis and Sigelle, Image relaxation by use of the Potts model with a fast deterministic method, J. Opt. Soc. Am. A (1997) ポッツスピンを領域ベースの隠れ変数に用いて平均場近似に基づく決定論的な手法で画像領域分割を行った．画素値をポッツスピンの初期値決定のためだけに用いた． Chen, Tanaka and Horiguchi, Image segmentation based on Bethe approximation for Gaussian mixture model, Interdisciplinary Information Sciences (2005) ポッツスピンを領域ベースの隠れ変数に用いて確率伝搬法（ベーテ近似）による決定論的な手法で画像領域分割を行った．混合ガウスモデルを仮定し，そのハイパーパラメータ推定も行っている．隣接画素値の情報を積極的に使ってはいない． 6 目的 • 領域ベースのポッツスピン型隠れ変数と隣接画素値情報を用いて変分法に基づく推論により画像領域分割を行う決定論的アルゴリズムを導出する． • 雑音が重畳した人工画像と自然画像に適用した結果について報告する． 7 アルゴリズム導出の概略同時事前分布p(x,K)と画像xから事後分布p(K|x)を求める１．同時事前分布p(x,K) ２．因子化仮定を満たす試験分布q の中から p(K|x)にもっとも近いものを探す（変分推論） 8 アルゴリズム導出の詳細 Nは画素数画像（画素値）領域ベースの隠れ変数 Dはポッツスピンの次元ポッツスピン画素 i は画素値 xi と隠れ変数 kI を持っている 9 とおくと一般に Kに関して定数 ∴ KL距離が最小という意味で事後分布p(K|x)にもっとも近い試験分布q(K)を求めるためには， L(q(K))を最大化するようなq(K)を見つければよい！ 10 一般のq(K)では計算が困難なので因子化仮定をおく因子のひとつqi(ki)に関する依存性を取り出して計算を進めると，L(q(K))を最大にする試験分布qi*(ki)は以下のように求まる． j≠iであるすべてのkj による分布qでの期待値 11 エネルギー関数隣り合う画素対すべてに関する和隣接する画素lとmの隠れ変数が異なるならλ: 定数，等しいなら(xl - xm)2：隣接画素値情報を積極的に利用ボルツマン分布 12 ベルヌーイ分布ガウス分布画素 i に隣接する画素の集合 13 最終的に得られる，ポッツスピンの平均値に関する self-consistentな方程式この式を反復法で解くことにより，ポッツスピンの平均値が得られる！ 14 結果（その１）ガウス雑音を重畳して作った人工画像x （PSNR=24dB） x の画素値ヒストグラム ρ=130 λ=0.2 {<ki1>} {<ki2>} {<ki3>} 画素値にオーバーラップがあり，閾値だけでは良好な領域分割ができない画像に対してほぼ完全な領域分割が得られている → このアルゴリズムは有効に機能している 15 結果（その２）ガウス雑音を重畳して作った人工画像x （PSNR=18dB） x の画素値ヒストグラム ρ=130 λ=0.2 市松模様（局所解） {<ki1>} {<ki2>} {<ki3>} 大きなオーバーラップがあり，閾値だけでは領域分割不可の画像に対して比較的良好な領域分割 → このアルゴリズムは頑健である 16 結果（その３）自然画像 x x の画素値ヒストグラム ρ=130 λ=0.015 {<ki1>} {<ki2>} {<ki3>} 自然画像に対しても比較的良好な領域分割 {<ki4>} 17 まとめ • 領域ベースのポッツスピン型隠れ変数と隣接画素値情報を用いて変分法に基づく推論により画像領域分割を行う決定論的アルゴリズムを導出した． • 雑音が重畳した人工画像と自然画像に適用し，比較的良好な領域分割が行える可能性を示した．今後の課題 • ポッツスピンの平均値を計算するソフトな推定を行っているにもかかわらず，局所解にトラップされやすいという欠点が現れた． • ポッツスピンの次元Dやハイパーパラメータρ，λの自動設定． 18