SIFTとGraph Cutsを用いた物体認識及びセグメンテーション須賀晃，福田恵太，滝口哲也，有木康雄（神戸大）情報処理学会関西支部大会研究背景  画像データの大容量化    画像処理による物体認識   人手による分類や検索が困難コンピュータによる自動化の必要性 ICタグによる認識手法では、自然物に対応出来ない点やコスト面に課題があるロボットビジョン   より人間に近い視覚形成認識とセグメンテーション情報処理学会関西支部大会物体認識  物体認識における問題点  物体の写り方による特徴の変化・消失   撮影環境による特徴の変化   物体の回転，スケール変化，自己オクルージョン照明変化他の物体の遮蔽などによる特徴の消失  相互オクルージョン局所特徴を用いた物体認識手法情報処理学会関西支部大会 SIFT (Scale-Invariant Feature Transform) 1. スケール変化に対しての不変性     特徴点の検出と記述を行うアルゴリズム画像の回転，スケール変化，照明変化に頑健な特徴量の記述が可能主に画像間のマッチングや物体認識に用いられる使用例： AIBOビジョンシステム(SONY) Detection of extremum 2. 回転に対しての不変性情報処理学会関西支部大会 8 orientations 領域セグメンテーション  エネルギー最小化による手法   Snakes, Level Set Method, Graph Cuts Graph Cuts   境界情報と領域情報を用いたセグメンテーション大域的な最小解を求めることが可能情報処理学会関西支部大会 Graph Cuts 1. グラフの作成 n-link ・・・境界情報 近傍画素との類似度を表し，類似している程高いコスト値を持つ t-link ・・・領域情報 物体と背景の色ヒストグラムを混合ガウス分布モデルに適用．物体または背景に近い程高いコスト値を持つ 2. グラフのカット与えられたコストを用いて， min cut/max flowアルゴリズムによって画像のセグメンテーションを行う情報処理学会関西支部大会提案手法セグメンテーション(Graph Cuts) 認識(SIFT) 回転・スケール変化・照明変化に不変な特徴量記述アルゴリズムセグメンテーション問題をエネルギー最小化問題として解く手法メリット画像間の高精度な局所的な対応付けやマッチングが可能メリット領域と境界の両方の情報を用いたセグメンテーションが可能デメリット局所情報のため，全体領域が捉えられないデメリット予め人間が物体と背景のラベル (seed)を与える必要がある統合     デメリットを補い合う形で統合 SIFT特徴の投票処理により物体を認識物体上に得られたSIFT特徴をGraph Cutsの物体seedとして用いる認識とセグメンテーションの両方を自動で行うことが可能情報処理学会関西支部大会認識  特徴抽出処理   マッチング処理   入力画像とモデル画像における対応点を探索投票処理   SIFT特徴を検出入力画像中の各物体の各中心候補点に投票を行うクラスタリング処理  投票された候補点をクラスタリングし、閾値以上の投票が得られたクラスタを認識情報処理学会関西支部大会特徴抽出、マッチング処理画像入力特徴抽出マッチング n  arg min vN 情報処理学会関西支部大会  s 128 m i i  win  2 投票処理、クラスタリング処理  モデル画像の基準点(中心点)を定め，各特徴点に対して位置ベクトル (Δx,Δy)を算出  入力画像が与えられると，マッチングの取れた各特徴点は，それらの基準点へ投票を行う  input   x 2  y 2  cos    mod el  input  X  xinput   mod el    input Y  y   x 2  y 2  sin    mod el  input input   mod el  y    arctan   x       {input, model} ：スケール {input,model} ：オリエンテーション正しく対応が取れていると，各特徴点から求められる基準点が同じ位置に集まるため，その位置に多くの投票が集まることになる各クラスタにおいて、閾値以上の投票が得られた場合、物体が存在すると判定情報処理学会関西支部大会セグメンテーション  seedの作成   seed ・・・物体or背景を示すラベル物体モデルとマッチングの取れたSIFT特徴のうち、投票処理で認識されたクラスタに投票した特徴点のみに選定選定処理前 [%] 選定処理後 [%] 78.4 99.9 物体seed  認識したクラスタに投票した特徴点（選定された特徴点）を物体seedとして使用背景seed  物体seedを用いて，モデル画像をアフィン変換し，その外側領域を背景 seedとして使用自動で作成したseedの例情報処理学会関西支部大会実験  実験環境  モデル画像      ２０物体（コップ，携帯電話etc…）撮影方向・・・８方向（４５度ずつ）１物体あたり８枚背景黒テスト画像   様々な大きさ，角度で撮影１００枚情報処理学会関西支部大会実験結果  認識精度  セグメンテーション精度再現率適合率物体領域エラー背景領域エラー全体エラー 82.1% 100% 3.73% 6.21% 9.94% (a) コップ (d) カン，携帯電話 (b) 人形 (e) 5種類の本 (c) 靴セグメンテーション結果の例情報処理学会関西支部大会まとめと今後の課題  まとめ   SIFTとGraph Cutsを組み合わせることで，認識とセグメンテーションを自動で行うことが可能となった今後の課題   SIFT特徴があまり取れない物体は認識率が低く，seedが少ない・偏りのある場合にセグメンテーションのエラー率が高いモデル数の増加に伴うマッチング計算時間の増加情報処理学会関西支部大会御静聴ありがとうございました情報処理学会関西支部大会