SIFTとGraph Cutsを用いた物体認識及びセグメンテーション須賀晃，福田恵太，滝口哲也，有木康雄（神戸大）電子情報通信学会2008年総合大会研究背景物体認識は，ロボットの視覚やHead Mounted Displayなどの基礎となる技術 ICタグによる認識手法では，自然物に対応できない点やコスト面に問題がある ⇒画像処理による物体認識   ロボットが物体を検出し，その物体を掴むといった動作には，詳細な物体領域の切り出しが必要 ⇒認識とセグメンテーションの両方が必要  1 電子情報通信学会2008年総合大会物体認識物体認識における問題点   物体の写り方による特徴の変化・消失   撮影環境による特徴の変化   物体の回転，スケール変化，自己オクルージョン照明変化他の物体の遮蔽などによる特徴の消失  相互オクルージョン局所特徴を用いた物体認識手法 2 電子情報通信学会2008年総合大会 SIFT :Scale-Invariant Feature Transform 1. スケール変化に対しての不変性特徴点の検出と記述を行うアルゴリズム画像の回転，スケール変化，照明変化に頑健な特徴量の記述が可能主に画像間のマッチングや物体認識に用いられる使用例： AIBOビジョンシステム(SONY)     3 Detection of extremum 2. 回転に対しての不変性電子情報通信学会2008年総合大会 8 orientations 領域セグメンテーションエネルギー最小化による手法   Snakes, Level Set Method, Graph Cuts Graph Cuts    4 境界情報と領域情報を用いたセグメンテーション大域的な最小解を求めることが可能電子情報通信学会2008年総合大会 Graph Cuts 1. グラフの作成 n-link ・・・境界情報 近傍画素との類似度を表し，類似している程高いコスト値を持つ t-link ・・・領域情報 物体と背景の色ヒストグラムを混合ガウス分布モデルに適用．物体または背景に近い程高いコスト値を持つ 2. グラフのカット与えられたコストを用いて， min cut/max flowアルゴリズムによって画像のセグメンテーションを行う 5 電子情報通信学会2008年総合大会提案手法セグメンテーション(Graph Cuts) 認識(SIFT) 回転・スケール変化・照明変化に不変な特徴量記述アルゴリズムセグメンテーション問題をエネルギー最小化問題として解く手法メリット画像間の高精度な局所的な対応付けやマッチングが可能メリット領域と境界の両方の情報を用いたセグメンテーションが可能デメリット局所情報のため，全体領域が捉えられないデメリット予め人間が物体と背景のラベル (seed)を与える必要がある統合     デメリットを補い合う形で統合 SIFT特徴の投票処理により物体を認識物体上に得られたSIFT特徴をGraph Cutsの物体seedとして用いる認識とセグメンテーションの両方を自動で行うことが可能 6 電子情報通信学会2008年総合大会投票処理による認識モデル画像の基準点(中心点)を定め，各特徴点に対して位置ベクトル(Δx,Δy)を算出   入力画像が与えられると，マッチングの取れた各特徴点は，それらの基準点へ投票を行う  input  X  x   x 2  y 2  cos    mod el  input  input  mod el    input Y  y   x 2  y 2  sin    mod el  input input   mod el  y    arctan   x       {input, model} ：スケール {input,model} ：オリエンテーション入力画像中に対象物体が存在すると，各特徴点から求められる基準点が同じ位置に集まるため，その位置に多くの投票が集まることになる 7 電子情報通信学会2008年総合大会セグメンテーション seedの作成    seed ・・・物体or背景を示すラベル物体上に取れたSIFT特徴を，Graph Cutsの物体seedとして用いることで，自動でセグメンテーションを行う物体seed  認識したクラスタに投票した特徴点を物体seedとして使用背景seed  8 物体seedを用いて，モデル画像をアフィン変換し，その外側領域を背景 seedとして使用自動で作成したseedの例電子情報通信学会2008年総合大会実験実験環境   モデル画像     テスト画像   9 20物体（コップ，携帯電話etc…）各物体を45度ずつ撮影 1物体あたり8枚様々な大きさ，角度で撮影 50枚電子情報通信学会2008年総合大会実験結果   認識精度再現率適合率 0.83 1.00 セグメンテーション精度物体領域の誤検出ピクセル数＋背景領域の誤検出ピクセル数  100 全ピクセル数エラー率 5.9% 10 電子情報通信学会2008年総合大会セグメンテーション結果 (a) コップ (d) カン，携帯電話 (b) 人形 (e) 5種類の本 (c) 靴 11 電子情報通信学会2008年総合大会まとめと今後の課題  まとめ   SIFTとGraph Cutsを組み合わせることで，認識とセグメンテーションを自動で行うことが可能となった今後の課題   12 SIFT特徴があまり取れない物体は認識率が低く，seedが少ない・偏りのある場合にセグメンテーションのエラー率が高いモデル数の増加に伴うマッチングの計算時間の増加電子情報通信学会2008年総合大会ご清聴ありがとうございました 13 電子情報通信学会2008年総合大会