パターンと図形の検出（続） 画像処理 特徴点の記述とマッチング スケールと回転に不変な特徴記述（SIFT） 2値特徴量（BRIEF, 2015年度 （第12回） ORB） 対応点マッチング 図形要素検出 ハフ変換 一般化ハフ変換 ランダム化ハフ変換 中島 克人 顕著性マップ 特徴統合理論 情報メディア学科 顕著性マップ [email protected] 2 特徴点の記述とマッチング 特徴点の記述とマッチング スケールと回転に不変な特徴記述 両者の対応する特徴点をマッチングして，物体の探索を行う カメラ画像による物体の検出や追跡問題では探索対象物の 見え（スケールや回転）が変化する事が多い 探索対象 探索対象 入力（探索対象）画像 入力（探索対象）画像 テンプレートマッチングでは実時間処理が困難 スケールや回転角度の異なるテンプレートが沢山用意 それらの全てを走査すると多大な処理時間 SIFT（Scale-Invariant スケールや回転角度に関わらず，変化しない特徴量を探索 対象画像と探索対象画像内の特徴ある点からそれぞれ抽出 Feature Transform） スケールと回転に不変な特徴記述の代表例 記述力は高いが計算時間に難有り BRIEF（スケール・回転依存）／ORB（スケール・回転不変） 両者の対応する特徴点をマッチングして，物体の探索を行う 3 特徴点の記述とマッチング SIFT（Scale-Invariant スケールと回転に不変な特徴記述 記述力を犠牲にし，計算時間の短縮を図ったもの 4 特徴点の記述とマッチング Feature Transform） SIFT（Scale-Invariant Feature Transform） 3. 特徴量を記述 1. DoGを用いてスケール付特徴点を検出 2. 各特徴点のオリエンテーションを求める オリエンテーションを上になるように矩形局所領域を回転 各特徴点でスケールに合せた矩形の局所領域内の各画素で勾配強 この矩形領域を4×4のブロックに分割し，ブロックごとに勾配方向 度と勾配角度を求める 勾配強度を重みとして，勾配角度別（ex.36方向）にヒストグラム作成 最大度数の80％を超えるビンが求めるオリエンテーション この8ビンヒストグラムを4×4個並べたものがSIFT特徴量（128次元） オリエンテーションの算出 ヒストグラム（今度は8方向）を作成 5 特徴量の記述 6 画像処理 1 特徴点の記述とマッチング SIFT（Scale-Invariant 特徴点の記述とマッチング Feature Transform） 4. 2枚の画像間でマッチング 2値特徴量（BRIEF, ORB） SIFTに対し，記述力を犠牲にして計算時間を短縮 スケールと回転角度が異なっても同じ点は同じ特徴量を持つため， 画像間でのマッチングが取れる 2値特徴量（0/1のビット列）なら相違度はハミング距離計算で求まる BRIEF（Binary Robust Independent Elementary Features） ランダムに選択された2点の画素値の差の符号の列を特徴ベクトルとする ORB（Oriented FAST Rotated BRIEF） ランダムではなく，学習に基づいて選択したペア画素値の符号列を用いる 学習は教師無しで，ペア間の相関が低く，ビットの分散が大きいものを選ぶ BRIEFはスケール・回転依存，ORBはスケール・回転不変 詳細略 SIFTの特徴点検出例 2値特徴量のサンプリングペア 7 特徴点の記述とマッチング 図形要素検出 対応点マッチング 特徴点間で特徴量の類似度を計算 （輪郭）から「直線」として推定する手法 図11.21 対応点の探索 ハフ変換（直線成分検出）の実例 2画像間の対応点とマッチング 9 図形要素検出 ハフ変換（Hough transform） 本来直線である部分を途切れ途切れかも知れないエッジ 特徴空間内のユークリッド 距離等を使用 全てのペア間で距離を計算 最も近いペアの距離が 2番目に近いペアの距離 よりある比率（k）以上近け れば，そのペアが対応する と見なす kの値が小さいとマッチング 数（とマッチングミス）が 増加 8 10 図形要素検出 ハフ変換 画像中の直線 ハフ変換（続） 交点の求め方 式12.15 x,y：画素位置 a,b：傾きと切片 a,b空間を小さな格子状のセルに分割し，「直線を引く」代わりに， そのセルを通過するかどうかを「投票」し，最も票数（度数）が多い セルを交点とする 極座標表現 画像中の直線上の 点（x,y）を通る直線 a,b空間の値域は －∞～＋∞であり，無限のセルが必要となるため， a,b空間に代えて，直線のρ,θによる極座標表現を用いる 式12.16 式12.17 画像中の直線上の点 群に対応する a,b空 間上の直線を引くと， 交点が求める a と b 図12.8 x,y：画素位置 ρ：直線までの距離 θ：法線の角度 （0≦θ≦π） xy画像空間とabパラメータ空間 11 図12.9 xy画像空間とρθパラメータ空間 12 画像処理 2 図形要素検出 図形要素検出 ハフ変換（続） 極座標表現（続） 左上：入力画像 ρ,θ空間上では，画像位置（x,y）を通る直線はsin関数となる 式12.18 ハフ変換（直線成分検出）の例 右上：エッジ検出（赤線） 左下：投票結果 ただし， 青○が投票の多い場所 右下：青○に 投票はa,b空間と同様， ρ,θ空間上のセルで 行い，投票の多い点 のρ,θを求める直線 と推定する 対応する直 線（赤線）を 入力画像に 重ねた結果 図12.9 xy画像空間とρθパラメータ空間 図12.10 13 図形要素検出 ハフ変換（円検出） ハフ変換（円検出）の例 直線での考え方を円に拡張 入力画像：1セントコイン（r＝27）と25セントコイン（r＝34.5） （x－a）2＋（y－b）2 ＝r2 であるので， （x,y）画像空間 vs. （a,b,r）パラメータ空間（3次元） と考える 投票は3次元のパラメータ空間上で行なう エッジ画像：コインの周囲とコイン内部にもエッジが存在 図12.11 円のパラメータ空間 投票結果：r＝27とr＝34.5に多数の投票が入る 検出結果：投票の多いパラメータセットに対して円を描画 図12.12 15 図形要素検出 ハフ変換を不定形の図形の検出にも拡張 16 ランダム化ハフ変換（randomized Hough transform） ハフ変換を高速・高精度化するための方式 ハフ変換は円よりも複雑な定型図形（数式で表せる図形） にも拡張可能だが，計算資源（時間，メモリ）が増大 cf. 楕円は5次元のパラメータ空間 動，回転，拡縮）を同時に表現 一般化ハフ変換では形状は別途定義し，姿勢（ポーズ）のみ を4つのパラメータで表現 び，その2点を通る直線のパラ メータをρθ空間に「実数で」 投票する（適当な回数） 式12.19 式12.20 図12.13 入力画像の特徴点で闇雲に投票することをやめる セル単位の投票は精度が悪いので実数のパラメータセットを求める 2つの特徴点をランダムに選 ハフ変換でのパラメータ空間は形状と姿勢（ポーズ＝平行移 詳細略 円の検出例 図形要素検出 一般化ハフ変換（generalized Hough transform） 14 図形要素検出 円の式は 直線の検出例 形状モデル表現と形状定義表 投票されたρθパラメータを管 理し，新たに投票されたパラメー タが閾値以下の差異ならば，両 者を統合 統合時のパラメータは投票数で 重み付けした平均値とする 直線以外の図形でも同様 17 図12.15 ランダム化ハフ変換 18 画像処理 3 顕著性マップ 顕著性マップ 特徴統合理論（feature-integration theory） 人間の視覚は，形状，色，明るさ等の簡単な情報を組合わせ て物体を識別 顕著性マップ（saliency map） イッチ（L.Itti）の方法 画素値，色空間，勾配方向 の3つの特徴マップを作成し， それらを統合 上記理論に基づき，注意を引き付けるべき各特徴を数値化し， 2次元のマップに投影 イッチ（L.Itti）の方法 詳細略 画素値，色空間，勾配方向の3つの特徴マップから注目度を計算 まず，ガウシアンピラミッドを作成（σ＝2～8程度） 画素値の特徴マップは異なるσのガウシアン平滑化画像間の差を足 し合わせる Σ（σ1,σ2）＝（2,5）＋（2,6）＋（3,6）＋（3,7）＋… 色空間の特徴マップはRGBチャネル間の値差を元に，勾配方向の特 徴マップは45度刻みのガボールフィルタを用いて，やはり異なるσも のを足し合わせる 最後に，画素値，色空間，勾配方向の3つの特徴マップを統合 19 顕著性マップの概念図 20 画像処理 4
© Copyright 2024 ExpyDoc
