縮小版 - 立命館大学

グレースケール画像
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
目次
画像
知能科学：コンピュータビジョン
マッチトフィルタ
マッチトフィルタ
位相限定相関法
位相限定相関法
位置と姿勢の検出
位置と姿勢の検出
平井慎一
局所特徴量
触画像処理
局所特徴量
触画像処理
立命館大学ロボティクス学科
まとめ
まとめ
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
画像
位置の検出
マッチトフィルタ
1 画像
平井慎一
2 位置の検出
目次
画像
マッチトフィルタ
位相限定相関法
位置の検出
マッチトフィルタ
位相限定相関法
位相限定相関法
位置と姿勢の検出
局所特徴量
触画像処理
まとめ
3 位置と姿勢の検出
位置と姿勢の検出
4 局所特徴量
触画像処理
局所特徴量
まとめ
5 触画像処理
カラー画像
グレースケール画像
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
マッチトフィルタ
位相限定相関法
位相限定相関法
位置と姿勢の検出
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
グレースケール画像
カラー画像
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
4x4
40x40
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
位相限定相関法
640 × 420 ピクセル 8 ビットグレースケール画像
640 × 420 × 8 ビット
= 640 × 420 バイト = 268800 バイト
= 268800/1024 キロバイト = 262.5 キロバイト
6 まとめ
平井慎一
4 × 4 ピクセル
8 ビットグレースケール画像
各ピクセルの輝度
0 (黒) — 255 (白)
グレースケール画像
講義の流れ
目次
ピクセル (pixel)
picture element の略
画像
位置の検出
位置の検出
24 ビットカラー画像
各ピクセル
R (Red)
0 — 255
G (Green) 0 — 255
B (Blue)
0 — 255
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
光の三原色で色を表す
4 × 4 ピクセル
マッチトフィルタ (matched filter)
カラー画像
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
マッチトフィルタ
位相限定相関法
位相限定相関法
位置と姿勢の検出
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
640 × 420 ピクセル 24 ビットカラー画像
まとめ
触画像処理
まとめ
連続画像上の点 (x, y ) における輝度値
g (x, y )
関数 g (x, y ) は連続画像を表わす
画像 g (x, y ) の二次元フーリエ変換
∫∫
△
G (ξ, η) = F[g (x, y )] =
g (x, y ) e −i(ξx+ηy ) dx dy
二次元フーリエ逆変換
640 × 420 × 24 ビット = 787.5 キロバイト
△
g (x, y ) = F −1 [G (ξ, η)] =
平井慎一
目次
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
640 × 420
=⇒
=⇒
=⇒
ピクセルグレースケール画像
640 × 420 個の格子点上に画素
格子点 (i, j) 上の画素の輝度値を gi,j で表す
2 次元配列 g [640][420]
任意の点 (x, y ) における画素値 g (x, y )
=⇒ 点を囲む格子点の画素値から近似
まとめ
知能科学：コン
ピュータビジョン
平井慎一
参照画像 gref を x 方向に x0 ，y 方向に y0 並進移動させ
ると，入力画像 ginp に一致すると仮定
目次
gref (x − x0 , y − y0 ) = ginp (x, y )
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
参照画像のフーリエ変換を Gref (ξ, η)，入力画像のフー
リエ変換を Ginp (ξ, η) で表すと
局所特徴量
局所特徴量
触画像処理
双一次近似
Gref (ξ, η) e −i(x0 ξ+y0 η) = Ginp (ξ, η), ∀ξ, η
触画像処理
x 方向の一次近似と y 方向の一次近似の合成
まとめ
これより
g (0.3, 0.6) = (0.7 ∗ 0.4)g0,0 + (0.7 ∗ 0.6)g0,1 +
(0.3 ∗ 0.6)g1,1 + (0.3 ∗ 0.4)g1,0
F
マッチトフィルタ
必要に応じて離散画像と連続画像を使い分ける
連続画像
離散画像
位相限定相関法
位置と姿勢の検出
目次
画像
フーリエ変換
離散フーリエ変換 (DFT)
高速フーリエ変換 (FFT)
位置の検出
マッチトフィルタ
位相限定相関法
参照画像
入力画像
パワースペクトル
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
]
Ginp (ξ, η)
= δ(x − x0 , y − y0 ).
Gref (ξ, η)
平井慎一
平井慎一
位置の検出
[
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
画像
−1
マッチトフィルタ (matched filter)
離散画像と連続画像
目次
G (ξ, η) e i(ξx+ηy ) dξ dη
マッチトフィルタ (matched filter)
離散画像と連続画像
知能科学：コン
ピュータビジョン
∫∫
連続画像
極座標変換
触画像処理
まとめ
まとめ
最終的な実装はすべて離散画像
位相スペクトル
知能科学：コン
ピュータビジョン
Input
平井慎一
Ginp
Reference 㸰D DFT
┦㛵㛵ᩘ
位相限定相関法
位置と姿勢の検出
局所特徴量
Gref
Ginp
目次
画像
マッチトフィルタ
Input
平井慎一
目次
位置の検出
位置検出
位相限定相関法
(phase only correlation; POC)
マッチトフィルタ (matched filter)
知能科学：コン
ピュータビジョン
位相の商
Ginp
Gref
画像
位置の検出
マッチトフィルタ
఩┦㝈ᐃྜᡂ
位相限定相関法
位置と姿勢の検出
㸰D IDFT
Reference 㸰D DFT
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
Gref
∠Ginp
∠Gref
=
Ginp
Ginp
㸰D IDFT
⋅
Gref
Gref
回転不変位相限定相関法
(rotation invariant phase only correlation)
位相限定相関法
(phase only correlation; POC)
知能科学：コン
ピュータビジョン
平井慎一
二次元フーリエ変換 G (ξ, η) の振幅スペクトルを
|G |(ξ, η)，位相スペクトルを ∠G (ξ, η) で表す
目次
∠G (ξ, η) =
|G |(ξ, η) = |G (ξ, η)|,
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
局所特徴量
G (ξ, η)
|G |(ξ, η)
参照画像のフーリエ変換 Gref (ξ, η) と入力画像のフーリ
エ変換 Ginp (ξ, η) の関係式
知能科学：コン
ピュータビジョン
平井慎一
参照画像 gref を角度 α 回転させ，x 方向に x0 ，y 方向に
y0 並進移動させると，入力画像 ginp に一致すると仮定
目次
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
ginp (x, y ) =
gref (Cα (x − x0 ) + Sα (y − y0 ), −Sα (x − x0 ) + Cα (y − y0 ))
x′
y′
局所特徴量
触画像処理
触画像処理
Gref (ξ, η) e
まとめ
−i(x0 ξ+y0 η)
= Ginp (ξ, η), ∀ξ, η
まとめ
[
位相スペクトルを求めると
∠Gref (ξ, η) e −i(x0 ξ+y0 η) = ∠Ginp (ξ, η),
∀ξ, η
Gref の複素共役を G ref と表わす
平井慎一
目次
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
局所特徴量
商 ∠Ginp /∠Gref を計算
平井慎一
目次
画像
∠Ginp
Ginp /|Ginp |
Ginp |Gref |
Ginp |Gref ||Gref |
=
=
=
∠Gref
Gref /|Gref |
Gref |Ginp |
Gref |Ginp ||G ref |
Ginp Gref G ref
Ginp G ref
=
=
Gref |Ginp G ref |
|Ginp G ref |
触画像処理
まとめ
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
局所特徴量
F
[
まとめ
]
Ginp
G ref
= δ(x − x0 , y − y0 )
·
|Ginp | |G ref |
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
マッチトフィルタ
背景
照明変動
位相限定相関法
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
入力画像
オクルージョン
Ginp
′
∫∫
′
′
gref (x ′ , y ′ ) e −i{(ξCα +ηSα )x +(−ξSα +ηCα )y } dx ′ dy ′
= Gref (ξCα + ηSα , −ξSα + ηCα )
参照画像のフーリエ変換 Gref (ξ, η) と入力画像のフーリ
エ変換 Ginp (ξ, η) の関係式
振幅スペクトルの関係式
|Ginp (ξ, η)| = |Gref (ξCα + ηSα , −ξSα + ηCα )|
振幅スペクトル（あるいはパワースペクトル）は，角
度 α のみに依存し，並進移動量 x0 , y0 には依存しない
極座標変換
△
Pref (r , θ) = |Gref (rCθ , rSθ )|
△
Pinp (r , θ) = |Ginp (rCθ , rSθ )|
= |Gref (rCθ Cα + rSθ Sα , −rCθ Sα + rSθ Cα )|
= |Gref (rCθ−α , rSθ−α )| = Pref (r , θ − α)
回転不変位相限定相関法
(rotation invariant phase only correlation)
2
目次
画像
Reference 㸰D DFT & ࣃ࣮࣡ࢫ࣌ࢡࢺࣝ
ᴟᗙᶆኚ᥮
マッチトフィルタ
POC ᅇ㌿ゅ᳨ฟ
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
′
平井慎一
Ginp
画像
位置の検出
′
知能科学：コン
ピュータビジョン
Input
平井慎一
目次
′
極座標変換 Pref (r , θ) と Pinp (r , θ) に位相限定相関法を
用いることにより，α の値を求めることができる
ハレーション
回転不変位相限定相関法
(rotation invariant phase only correlation)
知能科学：コン
ピュータビジョン
][
]
Cα Sα
x − x0
−Sα Cα
y − y0
][ ′ ] [
]
−Sα
x
x0
+
y′
Cα
y0
回転不変位相限定相関法
(rotation invariant phase only correlation)
知能科学：コン
ピュータビジョン
位相限定相関法
Cα
Sα
[
Ginp (ξ, η) = e −i(ξx0 +ηy0 ) Gref (ξCα + ηSα , −ξSα + ηCα )
位相限定相関法
(phase only correlation; POC)
位置と姿勢の検出
[
=
e −i(ξx+ηy ) = e −i{ξ(Cα x −Sα y +x0 )+η(Sα x +Cα y +y0 )}
′
′
= e −i{(ξCα +ηSα )x +(−ξSα +ηCα )y } e −i(ξx0 +ηy0 )
触画像処理
これより
−1
=
]
知能科学：コン
ピュータビジョン
|Gref |2 = Gref G ref
|G ref | = |Gref |,
]
x′
y′
回転不変位相限定相関法
(rotation invariant phase only correlation)
位相限定相関法
(phase only correlation; POC)
知能科学：コン
ピュータビジョン
x
y
[
Gref
Gref
位相限定相関法
2
参照画像
入力画像
振幅スペクトル
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
Input
Rotated
reference
まとめ
POC
振幅スペクトルの極座標変換
位置と姿勢の検出結果
回転不変位相限定相関法
(rotation invariant phase only correlation)
SIFT を用いた位置と姿勢の計測
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
参照画像
入力画像
オクルージョン
回転角 θ を求めた後に，並進変位 [xo , yo ]T を計算
[
] [
] [
][
]
xo
Xi
cos θ − sin θ
xi
=
−
yo
Yi
sin θ cos θ
yi
位相限定相関法
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
一組の特徴点から回転角と並進変位を計算すると誤差
を生じる
回転角 θ と並進変位 [xo , yo ]T の計算においては，複数
の組から計算した結果の最頻値（モード）を採用する
（投票）
変形
照明変動
ハレーション
SIFT: 水中物体位置と姿勢の計測
局所特徴量
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
個々の画像で特徴点を選び，画像間で特徴点間の対応
を求める
まとめ
画像
位置の検出
マッチトフィルタ
SIFT scale-invariant feature transform
SURF speeded-up robust features
位相限定相関法
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
目次
変形に対応できる
触画像処理
まとめ
Open CV に実装されている
SIFT: 水中物体位置と姿勢の計測
SIFT
知能科学：コン
ピュータビジョン
平井慎一
目次
画像
位置の検出
知能科学：コン
ピュータビジョン
SIFT の基本概念
特徴点検出
スケール選択
回転不変量
平井慎一
Harris corner detector (Harris, Stephens)
scale-space theory (Lindeberg)
local grayscale invariant (Schmid, Mohr)
SIFT の発展
位置と姿勢の検出
局所特徴量
局所特徴量
まとめ
位置の検出
位相限定相関法
位相限定相関法
触画像処理
画像
マッチトフィルタ
マッチトフィルタ
位置と姿勢の検出
目次
SIFT
Lowe, 1999
PCA-SIFT Ke, Sukthankar, 2004
BSIFT
Stein, Herbert, 2005
触画像処理
まとめ
http://www.vision.cs.chubu.ac.jp/SIFT
SIFT を用いた位置と姿勢の計測
知能科学：コン
ピュータビジョン
平井慎一
目次
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
テンプレート画像における特徴点 i の座標 [xi , yi ]T
入力画像における特徴点 i の座標 [Xi , Yi ]T
位置 [xo , yo ]T ，回転 θ
[
] [
][
] [
]
Xi
cos θ − sin θ
xi
xo
=
+
Yi
sin θ cos θ
yi
yo
局所特徴量
触画像処理
まとめ
SIFT: 水中物体位置と姿勢の計測
[
Xi − Xj
Yi − Yj
]
=
[
⇓
cos θ − sin θ
sin θ cos θ
知能科学：コン
ピュータビジョン
平井慎一
目次
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
局所特徴量
][
xi − xj
yi − yj
]
ベクトル [Xi − Xj , Yi − Yj ]T と [xi − xj , yi − yj ]T の成す
角は回転角 θ に一致
触画像処理
まとめ
SIFT: 水中物体の位置と姿勢の計測
SIFT: 水中物体位置と姿勢の計測
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
マッチトフィルタ
位相限定相関法
位相限定相関法
位置と姿勢の検出
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
SIFT: 複雑背景下の物体追跡
SIFT: 水中物体の位置と姿勢の計測
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
マッチトフィルタ
位相限定相関法
位相限定相関法
位置と姿勢の検出
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
SURF: MR 画像間の変形の計測
SIFT: 水中物体の位置と姿勢の計測
知能科学：コン
ピュータビジョン
知能科学：コン
ピュータビジョン
平井慎一
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
マッチトフィルタ
位相限定相関法
位相限定相関法
位置と姿勢の検出
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
Feature points extracted by SURF
SIFT: 水中物体の位置と姿勢の計測
知能科学：コン
ピュータビジョン
平井慎一
SURF: MR 画像間の変形の計測
知能科学：コン
ピュータビジョン
平井慎一
目次
目次
画像
画像
位置の検出
位置の検出
マッチトフィルタ
位相限定相関法
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
位置と姿勢の検出
局所特徴量
局所特徴量
触画像処理
触画像処理
まとめ
まとめ
Matched points between two images
触画像処理
知能科学：コン
ピュータビジョン
平井慎一
目次
画像
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
局所特徴量
触画像処理
まとめ
まとめ
知能科学：コン
ピュータビジョン
平井慎一
目次
画像
位置の検出
マッチトフィルタと位相限定相関法
二次元フーリエ変換の商を計算し精密な位置を検出
位置の検出
マッチトフィルタ
位相限定相関法
位置と姿勢の検出
局所特徴量
触画像処理
姿勢の検出
回転不変位相限定相関法
パワースペクトルの比較から回転を検出
まとめ
局所特徴量
SIFT と SURF
変形に対応

Download Report