T

2008/12/1
エピポーラ幾何の概念と方程式
エピポーラ幾何
エピポーラ
なぜエピポーラ
エピポーラ幾何とは、画像（カメラ）間の幾何関係を表す行列、
カメラの相対的な回転と並進情報を持っている。
２つのカメラで３次元空間の同じ点を見ているとする。その点と
２つカメラのレンズ中心、そして両画像におけるその点の投影
（像）が１つの平面（エピポーラ平面:epipolar plane）にある。
多くの視覚問題：両眼視、運動視、
物体認識、多重画像に適応できる。
エピポーラ平面とそれぞれ画像
との交線：エピポーラ線(epipolar
line)
カメラキャリブレーションで行列
を計算すれば、いいではないか？
各画像においてエピポーラ線
の交点：エピポール(epipole)
両視点結ぶ直線と画像との
交点。
カメラが固定ではないことが多くて、行列を計算できないことが
ほとんど。何らかの手段で入手した画像の間の関係を求める
にはーーエピポーラ幾何
1
視覚情報学特論
エピポーラ幾何の概念と方程式
2
視覚情報学特論
エピポーラ幾何の概念と方程式
対応点の探索
予備知識：共平面ベクトルの関係
両カメラの幾何関係が既知の場合、一方の画像で1点が
与えられると、エピポーラ平面
と各画像上のエピポーラ線が
決まる。
３つのベクトル共平面の場合、
d
aT (b × c) = 0
a
c
まず bとcの外積：
まず、bとcの外積：
3次元空間上のもとの点が
次空間上もと点が
分からなくても、対応点が
エピポーラ線上に限定される。
d = b×c
b
dがベクトルb,cで構成した平面と垂直
ベクトルa,b,c共平面なので、dとaなす角が90度。
0 = aT d = aT (b × c) = 0
2次元の探索ではなく、エピポ
ーラ線に沿っての1次元探索
3
視覚情報学特論
エピポーラ幾何の概念と方程式
予備知識：反対称行列
予備知識：反対称行列
A = −AT
⎛ 0
⎜
= ⎜ t3
⎜t ⎟ ⎜− t
⎝ 3 ⎠× ⎝ 2
− t3
0
t1
t2 ⎞
⎟
− t1 ⎟
0 ⎟⎠
両ベクトルの外積：
a × b = [a]× b
また、
⎛ 0
⎜
[t ]× t = ⎜ t3
⎜−t
⎝ 2
− t3
0
t1
t 2 ⎞⎛ t1 ⎞ ⎛ − t3t 2 + t 2t3 ⎞
⎟⎜ ⎟ ⎜
⎟
− t1 ⎟⎜ t 2 ⎟ = ⎜ t3t1 − t1t3 ⎟ = 0
0 ⎟⎠⎜⎝ t3 ⎟⎠ ⎜⎝ − t 2t1 + t1t 2 ⎟⎠
視覚情報学特論
同様に、次式を確認できる
[t ]T× t = 0
ベクトルから構成した反対称行列を次に記する
⎛ t1 ⎞
⎜ ⎟
4
エピポーラ幾何の概念と方程式
反対称行列(skew-symmetric matrix)が次の性質を持つ行列
[t ]× = ⎜ t2 ⎟
視覚情報学特論
5
視覚情報学特論
6
1
2008/12/1
エピポーラ幾何の概念と方程式
エピポーラ幾何の概念と方程式
エピポーラ方程式
エピポーラ方程式
正規カメラ（焦点距離が１）の場合について考える。
3次元空間におけるエピポーラ平面上にベクトル
が共平面： ~
x T (t × (R~
x ′ + t )) = 0
画像１の点の座標 x 、画像２における対応点 x′ とする。
~ ~
それぞれのカメラ座標系における３次元座標は x , x ′ とする。
展開：
一方のカメラを他方のカメラの位置と姿勢（方向）にする移動
、回転行
は、回転行列Rと並進ベクトル
tによって表現。
~
x T (t × (R~
x ′ + t )) = ~
x T [t ]× (R~
x′ + t)
T
T
~
~
~
′
= x [t ] Rx + x [t ] t
×
×
x T [t ]× R~
x′
=~
T ~
~
= x Ex ′ = 0
両対応点と両カメラレンズ
中心が共平面：エピポーラ
平面。
ここで
この平面上のベクトルを考える
x'
1
x
E = [t ]× R
7
視覚情報学特論
2
t
8
視覚情報学特論
エピポーラ幾何の概念と方程式
エピポーラ幾何の概念と方程式
エピポーラ方程式
エピポーラ方程式
エピポーラ方程式(epipolar equation)
正規化カメラではなく、リアルカメラの場合、エピポーラ方程式は？
ディジタル画像座標 mとm′ とする。それぞれのカメラ座標系に
~ ~
おける3次元座標 m, m′ とする。
~
x T E~
x′ = 0
EがE行列(Essential matrix：基本行列）と呼ばれる。
p14
エピポラ方程式は（被写体）３次元座標と関係なく、２次元画
エピポーラ方程式は（被写体）３次元座標と関係なく
２次元画
像座標とカメラ運動のみを変数とした方程式。
内部行列 ⎛ α
⎜ u
A=⎜ 0
⎜0
⎝
エピポーラ幾何の概念と方程式
− α u cot θ
αv
0
u0 ⎞
⎟
v0 ⎟
1 ⎟⎠
c
C
Y
y
Z
m
M
視覚情報学特論
10
F行列とエピポールの関係
２次元空間（画像）上直線方程式
エピポーラ方程式
ax + by + c = 0
~
~ )T E ( A′−1m
~ ′) = m
~ T A−T EA′ −1m
~′
x T E~
x ′ = ( A −1 m
~ T Fm
~′ = 0
=m
ベクトルを用いて表現：
xT l = xT ⋅ l = ( x
F行列(fundamental matrix
matrix：基礎行列)
基礎行列)
E = AT FA′
⎛a⎞
⎜ ⎟
y 1)⎜ b ⎟ = 0
⎜ ⎟
⎝c⎠
Homogeneous（同次）点xが直線l上に乗ることの必要十分の条件
~
~ T Fm
~′ = 0
x T E~
x′ = m
（ハフ変換と同様に、xとｌを別々の空間で考えれば、L空間で一点
分かれば、X空間で一直線を決める。逆に、X空間で一点分かれば
L空間で一直線を決める。）
内部パラメータと関係あり
視覚情報学特論
x
エピポーラ幾何の概念と方程式
カメラ内部行列が含まれるエピポーラ方程式
内部パラメータと関係なし
I
X
9
視覚情報学特論
F = A−T EA′−1
~ = A~
m
x
~
m′ = A′~
x′
AとA′ はそれぞれのカメラの
（２次元画像上の点をカメラ座標系から見ると、第３座標を焦
点距離とすれば、３次元座標である。正規カメラの場合、焦点
距離が１なので、事実上２次元座標が分かれば３次元座標も
分かる）
重要な方程式
~
x , tとR~
x′ + t
11
視覚情報学特論
12
2
2008/12/1
エピポーラ幾何の概念と方程式
エピポーラ幾何の概念と方程式
F行列とエピポールの関係
補足
F行列で表現するエピポーラ方程式を書き換え
「画像１におけるエピポールeは、画像２のすべての点に対応」
(p63.上から１０行目）
~ T Fm
~′ = m
~T l = 0
m
~ が直線
これは点 m
~ ′上にあることを示す。
l = Fm
画像１（空間１）におけるエピポール（一点）は、画像２（空間２）
におけるすべてのエピポーラ線と対応する。
この直線はエピポーラ線である。
の直線は
ポラ線である。
エピポールが必ずエピポーラ線上にあるので、
F行列が分かれば、eとe’はそれぞれFFTとFTFの最も小さい
固有値に対応するベクトルである。
~′ = 0
e l = e Fm
T
T
~ に対して成り立つので
上式が任意の m′
e T F = 0T
FTe = 0
同様に
Fe′ = 0
FTe = 0
F T e = eT FF T e = 0
Fe′ = 0
Fe′ = e′T F T Fe′ = 0
2
2
13
視覚情報学特論
中心射影におけるE行列の性質
中心射影におけるE行列の性質
E行列の特異値
E行列の特異値
E行列が E = [t ]× Rの関係があるが、実際にEET行列は並進ベクトル
任意の3x3の行列がE行列であるための必要十分条件は、その
行列の特異値(singular value)の１つがゼロであり、残りの２つ
が等しいこと。
tにのみ依存する。
EE T = [t ]× RR T [t ]× = [t ]× [t ]×
T
E t = R [t ] t = 0
T
T
− t3
⎛ 0
⎜
= ⎜ t3
⎜−t
⎝ 2
ET行列を並進ベクトルtに作用すると、
0
t1
⎛t + t + t
⎜
=⎜
0
⎜
0
⎝
= t T tI − tt T
2
1
T
×
故に、E行列の特異値は少なくとも１つがゼロである。
2
2
t 2 ⎞⎛ 0
⎟⎜
− t1 ⎟⎜ − t3
0 ⎟⎠⎜⎝ t 2
t3
0
− t1
0
− t 2 ⎞ ⎛ t32 + t 22
⎟ ⎜
t1 ⎟ = ⎜ − t1t 2
⎜
0 ⎠⎟ ⎝ − t1t3
⎞ ⎛t
⎟ ⎜
⎟ − ⎜ t1t 2
t12 + t 22 + t32 ⎟⎠ ⎜⎝ t1t3
2
1
0
t12 + t 22 + t32
0
0
− t1t 2
t12 + t32
− t 2t 3
t1t 2
t 22
t 2 t3
− t1t3 ⎞
⎟
− t 2t 3 ⎟
⎟
t12 + t 22 ⎠
t1t3 ⎞
⎟
t 2 t3 ⎟
t32 ⎟⎠
16
視覚情報学特論
中心射影におけるE行列の性質
中心射影におけるE行列の性質
E行列の特異値
E行列の要素間の関係
並進ベクトルtの方向に（例えばカメラ１の座標系の）x軸を合わす
T
ような回転Uが必ず存在：Ut = ( t 0 0)
次の（対称）行列を考える：
⎛ a1
⎜
EE = ⎜ b3
⎜b
⎝ 2
UEE TU T = U (t T tI − tt T )U T = Ut T tIU T − Utt T U T = Ut T tU T − Ut (Ut )
T
T
(U is rotation matrix, so UU T is I )
⎛t ⎞
⎜ ⎟
= t T tUU T − Ut (Ut )T = t T tI − Ut (Ut )T = t T tI − ⎜ 0 ⎟( t
⎜0⎟
⎝ ⎠
⎛t2
⎜
= t T tI − ⎜ 0
⎜
⎜ 0
⎝
2
3
T
15
視覚情報学特論
(t T t is scalar)
14
視覚情報学特論
0 0 ⎞⎟
⎛0 0 0⎞
⎜
⎟
1 0 ⎟ = tT t⎜ 0 1 0 ⎟
⎟
⎜0 0 1⎟
0 1⎟
⎝
⎠
⎠
視覚情報学特論
b3
a2
b1
b2 ⎞
⎟
b1 ⎟
a3 ⎟⎠
固有方程式
固有方程式：
0 0)
det( EE T − λI ) = −λ3 + aλ2 + bλ + c = 0
ただし、
回転がEの特異値を変え
ないので、Eのゼロでない
２つの特異値が等しい。
17
⎧a = a1 + a2 + a3
⎪
2
2
2
⎨b = b1 + b2 + b3 − a1a2 − a2 a3 − a3 a1
T
⎪c = det( EE )
⎩
視覚情報学特論
18
3
2008/12/1
中心射影におけるE行列の性質
中心射影におけるE行列の性質
E行列の要素間の関係
E行列の要素間の関係
c=0
特異な固有値の一つがゼロなので、
c=0
c = det( EE T ) = det( E ) det( E T ) = det( E ) det( E )
残り二つの固有値が等しい、その条件によって、次式がある
a + 4b = 0
e1x
e1 y
e1z
= det( E ) 2 = e2 x
e2 y
e2 z
e3 x
e3 y
e3 z
2
次にE行列の行ベクトルを用いて上記の式を表現する。
⎛ e1 ⎞ ⎛ e1x
⎜ ⎟ ⎜
E = ⎜ e2 ⎟ = ⎜ e2 x
⎜e ⎟ ⎜e
⎝ 3 ⎠ ⎝ 3x
e1z ⎞
⎟
e2 z ⎟
e3 z ⎟⎠
e1 y
e2 y
e3 y
2
= [e1T (e2 × e3 )]2 = 0
そして、
e1T (e2 × e3 ) = 0
19
視覚情報学特論
20
視覚情報学特論
中心射影におけるE行列の性質
中心射影におけるE行列の性質
E行列の要素間の関係
E行列の要素間の関係
２つの任意ベクトルmとnが次の関係がある
また、
⎛ e1 ⎞
⎜ ⎟
EE T = ⎜ e2 ⎟(e1 e2
⎜ ⎟
⎝ e3 ⎠
⎛e e e e
⎜ 11 1 2
e3 ) = ⎜ e2 e1 e2e2
⎜e e e e
⎝ 31 3 2
(m × n )2 = m 2 n 2 − (mn )
e1e3 ⎞
⎟
e2 e3 ⎟
e3e3 ⎟⎠
そして、
b = b12 + b22 + b32 − a1a2 − a2 a3 − a3 a1
= (e2 e3 ) + (e1e3 ) + (e1e2 ) − e12 e22 − e22 e32 − e32 e12
2
2
(
2
= − e1 × e2 + e2 × e3 + e3 × e1
2
2
2
)
そして、
(
a = (a1 + a2 + a3 ) = e1 + e2 + e3
2
2
2
2
a 2 + 4b = 0
式
)
2 2
(e
2
1
弱中心射影におけるエピポーラ方程式
2
) = 4( e × e
2 2
1
2
2
+ e2 × e3 + e3 × e1
2
2
)
22
視覚情報学特論
弱中心射影におけるエピポーラ方程式
カメラ間の運動
エピポーラ方程式
X, X′ が３次元空間内の一点の両カメラ座標系における座標
T
v R を展開：
v T R = [r11 r23 − r13 r21
X = RX′ + t
⎛ r11
⎜
R = ⎜ r21
⎜
⎝ r31
+ e2 + e3
21
視覚情報学特論
回転行列：
から次式が成り立つ：
並進ベクトル
r13 ⎞
⎟
r23 ⎟
r33 ⎟⎠
r12
r22
r32
(r31
t = (t X , tY , t Z )
T
T
３次元座標の Z , Z ′ を消去するために、両側に v = (r23 ,− r13 ,0 )
v X = v RX′ + v t
T
視覚情報学特論
23
r33 ) = (r11
r12
r13 ) × (r21
= (r12 r23 − r13 r22
r22
r23 )
r13 r21 − r11 r23
r11 r22 − r12 r21 )
r11 r23 − r13 r21 = − r32
r12 r23 − r13 r22 = r31
故に、
T
r32
両側比較すると、
をかける
T
0]
r12 r23 − r13 r22
回転行列が直交行列なので、任意の行が他の２行の外積
v T R = [− r32
r31
視覚情報学特論
0]
24
4
2008/12/1
弱中心射影におけるエピポーラ方程式
弱中心射影におけるエピポーラ方程式
エピポーラ方程式
エピポーラ方程式
式 v T R = [− r32
r31
0] を式vT X = vT RX′ + vT t に代入し、展開
− r23 X + r13Y − r32 X ′ + r31Y ′ + r23t X − r13tY = 0
第３座標値 Z , Z ′ が含まれない。カメラ１の座標系において、
上式が画像１平面に垂直な平面を表す（法線：
(− r23 , r13 ,0) ）
同じくカメラ２の座標系において、上式が画像２平面に垂直な
平面を表す（法線： (− r32 , r31 ,0 ) ）
両画像に垂直な平面
両画像平面に垂直な平面を表している。
− r23 X + r13Y − r32 X ′ + r31Y ′ + r23t X − r13tY = 0
25
視覚情報学特論
弱中心射影におけるエピポーラ方程式
弱中心射影におけるエピポーラ方程式
エピポーラ方程式
エピポーラ方程式
弱中心射影の場合、
26
視覚情報学特論
⎛ X c ΔX ⎞
+
⎟
⎜
⎛ x ⎞ ⎜ Zc
Zc ⎟ 1
⎜⎜ ⎟⎟ =
=
⎝ y ⎠ ⎜ Yc + ΔY ⎟ Z c
⎜Z
⎟
Z
c ⎠
⎝ c
両画像に垂直な平面の方程式を次のようになる
⎛X ⎞
⎜⎜ ⎟⎟
⎝Y ⎠
⎛
⎞
− r23 Z c
⎜
⎟
y 1)⎜
r13 Z c
⎟=0
⎜ − r Z ′ x′ + r Z ′ y ′ + r t − r t ⎟
31 c
23 x
13 y ⎠
⎝ 32 c
(x
両画像に垂直な平面に代入すると、
− (r23 Z c ) x + (r13 Z c ) y − (r32 Z c′ ) x′ + (r31Z c′ ) y′ + r23t X − r13tY = 0
変形すると
変形すると、
(x
ここで正規カメラを用いる場合、
~
x = ( x, y,1)T
~
x ′ = ( x′, y′,1)
⎛ 0
⎜
y 1)⎜ 0
⎜− r Z′
⎝ 32 c
行列の形にすれば、
弱中心射影におけるエピポーラ方程式
0
r13 Z c
r31 Z c′
~
x T Ewp ~
x′ = 0
27
視覚情報学特論
⎞⎛ x ′ ⎞
⎟⎜ ⎟
⎟⎜ y ′ ⎟ = 0
r23 t x − r13 t y ⎟⎠⎜⎝ 1 ⎟⎠
− r23 Z c
0
28
視覚情報学特論
弱中心射影におけるエピポーラ方程式
E行列
F行列
それぞれのカメラの内部行列 A, A′ が分かれば、ディジタル画像
弱中心射影におけるE行列：
⎛ 0
⎜
Ewp = ⎜ 0
⎜− r Z′
⎝ 32 c
座標 mとm′ を用いたエピポーラ方程式
− r23 Z c ⎞
⎟
r13 Z c ⎟
r23t X − r13tY ⎟⎠
0
0
r31Z c′
~
~ )T E ( A′−1m
~ ′)
x T Ewp ~
x ′ = ( A−1m
wp
~ T A−T E A′−1m
~′ = m
~T F m
~′ = 0
=m
wp
平行射影の場合、両画像に垂直な平面の方程式
− r23 x + r13 y − r32 x′ + r31 y′ + r23t X − r13tY = 0
平行射影におけるE行列：
Eortho
⎛ 0
⎜
=⎜ 0
⎜− r
⎝ 32
0
0
r31
⎛α
⎜
A=⎜0
⎜0
⎝
− r23
⎞
⎟
r13
⎟
r23t X − r13tY ⎟⎠
視覚情報学特論
wp
カメラの内部行列とその逆行列は左下の３要素が０：
29
γ u0 ⎞
⎟
β v0 ⎟
0
1 ⎟⎠
⎛1
⎜
⎜α
⎜
A−1 = ⎜ 0
⎜
⎜⎜ 0
⎝
視覚情報学特論
γ
αβ
1
β
0
γv0 − u0 β ⎞
⎟
αβ ⎟
−
v0
β
1
⎟
⎟
⎟
⎟⎟
⎠
30
5
2008/12/1
弱中心射影におけるエピポーラ方程式
弱中心射影におけるエピポーラ方程式
F行列
F行列
Ewp行列の左上の４つの要素が０なので、Fwp行列の形：
0 e13 ⎞⎛ b11 b12 b13 ⎞
⎛ a11 0 0 ⎞⎛ 0
⎟
⎟⎜
⎟⎜
⎜
Fwp = ⎜ a21 a22 0 ⎟⎜ 0
0 e23 ⎟⎜ 0 b22 b23 ⎟
⎟⎜
⎟⎜
⎜a
0
1 ⎟⎠
⎝ 31 a32 1 ⎠⎝ e31 e32 e33 ⎠⎝ 0
0
e13
⎞
⎛ a11 0 0 ⎞⎛ 0
⎟
⎟⎜
⎜
0
e23
= ⎜ a21 a22 0 ⎟⎜ 0
⎟
⎟
⎟⎜
⎜a
⎝ 31 a32 1 ⎠⎝ e31b11 e31b12 + e32b22 e31b13 + e32b23 + e33 ⎠
0
a11e13
⎞
⎛ 0
⎟
⎜
0
a21e13 + a22 e23
=⎜ 0
⎟
⎟
⎜e b e b + e b
a
e
a
e
e
b
e
b
e
+
+
+
+
31 13
32 23
31 13
32 23
33 ⎠
⎝ 31 11 31 12 32 22
明らかにFwp行列の左上の４つの要素が０、そして、それを次の
ように書き換える：
⎛ 0
⎜
Fwp = ⎜ 0
⎜f
⎝ 31
エピポーラ方程式の展開：（画像座標に関して線形）
~ T Fm
~′
0=m
0
f13 ⎞⎛ u′ ⎞
f13
⎞
⎛
⎛ 0
⎟
⎜
⎟⎜ ⎟
⎜
0 f 23 ⎟⎜ v′ ⎟ = (u v 1)⎜
= (u v 1)⎜ 0
f 23
⎟
⎟
⎜
⎟
⎜
⎟
⎜f
⎝ f 31u′ + f 32 v′ + f 33 ⎠
⎝ 31 f 32 f 33 ⎠⎝ 1 ⎠
= f13u + f 23v + f 31u ′ + f 32 v′ + f 33 = 0
弱中心射影におけるエピポーラ方程式
F行列
0
f
0
u0 ⎞
⎟
v0 ⎟
1 ⎟⎠
(A )
−1 T
⎛ 1
⎜
⎜ f
⎜
=⎜ 0
⎜
⎜ − u0
⎜ f
⎝
0
1
f
v
− 0
f
⎞
0⎟
⎟
⎟
0⎟
⎟
1 ⎟⎟
⎠
⎛
⎜
⎜
⎜
A′ −1 = ⎜
⎜
⎜⎜
⎝
1
f′
0
0
0
カメラ焦点距離：
1
f′
0
u0′ ⎞
⎟
f ′⎟
v0′ ⎟
− ⎟
f′
⎟
1 ⎟
⎟
⎠
−
f, f′
画像中心と並進
運動パラメータ
がFwpの右下の
要素にしか現れ
ない。
33
視覚情報学特論
弱中心射影におけるエピポーラ方程式
T
⎛ 1
⎜
⎜ f
⎜
=⎜ 0
⎜
⎜ − u0
⎜
⎝ f
1
f
v
− 0
f
⎛ 1
⎜
⎜ f
⎜
=⎜ 0
⎜
⎜ − u0
⎜ f
⎝
1
f
v
− 0
f
⎛
⎜ 0
⎜
=⎜ 0
⎜ r32 Z c′
⎜−
f′
⎝
⎞
0⎟
⎟⎛ 0
⎟⎜
0 ⎟⎜ 0
⎟⎜ − r Z ′
⎝ 32 c
1 ⎟⎟
⎠
⎞
0 ⎟⎛
⎟⎜ 0
⎟⎜
0 ⎟⎜ 0
⎟⎜
⎜− r Z′
1 ⎟⎟⎝ 32 c
⎠
0
0
0
0
r31 Z c′
f′
0
0
r31 Z c′
0
0
r31 Z c′
⎛
⎜
⎞⎜
⎟⎜
r13 Z c ⎟⎜
r23 t x − r13 t y ⎟⎠⎜
⎜
⎜
⎝
− r23 Z c
1
f′
0
0
0
1
f′
0
u 0′ ⎞
⎟
f ′⎟
v0′ ⎟
− ⎟
f′
⎟
1 ⎟
⎟
⎠
−
⎞
⎟
− r23 Z c
⎟
r13 Z c
⎟
⎟
(r32 u 0′ − r31v0′ )Z c′
+ r23 t x − r13 t y ⎟
f′
⎠
⎞
⎟
⎟
r13 Z c
⎟
⎟
(r23u 0 − r13 v0 )Z c (r32 u 0′ − r31v0′ )Z c′
+
+ r23t x − r13 t y ⎟
f
f′
⎠
− r23 Z c
視覚情報学特論
34
弱中心射影におけるエピポーラ方程式
カメラ間の運動
カメラ間の運動
カメラ間の回転をオイラー角で表現：
⎛ cos α cos β cos γ − sin α sin γ
⎜
R = ⎜ sin α cos β cos γ + cos α sin γ
⎜
− sin β cos γ
⎝
( )
Fwp = A −1 E wp A′ −1
それぞれの画像
中心：
(u0 , v0 ), (u0′ , v0′ )
u0 ⎞
⎟
v0 ⎟
1 ⎟⎠
画像の縦軸と横軸が直交し、画素が正方形、すなわち、θ=90
度、ku=kvの場合、
⎛f
⎜
A=⎜0
⎜0
⎝
32
視覚情報学特論
弱中心射影におけるエピポーラ方程式
F行列
本来カメラ内部行列Aは次の形である。
⎛ α u − α u cot θ u 0 ⎞ ⎛ fk u − fk u cot θ
⎜
⎟ ⎜
A = ⎜ 0 α v / sin θ v0 ⎟ = ⎜ 0
fk v / sin θ
⎜ 0
0
0
1 ⎟⎠ ⎜⎝ 0
⎝
f13 ⎞
⎟
f 23 ⎟
f 33 ⎟⎠
~ = (u v 1)T m
~ ′ = (u ′ v ′ 1)T
ディジタル画像における点の座標を m
31
視覚情報学特論
0
0
f 32
− cos α cos β sin γ − sin α cos γ
− sin α cos β sin γ + cos α cos γ
sin β sin γ
エピポーラ方程式に代入展開
cos α sin β ⎞
⎟
sin α sin β ⎟
cos β ⎟⎠
回転行列をFwp
⎛
⎞
⎜ 0
⎟
− r23 Z c
0
⎜
⎟
Fwp = ⎜ 0
r13 Z c
0
⎟
⎜ r32 Z c′ r31Z c′ (r23u0 − r13v0 )Z c (r32u0′ − r31v0′ )Z c′
⎟
+
+ r23t x − r13t y ⎟
⎜−
′
′
′
f
f
f
f
⎝
⎠
に代入し、エピポーラ方程式から
f13u + f 23v + f 31u′ + f 32 v′ + f 33 = 0
視覚情報学特論
35
sin β Z c
sin βZ c
Z′
Z′
v cos α − sin β c u′ sin γ − sin β c v′ cos γ + f 33 = 0
u sin α +
f′
f′
f
f
′
sin βZ c
(− u sin α + v cos α ) − sin βZ c (u′ sin γ + v′ cos γ ) + f 33 = 0
f′
f
−
( β ≠０ならば）
− u sin α + v cos α −
sin β Z c′
f′
(u′ sin γ + v cos γ ) + sinfβ33Z = 0
sin β Z c
c
f
f
また、
sin βZ c′
= ± f 312 + f 322 ,
f′
sin β Z c
= ± f132 + f 232
f
視覚情報学特論
36
6
2008/12/1
弱中心射影におけるエピポーラ方程式
弱中心射影におけるエピポーラ方程式
カメラ間の運動
カメラ間の運動
Let
ρ=
方程式
f 312 + f 322
f132 + f 232
−
と
方程式：
− u sin α + v cos α − ρ (u ′ sin γ + v ′ cos λ ) + λ = 0
ここで
f + f
2
13
f13u + f 23v + f 31u′ + f 32 v′ + f 33 = 0
比べると（βがゼロでなければ）、
⎧α1 = atan 2( f13 ,− f 23 )
⎨
⎩γ 1 = atan 2( f 31 , f 32 )
⎧α 2 = atan 2( − f13 , f 23 )
⎨
⎩γ 2 = atan 2( − f 31 ,− f 32 )
f 33
λ1 =
sin βZ c
sin β Z c
Z′
Z′
u sin α +
v cos α − sin β c u′ sin γ − sin β c v′ cos γ + f 33 = 0
f
f
f′
f′
2
23
λ2 = −λ1
37
視覚情報学特論
α1 − α 2 = ±π
γ 1 − γ 2 = ±π
視覚情報学特論
弱中心射影におけるエピポーラ方程式
38
弱中心射影におけるエピポーラ方程式
幾何学意味
幾何学意味
方程式
− u sin α + v cos α − ρ (u ′ sin γ + v ′ cos λ ) + λ = 0
すべてのオイラー角画像１の座標系において定義されるため、
画像２における回転が相対的にマイナスとなる。
この２つの変換を別々画像に
施して、垂直方向において、座
標が等しくなる
− u sin α + v cos α = ρ (u′ sin γ + v′ cos λ ) − λ
v = v′
画像１に対して変換：
⎛ u ⎞ ⎛ cos α
⎜⎜ ⎟⎟ = ⎜⎜
⎝ v ⎠ ⎝ − sin α
sin α ⎞⎛ u ⎞
⎟⎜ ⎟
cos α ⎟⎠⎜⎝ v ⎟⎠
水平座標のみが異なる。
画像２に対して変換：
⇒α、γはそれぞれの画像に
平面内の回転角、ρは画像間
のスケール変化を表している。
sin( −γ ) ⎞ ⎛ 0 ⎞
⎛ cos γ
⎛u ′⎞
⎟⎟
⎟⎟ + ⎜⎜
⎜⎜ ⎟⎟ = ρ ⎜⎜
′
⎝ − sin( −γ ) cos γ ⎠ ⎝ − λ ⎠
⎝v ⎠
39
視覚情報学特論
視覚情報学特論
弱中心射影におけるエピポーラ方程式
40
弱中心射影におけるエピポーラ方程式
β=0の場合
退化運動
オイラー角で表現する回転
β=0の場合、両画像間の変化は画像内の回転、並進とスケール
の変化のみとなる。
R = Rz (θ ) = Rz (γ )R y (β )Rz (α )
運動は２つの対応点があれば求められる。（４つの方程式から
４つの自由度：回転（１）、並進（２）とスケール（１））。
β=0の場合、回転が告ぎのようになる
⎛ cos θ
⎜
R = Rz (θ ) = ⎜ sin θ
⎜ 0
⎝
− sin
i θ
cos θ
0
0⎞
⎟
0⎟
1 ⎟⎠
−
上式から分かるように、両側とも０になるので（β=0なので）、
エピポーラ方程式が存在しない。
ここでθ=α+γ。つまり、回転は光軸まわりの回転のみで、画像
変化が被写体の奥行きと無関係である。
視覚情報学特論
sin βZ c
sin β Z c
Z′
Z′
u sin α +
v cos α − sin β c u′ sin γ − sin β c v′ cos γ + f 33 = 0
f
f
f′
f′
２次元アフィン運動(affine motion)
退化運動(degeneracy motion)
41
視覚情報学特論
42
7
2008/12/1
一般化エピポーラ方程式
一般化エピポーラ方程式
世界座標系における点M
世界座標系における点M
世界座標系における点Mがディジタル画像への射影
~
~
~ = PM
~ ′ = P′M
sm
s′m
p′ は常に原点に射影される
射影行列の中にカメラの外部と内部パラメータを含む。
p′ はカメラ座標系の原点で、レンズの中心を定義している。次の
⊥
P′p′⊥ = 0
⊥
ように決めることができる。
画像上の点m からMを一意には決まらない、Mが原点とm
画像上の点m'からMを
意には決まらない Mが原点とm'結ぶ
結ぶ
直線（光線）上である。
~
~ ′ + p′ ⊥
M = s′P′+ m
ここでωはゼロではない任意の４次元ベクトルである。
P′+が P′ の擬似逆行列（注意：射影行列のサイズ3x4)
同様にカメラ１の座標系における点Mを通る光線も求められる。
２本の光線が交わるところは３次元空間のもとの点Mである。
P′+ = P′T (P′P′T ) −1
視覚情報学特論
p′⊥ = (I − P′+ P′)ω
43
44
視覚情報学特論
一般化エピポーラ方程式
一般化エピポーラ方程式
世界座標系における点M
世界座標系における点M
カメラ２における光線をカメラ１の射影式に代入
整理すると、
~ = s′Mm
~′ + e
sm
~
~ = PM
~ ′ + Pp′ ⊥
sm
= Ps′P′ + m
~ ′ + e = s′Mm
~′ + e
= s′PP′+ m
ベクトルeを上式の両側に外積として掛けて、 [e]× e = 0 なので
~ = s ′[e] Mm
~′
s[e]× m
×
ここで e = Pp′
⊥
がカメラ２のレンズ中心が画像１における“像”
ーーエピポール。
M = PP ′ +
~ T を上式両辺に掛ける。
今回 m
が画像２から画像１への変換行列
視覚情報学特論
~ T [e] m
~ = s′m
~ T [e] Mm
~′
sm
×
x
45
46
視覚情報学特論
一般化エピポーラ方程式
一般化エピポーラ方程式
F行列
F行列
~ , e, m
~ 共平面なので、次式の左側が０
注意： m
F行列とエピポールの関係：
Fe′ = 0
FTe = 0
~ T [e] m
~ = s′m
~ T [e] Mm
~′
sm
x
×
F行列が与えられれば、エピポールを決めることができる。
整理すると、
画像間の変換行列MがF行列とエピポールで表されるが、
一意には決まらない。
~ T Fm
~′ = 0
m
M =−
F行列は射影行列を用いた表現
F = [e]× M
1
e
（注：以前はE行列とカメラ内部
パラメータを用いた表現）
視覚情報学特論
47
2
[e]× F + evT
ここでvは任意の３次元ベクトル。
視覚情報学特論
48
8
2008/12/1
一般化エピポーラ方程式
一般化エピポーラ方程式
Mの式を確認
M式を確認
T
T
2
まず [ a ]× = aa − a aI を導く
⎛0
⎜
[a]×2 = ⎜ a3
⎜a
⎝ 2
− a3
0
a1
⎛ a12
⎜
= ⎜ a1a2
⎜a a
⎝ 1 3
a1a2
a22
a2 a3
⎛ a
⎜
= ⎜ a1a2
⎜a a
⎝ 1 3
a1a2
a22
a2 a3
2
1
− a3
0
a1
a2 ⎞⎛ 0
⎟⎜
− a1 ⎟⎜ a3
0 ⎟⎠⎜⎝ a2
また、
a2 ⎞ ⎛ − a32 − a22
⎟ ⎜
− a1 ⎟ = ⎜ a1a2
0 ⎟⎠ ⎜⎝ a1a3
a1a2
− a32 − a12
a 2 a3
a1a3 ⎞ ⎛ a12 + a22 + a33
0
⎟ ⎜
a2 a3 ⎟ − ⎜
0
a12 + a22 + a33
a32 ⎟⎠ ⎜⎝
0
0
a1a3 ⎞
⎛1 0 0⎞
⎟
⎜
⎟
a2 a3 ⎟ − a12 + a22 + a32 ⎜ 0 1 0 ⎟
2 ⎟
⎜
⎟
a3 ⎠
⎝0 0 1⎠
(
a1a3 ⎞
⎟
a2 a3 ⎟
− a22 − a12 ⎟⎠
⎞
0
⎟
0
⎟
a12 + a22 + a33 ⎟⎠
F T e = 0 ⇒ F T eeT = 0 ⇒
0 = ( F T eeT )T = e( F T e)T = eeT F = 0
そして、
F = [e]× M
=−
e
)
=−
2
[e]×2 F + [e]× evT
2
(eeT − eT eI ) F = F
1
1
e
= aaT − a T aI = aa T − a I
2
49
視覚情報学特論
一般化エピポーラ方程式
一般化エピポーラ方程式
Mの逆行列
M = PP ′ +
E行列
の逆行列が存在
同様にE行列を求めることができる
M-1
[
]
E = Pp ′ ⊥ × PP′ +
M −1 = P′P +
式
50
視覚情報学特論
~ = s′Mm
~′ + e
sm
ただし、このとき射影行列には内部変数が含まれない。
両側にM-1をかける
一般化エピポーラ方程式なので、中心射影、平行射影、弱中心
射影、擬似中心射影に適用できる。
M
~ − M −1e = s′m
~′
sM −1m
整理すると、
~ ′ = sM −1m
~ + (− M −1e) = sM −1m
~ + e′
s′m
各射影行列をそれぞれF、E行列に代入すると、いままでと同じ
結果が得られる。
画像２におけるエピポール
51
視覚情報学特論
中心射影におけるエピポーラ方程式の推定
一般化エピポーラ方程式
F行列の求め方
エピポーラ方程式の展開
平行射影、弱中心射影、擬似中心射影や一般化アフィン射影
の場合に、E行列とF行列の左上の４つの要素がゼロとなる。
⎛ 0
⎜
F =⎜ 0
⎜f
⎝ 31
52
視覚情報学特論
0
0
f 32
f13 ⎞
⎟
f 23 ⎟
f 33 ⎟⎠
エピポーラ方程式
T
画像１における点 mi = (ui , vi ) と画像２における点 mi′ = (ui′, vi′ )T
T
~
~
はエピポーラ方程式 mi Fmi′ = 0 を満たす。
(ui
0
f13 ⎞⎛ u ′ ⎞
⎛ 0
⎟⎜ ⎟
⎜
T
~
~
0 f 23 ⎟⎜ v′ ⎟
m Fm′ = (u v 1)⎜ 0
⎟⎜ ⎟
⎜f
⎝ 31 f 32 f 33 ⎠⎝ 1 ⎠
= f 31u + f 32 v + f13u ′ + f 23v′ + f 33 = 0
視覚情報学特論
点対応から中心射影のエピポーラ方程式の推定ができる。
⎛ f11
⎜
vi 1)⎜ f 21
⎜f
⎝ 31
f12
f 22
f 32
f13 ⎞⎛ ui′ ⎞
⎟⎜ ⎟
f 23 ⎟⎜ vi′ ⎟ = 0
f 33 ⎟⎠⎜⎝ 1 ⎟⎠
これを展開する。
53
視覚情報学特論
54
9
2008/12/1
中心射影におけるエピポーラ方程式の推定
中心射影におけるエピポーラ方程式の推定
F行列の求め方
(ui
vi
F行列の求め方
⎛ f11ui′ + f12 vi′ + f13 ⎞
⎟
⎜
1)⎜ f 21ui′ + f 22 vi′ + f 23 ⎟ = 0
⎜ f u ′ + f v′ + f ⎟
32 i
33 ⎠
⎝ 31 i
ベクトル
T
f = ( f11 , f12 , f13 , f 21 , f 22 , f 23 , f 31 , f 32 , f 33 )
T
n点の対応が与えられたら、方程式の積み重ね
線形方程式（未知数がfij))：
Uf = 0
ui ui′ f11 + ui vi′ f12 + ui f13 + vi ui′ f 21 +
vi vi′ f 22 + vi f 23 + ui′ f 31 + vi′ f 32 + f 33 = 0
ベクトル記すると、
u i = (ui ui′, ui vi′, ui , vi ui′, vi vi′, vi , ui′, vi′,1)
ここで、
(
U = u1T , u 2T , L , u nT
u Tif = 0
視覚情報学特論
)
T
方程式を解けば、F行列の要素が求められる。
55
中心射影におけるエピポーラ方程式の推定
56
視覚情報学特論
中心射影におけるエピポーラ方程式の推定
F行列の自由度
最小化問題
中心射影の場合、
自由度が7なので、最低7点の対応があれば、解けることになる。
8点以上が与えられれば、線形解法が存在する。最小自乗法に
基づく最小化問題となる：
rank (F ) = rank ([e]× M ) ≤ rank ([e]× )
det([e]× ) = 0 である、 [e]× のランクが２なので、Fのランクが１か
２かであるが、実際に２である。
(
~ T Fm
~′
min ∑ m
i
i
F
2
f
視覚情報学特論
= min f T U T Uf
f
ここでfのスケールは任意である。fの長さを１に拘束条件として
最小化問題を解く。fがUTUの最小の固有値に対応する固有
ベクトルとして求められる。
57
中心射影におけるエピポーラ方程式の推定
2
等価的に
min Uf
本来ならば、F行列が9自由度であるが、スケールが任意なので、
自由度が8である。また、F行列のランクが2なので、det(F)=0
であって、自由度が1個減らせる。そして自由度が7である。
)
i
58
視覚情報学特論
中心射影におけるエピポーラ方程式の推定
ランクを２にする
ランクを２にする
F行列に最も近いランク２の行列は
このように得られたF行列は、計算上の問題で、ランクが2では
ないので、F行列に最も近いランク２の行列を求める。
ˆ = diag (σ , σ ,0)
∑
1
2
⎛σ 1 0
⎜
= ⎜ 0 σ2
⎜0 0
⎝
ˆ UT
Fˆ = V ∑
Fの特異値分解(Singular value decomposition):
F = V ∑U T
「近い」とは、行列のノルム(Frobenius norm)が小さい。
ここで∑は大から小への順番となるような対角線行列
⎛σ 1 0 0 ⎞
⎜
⎟
∑ = ⎜ 0 σ2 0 ⎟
⎜0 0 σ ⎟
3⎠
⎝
A =
m
n
∑∑ a
i =1 j =1
Fˆ は
VとUはそれぞれFの左と右直交行列である。
視覚情報学特論
0⎞
⎟
0⎟
0 ⎟⎠
59
2
ij
F − Fˆ を最小にするランク２の行列である。
視覚情報学特論
60
10
2008/12/1
中心射影におけるエピポーラ方程式の推定
中心射影におけるエピポーラ方程式の推定
計算誤差の影響
計算誤差の削減
線形計算法をそのまま適用すると、誤差の影響が大きい。
⎛ u1u1′
⎜
⎜ u u′
U =⎜ 2 2
M
⎜
⎜ u u′
⎝ n n
u1v1′
u 2v2′
u1
u2
M
un vn′
M
v1u1′
v2u2′
v1v1′
v2 v2′
M
un
M
vnun′
vn vn′
u1′
u ′2
v1
v2
M
M
u′n
vn
一般に画像の座標原点を特徴点の重心に移し、画像のスケール
を大ざっぱに − 2 ~ 2 の範囲に縮小するという変換を施して
から、線形方程式を解ける。
v1′ 1⎞
⎟
v2′ 1⎟
M M⎟
⎟
v′n 1⎟⎠
ˆ , mˆ ′ とすると、
画像座標 m, m′ の変換後の座標をそれぞれ m
~
~
mˆ = Tm
~
~′
mˆ ′ = T ′m
エピポーラ方程式に代入すると、
~
~
mˆ T T −T FT ′−1mˆ ′ = 0
u,vが画像上の座標なので、U行列の要素間の差が非常に大きい
例えば、 u1 = 200, u1′ = 300の場合、u1u1′ = 60000
最後の要素はただ１である。6万倍の差がある。
変換後の画像から求められたF行列：
このような行列を用いて計算すれば、誤差が大きい。
もとの画像間のF行列：
61
視覚情報学特論
中心射影におけるエピポーラ方程式の推定
Fˆ = T −T FT ′−1
F = T T FˆT ′
62
視覚情報学特論
中心射影におけるエピポーラ方程式の推定
物理的な量の最適化
物理的な量の最適化
F行列を求めるもう１つの方法：ある物理的な量の最適化である。
エピポーラ方程式：
~ T Fm
~′ = 0
m
i
i
~ ′T F T m
~ =0
m
i
i
~ に対応する画像１
画像の点 m′
画像２の点
対応する画像
i
におけるエピポーラ線
li = Fmi′ = (li1 li 2
li 3 )
T
画像１におけるエピポーラ線の方程式： li1u + li 2 v + li 3 = 0
~ からエピポーラ線への距離自乗
点 m
i
物理的な量：例えば、各点とその対応するエピポーラ線の間の
ユークリッド距離の自乗和。それを最小化する。
中心射影におけるエピポーラ方程式の推定
)
2
64
視覚情報学特論
中心射影におけるエピポーラ方程式の推定
物理的な量の最適化
解け方
~
同じ方法で画像２の点 m′i から対応するエピポーラ線への距離自乗
(
~ ′T F T m
~
m
i
d i′2 = i 2
li′1 + li′22
) (
2
)
~ T Fm
~′ 2
m
= i2 i2
li′1 + li′2
) (
)
~ T Fm
~′ 2 m
~ T Fm
~′ 2 ⎞
⎛ m
~ T Fm
~′
C = ∑ ⎜ i2 2i + i2 i2 ⎟ = ∑ wi2 m
i
i
⎜
li′1 + li′2 ⎟⎠ i
i ⎝ li1 + li 2
(
) (
)
(
)
2
1/ 2
)
2
繰り返し漸近法：
wi=1 → F行列を求める → Fを用いてwiを計算する
→F行列を求める →．．．
1/ 2
⎛ 1
1 ⎞
⎟
wi = ⎜⎜ 2 2 + 2
2 ⎟
′
+
+
l
l
l
⎝ i1 i 2 i1 li′2 ⎠
視覚情報学特論
(
~ T Fm
~′ 2 m
~ T Fm
~′ 2 ⎞
⎛ m
~ T Fm
~′
C = ∑ ⎜ i2 2i + i2 i2 ⎟ = ∑ wi2 m
i
i
⎜
li′1 + li′2 ⎟⎠ i
i ⎝ li1 + li 2
⎛ 1
1 ⎞
⎟
wi = ⎜⎜ 2 2 + 2
2 ⎟
⎝ li1 + li 2 li′1 + li′2 ⎠
評価関数の定義：
重み：
(
~ T l )2
~ T Fm
~′
(li1ui + li 2 vi + li 3 ) 2 (m
m
i i
i
i
=
=
li21 + li22
li21 + li22
li21 + li22
63
視覚情報学特論
(
d i2 =
65
視覚情報学特論
66
11
2008/12/1
アフィン射影におけるエピポーラ方程式の推定
F行列の推定
エピポーラ方程式
アフィン射影の場合、F行列の左上の４つの要素がゼロなので、
エピポーラ方程式：
(ui
アフィン射影におけるエピポーラ方程式の推定
⎛ 0
⎜
vi 1)⎜ 0
⎜f
⎝ 31
f13 ⎞⎛ ui′ ⎞
⎟⎜ ⎟
f 23 ⎟⎜ vi′ ⎟ = 0
f 33 ⎟⎠⎜⎝ 1 ⎟⎠
0
0
f 32
アフィン射影の場合、F行列の自由度が４。最低4点の対応が
あれば、Fを計算できる。
展開すると、
ui f13 + vi f 23 + ui′ f 31 + vi′ f 32 + f 33 = 0
u Tif + f 33 = 0
ベクトル式：
u i = (ui
ここで
vi
f = ( f13
Hyperplane
ui′ vi′ )
f 23
T
f 31
f 32 )
T
67
視覚情報学特論
アフィン射影におけるエピポーラ方程式の推定
F行列の推定
0
0
f 32
f13 ⎞⎛ xi′ ⎞
⎟⎜ ⎟
f 23 ⎟⎜ yi′ ⎟ = ( f13
f 33 ⎟⎠⎜⎝ 1 ⎟⎠
アフィン射影におけるエピポーラ方程式の推定
画像１と画像２において、ユークリッド距離の自乗和：
f 23
0
0
f 23
f 31 ⎞⎛ xi ⎞
⎟⎜ ⎟
f 32 ⎟⎜ yi ⎟ = ( f 31
f 33 ⎟⎠⎜⎝ 1 ⎟⎠
ε i2
n
d12 = ∑
f 31 xi′ + f 32 yi′ + f 33 )
f +f
2
13
i =1
ここで
画像２におけるエピポーラ線：
⎛ 0
~ =⎜ 0
li′ = F T m
⎜
i
⎜f
⎝ 13
n
ε i2
i =1
f + f 322
d 22 = ∑
2
23
2
31
ε i2 = (uTi f + f 33 )
2
f 32
f13 xi + f 23 yi + f 33 )
一般的に両画像のスケールが異なり、エピポーラ線間の間隔も
異なる。距離の自乗和をそのまま足すより、スケールを考慮した
重みをつけて足した方が合理。
注意：画像上エピポーラ線の方向が同じ（傾き）
69
視覚情報学特論
アフィン射影におけるエピポーラ方程式の推定
F行列の推定
70
視覚情報学特論
アフィン射影におけるエピポーラ方程式の推定
F行列の推定
F行列の要素を用いて画像間の
スケールを表現できる。
整理すると、評価関数
ε i2
n
ρ=
68
視覚情報学特論
F行列の推定
画像１におけるエピポーラ線：
⎛ 0
~′ = ⎜ 0
li = Fm
⎜
i
⎜f
⎝ 31
同様に、各特徴点がそれぞれのエピポーラ線までの距離の自乗
和を最小にすることでFを計算する。弱中心射影の場合は各画像
においてエピポーラ線は平行であり、その間隔は一定である。
C=∑
f 312 + f 322
f132 + f 232
i =1
視覚情報学特論
2
23
2
31
2
32
=∑
i =1
(u f + f )
2
T
i
33
T
f f
対応点のペアを４次元空間の点と考え、エピポーラ方程式が４次
対応点のペアを４次元空間の点と考え
エピポーラ方程式が４次
元超平面となり。
距離自乗和に付ける重みの和が１
なので、評価関数：
1⎛ 1
ρ2 2 ⎞
C = ⎜⎜
d2 +
d2 ⎟
2 1
2 ⎝1+ ρ
1 + ρ 2 ⎟⎠
n
f +f +f +f
2
13
評価関数は４次元点から４次元平面までのユークリッド距離の自
乗和となる。
ρ>1 画像２重視
ρ=1 平等
ρ<1 画像１重視
（２次元空間での点線距離、３次元空間での点面距離式を思い
出せるか？）
71
視覚情報学特論
72
12
2008/12/1
アフィン射影におけるエピポーラ方程式の推定
最小化
アフィン射影におけるエピポーラ方程式の推定
最小化
次元数こそ異なるが、３次元空間での平面フィッティングとn次元
空間での超平面フィッティングは2次元空間での直線フィッティング
問題と等価ーー方法が同じである。
まず、評価関数をf33について微分、f33を求める。
2
∂C
uT f + f
= 2∑ i T 33 = T
∂f 33
f f
f f
C =∑
=∑
(∑ u f + f ) = 0
T
i
評価関数に代入：
((u − u ) f )
T
2
0
i
T
f f
(v if )2
f Tf
=∑
f T v i v Ti f
f T w f f T Wf
=∑ T i = T
f Tf
f f
f f
評価関数をベクトルfについて微分：
33
∂C 2 Wff T f − 2f T Wff 2 Wf 2f T Wff 2( Wf − Cf )
=
= T −
=
2
2
∂f
f f
f Tf
f Tf
f Tf
( )
1
f 33 = − ∑ uTi f = −uT0 f
n
73
視覚情報学特論
( )
視覚情報学特論
74
アフィン射影におけるエピポーラ方程式の推定
最小化
ここで
w = ∑ (u i − u 0 )(u i − u 0 )
T
微分をゼロにしてから
Wf = Cf
再び、固有値問題になる。Wの一番小さい固有値を評価関数の
値とする。それに対応する固有ベクトルが解である。
視覚情報学特論
75
13

Download Report