スライド 1

視覚の幾何学3
呉海元＠和歌山大学
参考書
佐藤淳：
「コンピュータビジョン－視覚の幾何学－」
コロナ社
特徴に基づいた立体視
x1
corner
fB
Z
x1  x2
x2
2枚の画像から
3次元情報を復元
差(disparity)
ボールの３Ｄ軌跡の計測
平行ステレビデオオカメラ
立体視の原理
P



カメラキャリブレーション済みなら
光軸は平行になるように変換
（R,tが既知）
２Ｄ⇒３Ｄ
p
Yl
Pl
p
l
Xl
Zl
X’l
Ol
問題：
対応点の探索をどう絞るか？
Pr
Yr
Zr
t
Xl’ = T,
r
Or
R, t
Yl’ = Xl’xZl,
Xr
Z’l = Xl’xYl’
２眼視の幾何: Two-View Geometry
x3
x2
x’3
x1
x’2
x’1
courtesy of F. Dellaert
画像間の点（xi to x’i ）の対応関係は
・カメラ間の剛体変換（カメラ行列）
・シーンの構造
により決定
エピボーラ幾何(Epipolar geometry）
複数の視点における相対的なカメラの位置や姿勢
の情報をエピポーラ幾何（Epipolar geometry）と
呼ばれる画像特有の幾何によって記述できる
もう一方のカメラでは、
画像上のどこに投影されるのか？
？
O
O
エピボーラ幾何（Epipolar Geometry）

Baseline: カメラ中心C, C’を繋がる直線

Epipolar plane p: baselineとシーンの中の点 Xより
決定された平面
エピボラ平面
baseline
from Hartley
& Zisserman
エピボーラライン（Epipolar Lines）


Epipolar lines l, l’: epipolar plane p と画像面
との交線
Epipoles e, e’: baselineと画像面との交点
エピボラ平面
Epipolar line
エピボラライン
C
Epipolar line
Epipole
エピホール
Epipole
C’
ベースライン
from Hartley
& Zisserman
Epipolar Pencil

X の位置を変化すると、epipolar planes はbaseline
の周りに“rotate”
• このような平面集合を epipolar pencilと呼ぶ

Epipolar lines はepipole から“radiate”
• これは pencil of epipolar linesと呼ぶ
epipolar pencil
エピボラペンシール
pencil of epipolar line
from Hartley
& Zisserman
エピポーラ拘束
エピポーラ拘束
エピポーラ線
O
O
エピポール
エピポール
エピボーラ拘束（Epipolar Constraint）

エピボラ幾何より、片方の画像内の一点は必ず
もう一方の画像内のエピボラ直線（１Ｄ）上存在
エピボラ直線
一点
x’
C
C’
from Hartley
& Zisserman
例：Epipolar Lines for Converging Cameras
Left view
epipolar linesの交線 = Epipole !
他方のカメラ中心の位置を表す
ロボット・カメラの移動軌跡の推定
Right view
from Hartley
& Zisserman
特例: Translation Parallel to Image Plane
カメラの運動が画像面と平行する場合、
・epipolar linesは平行（エピホールは無限遠）
・対応点は対応 epipolar line上に存在 (全種類のカメラ運動)
特例: Translation along Optical Axis
カメラの運動が画像平面と垂直：


Epipolesはfocus延長線上に一致
一般的に、無限遠点と異なる
e’
e
ステレオから3眼視へ

エピボラ幾何より、片方の画像内の一点はかならずも
う一方の画像内のエピボラ直線（１Ｄ）上存在
対応付け：
点直線
左側の画像上の1点
右側の画像上の一本の直線
曖昧性が残っている
x’
C
C’
Transfer: epipolar transfer
点直線
点直線
点点
Using more cameras to remove match ambiguity
3眼視
透視カメラのエピポーラ幾何



複数のカメラの関係や対象物との関係を考えるた
めに、何か基準となる座標系を考えなければなら
ない（各カメラの座標系を元に考えるのではない）
すべてのカメラや対象物に対して共通に決められ
た座標のことをワールド座標(world coordinates)
と呼ぶ（ワールド座標を一つ決める）
ワールド座標を基準に考えなければならない
Coordinate Transformations
座標変換

If we want to measure something (size of an object,
depth of image points, distance between features……),
we need to understand the geometry from image to world
Coordinate system transformations
• Image (i) camera (c) world (w) object (o)
yc
yi
yw
zc
Oc
Oi
xc
Oo
zw
Ow
xi
xw
行列・ベクトルの外積
a2b3  a3b2   0
a  b   a3b1  a1b3    a3
 a1b2  a2b1   a2
 a3
0
a1
a2 
 a1 b 
0 
aと bは同じ平面に存在すれば
a  (a  b)  0
b  (a  b)  0
a b
幾何変換
Geometric transformation
P'  RP  t
p  KP with K  [I | 0]
p'  K' P with K'  [R | t ]
基本行列 (Essential matrix)


⇒
２カメラ間の姿勢と位置：
• R : 3*3 rotation matrix
• t : 3*1 translation vector
pとp’が対応点同士なら：
 p  (u, v,1)T
p'[t  (Rp)]  0 with 
T
p'  (u ' , v' ,1)
前提： pとp’は画像座標から計算さ
れた物理(カメラ)座標である
（カメラの内部パラメータ既知）
即ち：同一平面内の三つのベクトルから二つのベクトルの外積と
残るもう一つのベクトルの内積は０となる
p' Ep  0
エピボラ方程式
基本行列（Ｅ行列） with E  t  R
★ Ｅが求まれば、tとＲに分解することができる
基礎行列（Fundamental matrix）

内部パラメータが未知、画像座標xしか分からない
• 画像座標xと物理（カメラ）座標pの関係：
x=Kp , x’=K’p’ ⇒ p=K-1x, p’=K’-1x’
(K,K’ are the camera calibration matrix)

基本行列から : p’TEp=0
⇒ x’TK’-TEK-1x=0
⇒ x’TFx=0
F= K’-TEK-1 基礎行列（Ｆ行列）
●基礎行列はカメラの内部パラメータと外部パラメー
タの双方を含んでいる
基礎行列Fの性質1
x’TFx=0
 x=eの場合 (e is epipole) : x’TFe=0,∀x’
(∵全てのepipolar linesはepipoleの所に交叉)
⇒ Fe = 0
 x’=e’の場合(e’ is epipole) : e’TFx =0,∀x
⇒ e’TF = 0 ⇒ FTe’ = 0

●Ｆ行列が与えられれば、eとe’はそれぞれＦTFと
ＦＦTの最も小さい固有値に対応する固有ベクト
ルとして求められる
基礎行列Fの性質2

片方の画像内の点xがもう一方の画像内epipolar
line l’ 上に対応付けることは：
line
point
l’ = Fx

このpoint-on-lineの関係は l’TFx
れ、l’T Fx
= 0より決定さ
= (Fx)T l’ = 0の関係も成り立つ
 F is 3 x 3, rank 2 (逆行列が求められない）
ホモグラフィ（ Homography ）
空間中の対象点が全て同一平面内に存在する場合
もう一方のカメラでは、
画像上のどこに投影されるのか？
？
O
O
ホモグラフィ（ Homography ）
H
O
ホモグラフィー
O
Homography

lx’=Hx 空間内平面と画像間の投影

ホモグラフィ行列Hの自由度： 8

一対の対応点 (x,y,1)⇔(x’,y’,1)より、二つの方程式が得られる
x'2 h21 x  h22 y  h23
x'1 h11 x  h12 y  h13
y' 

x' 

x'3 h31 x  h32 y  h33
x'3 h31 x  h32 y  h33
x' h31 x  h32 y  h33   h11 x  h12 y  h13
y' h31 x  h32 y  h33   h21 x  h22 y  h23

(linear in hij)
4組み以上の対応点(n>=4)が分かれば、Ｈが唯一に決定できる
ホモグラフィ
H
Homographies for Bird’s-eye Views
from Hartley & Zisserman
Homographies for Mosaicing
from Hartley & Zisserman
Homographies for Mosaicing
複数枚の画像より広視野の画像を合成
Applying Homographies to Removing
projective distortion
select four points in a plane with know coordinates
x' 
x'1 h11 x  h12 y  h13

x'3 h31 x  h32 y  h33
y' 
x'2 h21 x  h22 y  h23

x'3 h31 x  h32 y  h33
x' h31 x  h32 y  h33   h11 x  h12 y  h13
(linear in hij)
y' h31 x  h32 y  h33   h21 x  h22 y  h23
出席チェック
１．エピボーラ幾何の原理図を描き、その原理に
ついて述べなさい

Download Report