Document

Relative Orientation
●2台のステレオカメラ、或いは運動
量の大きい移動カメラ(移動物体)
●2枚の画像(左、右画像、或いは、
移動前、移動後の画像)
●3D空間中の複数個の静止点(或いは同じ
剛体上の点)の像の対応付けがとれてい
る(3次元座標は未知)
●カメラの内部パラメータ(焦点距離、画
像中心の位置など)が既知
Relative Orientation
問題:
2台のカメラ間の回転と平行移動を推定する
或いは:
1.右カメラ座標系で記述した、左カメラの
原点から右カメラの原点までのベクトル
ベースライン b
2.左カメラ座標系から右カメラ座標系への
回転変換行列 R
投影変換におけるスケールの曖昧性
1.画像上の点の像の位置から、その点への視線
の方向がわかる。
⇒
同じ方向の視線上の点であれば、画像上の
像は同じ
左カメラ
右カメラ1
右カメラ2
Relative Orientation問題におけるベー
スラインの長さを決定できない
● もし、3次元空間内の点の座標(距離)と ベースライ
ン長を同じ倍率で拡大(縮小)して も、画像上に写る点
の位置は変化しない。
● よって、画像上の点の位置のみから、ベースライン長を
決定できない
● ベースラインの方向が決定できる。つまり、この問題に
おいて、ベースラインを単位ベクトルと見なすべき
● 推定するパラメータの数
=ベースラインの方向(2)+回転パラメータ(3)
=5
Coplanarity Condition
共通平面条件
空間の中の点と、左、右
カメラの光学中心の3点
が1枚の平面を決定する。
したがって、
rl ' rr
b
が同じ平面上にある。
rl '
ここで、
b
rr
rl '  Rrl '
Coplanarity Condition
共通平面条件
rl ' rr b が同じ平面にあるので、 bがこの平面の法線 N と垂直
する。したがって、次の式が成り立つ。
bN  0
一方、平面の法線は、 r ' r と垂直するので、その2個のベクト
l
r
ルの外積で計算できる。
N  rl 'rr
したがって、共通平面条件は下記の方程式で表される。
b  (rl 'rr )  0
(1)
A
rl '
drl '
rl ' '
Ol
rl '
l
rl ' '  rl 'drl '
rl 'rr
drl '  
rl ' l
rl 'rr
共通平面条件と垂直視差
● 画像ノイズや量子化による誤差の影響により、左右カメ
ラの視線は同じ平面に入らない。
● この場合、左右カメラの視線はエピポラ線とは交差しない
r ' r ''
このとき、垂直視差=視線
と l 誤差のない(本当の)
l
視線との間の角 l は左視線の推定誤差として用いるべき
●従って、Relative orientation 問題は,左右視線の方向の2乗垂
直視差を最小にする左右カメラ間の回転と平行のパラメータを
推定問題として定義できる。
 
n
i 1
2
l ,i

 r2,i  min
(2)
共通平面条件の式と左右視線の垂直視差との間の関係
しかし、垂直視差誤差の式を直接導出するのは困難ばかりで
なく、式が複雑すぎるため、方程式を解くことが事実上不可能に
なってしまう。
ここで、垂直視差(式(2))と共通平面条件の式(式(1))との間
の関係を明らかにする。
共通平面条件の方程式と
左右視線間の距離
計測誤差などにより、左右カメラの視線は空間上に交差しない。そ
の場合、互いに最も接近している点が存在する。
 rl 'rr 
rl '
rl '
b
rr
rr
しかも、その2点(A, B)と左右の視線と垂直する。
A、Bが左視線の延長線上にあるので、下記の式が存在する
Ol A  rl '
Or B  rr
ABが左右視線とも垂直する
B
ので、下記の式が成立つ
 rl 'rr  r
r
rl ' A
Ol
rl '
b
rr
AB   rl 'rr 
Or
Ol A  AB  Ol Or  Or B
られる
が成立つので、下記の式が得
rl ' rl 'rr   b  rr
B
 rl 'rr  r
r
rl ' A
Ol
rl '
b
rr
Or
rl ' rl 'rr   b  rr
この式の両側に
(3)
rl 'rr との内積をとると、下記の式が得られる
2
(4)
 rl 'rr  b  rl 'rr 
同様に、式(2)の両側に
式が得られる
rr  rl 'rr  との内積をとると、下記の
rl 'rr  rl 'rr   b  rr  rl 'rr 
任意のベクトルA,B,Cに対して、下記の式が成立つので、
A  B  C  A  B C
よって、下記の式が得られる。
 rl 'rr  b  rr   rl 'rr 
2
(5)
同様に、式(2)の両側に
式が得られる
rl 'rl 'rr  との内積をとると、下記の
 rl 'rr  b  rl '  rl 'rr 
2
(6)
式(3)により、左右の視線間の距離は下記の式で表される
b  rl 'rr 
d   rl 'rr 
rl 'rr
(7)
したがって、

b  rr   rl 'rr 

(8)

b  rl '  rl 'rr 

(9)
rl 'rr
rl 'rr
2
2
左視線とエピポラ面との間の角度を l とし、Aとエピポラ面との間
の有方向の距離を drl ' とすると、次の式が成立つ
A
rl '
rl ' '
Ol
rl '
l
rl ' '  rl 'drl '
rl 'rr
drl '  
rl ' l
rl 'rr
右視線とエピポラ面との間の角度を r とし、Bとエピポラ面との間
の有方向の距離を dr とすると、次の式が成立つ
r
rl 'rr
drr  
rr r
rl 'rr
したがって、左右視線間の距離 (d=|AB|) は下記のように表すことが
kできる。
d  drl 'drr   rl ' l   rr r
t  b  (rl 'rr )
と定義すると、式(6)により、
| t | rl 'rr d
(10)
したがって、 t の分散と d の分散との間の関係を下記の式で表せる
  rl 'rr 
2
2
t
あるいは

2
d
  rl 'rr  rl '    rr  r2
2
t
2
2
2
2
l
2
2

(11)
ここで、  l2 と  r2 は、l の r とのそれぞれの分散であり、事前に
推定しておくことができる。(理由は後述)
式(11)に式(8)と(9)を代入すると、

b  rr  rl 'rr 
rl 'rr
(8)
2

b  rl '  rl 'rr 

rl 'rr
(9)
2

  rl 'rr  rl '    rr  r2
2
t
2
b  rr  rl 'rr 
2
 t2 
2
2
2
l
2
2

(10)
rl '   b  rl '  rl 'rr  rr  r2
2
2
2
l
rl 'rr
2
2
(11)
式(11)の意味は下記のように解釈できる:
b  rr  rl 'rr 
2
 t2 
b  rr  rl 'rr 
rl 'rr
rl '
(11)
2
2
2
2
2
2
l
rl 'rr
2
kl 
rl '   b  rl '  rl 'rr  rr  r2
2
kr 
b  rl ' rl 'rr 2 rr
とすると、 t 2 の値の中で、l に占める割合は
rl 'rr
2
2
kl /  で、
2
l
2
t
r に占める割合は、 k  2 /  2 である。従って、下記の式が成
r r
t
り立つ。
2

k l l 2
2
 kll  2 t
t


2
k

k rl2  r r t 2

 r2
(12)
従って、下記の式が得られる。
2
2



l2  l2  l 2 r t 2
t
(13)
 l2   r2 を定数と仮定すると、式(2)は下記のように表すことがで
きる。
 
n
2
l ,i
i 1
 
2
r ,i
   w b  r
N
i 0
i
'rr ,i   min
2
l ,i
(14)
2
wi 
b  r  r
r ,i
rl ,i 'rr ,i  02
2








'

r
r
'


b

r
'

r
'

r
r

l ,i
r ,i
l ,i
l ,i
l ,i
r ,i
r ,i
r ,i
2
      定数
2
0
2
l ,i
2
r ,i
2
2
l ,i
2
2
(15)
左右視線の垂直視差の分散
左(右)画像上の画像点の位置の平均誤差(一般的に0.5画素)と
左右視線とエピポラ面との角度の平均誤差との間には下記の関係
が成立つ
il  kll
ir  krr
左右画像平面の法線ベクトルを
り立つ。

0 

0 
n

R
 l
 

1

0 

 n r  0 
 

1

n l と n r とすると、下記の式が成
すると、下記の式が成り立つ。

rl 'rr  rl 'rr

 n l n l
rl 'rr  rl 'rr

kl 
rl '

rl 'rr  rl 'rr

 n r n r
rl 'rr  rl 'rr

kr 
rr
0.25
  2
kl
2
l
0.25
  2
kr
2
r
この方程式を解くために、まず何らかの方法で、Rとbの近似解を求
めて、その結果を用いて、 rl ,i ' の近似を計算して、 wi の値を計算
する。
計算した wi を式(14)に代入して、関数の極小値を求めること
によって、Rとbのより良い近似解を計算する。
上記の計算を繰り返すことによって、最良解を求めることができる。