Relative Orientation ●２台のステレオカメラ、或いは運動量の大きい移動カメラ（移動物体） ●２枚の画像（左、右画像、或いは、移動前、移動後の画像） ●３D空間中の複数個の静止点（或いは同じ剛体上の点）の像の対応付けがとれている（３次元座標は未知） ●カメラの内部パラメータ（焦点距離、画像中心の位置など）が既知 Relative Orientation 問題：２台のカメラ間の回転と平行移動を推定する或いは：１．右カメラ座標系で記述した、左カメラの原点から右カメラの原点までのベクトルベースライン b ２．左カメラ座標系から右カメラ座標系への回転変換行列 R 投影変換におけるスケールの曖昧性１．画像上の点の像の位置から、その点への視線の方向がわかる。 ⇒ 同じ方向の視線上の点であれば、画像上の像は同じ左カメラ右カメラ１右カメラ２ Relative Orientation問題におけるベースラインの長さを決定できない ● もし、３次元空間内の点の座標（距離）とベースライン長を同じ倍率で拡大（縮小）しても、画像上に写る点の位置は変化しない。 ● よって、画像上の点の位置のみから、ベースライン長を決定できない ● ベースラインの方向が決定できる。つまり、この問題において、ベースラインを単位ベクトルと見なすべき ● 推定するパラメータの数＝ベースラインの方向（２）＋回転パラメータ（３）＝５ Coplanarity Condition 共通平面条件空間の中の点と、左、右カメラの光学中心の3点が1枚の平面を決定する。したがって、 rl ' rr b が同じ平面上にある。 rl ' ここで、 b rr rl '  Rrl ' Coplanarity Condition 共通平面条件 rl ' rr b が同じ平面にあるので、 bがこの平面の法線 N と垂直する。したがって、次の式が成り立つ。 bN  0 一方、平面の法線は、 r ' r と垂直するので、その2個のベクト l r ルの外積で計算できる。 N  rl 'rr したがって、共通平面条件は下記の方程式で表される。 b  (rl 'rr )  0 (1) A rl ' drl ' rl ' ' Ol rl ' l rl ' '  rl 'drl ' rl 'rr drl '   rl ' l rl 'rr 共通平面条件と垂直視差 ● 画像ノイズや量子化による誤差の影響により、左右カメラの視線は同じ平面に入らない。 ● この場合、左右カメラの視線はエピポラ線とは交差しない r ' r '' このとき、垂直視差＝視線と l 誤差のない（本当の） l 視線との間の角 l は左視線の推定誤差として用いるべき ●従って、Relative orientation 問題は,左右視線の方向の２乗垂直視差を最小にする左右カメラ間の回転と平行のパラメータを推定問題として定義できる。   n i 1 2 l ,i   r2,i  min (2) 共通平面条件の式と左右視線の垂直視差との間の関係しかし、垂直視差誤差の式を直接導出するのは困難ばかりでなく、式が複雑すぎるため、方程式を解くことが事実上不可能になってしまう。ここで、垂直視差（式（２））と共通平面条件の式（式（１））との間の関係を明らかにする。共通平面条件の方程式と左右視線間の距離計測誤差などにより、左右カメラの視線は空間上に交差しない。その場合、互いに最も接近している点が存在する。  rl 'rr  rl ' rl ' b rr rr しかも、その2点(A, B)と左右の視線と垂直する。 A、Bが左視線の延長線上にあるので、下記の式が存在する Ol A  rl ' Or B  rr ABが左右視線とも垂直する B ので、下記の式が成立つ  rl 'rr  r r rl ' A Ol rl ' b rr AB   rl 'rr  Or Ol A  AB  Ol Or  Or B られるが成立つので、下記の式が得 rl ' rl 'rr   b  rr B  rl 'rr  r r rl ' A Ol rl ' b rr Or rl ' rl 'rr   b  rr この式の両側に (3) rl 'rr との内積をとると、下記の式が得られる 2 (4)  rl 'rr  b  rl 'rr  同様に、式(2)の両側に式が得られる rr  rl 'rr  との内積をとると、下記の rl 'rr  rl 'rr   b  rr  rl 'rr  任意のベクトルA,B,Cに対して、下記の式が成立つので、 A  B  C  A  B C よって、下記の式が得られる。  rl 'rr  b  rr   rl 'rr  2 (5) 同様に、式(2)の両側に式が得られる rl 'rl 'rr  との内積をとると、下記の  rl 'rr  b  rl '  rl 'rr  2 (6) 式(3)により、左右の視線間の距離は下記の式で表される b  rl 'rr  d   rl 'rr  rl 'rr (7) したがって、  b  rr   rl 'rr   (8)  b  rl '  rl 'rr   (9) rl 'rr rl 'rr 2 2 左視線とエピポラ面との間の角度を l とし、Aとエピポラ面との間の有方向の距離を drl ' とすると、次の式が成立つ A rl ' rl ' ' Ol rl ' l rl ' '  rl 'drl ' rl 'rr drl '   rl ' l rl 'rr 右視線とエピポラ面との間の角度を r とし、Bとエピポラ面との間の有方向の距離を dr とすると、次の式が成立つ r rl 'rr drr   rr r rl 'rr したがって、左右視線間の距離 (d=|AB|) は下記のように表すことが kできる。 d  drl 'drr   rl ' l   rr r t  b  (rl 'rr ) と定義すると、式(6)により、 | t | rl 'rr d (10) したがって、 t の分散と d の分散との間の関係を下記の式で表せる   rl 'rr  2 2 t あるいは  2 d   rl 'rr  rl '    rr  r2 2 t 2 2 2 2 l 2 2  (11) ここで、  l2 と  r2 は、l の r とのそれぞれの分散であり、事前に推定しておくことができる。（理由は後述）式（１１）に式（８）と（９）を代入すると、  b  rr  rl 'rr  rl 'rr (8) 2  b  rl '  rl 'rr   rl 'rr (9) 2    rl 'rr  rl '    rr  r2 2 t 2 b  rr  rl 'rr  2  t2  2 2 2 l 2 2  (10) rl '   b  rl '  rl 'rr  rr  r2 2 2 2 l rl 'rr 2 2 (11) 式（１１）の意味は下記のように解釈できる： b  rr  rl 'rr  2  t2  b  rr  rl 'rr  rl 'rr rl ' (11) 2 2 2 2 2 2 l rl 'rr 2 kl  rl '   b  rl '  rl 'rr  rr  r2 2 kr  b  rl ' rl 'rr 2 rr とすると、 t 2 の値の中で、l に占める割合は rl 'rr 2 2 kl /  で、 2 l 2 t r に占める割合は、 k  2 /  2 である。従って、下記の式が成 r r t り立つ。 2  k l l 2 2  kll  2 t t   2 k  k rl2  r r t 2   r2 (12) 従って、下記の式が得られる。 2 2    l2  l2  l 2 r t 2 t (13)  l2   r2 を定数と仮定すると、式（２）は下記のように表すことができる。   n 2 l ,i i 1   2 r ,i    w b  r N i 0 i 'rr ,i   min 2 l ,i (14) 2 wi  b  r  r r ,i rl ,i 'rr ,i  02 2         '  r r '   b  r '  r '  r r  l ,i r ,i l ,i l ,i l ,i r ,i r ,i r ,i 2       定数 2 0 2 l ,i 2 r ,i 2 2 l ,i 2 2 (15) 左右視線の垂直視差の分散左（右）画像上の画像点の位置の平均誤差（一般的に0.5画素）と左右視線とエピポラ面との角度の平均誤差との間には下記の関係が成立つ il  kll ir  krr 左右画像平面の法線ベクトルをり立つ。  0   0  n  R  l    1  0    n r  0     1  n l と n r とすると、下記の式が成すると、下記の式が成り立つ。  rl 'rr  rl 'rr   n l n l rl 'rr  rl 'rr  kl  rl '  rl 'rr  rl 'rr   n r n r rl 'rr  rl 'rr  kr  rr 0.25   2 kl 2 l 0.25   2 kr 2 r この方程式を解くために、まず何らかの方法で、Rとbの近似解を求めて、その結果を用いて、 rl ,i ' の近似を計算して、 wi の値を計算する。計算した wi を式（14）に代入して、関数の極小値を求めることによって、Rとbのより良い近似解を計算する。上記の計算を繰り返すことによって、最良解を求めることができる。