カメラキャリブレーション

第４回カメラキャリブレーション
[email protected]
第４回
カメラキャリブレーション
1
第４回カメラキャリブレーション
[email protected]
カメラキャリブレーション（校正）
実世界のカメラとカメラモデルとの対応付け
2
カメラ座標系→ディジタル画像座標系
ピンホールカメラモデルを利用
～針穴写真機
X
Y
Z
3
第３回 CVにおけるエピポーラ幾何
[email protected]
ピンホールカメラモデルの線形近似-３
アフィン投影(affine projection):
各線形近似投影の一般化
x = a11X + a12Y + a13Z + a14
ｙ = a21X + a22Y + a23Z + a24
4
第４回カメラキャリブレーション
[email protected]
カメラキャリブレーション項目-１

光学的キャリブレーション
- シェーディング: 画像周辺部の明度低下
- ノイズ： CCDの暗電流特性、感度特性
- カラー： RGBの分光感度特性
5
第４回カメラキャリブレーション
[email protected]
光学的キャリブレーション

シェーディング歪の補正
- cos4 Θ現象
～広角レンズにおける画像周辺部の明度低下
- 口径蝕現象
～光線の複数レンズ系での縁遮りによる明度低下

ノイズのモデル化と補正
～暗電流、熱雑音、回路ノイズ、量子化雑音

カラーキャリブレーション
～分光感度特性、色収差
6
第４回カメラキャリブレーション
[email protected]
カメラキャリブレーション項目-２

幾何学的キャリブレーション
- 外部パラメータ： 6
世界座標系におけるレンズの中心座標(t)、
レンズ光軸の方向(R)
- 内部パラメータ： 5
焦点距離、画像中心、画像（画素）サイズ、
歪収差係数
7
第３回 CVにおけるエピポーラ幾何
[email protected]
３（４）種類の座標系
 画像座標系
（一般）ディジタル画像座標系
○正規化（ディジタル）画像座標系
 カメラ座標系
 世界座標系
○
8
世界座標系⇔カメラ座標系
（外部変数）
カメラの外部変数（extrinsic parameters)：６個
Ｓｍ’= PMｃ’
= PDMw’
≡ PwMw’
（Pw=PD)
(world coordinate system)
RRt
= RtR
=I
又は
D:剛体変換
(rigid transformation)
9
ディジタル画像座標系：
正規化カメラ⇔一般カメラ
（内部変数）
正規化画像座標系（ｆ＝１）
未知パラメータ 5個：
画像中心cの位置(u0,v0)
各軸のスケールと焦点
距離fの積 αu αｖ
両軸の角度Θ
（intrinsic parameters)
カメラ校正
(camera calibration):
カメラの内部変数を
推定すること
10
第４回カメラキャリブレーション
[email protected]
カメラキャリブレーション手順
1.
2.
幾何学的・光学的特性が既知の対象物を
撮影
対象物固有の特徴（特徴点の世界座標な
ど）とその画像特徴（その特徴点の画像座
標）を対応付け
～エピポーラ幾何、知識、ヒューリスティクス
3.
カメラモデルに基づき、モデルパラメータを
推定
～射影幾何、線形代数、数値解析、統計
11
以前の標準的手法
～ソースオープン
第４回カメラキャリブレーション
[email protected]
Tsaiのキャリブレーション手法(1986) -1
1.
2.
3.
4.
世界座標(xw,yw,zw)⇒カメラ座標(x,y,z)
カメラ座標(x,y,z)
⇒画像座標（理想ピンホール）(Xu,Yu)
歪係数推定:(Xu,Yu) ⇒ (Xd,Yd)
ディジタル
画像座標:
(Xd,Yd)
⇒ (Xf,Yf )
12
第４回カメラキャリブレーション
[email protected]
Tsaiのキャリブレーション手法-2
{(Xf,Yf ) (xw,yw,zw)}
⇒ 5+6=１１個のパラメータ推定
～外部パラメータを先、内部パラメータを後に
推定することにより精度と計算速度を向上
-回転行列（３）
-平行移動ベクトル（３）
-焦点距離（１）
-レンズ歪係数（２）
-スケール係数（１）: 既知（1.0）
-画像中心（２）
13
第４回カメラキャリブレーション
[email protected]
Tsaiのキャリブレーション手法-3
1.
2.
3.
4.
校正点の画像より、各点の画像座標を決定
カメラ、A/D変換の仕様より、CCD素子数、走査線のサン
プル数、CCD素子の間隔を推定
fと画像サイズdx,dyの
画像中心(Cx,Cy)を推定
独立決定は不可能
(Xdi,Ydi)への変換
5.
線形方程式を解き
Tｙ-1r1 、 Tｙ-1r2 、 Tｙ-1Tx 、 Tｙ-1r4 、 Tｙ-1r5を算出
6.
Tｙ2を算出
7.
Tｙの符号を決定
8.
回転行列R決定
焦点距離f、Txの初期値決定
f, Tｚ,レンズ歪係数k1,k2を決定
9.
10.
14
ＯｐｅｎＣＶでは：Z.Zhangの手法
・複数平面上の座標が既知の格子点を利用
・Ｔｓａｉの手法より安定・高精度
"A flexible new technique for camera
calibration". IEEE Transactions on Pattern
Analysis and Machine Intelligence,
22(11):1330-1334, 2000.
http://opencv.jp/sample/camera_calibration.html
15
第４回カメラキャリブレーション
[email protected]
直方体の消失点の利用による焦点距離の推定
Ａ
Ａ’
２つの消失点A（a,b)、A’(a’,b’)
⇒ f=(-aa’-bb’)-1/2
16
第４回カメラキャリブレーション
[email protected]
Ｎベクトル表現
A（a,b) ⇒ mA(a, b, f)
A’（a’,b’) ⇒ mA’ (a’, b’, f)
( mA , mA’ ) = 0 より、
f=(-aa’-bb’)-1/2
P(x,y) ⇒ m(x, y, f)：原点からＰに向かうベクトル
l:Ax+By+C=0 ⇒ n(A, B, C/f)：原点とｌが作る平面の法線ベクトル
方向ベクトルｍをもつ直線の像はNベクトルがｍの消失点を持つ 17
第2回 CVのための画像センサ
[email protected]
収差の分類
18
第４回カメラキャリブレーション
[email protected]
レンズ歪収差の校正
澤田（１９８３？）：
格子点と画像座標の間の
変換関数を多項式（２次）
関数として推定
Weng(1992):
画像座標の格子点(u,v)
からの変化分(δu ,δｖ)を、
5個の歪パラメータ
（放射状歪、中心ズレ、
薄いプリズム効果）
でモデル化
（糸巻き型）
δu=k1u(u2+v2) +
3p1 u2 +p1v2 +2p2uv +
s1(u2+v2)
δｖ=k1ｖ(u2+v2) +
2p1uv +p2u2 +3p2v2 +
s2(u2+v2)
19
第４回カメラキャリブレーション
[email protected]
カメラキャリブレーション項目-3

ステレオカメラ間のキャリブレーション
- E行列, F行列（内部、外部パラメータ）
20
第４回カメラキャリブレーション
[email protected]
PnP（透視ｎ点）問題
画像中のｎ点と物体上のｎ点を対応付ける
ことにより、物体の位置・姿勢を推定する問題
（ｎ≧３）～最小画像枚数、最小点数？
-
Haralick(1991):6種類の解法の安定性評価
DeMenthon(1992):カメラモデル間の評価
Horn(1990), Faugeras(1990):複数解の
解析～（2枚、5対応点対）
・・・
21
第４回カメラキャリブレーション
[email protected]
既知対象物を用いないステレオ校正法

uncalibrated/weakly calibrated stereo
複数台のカメラ画像中の
複数個の対応点対より校正を実施
- Roberts and Faugeras(1993):
weakly calibrated :F行列のみ既知

Self-calibration
～シーン中に存在する特徴を用い、
カメラの動きを利用して精度を高める
-Basu(1993): active calibration
22
第３回 CVにおけるエピポーラ幾何
[email protected]
Ｅ行列（essential matrix：基本行列)
x、t、Rx~+tの３点が
同一epipolar plane上
xt（t×（Rx~+t））=0
xt （t×Rx~+t×t）=0
xt TRx~ =0
≡ E （自由度５）
0 –ｔ3 ｔ2
×：外積
ｔ3 ０ –ｔ１
・a×b=-b×a
・λa×b=a×λb –ｔ２ｔ１０
正規化カメラ
（Ｒ，ｔ）-1
λ(a×b)
・ a×（b+ｃ）=
（a×b）＋（a×ｃ）
23
第３回 CVにおけるエピポーラ幾何
[email protected]
F行列（fundamental matrix：基礎行列)
対応点のディジタル画像座標系：
m=Ax, m~ =A~x~ とすると
xt Ex~ =0
（A-1 m ）t E （A~-1 m~ ）=0
点対応からの
F行列の推定：
-中心射影：
８対
非線形解法：７対）
-アフィン射影：４対
Ｆの成分値を並べたベクトルf
|f|=1 ，Zf=0 →
min|Zf|2 =min|fｔZｔZf|2
m t （A-ｔ E A~-1 ） m~ =0
→ fはZｔZの最小固有値
≡ F （自由度７）
に対する固有ベクトル
epipole：
全てのmに対してm tＦe~＝０→ Ｆe~＝０，同様にＦｔe＝０
→ e~，eは各々，ＦｔＦ, ＦＦｔの最小固有値に対する固有ベクトル
25
第４回カメラキャリブレーション
[email protected]
ステレオカメラ校正（既知物体利用）
{(Xｌ,Yｌ)&(Xｒ,Yｒ) , (xw,yw,zw)}６組以上⇒
Yakimovsky法：透視投影（変換）行列推定
3×4，自由度11，rank3
渡邊、久野(1985):
ロボットハンドアイシステムの校正
26
変換行列の作成
（テニスプレー自動認識～清水大輔）
40cmごとに3点マークをつけたポールを30箇所配置


X 



Y

R



Z 





(X,Y,Z)
x1
y1
x2
y2







・・・世界座標系
( x1 , y・・・カメラ1(第1画面)の画像座標
1)
( x2 , y2 )
・・・カメラ2(第2画面)の画像座標
27
プロジェクタのキャリブレーション
ピンホールカメラと同様にモデル化可能
カメラとは入出力が逆
28
ホモグラフィ(Homography)

同一平面上の対象点が投影された位置関係を
示す行列Hba（３×３）←４組の対応点で推定ＯＫ
ma = Hba mb
29
第４回カメラキャリブレーション
[email protected]
CG・VR志向
Image-based rendering, Augumented realityに利用
ピンホールカメラモデルからの脱却
- Potmesil(1981):
薄凸レンズカメラモデルによるボケ効果付与
- Cook(1984):
分散光線追跡法による被写界深度効果、
アンチエイリアシング、運動ブレ表現
 画像合成：
- 和田(1996): 全方位背景画像の合成

30
第４回カメラキャリブレーション
[email protected]
ピンホールカメラモデルの拡張
ピンホールカメラモデル
 薄凸レンズカメラモデル
～絞り・フォーカス変化によるボケ現象
 厚凸レンズカメラモデル
～ズーム・フォーカス変化によるレンズ位置変化

31
第４回カメラキャリブレーション
[email protected]
カメラモデルの拡張（模式図）
f:焦点距離
d :開口径
w:レンズ・画像平面
間距離
ｌ:前主点・後主点間距離
主点：光軸に平行な
光線が入射、焦点に
結像する様子を１枚の
レンズでモデル化した
際の光軸上のレンズ位置
32