計測技術としての奥行き情報の抽出

多重フォーカスカメラと符号化開口を
用いた実時間距離画像計測
京都大学大学院 情報学研究科
日浦慎作* 松山隆司
(*現 大阪大学大学院 基礎工学研究
科)
Depth from Defocus
ぼけ量の解析から距離を求める手法
Depth
from Focusing
単一画像の解析
レンズを駆動し合焦点を
「ぼけを含む平面的写真」
受動的原理 - リアルタイム計測の可能性
探索
- 物理的駆動が介在
と,「立体的な被写体」の
小型・計量な計測装置の実現可能性
区別が付かない
するため実時間計測に向
かない
2枚以上の異なるパラメータで得た画像から
距離を計算 (relative blurring
analysis)
Depth
from Defocus
複数画像の相対解析
ぼけ量の解析から距離を
被写体のテクスチャによら
(小型な多重フォーカスカメラが必要)
推定
ず解析が可能
- 実時間計測が可能
機械的駆動部がない
多重フォーカスカメラの構造
カラーCCDカメラを改造
各CCDを1mmづつ
光軸方向に移動
プリズムの再蒸着に
よる分光特性の除去
通常の3CCDカメラと
同等の寸法/重量
テレセントリック光学系
通常の結像光学系
テレセントリック光学系
前焦点面に開口絞りを配置
像面間の像の大きさ/明度が等しく,
ぼけ量だけが異なる
DFD への応用:Nayar ら (参考文献 [7])
Depth from Defocus の問題点
ぼけ現象(=LPF)により画像上の情報が欠落
距離計測の安定性が低く,高品質な(ノイズの
少ない)画像が必要
例:Nayar らは 256 枚の画像を入力/加算
テクスチャの種類や機器の調整に敏感
ぼけ現象の性質を,解析に適するように最適
化すれば,安定性が向上する可能性がある
→瞳形状の構造化
構造化瞳を持つ
多重フォーカスカメラの構成要素
ぼけカーネルは瞳形状と相似な図形
カーネルの縮小率は被写体距離に応じて変化
構造化瞳を持つ多重フォーカスカメラ
ぼけ生成の数学モデル
ぼけの生成過程
1
x
y
im ( x, y)  2 a( 2 , 2 ) * s( x, y)
km
km km
原画像 s(x,y)
距離 u
畳み込み
畳み込み
畳み込み
合焦点 v
ぼけカーネル a(x,y)
k1倍縮小
k2倍縮小
k3倍縮小
入力画像 i1(x,y)
入力画像 i2(x,y)
入力画像 i3(x,y)
v  wm
km 
f
Wm:像面の位置
フーリエ変換を用いた距離推定
ぼけ生成過程のフーリエ変換
I m ( p, q)  Am ( p, q, v)  S ( p, q)
すべての入力画像の組み合わせについて,
複数入力画像を用いた原画像成分の消去
入力画像同士を除算したもの(第1項)と,
I
(
p
,
q
)
A
(
p
,
q
,
v
)
m
m
p,
q:
空間周波数,
v:
焦点の位置
ぼけモデル(第2項)の差が最小になるような

v(焦点の位置)の値を探索する
I n ( p, q) An ( p, q, v)
距離推定のための評価関数
 I m ( p, q) Am ( p, q, v) 
除算により共通因子(入力画像成分)が消去される

r (v)    

An ( p, q, v) 
 ( m , n ) s  I n ( p, q )
処理の流れ
残差の最小化→距離の推定
除算による原画像成分の除去
小領域切り出し&FFT
原画像の復元
逆フィルタ計算
3
I m ( p, q )
S ( p, q)  Wm 
Am ( p, q, v)
m 1
v:合焦点の位置 Wm:vから計算した重み
複数の画像から復元するため安定
ぼけカーネルが構造化されており,原画像の
情報が残存しているため復元が可能
開口形状に求められる性質(1)
ゲイン
空間周波数
空間周波数特性が構造を持ち解析しやすい
ぼけが大きくても高周波ゲインが落ちない
開口形状に求められる性質(2)
通常用いられ
る円形開口は,
必ずしも適した
開口形状であ
るとはいえない
(美しいぼけを
生じさせるため
に円形を採用)
ぼけカーネルの形状(ホール直径を無視)
簡単な例:2ホール開口
1
a( x, y )   ( x  c1 , y )   ( x  c1 , y ) 
2
ぼけカーネルの1次元フーリエ変換
Am (s, y)  cos(2 c1  km  s)
ぼけカーネルのフーリエ変換は cos 関数
cos 関数の周期は物体距離によって変化
距離推定の安定性
距離値のずれに関する評価関数の変化
急峻な谷状の形状は,距離推定の安定性が高いことを示す
実験:入力画像
最後面CCD
中央CCD
最前面CCD
実験:復元された完全合焦画像
実験:復元された対象の形状
対象の三次元形状
完全合焦画像(部分)
畳み込みを利用した距離解析
画像の差が最小に
なるような距離値を
探索する
通常の円形開口のような
単純な瞳形状を用いた場
合,距離の推定は困難
(例:ガウスぼけを2回施す
演算は,より大きな単一の
ガウスぼけと等価である)
→構造化瞳の有効性
光学的な畳込みと同じ
大きさのぼけを反対に
施すと,同一の画像が
得られる(畳込み演算
の可換性より)
原画像にぼけカーネルが
光学的に畳み込まれる
実験
距離
画像
入力画像
計測シーン
瞳形状の対称性
合焦点の前後で
畳み込まれる形
状が異なる
(位相の相違)
距離の誤推定を減少することが
できる
原点対称ではない
瞳形状
瞳形状の対称性と計測精度
入力画像
入力画像の記録を用いた動物体計測
ビデオディスクレコーダにRGB画像として記録
YC変換デジタル圧縮のため,RGBチャネル間
のクロストーク等の画質劣化が大きい
計測結果:指の動作
入力画像
距離画像
画像処理ハードウェアによる実時間計測
畳込みによる距離計測手法は,ハードウェア
への実装が容易
並列画像処理ハードウェア IMAP-Vision を
用いて計算時間を計測
性能:256PE により計 10GIPS
理論上 25frames/sec の距離計算が可能
(現有ボードにRGB入力IFがないため,実測
実験は行っていない)
まとめ
小型/計量な多重フォーカスカメラを製作
Depth from Defocus に構造化瞳を導入
安定な距離解析が可能となった
FFT を応用した距離計測/完全合焦画像復元
畳込みを応用した距離計測
低品質な画像が利用可能なため,記録画像
の利用による動物体計測が実現できた
ハードウェアにより実時間計測が可能である