多重フォーカスカメラと符号化開口を用いた実時間距離画像計測京都大学大学院情報学研究科日浦慎作* 松山隆司（*現大阪大学大学院基礎工学研究科） Depth from Defocus ぼけ量の解析から距離を求める手法 Depth from Focusing 単一画像の解析レンズを駆動し合焦点を「ぼけを含む平面的写真」 受動的原理 - リアルタイム計測の可能性探索 - 物理的駆動が介在と，「立体的な被写体」の 小型・計量な計測装置の実現可能性区別が付かないするため実時間計測に向かない ２枚以上の異なるパラメータで得た画像から距離を計算 (relative blurring analysis) Depth from Defocus 複数画像の相対解析ぼけ量の解析から距離を被写体のテクスチャによら（小型な多重フォーカスカメラが必要）推定ず解析が可能 - 実時間計測が可能機械的駆動部がない多重フォーカスカメラの構造 カラーCCDカメラを改造 各CCDを1mmづつ光軸方向に移動 プリズムの再蒸着による分光特性の除去 通常の3CCDカメラと同等の寸法／重量テレセントリック光学系通常の結像光学系テレセントリック光学系 前焦点面に開口絞りを配置 像面間の像の大きさ／明度が等しく，ぼけ量だけが異なる DFD への応用：Nayar ら（参考文献 [7]） Depth from Defocus の問題点 ぼけ現象(=LPF)により画像上の情報が欠落 距離計測の安定性が低く，高品質な（ノイズの少ない）画像が必要例：Nayar らは２５６枚の画像を入力／加算 テクスチャの種類や機器の調整に敏感 ぼけ現象の性質を，解析に適するように最適化すれば，安定性が向上する可能性がある →瞳形状の構造化構造化瞳を持つ多重フォーカスカメラの構成要素 ぼけカーネルは瞳形状と相似な図形 カーネルの縮小率は被写体距離に応じて変化構造化瞳を持つ多重フォーカスカメラぼけ生成の数学モデルぼけの生成過程 1 x y im ( x, y)  2 a( 2 , 2 ) * s( x, y) km km km 原画像 s(x,y) 距離 u 畳み込み畳み込み畳み込み合焦点 v ぼけカーネル a(x,y) k1倍縮小 k2倍縮小 k3倍縮小入力画像 i1(x,y) 入力画像 i2(x,y) 入力画像 i3(x,y) v  wm km  f Ｗｍ：像面の位置フーリエ変換を用いた距離推定 ぼけ生成過程のフーリエ変換 I m ( p, q)  Am ( p, q, v)  S ( p, q) すべての入力画像の組み合わせについて， 複数入力画像を用いた原画像成分の消去入力画像同士を除算したもの（第１項）と， I ( p , q ) A ( p , q , v ) m m p, q：空間周波数， v：焦点の位置ぼけモデル（第２項）の差が最小になるような  v（焦点の位置）の値を探索する I n ( p, q) An ( p, q, v) 距離推定のための評価関数  I m ( p, q) Am ( p, q, v)  除算により共通因子（入力画像成分）が消去される  r (v)      An ( p, q, v)   ( m , n ) s  I n ( p, q ) 処理の流れ残差の最小化→距離の推定除算による原画像成分の除去小領域切り出し＆FFT 原画像の復元 逆フィルタ計算 3 I m ( p, q ) S ( p, q)  Wm  Am ( p, q, v) m 1 v：合焦点の位置 Wm：vから計算した重み 複数の画像から復元するため安定 ぼけカーネルが構造化されており，原画像の情報が残存しているため復元が可能開口形状に求められる性質(1) ゲイン空間周波数 空間周波数特性が構造を持ち解析しやすい ぼけが大きくても高周波ゲインが落ちない開口形状に求められる性質(2) 通常用いられる円形開口は，必ずしも適した開口形状であるとはいえない（美しいぼけを生じさせるために円形を採用）ぼけカーネルの形状（ホール直径を無視）簡単な例：２ホール開口 1 a( x, y )   ( x  c1 , y )   ( x  c1 , y )  2 ぼけカーネルの１次元フーリエ変換 Am (s, y)  cos(2 c1  km  s) ぼけカーネルのフーリエ変換は cos 関数 cos 関数の周期は物体距離によって変化距離推定の安定性 距離値のずれに関する評価関数の変化急峻な谷状の形状は，距離推定の安定性が高いことを示す実験：入力画像最後面CCD 中央CCD 最前面CCD 実験：復元された完全合焦画像実験：復元された対象の形状対象の三次元形状完全合焦画像（部分）畳み込みを利用した距離解析画像の差が最小になるような距離値を探索する通常の円形開口のような単純な瞳形状を用いた場合，距離の推定は困難（例：ガウスぼけを２回施す演算は，より大きな単一のガウスぼけと等価である） →構造化瞳の有効性光学的な畳込みと同じ大きさのぼけを反対に施すと，同一の画像が得られる（畳込み演算の可換性より）原画像にぼけカーネルが光学的に畳み込まれる実験距離画像入力画像計測シーン瞳形状の対称性合焦点の前後で畳み込まれる形状が異なる（位相の相違） 距離の誤推定を減少することができる原点対称ではない瞳形状瞳形状の対称性と計測精度入力画像入力画像の記録を用いた動物体計測 ビデオディスクレコーダにRGB画像として記録 ＹＣ変換デジタル圧縮のため，RGBチャネル間のクロストーク等の画質劣化が大きい計測結果：指の動作入力画像距離画像画像処理ハードウェアによる実時間計測 畳込みによる距離計測手法は，ハードウェアへの実装が容易 並列画像処理ハードウェア IMAP-Vision を用いて計算時間を計測 性能:256PE により計 10GIPS 理論上 25frames/sec の距離計算が可能（現有ボードにRGB入力IFがないため，実測実験は行っていない）まとめ 小型／計量な多重フォーカスカメラを製作 Depth from Defocus に構造化瞳を導入 安定な距離解析が可能となった FFT を応用した距離計測／完全合焦画像復元 畳込みを応用した距離計測 低品質な画像が利用可能なため，記録画像の利用による動物体計測が実現できた ハードウェアにより実時間計測が可能である