位相スタンプ型レンジファインダに基づく 実時間三次元形状獲得とレンダリング 大阪電気通信大学 2008年9月25日 来海 暁 第25回センシングフォーラム，佐賀大学本庄キャンパス 三次元物体の形状・テクスチャの獲得 • 物体・シーンの計測・認識，画像生成 ‒ ビデオカメラ利用の場合 低次情報 高次情報 三次元形状 低解像・低精度 高解像・高精度 テクスチャ 明暗画像 カラー画像 必要フレーム数 少（短時間） 双方向反射率分布関数（BRDF） 分光反射率 多（長時間） • 実時間での用途 – 計測・認識・・・変形・運動物体，車載用途 – 画像生成・・・遠隔地間での共同作業，物品鑑賞 • 高次の反射率情報・・・実時間計測が困難 – BRDF・・・光の入射方向・計測方向を変化 – 分光反射率・・・波長掃引 三次元物体の形状・テクスチャの獲得 • 物体・シーンの計測・認識，画像生成 ‒ ビデオカメラ利用の場合 低次情報 高次情報 三次元形状 低解像・低精度 高解像・高精度 テクスチャ 明暗画像 カラー画像 必要フレーム数 少（短時間） 双方向反射率分布関数（BRDF） 分光反射率 多（長時間） • 実時間での用途 – 計測・認識・・・変形・運動物体，車載用途 – 画像生成・・・遠隔地間での共同作業，物品鑑賞 • 高次の反射率情報・・・実時間計測が困難 – BRDF・・・光の入射方向・計測方向を変化 – 分光反射率・・・波長掃引 研究の背景と目的 • 三次元計測の実時間化 光切断法 パターン投影法 光伝播時間法 – 光切断法＋スマートセンサ→フレームレートで距離画像生成 – シート照明の入射時刻（タイムスタンプ）検出 • Gruss et al. (1991)，Kang et al. (1994)，Yokoyama et al. (1994)，etc. – シート照明の入射位置検出＋高速フレームレート＋明暗画像 • Oike et al. (2003) • 位相スタンプ型レンジファインダ – 光切断法＋時間相関イメージセンサ • 来海，安藤 (2006) – 明暗画像も同時に獲得 – 背景光の時間・空間変動，反射率の空間勾配に影響されない • 本研究・・・位相スタンプ型レンジファインダに基づく実時間ビ ジョンシステム – 入力・・・フレームレートでの距離画像・明暗画像獲得 – 出力・・・フレームレートでの任意視点画像生成 発表内容 • 研究の背景と目的 • 位相スタンプ型レンジファインダ – – – – 時間相関イメージセンサ 位相スタンプ映像法 実時間レンジファインダの原理 構築システム • 任意視点画像の生成 – メッシュデータの生成とレンダリング – 全周モデリングへの応用 • 実験結果 – 精度評価 – 運動・変形物体の獲得と表示 – 全周データの獲得と表示 • まとめ 時間相関イメージセンサ 全画素共通の参照信号 入射光強度 1フレーム 出力 S. Ando and A. Kimachi, IEEE Trans. ED (2003) 時間相関 平均強度 位相スタンプ型レンジファインダ 来海，安藤， 第25回センシングフォーラム（2006） 反射率 シート照明 全エネルギー • 入射光強度 背景光強度 入射時刻 • 三相正弦波参照信号 ：フレームレート 投射角 位相スタンプ映像法 シート照明光入射 入 射 光 強 度 参 照 信 号 参 照 信 号 位 相 1フレーム1回のシート照明光走査で 位相スタンプ画像を生成 シ ー ト 照 明 投 射 角 位相スタンプ フレームレートでの距離・明暗画像生成 1フレーム センサ出力 位相接続 位相スタンプ画像 投射角 画像 画像生成 背景光 シート照明光 明暗画像 全入射光 明暗画像 ・反射率 の影響を受けない 距離画像 構築システム 項目 仕様 時間相関 イメージ センサ 三相型30mm角 200×200画素 CMOS 0.35mm 2P3M フレーム レート 12.5fps 参照信号 周波数 50Hz 走査鏡 レンズ DPSSレーザ 時間相関 カメラ 走査鏡往 25Hz 復周波数 レーザ DPSS，40mW，659nm カメラレン 25mm F1.4 ズ 順 逆 順 参照信号 シート照明光 投射角 1フレーム 対象 物体 逆 +p/2 p @400mm 0 撮像例 -p/2 人 形 の 焼 物 シート光明暗画像 ス プ レ ー 缶 位相スタンプ画像 距離画像の 3Dプロット @400mm センサ出力の較正 白 色 平 板 シート光明暗画像 位相スタンプ画像 距離画像の3Dプロット うねり・雑音除去 @400mm センサ出力の較正 白 色 平 板 シート光明暗画像 位相スタンプ画像 距離画像の3Dプロット うねり・雑音除去 @400mm 三次元計測の精度 白 色 平 板 シート光明暗画像 位相スタンプ画像 較正前 系統誤差[mm] 距離画像の3Dプロット 較正後 -6.07 -8.33 うねり[mm] （低域成分） 3.17 0.42 ばらつき[mm] （高域成分） 1.01 0.49 （中央150×150画素） 任意視点画像の生成 センサ出力画像獲得 出力較正 距離画像・明暗画像生成 飽和・低輝度画素除去 メッシュ生成 テクスチャ付与 描画 •明暗画像のテクスチャマッピング •法線ベクトル分布 •反射モデルに基づくレンダリング •OpenGL •マウスによる視点移動 •テクスチャ切り替え グラフィック性能 項目 仕様 CPU Intel Core 2 Duo E6750 2.66GHz メモリ 2GB グラフィックボード NVIDIA GeForce 8600GT 256MB OS Windows Vista Business 開発環境 Visual C++ 6.0 グラフィックライブラリ OpenGL 1.1 頂点数（最大） 40,000 三角板数（最大） 79,202 システム動作例 変形・運動物体（手指）の撮像と表示 全周モデリングへの応用 較正物体の撮像 回転軸の推定 全周？ no 回転 較正 物体 対象物体の撮像 回 転 台 市販レンジファインダ 用キット メッシュ統合 yes 全周データの獲得と表示 平板@400mm 画像生成に要する時間 センサ出力画像獲得 250ms 出力較正 63ms 距離画像・明暗画像生成 46ms 飽和・低輝度画素除去 メッシュ生成 200×200画素，12.5 fps ADC on PCI Windows Vista Business Core2 Duo 2.66GHz，2GB ? ms 320×256画素，22.9 fps ADC on USB Windows XP 125ms テクスチャ付与 描画 0ms 484ms (2.06 fps) 入力を高速化 まとめ • 位相スタンプ型レンジファインダにおいて，実時間での三 次元形状獲得と任意視点画像レンダリングを実装 – – – – – 時間相関イメージセンサ・・・200×200画素，12.5 fps 三次元計測精度・・・ばらつき0.49mm，うねり0.42mm @ 400mm 変形・運動物体への適用 全周データの獲得と表示 画面更新レート・・・2.1 fps • 課題 – – – – – 表示時間の短縮 三次元計測精度のさらなる改善 全周モデリングの精度向上 シート照明光強度分布の補正と反射率の抽出 カラー画像の取得・・・3chカメラ
© Copyright 2024 ExpyDoc
