多視点画像を用いた屋外環境構造の再構築

三軸角度センサと汎地球測位システムを用いた多
視点ステレオ画像の位置合わせに基づく
実環境の再構成
松川昌洋（学籍番号 9851100）
ソフトウェア基礎講座M2
情報システム学専攻
研究の背景
現実環境
再
構
成
処
理
仮想環境
計測
現実環境のシミュレーションを
目的として現実環境を仮想空間内
に再構成する研究が行われている
CGのみで正確に屋外環境を再構成
画像処理
モデル生成
編集
CGで描画できる空間の写実性や
臨場感には限界がある
実写画像を用いた
屋外環境構造の再構成
従来研究：現実環境のモデル再構成手法
手動によりモデルの再構成を行う方法
写実性が高いモデルを形成できる
作成コストが高くなる
再構成までの処理を自動化する方法
作成コストが低い
少ない情報をもとに三次元モデルの獲得するこ
とは困難
ステレオ視
P( X , Y , Z )
特徴
エピポーラ線
自然光での撮影でも対応可能
Pr ( xr , yr ) 測定環境の制限がない
Pl ( xl , yl )
屋外環境下での問題点
F
左画像
左レンズ中心
・ステレオ撮像系を構成するために
F
右画像
B
右レンズ中心
標準ステレオ撮像系
位置関係を知ることが必要
・奥行き推定結果に対する信頼性
の問題
本研究の目的と方針
屋外環境構造の自動的な再構成
 屋外環境下における撮影位置計測の方法
→ 三軸角度センサ，GPSの計測結果を用いて
ステレオ撮像系を構成
→ 計測位置誤差による不正確な位置を考慮して構成
 奥行き推定結果に対する信頼性の問題
→ 不正確な情報を考慮した三次元モデル構築手法
三次元モデル生成までの処理手順
入力
基準画像1
参照画像1
奥行き情報の獲得
…
基準画像N
…
平面の推定処理
奥行き情報の獲得
平面の推定処理
多視点データの統合
平面位置の補正処理
出力
参照画像N
三次元モデル
ステレオ視による奥行き情報の獲得
入力画像
特徴領域の抽出
エピポーラ線の平行化
特徴領域対応点探索
視差マップの作成
距離画像
平面推定の処理の流れ
基準画像
参照画像
領域分割
奥行き情報抽出
奥行き情報の統合
平面の推定
平面の推定
分割された各領域
一つの三次元平面を構成すると仮定
領域内に存在する奥行き情報から
領域毎の平面方程式を推定
問題点
誤対応による不正確な奥行き情報の問題
ロバスト推定により誤値の影響を
減らした平面方程式の推定
領域分割結果
平面の推定処理
ランダムに
3点選択
平面方程式
の導出
点と平面の差分ベクトル計算
メディアン値
差分ベクトルの
中間値(メディアン)を計算
各平面の世界座標系への統合
カメラ撮影位置が異なるので各視点
位置で生成される座標系も異なる
Y’
X’
Y
Z’
Z
X
カメラ座標系N
世界座標系
座標系の統合
世界座標系
への統合
計測データを基に各座標系への
変換行列を導出し統合
カメラの位置・姿勢の関係は
GPSと三軸角度センサにより獲得
モデル統合を行う際の問題点
各カメラ座標系から推定された
平面を世界座標系に投影
平面推定によって
復元された平面
•計測機器による誤差によって、
統合後の座標値が狂う
•本来モデル中の同じ平面が
別のステレオペアによって
重複して出現する
別のステレオペア
によって推定された
同じ平面
モデルが本来復元される位置
補正が必要
O
補正手法の概要（重複した面の統
合）
1.
2.
統合された
平面
3.
4.
補正手法の概要（隣接した面の接
合）
1.
隣り合った面の
交線を導出
2.
3.
隣り合った面をつなぐ輪郭 2.で調べた頂点を
交線上にのせる
を探索
接合処理
実験
撮影環境
Y(鉛直方向)
⑥⑤
世界座標系
O(0，0，0)
Z(真南)
①
ステレオペア３
対象物体
②
ステレオペア１
③④
ステレオペア２
X(真東)
結果
まとめと今後の課題
屋外環境構造の自動的な再構成
GPS，三軸角度センサを用いてステレオ撮像系を
構成
不正確な情報を考慮した三次元モデルの構築法
今後の課題
平面位置補正手法の改良
完成されたモデルの構築

Download Report