入力画像

パノラマ動画像モデルによる
仮想空間表現システムの研究
工学研究科
電子情報エレクトロニクス講座
田渕善久
画像工学分野
はじめに
 従来の多くの仮想空間システム


CG利用(現実感が低い)
実写利用(視点固定、静止環境)
 →臨場感の欠如
 目的：

臨場感

手軽に利用可能
 本研究はパノラマ動画像を利用する新しいVR
(仮想現実空間表現)システムを提案
本研究の背景
○ポリゴンベースVRシステム：
幾何情報保持。仮想空間内での自由度が高い
臨場感を増すには緻密な三次元モデリングとモーションキャプチャが必要
複雑な環境を描画するにはマシンパワーが必要。既存の環境構築に不向き
○イメージベースVRシステム：
実在する環境（実写）のパノラマ画像を利用
計算機パワーを要求しない現実感の高いシステムが実現可能。
視点の移動不可。静止環境のみ。
本研究では3Dモデリング、マシンパワーを必要とせず、（撮影時）視点移
動可能な、臨場感のある環境を表現するシステムを提案
従来研究
QuickTimeVR


静止画パノラマ利用。
パノラマ作成には、一台のカメラを回転して撮影→縫い合わせる

動画パノラマのリアルタイム作成には不向き。(複数台のカメラ)
全方位視覚センサ(Hyper Omni Vision)



独自設計の二葉双曲面ミラーを使用
座標変換計算は、画像内に格子を設け格子点のみ計算
ハードウェアテクスチャマッピング (Indigo2MaximumImpact) を利用
本研究の構成要素




1)イメージベース法
2)テーブル参照(3Dハードウェアを使わない)
3)動画像利用
4)球面ミラー利用
(1)イメージベース法
 球面パノラマ画像（緯度経度座標系）を入力とし
て、ディスプレイ上に仮想カメラ画像を表示
パノラマ画像
パノラマ画像
ディスプレイ
変換画像
仮想カメラの視点
イメージベース法による描画例
(2)テーブル参照(3)動画形式
3Dハードウェアを利用しない
 長所：

家庭用PCが利用可能
 短所：

座標計算コスト大→ テーブル参照により計算コスト削減

ソフトウェアによる補間処理コスト大
Mpegなどの既存の動画圧縮フォーマットを利用
 長所：

高速デコード、高圧縮な既存のライブラリが利用可能
 短所：

無駄な転送領域が存在する。
座標変換式のテーブル化


カメラの向きに対する画面上の点と入力画像
の参照点を計算
カメラ向き(α、β)ディスプレイ座標(x,y)
球面座標（Θ、φ）
座標変換式
（Θ,Φ）
入力画像
カメラの向きと独立
1

x / y   


A
tan


1
2
2



B
tan
(
y
/
x

d
)

  Tbl1( x)  

  Tbl 2( x, y ) β
（x,y）
ディスプレイ上の点からの対応点を求める
→無駄な転送を避ける
ディスプレイ
(3)球面ミラー
パノラマ動画像作成
1)2葉双曲面ミラー: 焦点を中心とする透視投影画像に容易に変換可能
2)複数台のカメラ画像: つなぎ合わせることで作成
3)球面ミラー: 光学特性が特殊。手軽に入手可能
球面レンズ
球面ミラー
カメラを天井方向に向け、ミラーに
映り込む映像を撮影
カメラ
反射視線が一点に収束しない
球面ミラーの問題点
ミラー
撮影時視野
仮想カメラ視点
仮想カメラ視野
入力画像
撮影視点
 撮影時と再生時で視線方向が異なる
 仮想カメラの視線から入力画像への対応点を求めるのが困難
球面ミラーを利用するために



入力パノラマ画像は定点で観測されなくてはならない。
画素毎に距離情報が得られると

仮想空間内に単純な形状の壁を配置

擬似的に画素毎の距離情報を得る。
リサンプリングの回数が増すので、リアルタイム処理には向かない。
距離
ミラー
仮想カメラ
入力画像
壁
球面ミラーの利用手順
 1)入力画像の各画素に対する視線ベクトルから球ミラーでの反射ベ
クトルと与えた壁の交点を計算
 2)仮想カメラの視線ベクトルと壁の交点を計算
 3) 2)に対するピクセル値を1)の線形補間により計算
 球面画像（緯度経度座標系）を作成
視界
システムの実装
前処理




球面ミラー利用
距離情報は単純な形状(直方体、円柱)を3D空間に配置し、ミラーによる反
射視線との交点を利用。
動画圧縮は既存のフォーマットを利用(1/20～1/50程度)
Bi-Linear補間実装
描画システム






Windows上で動作。
DirectX、ActiveMovieライブラリを使用
マウスによる仮想カメラのパン、ズーム機能
256×256(24bitカラー)での描画
Windows標準のAVIファイルMpegを利用可能
Bi-Linear補間実装
システムデータフロー図
前処理部
実写ミラー画像
CG
距離情報
距離情報(部屋のサイズ
カメラ位置)
補間処理
球面画像
動画圧縮
パノラマ動画ファイル
パノラマ動画ファイル
描画部
描画部
パノラマ動画ファイル
動画展開
球面画像
マウス入力
座標変換
座標変換
テーブル
補間処理
描画処理
ディスプレイ
実験例1(CG)
（動作環境 WindowsNT/PentiumII 450x2）
実験2(部屋)
距離情報 (部屋のサイズカメラ位置)
2ｍ
4ｍ
Top View
2ｍ
Side View
実験3 実写（自転車）
１０ｍ
１０ｍ
Top View
2ｍ
2ｍ
Side View
入力画像の問題点(1)
 画面上方は解像度が低い
(視野角/20Pixel)
入力画像の問題点(2)
 動きが激しいとインターレースの影響で画面が荒れる。
NTSC動画取り込み
DV機器(静止画取り込み)
まとめ
 実写パノラマ動画像を利用可能な手軽な仮想空間表現
システム


プロトタイプを作成
CG及び実写を入力とする仮想空間を作成
今後の課題
 現在のシステムでは解像度が不足

普及しつつあるDV動画取り込み機器を導入することで画質の
向上を目指す
 一つの入力画像から多人数のユーザーが任意の方向を
観察可能なシステムである

監視カメラやTV会議システムへの適用

Download Report