Virtual Reality and its Application

バーチャルリアリティ・
制作
Virtual Realityとその応用-2
複合現実感・テレイグジスタンス-2
2つのバーチャル世界(復習)
 構成された世界(=空間)
 現実空間のモデル
 現実の空間だが


遠方,危険,など感覚器の限界の世界(テレイグジスタンス)
教育,訓練や設計


空間
フライトシミュレータ,バーチャルプロトタイピング
超現実空間のモデル
空間




相対性理論の世界
数学(ベクトル場など)の世界
アミューズメントやアート
 伝達された世界(ネットワークを介したVR)
 リアルタイムの
 ロボットの
伝達された空間(復習)
VR+ネットワークで何が出来るか?
Surrogate
Travel
Virtual
Office
Home
Medical care
Virtual Reality
Network
Data Base
Virtual Public Facilities
Museum,Zoo,Library,etc.
Home
Shopping
Virtual
Conference
伝達された空間の例(復習)
Telexistence
 人間の
の制約を解いて自由な空間で自
在に行動することを可能とする
 自分の
である
のいる場所に自分が実際
に存在するような
(視聴覚,力覚機能)を得なが
ら,その「
である」ロボットを操る
 つまりは「
を介して
を遠隔地に
瞬時に運び,そこにあたかも
するような
で
行動する技術」のこと
 災害救助や実際に人間がやるには危険な作業(ロボット
漫画の世界?)などへも応用可能
テレイグジスタンス(復習)
操作
視覚情報
Master side
Slave side
Presented by Tachi Labo. in University of Tokyo
もっと身近なTelexistence(復習)
 ネットワーク技術とロボット技術の結合
 遠くにあるロボットを自分のうちからでもオフィス
からでも携帯からでも操作できるようにする

インターネットのような気軽さで,世界中の公共施設,
公園,博物館,ショッピングセンター,家庭などのロ
ボット機器を自由に操作できる
 通信販売であるにもかかわらず,実際に手にとって確
かめて買い物が出来る
 遠隔地にいる家族との五感によるふれあい
もっと身近なTelexistenceの例
 RobotPHONE (東大舘研)



ロボットを用いた新しい
ロボットを介して,
を伝える事が出来る
ロボットを人へのインタ
フェースとして考えた,
Robotics User Interface
(RUI)の例
Telexistenceの問題点1(復習)
 ロボットの
は
空間と変わら
ない感覚
 Telexistenceされた側は?
 例えば,Telexistenceシステムで家族とふ
れあう状況を考えてみよう
 Telexistenceされる側にも
の姿や声が感じられなければならない
Telexistenceの問題点2
 遠隔制御におけるネットワークの
 「ロボットのアームが物体に触れたから手を止める」



実際にアームが物体に触れたのは数秒前
「手を止める」命令がさらに数秒遅れで届く
つまり,「すでにアームが物体を破壊している!」
 アームを
動かす?→
 Predictive Display
 ロボットの動きをシミュレーションで
操作者
時間補償
シミュレータ
ロボット
直接のリンクはない
人が自分の動きと他者の動きと区別する境界:
問題点1の解決案:相互テレイグジスタンス
Mutual Telexistence
 from Master to Slave
 操作意図,
 from Slave to Master
 視覚情報,
Master
 愛・地球博で発表
Slave
マスターコクピット
立体映像表示
東大 舘・川上研
Mutual Telexistence
Mutual Telexistence
スレーブ側の見た目
マスタ側の操作
相互テレイグジスタンスのイメージ
Mutual Telexistence
将来像
遠隔地にいるロボットの操作者の存在 感をリアルに
感じながらコミュニケーションを取ることができ・・る?
Mutual Telexistenceのもう一つの例
空間通信(空間共有)

は
の「Mutual Telexistence」
 バーチャルリアリティにおける情報通信は,
「
」の通信
 メッセージ,言葉だけでなく,「
を共有」する
ことができる
 「
情報」の伝達と共有

アイコンタクト,身振り手振り,位置関係など
 TV電話は何故普及しないのか?
 人を正面に見据える状況はかなりフォーマルであり自
然ではない
 空間的情報の交換が非常に重要
 携帯のTV電話機能で何を送信した事がありますか?
空間通信の例
高臨場感会議(復習)
 バーチャル会議室を
により生成する
 参加者も
により表示される(
)
 送信側の参加者の動きや操作意図は,遠
隔地の受け手に送られ,受け手側の視点
の位置を考慮してリアルタイムに表示され
る
 バーチャル空間を共有して協調作業が可能
 立体映像が可能
こんな会議室(復習)
不気味の谷
 外見と動作が「人間
にきわめて近い」ロ
ボットと「人間と全く
同じ」ロボットによっ
て引き起こされると
予想される嫌悪感の
差
 ロボット工学者,森
政弘により1970年
に提唱
「不気味の谷」を越える試み
 バーチャル空間の中に




した他者がいるとリ
アルな距離感が生まれる
他者のどこをみて
を感じるのか?
そもそも,バーチャル空間の中の自分自身(=アバ
タ)を
させている要因は何か?
バーチャル空間内に自分のアバタを作り,様々に
変数を変えて
を計測,どの変数
がリアリティを生むのか,違和感を起こさせるのか
計測
VRのもう一つの要素としての「
」
CGではない実情報によるアバタ
ビデオアバタ ①
 2.5次元ビデオアバタ




で撮影
された映像を
ことによ
り,どの方向からも正しい姿が見え
るようにする
スクリーン上の
を予測,
のみ抽出
Image Based Rendering (IBR)
長所


短所

ビデオアバタ ②
 3次元ビデオアバタ

カメラを利用した
 まず,人体のラフな
を
計測,モデルを再構築

を
へ貼り付け
る(テクスチャマッピング)
 完全な身体モデルを得るには
の三眼カメラが必要
 長所

ため
バーチャル空間からの切り出し,空
間への埋め込みが容易
短所



TWISTER
裸眼高視野角立体映像による相互テレイグジスタンス
未来の電話ボックスのメタファ?
TWISTER
TWISTER
TWISTER





映像提示
動画提示
運動が抑制される(運動
視差には向かない)
原則一人利用
相互コミュニケーションのための
と
のハードウェ
ア構成を容易に兼ね備える
TWISTER IV
 垂直画素数:600[pixel]
 水平画素数(360度):3168[pixel]
 提示面半径:1000[mm]
 提示面高さ幅1200[mm]
 画素ピッチ:2[mm]
 回転速度:1.66[rps]
 フレームレート:60[fps]
 輝度階調:RGB各10ビット
Mixed Reality(複合現実感:復習)
環境と

れぞれ
 Augmented Reality
環境を重ねることにより,そ
情報を獲得する技術
世界をベースに,その上に

世界を重ねる
技術
 Augmented Virtuality

世界をベースに,その情報を
り増強する技術
世界の情報によ
Augmented Virtualityの例
 空間アルバム





3DCGを用いたビデオ閲覧システム
ビデオカメラで撮影された映像と同時に,ビデオ
,
,
などを保存
3DCG空間に
を配置,それをクリック
する事により
ビデオが表示
される
ユーザは見たい場所に移動して,その場所の映像を
見る事が出来る
この場合の3DCG空間は,
情報を持たない
Augmented Virtualityの例
 TimeWalk
 3DCG空間が
情報を持つ
 ビデオカメラの動きは
オブジェクト
として表現される
 バーチャル空間の時刻(
)の情報が提示される
が,
は「
情報」であるため,その瞬間の情報
が存在しない場合は
。このような「点と
点の積演算」は実用的でないため,「
の
」も同時に表現する
 「
(詳細情報が現
れる)」表示方法をTemporal LOD (Level of Detail)と呼ぶ。
 空間的に近い物体の情報を詳しく表示するSpatial LODと
同様の考え方(後述)
時間を移動する場合の
空間オブジェクトの見え方
オブジェクト
オブジェクト
時間の流れ
Augmented Realityの例
 Name-at






実時間ビデオに
を重ねたARの応用例
定点カメラの映像(向き)をwebから操作
web上の「
」をクリックする事により,そ
れに相当する
が表示される,空間ハイパーメディア
ビデオ中の地物に
が重畳,そのラベルをク
リックする事により,その地物に関するwebが開く
映っている地物の
(
)により,重畳される情
報量(情報表現の
)を制御する(S-LOD)
プライバシーの侵害になるような角度の映像の場合は
解像度を自動的に落とす
ウェアラブルコンピュータとAR
,
センサ等との併用

コンピューティング,
型コンピュータとの併用








目前の物体の情報を現実世界へ投影
建物や花や風景など図鑑的情報
作業手順の重ね合わせ
見えない壁の中の配管構造の透視
体験の記録
RFIDを用いた屋外・屋内シームレスな位置情報提示
情報化する実空間(愛知万博の例など)
GPSとジャイロセンサの応用例
GPS, Gyro
 視点の
と
が
GPS とジャイロセンサに
よって計測される。
 コンピュータは
を持つ。
 ユーザがビルを見上げ
たとき,そのビルに関す
る情報がディスプレイに
表示される。
Micro Display
computer
ISMAR03*
ウェアラブル型注釈提示システム
 現実環境にCGで描かれた注
釈情報を重畳表示し,ユーザ
に直感的に情報を提示するシ
ステム

にまばらに設置された
簡単なセンサと
を
用いてユーザ
の計測
を,ユーザが装着する
センサを用いて
の計
測を行う

において
にユーザの位
置計測を行える,
で
利用可能なウェアラブル注釈
提示システム
奈良先端大
*IEEE and ACM International Symposium on Mixed and Augmented Reality
2003年が2回目の開催
ISMAR03
ウェアラブル型注釈提示システム
ISMAR03
Weavy:パーソナルポジショニング
 歩行者の腰部に装着されたセンサモジュー
ル(加速度・角速度・磁気)から得られるデー
タ時系列を解析し,歩行による相対位置移動
を計測
 頭部に装着されたカメラから得られる画像と
データベース中の画像群との照合を行い,腰
部センサモジュールの位置情報のずれを補
正

することなくパーソナル
ポジショニングを実現
情報化する実空間
東大先端研バリアフリー実験空間
 約1700平方メートルの空間に1300個のRFID
タグ(300MHz)が1.2mピッチで埋没
 各タグは固有IDを持つアクティブ型で0.2秒ごと
に発信
 アンテナ+ウェアラブルコンピュータ装着者の位
置を1m以下の精度でリアルタイム計測可能
 5mおきにホットスポット設置
 いくつかのホットスポットにネットワークカメラ
(現在30台)を設置,空間情報を記録,リアルタ
イム解析
情報化する実空間
東大先端研バリアフリー実験空間
情報化する実空間
東大先端研バリアフリー実験空間
 盲聾者ナビゲーション






環境の変化に対応する動的
点字ブロックの提案
ユーザの位置情報の取得
環境情報のリアルタイム取得
誘導路決定プロセス
決定結果のユーザへの伝達
100ms毎に新しい誘導路を決
定可能
ウェアラブルコンピュータ
指点字インタフェース
愛知万博における領域型展示計画
 建築によらない展示システムの提案
 建築物の量を削減し,自然の環境負荷を最
小限に抑えるため,屋外をそのままの状態
で展示体験空間として活用
 ウェアラブルコンピュータ+HMDを用いて,
自然環境の中で情報環境にアクセスする
 装置が高価であること,装着しているという
違和感,情報の質の問題などから却下
愛知万博における領域型展示計画
このときの技術はこういうところで使われています
例1
例2