Virtual Reality and its Application

空間情報処理特論
~第九回~
ネットワークと空間情報
テレイグジスタンスと相互テレイグジスタンス
2つのバーチャル世界
された世界


現実空間のモデル
 現実の空間だか

遠方,危険,など
できない空間
の世界(
 教育,訓練や設計


フライトシミュレータ,バーチャルプロトタイピング
超現実空間のモデル
 現実ではない架空の空間



相対性理論の世界
数学(ベクトル場など)の世界
アミューズメントやアート
された世界(ネットワークを介したVR)



のテレイグジスタンス
ロボットの遠隔制御
)
伝達された空間
VR+ネットワークで何が出来るか?
Surrogate
Travel
Virtual
Office
Home
Medical care
Virtual Reality
Network
Data Base
Virtual Public Facilities
Museum,Zoo,Library,etc.
Home
Shopping
Virtual
Conference
伝達された空間の例
バーチャルユニバーシティ
•Virtual空間の自分:アバタ
•共同作業が可能
VRMLで
記述され
た校舎
伝達された空間の例
バーチャルホスピタル
 CTやMRI画像などをVirtual空間に再現する事
により病状への理解を深める
 患者の精神的ケア
(病状や検査についての自己学習など)
 遠隔地にいる専門医によるケアや診断
伝達された空間の例
Telexistence
 人間の
を解いて自由な空間で自
在に行動することを可能とする
 自分の
であるロボットのいる場所に自分が実際
に存在するような
を
得ながら,その「
である」ロボットを操る
 つまりは「
を介して自分自身を
に
瞬時に運び,そこにあたかも
ような臨場感
で行動する技術」のこと
 災害救助や実際に人間がやるには危険な作業(ロボット
漫画の世界?)などへも応用可能
Telexistenceの概念
より現実的
exoskeleton型人力増幅器
1960年代,米軍
舘著「人工現実感」日刊工業新聞社より
Telexistenceの研究状況
 実環境に存在する人間型ロボットにtele-existし,ロボット
の手や腕が自分の手や腕であるかのような感覚で作業
を行う



積み木を積み上げる
ランダムに動く台から生卵を握りつぶさずに知覚の人に手渡
す
つり下げられたピンポンを打ち返す(不定な動きへの対応)
 HONDA人型ロボットのスーパーコクピットによる操作
 包囲型ディスプレイと歩行移動機能,音響機能などの追加
テレイグジスタンス
操作
視覚情報
Master side
Slave side
Presented by Tachi Labo. in University of Tokyo
もっと身近なTelexistence
 ネットワーク技術とロボット技術の結合
 遠くにあるロボットを自分のうちからでもオフィス
からでも携帯からでも操作できるようにする

インターネットのような気軽さで,世界中の公共施設,
公園,博物館,ショッピングセンター,家庭などのロ
ボット機器を自由に操作できる
 通信販売であるにもかかわらず,実際に手にとって確
かめて買い物が出来る
 遠隔地にいる家族との五感によるふれあい
Telexistenceの問題点1
 ロボットの操作者は現実空間と変わらない
感覚
 Telexistenceされた側は?
 例えば,Telexistenceシステムで家族とふ
れあう状況を考えてみよう
 Telexistenceされる側にも
感じられなければならない
Telexistenceの問題点2
 遠隔制御におけるネットワークの
 「ロボットのアームが物体に触れたから手を止める」



実際にアームが物体に触れたのは数秒前
「手を止める」命令がさらに数秒遅れで届く
つまり,「すでにアームが物体を破壊している!」
 アームをゆっくり動かす?→非現実的


ロボットの動きを
操作者
時間補償
シミュレータ
直接のリンクはない
ロボット
ロボットの遠隔操作の例
ロボットによる遠隔手術
ダビンチ・サージカルシステム
ダビンチ・サージカルシステム
ロボットによる遠隔手術
 2001年9月,ニューヨーク-フランス間(約
6000キロ)で成功
 胆嚢摘出(腹腔鏡)手術,68歳,女性
 10Mbps,タイムラグ
秒
問題点1の解決案:相互テレイグジスタンス
Mutual Telexistence
 from Master to Slave

 from Slave to Master

Master
 愛・地球博で発表
Slave
マスターコクピット
立体映像表示
東大 舘・川上研
Mutual Telexistenceのもう一つの例
空間通信(空間共有)
 電話は聴覚の「Mutual Telexistence」
 バーチャルリアリティにおける情報通信は,
「
」の通信
 メッセージ,言葉だけでなく,「
ることができる
 「
」の伝達と共有

」す
アイコンタクト,身振り手振り,位置関係など
 TV電話は何故普及しないのか?
 人を正面に見据える状況はかなりフォーマルであり自
然ではない
 空間的情報の交換が非常に重要
 携帯のTV電話機能で何を送信した事がありますか?
空間通信の例
高臨場感会議
 バーチャル会議室をCGにより生成する
 参加者も
により表示される(
)
 送信側の参加者の動きや操作意図は,遠
隔地の受け手に送られ,受け手側の視点
の位置を考慮してリアルタイムに表示され
る
 バーチャル空間を共有して
が可能

が可能
CGではない実情報によるアバタ
ビデオアバタ ①
 2.5次元ビデオアバタ
 多数のカメラ(多視点カメラ)で撮影
された映像を切り替えることにより,
どの方向からも正しい姿が見えるよ
うにする
 スクリーン上の投影映像を予測,人
体のみ抽出
 Image Based Rendering (IBR)
 長所


短所

ビデオアバタ ②
 3次元ビデオアバタ

を利用した
 まず,人体のラフな三次元形状を計
測,モデルを再構築
 撮影した画像をモデルへ貼り付ける
(テクスチャマッピング)
 完全な身体モデルを得るには数台の
三眼カメラが必要
 長所



短所
 三眼カメラのシステムが大型になる
TWISTER
裸眼高視野角立体映像による相互テレイグジスタンス
TWISTER
TWISTER
TWISTER





立体映像提示
リアルタイム動画提示
頭部運動が抑制される
(
には向かない)
原則一人利用
相互コミュニケーションのための
撮影と提示のハードウェア構成を
容易に兼ね備える