バーチャルリアリティ・制作～第十二回～ Virtual Realityとその応用複合現実感・テレイグジスタンス２つのバーチャル世界  構成された世界  現実空間のモデル  現実の空間だか直接認識できない空間   教育，訓練や設計   遠方，危険，など感覚器の限界の世界（テレイグジスタンス）フライトシミュレータ，バーチャルプロトタイピング超現実空間のモデル  現実ではない架空の空間    相対性理論の世界数学（ベクトル場など）の世界アミューズメントやアート  伝達された世界  リアルタイムのテレイグジスタンス  ロボットの遠隔制御構成された世界現実空間のモデル直接認識できない世界の例  仮想内視鏡（Virtual Endoscopy）  CT像より3次元画像を構築，視点を変えることにより体内に入り込める  ミクロの決死圏？  画像の読み方は難しい構成された世界現実空間のモデル直接認識できない世界の例や超現実空間の例  実際には経験できないシーンを経験   例えば，台風の中の自分，分子構造の中の自分など教育用途において大きな効果  アインシュタインの相対性理論の世界を体験する，力学の世界を体験する，実際に行うのは危険な実験を体験する，など  体験から法則の理解へ，という教育システム構成された世界現実空間のモデル教育・訓練・設計の例  バーチャルプロトタイピング    バーチャルな製品で評価することにより無駄な中間製品を作らないエネルギーや資源の節約多品種少量生産の実現  一人一人に合わせた製品が安価で制作可能  好みへの対応だけでなく，障害を持った人のための製品も同等に制作可能  住居や都市空間についても同様構成された世界現実空間のモデル教育・訓練・設計の例  手技，特に外科手術のシミュレーション  教育用  ある手術で起こりうる可能性がある状態を想定して，それに対応する手段の教育  計画用  手術を何度も疑似体験することにより実際の手術前の具体的なイメージがわき，手術のさらなるバリエーションに対応できる後ほど，ビデオで紹介します内視鏡手術のシミュレータ Clip setting シミュレーター Reachin Technologies, Sweden Camera Interaction 胆嚢管の切除伝達された世界 VR+ネットワークで何が出来るか? Surrogate Travel Virtual Office Home Medical care Virtual Reality Network Data Base Virtual Public Facilities Museum,Zoo,Library,etc. Home Shopping Virtual Conference 伝達された世界の例バーチャルユニバーシティ •Virtual空間の自分：アバタ •共同作業が可能 VRMLで記述された校舎伝達された世界の例バーチャルホスピタル  CTやMRI画像などをVirtual空間に再現する事により病状への理解を深める，離れている医師同士のディスカッションなど  患者の精神的ケア   TV電話などによる「定期検診」病状や検査についての患者の自己学習など  遠隔地にいる専門医によるケアや診断伝達された世界の例ロボットによる遠隔手術ダビンチ・サージカルシステムダビンチ・サージカルシステム伝達された世界の例ロボットによる遠隔手術  2001年9月，ニューヨーク－フランス間（約 6000キロ）で成功  胆嚢摘出（腹腔鏡）手術，68歳，女性  10Mbps，タイムラグ0.2秒伝達された世界の例高臨場感会議  バーチャル会議室をCGにより生成する  参加者もCGにより表示される  送信側の参加者の動きや操作意図は，遠隔地の受け手に送られ，受け手側の視点の位置を考慮してリアルタイムに表示される  バーチャル空間を共有して協調作業が可能伝達された世界の例高臨場感会議こんな感じ？伝達された世界の例 Telexistence  人間の時間と空間の制約を解いて自由な空間で自在に行動することを可能とする  自分の分身であるロボットのいる場所に自分が実際に存在するような臨場感（視聴覚，力覚機能）を得ながら，その「自分自身である」ロボットを操る  つまりは「ネットワークを介して自分自身を遠隔地に瞬時に運び，そこにあたかも存在するような臨場感で行動する技術」のこと  災害救助や実際に人間がやるには危険な作業（ロボット漫画の世界？）などへも応用可能 Telexistenceの研究状況  実環境に存在する人間型ロボットにtele-existし，ロボットの手や腕が自分の手や腕であるかのような感覚で作業を行う    積み木を積み上げるランダムに動く台から生卵を握りつぶさずに知覚の人に手渡すつり下げられたピンポンを打ち返す（不定な動きへの対応）  HONDA人型ロボットのスーパーコクピットによる操作  包囲型ディスプレイと歩行移動機能，音響機能などの追加テレイグジスタンス操作五感情報 Master side Slave side Presented by Tachi Labo. in University of Tokyo テレイグジスタンススーパーコクピットとロボットの操縦もっと身近なTelexistence  ネットワーク技術とロボット技術の結合  遠くにあるロボットを自分のうちからでもオフィスからでも操作できるようにする  インターネットのような気軽さで，世界中の公共施設，公園，博物館，ショッピングセンター，家庭などのロボット機器を自由に操作できる  通信販売であるにもかかわらず，実際に手にとって確かめて買い物が出来る  遠隔地にいる家族との五感によるふれあい Telexistenceの問題点  ロボットの操作者は現実空間と変わらない感覚  Telexistenceされた側は？  例えば，Telexistenceシステムで家族とふれあう状況を考えてみよう  Telexistenceされる側にも現実に操作者の姿や声が感じられなければならない  すでに解決のための試作はある  「相互（Mutual）テレイグジスタンス」解決案？＊技術的な詳細は後で説明します。 Mixed Reality（複合現実感）  Virtual環境と現実環境を重ねることにより，それぞれ単独では得られない情報を獲得する技術  Augmented Reality  現実世界をベースに，その上にVirtual世界を重ねる技術  Augmented Virtuality  Virtual世界をベースに，その情報を現実世界の情報により増強する技術 Mixed Realityの例  Augmented Virtuality  空間  virtual space  物体 (花)  real information Digital Museum Mixed Realityの例  Augmented Reality Digital Museum 現実空間に解説文が表示される Entertainment 現実空間でCG creature と戦う Augmented Realityの例ビデオシースルーHMDをかけると，手のひらの上にCGの水面が現れ，イルカが飛び跳ねるというエンターテインメント作品「Contact Water」。 Augmented Realityの例ワイヤーを通じて指の動きを入力するインタフェースデバイス「SPIDAR-8」のデモンストレーション。ビデオカメラで取り込んだ手の映像と，CGのキューブを合成し，モニターに映し出している。手を動かすと，キューブが回るインタラクティブなアプリケーション。その他のAugmented Reality  医療応用  実際の人間の体に，CT等で作成した立体像を重ねて表示（人体の透視）  頭部，視線，触覚センサとの合成により，体の外から「体の中を目視し触診する」ことが可能  ウェアラブルコンピュータ，GPSとの組合せ  目前の物体の情報を現実世界へ投影  建物や花や風景など図鑑的情報  作業手順の重ね合わせ  見えない壁の中の配管構造の透視 ARの応用例網膜へ直接投影：Nomad Augmented Vision System ARの応用例網膜へ直接投影：Nomad Augmented Vision System VR・ARの医療応用  診断支援  立体視表示，レジストレーション(Augmented Reality)  治療支援  手術ロボット，手術シミュレータ  機能代行システム（バイオサイバネティックス）：次週  脳と接続された人工眼，義手・義足，BCI キーワード：リアルタイム性・患者自身の情報・直感的理解 VR・ARの医療応用例（診断支援・治療支援）  岐阜大学と慈恵医大での応用例です。（World Business Satelliteより） ARの要素技術と問題点  要素技術  シースルー型HMD  光学式  ビデオ式  問題点  遮蔽問題  再帰性反射剤を用いたHMPによる解決案光学式シースルーHMD 光学式シースルーHMD  長所   現実空間は常に見えているため安全同様に，現実空間の把握（足下など）に優れる  短所  バーチャル情報が常に目の近くに投影されるため遮蔽矛盾が生じる  現実の物体とバーチャル情報との焦点距離の違いにより違和感が生じる遮蔽矛盾とは光学式シースルー Virtual: 四角柱 Real: 円柱 CAVE Virtual: ボール Real: 自分の手ビデオシースルーHMD ビデオシースルーHMD  長所    実空間をいったんビデオ映像としてバーチャル情報と融合するため焦点距離の問題が少ない距離センサを付ける事で遮蔽矛盾を避けられる現実とバーチャルを違和感なく融合可能  短所   ビデオ映像を合成する際の時間遅延完全遮蔽型のため，電池切れなどの場合現実空間も見れなくなり危険光学式シースルーにおける解決案  Head Mounted Projectorと再帰性反射材の利用       両眼用の画像を別々につくり投影するハーフミラーを用い眼の位置からスクリーンに向かって画像が投影されるスクリーンには「再帰性反射材」を用いる投影された画像はスクリーンからそのまま眼に逆投影される必要な位置に再帰性反射材を塗布すれば，その位置にのみバーチャル情報を表示できるため，遮蔽問題，焦点問題が解決でき違和感のない空間融合表示が可能複雑な機構が無く立体視が可能再帰性反射材とは？  光を受けると，その光が来たのと全く同じ方向に反射を返す材料通常の反射（鏡面反射）再帰性反射？その原理は？ HMPの原理左眼用画像投影左目ハーフミラー右目右眼用画像投影再帰性反射材を塗布したスクリーンこのように見えます箱にのみ再帰性反射材が塗布されているため，箱には映し出されるが手には映し出されない。手による遮蔽問題が解決され，箱の中の物体を違和感なく透視できる。＊先ほどのロボットの相互テレイグジスタンスは，これを利用しています。このように見えます-２人間とX線像（バーチャル情報）との間の正しい遮蔽関係診断や手術支援に応用可能このように見えます-３実時間で取得した背景映像を実時間で処理して投影 PHANToMに再帰反射材を塗布，そこに背景の絵を投影すると PHANToMを透明化でき作業のじゃまにならない色々な研究例