Virtual Reality and its Application

バーチャルリアリティ・
制作
～第四回～
システムの実装（２）ディスプレイシステム（続き）
システムの実装（３）シミュレーションシステム
触覚ディスプレイ
 人間は鉄の玉をどう認識するか？

触れる事で形状を知る
 皮膚？

表面の細かいパターン（テクスチャ）は？
 皮膚？

深部？
深部？
「金属」という認識は？
触覚ディスプレイ
 人間は鉄の玉をどう認識するか？

触れる事で形状を知る



表面の細かいパターン（テクスチャ）は？



Haptics（触運動知覚）


「金属」という認識は？

を感じる皮膚感覚による
触覚の分類
 体性感覚＝広義の触覚



皮膚感覚
 触圧覚（狭義の触覚），温覚，冷覚，痛覚
深部感覚（固有受容感覚，自己受容感覚）
 運動覚，位置覚，深部圧覚，深部痛覚
＝Haptics
触覚と感覚受容器
 皮膚感覚（触圧覚）


触覚
 マーケル触盤（
 マイスナー小体（
 ルフィニ小体（
圧覚
 ルフィニ小体
 パチニ小体（
）
）
）
）
触覚と感覚受容器
 固有受容感覚


運動覚，位置覚
筋肉内の感覚受容器


筋の
情報を延髄経由で中枢に伝達

筋の
情報を中枢に伝達

感覚受容器の場所による分類
皮膚感覚のディスプレイ
 触れた，触れないの判定
 Cyber Touch



データグローブ＋振動子
各指＋手のひら（６カ所）
振動周波数125Hz
皮膚感覚のディスプレイ
 凹凸による情報伝達（点字など）
 テクスチャ感覚の発生
 Virtual Sandpaper (M.Minsky, MIT)
 細かい凹凸

振幅は
，周波数は
振動を発生
，周波数は
振動を発生
 粗い凹凸

振幅は
 実際の物体の情報を忠実に記録，再現しなければ
ならない
 実際とは違っても同じ感覚刺激を与える事で実現
できないか？
皮膚感覚のディスプレイ
 マーケル触盤，マイスナー小体，パチニ小体，ルフィ
ニ小体を，実際のモノをさわったときと同様に反応さ
せる
 受容器のところだけは同じ振動になるような振動を作
る（現在のところ不可能）

で直接的に受容器を刺激する（
）


×すべての受容器に
○
からの

を埋め込む
刺激
の特異性や
の違
いから選択的刺激可能（３種類について）
（舘研究室，東大）
触原色の研究
東大・舘研究室
 圧覚，低周波振動覚，
高周波振動覚の提示
に成功
試作された触覚ディスプレイ
深部感覚のディスプレイ
 形状を感じ取れるような触覚再現装置
 装着型
 手指に装置を装着，
する事で物体の存在感を作り出す
 把持型
 器具を手にしたときの，その器具による触感だけを作
り出す
 遭遇型（研究中）
 バーチャルな模型（素片）を置き，
事で物体の存在感を実現する
 指の動きを検知して素片が
動く
 素片の移動や回転などで
を表
現する
深部感覚のディスプレイ
装着型
 Cyber Grasp

手指の動きを計測す
るとともに深部感覚を
提示
深部感覚のディスプレイ
装着型
 PHANToM
(SensAble Technologies)



指先への深部感覚提示
６自由度
ペンの位置と姿勢を計測す
るとともに深部感覚を提示
深部感覚のディスプレイ
装着型
 SPIDAR （東京工業大学佐藤研究室）
深部感覚のディスプレイ
装着型
 問題点



常に装置をつけているため，装置の
や装置の
が常に感じられる
純粋に「
」感覚
を作り出す事が難しい
力をかけるモーターの応答限界
や

い
の表現が難し
深部感覚のディスプレイ
遭遇型
 Shape Approximation Device (SAD) による形状表現
平面や曲面の表現
エッジの表現
シミュレーションシステム
からの入力と
への出力とを，ある
のもとで結合するソフトウェアシステム
「
」とは？



物体相互間の世界法則（
や
）に基づいた関係
バーチャルリアリティソフトウエアの大きな特
徴
シミュレーションシステムの構成例
 VR用基本OS
VRアプリケーション
支援TOOL
VR用オーサリングツール
世界管理OS
法則管理部（機能DB）
形状モデル（形状DB）
VR用基本OS
デバイス駆動ルーチン
VRのハードウェア

システムと
システムを動作させる
 世界管理OS

形状モデル


バーチャル世界に存在する物
体の形状を定義。CADのデー
タベースをそのまま利用
法則管理部

を記述し，
シミュレーションを実行する
 支援TOOL


してバーチャル
世界全体を構築する
リアルタイムインタラクションを実
現する
技術など
システム相互の働き
バーチャル空間でリビングのドアを開ける場合
ユーザがドアに向かって移動
手の位置座標，指の
開閉状況を検出
ユーザの位置を検出
ユーザの視点からの
リビング画像を連続生成
ディスプレイに表示
ユーザがノブをつかもうとする
：実空間での動き
：センサの働き
ノブの形状や位置情報から
手指とノブ間の干渉をチェック
手の動きに合わせて開いて
いくドアの絵を連続生成
ディスプレイに表示
：SSの働き
：ディスプレイの働き
因果関係記述の重要性
 先ほどの例で言えば
 自由度の拘束
 ドアは壁面に対して自由度１で回転
 最大可動範囲はドアストッパが有効な角度まで
 ノブはドアに対して自由度１で回転
 干渉チェック
 手はノブの位置で拘束される＝衝突検知
 干渉：物体同士が交わる接触：物体が輪郭線のみ共有する
衝突：離れている状態から干渉・接触状態へ移る一連の動作
 運動方程式と拘束・干渉状態に従ったシーンの描画
物体を押す場合
衝突検知が無いと
並進運動のみだと
回転（拘束）が加わると
因果関係の算出方法
 リアルタイム性（10Hz程度の描画サイクル）
 複数物体の空間内での重なり（干渉）の判断

n個の物体間の衝突検知
 nC2通りの組み合わせを調べる

2つの物体間の衝突検知



すべての面と稜線の組み合わせで交差の有無を調べる
膨大な計算量＝演算軽減策の必要性
効率的な干渉検知の方法は研究中


交差を調べる必要がある面の組み合わせの軽減
運動している物体のみを対象とする
 物体の挙動のシミュレーション

運動方程式：微分方程式→差分方程式
2
dx
m
dx
dt
2
 F (t )
dt  v(t )
xn1  xn  vn  t
vn1  vn  a  t
レンダリング技術
 CG：「コンピュータ内の3次元形状を2次元の画面
へ表示するための変換操作」
 VRの場合，レンダリング技術の
張が必要
 触覚レンダリング
にどのような触覚的


への拡
近似方法を使うか？
ポリゴンをどれだけ
できるか？
 聴覚レンダリング
 音波のシミュレーション
 自然の音を人工的にどのように作成するか？
視覚レンダリング
物体に関するデータ
光源に関するデータ
モ
デ
リ
ン
グ
三
次
元
形
状
モ
デ
ル
レ
ン
ダ
リ
ン
グ
画
像
表
示
視点に関するデータ
 三次元形状モデル（多角形（ポリゴン）の組み合わせによる多
面体）が，
のもと，
からどのように見え
るかを判定しスクリーン上の
を作成する

がどのような経路をたどって
に入るかを調べる「光のシミュレーション」
レイトレーシング（光線追跡法）
 視点に到達する光を，光の到来方向を忠実に逆算
してたどる事により，スクリーン上の1画素の輝度を
決定する
 物体表面の反射や屈折など複雑な光の現象をシ
ミュレートする
 物体表面への背景の写り込み，透明物体の表現
などリアルな表現が可能
 すべての物体間での交点計算や物体間陰影の計
算など，かなり複雑な演算を必要とし，リアルタイム
描画は困難
レイトレーシングは複雑すぎる
 なんとかより簡単な方法で
 リアルタイムに
 それらしい画像描画を
視覚レンダリングの３プロセス
 透視変換

を，画像を定義するスクリーン上の
に変換する
 隠面（線）消去

物体の中で，
の位置から見える物，
見えない物を選別する
 シェーディング

光源や視点の位置，物体表面の角度に基づ
き物体表面の見え方（
と）を定める
透視変換
スクリーン
物体
スクリーン上の座標
視点
透視変換による
ワイヤーフレーム画像
隠面消去
 Zバッファ法






Edward Catmull (1974)
透視変換されたスクリーン上の画像について，各画素ごと
に各物体（面）の
を調べ，比較しながら，より
とそのときの
をバッファ（一時メモリ）に保存
（更新）していく
最も
をもつ輝度値をスクリーンに描画する
 最もスクリーンに近い物体のみが描画される（自動的に隠
面消去が行われる）
Z値の比較のみで描画する物体（面）を決める
複雑な計算が不必要，高速な処理が可能
の表現は困難
シェーディング
 光源や物体の表面の性質などから明暗や色の差
を求める作業
 物体に立体感を与え，表面の形状や状態を明瞭に
表現できる
 グローシェーディング


面内の色を
面（ポリゴン）が
が可能
ても擬似的に
 ラジオシティ法


の効果を考慮したシェーディング
の光のやりとりを計算する方法
Zバッファ法による隠面消去と
陰影付け（シェーディング）
テクスチャマッピング





いポリゴンで
な
画像
ポリゴンへ写真や画像（テク
スチャ：物体表面の色や模
様）を貼り付け
ポリゴン数を
ながら
フォトリアリスティックな三次
元世界を実現
描画時間の大幅な節約
テクスチャの選択により
シェーディングもそれらしく表
現可能＝
マッピング
CGによる形状モデルを利用しな
い例
 あらかじめ録画しておいた空間をバーチャ
ル空間として利用
 インタラクションの幅はかなり制限される（あ
らかじめ録画されているシーン以外は再生
できない）
 簡単にバーチャル空間の合成が可能
 ランダムに撮影された映像から自由に散策
できるバーチャル空間の生成が研究中
バーチャル環境構築支援ソフトウェア
 World Tool Kit




代表的なVR/3Dアプリ
ケーションソフトウェア
リアルタイムシミュ
レーションを実現
1000以上の関数から
なるCライブラリ
多くの3Dデバイスを
サポート
中間テストについて
 実施：10/27（月），11:05～12:05
 第一回～第四回のパワーポイントを中心に
出題
 各回より２題ずつ出題
 説明を求める問題が多いので，単なる丸暗
記ではなく，しっかりと理解しておく事が重
要

Download Report