ヒューマンインタフェース論

マンマシンインタフェース論
竹村治雄
大阪大学
サイバーメディアセンター
Human-Computer Interaction
1
仮想環境の共有ーはじめに

計算機により構築された仮想環境
• 一人の利用者で共有するより複数の利用者で共有す
る方がアプリケーションが多く存在する.
Human-Computer Interaction
2
CSCW

Computer Supported Cooperative Work
計算機利用の共同作業環境
• 人間
• 技術
• 社会
の3つの側面を持つ
従来のユーザインタフェースをベースとする
Human-Computer Interaction
3
画像ベースのCSCW

構成要素
• マルチメディア多地点間通信(映像/音声/テキス
ト)
• 共有ツール(作図/作文/モデリング)
• 個人ツール
これらのツールがデスクトップ上に配置される.
スムーズなツール間の移動/共有データの管理/プライ
バシーの保護などが課題
Human-Computer Interaction
4
仮想環境のメリット





広範なメタファの使用が可能
種々の情報提示手法の利用が可能
人の空間知覚特性の活用
現実環境とのスムーズな移行が可能
人間のコミュニケーション技術の直接利用
Human-Computer Interaction
5
CSCWの分類




同期:協調作業の参加者全員が同一時刻に同じ
目的で共同作業を実施するもの
非同期:そうでないもの
集中:参加者が物理的にも1箇所に集まるもの
分散:別々の場所にいて作業が実施可能なもの
同期
非同期
集中 会議支援シ ス テ 端末の交代利用?
ムなど
分散 分散デス ク ト ッ 共同論文執筆
プ 会議
Human-Computer Interaction
6
共有仮想環境の分類
集中
分散
同期
共有 A R システ ム
V L E G O II
M R エ アーホッ ケー
共有 V R システ ム
臨場感通信会議
Human-Computer Interaction
非同期
V R M L ベースのシステ ム
C o m m u n ity Pla ce など
7
仮想環境の共有形態






非対象型テレイグジスタンス方式
対象型テレイグジスタンス方式
HMDによる完全没入型の共有
光学式STHMDによるAR型の共有
ビデオSTHMDによるAR型の共有
大型スクリーンによる共有
Human-Computer Interaction
8
TeamWorkstation




Seamlessness
ビデオイメージによる合成
手書き注釈
個人環境+共有環境
問題点
Gaze Awareness
Screen Space
Human-Computer Interaction
9
Team WorkStation 2

Clear Face
• 半透明の顔の映像表示
Human-Computer Interaction
10
ClearBoard


ホワイトボードを用いたコミュニケーションを
通信環境で行う。
視線によるコミュニケーションが可能
問題点
 映像が暗い
 非対称の共有環境
 作業結果の保存ができない
Human-Computer Interaction
11
ClearBoard2


共有情報を電子化(TeamPain)して表示
映像品質の向上
Human-Computer Interaction
12
TeamRoom


ミーティングルームの電子化
共同作業環境をティームルームのメタファで電
子化
Human-Computer Interaction
13
非対称型テレイグジスタンス


テレイグジスタンススレーブと人間の協調作業
協調作業を行う人同士が対等ではない.
Human-Computer Interaction
14
対称型テレイグジスタンス


実環境共有型
相手と対等の立場での協調作業が可能
Human-Computer Interaction
15
HMDによる完全没入型の共有

すべてを仮想環境として生成し共有する
Human-Computer Interaction
16
光学式STHMDによる共有



現実の環境も共有する必要
Augmented Reality 的な使用が可能
現実環境と仮想環境の合成の問題
Human-Computer Interaction
17
光学式STHMDによる共有

現実の環境に仮想物体を重畳表示
Human-Computer Interaction
18
ビデオSTHMDによる共有環境

実環境もビデオカメラで撮影して合成する
Human-Computer Interaction
19
現実環境と仮想環境の電子的合成

実環境と仮想環境の融合が可能
実環境
処理
仮想環境
生成
合成
Human-Computer Interaction
20
大型スクリーンを用いた共有

実環境(ユーザのいる環境)と仮想環境(通信対
地)を利用
Human-Computer Interaction
21
大型スクリーンによる共有環境
Human-Computer Interaction
22
作業空間の分類
参照対象共有空間
公開個人空間
個人空間
Human-Computer Interaction
操作対象共有空間
23
仮想環境を用いた協調作業の適応分野








工業デザイン
専門家とエンドユーザの意思伝達ツール
医療
手術計画の策定/シミュレーションなど
各種教育/訓練
体験学習/極限状態の訓練
遠隔指示/教示
アミューズメント
Human-Computer Interaction
24
仮想環境の技術的課題

仮想環境構築技術
環境モデルの作成・獲得に関するもの
構成要素間の関係記述に関するもの

仮想環境表示技術
リアルタイムCG・音場生成・触覚力覚生成

仮想環境管理技術
実時間シミュレーション・干渉判定
Human-Computer Interaction
25
協調作業環境の技術課題

共有仮想環境データの更新・管理方法
同期制御・直列化

分散端末間の通信方法
信頼性とスループットのバランス

現実環境と仮想環境の融合方法
実物体と仮想物体のインタラクション

協調作業のデザイン
Human-Computer Interaction
26
協調作業のデザインの課題


アウェアネスの利用 相手の視線を感じる
シームレスな空間構成
モードのない空間 距離を感じさせない

現実空間とのギャップをなくす
自然なインタラクション
利用者の知覚能力の有効利用

VRの目的別使い分け
実環境の有効利用
仮想かする必要の無いものはそのまま利用する
Human-Computer Interaction
27
NPSNET



Naval Postgraduate School の戦闘シミュレー
ションシステム
IP Multicast を採用し非同期にデータを更新
異種・多数のホストの接続をサポート
Human-Computer Interaction
28
イリノイ大 EVL



Electronic Visualization
Lab.
Ethernet, FDDI, HIPPI を
混在した分散VR可視化
システム
スパコン CM-5 のシミュ
レーション結果を SGI
マシン + CAVE で観察
Human-Computer Interaction
29
NASA CAS Project

NASA Computational
Aerosciences Project

ギガビット通信による
分散処理により流体力
学の可視化を行う構想
地点Aのデータを地点B
のスパコンで処理し、
地点CのGWSで描画

Human-Computer Interaction
30
データ管理手法
Human-Computer Interaction
31
データ管理手法


デバイスデータ管理
共有データ管理
Human-Computer Interaction
32
デバイスデータ管理(1)



単純な直列モデル
デバイスの応答までアプリケーションは待機
非常にパフォーマンスが悪い
アプリケーション
送信要求
待機
データ返送
デバイス
Human-Computer Interaction
33
デバイスデータ管理(2)




Throw & Catch
デバイスの応答まで別の処理を行う
待ち時間を最小にするには正確な各処理時間が必要
デバイス数が増えると急激に複雑になる
アプリケーション
送信要求
別処理
データ返送
デバイス
Human-Computer Interaction
34
デバイスデータ管理(3)



サーバ・クライアン
トモデル
共有メモリを介した
非同期入出力による
高速なレスポンス
さらなる改善には描
画切り替え時刻に応
じた予測が有効
アプリケーション
共有メモリ
デバイスドライバ
入出力装置
Human-Computer Interaction
35
共有データ管理

対等分散型
• ユニキャスト・ブロードキャストによる完全同期型
(ハートビート)
• マルチキャストによる非同期更新型

サーバクライアント型
• 一極集中型
• データ分散型(ゾーン制御)
Human-Computer Interaction
36
共有データ管理:対等分散型


ホストは各自データベースを保持
1ホストの更新は全ホストに送信
Human-Computer Interaction
37
共有データ管理:対等分散型
ユニキャストによる手法






各ホストは完全に同一のデータを保持
変更点のみを互いに通信
通信量は比較的少ないが融通性に乏しい
ホスト数とともにパケット数が爆発
スケーラビリティに欠ける
MAGIC
Human-Computer Interaction
38
MAGIC



Multidimensional Application
and Gigabit Internetwork
Consortium
ATM通信による広域
ネットワークで地理
データの3次元可視
化を行うプロジェクト
バックボーン 2.4Gbps、
アクセス 622Mbps
Human-Computer Interaction
39
共有データ管理:対等分散型
マルチキャストによる手法




Reliable Multicast を使用しデータベースの動的
更新をサポート
信頼性と一貫性のための通信コストが大
スケーラビリティに欠ける
DIVE
Human-Computer Interaction
40
DIVE


Distributed Interactive Virtual Environment
Reliable
Multicast
Protocol
によりデータ
ベースの動的
更新を支援
Human-Computer Interaction
41
共有データ管理:対等分散型
ブロードキャストによる手法




データの洪水が起こる
ルーティングループの回避が困難
不要なデータのチェックのために OS レベルで
処理が低速化する
SIMNET, DIS
Human-Computer Interaction
42
SIMNET




80年代後半にDARPA (Defense Advanced
Research Projects Agency) と米軍が共同開発
した大規模ネットワーク戦闘訓練システム
イベントスケジューラが存在しない
各ホストは自立的に自分のデータベースを管理
し、変更点のみを通信しあう
Dead-reckoning が使用されている
Human-Computer Interaction
43
DIS Protocol




国防省や企業が共同で開発した大規模共有仮想
環境の標準化プロトコル
SIMNET の要素を多く取り入れている
軍用アプリケーションでは標準
1994年に DARPA が IP Multicast をサポートし
てからは DIS も ATM による IP Multicast をサ
ポート
Human-Computer Interaction
44
共有データ管理:サーバ型


サーバが各ホストのデータを中継
1ホストの更新はサーバのみに送信
Human-Computer Interaction
45
共有データ管理:サーバ型 一極集中型




中央のサーバのみがオリジナルのデータベース
を保持し各ホストとやりとり
イベントが直列化され一貫性は保ちやすい
サーバが通信のボトルネックとなる
臨場感通信会議(VISTEL)
Human-Computer Interaction
46
臨場感通信会議システム



ATR通信システ
ム研究所で研究
サーバーで仮想環
境のデータを管理
しユニキャストで
変更を通知
10Mbps Ether と
INS1500で通信
Human-Computer Interaction
47
共有データ管理:サーバ型 データ分散型




データベースをホスト間で分割しサーバがこれ
を仲介
大規模データの可視化に適す
• ゾーン制御
やはりサーバがボトルネックになる
• 多重サーバにより解決
MASSIVE
Human-Computer Interaction
48
MASSIVE



Model, Architecture, and System for Spatial
Interaction in Virtual Environments
ホスト間で
データを分割
空間分割の手法に
「オーラ」の概念
を導入
Human-Computer Interaction
49
共有仮想環境の実装例

臨場感通信会議システム(ATR通信システム研究所)
• 集中型サーバー管理のデータ管理
• データベースの更新を必要としないループは局所的
(ローカルサイト)で処理し,レスポンスを確保
• TCP/IPを利用
• 3地点接続の実験
 VLEGOⅡシステム(奈良先端科学技術大学院大学)
• 対等分散型のデータ管理(LAN向き)
• TCP/IPを利用
• 両手が利用でき緊密な協調作業が可能(対象の操作
が排他処理だけでない)
Human-Computer Interaction
50
臨場感通信会議システム

3地点実験の例
Human-Computer Interaction
51
VLEGOⅡの実行例
Human-Computer Interaction
52
離散的配置制約

作業状態により仮想物体操作の自由度を変更
六自由度
制約つき四自由度
制約つき自由度により、正確な操作を支援

Human-Computer
Interaction
53
独立作業状態と協調作業状態

両手あるいは二人の利用者が把持する物体間の
距離に応じて作業状態を動的に遷移
near
far
C-1.
S-1.
独立モード
アニメーション
Human-Computer Interaction
C-2.
協調モード
54
形状生成のための協調作業例

接合

分断
Human-Computer Interaction
55