Intel RealSense カメラを用いた疑似力触覚体験システム - e

Intel RealSenseカメラを用い
た疑似力触覚体験システム
榎本優樹,深町賢一,青木広宙
(千歳科学技術大学)
目次
1.
2.
3.
4.
5.
背景
目的
提案するシステム
実験と結果
まとめ
目次
1.
2.
3.
4.
5.
背景
目的
提案するシステム
実験と結果
まとめ
疑似力触覚(Pseudo Haptics)
• 錯覚の一種
人間の五感の情報能力
視覚
聴覚
嗅覚
触覚
味覚
• 人間が周囲の情報を取得す
る際,83%は視覚から得て
いる.
21%
%
3%
11%
『産業教育機器システム便
覧』,教育機器編集委員会
編,日科技連出版社,1972
83%
疑似力触覚(Pseudo Haptics)
• 視覚と操作しているモノの不整合によって発生する錯覚
• 整合性を取ろうとして錯覚が生じる
• HCIの分野では情報を伝える手段として検討されている
(以下PHと略)
PHの例
http://www.persistent.org/VisualHapticsWeb.html
渡邊 (2002)
PHの研究
• ヘッドマウントディスプレイやマウスが用いられる
• 仮想物体の柔らかさや硬さの提示 鈴木他(2015)
• 物体の移動量操作による重みの変化 對間他(2014)
• カメラセンサでPHを生起させるのはどうか
• ヘッドマウントディスプレイは高価
• マウスは指先のPHの生起に限定されている
Intel RealSense
• アクティブステレオ方式
による三次元カメラセンサ
• 顔認証・ジェスチャー操作
• SDKが提供されている
RealSenseの現状
• ノートPCに搭載される
• Windows Hello
• 今後普及する可能性が高い
http://www.intel.co.jp/content/www/jp/ja/architecture-and-technology/realsense-devices.html
RealSenseとPH
• 今後より多くのデバイスにRealSenseが搭載されると考えた
• ジェスチャーによるPC操作の実利用化が期待
• ユーザ体験やユーザインタフェースとして
PHの生起が注目される可能性がある
目次
1.
2.
3.
4.
5.
背景
目的
提案するシステム
実験と結果
まとめ
目的
RealSenseを用いてPHを体験するシステムの開発を目指し,
RealSenseを適用したプロトタイプシステムを構築し,システム
によるPH生起に関する基礎的な検討をおこなう
目次
1.
2.
3.
4.
5.
背景
目的
提案するシステム
実験と結果
まとめ
開発環境
OS
マシン
CPU
実装メモリ
IDE
プログラミング言語
フレームワーク
カメラセンサ
Windows 10 Pro 64 bit
NEC VersaPro VC-H
Intel Core i5-4300M CPU @ 2.60GHz
16.0 GB
Visual Studio 2015
C#
.NET Framework 4.5
Intel RealSense F200
PH体験システム
• 画面に向かって手を動かすこと
でカーソルを操作する
• コバルトブルーの領域に比べ,
水色の領域はカーソルの速度が
速い
PH体験システム
(𝑋, 𝑌)
(𝑥, 𝑦)
• カメラセンサが検知した手の座標
が画面に反映される
• 空間での手の座標(X,Y)
↓
カーソルの座標(x,y)
PH体験システム
• 前のフレームの座標からベクトルを求め,
それを加えた値を座標にすることで
見かけ上カーソルの速度が上がるようにした
(𝑋, 𝑌)
𝑎𝑥 > 1.0
𝑎𝑦 > 1.0
(𝑥 + ∆𝑥, 𝑦 + ∆y)
(𝑥, 𝑦)
(𝑥, 𝑦)
(𝑥 + 𝑎𝑥 ∆𝑥, 𝑦 + 𝑎𝑦 ∆y)
フローチャート(一部)
取得したx,y座標
にそれぞれベク
トルを加算する
RealSenseが手
の座標をとる
カーソルの座標
をセットする
x,yベクトルを
求める
セットした座標
を記憶する
デモンストレーション
目次
1.
2.
3.
4.
5.
背景
目的
提案するシステム
実験と結果
まとめ
実験 (1)
• 本システムを用いて,どのような動作がPHを
生起しやすいか調査をおこなった
• 被験者は学部4年生の男性4名(A~D)
• 次に示すタスクをそれぞれおこなわせ,
最後に重みや違和感を感じたか質問した
実験 (1)のタスク
1. カーソルを画面の端から端まで左に動かす
実験 (1)のタスク
2. 色の境界線をまたいで円を描く
実験 (1)のタスク
3. 画面を大きく使い∞の字を描く
実験 (1)の結果
実験(1)の結果
被験者
タスクa
タスクb
タスクc
A
×
○
○
B
×
○
○
C
×
○
○
D
×
×
○
実験(2)
(𝑋, 𝑌)
(𝑥, 𝑦)
• ∞の字を描くタスクにおいてPH生起
の閾値を調査した
• (𝑥 + 𝑎𝑥 ∆𝑥, 𝑦)または(𝑥, 𝑦 + 𝑎𝑦 ∆𝑦)に
おいてPHの閾値を調査する
• 𝑎𝑥 = 𝑎𝑦 = 1.2, 1.4, 1.6, 1.8, 2.0の5段階
(𝑥 + 𝑎𝑥 ∆𝑥, 𝑦 + 𝑎𝑦 ∆y)
𝑎𝑥 > 1.0
𝑎𝑦 > 1.0
実験(2)の結果
PHを感じた閾値
被験者
𝒂𝒙
𝒂𝒚
A
B
C
D
E
1.8
1.2
1.2
1.2
2.0
1.8
1.2
1.4
1.4
目次
1.
2.
3.
4.
5.
背景
目的
提案するシステム
実験と結果
まとめ
まとめ
• RealSenseを用いてPHを体験するシステムの開発を目指し,プ
ロトタイプシステムを構築し,PH生起に関する基礎的な検討を
おこなった
• PH生起に関する実験をおこなった
• PHを生起させる動作を調査する実験
• PH生起の閾値を調査する実験
今後の課題
• 被験者数を増やしPHが生起する動作や閾値の精査をおこなう.
• 手の速度とPHの生起の関係を調査する.
• 被験者によって動かす手の速さが異なっていた
• PHの生起を調査するための機能を検討する