遠隔カメラ映像のための 覗き込みインタフェース

I4-07
遠隔カメラ映像のための
覗き込みインタフェース
山口光太, 渡辺義浩, 小室孝, 石川正俊
東京大学大学院情報理工学系研究科
概要
頭部位置を使って遠隔カメラの映像のPan/Tilt/Zoom
(PTZ) を操作するインタフェース
Wide Field of View (FOV) カメラあるいは機械式PTZカメ
ラがあれば、あとは安価な平面ディスプレイとWebカメ
ラで構成可能
ビデオチャットや遠隔会議、あるいはGoogle Street
Viewのような固定視点映像に対して直感的なユーザ入
力を実現
システム構成
計測カメラ
α
(θ, φ )
(X, Y, Z )
映像取得
カメラ
ネットワーク
ディスプレイ
遠隔カメラ
映像データをネットワークに流すカメラ。広い視
野角を持っていることが条件である。構成方法
は二種類:
-機械式Pan/Tilt/Zoom (PTZ)カメラ
-Wide Field of View (Wide FOV) カメラ
ディスプレイ
ごく一般的な平面ディスプレイを用いる。広視野
角映像の提示には他に没入型ディスプレイ[1]
などがあるが、我々のシステムは安価なディス
プレイハードウェアでの構成が可能
計測カメラ
顔の三次元位置 (X, Y, Z) を計測するための透
視投影カメラ。正確な計測にはステレオカメラ
などの三次元計測機器が必要となるが、弱中
心射影モデルを使い、顔の大きさを仮定する
ことで、単眼でも近似的に三次元位置を計測
可能。これによりWebカメラなど安価なカメラを
利用可
K
Z f
h
画像面
h
f
物体面
O
K
Z
遠隔カメラ
Wide FOVカメラ
PTZカメラ
ビデオチャットや遠隔会議など通信・表示
に機能性が要求される応用向け
ネ
ッ
ト
ワ
ー
ク
監視カメラなど単一の使用者のための応
用向け
ネ
ッ
ト
ワ
ー
ク
Renderer
低レイテンシ
Controller
高解像度
PTZ操作は全てユーザ側で処理できるため、操
作レイテンシが小さい
一対多通信
より狭い範囲の光線をサンプリングするため解
像度が高めやすい
低計算負荷
通信が一方向で済むので、一対多数のブロー
ドキャストが可能
双方向通信への拡張
レンダリングのような重い処理が入らないため
計算負荷が小さい
低通信負荷
視界から相手が消えないので、計測用カメラと
映像取得カメラを兼ねて双方向通信ができる。
ただし透視投影以外での顔位置計測アルゴリ
ズムを構築する必要
必要な映像のみを送るため通信負荷が小さい。
Wide FOVでは表示しない範囲の映像も送る必
要あり
操作の対応付け
三次元位置(X, Y, Z )で操作する対象はカメラ
の透視投影パラメータ (θ, φ, α )であり、遠隔ロ
ボットの操作[2]などとは対応付けが異なる。対
応付け方法は任意のものが設計可能であるが、
例えば次のような対応付けをすることでユーザ
は直感的に操作できると考えられる。ユーザビ
リティ評価は今後の課題
α
near
far

2
Z
0
Zoom
Pan/Tilt
顔の中心からディスプレイの中心を結ぶ直線が
光軸となるように制御。ただし、近似的にディス
プレイ中心を計測カメラ中心で置き換え可能
X Y
  arctan
Z
Y
  arctan
X
2
2
顔を近づけるほどズームが拡大、つまり顔を近づ
けるほど映像取得カメラの透視投影の視野角を
狭くする。人間の眼はズーム機能を持っておらず、
人間は代わりに近寄って対象を見る。我々はこの
動作を参考に顔を近付ける動作をズームと対応
付けた
X Y  Z
Z
  arctan
 arctan
K
K
2
2
2
システムの試作
Wide FOVカメラとして魚眼カメラを用いたシステムを構築、実装内容や操作感を評価
魚眼カメラによる取得映像
広視野角映像からの透視投影像のレンダリング
動作画面
•ユーザ環境: Intel Core 2 Duo 2GHz搭載ラップトップPC, TCP/IPネットワーク越しに映像受信
•遠隔カメラ: fθレンズ搭載の魚眼カメラ, 取得映像を圧縮してストリーミング
•顔位置計測: Haar-like特徴を用いた顔検出[3] + カルマンフィルタ
動作速度
1280x960px, 最大15/2fpsの魚眼カメラ映像
をストリーミング受信しながら計測カメラか
ら得た160x120pxで最大30Hz以上で顔位置
計測可能
結論と今後の課題
遠隔カメラ映像のPan/Tilt/Zoomを顔位置で操
作するインタフェースを提案
魚眼カメラを用いた試作システムにより一般
的なラップトップPCでリアルタイム動作可能な
ことを確認
操作感
応答速度は良好だが、顔検出の失敗により
時々操作中断
計測カメラの視野角によって閲覧可能な視野
範囲が制限。しかし狭い範囲で広い視野す
べてを閲覧できるようにすると映像酔いしや
すく操作性が低下
ユーザビリティの評価: どういった操作の対応
付けが使いやすいと感じるのか
透視投影でないモデルにおける顔位置計測ア
ルゴリズムの開発と、それを用いた双方向パノ
ラミックビデオチャット
参考文献
[1]
[2]
[3]
C. Cruz-Neira, et al., “Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE,” Proc.
ACM SIGGRAPH, pp. 135-142, 1993.
J.J. Heuring and D. W. Murray, “Visual head tracking and slaving for visual telepresence,” Proc. Robotics and Automation, 1996.
P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. Computer Vision and Pattern
Recognition, 2001.