I4-07 遠隔カメラ映像のための覗き込みインタフェース山口光太, 渡辺義浩, 小室孝, 石川正俊東京大学大学院情報理工学系研究科概要頭部位置を使って遠隔カメラの映像のPan/Tilt/Zoom (PTZ) を操作するインタフェース Wide Field of View (FOV) カメラあるいは機械式PTZカメラがあれば、あとは安価な平面ディスプレイとWebカメラで構成可能ビデオチャットや遠隔会議、あるいはGoogle Street Viewのような固定視点映像に対して直感的なユーザ入力を実現システム構成計測カメラ α (θ, φ ) (X, Y, Z ) 映像取得カメラネットワークディスプレイ遠隔カメラ映像データをネットワークに流すカメラ。広い視野角を持っていることが条件である。構成方法は二種類：－機械式Pan/Tilt/Zoom (PTZ)カメラ－Wide Field of View (Wide FOV) カメラディスプレイごく一般的な平面ディスプレイを用いる。広視野角映像の提示には他に没入型ディスプレイ[1] などがあるが、我々のシステムは安価なディスプレイハードウェアでの構成が可能計測カメラ顔の三次元位置 (X, Y, Z) を計測するための透視投影カメラ。正確な計測にはステレオカメラなどの三次元計測機器が必要となるが、弱中心射影モデルを使い、顔の大きさを仮定することで、単眼でも近似的に三次元位置を計測可能。これによりWebカメラなど安価なカメラを利用可 K Z f h 画像面 h f 物体面 O K Z 遠隔カメラ Wide FOVカメラ PTZカメラビデオチャットや遠隔会議など通信・表示に機能性が要求される応用向けネットワーク監視カメラなど単一の使用者のための応用向けネットワーク Renderer 低レイテンシ Controller 高解像度 PTZ操作は全てユーザ側で処理できるため、操作レイテンシが小さい一対多通信より狭い範囲の光線をサンプリングするため解像度が高めやすい低計算負荷通信が一方向で済むので、一対多数のブロードキャストが可能双方向通信への拡張レンダリングのような重い処理が入らないため計算負荷が小さい低通信負荷視界から相手が消えないので、計測用カメラと映像取得カメラを兼ねて双方向通信ができる。ただし透視投影以外での顔位置計測アルゴリズムを構築する必要必要な映像のみを送るため通信負荷が小さい。 Wide FOVでは表示しない範囲の映像も送る必要あり操作の対応付け三次元位置(X, Y, Z )で操作する対象はカメラの透視投影パラメータ (θ, φ, α )であり、遠隔ロボットの操作[2]などとは対応付けが異なる。対応付け方法は任意のものが設計可能であるが、例えば次のような対応付けをすることでユーザは直感的に操作できると考えられる。ユーザビリティ評価は今後の課題 α near far  2 Z 0 Zoom Pan/Tilt 顔の中心からディスプレイの中心を結ぶ直線が光軸となるように制御。ただし、近似的にディスプレイ中心を計測カメラ中心で置き換え可能 X Y   arctan Z Y   arctan X 2 2 顔を近づけるほどズームが拡大、つまり顔を近づけるほど映像取得カメラの透視投影の視野角を狭くする。人間の眼はズーム機能を持っておらず、人間は代わりに近寄って対象を見る。我々はこの動作を参考に顔を近付ける動作をズームと対応付けた X Y  Z Z   arctan  arctan K K 2 2 2 システムの試作 Wide FOVカメラとして魚眼カメラを用いたシステムを構築、実装内容や操作感を評価魚眼カメラによる取得映像広視野角映像からの透視投影像のレンダリング動作画面 •ユーザ環境: Intel Core 2 Duo 2GHz搭載ラップトップPC, TCP/IPネットワーク越しに映像受信 •遠隔カメラ: fθレンズ搭載の魚眼カメラ, 取得映像を圧縮してストリーミング •顔位置計測: Haar-like特徴を用いた顔検出[3] + カルマンフィルタ動作速度 1280x960px, 最大15/2fpsの魚眼カメラ映像をストリーミング受信しながら計測カメラから得た160x120pxで最大30Hz以上で顔位置計測可能結論と今後の課題遠隔カメラ映像のPan/Tilt/Zoomを顔位置で操作するインタフェースを提案魚眼カメラを用いた試作システムにより一般的なラップトップPCでリアルタイム動作可能なことを確認操作感応答速度は良好だが、顔検出の失敗により時々操作中断計測カメラの視野角によって閲覧可能な視野範囲が制限。しかし狭い範囲で広い視野すべてを閲覧できるようにすると映像酔いしやすく操作性が低下ユーザビリティの評価: どういった操作の対応付けが使いやすいと感じるのか透視投影でないモデルにおける顔位置計測アルゴリズムの開発と、それを用いた双方向パノラミックビデオチャット参考文献 [1] [2] [3] C. Cruz-Neira, et al., “Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE,” Proc. ACM SIGGRAPH, pp. 135-142, 1993. J.J. Heuring and D. W. Murray, “Visual head tracking and slaving for visual telepresence,” Proc. Robotics and Automation, 1996. P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. Computer Vision and Pattern Recognition, 2001.