半球面ディスプレイを用いた移動ロボットの遠隔操縦システム ○齋藤研作町田貴史清川清竹村治雄（大阪大学） A Remote Mobile Robot Control System Using a Hemi-Spherical Display *Kensaku SAITOH, Takashi MACHIDA, Kiyoshi KIYOKAWA and Haruo TAKEMURA（Osaka Univ.） Abstract − In recent years, many studies have been conducted on a mobile robot control system. However, many of those visualize only the camera image from a single viewpoint. So it’s difficult for an operator to grasp remote environment situations around the robot. In this paper, we propose a remote control system using a wide field-of-view hemi-spherical display and a gyromouse. Using this system, an operator can acquire rich information of a remote environment by a variety of sensors mounted on a robot. Key Words: Virtual Reality, Hemi-Spherical Display, Remote Operation, Mobile Robot 1. はじめに近年，災害現場等の情報収集を目的としたロボットの遠隔操縦システムに関する研究が数多く行われている．ロボットを迅速に移動させながら情報収集作業を進めるためには，操縦者が遠隔地の環境情報を効率的に把握できることが重要となる．我々は，操縦作業に有用と考えられる複数視点からの情報を提示するため，ヘッドマウントディスプレイ（HMD）を用いたVirtual Reality（VR）環境没入型の提示手法を提案した[1]．この手法では，全方位カメラからの映像とレンジセンサによって計測した三次元形状を用い，操縦者の頭部の動きによって複数視点からの情報をシームレスに切り替えながら提示することで，環境中にある物体の立体構造の把握を容易にした．しかし一方で，HMDの視野角の狭さや切り替え時の動作による操縦者への負担などの問題があった．複数の情報を提示しかつ操縦者への負担を少なくするためには，高解像度の映像領域を持つ広視野角の表示装置を用いた没入型提示手法が有効であると考えられる．本稿では，表示装置として半球面ディスプレイを用い，全方向の映像と環境の三次元情報を同時に提示することで，映像情報の切り替えに要する操作の負担を軽減し作業効率のよい環境把握を可能とする遠隔操縦システムを提案する． 2. システムの構成提案システムの構成を図1に示す．本システムでは情報収集ロボットとして車輪型移動ロボットを想定する．操縦者の指示によって行う動作は前進・後退・左右旋回等基本的な移動動作のみに限られるものとする．情報収集ロボットにはGPS・姿勢センサ・全方位カメラ・全方位レンジセンサを搭載し，ロボット自身の位置・姿勢情報や周囲環境の全方位映像・全方位形状データを取得する．これらの環境情報はロボットに備え付けた計算機から操縦者側の計算機に送信される．また，操縦システム側では遠隔地の地図などの地理情報を予め取得しておき，ロボット側から受信した環境情報と併せて計算機内で処理した後，半球面ディスプレイの各部に提示する．操縦者はジャイロマウスを用いて提示映像の全方位カメラプロジェクタ平面ミラーレンジセンサ偏光メガネ回転台全方位映像姿勢センサ GPS 全方位形状ジャイロマウス半球面スクリーン移動ロボット位置・姿勢制御命令計算機提示映像無線 LAN 映像操作移動・計測指示計算機ロボット側操縦者側図 1：提案システムの構成操作とロボットへの移動・計測指示を行う．指示はロボット側の計算機に送られ，移動ロボット用の制御命令に変換される．なお，ロボット側と操縦者側のデータ通信には無線LANを用いるものとする． 2.1. 情報取得用機器映像情報の取得には，山澤らの開発した全方位カメラ[2]を使用する．これは鉛直下向きに設置された双曲面ミラーを真下から鉛直上向きに撮像することで，周囲360度の映像を一度に取得することが可能なカメラである．得られた全方位映像からは実時間の変換処理によってパノラマ映像や任意方向の透視投影映像を生成することができる．また，全方位形状データの取得には，レンジセンサと回転台を用いる河合らの手法[3]を採用する．この手法では，180度のラインスキャンが可能なレンジセンサを計測面が鉛直方向になるように回転台上に設置し，360度回転させながら全方位の距離値を取得する．なお，この手法を用いた場合一つの全方位形状データを計測するのに約30秒程度の処理時間を要するため，形状データ取得は離散的な各地点ごとに行うこととする． 2.2. 情報提示用機器実映像及びVR映像を提示するための装置としては従来様々なものが開発されているが，ここでは操縦者に対して広視野の映像提示が可能な半球面ディスプレイCyberDome[4]を用いる．これは直径1.8mの半球面形状のスクリーンにプロジェクタから予め歪み補正された映像を投影することで，人間の通常の視野角をほぼ覆う（水平視野角140度×垂直視野角90 度）情報提示が可能な表示装置である．入力装置としては空中で使用できることや操作の簡便性などから，上下左右への旋回角度によってマウスポインタを操作可能なジャイロマウスを用いることとする．ロボット後方の映像（バックミラー風に表示） 3. 遠隔操縦インタフェース操縦者に対する情報提示は図2のようにそれぞれの情報をディスプレイの各部に表示することで行う．まず，全方位映像から切り出したロボット前方の映像情報を半球面ディスプレイの中央から下よりにリアルスケールで表示する（図2赤枠）．2.1節で述べた全方位カメラの構造特性により下方向の映像領域が多く得られるため，半球面ディスプレイの最下部までを利用した映像提示が行える．また，全方位映像からロボット前方部分を除いた後方や左右方向の映像は，半球面ディスプレイの上方部分にバックミラー風に表示する（図2青枠）．このように半球面ディスプレイの上下2つの領域に全方位映像のマッピングを行うことで，操縦者に対しロボット周囲の全方向の映像情報を提示する．また,実映像以外の情報提示に関しては以下のように処理を行う．まず予め持っている遠隔地の地理情報の上に，GPS・姿勢センサより得られたロボットの現在の位置・姿勢を反映したロボットモデルとこれまでに取得した全方位形状データをそれぞれ配置する．このようにして再構成された遠隔地のVR環境を，ロボット後方斜め上の視点から見下ろした俯瞰図の状態で半球面ディスプレイの前方下方向にミニチュア表示する[5]（図2黄枠）．実際に屋外での実験で取得した実環境の全方位映像と再構成された VR環境の映像の例を図3に示す．図2で示した赤枠・青枠部分の映像は図3左の全方位映像の該当領域から変換したものである．操縦者はジャイロマウスを用いたクリック・ドラッグ等の操作により，以下に述べるような映像に対する操作とロボット操縦作業の両方を行う．映像に対する操作：前方に表示されている映像について，その視線方向を回転させることで全方向の映像を確認できる．また，前方下方向に表示されているVR環境を選択しディスプレイの中央部分に移動させることで拡大表示できる．最大まで拡大するとディスプレイ全体にロボット視点から見たVR環境が表示される．ロボット操縦作業：マウスポインタの上下左右方向への変位によって遠隔地のロボットに前進・後退・左右旋回などの移動指示を送ることができる．また，計測指示を送ることでロボットの現在地点を中心とした全方位形状データの取得を行う． VR環境の俯瞰図（ロボット後方から見下ろした視点）ロボット前方の映像図 2：半球面ディスプレイへの提示情報形状データ地理情報後方映像前方映像ロボットモデル図 3：実映像（左）と VR 映像（右）の例 4. おわりに本稿では，広視野角の半球面ディスプレイとジャイロマウスを用い，操縦者が種々の情報を同時に把握可能な遠隔操縦システムについて述べた．現在，映像・形状データの取得を行う機能や取得したデータの半球面ディスプレイへの投影については実装済みであるが，ジャイロマウスを用いた操作や通信処理などの部分は未実装である．今後は，実際に操縦可能な移動機器を用いた操縦システムを試作し，環境把握と操縦作業の効率性についての評価を行う予定である．参考文献 [1] 齋藤研作, 町田貴史, 清川清, 竹村治雄: 移動ロボットの遠隔操縦のための三次元情報提示システムの提案 , 電子情報通信学会総合大会講演論文集, D-12-128, Mar, 2005. [2] 山澤一誠, 八木康史, 谷内田正彦: 移動ロボットのナビゲーションのための全方位視覚系 HyperOmni Vision の提案 , 電子情報通信学会論文誌, Vol.J79-D-Ⅱ, No.5, pp.698-707, May, 1996. [3] 河合克哉, 中澤篤志, 清川清, 竹村治雄: レーザスキャナと回転台を用いた遠隔地の 3 次元環境伝送システム , 日本バーチャルリアリティ学会第 9 回大会論文集, pp.51-52, Sep, 2004. [4] 柴野伸之, 柏木正徳, 澤田一哉, 竹村治雄: 小型半球面スクリーンを用いた没入型視覚ディスプレイの開発 , 日本バーチャルリアリティ学会第 6 回大会論文集, pp.393-396, Sep, 2001. [5] R. Stoakley, M. J. Conway, and R. Pausch: Virtual Reality on a WIM: Interactive Worlds in Miniature, Proc. of SIGCHI’95, pp.265-272, May, 1995.