2P2-35-043 遠隔操作系における視覚情報の伝送に関する一考察 A Study on Transmisson of Visual Data in Teleoperation System 正佐野明人 (名工大) 正藤本英雄 (名工大) 今井智彦 (生産情報研) Akihito SANO, Hideo FUJIMOTO and Tomohiko IMAI Nagoya Institute of Technorogy, Nagoya, Aichi Gifu Prefectural Research Institute of Manufactural Information Technology, Gifu Key Words: Networked Robotics, Force/Visual Data, Transmission, Network Load, Synchronization 1 3 はじめに近年，コンピュータネットワーク ( インターネット ) を介した実時間制御の要求が増大している．その際，遠隔地から送られてくる力覚情報や画像情報は，より複雑なタスクを実行するために非常に重要となる．しかし，現在の通信速度およびその利用状況を考えると，膨大な画像データをそのまま送ることは難しいため，適切に情報量を削減して送る必要がある．本稿では，遠隔操作系における視覚情報の伝送に関して議論する． 2 画像データの動的操作本研究では，リモートサイトの CCD カメラで捕えた作業領域の画像に対して，作業内容に応じて重要だと思われるエリアを操作者が指定する．このエリアは，カラートラッキングビジョンを用いて常にトラッキングされている．さらに，このトラッキングエリアの内側と外側で「画質」および「画像更新周期」が指定できるようにする(1) ．注目しているエリア内を高画質・高更新周期とし，これにより作業において重要な部分を鮮明かつ高速に観測する．これに対して，エリア外は注視していないことから，低画質・低更新周期でも問題なく，これにより情報量を低減する．図 1 に提案する画像の圧縮・伝送方式の概略図を示す. 本研究では，画像圧縮方式として JPEG アルゴリズムを採用した．まず，カラートラッキングビジョンから取得した RGB データを YUV データに変換する．次に， MCU(Minimum Coded Unit) を生成するが，その際，間引きのタイプ (Type) を変える．さらに，得られた MCU を DCT(離散コサイン変換) し，量子化，ハフマン符号化の処理を経て圧縮データを得る．量子化過程において，量子化テーブルの値 (Scale) を変える．Type，Scale の値を変えることで画質および画像の圧縮率を制御できる．画像データの伝送方式に関しては，1 フレームの全体画像を分割して，その分割した個々の画像とトラッキングエリア内の画像を交互に送ることにより，エリア内の更新周期を相対的に上げている．なお，遠隔操作をする上でも立体視は非常に重要だと考えている．現在，液晶シャッタメガネ (CrystalEyes2) を使った立体視を採用し，適切な圧縮法についても検討中である．ネットワーク負荷の計測ネットワークロボティクスでは，やはりコンピュータネットワークの状態を把握することが重要である．状態を把握する一指標として，往復の通信遅れ (Round Trip Time:RTT) がある．すなわち，あるパケットがローカルサイトとリモートサイトの間を往復するのにかかる時間である．RTT はルータの処理時間などに依存しており，ネットワーク負荷の影響を受ける．本研究では，RTT に基づくネットワーク負荷の計測方法として，青木ら(2)が開発した NEPRI を利用する．NEPRI は計測用パケットを一定速度で送出して RTT を計測し，それを基に計測用パケット間の相関を求める．具体的な計測原理は次のとおりである．計測用パケットがネットワークのボトルネックを同時に通過しない (キューイングされない) 場合，各パケットは独立した関係となる．しかし，同時に通過する (キューイングされた) 場合，前のパケットが送出されてからでないと後のパケットは送出されないため，必然的に前後のパケット間で相関が現れる．図 2 に計測結果の一例を示す．横軸に i 番目のパケットの RTT を，縦軸に i+1 番目の RTT がとってある．また，図 2(a) および (b) は，計測用パケットの送信速度 (プロービング速度)γ[pps] で分けてある．このとき，送信間隔δ[sec] は 1/γとなる．また，パケットサイズ P は 1448[bytes] とした．図 2(a) では相関が見られないものの，図 2(b) でははっきり相関が見られる．次に，相関が現れることを利用して利用可能帯域幅 µ[bytes/sec] を求める．図 3 にフローチャートを示す．まず，δを設定して計測用パケットを送出し RTT を計測する．次に，∆RTT(=RTTi+1 − RTTi ) の正の割合Φを次式により求める． n−1 Φ= i=1 Di , n−1 Di = 1 0 if RTTi+1 ≧ RTTi otherwise 算出されたΦとあらかじめ相関有 (Φが大きい場合) と認められる場合の閾値Φthとを比較し，Φ≧ Φthであれば利用可能帯域幅µを P/δにより求める．もし，Φ≧ Φthを満たさなければ，δを新たに設定し再度プロービングする．ただし， δは前回計測時のδから閾値に向かう値を順次選択することとした． Fig 1: Block diagram of compression and transmission of visual data 日本機械学会[No.00-2]ロボティクス・メカトロニクス講演会’００講演論文集［2000.5.12∼13,熊本］ 2P2-35-043（１） 400 350 350 300 300 RTTi+1 [msec] RTTi+1 [msec] 400 250 200 150 250 200 150 100 100 50 50 0 0 50 100 150 200 250 300 350 0 400 0 50 100 150 RTT [msec] 200 250 300 350 (a) Load (heavy) 400 (b) Load (light) RTT [msec] i i (a) γ=10pps (δ=100msec) (b) γ=200pps (δ=5msec) Fig 5: Visual information with variable window Fig 2: Correlation between probing packets Table 1: Inside area of high resolution Load Heavy Light start Size (pixels) 64 × 64 128 × 128 Data (bytes) 640 1821 Rate (fps) 1.6 1.4 select send probing packets N トワーク負荷を計測し，負荷に応じて伝送する画像情報量の調整ができることを確認した．ネットワーク負荷状態における画像情報量と画像更新レートの結果を表 1 に示す． th Y =P/ 5 end 情報通信の分野では，メディア同期制御について盛んに研究が行われている．メディア同期制御とは，マルチメディア情報を伝送する際にメディア内あるいはメディア間の時間関係を維持する制御である(3) ．本研究では，ネットワークロボティクスの分野でも，同様の同期問題が存在し，検討していく必要があると考えている．表 2 に各研究分野における同期すべきメディア，同期させる際に主となるメディアおよびその制約を示す．一般的なマルチメディア情報である音声とビデオの同期では，音声を認識させるための時間的制約がビデオのそれより厳しいため，音声が同期させる際の主となる．これに対して，ネットワークロボティクスでは，リモートサイトからの力覚情報と視覚情報を同期させる必要があるが，その際，安定性，操作性を保つために，力覚情報を同期させる際の主とする必要がある．特に，ストアせずにライブの情報を扱う必要があることからいくつかの技術課題を克服しなければならない．今後，ネットワークロボティクスにおけるこの種のメディア間同期制御について検討していく予定である． Positive ratio of ∆RTT Φ [%] Fig 3: Flow chart 100 50 0 0 100 200 Number of probing packets n 300 200 400 150 100 500 50 0 図 4 に Φとγ および計測用パケット数 n の関係を示す．図 4 からわかるように，計測用パケット数を減らしかつ計測精度を上げるように，閾値および計測用パケット数を設定する必要がある．本研究では，それぞれ Φth =0.7， n=101 とした．高画質エリアの制御推定した利用可能帯域幅µを用いて，その時点で適切な高画質エリアの縦横サイズ w[pixels] を次式に従って求める．なお，トラッキングエリアは正方形とした． w= Table 2: Synchronization problem Probing rate γ [pps] Fig 4: Positive ratio of ∆RTT Φ 4 力・視覚の同期問題 µ − 3W 2 α2 F2 , 3α1 F1 w≦W ここで，W は全体画像の縦横サイズ [pixels]，α1 ，α2はそれぞれエリア内とエリア外の圧縮率，F1 ，F2はそれぞれエリア内とエリア外のフレームレート [fps] である． Research Field Popular Multimedia Networked Robotics Synchronization Voice/Video (Stored, Live) Reﬂecting Force/Visual Information (Live) Master Restriction Condition Voice Recognition Reﬂecting Force Stability, Maneuverability 参考文献 (1) 佐野明人，藤本英雄，岡本啓史： “トラッキングエリアを持った画像データの圧縮・伝送”, ロボティクス・メカトロニクス講演会’98 講演論文集 (CD–ROM), 1CV3–2(1),(2), 1998. (2) 青木武司，菊池慎司，高橋英一，岡野哲也，安達基光，勝山恒男： “IP ネットワークの性能測定技術”, 電子情報通信学会技術研究報告 (信学技報, CQ98–32), pp.9–16, October 1998. (3) 中西博幸，田坂修二，石橋豊： “無線 LAN における MPEG ビデオ・音声のメディア同期実験”, 電子情報通信学会論文誌, B-I, Vol.J80-B-I, No.11, pp.886–895, November 1997. 提案した手法を，Windows 98 上に Visual C++を用いて実装し，LAN 上で検証を行った．画像提示の一例を図 5 に示す．ネッ日本機械学会[No.00-2]ロボティクス・メカトロニクス講演会’００講演論文集［2000.5.12∼13,熊本］ 2P2-35-043（２）