talk - 石橋研究室

力覚フィードバックを用いた
遠隔ロボット制御における
操作性のユーザ体感品質評価
名古屋工業大学大学院工学研究科
鈴木一弥
前田慶博
石橋豊
福嶋慶繁
2015年5月21日(木) 機会振興会館
電子情報通信学会
IN研究会
発表内容








背景と目的
力覚フィードバックを用いた遠隔ロボット
制御システム
遠隔操作
反力の計算方法
反力の適応制御
評価方法
評価結果と結論
今後の課題
2/11
背景
 遠隔手術や遠隔教育など様々な分野で
力覚メディアが使用
 ネットワークを介すことにより，遠隔で行う
作業の効率や精度が改善の期待
ネットワーク遅延ユーザ体感品質
QoS(Quality of Service)保証
やその揺らぎ (QoE： Quality of
のないネットワークを介し
Experience)
てメディアを伝送
の劣化
目的（1/4）
*1 嶋田他,計測自動制御学会論文集,
vol. 40, no. 2, pp. 155-163, Feb. 2004.
従来研究1
マスタ端末で触覚インタフェース装置を操作し，
スレーブ端末の環境をモデルとした仮想環境下
において文字を書く作業*1
 マスタ端末は，その環境において，反力の計算を行い，
それに基づいた位置情報をスレーブ端末の産業用ロボットに
送信して，ロボットを動かす
スレーブ端末からの反力は返されておらず，
必ずしも正確な反力を感じているとは言えない
目的（2/4）
*2 T.
Horie et al., ISATP, pp. 128-135, May 20
従来研究2
マスタ端末で触覚インタフェース装置を操作し，
スレーブ端末の産業用ロボットからの力と
スレーブ端末の環境をモデル化した仮想環境
によって，マスタ端末で出力する反力を生成*2
スレーブ端末からの反力の情報を使用しているが，
ネットワーク遅延の影響については未調査
目的（3/4）
前田他, 信学技報, CQ2014-96, Jan. 2015.
*4 藤本他, 信学論(B), vol. J87-B, Apr. 2004.
*3
従来研究3
力覚フィードバックを用いた遠隔ロボット制御
システムを扱い，ネットワーク遅延が作業効率
に及ぼす影響を評価*3
ネットワーク遅延の増加に伴い，平均作業時間が増加
原因：反力が大きくなり，作業が困難となる
 操作性などのユーザ体感品質(QoE)についての調査は不十分
 ネットワーク遅延の増加に伴い作業が困難となる問題を
解決する必要性
ネットワーク遅延に応じて弾性係数を動的に変更して
反力の大きさを一定に維持する制御(反力の適応制御)*4
を適用
目的（4/4）
本研究
 力覚フィードバックを用いた遠隔ロボット制御
システムに対して，ネットワーク遅延が操作性
に及ぼす影響をQoE評価によって調査
 反力の適応制御を適用し，その効果をQoE評価
力覚フィードバックを用いた
遠隔ロボット制御システム
スレーブ端末
産業用ロボット
マスタ端末
力覚インタフェースユニット
力覚センサ
触覚インタフェース装置
制御用PC
産業用ロボット
制御用PC
スイッチングハブ
産業用ロボット
産業用
ロボットアームコントローラ
ビデオ用PC
WEBカメラ
ネットワーク
触覚インタフェース
装置
スイッチングハブ
ビデオ用PC
産業用ロボットの外観
産業用
ロボットアーム
力覚センサ
金属棒
台
穴
遠隔操作（1/3）力覚情報の送受信⇒ 1ms周期
スレーブ端末
産業用ロボット
マスタ端末
力覚インタフェースユニット
力覚センサ
触覚インタフェース装置
制御用PC
産業用ロボット
制御用PC
スイッチングハブ
産業用ロボット
産業用
ロボットアームコントローラ
ビデオ用PC
ネットワーク
触覚インタフェース
装置
スイッチングハブ
ビデオ用PC
WEBカメラ
 位置情報と力情報の受信と指令値の送信⇒ 3.5ms周期
 産業用ロボットの位置情報と力覚センサの情報を受信
 マスタ端末から受信した触覚インタフェース装置の最新の位置
情報に基づく指令値を産業ロボットに送信
遠隔操作（2/3）
産業用ロボットの移動速度があまりにも早くならないように
移動量を制限（不安定現象を避けるため）
産業用ロボットの最大移動速度𝑉max = 5mm/s
時刻t(t > 0)における産業用ロボットの位置ベクトル𝑺𝑡
𝑺𝑡 =
𝑴𝑡,
𝑉max
𝑴𝑡 ,
𝑴𝑡
( 𝑴𝑡 − 𝑴𝑡−1 ≤ 𝑉max )
(𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒)
𝑴𝑡 : マスタ端末から受信する
触覚インタフェース装置の位置ベクトル
遠隔操作（3/3）
 産業用ロボットでは，外力に応じて目的位置を補正する
スティフネス制御を使用
スティフネス制御
力覚センサで取得した外力と
弾性係数から逆算し，目標位置を補正
力覚座標系
バネのように柔らかく制御すること
で，外力に応じて自由に動作可能
 ロボットをバネのように柔らかく制御する制御モード
 外力が加わると，外力を逃がそうとする方向にロボットが
自動的に動作
マスタ端末における反力の計算方法
スレーブ端末で取得された力の大きさが閾値𝐹th を超えた場合，
その大きさを変更し触覚インタフェース装置に出力
𝐹th = 0.5N
触覚インタフェース装置に出力する力𝐹
𝐾s = 0.1N/mm
𝐾d = 0.1Nms/mm
𝐾scale (𝑭sensor − 𝑭sensor 𝐹th ),
( 𝑭sensor > 𝐹th )
𝑭=
𝐾s 𝑺𝑡 − 𝑴𝑡 + 𝐾d (𝑺𝑡 − 𝑺𝑡−1 − 𝑴𝑡 − 𝑴𝑡−1 ),
(𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒)
𝐾s : 弾性係数
𝑴𝑡 : マスタ端末の位置ベクトル
𝐾d : 粘性係数
𝑺𝑡 : スレーブ端末の位置ベクトル
𝑭sensor : スレーブ端末で取得された力
𝑭sensor : 𝑭sensor の単位ベクトル
𝐾scale : マッピングによって反力の大きさを変更する係数
反力の適応制御
*5
松永他, 総合大会, Mar. 2012.
• マスタ端末において，往復ネットワーク遅延によって
𝐾sの値を変えることで反力の大きさを変更する
Ksの計算式
𝐾s = 9/(∆𝑇𝑛 + 90)
(0.03 ≤ 𝐾s ≤ 0.10)
∆𝑇𝑛 : 往復ネットワーク遅延を平滑化した値
∆𝑇𝑛 の計算式
∆𝑇𝑛 =
∆𝑡𝑛
𝑛=1
0.9 ∙ ∆𝑇𝑛 + 0.1 ∙ ∆𝑡𝑛 (𝑛 ≥ 2)
∆𝑡𝑛 : n番目（n=1,2,・・・）の周期で測定された
往復ネットワーク遅延
映像の表示例
右の穴のみを使用
右の穴: 直径10mm
左の穴: 直径11mm
フレームレート: 23fps
解像度: 640 × 480 ピクセル
符号化方式: Motion JPEG
平均ビットレート: 4.5Mbps
作業空間と反力のマッピング
*3
前田他, 信学技報, CQ2014-96, Jan. 2015.
 触覚インタフェース装置制御用PCにおいて，マスタ端末の
触覚インタフェース装置とスレーブ端末の産業用ロボット
との作業空間のマッピングを変更することが可能*3
 作業空間のマッピングに合わせて，触覚インタフェース装置に
出力される反力の倍率も同様に変更
作業空間
(Robot : Geomagic)
1:5
反力
(Robot : Geomagic)
4 : 1 (0.25)
𝐾scale
Robot: 産業用ロボット
Geomagic: 触覚インタフェース装置
評価方法(1/2)
 産業用ロボットアームに取り付けられた金属棒を穴に入れる
作業
 初期位置は穴より高さ30mm，穴の中心より30mmの距離
ランダムに選ばれた三つの位置
 固定遅延を変更し，主観および客観評価を実施
 固定遅延は0msから200msまでを25msもしくは50ms間隔で
付加
 適応制御の有無と固定遅延の組み合わせを無作為な順序で
提示（全体の試行回数は14回）
 一人当たりの総作業時間は休憩を含めて約40分
 被験者は21歳から28歳までの男女15名
5段階妨害尺度
評価方法(2/2)
評点
評価基準
５
劣化が感じられない
４
劣化が感じられるが気にならない
主観評価
３
劣化が気になるが邪魔にならない
２
劣化が邪魔になる
 評価尺度:
１
劣化が非常に邪魔になる
• 触覚インタフェース装置の操作性
 評点を平均してMOS (Mean Opinion Score) を算出
客観評価
 評価尺度:



作業終了までの時間（作業時間）
産業用ロボットが受ける力の平均と最大の力の平均
触覚インタフェース装置の平均反力と最大反力の平均
評価結果(1/6)
 触覚インタフェース装置の操作性のMOS
5
95%信頼区間
MOS
4
3
適応制御あり
2
適応制御なし
1
0
25
50
75
100 125
固定遅延[ms]
150
175
200
評価結果(2/6)
 平均作業時間
適応制御あり
適応制御なし
平均作業時間[s]
40
35
95%信頼区間
30
25
20
15
10
0
25
50
75
100
125
固定遅延[ms]
150
175
200
評価結果(3/6)
 産業用ロボットが受ける力の平均
適応制御あり
適応制御なし
力の平均[N]
0.35
95%信頼区間
0.30
0.25
0.20
0.15
0
25
50
75
100 125
固定遅延[ms]
150
175
200
評価結果(4/6)
力の最大の平均[N]
 産業用ロボットが受ける最大の力の平均
16
適応制御あり
14
適応制御なし
95%信頼区間
12
10
8
6
4
0
25
50
75
100 125
固定遅延[ms]
150
175
200
評価結果(5/6)
 触覚インタフェース装置の平均反力
1.0
95%信頼区間
平均反力[N]
0.8
0.6
適応制御あり
適応制御なし
0.4
0.2
0.0
0
25
50
75 100 125
固定遅延[ms]
150
175
200
評価結果(6/6)
 触覚インタフェース装置の最大反力の平均
最大反力の平均[N]
3.5
95%信頼区間
3.0
2.5
適応制御あり
適応制御なし
2.0
1.5
0
25
50
75
100
125
固定遅延[ms]
150
175
200
結論
 力覚センサが付与された産業用ロボットを触覚イン
タフェース装置によって遠隔制御するシステムに対
し，ネットワーク遅延が操作性に及ぼす影響を調査
 反力の適応制御を適用し，その効果も調査
 ネットワーク遅延の増加に伴い，触覚インタフェース
装置の操作性が劣化
反力の適応制御により高く維持することが可能
 適応制御を行うことにより，平均作業時間が短縮
今後の課題
ネットワーク遅延揺らぎやパケット欠落
が作業効率に及ぼす影響を調査
別の作業として，文字を書く作業や針の
穴に糸を通す作業などを扱い，安定で高
品質・高精度な遠隔ロボット制御を実現
するための手法を検討
ビデオの代わりに自由視点ビデオを用い
て作業をしやすくし，その作業効率への
効果を調査

Download Report