2015/09/08 廃止措置研究・人材等強化プログラム富山育成セミナーブルドーザ遠隔操作のための任意視点映像提示システム東京大学大学院工学系研究科精密工学専攻岩滝宗一郎 1 研究背景  建機の遠隔操作への注目  無人化施工 • 原子力発電所事故への対応 • 土石流発生の危険がある場所での作業 • 人間を危険に晒さない • 機体や周りは直接見ることはできない何とかして機体の状態や周りの様子をオペレータがわかるようにする必要がある遠隔操作される建機通信回線オペレータ無人化施工の概要 2 建設機械の特性  ブルドーザ    走行しつつ作業操縦席からは作業部前方が視認不可円滑な作業のためにはブレード内に適度な量の土砂がある必要ブレード（作業部）直接目視不可操縦席から前方オペレータへの機体周囲と作業対象物の状況の提示が不可欠 3 映像による操作補助に関する先行研究  多視点映像[古屋’12] • 現場では多数の映像から状況を把握環境中へのカメラ設置必要多視点映像[古屋’12]  俯瞰映像[高橋’09] ，[佐藤’14] • 機体搭載カメラのみ • 機体上方からの映像を提示 • カメラは機体外側を向いている機体から遠く離れた場所やブレードの状況を提示できない俯瞰映像[佐藤’14] 4 本研究の目的  オペレータに機体周囲の状況及び，作業部の状況を同時に提示することが可能な映像提示手法の構築  作業中の機体をあたかも外側から眺めているような映像 5 提示する対象    周囲の状態（他の機体，障害物）作業部の前方作業部内部の作業対象物（土砂）の量 6 映像提示のコンセプト(1)  周囲の状況を提示  従来から様々な手法 • 周囲の形状を平面や球面で表現     提示映像の模式図これだけでは不十分作業部を統合して提示機体を外部から見ているような映像を生成視点は任意の位置に設定できる周囲環境の提示 7 提案手法のコンセプト(2)   機体の周囲，ブレード上方にカメラ周囲の状況   半球面で表現ブレード内の状況  機体の形状を再現した3次元モデルで表現ブレード，地表土砂ブレード上方カメラ半球面 3DCGモデルへの統合魚眼カメラオペレータへ提示実際の機体 8 周囲映像の提示   機体の側面4箇所に外向きの魚眼カメラを配置得られた映像を3DCGモデル内の半球状メッシュへ表示半球メッシュ魚眼カメラからの映像半球面へのテクスチャマッピング 9 ブレード映像の提示  ブレード上方カメラからの映像を3Dモデルへ投影  3Dモデルは実際の機体形状を表している入力映像 3Dモデル上での表示 10 ブレード映像の提示  透視投影変換ルへ投影を用いてブレード映像を3Dモデ透視投影変換入力映像 3Dモデル上での表示 11 土砂の盛り上がりの表現  円滑な作業には，適度な量の土がブレードに入っている必要あり  ブレードの形状を反映するだけでなく，内部の土の盛り上がりを表現することが必要ブレード内部の土砂の盛り上がりを表現  12 安息角に基づく表示   ブレード内部の土砂の盛り上がりを表現安息角・・・傾斜が一定角度を超えると崩れる土砂前端左右対称ななめらかな曲線 𝑧𝑧軸：鉛直上方土砂傾斜：安息角土砂の盛り上がり表面 𝑦𝑦軸土砂前端ブレード(上から見た図) 𝑥𝑥軸：進行方向 13 映像生成・遠隔操作実験用スケールモデル    実際に映像が提示できるか模型を作成し提案手法を実装遠隔操作により，模擬土砂を押すタスクを試行魚眼カメラブレード上方カメラ作業を行っている様子 14 模型での映像生成ブレード内に物体なしブレード内に物体あり提示映像提示映像実際の状態実際の状態盛り上がりを表示 15 実機へのシステム搭載   スケールモデルと同等のカメラオペレータが搭乗後方魚眼カメラブレード上方カメラ前方魚眼カメラ左方魚眼カメラ（右方魚眼カメラは裏側） 16 提示映像  周囲と作業部を提示 17 結論・今後の予定  結論     機体周囲とブレードの同時提示システムを提案スケールモデルで作業対象物の盛り上がり形状を提示実機に搭載した場合にもブレードと周囲の状況を同時に提示可能今後の展望   環境中に設置したカメラから得られる映像との比較実際の作業を模擬した操作実験による評価 18 ご清聴ありがとうございました 19 周囲映像のみと提案手法の比較周囲映像のみを用いる場合に比べブレード部分を提示できている周囲映像のみ提示提案手法により提示 20 ブレードのCGモデルとカメラ映像  ブレードをカメラで撮影  空間中の点の像 :  が透視投影変換で対応付けられる行列 CGモデル上の任意の点が，画像中のどの点に対応するか求める 21 透視投影変換の求め方   カメラ取り付け時点では不明 3Dモデル上の点と画像中の点の対応が6対以上あれば求めることができる 1対の点から下記の2式が得られる 6対の対応点で12本の方程式連立させての各成分を求める初期化に用いる頂点 22 対応点の与え方  ブレードとカメラの相対位置が変わらないとする  初期化時に手動で対応点を与える映像提示に用いる3Dモデルブレード上方カメラ映像 23