UAVの映像取得 - 柴田研究室

2015/10/5
2015年度研究発表中間発表
ヘッドマウントディスプレイを利用した
UAV姿勢制御システム
岩手県立大学ソフトウェア情報学部 4 年
情報環境デザイン学講座
柴田研究室
菊池亮
2015/10/5
2015年度研究発表ゼミ中間発表
1
背景
 無人航空機（UAV: Unmanned Aerial Vehicles）の普及




遠隔操作型ロボットの一種
3次元空間で高い移動性を持つ
小型かつ無線で制御
一般ユーザも容易に入手可能
 UAVの操作は平面移動だけのロボットに比べて複雑で困難




前後・上下・左右・旋回の操作が必要
遠隔のため操縦者による状況判断が困難
UAVとユーザの向いている方向が一致しないときがある
多少の練習が必要
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
2
1
2015/10/5
2015年度研究発表中間発表
関連研究①
 ジェスチャ操作型飛行ロボットによる
身体性の拡張[1]
 UAVを擬似的に身体の一部とする
 手を伸ばすメタファを用いたUAVのジェス
チャ操作
 自分の手を伸ばしているような感覚・幽体
離脱して遠くに飛んでいるような感覚を提
供する
[1]
吉田成朗，鳴海拓志，橋本直，谷川智洋，稲見昌彦，五十嵐健夫，広瀬通孝：ジェスチャ操作型飛行ロボットによる身体性の拡張，インタラ
クション2012論文集，pp.403-408 (2012).
2015/10/5
2015年度研究発表ゼミ中間発表
3
関連研究②
 Flying Head [2]
 ヘッドマウントディスプレイ(HMD)を使用
 歩く・屈むなどの身体動作をUAV制御の入力として採用
 UAVの移動距離を身体感覚から見積もることができる
[2]
Higuchi，K.，Fujii，K．and Rekimoto，J.: Higuchi，K.，Fujii，K．and Rekimoto，J.: Flying Head: A Head-Synchronization
Mechanism for Flying Telepresence, Artificial Reality and Telexistence(ICAT)，2013 23rd International Conference on，pp.28-34
(2013).
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
4
2
2015/10/5
2015年度研究発表中間発表
関連研究③
 仮想平面を利用した飛行ロボット操作システム[3]




[3]
飛行物体に重畳表示した仮想平面を用いた飛行物体の操作手法
仮想平面に飛行物体の移動ルートを描く
ユーザは飛行ロボットとの位置関係を考慮する必要がない
直感的かつ容易に操作ができる
米澤和也，小川剛史：仮想平面を利用した飛行ロボット操作システム，マルチメディア，分散，協調とモバイル(DICOMO2014)シンポジウム，
pp1904-1909 (2014).
2015/10/5
2015年度研究発表ゼミ中間発表
5
問題点
関連研究①
 移動と旋回がそれぞれ独立した動作で同時には行うことができない
 操作画面の奥行き方向を知覚しにくい
 前後方向の操作が困難
関連研究②
 UAVの移動方向が上下左右前後の6方向に限られる
 移動速度が常に一定
 UAVとユーザが向き合うとユーザの指示方向とUAVの移動方向が逆転
関連研究③
 UAVの移動範囲がユーザの周囲環境に依存
 広い範囲での操作を行う際は操作範囲と同様のスペースを用意する必
要あり
 操作者の身長を超えるような高さにUAVを誘導することが困難
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
6
3
2015/10/5
2015年度研究発表中間発表
ヘッドマウントディスプレイ(HMD)
 ゴーグルやヘルメットのような形状をした表示装置
 左右のディスプレイに少しずつ違った映像を表示
 3Dの立体視を表現可能
 装着者の頭の移動に応じて画面を変化
 仮想空間に入っているような視界を提供（没入感）
 バーチャルリアリティの研究と実用化に利用
 通常のディスプレイに比べて省エネルギー
 場所を取らない
[4]
Oculus Rift | Oculus，https://www.oculus.com/en-us/rift，(2015/10/04)
2015/10/5
2015年度研究発表ゼミ中間発表
7
目的と要件
目的
初心者でも簡単に利用できる
ヘッドマウントディスプレイを利用したUAVの制御方法の実現
要件
1. 直感的な操作の実現
2. ユーザが視認できない距離でも制御できること
3. ユーザとUAVの向いている方向が常に同じであること
4. 制御コマンドを並列的に送信できること
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
8
4
2015/10/5
2015年度研究発表中間発表
システム概要
UAVの姿勢制御
 上下前後左右の移動：Smart Deviceの各種センサ
 Smart Deviceを前後左右に傾けることで移動
 通常のコントローラに比べて直感的
 旋回：HMDに搭載されている加速度センサ
 横の首振りを認識
 旋回角度を身体感覚から見積もることができる
映像通信
 UAVに搭載されているカメラの映像をHMDに送信
 リアルタイムに映像を確認可能
 FPV(First Person View)の実現
2015/10/5
9
2015年度研究発表ゼミ中間発表
システム概要図
UAV
制御コマンド
映像
Camera
User
HMD
AP
Terminal
Smart
Device
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
10
5
2015/10/5
2015年度研究発表中間発表
システムアーキテクチャ
Control Message
Video Stream
Terminal
UAV
Receive Stream
Send Stream
Sensor Information
HMD
Viewer
View Handler
Sensor
Smart Device
Command Sender
Up-Down Command
Flight Controll Handler
Sender
Sensor Getter
Sensor Calculator
Checker
Receiver
Command Sender
Turn Command
Right-Left Command
Front-Back Command
2015/10/5
2015年度研究発表ゼミ中間発表
11
モジュール構成
Terminal
 Receive Stream
 UAVからのVideo Streamを取得
 View Handler
 取得した映像をHMD用に加工して出力
 Sensor Getter
 HMDのセンサ情報を取得
 Sensor Calculator
 センサ情報を旋回するための制御コマンドに変換
 Command Sender
 UAVの制御コマンドを送信
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
12
6
2015/10/5
2015年度研究発表中間発表
プロトタイプ構成
 UAV
 Parrot Bebop Drone
 HMD
 Oculus Rift Development Kit 2
 Terminal
 Ubuntu 14.04LTS
 Smart Device
 ASUS Nexus7 (2013)
 Android 4.4.2
2015/10/5
2015年度研究発表ゼミ中間発表
13
評価実験
 制御コマンド入力からのUAVに適応させるまでの時間計測
 遅延時間
 決められたタスク遂行にかかった所要時間の計測
 既存（コントローラのみ）と本システムの操作方法を比較
 ユーザアンケート




使いやすさ
インターフェースの直感性
動作の反応
視点変更の容易さ
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
14
7
2015/10/5
2015年度研究発表中間発表
進捗状況（1/2）
 既存システムの調査
 WindowsでOculus Riftの動作確認
 OculusSDKをインストール
 Show Demo Sceneは動作
 SDKに入っているOculusWorldDemoは動作せず
 仮想環境でUAVの映像取得 → 失敗
 Linuxをインストール
 ARDroneSDK3(Bebop DroneのSDK)をインストール
 SDKのサンプルソースが動かない
◦ バッファの問題？
 デュアルブートでUAVの映像取得 → 成功
 ARDroneSDK3をインストール
 環境構築
 サンプルソースの動作を確認
2015/10/5
2015年度研究発表ゼミ中間発表
15
UAVの映像取得
UAVのVideo Streamを取得
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
16
8
2015/10/5
2015年度研究発表中間発表
進捗状況（2/2）
 LinuxでOculus Riftの動作確認
 SDKのバージョンを下げて確認
◦ 現在のSDK最新版がWindowsしか対応していないため
 HMDの樽型歪み(Barrel distortion)について調査
1. Unity
2. vr.js（NPAPIのため使用できない）
3. WebVR API（ブラウザでVRデバイスを使用できるAPI）
 LinuxでWebVRが動作可能な環境を構築
 Linux版ChromiumのWebVRBuildをインストール
◦ Firefox Nightly WebVR Add-onsはLinux版に非対応
 Oculus Riftのセンサ情報を取得
 樽型歪みは現在実装中
2015/10/5
2015年度研究発表ゼミ中間発表
17
Oculus Riftの動作確認
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ中間発表
18
9
2015/10/5
2015年度研究発表中間発表
OculusWorldDemoの実行
2015/10/5
2015年度研究発表ゼミ中間発表
19
まとめ・今後の予定
 HMDを利用したUAV姿勢制御システムの提案
 直感的操作で初心者でも利用可能
 HMDとUAVに搭載されているカメラでFPVを実現
今後の予定





HMD用樽型表示機能を実装
HMD搭載センサ情報取得機能を実装
旋回機能を実装
システム評価実験
卒業論文執筆
2015/10/5
B4 菊池亮
2015年度研究発表ゼミ #2
20
10

Download Report