多目的利用が可能な画像出力 RT コンポーネント ユーザーマニュアル 2015 年 10 月 31 日 芝浦工業大学 下山未来， 藤本一真， 安田福啓， 松日楽信人 多目的利用が可能な画像出力 RT コンポーネント 芝浦工業大学 知能機械システム研究室 目次 1. 多目的利用が可能な画像出力 RTC の概要 ........................................ ３ 1.1 はじめに ....................................................................................................................... ３ 1.2 開発環境・動作確認 .................................................................................................. ３ 1.3 多目的利用が可能な画像出力 RTC ...................................................................... ４ 2. システムの概要 ........................................................................................ ５ 2.1 実行コマンド入力 RTC 群 ........................................................................................ ６ 2.2 写真出力 RTC 群 ....................................................................................................... ６ 2.3 追尾カメラ RTC 群 ..................................................................................................... ６ 2.4 画像入出力 RTC ...................................................................................................... ６ 3. システムの使用方法 ................................................................................ ８ 3.1 用意するハードウェア .............................................................................................. ８ 3.2 System Editor を完成させる .................................................................................. ８ 3.3 コンフィギュレーションパラメータを変更する ..................................................... ８ 3.4 Activate する ............................................................................................................. ９ 3.5 写真撮影・写真の出力 ......................................................................................... １０ 参考 ...................................................................................................................................... １１ 2 多目的利用が可能な画像出力 RT コンポーネント 芝浦工業大学 知能機械システム研究室 1. 多目的利用が可能な画像入出力 RTC の概要 1.1 はじめに 現在，カメラを搭載したロボットは非常に多く，点検，防犯やエンタテインメントなど，多くの目 的でカメラのついたロボットが使用されている．その中でカメラ画像の取得，出力は基本的な機 能である．今後，カメラを搭載したロボットが多く進出すると予想されるため，カメラ画像の取得手 段や出力方法を個々のユーザーに合わせた使い方で，容易に実行することが必要不可欠とな る． 我々はこれまでに開発された写真撮影サービスを利用して，画像の多目的利用に対応できる 画像出力 RTC を開発した．写真撮影の動作は音声，ゲームパッド，キーボードによる入力から ユーザーの要求に合わせた方法で実行可能である．画像の取得方法もまたユーザーが選択可 能である．プリンタに出力，表示，LAN 経由で別の PC に送る，共通の通信プロトコルである RSNP を使って，インターネット経由でサーバーに送信することができる．さらに撮影する写真に は場所や時間など任意の文字を印字することもできる． 1.2 開発・動作環境 PC （OS：64bit 版 Windows8），OpenRTM-aist1.1.0，Visual C++ 2010 で開発を行った． ライセンスは修正 BSD である．RSNP を使用する場合は RSi への登録が必要．研究用途でかつ 利用者の責任の下でご使用ください． 構成するハードウェアはこれまでに開発された追尾カメラを使用する．追尾カメラはパンチルト 用の２つのモーターと LRF という測域センサを利用して人を検知し，モーターによってカメラの向 きを変えることで人を追尾できるものである．追尾カメラを図１に示す． （生田目祥吾，石田真一，松日楽信人，”RTM で動作する人追尾可能なカメラモジュールの開 発”，RT ミドルウェアコンテスト 2012，http://www.openrtm.org/openrtm/ja/node/5199） 図 1 追尾カメラ 測域センサ：北陽電機 LRF モーター：マクソンモーター 音声入力はマイクから，キーボード入力は PC のキーボードから動作確認が出来ている． 使用するゲームパッドは以下の写真の Logicool Wireless Gamepad F710 を使用する． 図 2 ゲームパッド 3 多目的利用が可能な画像出力 RT コンポーネント 1.3 芝浦工業大学 知能機械システム研究室 多目的利用が可能な画像入出力 RTC この RTC は，InPort から取得した画像を用いて写真撮影を行う．音声認識などのコマンド入力 を取得し，それに応じて写真撮影，写真の印刷，保存などを行う．細かい使用方法は「3. システ ムの使用方法」に示す． RTC の名称 Shutter_Control InPort 名称 データ型 機能 CameraImage CameraImage カメラ画像の取得 TimerCount TimedLong コマンドの取得 detectresult TimedShort 肌色領域のマスク画像取得 OutPort 名称 データ型 機能 command TimedLong 写真撮影の動作終了コマンドを出力 FileName TimedString 写真の名前を出力 VoiceMessage TimedString 音声をテキストを出力 PrintOrder TimedLong 撮影した写真をプリンタへ出力 RSNPcommand TimedLong 撮影した写真を表示 CameraImageOut CameraImage カメラ画像の出力 コンフィギュレーションパラメータ 名称 意味 Picture_Save_Folder 画像を保存するディレクトリを指定 Shutter_Sound シャッターを切る際に使用するサウンドファイルを指定 Voice_Output 音声出力あり（値 1） Comment 写真に載せる文字を指定（半角英数） date 写真に載せる日にちを指定（半角英数） 画像入出力 RTC の使い方 ① コンフィギュレーションパラメータを用途によって変更する． ② CameraImage にカメラ画像を入力する． ③ TimerCount に用途に従った方法でコマンドを入力する． ④ ｄetectresult に顔検出結果が入力される． ⑤ 出力ポートからデータを出力する． 4 多目的利用が可能な画像出力 RT コンポーネント 芝浦工業大学 知能機械システム研究室 2. システム概要 使用する RT システム構成図を以下図３に示す． １） 実行コマンド入力 RTC 群（赤枠） ２） 出力 RTC 群（青枠） ３） 追尾カメラ RTC 群（黄枠） ４） 多目的利用が可能な画像入出力 RTC（紫枠） これは，これまでに開発された「写真撮影サービス RTC 群」を参考にしている．詳しい内容は以 下の文献に記載してある．１）～３）の RTC 群に今回開発した４）を加えることで，多様な入力，出 力に対応した写真撮影をすることができる． （生田目祥吾，石田真一，松日楽信人，“自動アングル機能を有したロボットカメラ～写真撮影サ ービス RTC 群～”，SI2013 1B4-4， http://www.openrtm.org/openrtm/ja/project/contest2013_1B4-4） ４）画像入出力 RTC 群 ２）出力 RTC 群 ３）追尾カメラ RTC 群 １）実行コマンド入力 RTC 群 図 3 RT システム構成図 5 多目的利用が可能な画像出力 RT コンポーネント 2.1 芝浦工業大学 知能機械システム研究室 実行コマンド入力 RTC 群 以下図４にコマンドを入力する RTC 群を示す．音声，ゲームパッド，キーボード入力はそれぞれ Shutter_Control の TimerCount に入力する．画像入力は CameraImage へ，顔検出は detectresult に入力する．入力は 3 種類のうちのどれからでも可能であるため，用途に合った入力方法で使用 する． 画像入力 キーボード入力 ゲームパッド入力 音声入力 図 4 実行コマンド入力 RTC 群 ここでは，OpenHRI の RTC を利用している．「２．４画像入出力 RTC」の表１で示すような音声テ キストに変更した．また，ゲームパッドには「ゲームパッド RTC（オープンソース）」を使用している． 2.2 出力 RTC 群 図５に示す写真出力 RTC 群は写真の出力先を示す．印刷，表示，送信から選択した方法によ り，それぞれのコンポーネントがはたらく．音声出力は写真撮影の際の誘導音声が出力される． 写真表示は，撮影した写真を任意のコメントや日にちが入った状態で画面に表示する．写真送 信は RSNP を用いて写真をサーバーに表示する．RSNPP_ ImageView 上で表示される画像が bmp 形式であるため，CameraCap でその画面をキャプチャし，RSNP で送信・表示するにあたっ て適当な jpg 形式に変換している． 音声出力 写真表示 写真印刷 写真送信 図 5 出力 RTC 群 6 多目的利用が可能な画像出力 RT コンポーネント 2.3 芝浦工業大学 知能機械システム研究室 追尾カメラ RTC 群 追尾カメラ RTC 群はこれまでに開発された人追尾可能なカメラモジュールを写真撮影サービス に適応させたものである．通常状態では追尾をし，写真撮影実行のコマンドが入力されたら追尾 をその場で停止する．また，写真撮影が終了または写真撮影実行後 10 分間終了のコマンドが 入力されなかった場合，追尾を再開する． 測域センサ入力 モーター制御 モーター 図 6 追尾カメラ RTC 群 ２０１２年発表の「RTM で動作する人追尾可能なカメラモジュール」を使用し，Tracking_ Controller にコマンド認識と，コマンドによって追尾を停止・再開する機能を加えた． （生田目祥吾，石田真一，松日楽信人，”RTM で動作する人追尾可能なカメラモジュールの開 発”，RT ミドルウェアコンテスト 2012，http://www.openrtm.org/openrtm/ja/node/5199） 2.4 画像入出力 RTC 「1.3 多目的利用が可能な画像入出力 RTC」で説明したように，写真撮影サービスを多目的に 利用できるようにした RTC である．音声，ゲームパッド，キーボードでのコマンド入力が可能であ り，印刷，表示，保存による写真の出力が可能である．以下の表が実行される動作と写真撮影の コマンドを表している． 表１． 実行コマンドの入力とその動作 コマンド 0 1 2 3 4 5 6 7 動作 追尾 写真撮影 撮影中止 印刷開始 撮影画像表示 画像送信 挨拶 挨拶 音声 写真撮って もういいや 印刷して 画面に表示して 画像を送信して こんにちは ありがとう 図 7 画像入出力 RTC 7 ゲームパッド START A B X Y LB RB BACK キーボード 0 1 2 3 4 5 6 7 多目的利用が可能な画像出力 RT コンポーネント 芝浦工業大学 知能機械システム研究室 3. システムの使用方法 3.1 用意するハードウェア 例 PC 追尾カメラ マイク スピーカー 図 8 ハードウェアの構成例 入力はマイク，キーボードまたはゲームパッドで行う． 3.2 System Editor を完成させる． 音声，キーボード，ゲームパッドから入力方法を選択し，使用するコンポーネントを立ち上げ る．選択した入力方法の RTC と Shutter_Control，画像出力 RTC を「2.システム概要」で示した図 のように繋ぎ，System Editor の完成とする．追尾カメラを使用しない場合は追尾カメラ RTC 群 を除いたシステムとなる． 3.3 コンフィギュレーションパラメータを変更する． 以下の表２のようにそれぞれのコンポーネントで用途に従ったパラメータに変更する． 表２． コンフィギュレーションパラメータの変更 コンポーネント Shutter_Control Print_Out URG_scan Maxon_motor_A Maxon_motor_B 変更箇所 Picture_Save_Folder Commen data Print_Message Printer_Name comNO PortName usNodeId PortName usNodeId 変更 画像を保存するディレクトリ 写真に載せるコメント 写真に載せる日にち 写真の枠外に載せるコメント プリンタ名 COM ポート番号 （②に記載） USB0 1 USB1 2 ① Maxon_motor の接続順番 NodeId は接続された順に決まるため，モーターは A,B の順に電源に接続，PC に接続す る．接続順番を逆にしてしまった場合は PortName と NodeId をそれぞれ逆の値にすればよ い． 8 多目的利用が可能な画像出力 RT コンポーネント 芝浦工業大学 知能機械システム研究室 ② COM ポート番号の調べ方 まずは「コントロールパネル」から「デバイスマネージャ」を開くと下の図のように出てくる． その中の「ポート(COM と LPT)」を開いて「URG Series USB Device Driver (COM 数字)」とな っているため，その数字を確認する(図は番号 4 の場合)． ※今回の場合は COM4 図 9 デバイスマネージャ 3.4 Activate する． カメラ，ゲームパッド，LRF など使用する機器が PC に接続されているのを確認して，コンポー ネントを Activate し，全て緑色になるのを確認する． FaceDetect は WebCamera を検出できていないと顔検出をし始めないので注意する． 9 多目的利用が可能な画像出力 RT コンポーネント 3.5 芝浦工業大学 知能機械システム研究室 写真撮影・写真の出力 「2.4 画像入出力 RTC」で示した表１に従ってコマンドを入力する．写真撮影を行う場合はコマ ンド１に対応した入力を行う．写真撮影終了後は出力方法を選択し，それに対応したコマンドを 入力する．キーボード入力は ConsoleIn に行う． ① 写真撮影 写真撮影を行う際，FaceDetect の result には以下のように顔検出の様子が見られる． 図 10 顔検出の例 図のように「1 つめの検出器が読み込めていません」と表示される．その際は検出器が保 存されているディレクトリがコンフィギュレーションで設定されているか確認し，再度コンポー ネントを起動し直す．また，カメラに顔が近いと顔検出が上手くできず，写真撮影が行われな いので注意する．WebCamera には写真撮影用の画像が表示される． ② 写真表示 写真撮影終了後，表示のコマンドを入力すると，RSNP_ImageView に撮影した写真とコメ ントが表示される． 日付 コメント 10 多目的利用が可能な画像出力 RT コンポーネント 芝浦工業大学 知能機械システム研究室 ③ 写真送信 写真撮影終了後，送信のコマンドを入力すると，RSNP_Cameraman によって指定したサ ーバーに写真が送信されるようになっている． 参考 OpenCV http://opencv.org/ OpenRTM-aist http://openrtm.org/openrtm/ja/content/openrtm-aist-official-website 追尾カメラ http://www.openrtm.org/openrtm/ja/project/contest2013_1B3-2 OpenHRI http://openrtm.org/openrtm/ja/project/openhri ゲームパッド RTC http://www.openrtm.org/openrtm/en/node/1641 自動アングル機能を有したロボットカメラ http://www.openrtm.org/openrtm/en/node/5459 連絡先： 芝浦工業大学 機械機能工学科 知能機械システム研究室 〒135-8548 東京都江東区豊洲 3-7-5 URL：http://www.sic.shibaura-it.ac.jp/~matsuhir/RTM.html Email:[email protected] 11
© Copyright 2024 ExpyDoc
