RGB-D センサを用いたユーザ・インターフェースに関する研究摂南大学 113034 熊取谷成治理工学部電気電子工学科電子光機器研究室 A Study on User Interface using RGB-D Sensor Seiji Kumatoriya Electronic and Optical Systems Lab., Dept. of Electrical and Electronic Engineering, Setsunan Univ. また、図 2 に手の入力画像および出力画像を示す。１．まえがき近年、顔の認識や手のジェスチャー認識など、様々な場 (a) (b) 面で画像の認識・処理が行われている。また、3 次元データを用いた認識・処理が行われる場面も増えてきている。本研究では、RGB-D センサ(注 1)として Kinect(Microsoft 社) を用いて、3 次元のデータを取得・処理し、直感的なユーザ・インターフェースの実装を目指した。具体的には、指先の座標や深度情報を利用し、仮想的なタッチスクリーンを実現する方法を研究した。図 2 手の入力画像(a)と出力画像(b) ２．概要本研究での開発環境を表 1 に示す。表 1 使用機器一覧 RGB-D センサ Kinect for Windows 指先の判定では、図 2(b)のように手の輪郭情報を取得し、それぞれの輪郭の点における角度を求めることで、どの点が鋭角となっているかを判断している。プログラム開発環境 Processing 2.2.1 パソコン CPU:Core i7-3770, 3.40GHz 電卓を用意した。空間をタッチすることで、仮想的な簡易液晶モニタ 27V 型, 1920×1080 画素電卓の使用が可能となっている。図 3 にデモンストレーシ手を振るという動作を認識し、その動作を行ったものをタッチスクリーンのデモンストレーションとして、簡易ョンの様子を示す。手と認識している。手のひらの画像を切り出し、手の傾きの補正や画像のサイズの統一化を行って、指先を認識し易くしている。また、指先は鋭角となっていることを利用して、指先の判定を行っている(先行研究により Kinect を使って指先の細かな動きを判定するのは難しいとされている)。その指先の座標と深度情報を用いて、タッチスクリーンのタッチ判定を行っている。プログラム全体の流れを図 1 に示す。 RGB-D センサからの入力図3 デモンストレーションの様子３．むすび手の抽出と座標の取得本研究では、手の認識から画像の切り出しや補正を行い、指先の判定および、それらからタッチの判定を行うことで手の傾きとサイズの補正仮想的なタッチスクリーンのプログラムを作ることが出来た。今後の課題として、手が特定の傾きのときに輪郭の誤検出が起こるので、これを取り除くようにプログラムを改指先の判定良を図りたい。発表会までに研究を重ね、最新の内容を発表する。タッチ判定図1 プログラム全体の流れ注 1) RGB-D センサ：RGB 画像と深度画像を取得することができるセンサ文献 (1)Gary Bradski 、 Adrian Kaebler 、 ( 訳 : 松田晃一 ) ：詳解 OpenCV(2010 年) (2)中村薫、新里裕教、鷲尾友人：OpenNI 3D センサープログラミング、秀和システム、(2013 年)