ぬいぐるみゅーじっく：画像認識技術による日用品の個別認識を利用した音楽操作インタフェース森悠紀† 五十嵐健夫‡ †‡ 東京大学大学院情報理工学系研究科 ‡科学技術振興機構さきがけ † [email protected] 1. はじめに日用品を利用して，さまざまな操作を実現可能 ‡ [email protected] で，ID タグを必要とすることなく個別認識が可能となる．とする実世界指向のインタフェースは近年注目さ本稿では，外観を損ねてはいけない日用品の例れている研究分野である．増井らの MouseField[1] としてぬいぐるみを取り上げる．提案手法のアプは，RFID タグを付けた CD ジャケットを利用してリケーション例として，ぬいぐるみをステージ上 CD を再生することができる．ところが，RFID タグに置くと，対応するテーマソングが流れ出すシスをあらかじめつけておかなければならない欠点がテム「ぬいぐるみゅーじっく」を開発し，ぬいぐあり，日用品の外観を損なうなどの問題が生じるるみごとの個別認識が可能なことを実験した．場合も多い．コンピュータビジョンの分野では，外界の状況を，センサを利用することで理解する感知覚能力の研究が多くなされてきた．中でも，画像を使って外界を認識する視覚能力は，人間の大脳の最も大きな部分を視覚野が占めることから見ても，最も重要な情報チャネルといえる．また，コンピュータビジョンを用いるために大掛かりなシステムが必要だった昔に比べ，近年では比較的安価にシステムを構築できるようになってきた．たとえば， WEB カメラは安価に手に入れられる視覚情報を入力するデバイスの一つの例といえる．カメラを利 2. 「ぬいぐるみゅーじっく」システム 2.1. システムの概要開発システムは WEB カメラを搭載したステージからなる(図 1)．WEB カメラでステージ上を撮影しておき，ステージにぬいぐるみを乗せたときにあらかじめ登録されたデータの中から，そのぬいぐるみに対応するデータを探し出して，音楽を流すとともに，ぬいぐるみに関わる情報を画面に出力する．開発言語は Visual Basic .NET を利用し，動作テストは Windows XP 上で行った．用したインタラクションには，Freeman らの手のジェスチャーを利用したもの[2]や，Wren らのリアルタイムボディトラッキング[3]などがある．そこで我々は，日用品を利用したインタフェースとして，WEB カメラを用いたインタラクションを提案する．従来では，ID タグなどをつけることで入力デバイスとしていた日用品を，そのまま利用するために，WEB カメラによる画像認識を利用する．たくさんの画像の中から目的の画像を探索図 1. ぬいぐるみゅーじっくシステム 2.2. ぬいぐるみの登録ユーザはまずぬいぐるみをシステムに登録する．する画像パターン認識技術は，画像のヒストグラ登録したいぬいぐるみをステージに置き，登録ボムを解析する技術[4]や，画像圧縮技術を用いて探タンを押すと，WEB カメラで画像を撮影する．そ索する技術[5]などがあり，これらを利用することして，そのぬいぐるみのテーマソング(mp3 や wma Animal Music: A Music Selection Interface using Vision-based Object Recognition, Yuki Mori and Takeo Igarashi, Graduate School of Information Science and Technology, The University of Tokyo, JST PRESTO フォーマットなどの音楽ファイル)へのパスを登録する(図 2)．さらに，ぬいぐるみに関わる情報(名前，誕生日，出身地など)も登録できるようになっている．ぬいぐるみ 1 匹に対して画像ファイルと情報データファイルで構成される．ヒストグラムを用いている． 3. 実験ぬいぐるみ 30 個を用いてテストを行った．テスト内容はまず，ぬいぐるみの登録をする．その後，ランダムにぬいぐるみをステージに乗せて，対応するデータを取得できているかどうかを確認した．認識率は 93.3%で，リアルタイムに画像認識がほぼ正確に行われていることがわかる．図 2. ぬいぐるみの新規登録画面 2.3. 画像探索 4. おわりに本稿は，日用品を利用して，さまざまな操作をこの節では，システムのステージ上に置かれた実現可能とする実世界指向のインタフェースとしぬいぐるみが，登録された中のどのぬいぐるみなて，WEB カメラを用いたインタラクションを提案しのかを探索するためのアルゴリズムを述べる．た．またプロトタイプとして，WEB カメラを用いシステムを立ち上げたときにあらかじめ，背景のて画像探索をし，ぬいぐるみに対応する音楽を流ヒストグラムを計算しておく．WEB カメラから入す「ぬいぐるみゅーじっく」システムを開発し，力される画像のヒストグラムが背景のヒストグラ実験した．コンピュータビジョンの技術を利用すムと変化が起きたときに，「ぬいぐるみが置かれることで，ぬいぐるみに ID タグなどをつけることた」とシステムは認識し，画像探索を開始する．なく，個々のぬいぐるみを認識することができた．画像探索方法は，WEB カメラで撮影している画像今後，画像認識アルゴリズムの改善によりさらな (探索したいぬいぐるみの画像)の RGB ヒストグラる性能の向上が期待できるため，ぬいぐるみ以外ムを計算し，登録されているぬいぐるみの画像のの日用品を用いたインタラクションに関しても検 RGB ヒストグラムと比較する．ぬいぐるみの背景討していく．にはシステムの壁紙が写っているため，背景との切り出しなど行う必要はない．登録されている画像の中で探索画像との評価関数が最小のものを今置かれているぬいぐるみの登録画像として，その画像と対応するデータファイルを取り出す．データファイルに書き込まれている内容から，音楽ファイルの URL をたどって音楽を再生するとともに，ぬいぐるみの情報を表示する(図 3)．ぬいぐるみをステージから下ろしたとき，もしくは明示的に停止ボタンを押したときに音楽は停止する．ぬいぐるみをステージから下ろしたかどうかの判別にも参考文献 [1] Toshiyuki Masui, Kouzi Tsukada, Itiro Siio. MouseField: A Simple and Versatile Input Device for Ubiquitous Computing, UbiComp2004, Springer LNCS3205, pp.319-328, 2004. [2] William T. Freeman, Michal Roth. Orientation Histograms for Hand Gesture Recognition. IEEE Intl. Wkshp. on Automatic Face and Gesture Recognition, Zurich, 1995. [3] Christopher Wren, Ali Azarbayejani, Trevor Darrell, Alex Pentland. Pfinder: Real-Time Tracking of the Human Body. IEEE Transactions on Pattern Analysis and Machine Intelligence. vol 19. no 7. pp 780-785, 1997. [4]川西隆仁, 前田英作, 村瀬洋．色ヒストグラムを用いた実環境物体探索に関する一検討, 電子情報通信学会春期全国大会, 1999 年． [5] Takanori Yokoyama, Toshinori Watanabe, Hisashi Koga. Image Retrieval Exploiting the Similarity of Vectorized Fractal Code Sets, Joint 2nd International Conference on Soft Computing and 5th International Symposium on Advanced Intelligent Systems (SCIS&ISIS 2004), Sep. 図 3. ぬいぐるみを探索した結果 23, 2004.