コンピュータビジョン研究室 インタラクショングループ (島田・白井研)の紹介

コンピュータビジョン研究室
インタラクショングループ
(島田・白井研)の紹介
研究内容
インタラクショングループ(島田・白井研)
z 人を観察し、意図を読み取る機能の研究
z 知能システムのための対話機能の研究
z 能動的に情報を集めるロボットの研究
z 人間と協力して作業する知能システムの研究
コンピュータビジョン,音声対話,ロボット工学など
の基礎技術と応用の研究!
要素技術の先端研究
コンピュータビジョン
ヒューマンインターフェース
•画像センサによる顔検出、人物・表情認識
•人間の身振り、動作の認識
•人間の意図の理解
•音声認識・発話技術を用いた対話生成
情報システムとの
インタラクション
サービスロボットとの
インタラクション
•初心者でもビデオ録画やパソコンやネットワークの
設定ができる対話的操作支援
•実世界における機械と人間の対話的協調作業
•部屋内をウォッチしていて,物の行方やもっていっ
た人を教えてくれる対話的問合せシステム
•言葉で依頼すると、物を探してとってきたり、届け
てくれるロボット
•人間どうしの会話に参加してアクティブに情報提供
してくれる、おしゃべり型パートナーロボット
•対話によって認識の間違いを修正し、学習する
ロボット
対話的知能システムの実現
ジェスチャインターフェース(手話認識)
対話のための顔の発見
部屋内シーン変遷の自動管理システム
音声対話による情報のやりとり
この人です
シーンに起こった
変化を記録
カメラ
シーンを解析・分類
画像データ
いつ誰がここに
物を置いたの?
画像データの
検索結果
ユーザ
物を置いた瞬間の画像を見せる
対話型パーソナルロボットの開発
テレビ操作,ビデオ予
約の受付
目の前の人に合わせ
た情報提供
人にやさしい対話機能
音声認識能力
音声発話、対話能力
人物検知、障害物検知(視覚)
ネットワーク通信、機器制御
対話型パーソナルロボットの開発
サービスロボット
移動・物体の操作
インタラクションによる
人との協調
画像に基づく
物体認識
音声対話
対話に基づく物体の認識
•意味がわからない言
葉,聞き取れなかった
ときは,推測して聞き
返す
•物がみつからなかっ
たときは,ユーザが指
示し易いように質問し
て,絞り込んでいく
•「∼の後ろ」などの情
報で検出の仕方を適
切に変更する