FFTを用いた 画像からの周期ジェスチャ認識 中央大学 理工学部 精密機械工学科 教授 梅田 和昇 1 背景 社会問題 家電製品 多機能化・高機能化 高齢化社会 （高齢化率22%[2008年]） 操作が複雑 高齢者向けの機器需要：増 ニーズ わかりやすい操作 利便性の追求 2 新たなヒューマンマシンインタフェースの例 タッチパネル iPhone (Apple) ジェスチャ 音声 加速度センサ サイバーナビ(pioneer) Wii (任天堂) 脳の電気信号 用途に合わせ， 快適・便利な HMIの開発 ジェスチャ操作TV (日立製作所) BMI (慶応義塾大学) 3 本研究のスコープ オフィスやリビングなどの広い空間 における機器操作を想定 ユーザに認知的・身体的負担をかけないHMI •非接触での操作 要件 •位置を拘束されない操作 •理解しやすい簡単な操作 ジェスチャ 4 本技術に先行する我々の技術 手振り検出 知的財産権 • • • • 発明の名称：周期性を有する動きの検出方法および装置 出願番号 ：特願2002-049175 出願人 ：学校法人中央大学 発明者 ：梅田和昇、入江耕太 5 手振り検出 濃淡画像を取得 低解像度化 全画素の濃淡値を取得 全画素の時系列の濃淡変化 に対してFFT 手振りの振動成分を識別 手振りの検出 6 手振り検出 濃淡画像を取得 低解像度化 全画素の濃淡値を取得 全画素の時系列の濃淡変化 に対してFFT 手振りの振動成分を識別 手振りの検出 7 手振り検出 濃淡画像を取得 低解像度化 全画素の濃淡値を取得 全画素の時系列の濃淡変化 に対してFFT 手振りの振動成分を識別 手振りの検出 8 手振り検出 濃淡画像を取得 180 低解像度化 175 全画素の濃淡値を取得 全画素の時系列の濃淡変化 濃淡値 170 165 160 155 150 145 に対してFFT 140 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 フレーム数 手振りの振動成分を識別 手振りの検出 9 手振り検出 600 濃淡画像を取得 G max 500 低解像度化 パワ 400 300 200 全画素の濃淡値を取得 Ave 100 0 1 2 3 全画素の時系列の濃淡変化 手振りの検出 5 6 7 周波数 に対してFFT 手振りの振動成分を識別 4 k max G max ⎛ N −1 nk ⎜ = max ⎜ ∑ I kW N n ⎝ k =1 2 Ave = N ⎞ ⎟⎟ ⎠ N 2 ∑G i =1 i 10 手振り検出 濃淡画像を取得 低解像度化 全画素の濃淡値を取得 全画素の時系列の濃淡変化 に対してFFT 手振りの振動成分を識別 手振りの検出 11 ジェスチャ認識に関する従来手法 ■ジェスチャ認識に関する従来手法 動作領域を予め抽出してから動きの特徴を解析する手法 実用性に欠ける •マーカー装着 環境変化に弱い •背景差分，フレーム間差分 照明変化，個人差に弱い •肌色情報 センサが高価，大型 •距離情報など 動作領域と動きの特徴を同時に抽出する手法 •オプティカルフロー 処理負荷が高い •本研究で提案した「手振り検出」手法 •照明変動，個人差にロバスト •処理負荷が低い •安価なセンサで実現可能 •認識できるのは繰り返し動作の有無のみ 12 新手法の提案 •手振り検出手法の利点を生かした手法を構築する ・照明変動，個人差にロバスト ・処理負荷が低い ・安価なセンサで実現可能 •日常的に使われる単純な“周期性ジェスチャ”を識別する Horizontal Vertical Clockwise Counterclockwise Handclap 13 手法の概要 手振りの認識 時系列の輝度変化に対してFFT スペクトルの特徴から手振りらしさを判定 1画素単位の認識（ミクロな認識） 周期運動の識別 画素間のスペクトルの特徴 動きの特徴 対応づけ 複数画素の情報を用いた認識（マクロな認識） 14 画素間における関係式 ：周期運動領域 画素間の位相 p (A) − p ( C) ≈ π p (D) − p ( F) ≈ π A B C D F G H I p (A ) ≈ p (D) p ( B) ≈ p ( H ) p (C ) ≈ p ( F) p (A) − p ( G) ≈ π p (B) − p ( H) ≈ π A B C D F G H I p ( A ) ≈ p ( B) p ( D ) ≈ p ( F) p (G ) ≈ p ( H ) 15 処理の流れ 濃淡画像を取得 低解像度化 手振り 認識手法 時系列濃淡変化に対してFFT パワースペクトルの特徴から 手振りの振動成分を識別 周期運動領域抽出 手の動作領域抽出 追加処理 抽出領域の位相スペクトル から周期運動の種別を認識 16 手の動作領域抽出 周期運動領域に対する補正処理 周期運動領域 モルフォロジー・ラベリング処理後 補正領域の重心を利用した手の動作領域抽出 X = min (( xmax − xG ), ( xG − x min ) ) Y = min (( y max − y G ), ( y G − y min ) ) 手の動作領域 17 特徴量の抽出 パワースペクトル 8 手の動作領域 Power spectrum 7 6 5 4 3 2 1 0 1 2 3 4 5 6 Max 7 8 9 10 11 12 13 14 15 Frequency 位相スペクトル 4 手の動作領域の各画素に おける位相スペクトルを取得 Phase value[rad] 3 2 1 0 -1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 -2 -3 Frequency 18 周期ジェスチャの識別 手の動作領域内の位相スペクトル差算出 •8点A∼Hから画素間の位相スペクトルの差を12次元算出 Δφ =φi −φj (i , j = A ~ H ) 判別分析による周期ジェスチャ識別 •特徴量：位相スペクトルの差 •識別：マハラノビス距離，SVM 19 新技術の特徴・従来技術との比較 • 単純な繰り返し動作により生成される直感的 なジェスチャの認識により，自然なヒューマン インタフェースを実現 • 照明環境の変動などに強い，安定な認識を実 現 • 各個人ごとに周期ジェスチャを登録することが 可能 20 想定される用途 • 家電製品などの機器の操作 • ロボットとのインタフェース • 高齢者，障がい者の機器操作など福祉用途 21 実用化に向けた課題 • 認識率の向上 • 個人差への対応 • 汎用的な手法であり，用途を絞り切れていない →企業への期待 22 本技術に関する知的財産権 • 発明の名称：周期ジェスチャ識別装置、周期ジェスチャ識別方法、 周期ジェスチャ識別プログラム、及び記録媒体 • 出願番号 ：特願2009-123486 • 出願人 ：学校法人中央大学 • 発明者 ：梅田和昇、入江耕太、高橋真人、寺林賢司 23 お問い合わせ先 中央大学 研究支援室 渡部、加藤 ＴＥＬ ０３−３８１７ − １６０３ ＦＡＸ ０３−３８１７ − １６７７ e-mail [email protected] 24
© Copyright 2024 ExpyDoc
