IS2-5 AAMによる顔方位を考慮した発話認識駒井祐人，有木康雄，滝口哲也（神戸大）手法の流れ概要研究の目的リップリーディングにおいて、顔が横を向いても、正面で発話したときと同程度の精度で認識したい従来の研究方位ごとの特徴量を学習、方位ごとに認識横顔から正面顔への変換行列を学習顔検出顔特徴点探索モデル生成入力動画結果出力任意の顔方位に対して認識することができない方位正規化認識(HMM) 提案内容 Active Appearance Models（AAM）を用いて、横顔を正面顔に変換することで、任意の横顔に対して、正面顔と同じように発話内容の認識を行う唇特徴抽出 cパラメータ q3 q4 q1 q2 顔方位推定顔方位の正規化特徴量抽出顔方位正規化のための回帰モデル式 Active Appearance Models (AAM) Shape（顔の形状）とTexture（テクスチャ）の変化を低次元のベクトルCで表現したモデル顔方位とパラメータcには相関があり、比例している c  c0  c1 cos  c2 sin  Cパラメータ y  y Qc -40 -30 -20 0.8 0.6 0.4 0.2 0 -10 -0.2 0 -0.4 -0.6 -0.8 10 20 30 40 顔方位顔方位推定様々な顔方位や唇の動きを表現できる回帰式より、入力画像のcが得られたとき、推定角度は  sin      tan  '   cos   AAM の探索 ' 入力画像とモデル画像との誤差が最小となるように計算 1 ' 顔方位の正規化推定した顔方位から残差ベクトルを計算する。 cres  c'c0  c1 cos  c 2 sin   このときのパラメータベクトルcを唇特徴量として用いる新しい角度θに顔方位を変換したいとき c   c0  c1 cos  c2 sin   cres 評価実験顔方位の変換例実験内容顔方位の変換例正面顔での発話を学習し、横顔からの発話を認識する実験条件発話内容：方位：話者：解像度：画像特徴量認識器：右15℃ ATR音素バランス単語 216単語×10セット正面，右15℃，右30℃ 特定話者1名 320×240, 30fps ： cパラメータ+⊿+⊿⊿ ワード型HMM（状態数15, 混合数8）右30℃ 実験結果正面右15℃ 30℃ 方位正規化なし 95.3 4 1 方位正規化あり 95.6 62.3 20.3 方位正規化+次元抽出 94.6 70.1 48.0 方位正規化+次元抽出 +変換誤差学習 94.6 81.0 70.6 まとめＡＡＭによって横顔からの発話を正面顔からの発話に変換することで、顔方位が30℃程度変わっても、比較的認識率が改善することができた今後の課題複数名での実験顔方位のある画像に対するＡＡＭの正確な適用連続音声認識への拡張