手話班特任助教松尾直志, B4 渡辺果奈手話認識システムの概要手話の特徴抽出学習用手話画像肌色抽出領域抽出認識したい手話画像手話単語1 手話の特徴抽出手話単語2 入力画像から肌色抽出を行い、肌領域を抽出する。肌領域を顔、右手、左手とそれぞれを対応付けする。それぞれの領域から特徴抽出を行う手話の特徴抽出隠蔽開始直前データベース照合肌領域隠蔽時の遡り照合手話単語1 手話単語2 隠蔽の前後での手の形のうち、隠蔽中の状況により合致するものを隠蔽中の手形状として採用する手話認識結果学習抽出した特徴量を用いて画像列をいくつかの状態に分割時間比較隠蔽直前のテンプレート隠蔽直後のテンプレート時間距離情報を用いた顔隠蔽時の手形状変化追跡手を上げる静止手を狭める静止手を戻す隠蔽終了直後隠蔽中色情報のみ使用顔が手で隠されていると、その境界を色情報で見つけるのは難しい。カメラからの距離情報を用いれば、動きの少ない顔の部分を取り除いて手の部分を切り出し、隠蔽中に変化している手形状も抽出できる。距離情報使用状態遷移の確率と各状態での特徴量を求めてデータベースを得る（隠れマルコフモデル）手話データの自動合成さらに認識率の向上を図るために多くの学習データが必要しかし多数のサンプルを得るのは困難･･･既存の複数サンプルの動きや形を入れ替えて認識率を改善するような新たな学習サンプルを合成したい動作状況に応じた適切な入れ替えを自動的に行う合成データによる認識率の改善合成データ認識率追加前と比較合成データ無し動き特徴の合成データ追加手形状特徴の合成データ追加両方の特徴の合成データ追加 71.3% - 76.7% +5.4% 75.3% +4.0% 78.5% +7.2% 形による合成データの作成手が静止している時手の形状が重要そこで手形状データを変更して学習用データを増やすのであれば手の動きが遅い、単語Ｄと同じ手話単語D 静止区間に適用するのが効単語Ｄと同じ動きを持つ単語A 手形状を持つ単語B 新たな合成サンプル果的手が動いている時動きによる合成データの作成手の動きが重要そこで動きのデータを変更して学習用データを増やすのであれば手の動きが早い、手話単語A 運動区間に適用するのが効果的単語Aと同じ手話単語A’ 動きを持つ単語C 新たな合成サンプル