特定領域情報福祉：A01 聴覚障害手指ならびに非手指情報の画像計測と統合に基づく実用的手話翻訳の研究 ○計画研究ウ白井良明島田伸敬（立命館大学）三浦純（大阪大学）特定領域情報福祉：A01 聴覚障害 3年間の研究目的手話者をテレビカメラで観測し、両手の動きと形状ならびに顔の表情や口の動きを解析する。ロバストにするための光源や背景の設定方法、画像特徴の種類と抽出法、話者の個人差や環境変動への適応法などを研究。特定領域情報福祉：A01 聴覚障害 3年間の研究画像系列から、複雑背景での手の動きと形状を解析した。手指情報から手話を認識する研究をした。ロバストな認識を行うため、サンプルデータの自動合成を提案した。顔の特徴を抽出し、表情を認識した。ここでは、手指情報からの手話認識を述べる。特定領域情報福祉：A01 聴覚障害研究の背景  音声→手話の変換システム   音声（またはテキスト）に対応する手話を CG表示（比較的早期に実現）手話→音声の変換システム   データグローブ等で手指形状データを取得（手話者の負担が大きい）手のシルエットと3次元も出るとの照合（我々の研究だが時間がかかる）被験者の負担の少ない、設置の容易な手話認識システムへの要望特定領域情報福祉：A01 聴覚障害システムの概要 手話→日本語音声の変換システムの構築手話手話特徴特徴抽出（画像処理）学習ＨＭＭによる学習固定カメラからの画像学習データベース手話特徴マッチングＨＭＭによる認識認識結果（日本語）特定領域情報福祉：A01 聴覚障害特徴抽出  手話画像から学習・認識で用いる特徴系列を抽出するための画像処理     カラーの背景差分による人物領域抽出肌色領域抽出肘・手首抽出領域の追跡と隠蔽（手や顔の重なり）検出、分離特定領域情報福祉：A01 聴覚障害特徴量出（肌色の検出）   初期のフレームから肌色をサンプルサンプルから肌色を決定肌色分布（HS色空間）肌色検出９０％の等確率楕円特定領域情報福祉：A01 聴覚障害隠蔽時の処理隠蔽状態の肌色領域保存してある顔テンプレート画像ブロックごとに相関を計算相関の高い部分（顔領域）相関の低い部分（手領域）大体の手領域を取得できるため、・テンプレートマッチング精度の向上・手の形状が変化する際に利用特定領域情報福祉：A01 聴覚障害顔と手の隠蔽処理結果の例特定領域情報福祉：A01 聴覚障害手話特徴量位置に関する特徴量形状に関する特徴量突起数手の面積顔からの方向顔からの距離円形度動きの速度・方向慣性主軸方向特定領域情報福祉：A01 聴覚障害位置・速度に関する特徴量  顔の近くで行う手話ほど、手の位置や細かい動きが黒重要顔からの距離 : r 顔からの方向 :  手の速度のx,y方向成分  顔からの距離の対数表示 : ln(r   )   0.1 顔からの距離の対数表示の変化量： r r  顔からの方向 :  顔からの方向の変化量 :  両手の手話では左右の手の相対位置が重要小さい合う両手の手話では左手から見た右手の相対座標を特徴として加える特定領域情報福祉：A01 聴覚障害 HMMによる学習    HMMはLeft-to-Right 単語ごとに状態数を設定する必要がある手の移動や手の形の変化時に対して状態が遷移する状態数決定の例（状態数：5）初期状態移動中静止中移動中最終状態特定領域情報福祉：A01 聴覚障害速度による状態分割速度の閾値によって運動区間（M)と静止区間（S)に分割 ① ② ③ ノイズによる運動区間は静止区間とする静止区間が短かければ、運動区間の境界とする運動区間でも谷が深ければ分割 ③ ① S ① ② M M M M 特定領域情報福祉：A01 聴覚障害速度と方向による状態分割 90 動きの速度 60 30 運動区間内で、運動方向が大きく変化しすれば、分割 (rad) 動きの方向 0 4 方向変化 0 -8 -16 0 25 50 フレーム特定領域情報福祉：A01 聴覚障害顔からの方向を用いた状態分割従来の状態分割法  動きの速さ  動きの方向黒顔の近くでゆっくり動く手話では、運動区間と静止区間を分割できない速さが遅く、顔からの距離が小さい区間で、顔からの方向が大きく変化していれば区間の中央で分割する速さ顔からの距離顔からの方向特定領域情報福祉：A01 聴覚障害手話単語の認識実験   一単語あたり３シーケンス用いたデータ  状態分割において３シーケンスとも状態数の揃ったもの15単語（両手:５単語・片手:１0単語）   組み合わせを変えながら、３シーケンスのうち２つを学習用、残りを認識用に用いた２シーケンスで状態数が等しく、残りの１つは静止区間の数が異なるもの（両手:７単語・片手: １単語）  状態数の等しい２つを学習用（状態数の数を変えて２つのモデルを作成）、残りを認識用に用いた特定領域情報福祉：A01 聴覚障害認識結果   両手の手話では高い認識率が得られた片手の手話での認識率は低かった    テンプレートマッチングの失敗による影響動きのよく似た手話が多い学習データが少ない成功数認識率両手 20/22 0.91 片手 19/31 0.61 特定領域情報福祉：A01 聴覚障害手形状データから学習データの合成 ① ② ③ 手話単語を手の形によって分類それぞれの手話単語から対応する手の形状データを取り出し、データベースを作成データベースから同じ手形のものを選び、対応部分と入れ替え（位置・速度の特徴はそのまま使用）ヒ形赤頭ク形黒ズボンレ形スカート・・・赤データベースレヒクヒヒ特定領域情報福祉：A01 聴覚障害手形状データから学習データの合成 ① ② ③ 手話単語を手の形によって分類それぞれの手話単語から対応する手の形状データを取り出し、データベースを作成データベースから同じ手形のものを選び、対応部分と入れ替え（位置・速度の特徴はそのまま使用）ヒ形赤頭ク形黒ズボンレ形スカート・・・赤データベースレヒクヒヒ特定領域情報福祉：A01 聴覚障害手形による手話単語の分類手形イクテモウコヌレオサヒレ(曲) イ構わないですか？ウ夏物・秋物・冬物オ色ク青・黒・～がありますか？コ背が高い・背が低いサかばん・暑い・夏物・靴（右）・皮（右）テセーター・暖かい・胸・肩・流行・靴ヌ絹ヒ赤・ cm ・頭・合う・～はどこですか？モ好き・嫌いレスカート・ズボンレ（曲）ロロ半円型「お金」の形半円型お金長い・短い分類単語長い・短いめがねネクタイ小さい・大きい安い・高い・値上げ長い・短い特定領域情報福祉：A01 聴覚障害手形データの合成を行った単語例特定領域情報福祉：A01 聴覚障害 HMMによる学習・認識実験両手の手話17単語、片手の手話21単語各単語、各手話者に３つの元データ ２人の手話者のデータ（計６種類）  ５つを学習データ、１つを認識データとして組み合わせを変えて３回実験  新しく生成されたサンプルを加える場合   認識データは１つ。学習データはテストデータを除くデータと、それから合成されたデータ２つ特定領域情報福祉：A01 聴覚障害 Experimental result Both hands expert One hand without synthesis with synthesis without synthesis with synthesis No. of success 52/52 52/52 57/63 57/63 rate 100% 100% 90.5% 90.5% Both hands One hand without synthesis with synthesis without synthesis with synthesis No. of success 52/52 50/52 57/63 58/63 rate 96.2% 96.2 % 90.5% 92.1% beginner 特定領域情報福祉：A01 聴覚障害合成データの追加により成功した例好き誤認識赤手形による合成データの追加により成功赤誤認識嫌い特定領域情報福祉：A01 聴覚障害 Example of failure black head Overlapping hand shape is unstable 特定領域情報福祉：A01 聴覚障害データ合成の今後の課題今後の課題   様々な状況を想定した手形データを増やし、合成データをより多く用いて学習手の動きを含めた学習データの生成特定領域情報福祉：A01 聴覚障害手話認識の今後の課題    多数のサンプルに対する学習と実験文章の認識コーパスの作成（sINDEX の発展）手話の表現（形態素、音素、変形、両手…)