日本語対応手話アニメーションシステム

日本語対応手話アニメーションシステム
中京大学 情報理工学部 情報知能学科
H207022 奥村 光志
H207067 本山 正樹
研究背景 動機
• 3年時に受講した白井純子先生の講義で手
話が取り上げられ、手話について学んだこと
や手話が人々にあまり知られていない現状を
知ったことがきっかけ
• 手話を学び、手話を使ってコミュニケーション
をするためのシステムを研究・開発しようと考
えた
手話
• 手話には日本語対応手話と日本手話がある
• 日本語対応手話
– 言語である日本語を手話を用いて表す方法
• 日本手話
– ひとつの言語
– 非手指動作(表情、眉の動き、視線、頭の動き)
(例文)とてもたくさんのミカンをもらった。
• 日本語対応手話:単語の並びは日本語の並
びと同じ
– とても/たくさん/ミカン/もらう/した(過去)
• 日本手話:単語の並びが日本語の並びとは
異なる
– ミカン/たくさん/もらう(非手指動作)
研究背景 目的
• 本研究では入力された文章を解析し日本語
対応手話アニメーションを生成するシステム
を作成
• 本システムを作成することで、日本語対応手
話をいつでもどこでも学ぶことができるような
システムを目標とした
システムの説明・紹介
• 日本語対応手話アニメーションシステム
• 単語数:約200語
– あいさつ(はじめまして、こんにちは)、名詞(父、
母)、動詞(怒る、嬉しい)etc…
• 単語や文章を入力することで日本語対応手
話アニメーションを自動生成
• Blenderを使用
システム内容・構造
•
•
•
•
文章(または文、単語)を入力
文章(文)をChaSenで解析し、単語に切る
単語とアニメーションを対応させる
アニメーションをつなげたものを出力
単語
文章
アニメーション
単語
アニメーション
単語
アニメーション
連結させた
アニメーション
出力
Blenderによる作成画面
• 実際にシステムを見ていただきます
• 例文:
– 今日は、良い天気です。(基本文)
– 私は、兄に怒った。(過去文・表情)
– はじめまして。あなたの名前は何ですか?(文章・
疑問)
手話アニメーション紹介と比較
• 日立製作所 Mime Hand
– 日立製作所が開発
– 約6000語の手話単語をサポート
– GUIで操作しやすいシステム
– 視点(カメラ)の切り替え
– 有料
• 本システムとの比較
– CUI
– 字幕表示
手話アニメーション紹介と比較
• 手話ロボット オアフ君
– フリーソフト
– 単語のみ入力可能
– 634語の手話単語をサポート
• 本システムとの比較
– 文章にも単語にも対応
– 字幕表示
単語数の目安と手話検定
• 7級・・・基本指文字50音
• 6級・・・単語数:100程度
– 簡単なあいさつ、数字、曜日など
• 5級・・・単語数:200程度、基本例文数:30程度
– あいさつ、自己紹介、疑問文など
• 4級・・・単語数:500程度、基本例文数:100程度
– 曜日・日付・時刻、動物、スポーツ、地名、接客の会話、
金額など数字の入ったなどの具体的な会話など
単語数の目安と手話検定
• 3級・・・単語数:1000程度、基本例文数:300程度
– 道案内、会社や学校、手話サークルなどでの会話
• 準2級、2級・・・単語数:2000程度、例文数制限な
し
– 日本手話、日本語対応手話のどちらかを使用して、聴覚
に障害のある人と自由に会話ができる
• 準1級、1級・・・単語数・例文数制限なし
– 相手に合わせ、日本手話、日本語対応手話のどちらも自
由に表現・読み取りができる
神田和幸教授からいただいた評価
• 単語数が少ない
• 本システムは必ずしも学習に使用できるよう
なシステムになっていない
– 表情がぎこちない・表情のパターンが少ない、眉
の動きなどの機能の追加が必要
• アニメーション間の渡りができていない
– 毎回ホームポジションに戻る
評価
• 単語数が少ない
– 6.5.4.3級の単語から200単語
• 表情のパターンが少ない
• 題材選びに問題があった
– 日本手話と日本語対応手話が混合している本を
選んだ
課題・展望
•
•
•
•
•
•
•
題材選びが良くなかった
表情の変化、追加
指や手の細かい動作
アニメーション間の渡り
キャラクターの追加
単語数の追加
音声入力
ご清聴ありがとうございました