手話機械翻訳システム（テキストレベル）に関する研究

放送文化基金『研究報告』平成 16 年度助成・援助分（技術開発）
日本語―手話機械翻訳システム（テキストレベル）に関する研究
池田
原
池谷
松本
代表研究者
共同研究者
〃
〃
尚志
大介
尚剛
忠博
岐阜大学工学部応用情報学科教授
愛知医科大学看護学部准教授
岐阜大学教育学部教授
岐阜大学工学部応用情報学科助教
目
的
機械翻訳システムは日英、日中などたくさん研究開発されてきているが、聴覚障害者の
言語である手話に関してはそのような研究は無い。手話通訳者の数は需要に対して圧倒的
に少なく、バリアフリーな言語コミュニケーションを支援する技術の一つとして、手話機
械翻訳に関する研究は是非必要であり、手話そのものについての研究とともに重要な分野
である。そこで、音声言語間の機械翻訳と同様、視覚言語である手話においても、テキス
トレベルで表現・保存･伝達できるよう、日本語テキスト―手話テキスト間の機械翻訳シス
テムを構築することをねらいとした（図１）
。
中国語音声
手話言語画像
機械翻訳過程
手話言語
テキスト
手話言語
内部表現
計算機内部表現 (中間言語）
中国語
テキスト
中国語
内部表現
日本語内部表現
日本語テキスト
日本語音声
日本語
目的言語
(中国語・手話言語…)
図１日本語-手話機械翻訳における手話テキストの位置付け
方
法
１．はじめに
私たちの研究室では、日本語文の解析システムや日本語から中国語・ベトナム語等への
機械翻訳、点字翻訳システムなどの自然言語処理技術の研究を行ってきているが、これら
に加えて、日本語から手話への機械翻訳の研究への取り組みを始めた。
ところが手話に関する自然言語処理技術では、他の音声言語と違う大きな問題がある。
それは、手話は書き留める文字を持たないということである。つまり我々が対象としてい
る普通の音声言語は書き留める文字の体系をもつ書記言語であるが、手話はそうではない。
手話を記録するにはそのままビデオ映像として記録するか、紙芝居のように手話のスナッ
プのスケッチに日本語の注釈を書き添えたものとして記録するか（手話の教科書などに見
られる普通の方法：図２）
、あるいは日本語に翻訳して日本語として記録するか、といった
方法しかなかった。これではテキスト（すなわち書かれた文字列）を対象とする技術であ
るこれまでの自然言語処理は適用できない。
1
図２従来の手話の記述
これは手話言語にとっても大変大きな問題である。音声言語の場合のように手話をテキ
ストとして書き留めて、時を越え、所を越えて伝達するということは出来ない。手話は話
し言葉であって書き言葉ではないとされる。手話通訳ということはいわれても、手話翻訳
ということはいわれない。
２．日本語援用手話表記法の提案
そこで私たちはあえて手話をテキストとして書き留める方法について検討し、日本語援
用手話表記法という表記法を提案した〔研究発表：７〕
。図３はそれによる手話文の表記例
である。
私の家族は、私と兄と両親の 4 人です。
{<t> 私家族}、私 Enum[1]、兄 Enum[2]、両親 Enum[{3、4}]。
姉は既に結婚しています。
{<t> 姉} 過去結婚終わる。
最近のものではなく、昔の古い本を読むのが好きです。
{<em> 今いいえ}、過去(; とても) 古い(; とても) 本読む好き。
図３日本語援用手話表記の例
表記法の詳細をここに述べるスペースはないが、
“日本語援用”としている理由は、この
例にあるように日本語の語彙を借用して手話の語彙を表記しているからである。この語彙
の対応については「日本語-手話辞典」で用いられている対応を基本にしている。
手話は、手指の動作だけでなく、顔の表情やからだ全体の動き（非手指動作と呼ばれる）
も加わって表現されることが多い。それらを表記するために、いまのところ括弧や記号を
使った表記も用いている。
このような表記法で問題ないか、十分であるかは今後検討を重ねていかなければならな
いが、手話をテキストとして書き留める方法のスタートとしての提案とした。
３．日本語テキストから日本語援用手話表記法による手話テキストへの機械翻訳
私たちの研究室では、日本語からいろいろの言語への機械翻訳システムを構成するため
の核となる機械翻訳エンジン(jaw と名づけている：図４)を開発しており、中国語やベトナ
ム語、シンハラ語などへの機械翻訳システムの作成を試みている〔参考文献：８，９，10，
11，12，13，14〕
。
2
日本語の入力文
目的言語の翻訳文
生成/線状化
文節構造解析
係り受け解析
日本語の構文木構造
(IT: Input Tree)
翻訳知識ベース
(表現パターン-翻訳規則)
(機能語-翻訳規則)
パターン照合
変換
目的言語の表現構造
(ET:ExpressionTree)
翻訳規則
を適用
翻訳規則の木構造
(TT: Transfer Tree)
機能語情報
図４機械翻訳エンジン jaw
私たちは、同じように jaw を用いて日本語から日本の手話への機械翻訳システム（jaw/SL：
図５）を開発することとした〔研究発表：１，２，５〕
。目標言語は日本語援用手話表記法
による手話テキストである。
図５日本語から日本の手話への機械翻訳（jaw/SL）
（音声言語間の機械翻訳との対比）
表１に、それを用いた現段階での機械翻訳結果を示す。
3
1．「本は、私が買う」
{<topic> 本}
私買う。
2．「あなたの手話の先生は誰ですか」
{<topic> あなた手話先生}{<whq> 誰 PT(x)}？
3．「雨なら車、晴れなら自転車です」
{<cond> 雨}
自動車、{<cond> 晴れ}
自転車。
4．「あなたは佐藤さんですか」
{<q> あなた佐藤あなた} ？
5．「読みなさい」
読む PT(2; 命令) ！
6．「彼に読ませる」
読む彼(x) ｜与える(→ x)。
7．「本を読みながら食事をする」
{<gaze(x) > 本(x) ｜食べる} 。
表１日本語―手話機械翻訳の例
４．日本語援用手話表記から手話文字（Sign Writing）への変換
先に手話には文字がないと述べたが、実は一つだけアメリカ手話において Sign Writing
と呼ばれる手話文字の提案がある。Sign Writing は、用意されている文字の部品を組み合
わせて文字を組み立てていく種類の文字であり、日本手話に対しての適用も研究されてい
る〔参考文献：２〕
。
私たちは、日本語援用手話表記によるテキスト表現を Sign Writing へ変換するシステム
（図６）についても検討しており、先の機械翻訳システム（jaw/SL）と合わせれば、日本
語テキストを Sign Writing のテキストに翻訳できることになる。
私の家族は、私と兄と両親の 4 人です。
{<t> 私家族}、私 Enum[1]、兄 Enum[2]、両親 Enum[{3、4}]
図６ Sign Writing による表現例
結
果
手話に関する工学サイドからの研究としては、手話画像の認識や手話アニメーションの
生成といった画像処理の対象としての研究がほとんどであったが、私たちは自然言語処理
の立場からのアプローチを試みた。得られた成果は次の 3 点にまとめることができる。
① 手話を表記する方法として、
“日本語援用手話表記法”を提案することができた。
② 日本語テキストから日本語援用手話表記法による手話テキストへの機械翻訳システム
を、私たちがこれまでに開発してきている機械翻訳エンジン jaw の上に構築した
(jaw/SL)。まだ、大変小規模のパイロットシステムであるが、見通しを得ることができ
た。
③ 日本語援用手話表記を、手話文字として提案されている Sign Writing に変換するシス
4
テムについても研究を開始した。
この研究は始まったばかりであり、課題はまだ山積しているが、引き続き研究を進めて
いく予定である。
手話は耳の聞こえない人たちの母語であるが、将来は書きことばとしても確立し、健聴
者にとっても何番目かの言語として使われるユニバーサルな言語として活躍するのではな
いだろうか。手話が世界中で多くの人が活用できる共通の言語システムになっていくこと
を期待したい。
参考文献
１）日本語手話辞典, 日本手話研究所(編), 全日本ろうあ連盟, 1997
２） A Study of Sign Language Writing System, 加藤三保子, 日本手話学術研究会論文
集 Vol.8, pp1338, 1987
３） NonManual Signals in Japanese Sign Language, Kazuyuki Kanda, Akira Ichikawa,
Yuji Nagashima, Mina Terauchi, Daisuke Hara, Universal Access in HCI,
No.4:pp.216220，2003
４）手話における文法,感情,意図の視覚化,神田和幸，原大介，神岡昌明，木村勉，片岡
由美子，第 31 回可視化情報シンポジウム, vol.23: pp.325326,2003
５）手話言語の語構成にまつわる『構成要素の異質性』克服方法,原大介，電子情報通信
学会「信学技報」Vol.102 No.254，pp.5162,2002
６）総合的な学習と介護等体験は特殊教育の基礎構造改革の一歩となるか？，池谷尚剛，
障害者教育科学 No43, pp.4147，2001
７）子どものためのバリアフリーブック障害を知る本⑥ 目の不自由な子どもたち, 茂
木俊彦，大月書店, pp.136,1998
８）日中機械翻訳におけるとりたて表現の翻訳について―「も」「さえ」「でも」―，
ト朝暉，謝軍，池田尚志，自然言語処理，vol.9，No.5，pp. 111130，2002
９）日中機械翻訳におけるテンス・アスペクトの処理，謝軍，ト朝暉，池田尚志，自然言
語処理 Vol.10 No.４(言語処理学会)，pp. 177∼200，2003
10）日中機械翻訳システム jaw/Chinese における変換・生成の方式，謝軍，今井啓允，
池田尚志，自然言語処理 Vol.11 No.1（言語処理学会）,pp. 43∼80, 2004
11） JapaneseShinhalese MT System(jaw/Shinhalese)and a Solution for the Translation
of Japanese Function Words after Predicate into Shinhalese ， Samantha
Thelijjagoda,Yoshimasa Imai,Nayana Elikewala,Takashi Ikeda, 1st International
Joint Conference on Natural Language Processing, Companion Volume to the
proceedings of the Conference,pp. 73∼78，2004
12）日中機械翻訳における否定文の翻訳，ト朝暉，池田尚志，自然言語処理（自然言語
処理学会），pp. 97∼122, 2004
13）日本語―ベトナム語機械翻訳における連体修飾構造の翻訳，Ngueyn My Chau，池田
尚志，自然言語処理 Vol.12 No.3（言語処理学会），pp. 145182，2005
14）日本語―ベトナム語機械翻訳における「N1 の N2」の処理，Ngueyn My Chau，田中友
樹，池田尚志，自然言語処理（言語処理学会）Vol.13 No.2，pp. 146167，2006
研究発表
１）手話の表記法とテキストレベルの日本語-手話機械翻訳システムの試みについて, 松
本忠博，田中伸明，吉田鑑地，谷口真代，池田尚志，思考と言語研究会(電子情報通信学
会), TL200413, pp.711，2004
２）日本語テキストから手話表記テキストへの機械翻訳の試み, 松本忠博，田中伸明，吉
田鑑地，谷口真代，池田尚志，情報科学技術フォーラム(情報処理学会等), K064，
pp.539540，2004
5
３） The First Step Toward a Machine Translation System from Japanese Text to Sign
Language,Tadahiro Matsumoto,Mobuaki Tanaka,Akiji Yoshida,Yoshimasa Imai,Takashi
Ikeda, Proceedings of Asian Symposium on Natural Language Processing to Overcome
Language Barriers,pp.6166,2004
４） A Proposal of a Notation System for Japanese Sign Language and Machine
Translation from Japanese Text t Sign Language Text, Tadahiro Matsumoto,Mayo
Taniguchi,Akiji Yoshida,Nobuaki Tanaka,Takashi Ikeda, PACLING 2005(Pacific
Association for Computational Linguistics)，pp. 218225,2005
５）日本語から多言語への MT エンジン jaw のパターン翻訳規則,および手話テキストへ
の翻訳について, 池田尚志，平成 18 年度電気関係学会東海支部連合大会，S21，pp.1
∼2，2006
６）機械は手話通訳をどこまで支援できるか？日本語手話機械翻訳システムに向けて
(Ⅰ)（Ⅱ）
，池田尚志，松本忠博，全国聴覚障害教職員岐阜シンポジウム資料，pp.17,2006
７）日本語を援用した日本語手話表記法の試み，松本忠博，原田大樹，原大介，池田尚
志，自然言語処理，Vol.13 No.3(言語処理学会)，pp. 177200，2006
連絡先
〒5011193 岐阜県岐阜市柳戸１−１
岐阜大学工学部応用情報学科
電話：0582932740
Fax ：0582932762
email：[email protected]
6

Download Report