整合性尺度を用いた構造的対訳文アラインメント中澤敏明 Yu Kun 東京大学大学院情報理工学系研究科黒橋禎夫京都大学大学院情報学研究科アラインメントの位置付け入力文対訳コーパスアライメント翻訳知識 EBMT 翻訳翻訳文アラインメントの精度は翻訳知識の質に影響する ⇒ 翻訳知識の質は翻訳の精度に影響する ⇒ アラインメントの精度を向上させることは重要！アラインメント • 統計翻訳（SMT） – さまざまな確率的パラメータを学習 – 辞書などの言語資源は基本的には利用しない – 頑健な数学的知識に基づいている • 用例ベース翻訳（EBMT） – 翻訳用例の獲得 – 辞書などの言語資源を積極的に利用 – アドホックなルールを利用することが多い [Arul 01] 目次 • 研究背景 • 用例ベース翻訳におけるアラインメント • 整合性尺度を用いた構造的アラインメント • 実験と考察 • 結論目次 • 研究背景 • 用例ベース翻訳におけるアラインメント • 整合性尺度を用いた構造的アラインメント • 実験と考察 • 結論アラインメント • Step１：依存構造解析 • Step２：対応候補の探索 • Step３：対応候補の選択 • Step４：未対応部分の推定 Step１：依存構造解析 • 日本語：形態素解析器JUMAN/構文解析器KNP • 英語：Charniak’s nlparser → ルールによる変換 J: 交差点で、突然あの車が飛び出して来たのです。交差点で、突然あの車が飛び出して来たのです E： The car came at me from the side at the intersection. the car came at me from the side at the intersection Step２：対応候補の探索 • 対訳辞書（研究社の和英・英和辞書） • 数字の汎化（二十三 ⇔ twenty three） • Transliteration （新宿 ⇔ Shinjuku）交差点で、突然あの車が飛び出して来たのです the car came at me from the side at the intersection Step３：対応候補の選択 • 曖昧性がある候補や、不適切な候補も見つかる曖昧な対応の例日本で you 保険 will have to file 会社に対して insurance 保険請求の申し立てが可能ですよ an claim insurance with the office in Japan Step３：対応候補の選択 • 曖昧性がある候補や、不適切な候補も見つかる → 様々な対応候補から適切なものを取捨選択する必要があるこのステップが最も重要！詳細は後ほど。。。 Step４：未対応部分の推定 • 残っているルートノード同士を対応付ける • 名詞句内のノードをまとめる • そのほかは親ノードへまとめる交差点で、突然あの車が飛び出して来たのです the car came at me from the side at the intersection 目次 • 研究背景 • 用例ベース翻訳におけるアラインメント • 整合性尺度を用いた構造的アラインメント • 実験と考察 • 結論アラインメントの整合性 • 1 対複数、複数対複数などの曖昧な対応 • 曖昧ではないが誤った対応（中国＝中 ⇔ in）曖昧な対応の例日本で you 保険 will have to file 会社に対して insurance 保険請求の申し立てが可能ですよ an claim insurance with the office in Japan アラインメントの整合性 • 1 対多、多対多などの曖昧な対応 • 曖昧ではないが誤った対応（中国＝中 ⇔ in）木構造全体が最も整合的に対応づくようなロバストなアラインメント手法が必要アラインメントの整合性近い！遠い！アラインメントの整合性 • 1対複数、複数対複数などの曖昧な対応 • 曖昧ではないが誤った対応（中国＝中 ⇔ in）木構造全体が最も整合的に対応づくようなロバストなアラインメント手法が必要距離-スコア関数 arg max f d J (ai , a j ), d E (ai , a j ) alignment i j 日本語側距離英語側距離整合性スコア（整合性尺度）ベースライン手法 • 曖昧性のない対応候補は無条件で採用 • 曖昧性のある対応候補は整合性尺度を利用 • 一つの枝の距離はすべて１ → 二つの対応間の距離＝木構造上での移動距離 • 距離-スコア関数 1 1 f d J , d E    dJ dE スコア計算例日本で you 保険 will have to file 会社に対して insurance 保険請求の申し立てが可能ですよ an claim insurance １１  ２１ with the office in Japan ベースライン手法 • 曖昧性のない対応候補は無条件で採用 • 曖昧性のある対応候補は整合性尺度を利用 • 一つの枝の距離はすべて１ → 二つの対応間の距離＝木構造上での移動距離 • 距離-スコア関数 1 1 f d J , d E    dJ dE 距離と距離-スコア関数を改善距離-スコア関数の改善（1/2） • 毎日新聞４万対訳文のアラインメント正解データで距離ペアの頻度分布を計数 [Uchimoto04] 頻度の log 英語側の距離日本語側の距離距離-スコア関数 arg max f d J (ai , a j ), d E (ai , a j ) alignment i j 日本語側距離英語側距離整合性スコア（整合性尺度）距離-スコア関数の改善（2/2） • 距離が近い同士のペア → プラス • 距離が遠い同士のペア → ０ • 距離が近いものと遠いものとのペア → マイナススコア英語側の距離日本語側の距離距離-スコア関数 arg max f d J (ai , a j ), d E (ai , a j ) alignment i j 日本語側距離英語側距離整合性スコア（整合性尺度）係り受けタイプと距離３デ格日本で１文節内１連用３ NP 保険２ノ格２ガ格 will have to file １ NN 会社に対して１文節内可能ですよ保険３ NP insurance an claim １ NN 請求の申し立てが you insurance ３ PP with the office ３ PP in Japan 距離-スコア関数 arg max f d J (ai , a j ), d E (ai , a j ) alignment i j 日本語側距離英語側距離整合性スコア（整合性尺度）係り受けタイプと距離日本語英語用言：レベルC 6 S / SBAR / SA / : 5 用言：レベルB+ / B 5 VP / ADVP 4 用言：レベルB- / A 4 ADJP / WHADVP ト格 WHADJP ヲ格 / ニ格 / デ格 3 NP / PP / INTJ ガ格 / ノ格 / 連体 2 QP / PRT / PRN 文節内 1 others 用言：レベルA+ 3 2 距離を利用した整合性計算３デ格日本で１文節内１連用３ NP 保険２ノ格２ガ格 will have to file １ NN 会社に対して１文節内可能ですよ保険３ NP insurance an claim １ NN 請求の申し立てが you 距離＝（１，１）スコア＋ insurance ３ PP with the office ３ PP in Japan 距離-スコア関数 arg max f d J (ai , a j ), d E (ai , a j ) alignment i j 日本語側距離英語側距離整合性スコア（整合性尺度）距離を利用した整合性計算３デ格日本で１文節内１連用３ NP 保険２ノ格２ガ格 will have to file １ NN 会社に対して１文節内可能ですよ保険３ NP insurance an claim １ NN 請求の申し立てが you 距離＝（１，７）スコア－ insurance ３ PP with the office ３ PP in Japan 距離-スコア関数 arg max f d J (ai , a j ), d E (ai , a j ) alignment i j 日本語側距離英語側距離整合性スコア（整合性尺度）アラインメントの整合性尺度日本で you 保険 will have to file 距離-スコア関数 arg max f d J (ai , a j ), d E (ai , a j ) 会社に対して alignment i j 保険日本語側距離請求の申し立てが可能ですよ insurance an claim 英語側距離整合性スコア（整合性尺度） insurance with the office in Japan 目次 • 研究背景 • 用例ベース翻訳におけるアラインメント • 整合性尺度を用いた構造的アラインメント • 実験と考察 • 結論アラインメント実験 • 毎日新聞対訳コーパスからランダムに500文 • 正解データとの比較 – 日本語：文字単位英語：単語単位 – 適合率・再現率・F値 • 対訳辞書 – 研究社和英 36K 見出し 214K エントリー – 研究社英和 50K 見出し 303K エントリー精度の計算例 E1 9 適合率（Ｐ）＝＝75% 12 E2 E3 E4 再現率（Ｒ）＝ E5 E6 9 ＝82% 11 E7 E8 E9 J1 J2 J3 J4 J5 J6 J7 J8 J9 F値＝ＰとＲの調和平均＝78％結果と考察適合率再現率 F値ベースライン 60.26 61.68 58.79 ＋距離-スコア関数改善 64.35 61.58 60.81 ＋係り受け距離 64.93 62.64 61.91 GIZA++ (with JUMAN) 59.9 17.0 26.4 • 距離-スコア関数改善により大幅な適合率向上 • 係り受け距離を考慮することにより全体的な精度の向上改善例（１）Ｊ：妥当な判決であると評価したい。Ｅ：I would like to commend that it was a reasonable judgment. 改善例（２）Ｊ：チェチェン紛争は、東欧諸国の北大西洋条約機構への加盟要求を一層高めることになろう。Ｅ：The Chechen conflict will accelerate the call for the participation of Eastern European nations in NATO 結論と今後の課題 • 係り受けタイプと距離-スコア関数を導入 • アラインメントの整合性尺度を定義し、適切な対応候補の選択を可能とすることにより、アラインメント精度の向上に成功 • 係り受けタイプに基づく距離を自動学習 • 距離スコア関数のチューニング • 他の有効なフィーチャの導入