共参照解析のための事象間関係知識の一般化に向けては必要か？井之上直也, 杉浦純, Canasai Kruengkrai, 乾健太郎（東北大学） (cited from http://www.cs.nyu.edu/davise/papers/WS.html) The Winograd Schema Challenge [Levesque+ 11] 次の3つの特徴を持つ代名詞照応解析の問題集 1.  2.  3.  Easily disambiguated by the human reader Not solvable by simple techniques such as selectional restrictions Google-proof; that is, there is no obvious statistical test over text corpora that will reliably disambiguate correctly Lions hunt zebras because they are hungry. X is hungry → X hunt (more plausible) X is hungry → hunt X 先行研究 •  Rahman & Ng (12) ※ –  先行詞候補の ranker を学習、約 59% の精度を達成 –  特徴量: •  述語の選択選好性（it barks → 先行詞は dog になりやすい） •  スクリプト知識（it died → 先行詞は shoot されやすい） •  評価極性（it is bad →先行詞は negative な言及がある） •  杉浦ら (14), 井之上ら (14) –  R&N のスクリプト知識の大規模化、及び使い方の改善により、精度向上を確認（62% → 67%） –  使い方: スクリプト知識を獲得時の文脈付きで保持し、解析対象の文脈になるべく近い知識を優先的に適用する –  問題点: 知識の汎化を行っていないため、時間空間計算量の面で非効率的（数億事例を保持・解析のたびに探索） –  課題: 解析性能を維持したまま知識をどう汎化するか？ ※論文の数値にはバグあり (Personal communica/on) 事象間関係知識の汎化レベル知識獲得の対象コーパス: The program could not run because it has syntax errors. 汎化レベル高（カバレッジ↑、精度↓）述語述語評価極性＋項間関係" 述語クラス＋項間関係" 述語＋項間関係" (Rahman & Ng 12)" 述語＋項間関係＋項クラス" (知識獲得の典型的表現" e.g.: Chambers & Jurafsky 09)" 述語周辺の文脈を保持" (井之上ら 14)" 原文を完全に保持 run ~ have X <negative event> ~ X <negative event> X <movement> ~ X <possession> X run ~ X have X run ~ X have, X = <PROGRAM> X could not run ~ X have errors [X = program, it] X could not run because X has syntax errors. [X = program, it] 汎化レベル低（カバレッジ↓、精度↑）汎化すべき現象種類問題の例 (from Rahman & Ng (12)’s dataset) 単述語 The man1 shot his friend2 and he1 was arrested. 否定 Jennifer Aniston1 does not like Angelina Jolie2 because she2 stole her boyfriend. Phrasal Verbs Mike1 cut his finger while watching Chef Michaels2 on TV because he1 was not paying attention to his task at hand. Catenative Verbs Chris1 was running after John2, because he1 wanted to talk to him. 文脈付き述語 The man1 gave the beggar2 some money because he1 was very generous. 文脈付き項 John1 visited Luke2 in the hospital because he2 was sick. 比較 Fox News1 is more popular in ratings than CNN2 since they2 are boring. 談話関係 Bob Marley1 shot the sheriff2, but he2 survived." Sentiment South Korea1 hates North Korea2 because they2 are constantly threatening their peace. 知識を一意なレベルに汎化しておくのは難しいので、これらの現象を複合的に扱える解析手法を作ろう仮説推論知識表現に一階述語論理を使うことにすると •  入力 B, O: –  背景知識 B: 一階述語論理式の集合 –  観測 O: リテラルの集合 •  出力 H*: スコア最大の仮説 H* （リテラルの集合） H* = arg max score(H) H ∈ H ただし B H |= O （観測 O を含意せよ） B H |=　（矛盾するな）仮説推論に基づく共参照解析 •  共参照関係解析問題を、代名詞の生成を証明する定理証明問題として定式化 –  事象間関係知識を証明の背景知識として利用 •  メリット –  処理手順を捨象した宣言的知識記述が可能 –  開発者は知識ベースを洗練するだけ –  推論エンジンが最良の知識の使い方を探索 –  様々な現象を複合的に扱うことが可能知識体系知識の種類例事象間関係知識 1. run-vb(e1) & prep_after(d1, e1, x) & steal-vb(e2) & subject(e2, x) → sharedArgument(x) 2. shoot-vb(e1) & object(e1, x) & survive-vb(e2) & subject(e2, x) & adversative(e1, e2) → sharedArgument(x) 言語化 theory sharedArgument(x) → pronoun(x) selPreferred(x) → pronoun(x) 選択選好 1. dog-nn(x) & bark-vb(e1) & subject(e1, x) → selPreferred(x) 2. criminal-nn(x) & go-vb(e1) & prep_to(d1, e1, y) & prison-nn(y) → selPreferred(x) 統語的関係-‐意味 1. xcomp(d1, e1, e2) & nsubj(d2, e1, x) → subject(e2, x) 2. neg(d1, e1, e2) → not(e1) 3. popular-jj(e1) & prep_than(d2, e1, x) → unpopular-jj(e1) 談話関係 conj_but(d1, e1, e2) → adversative(e1, e2) 実際の推論結果 → 補助資料へまとめ・今後の課題 •  まとめ –  事象間関係知識を一意なレベルに汎化する代わりに、解析時に一般化を行う仮説推論ベースの解析手法を提案 –  仮説推論に基づく共参照解析のための知識体系を整備した •  今後の課題 –  大規模な事象間関係知識 [井之上ら 14] を用いた検証 –  教師あり学習手法の適用 [Yamamoto+ 13] 補助資料1 Fox News is more popular in ratings than CNN since they are boring. news-nn (E2) $1.00/1 fox-nn (E1) $1.00/0 boring-jj (E13) $1.00/12 prep_than (D5, E5, E9) $1.00/33 popular-jj (E5) $1.00/4 nsubj (D7, E13, E2~x11) $1.00/35 nsubj (D1, E5, E2) $1.00/29 D5=_d256, E5=_e130, E9=_x57 E5=_e130 etc (UC16) $14.40/123 prep_than (D5~_d256, E5~_e130, E9~_x57) $86.40/125 popular-jj (E5~_e130) $86.40/124 _e232=E13 _e232=E13, D7=_d233 ^ boring-jj (E13~_e232) $144.00/84 unpopular-jj (E5~_e130) $144.00/82 D1=_d131, E5=_e130, E2=x11 synt nsubj (D7~_d233, E13~_e232, E2~x11) $72.00/85 ^ csShare etc (UC9) $12.00/81 nsubj (D1~_d131, E5~_e130, E2~x11) $72.00/83 補助資料2 sharedArgument (E6~x14) $120.00/46 etc (UC2) $10.00/45 ^ realThe Chris was running after John, because he wanted to talk to him. chris-nn (E2) $1.00/1 133-cd (E1) $1.00/0 prep_after (D4, E4, E6) $1.00/34 run-vb (E4) $1.00/3 talk-vb (E12) $1.00/11 xcomp (D9, E10, E12) $1.00/39 nsubj (D6, E10, E6~x9) $1.00/36 PR (P8, E6~x9) $100.00/23 PR (P13, E6~x14) $100.00/28 _e193=E10, _e211=E12, D9=_d192 _e193=E10, D6=_d294 xcomp (D9~_d192, E10~_e193, E12~_e211) $86.40/212 E4=_e19, D4=_d110, x9=E6 E4=_e19 nsubj (D6~_d294, E10~_e193, E6~x9) $86.40/213 _e211=E12 ^ prep_after (D4~_d110, E4~_e19, E6~x9) $72.00/66 run-vb (E4~_e19) $144.00/65 talk-vb (E12~_e211) $144.00/67 ^ subject (E12~_e211, E6~x9) $72.00/68 csShare etc (UC7) $12.00/64 dep etc (UC35) $14.40/211