Document

NL187-7 Sep, 24, 2008
結束性と首尾一貫性から見た
ゼロ照応解析
飯田龍，乾健太郎，松本裕治
奈良先端科学技術大学院大学情報科学研究科
{ryu-i,inui,matsu}@is.naist.jp
1
NL-187-7, Sep, 24, 2008
研究の対象

ゼロ照応解析
 文章中の省略されている格要素を検出して
その指し先を補完するタスク
先行詞
政府1は低所得者を(φ1ガ)支援する計画を
(φexoニ)発表した。
関係省庁2の協力を(φ1ガ)(φ2ニ)要請する。
照応詞 (ゼロ代名詞)
情報抽出のような応用処理で必須となる要素技術
 言語理解の実現度の良い試金石

2
NL-187-7, Sep, 24, 2008
今回の研究の焦点

結束性と首尾一貫性の観点から
ゼロ照応解析の問題を考える

結束性：文体レベルのつながりの良さ
 センタリング理論(Grosz

et al. 1995)
首尾一貫性: 意味レベルのつながりの良さ
 修辞構造理論(Mann&Thompson,
1988)
 Schankのスクリプト知識(1977)
3
NL-187-7, Sep, 24, 2008
結束性の観点から照応解析を考える

センタリング理論(Grosz et al., 1995)に基づく照
応解析 (Walker et al., 1994)
現在の発話の談話要素を顕現性の高いものから並
べる[主題(ゼロ)>主語>間接目的語>直接目的語>その他]
2. 次の発話中にもし照応詞（代名詞など）が存在すれ
ば，1の中で最も高くランク付けされた談話要素を先
行詞に決定する
1.
太郎が公園を散歩していました．太郎 > 公園
(φガ) 次郎を噴水の前で見つけ
(太郎) > 次郎 > 噴水，前
ました．
(φガ) (φニ) 昨日の試合の結果
を聞きました．
4
NL-187-7, Sep, 24, 2008
規則ベースの手法と機械学習ベースの手法

センタリング理論に基づく規則ベースの手法
 特徴:
文を単位とした段階的な談話の更新
 欠点: 前文の先行詞候補のみしか扱えない

機械学習に基づく解析手法(Soon et al., 2001;
Ng and Cardie, 2002, etc.)

照応詞と先行詞の候補が
照応関係となるか否かの2値分類問題を解く
 特徴:
前方文脈すべての候補を解析対象に含む
 欠点: 解析の際の探索回数が爆発する
実際に解析する際に
非常に問題になる
5
NL-187-7, Sep, 24, 2008
提案手法: 段階的に候補をキャッシングする

キャッシュ: 後で参照されそうなn-bestを保持
インフルエンザ1が二年ぶりに (φ1ガ)
大流行する兆しをみせ始めた。
厚生省のまとめによると、昨年十二
月下旬現在の患者報告数2は (φ2ガ)
約四千六百人で、前年同期の七倍。
Ａ香港型を中心にＢ型、Ａソ連型の
三種類のウイルスが混合流行してお
り、同省は「受験シーズンがピークで、
長期間 (φ1ガ) 流行する可能性もあ
る」と注意を呼び掛けている。
同省によると、都道府県、政令指定
都市から報告されたインフルエンザと
みられる疾患の患者数は昨年十二
月二十四日現在、全国で四千五百九
十四人で、前年同期の七・一倍。
キャッシュ: size=3
インフルエンザ，二
年ぶり，兆し
更新
インフルエンザ，厚
生省，患者報告数
この中から先行詞を
探索する
6
NL-187-7, Sep, 24, 2008
提案手法: 段階的なキャッシングを利用した照応解析

キャッシュ: 後で参照されそうなn-bestを保持
インフルエンザ1が二年ぶりに (φ1ガ)
キャッシュ: size=3
大流行する兆しをみせ始めた。
厚生省のまとめによると、昨年十二
インフルエンザ，二
月下旬現在の患者報告数2は (φ2ガ)
年ぶり，兆し
約四千六百人で、前年同期の七倍。
Ａ香港型を中心にＢ型、Ａソ連型の
更新
三種類のウイルスが混合流行してお
り、同省は「受験シーズンがピークで、
インフルエンザ，厚
現在の文内の候補とキャッシュ
長期間 (φ1ガ) 流行する可能性もあ
生省，患者報告数
内の候補からどのように次の
る」と注意を呼び掛けている。
更新
キャッシュの要素を選択するか?
同省によると、都道府県、政令指定
都市から報告されたインフルエンザと
インフルエンザ，患
みられる疾患の患者数は昨年十二
者報告数，ウイルス
先行詞らしいn-bestを残す教師有り学習の問題
月二十四日現在、全国で四千五百九
十四人で、前年同期の七・一倍。
7
NL-187-7, Sep, 24, 2008
キャッシュ更新ための訓練事例作成と実行

訓練
正例
負例
インフルエンザ，二年ぶり，兆し
インフル
エンザ，
兆し
二年ぶり
文2の候補
正例
文1の候補
厚生省，昨年，患者報告数
φ1
φ2
文3の候補
Ａ香港型，同省

φ3
患者報告
数，
インフル
エンザ
負例
厚生省，
昨年，
二年ぶり，
兆し
φ4
テスト
 候補集合全体を分類しスコア上位N個をキャッシュへ
8
NL-187-7, Sep, 24, 2008
キャッシングのさまざまな方法

段階的にキャッシュの内容を更新
(局所キャッシュモデル)
 局所キャッシュモデルは文章末までに何回も更新す
るので，最初に出現した談話要素をうまく保持できな
い?
文章全体の談話要素をあらかじめランキング
(大域キャッシュモデル)
 局所キャッシュと大域キャッシュの両方を利用
(混合キャッシュモデル)

9
NL-187-7, Sep, 24, 2008
評価実験
文間のゼロ照応解析で各ゼロ代名詞が出現し
たときに，どのくらいキャッシュに正解を保持で
きているのか?
 データ: NAISTテキストコーパス(飯田ら, 2007)

1163記事，4895事例
 評価事例2種類
報道記事: 1157記事，4365事例
社説記事: 609記事， 5231事例
 訓練事例:

ベースライン
 1文前までの候補を抽出する
(平均候補数: 7)
 2文前までの候補を抽出する (平均候補数: 14)
10
NL-187-7, Sep, 24, 2008
評価実験 (Cont’d)

キャッシュサイズ



局所キャッシュモデル N = 7, 14
大域キャッシュモデル M = 7, 14
混合キャッシュモデル N+M = 14



学習/分類


局所モデルのサイズ: N=7
大域モデルのサイズ: M=7
最大エントロピーモデル (Megam
http://www.cs.utah.edu/~hal/megam/)
評価尺度


先行詞のカバー率: 各ゼロ代名詞に対し，キャッシュ内に先
行詞をどのくらい含んでいるか?
候補の削減率: 候補全体に対して探索すべき候補を削減で
きているか?
11
NL-187-7, Sep, 24, 2008
キャッシュモデルで利用する素性










候補の品詞
候補が引用の中に出現しているか否か
候補が最初の文に出現したか否か
候補の助詞の情報(間接的に主題, 文法役割を表す)
候補が格助詞“は”，“が”，“に”，“を” などを伴った
最も直前の候補か否か
談話要素の顕現性に
関連する
候補が最後の文節に係る
ゼロ代名詞から候補までさかのぼったときに出現し
た接続表現
キャッシュの中の要素か否か
局所キャッシュモデル
でのみ利用可能
文間の距離
12
NL-187-7, Sep, 24, 2008
実験結果(報道記事)
局所キャッシュ
先
行
詞
の
カ
バ
ー
率
N=7
N=14
混合キャッシュ
N=14
大域キャッシュ
N=7
baseline(2文前)
baseline(1文前)
先行詞候補の削減率
13
NL-187-7, Sep, 24, 2008
キャッシュモデルを用いた候補削減の具体例

局所キャッシュモデル(N=7)
理論的な予測に基づいて酵素の構造を一部変え、目
的の化学反応を起こりやすくする新しい酵素を作るこ
とに世界で初めて成功したと、ＮＥＣと江崎グリコの
共同研究チームi が十一日、発表した。
酵素は五千以上もの原子からなり、構造が複雑なた
め、こうした理論予測は難しかった。
有用な化学物質を効率よく作れ、医薬品や食品など
の分野に応用できそうだ。
（φi ガ）実験したのは「ネオプルラナーゼ」という酵素。
先行詞候補
キャッシュされた先行詞候補
14
NL-187-7, Sep, 24, 2008
今回の研究の焦点

結束性と首尾一貫性の観点から
ゼロ照応解析の問題を考える

結束性：文体レベルのつながりの良さ
 センタリング理論(Grosz

et al. 1995)
首尾一貫性: 意味レベルのつながりの良さ
 修辞構造理論(Mann&Thompson,
1988)
 Schankのスクリプト知識(1977)
15
NL-187-7, Sep, 24, 2008
首尾一貫性からゼロ照応解析を考える

さまざまな意味レベルの関係
 修辞構造理論(Mann&Thompson,
88)
 Schankのスクリプト知識(1977)
 (Aガ)罪を犯す

 (Aガ)捕えられる  (Aガ)罰せられる
含意関係認識のための知識獲得(Lin&Pantel
2001, Torisawa 2006, Abe et al. 2008,
Szpektor&Dagan 2008, etc.)
この知識をゼロ照応解析に利用する
16
NL-187-7, Sep, 24, 2008
知識獲得のための3種類の手がかり

動詞の項が類似する場合は関係も類似

DIRT(Lin&Pantel, 2001)が有名


今回はunaryDIRT (Szpektor&Dagan, 2008)を利用


X is the author of Y  X wrote Y
X is the author of  X wrote (単項のみを扱う)
並列構造で何回も出現する (Torisawa 2003, 2006)
村山富市首相は．．．に会見し，．．．と述べた．
 {会見する, 述べる}


同一文章内で同じ名詞句(アンカー)を伴って出現する
(Pekar 2006)
17
NL-187-7, Sep, 24, 2008
共起情報の抽出

アンカーを考慮した共起抽出
 「代名詞」や「名詞-非自立」，「名詞-接尾」以外の
名詞が同一文章中に複数回出現している場合，
それらを近似的に同一指示関係とみなす
 ガ格の係り受け関係のみ抽出
 例)
村山首相が...と言った．．．首相が...否定した．
 { ガ:言う，ガ:否定する }
18
NL-187-7, Sep, 24, 2008
動詞対のスコアの計算方法

共起の抽出
 約20年分の新聞記事から抽出

自己相互情報量PMIで算出
P(vi , v j )
PMI(vi , v j )  log
P(vi ) P(v j )

データスパースネスの問題を回避するため
pLSI (Hoffman, 1999)を用いてスムージング
を行う
P(vi , v j )   P(vi | z) P(v j | z) P( z)
z
19
NL-187-7, Sep, 24, 2008
評価実験：ガ格ゼロ代名詞の先行詞同定
アンカーを用いた動詞対のスコアを素性に加えた場合
に精度が向上するかを調査
 データ: NAISTテキストコーパス





先行詞同定のモデル


訓練: 1163記事，9122事例
評価: 1157記事，8952事例
どこにゼロ代名詞が出現しているかは与える
トーナメントモデル (飯田ら, 2004)
+ 局所キャッシュモデル (N=14) 精度の上限: 91.5%
学習・分類



Support Vector Machine (svmlight)
カーネル: 線形，多項2次
パラメタ: default値
25
NL-187-7, Sep, 24, 2008
4種類の素性
 ゼロ代名詞(と述語)に関する素性


先行詞候補に関する素性


格助詞(e.g. は/が/を/に/etc.), 主辞の品詞, etc.
ゼロ代名詞と先行詞候補の対に関する素性


passive/active, 引用の中, etc.
選択選好のスコア, 先行詞とゼロ代名詞の距離，etc.
先行詞候補対に関する素性

選択選好のスコアの差, 距離の差, etc.
(詳しくはIida et al.(2007)などを参照)
+ ゼロ代名詞側の動詞と先行詞が係る動詞の間のスコア
(MIanchor(vi,vj))
26
NL-187-7, Sep, 24, 2008
実験結果：先行詞同定の評価
カーネル
スコア無し
スコア有り
線形
0.457
(4091/8952)
0.464
(4157/8952)
多項2次
0.506
(4529/8952)
0.510
(4562/8952)
McNemar検定 p < 0.05で有意差あり

動詞対のスコアを単純に素性に加えただけでも
効果あり
27
NL-187-7, Sep, 24, 2008
動詞対のスコアを利用して解析できるようになった例

(φiガ)支持する(φiガ)推進する
米国iは米露間の現実的な戦略的利益に立っ
てエリツィン政権を（φiガ）支持せざるを得ず、
「エリツィンのジレンマはクリントンのジレンマ」
という状況に置かれているためだ。
... ロシアの脅威を骨抜きにした状態で米露核
軍縮を（φiガ）推進し、同時に旧東欧諸国への
北大西洋条約機構拡大を目指している。
28
NL-187-7, Sep, 24, 2008
まとめ
結束性と首尾一貫性の観点から
ゼロ照応の問題を考察
 結束性の観点から

 キャッシュモデルの実現例を提案
 先行詞候補を削減し，解析を効率化

首尾一貫性の観点から
 動詞間の推論規則のスコアをゼロ照応解析に導入
 ガ格ゼロ代名詞の先行詞同定で有効に働くことを示
した
29
NL-187-7, Sep, 24, 2008
今後の方向性

キャッシュモデルの話題
 いろんな記述スタイルに対してキャッシュサイズによ
る振舞いの違いを調査

動詞対のスコアの話題
 スコア計算に利用したコーパスの規模と精度の関係
 省略の連鎖を考慮した解析
〈先行詞〉
(φiガ)
(φjガ)
〈動詞i〉
〈動詞i〉
30
NL-187-7, Sep, 24, 2008
31
NL-187-7, Sep, 24, 2008
実験結果(報道記事) Cont’d
先
行
詞
の
カ
バ
ー
率
N=7
N=28
N=21
N=14
局所キャッシュ
先行詞候補の削減率
N=50
32
NL-187-7, Sep, 24, 2008
大域キャッシュモデル

文章全体の談話要素をランキング
大蔵省は1 十日、64 特殊法人の33 整理・合理化の60 一環と
21 して、明治時代から40 続いている塩の20 専売制を15 一九九
六年中に75 廃止する方針を18 固めた。
現在は19 国が10 ＪＴに13 委託している塩事業を29 民営化、72
ＪＴが4 独占管理している塩の35 輸入・販売を41 自由化す
る。
ただ、塩の50 製造・販売の58 混乱を47 避けるため、80 五年間
の59 経過期間を28 設定。53
新たに70 民間法人の36 塩事業センターを30 設立し、緊急時向
けの27 塩備蓄などを42 (φガ) 行う。
専売制の14 廃止は、6 最終的に74 約六百人の56 人員削減に
48 つながる大規模な61 行政改革で、65 二月78 十日に57 予定さ
れている総務庁への26 特殊法人見直し報告に45 盛り込む。
文字が白いほど先行詞らしさのスコアが大きい
33
NL-187-7, Sep, 24, 2008
大域キャッシュモデル

訓練時
政府1は低所得者を(φ1ガ)支援する計画を発表した。
関係省庁の協力を(φ1ガ)要請する。
正例:
負例: (それ以外)
(一度でも先行詞になる候補) 低所得者，計画，関係省庁，
政府
協力

評価時
 分類器が出力するスコア(確率/分離平面からの距
離)を用いてランキング，n-bestを決定する
34
NL-187-7, Sep, 24, 2008
大域キャッシュモデル

評価時
大蔵省は1 十日、64 特殊法人の33 整理・合理化の60 一環と
21 して、明治時代から40 続いている塩の20 専売制を15 一九九
六年中に75 廃止する方針を18 固めた。
現在は19 国が10 ＪＴに13 委託している塩事業を29 民営化、72
ＪＴが4 独占管理している塩の35 輸入・販売を41 自由化す
る。
ただ、塩の50 製造・販売の58 混乱を47 避けるため、80 五年間
の59 経過期間を28 設定。53
新たに70 民間法人の36 塩事業センターを30 設立し、緊急時向
けの27 塩備蓄などを42 (φガ) 行う。
専売制の14 廃止は、6 最終的に74 約六百人の56 人員削減に
48 つながる大規模な61 行政改革で、65 二月78 十日に57 予定さ
れている総務庁への26 特殊法人見直し報告に45 盛り込む。
35
NL-187-7, Sep, 24, 2008
混合キャッシュモデル
局所キャッシュモデル
大域キャッシュモデル
局所的な談話の
遷移を捉える
大域的な談話の
主題を捉える
cache size=N
cache size=M
2つのモデルの
結果を両方利用する
混合キャッシュモデル
cache size=N+M
36
NL-187-7, Sep, 24, 2008
実験結果(報道記事)
キャッシュモデル
baseline(1文前)
候補の削減率
0.149
先行詞のカバー率
0.521 (2273/4365)
baseline(1文前)
0.269
0.713 (3112/4365)
局所モデル(N=7)
0.146
0.850 (3710/4365)
局所モデル(N=14)
0.277
0.915 (3995/4365)
大域モデル(N=7)
大域モデル(N=14)
0.146
0.277
0.748 (3265/4365)
0.851 (3716/4365)
混合モデル(N=M=7) 0.218
0.890 (3886/4365)
38
NL-187-7, Sep, 24, 2008
実験結果 (社説記事)
キャッシュモデル
baseline(1文前)
候補の削減率
0.065
先行詞のカバー率
0.566 (2959/5231)
baseline(1文前)
0.125
0.747 (3910/5231)
局所モデル(N=7)
0.074
0.811 (4240/5231)
局所モデル(N=14)
0.145
0.891 (4662/5231)
大域モデル(N=7)
大域モデル(N=14)
0.074
0.145
0.517 (2702/5231)
0.673 (3523/5231)
混合モデル(N=M=7) 0.126
0.850 (4447/5231)
39

Download Report