自然言語処理 - 学術情報センター

第3回課題の補足説明
自然言語処理
• シソーラスで検索する名詞を選ぶ際に,固有名詞
を選ばないこと.(日本語)WordNet では一般に,
固有名詞の上位語(hypernym)は存在しない
Natural Language Processing
第10回
“Asia”
2016/11/30
holonym
“Japan”
芝浦工業大学 工学部 情報工学科
“solar system”
holonym
holonym
杉本 徹
“Tokyo”
holonym
全体語
“Earth”
上位語とは異なる
今日の内容
• 文脈解析
– 文脈解析の概要
文脈解析の概要
• 文脈とは?
• 文脈解析の必要性
– 照応解析,省略補完
• 照応関係
• 照応解析の流れ
復習: 自然言語の解析処理の流れ
入力文
第4,5回 ① 形態素解析
第6,7回
第8,9回
② 構文解析
③ 意味解析
「太郎は本を読んだ。」
太郎 は 本 を 読ん だ
名 助 名 助 動 助動
太郎 は 本 を 読ん だ
agent
taro
第10回
④ 文脈解析
複数の文に
またがる処理
read
object
book
文脈解析 (Contextual Analysis)
• 文が単独で使われることは少ない
– 複数の文で構成される文章の一部分として使われる
– 特定の時・場所において,周囲にある事物や,話し手
と聞き手が共有する情報・知識の前提の下で使われ
る (⇒ 特定の状況において使われる)
• 意味解析で得られた文の意味構造を,文章中の
前後の文との関係やその文が使用される状況と
の関係を踏まえて拡張することにより,文脈(ま
たは状況)の中でその文がもつ意味を理解する
1
文脈(Context)とは?
• 「文脈」 の意味 (広辞苑)
①
文脈 (①の意味のcontext)
• 文章中の文と文の間の表現内容のつながり
– 文中での語の意味の続きぐあい
• 結束性(cohesion)
– 文章の中での文と文との続きぐあい
• “Context” の意味 (Dictionary of Contemporary English)
– 以下のような方法で,文間のつながりを表現する
• 同じ単語の繰り返し
②
– the situation, events, or information that are related to
something and that help you to understand it
• 言い換え(paraphrase)
①
– the words that come just before and after a word or
sentence and that help you understand its meaning
• 省略
• 照応表現(指示詞など)
• 接続語
結束性 (Cohesion)
文章の例
例(2008/4/21 産経新聞):
段落
東京ディズニーランド(TDL)を運営するオリエンタルランド
(千葉県浦安市)は21日、賞味期限切れの商品「明治ベ
ビーフード赤ちゃん村麦茶」4個をTDL内で販売したと発表
した。 従業員のチェックミスが原因。 来園者から健康被害
の訴えや苦情はないが、対象商品を回収する。
同社によると、問題の商品は3月27日から今月19日の
間、ベビーセンターの入り口カウンターで販売。 賞味期限
(今年3月21日)は紙箱の底面に記されている。 同社は
「(製造者の)明治乳業に責任はなく、当社の管理ミス。
チェック頻度を高めるなど再発防止に努めたい」としている。
②の意味のcontext
• 文化のコンテクスト(Context of Culture)
– 人々が共有する行動様式,価値観,やり取りの型など
• 状況のコンテクスト(Context of Situation)
– 言語使用域(Register)
活動領域(Field)
何が起きているのか,話題は何か
役割関係(Tenor)
話し手と聞き手の関係や社会的役割
伝達様式(Mode)
伝達方法,伝達媒体
– その他,話し手と聞き手が共有する情報・知識すべて
• 過去の会話で言及された事物,目の前にある物など
文1
東京ディズニーランド(TDL)を運営するオリエンタル
ランド(千葉県浦安市)は21日、賞味期限切れの商
品「明治ベビーフード赤ちゃん村麦茶」4個をTDL内
で販売したと発表した。
文2
(φの)従業員の(φの)チェックミスが(φの)原因。
文3
(φの)来園者から(φによる)健康被害の訴えや苦
情はないが、対象商品を(φが)回収する。
同社によると、問題の商品は3月27日から今月19
文4
日の間、(φの)ベビーセンターの入り口カウンターで
(φが)販売。
文脈解析の必要性(1)
文脈(①の意味のcontext)に関して
• 話し手(書き手)が伝えたいと思う内容は,しばしば多くの
概念や事象が複雑に絡み合った構造をもつ情報であり,
単一の文で表現するのは困難
⇒ その情報を複数の部分に分割して,それぞれの
部分を1つの文として表現する(文章ができる)
• 聞き手(読み手)は,受け取った文章を文単位で理解する
(意味表現を作る)だけでは不十分.それらを1つに統合
して話し手(書き手)が伝えたかった内容を復元する.
(伝えたい内容)
「太郎は公園で犬に会った.」 「犬が(φに)吠えた.」
meet
bark 生成
place agt goa goa agt
park
taro
dog
理解
meet
place agt
park
taro
goal
dog
bark
goal
taro
agent
dog
2
文脈解析の必要性(2)
②の意味のcontextに関して
文脈解析の処理の種類
• 照応解析 (Anaphora Resolution)
• 文の意味や,文の構成要素の意味を,その文が
使われた状況に存在する事物や,話し手と聞き手
が情報を共有する事物と結びつけることにより,
理解する
例1: 「その煎餅はおいしい.」
– 「その煎餅」=目の前にある煎餅
delicious
object
cracker
例2: 「太郎からメールが来たよ.」
– 「太郎」=2人の共通の知り合いである太郎
• 文章(談話)構造解析 (Discourse Structure Analysis)
– 文間の意味的関係(修辞関係. 例:原因・結果,詳細化,
対比)を同定し,文章全体の意味的な構造を明らかにする
(修辞構造解析)
• (対話における)発話意図認識
receive
source
object
taro
– 指示詞,代名詞,定名詞句が何を指すか同定する
– 省略された語の補完も照応解析の一種と見なせる
mail
– 話し手が文を発話した意図を推測する
– 例: 「お腹が空いたね.」 ⇒ 食事の誘い
– 計画立案(planning)の技法を応用して上位の意図を推測
照応関係 (Anaphoric Relation)
照応解析,省略補完
• ある言語表現が文章中の他の言語表現,または
(言語外の)状況内に存在する事物と同じ対象を
指すこと
– 先行詞(Antecedent): 指し示される対象となる言語表現
– 照応詞(Anaphor): 先行詞を指し示す言語表現
• 例: 「 太郎 はコンビニで パン を買いました.
大学に着くと 彼 は それ を食べました.」
先行詞
照応詞
照応の種類
• 文脈照応(Endophora):指示対象が文章中に存在する
– 前方照応(Anaphora): 先行詞は照応詞より前
• 例: 前ページの例文
– 後方照応(Cataphora): 先行詞は照応詞より後
• 例: 「こんな人を見たよ.小さい子供を連れて・・・」
• 外界照応(Exophora):指示対象が文章中に存在しない
– 例: 「その本を取ってください.」
(2人の目の前にある本)
照応詞の種類
1.定名詞(definite noun)
– 先行詞と同じ語の繰り返し,または言い換え
– 例: 「昔,お姫様がお城に住んでいました.
お姫様は花が好きでした.」
2.指示詞(demonstrative)
– 「これ」,「そこ」,「どちら」,「そのお姫様」 など
– 文を指し示すこともできる
– 例: 「誰もがそれ(そのこと)を知っていました.」
3.代名詞(pronoun)
– 「私」,「あなた」,「彼」,「彼女」 など
3
照応詞の種類(続き)
照応解析の流れ
4.ゼロ代名詞(zero pronoun)
1.照応詞を見つける
– すでに聞き手の意識にのぼっていて,容易に補完で
きると判断されるときは,照応詞が表現されないこと
がある(省略)
– 例: 「昔,お姫様がお城に住んでいました.
とても美しいと国中の評判でした.」
「昔,お姫様がお城に住んでいました.
(お姫様は)とても美しいと国中の評判でした.」
φ ← ゼロ代名詞と呼ぶ
– 定名詞: 文中の全名詞に対し,それが定名詞であるか
判定を行い,定名詞ならば抽出する
– 指示詞,代名詞: すべて抽出する
– ゼロ代名詞: 格フレーム辞書を参照し,文中の述語で
格要素が欠けているものがないか調べる
2.照応詞に対し,先行詞の候補を列挙する
– 先行する文脈に出現する名詞などを列挙する
3.制約と選好を考慮して,先行詞を決定する
先行詞を決めるための制約と選好
参考: 名詞の分類
• 制約(constraint)
分類
総称名詞
定名詞
非総称名詞
特定
不定名詞
不特定
例文
犬はひとなつっこいです.
その犬は人なつっこいです.
犬が三匹います.
犬を飼っていますか?
• 定名詞の特徴: 次のような句や文でよく使われる
– 指示詞+名詞 例:「その犬」
– 名詞+「は」+述語の過去形 例:「犬は吠えた.」
– 名詞+「まで(から)」 例:「駅から学校まで走った.」
– 指示詞,代名詞の使用に関する制約
例: 「その人」⇒人間,「それら」⇒複数,「彼」⇒男性
– 述語の選択制限: とくにゼロ代名詞(省略補完)の場合,
格フレームに記述された選択制限を満たす候補に限定
• 選好(preference)
– 主題(theme): 文が何について述べているかを示す部分
であり,先行詞になりやすい
– 焦点(focus): 文中の新情報のうち話し手が強調したい
部分であり,先行詞になりやすい
– 主格,対象格などの格要素は先行詞になりやすい
– 照応詞までの距離が短いほど先行詞になりやすい など
照応解析(省略補完)の例
「太郎は食堂に行った.
カレーを食べた.」
今日のまとめ
「太郎は食堂に行った.
とても混んでいた.」
• 文脈解析
– 文脈解析の概要
• 文脈とは?
go
agent
eat
goal
agent
object
go
agent
crowded
goal
object
• 文脈解析の必要性
– 照応解析,省略補完
• 照応関係
taro cafeteria curry
taro
cafeteria
文章中の文脈と文章外
の状況は同様に扱える
• 照応解析の流れ
省略補完は照応解析の
一種と見なせる
4