ことばとコンピュータ

言語体系とコンピュータ
第6回
本日の内容
• 文がどんな構造をしているか決める(説明編)
– なぜ決める必要があるか?
• 黒い目の大きな女の子
• I eat the apples in the garden
– 必要なもの
2
文がどんな構造をしているか決める
• なぜそんなことを考える必要があるのか?
– 次の例文を考えてみる
3
文がどんな構造をしているか決める
• なぜそんなことを考える必要があるのか?
– 次の例文を考えてみる
• 黒い瞳の大きな女の子
4
文の構造の曖昧性(1)
• 黒い瞳の大きな女の子
(((黒い瞳)の)
(大きな女の子))
5
文の構造の曖昧性(2)
• 黒い瞳の大きな女の子
(黒い
(((瞳の)大きな)
女の子))
6
文の構造の曖昧性(3)
• 黒い瞳の大きな女の子
((((黒い瞳)の)大きな)
女の子)
7
文の構造の曖昧性(3)
• 黒い瞳の大きな女の子
曖昧!
8
文の構造の曖昧性(4)
• 黒い瞳の大きな女の子
(黒い
(瞳の)
((大きな)(女の子)))
9
文の構造の曖昧性(5)
• 黒い瞳の大きな女の子
これは変!
(黒い
(瞳の)
((大きな)(女の子)))
10
文の構造の曖昧性(6)
• 黒い瞳の大きな女の子
これは変!
(黒い
(瞳の)
((大きな)(女の子)))
曖昧性はあるものの,少なくとも,文の構造を考
えると,おかしなもの(解釈)は排除できる
11
文がどんな構造をしているか決める
• なぜそんなことを考える必要があるのか?
– もう1つの例文を考えてみる
• I ate the apples in the garden.
12
文の構造の曖昧性2(1)
I
eat the apples in the garden.
Noun Verb Det Noun
Prep Det
Noun
13
文の構造の曖昧性2(2)
I
eat the apples in the garden.
Noun Verb Det Noun
Prep Det
Noun
品詞が同じでも...
14
文の構造の曖昧性2(3)
I
eat the apples in the garden.
Noun Verb Det Noun
Prep Det
Noun
15
文の構造の曖昧性2(4)
I
eat the apples in the garden.
Noun Verb Det Noun
Prep Det
Noun
私は庭でりんごを食べた
16
文の構造の曖昧性2(5)
S
NP
VP
VP
PP
NP
N
I
V
eat
NP
Det N
Prep Det
the apples in the
N
garden .
私は庭でりんごを食べた
17
文の構造の曖昧性2(6)
I
eat the apples in the garden.
Noun Verb Det Noun
Prep Det
Noun
18
文の構造の曖昧性2(7)
I
eat the apples in the garden.
Noun Verb Det Noun
Prep Det
Noun
私は庭のりんごを食べた
19
文の構造の曖昧性2(8)
S
NP
VP
NP
VP
PP
NP
N
I
V
eat
NP
Det N
Prep Det
the apples in the
N
garden .
私は庭のりんごを食べた
20
文がどんな構造をしているか決める
• どんな構造があるかを見つける必要がある
– 曖昧なので,複数あることが多い
– 候補の中でありえないものは排除したい
→文として「あり」か,「なし」か
を見極める作業ともいえる
21
どうやって文の構造を決めるか?
• ある文字列が文か文でないか?
– どうやって決める?
– 確実なのは母語話者の直感!
• 母語話者でも判定が難しいこともあるけど...
「まじありえなくなくない?」
どちらにせよ.毎回母語話者が必要だとしたら
不便だし, コンピュータでの処理は無理...
• それを克服するには,文法が必要
22
文法(1)
• 要素G = < VT, VN,
P, σ>
– VT :終端記号
– VN :非終端記号
– P :生成規則の集合
– σ :初期記号 σ∈ VN
というような記号を使って表現
23
文法(2)
• 文脈自由文法(CFG:
Context Free Grammar)
– 左辺にひとつの非終端記号を置き,それが他の
カテゴリー(列)にどのように置き換わるかを右辺
に記述
X → YZ
という形
例:
S → NP VP
(文 → 名詞句 動詞句)
24
文法(3)
• 文脈自由文法(CFG: Context Free Grammar)
G = < VT, VX,VC,PD,PP,σ>
– VT :終端記号
– VX :非終端記号
– VC :前終端記号 ←終端記号の1つ前の状態
– PD :辞書規則の集合
– PP :句構造規則の集合
– σ :初期記号 σ∈ VN
というような記号を使って表現
25
文法(4)
• 文脈自由文法の例
– PP :句構造規則の集合
(1)S→NP VP (4)NP→DET N (7)VP→VP NP
(2)NP→N
(5)VP→V
(8)VP→VP PP
(3)NP→NP PP (6)VP→V NP
(9)PP→Prep NP
– PD :辞書規則の集合
N→ I, apples, garden
V→ eat
Det → the
Prep→ in
26
文の構造を決める
• 今回は手順はあまり気にせず作業
S
↑
ボトムアップ
I eat
the
apples
in
the garden.
27
文の構造を決める(2)
• 今回は手順はあまり気にせず作業
PD :辞書規則を調べて,品詞を対応させる
N V
I eat
Det N
the
apples
Prep Det
in
the
N
garden.
28
文の構造を決める(3)
• 今回は手順はあまり気にせず作業
PP :句構造規則を調べて,句をつくる
N V
I eat
Det N
the
apples
Prep Det
in
the
N
garden.
29
文の構造を決める(4)
• 今回は手順はあまり気にせず作業
PP :句構造規則を調べて,句をつくる
(2) NP → N という規則がある!
N V
I eat
Det N
the
apples
Prep Det
in
the
N
garden.
30
文の構造を決める(5)
• 今回は手順はあまり気にせず作業
PP :句構造規則を調べて,句をつくる
NP
(2) NP → N という規則がある!
N V
I eat
Det N
the
apples
Prep Det
in
the
N
garden.
31
文の構造を決める(6)
• 今回は手順はあまり気にせず作業
PP :句構造規則を調べて,句をつくる
NP
(4)NP → Det N がある
N V
I eat
Det N
the
apples
Prep Det
in
the
N
garden.
32
文の構造を決める(7)
• 今回は手順はあまり気にせず作業
PP :句構造規則を調べて,句をつくる
NP
NP
(4)NP → Det N がある
N V
I eat
Det N
the
apples
Prep Det
in
the
N
garden.
33
文の構造を決める(8)
• 今回は手順はあまり気にせず作業
PP :句構造規則を調べて,句をつくる
NP
NP
以降も最後まで
続ける!
N V
I eat
Det N
the
apples
Prep Det
in
the
N
garden.
34
文の構造を決める2(1)
• 今回は手順はあまり気にせず作業
S
トップダウン
↓
I eat
the
apples
in
the garden.
35
文の構造を決める2(2)
S
NP
I eat
the
apples
VP
in
the garden.
36
文の構造を決める2(3)
S
NP
I
I eat
the
apples
VP
VP
in
the garden.
37
文の構造を決める2(4)
S
NP
I
I
I eat
the
VP
VP
V
apples
in
the garden.
38
文の構造を決める2(5)
S
NP
I
I eat
I
V
I
eat
the
apples
VP
VP
in
the garden.
39
文の構造を決める2(6)
S
NP
I
I eat
I
V
I
eat
the
apples
VP
VP
in
the garden.
40
文の構造を決める2(7)
S
NP
I
I eat
I
V
I
eat
the
VP
VP
I
V
NP
apples
in
the garden.
41
文の構造を決める2(8)
S
NP
I
I eat
VP
VP
I
V
I
I
eat
I eat NP
the
apples
V
in
NP
the garden.
42
文の構造を決める2(9)
S
NP
I
I eat
VP
VP
I
V
I
I
eat
I eat NP
the
apples
V
in
NP
最後まで
続ける
the garden.
43