JUMAN/KNPを用いた形態素解析・構文解析実習

JUMAN/KNPを用いた
形態素解析・構文解析
－実習－
黒橋禎夫河原大輔柴田知秀
東京大学
Language & Knowl edge Engi neeri ng Lab
京都大学学術情報メディアセンター
メディア情報処理専修コース「自然言語処理技術」（２００５/８/３０）
目次
1.
2.
3.
4.
5.
6.
7.
インストール確認
環境設定
JUMAN/KNPを使ってみよう
JUMAN/KNPの辞書/ルールの説明（・カスタマイズ）
休憩
Perl超入門
JUMAN/KNPとPerlを用いたいろいろな頻度統計の
取り方
配布パッケージの内容
• C:\juman-knp-20050830
– Install
• juman-5.1.exe, knp-2.0.exe, Perl関連
– src （Perlスクリプト）
• cut.pl, grep.pl, phrase.pl, sort.pl, uniq.pl
– text （サンプルテキスト）
• 料理：cook_small.txt, cook_middle.txt, cook_large.txt
• Web：web_small.txt, web_middle.txt, web_large.txt
– small: 1,000文, middle: 5,000文, large: 20,000文
1.インストール確認
• 配布パッケージ
– C:\juman-knp-20050830
• JUMAN
– C:\Program Files\juman
• KNP
– C:\Program Files\knp
• Perl（ActivePerl）
• Perlモジュール
JUMAN/KNPの実行環境について
• 開発環境のLinuxでは：
– 入出力の文字コード：EUC
– 辞書、ルールの文字コード：EUC
• 本日の実習はWindows
– 入出力の文字コード：SJIS
– 辞書、ルールの文字コード：EUC
• 来週リリースするバージョン
– Linux: すべてEUC
– Windows: すべてSJIS
2.環境設定
• PATHの設定
– マイコンピュータを
右クリックしてプロ
パティを選ぶ
（Windows XPの場合）
2.環境設定
• PATHの設定
– 詳細設定のタブを
選ぶ
2.環境設定
• PATHの設定
– 環境変数を押す
2.環境設定
• PATHの設定
– Pathをクリックして
「編集」をクリック
2.環境設定
• PATHの設定
– Pathをクリックして
「編集」をクリック
– 変数値の末尾に下
記の文字列を追加
する（元の文字列
を消さないよう、ま
ず右矢印を押す）
;C:\Program Files\juman;C:\Program Files\knp
3.1 JUMANを使ってみよう
• コマンドプロンプトを開く
– スタート⇒すべてのプログラム⇒アクセサリ⇒
コマンドプロンプト
3.1 JUMANを使ってみよう
• コマンドプロンプトを開く
3.1 JUMANを使ってみよう
• jumanと打つ
3.1 JUMANを使ってみよう
• 環境設定ができていない場合
3.1 JUMANを使ってみよう
• 「夏休みも明日で最後です。」と入力
Tips
Alt+半角/全角でIMEを立ち上げ
日本語を入力します
3.1 JUMANを使ってみよう
• 「夏休みも明日で最後です。」と入力
Tips
この文は何回か使うので、コピーしておくと便利です
⇒ 右クリックし範囲指定を選び、範囲を指定したら
リターンを押します
3.1 JUMANを使ってみよう
• コントロールZ リターンで終了
3.1 JUMANを使ってみよう
• 今度はjuman –B –e2
Tips
直前のコマンドを表示するには
上矢印を押します
juman –B –e2 フォーマット
表記
読み
原形
品詞
品詞細分類
意味情報
夏なつ夏名詞 6 時相名詞 10 * 0 * 0 "漢字読み:訓代表表記:夏"
休みやすみ休む動詞 2 * 0 子音動詞マ行 9 基本連用形 7 "代表表記:休む"
ももも助詞 9 副助詞 2 * 0 * 0 NIL
@ ももも助詞 9 接続助詞 3 * 0 * 0 NIL
明日あした明日名詞 6 時相名詞 10 * 0 * 0 "代表表記:明日"
@ 明日あす明日名詞 6 時相名詞 10 * 0 * 0 "代表表記:明日"
ででで助詞 9 格助詞 1 * 0 * 0 NIL
最後さいご最後名詞 6 普通名詞 1 * 0 * 0 "代表表記:最後"
ですですだ判定詞 4 * 0 判定詞 25 デス列基本形 24 NIL
。。。特殊 1 句点 1 * 0 * 0 NIL
EOS
活用型
曖昧性のある形態素を表す
活用形
3.2 KNPを使ってみよう
• juman –B –e2 | knp と打つ
3.2 KNPを使ってみよう
• juman –B –e2 | knp –tab と打つ
knp –tab フォーマット
0番目の文節
係り先の文節番号
# S-ID:1 KNP:2005/08/30
* 2D <文頭><モ><助詞><体言><係:未格><並キ:名:&ST:2.5&&モ><区切:1-4><RID:1238><格要素>…
夏なつ夏名詞 6 時相名詞 10 * 0 * 0 "漢字読み:訓代表表記:夏" <漢字読み:訓><代表表記:夏><文頭>…
休みやすみ休み名詞 6 普通名詞 1 * 0 * 0 "代表表記:休み" <代表表記:休み><かな漢字>…
ももも助詞 9 副助詞 2 * 0 * 0 NIL <品曖><ALT-も-も-も-9-3-0-0-NIL><品曖-副助詞><品曖-その他>…
* 2D <時間><強時間><外の関係><モ～><デ><助詞><体言><係:デ格><区切:0-0><RID:1200><格要素>…
明日あした明日名詞 6 時相名詞 10 * 0 * 0 “代表表記:明日” <代表表記:明日><品曖>…
ででで助詞 9 格助詞 1 * 0 * 0 NIL <かな漢字><ひらがな><付属>
* -1D <文末><句点><体言><用言:判><レベル:C><区切:5-5><ID:（文末）><RID:112><提題受:30>
最後さいご最後名詞 6 普通名詞 1 * 0 * 0 "代表表記:最後" <代表表記:最後><漢字><かな漢字>…
ですですだ判定詞 4 * 0 判定詞 25 デス列基本形 24 NIL <表現文末><かな漢字><ひらがな><活用語><付属>
。。。特殊 1 句点 1 * 0 * 0 NIL <文末><英記号><記号><付属>
EOS
1番目の文節
2番目の文節
ファイルから入力する場合
• cd c:\juman-knp-20050830\text
• juman –B –e2 < cook_small.txt > cook_small.jmn
• knp –tab < cook_small.jmn > cook_small.knp
Tips
ファイル・ディレクトリ名は
Tabで補完できます
4.1 JUMAN辞書の説明
コスト最小法
コスト＝∑｛（形態素コスト×形態素コスト重み）
１
（品詞コスト×見出し語コスト）
１０～１００
～１．０～
＋（連接コスト×連接コスト重み）｝
～１０～
から
文頭
４０
読む
４０
１６
１０
４
４０
だ
１１
からだ
１００×１．６
４０
４０
文末
辞書・文法
文法辞書
形態素辞書
ContentW.dic など
JUMAN.grammar （品詞分類）
自立語：３万語
JUMAN.katuyou （活用）
付属語：１５００語
JUMAN.kankei （活用関係）
固有名詞：３万語
JUMAN.connect.c（連接規則：250）
コンパイル
jumandic.tab （連接対応表）
jumandic.mat （連接行列）
jumandic.dat （データベース）
jumandic.pat （インデックス）
ContentW.dic（形態素辞書）
・・・
(名詞 (普通名詞 ((読みからくさ)(見出し語唐草 (から草 1.6) (からくさ 1.6))(意味情報 "代表表
記:唐草"))))
(名詞 (普通名詞 ((読みからくち)(見出し語辛口 (から口 1.6) (からくち 1.6))(意味情報 "代表
表記:辛口"))))
(副詞 ((読みからくも)(見出し語辛くもからくも)(意味情報 "代表表記:辛くも")))
(名詞 (普通名詞 ((読みからくり)(見出し語からくり)(意味情報 "代表表記:からくり"))))
(動詞 ((読みからす)(見出し語枯らすからす)(活用型子音動詞サ行)(意味情報 "代表表記:枯
らす")))
(名詞 (普通名詞 ((読みからす)(見出し語烏カラス (からす 1.6))(意味情報 "代表表記:烏"))))
(名詞 (普通名詞 ((読みからだ)(見出し語身体体 (からだ 1.6))(意味情報 "代表表記:身体"))))
(名詞 (普通名詞 ((読みからだつき)(見出し語体付き体付体つき (からだつき 1.6))(意味情報
"代表表記:体付き"))))
(名詞 (普通名詞 ((読みからっかぜ)(見出し語空っ風 (からっかぜ 1.6))(意味情報 "代表表記:
空っ風"))))
(副詞 ((読みからっきし)(見出し語からっきし)(意味情報 "代表表記:からっきし")))
・・・
JUMAN.connect.c（連接規則辞書）
・・・
((BunsetsuEndSentenceEnd
BunsetsuEnd
(助詞接続助詞 * * の))
((名詞))
4)
((VerbBasicForm
IAdjBasicForm
NaAdjAllBasicForm
AuxBasicForm
NaAdjGuessForm
(* * * タ系推量形)
(動詞 * * タ系連用テ形)
(接尾辞動詞性接尾辞 * タ系連用テ形))
((助詞接続助詞 * * から)))
・・・
4.2 KNPルールの説明
処理の流れ
0. JUMAN –B –e2 の出力を入力に
1. 同形異義語の処理（mrph_home.rule:60）
→ 一意の形態素列に変換
2. 形態素へのfeature付与（mrph_basic.rule:300）
→ 文節列に変換
3. 文節へのfeature付与（bnst_*.rule:200,650）
4. 並列構造解析
5. 係り受け解析（kakari_uke.rule:40）
6. 格解析
ルールの例（bnst_type.rule）
「・・・３０年も前から・・・」などを解析するためのルール
(
( ?* )
← 前の文節列
( < ( ?* [助詞 * * * も] ) ((時間)) > )
← 自分自身
形態素列：「～も」
〈時間〉featureを持つ
( < ( [名詞 * * * (昔前先)] ?* ) > ?* )
← 後ろの文節列
形態素列：「昔｜前｜先～」
係:隣
)
← 与えるfeature
係り受け解析
３０年も前に言語と画像を研究していた
係：隣
係：二格
時間
kakari_uke.rule:
並キ：名
係：ヲ格
用言：動
表層格：ガ,ヲ
係：ヲ格
→
用言表層格：ヲ
係：二格
→
用言表層格：二
係：二格時間
→
用言
係：隣
→
＊
・・・
JUMANのカスタマイズ
• 辞書エントリの追加
– 例えば、「ジンギスカン」を追加する
• まず、今の解析がどうなるかを確認する
• C:\Program Files\juman\dic以下にusr.dicというファ
イルを作り、以下の内容を記述する
(名詞 (普通名詞 ((読みじんぎすかん)
(見出し語ジンギスカンじんぎすかん成吉思汗))))
• C:\Program Files\juman\dicにあるmakedic.batを実
行する
• 解析してみる
休憩
目次
1.
2.
3.
4.
5.
6.
7.
インストール確認
環境設定
JUMAN/KNPを使ってみよう
JUMAN/KNPの辞書/ルールの説明（・カスタマイズ）
休憩
Perl超入門
JUMAN/KNPとPerlを用いたいろいろな頻度統計の
取り方
6.Perl超入門
• Perlは言語処理に適したプログラミング言語
スチームコンベクションオーブン１００℃で４分間
加熱する。
イラストやツクール素材など、自作ゲームも制作
しています。
海洋生物資源の有効利用
含芒硝石膏泉：無色透明、源泉約５０℃
オレンジのビタミンＣが風邪を予防してくれます。
活用の部屋戻る
くっきもさん、お粗末様でございましたこの場合は
おかしいですね
：
テキスト
636 、
597 の
583 に
：
45 塩
42 料理
42 かける
39 味
38 など
37 梅
：
頻度つき単語リスト
6.Perl超入門
• まずはじめに以下のようなファイルをエディタ
（メモ帳など）で作成
use encoding ”shiftjis”;
print ”こんにちは。\n”;
文字列を表示する関数
改行を表す記号
• C:\juman-knp-20050830\src\test.plに保存
• cd C:\juman-knp-20050830\src
• コマンドプロンプトで、perl test.plを実行
おまじない
6.Perl超入門
• パターンにマッチする行を表示するプログラム
（src\grep.pl）
use encoding ’shiftjis’;
$ARGV[0] = Encode::decode(’shiftjis’, $ARGV[0]);
while (<STDIN>) {
print if (/$ARGV[0]/);
}
条件
1つ目の引数
「/…/」はパターンマッチを行う
この行を追加してください
6.Perl超入門
• ソートするプログラム（src\sort.pl）
baa
…
aa
aa
while (<STDIN>) {
push(@buffer,
$_);
baa
}
cccc @...は配列
cccc
aa
aa
配列を逆順にする関数
if ($rflag) {
print reverse sort @buffer;
} else {
print sort @buffer;
ソートする関数
}
6.Perl超入門
• ソートされたファイルから重複行の行数を数える
プログラム（src\uniq.pl）
aa
aa
baa
cccc
use encoding ’shiftjis’;
2 aa
$pre = <STDIN>;
$count = 1;
1 baa
while (<STDIN>) {
if ($pre eq $_)
{
1 cccc
$count++;
} else {
printf ”%6d $pre”, $count;
$pre = $_;
$count = 1;
}
}
printf ”%6d $pre”, $count;
6.Perl超入門
• 各行から指定したカラムを表示するプログラム
（src\cut.pl）
夏なつ夏名詞
6 時相名詞
* 0 * 0 "漢字読み:訓代表表記:夏"
use
encoding 10
’shiftjis’;
休みやすみ休む動詞 2 * 0 子音動詞マ行 9 基本連用形 7 "代表表記:休む"
ももも助詞 9if副助詞
2 * 0 =~
* 0 /^\-(\d+)$/
NIL
($ARGV[0]
&& $1 > 0) {
明日あした明日$cnum
名詞 6=時相名詞
$1 – 1; 10 * 0 * 0 "代表表記:明日"
ででで助詞 9} else
格助詞
{ 1 * 0 * 0 NIL
最後さいご最後die
名詞
6 普通名詞
* 0 * 0 "代表表記:最後"
“Usage:
cut.pl1–n\n”;
ですですだ判定詞
4 * 0 判定詞 25 デス列基本形 24 NIL
}
。。。特殊 1 句点 1 * 0 * 0 NIL
1行をスペースで分割する関数
EOS
while (<STDIN>) {
@data = split;
print $data[$cnum], “\n” if ($#data >= $cnum);
}
6.Perl超入門
• 各行から指定したカラムを表示するプログラム
（src\cut.pl -3）
夏なつ夏名詞
6 時相名詞
* 0 * 0 "漢字読み:訓代表表記:夏"
use
encoding 10
’shiftjis’;
休みやすみ休む動詞 2 * 0 子音動詞マ行 9 基本連用形 7 "代表表記:休む"
ももも助詞 9if副助詞
2 * 0 =~
* 0 /^\-(\d+)$/
NIL
($ARGV[0]
&& $1 > 0) {
明日あした明日$cnum
名詞 6=時相名詞
$1 – 1; 10 * 0 * 0 "代表表記:明日"
ででで助詞 9} else
格助詞
{ 1 * 0 * 0 NIL
最後さいご最後die
名詞
6 普通名詞
* 0 * 0 "代表表記:最後"
“Usage:
cut.pl1–n\n”;
ですですだ判定詞
4 * 0 判定詞 25 デス列基本形 24 NIL
}
。。。特殊 1 句点 1 * 0 * 0 NIL
1行をスペースで分割する関数
EOS
while (<STDIN>) {
@data = split;
print $data[$cnum], “\n” if ($#data >= $cnum);
}
6.Perl超入門
• 各行から指定したカラムを表示するプログラム
（src\cut.pl）
use encoding ’shiftjis’;
if ($ARGV[0] =~ /^\-(\d+)$/ && $1 > 0) {
$cnum = $1 – 1;
} else {
die “Usage: cut.pl –n\n”;
}
1行をスペースで分割する関数
while (<STDIN>) {
@data = split;
print $data[$cnum], “\n” if ($#data >= $cnum);
}
目次
1.
2.
3.
4.
5.
6.
7.
インストール確認
環境設定
JUMAN/KNPを使ってみよう
JUMAN/KNPの辞書/ルールの説明（・カスタマイズ）
休憩
Perl超入門
JUMAN/KNPとPerlを用いたいろいろな頻度統計の
取り方
7.1 単語の頻度を数える
• cd c:\juman-knp-20050830\text
• テキストの例としてcook_small.txtを用いる
スチームコンベクションオーブン１００℃で４分間加熱する。
イラストやツクール素材など、自作ゲームも制作しています。
海洋生物資源の有効利用
含芒硝石膏泉：無色透明、源泉約５０℃
オレンジのビタミンＣが風邪を予防してくれます。
活用の部屋戻る
くっきもさん、お粗末様でございましたこの場合はおかしいですね、調理さ
れたのはあなたですものね
甘さ辛さを味わいつくし、苦さも知った人生、その人の舌が、それを知るは
ずだ。
：
7.1 単語の頻度を数える
• 形態素解析
juman –B –e2 < cook_small.txt > cook_small.jmn
• 単語の原形を抽出する
perl ..\src\cut.pl -3 < cook_small.jmn | more
3つ目＝原形を抽出
スチームコンベクションオーブ
ン
１００
℃
で
４
分間
加熱
する
。
7.1 単語の頻度を数える
• 抽出した単語の頻度を数える
perl ..\src\cut.pl -3 < cook_small.jmn | perl ..\src\sort.pl |
perl ..\src\uniq.pl | perl ..\src\sort.pl –r | more
：
ある
ある
ある
ある
ある
ある
ある
ある
ある
：
：
1 ありがとう
52 ある
1 あわせた
1 あわせて
1 あわせる
1 あわび
6 あん
1 あんしん
1 あんずる
：
636 、
597 の
583 に
：
45 塩
42 料理
42 かける
39 味
38 など
37 梅
：
src\phrase.pl
•#!/usr/bin/perl
文節や係り受けを抽出するプログラム
 文節の抽出：phrase.pl -1
# UNIX系OSの環境で、標準入力からテキストを読みながら解析する場合は以下のようにする
係り受けの抽出：phrase.pl -2
# use
KNP;
# 文節または係り受けを抽出するスクリプト
# $KNP = new KNP;
# while (<STDIN>) {
# $result = $KNP->parse($_);
# for my $bnst ($result->bnst) {
#
...
• cook_large.knpでやってみる
 perl ..\src\phrase.pl -1 knp\cook_large.knp >
cook_large.dat1
use KNP::File;
use encoding 'shiftjis';

perl
..\src\phrase.pl
-2
knp\cook_large.knp
>
if ($ARGV[0] =~ /\-(1|2)$/ && -f $ARGV[1]) {
$type cook_large.dat2
= $1;
# 解析済みファイルを読み込む
$KNP = new KNP::File($ARGV[1]) || die;
} else {
：
7.2 文節の頻度を数える
• 抽出した文節の頻度を数える
perl ..\src\sort.pl < cook_large.dat1 | perl ..\src\uniq.pl |
perl ..\src\sort.pl -r | more
1618 する
1001 入れる
518 加える
511 味
：
315 鍋
296 よい
292 料理
284 かける
269 炒める
：
7.3 係り受けの頻度を数える
• 抽出した係り受けの頻度を数える
perl ..\src\sort.pl < cook_large.dat2 | perl ..\src\uniq.pl |
perl ..\src\sort.pl –r | more
188 最新のレシピ
188 レシピは NTTグルメページ
97 鍋に入れる
77 1ヵ所につく
59 皮をむく
59 みじん切りにする
57 火にかける
56 器に盛る
53 大きさに切る
：
表現の検索
• 「切る」を検索
perl ..\src\sort.pl < cook_large.dat2 | perl ..\src\uniq.pl |
perl ..\src\sort.pl –r | perl ..\src\grep.pl 切る | more
53 大きさに切る
33 長さに切る
31 一口大に切る
29 半分に切る
16 水気を切る
12 薄く切る
11 縦半分に切る
10 棒状に切る
10 切り切る
：
表現の検索
• 「を切る」を検索
perl ..\src\sort.pl < cook_large.dat2 | perl ..\src\uniq.pl |
perl ..\src\sort.pl –r | perl ..\src\grep.pl ”を切る” | more
16 水気を切る
7 水を切る
5 部分を切る
4 材料を切る
3 香味野菜を切る
3 豚肉を切る
3 肉を切る
3 油を切る
2 茎を切る
：
試してみよう
• 別のテキストでやってみる
• 自分の知りたい表現を検索してみる

Download Report