今日の内容自然言語処理システム特論意味解析の基礎 • 意味解析とは？ Natural Language Processing Systems 第３回 • 名詞の意味 • 動詞の意味 2015/4/21 芝浦工業大学工学部情報工学科杉本徹 [email protected] 実験課題の補足 • グループワーク（話し合い）復習：自然言語の解析処理の流れ意味解析とは？入力文「太郎は本を読んだ。」 ① 形態素解析太郎は本を読んだ ② 構文解析名助名助動助動太郎は本を読んだ ③ 意味解析 agent taro ④ 文脈解析意味表現の例（グラフ構造）例：「太郎は面白い本を読んだ．」 read interesting taro object 「太郎は本を読んだ．」注：入力文に対する論理式表現やグラフの構造，ラベル名の与え方は一つに決まっているわけではない複数の文にまたがる処理「太郎は本を読んだか？」 statement object book object book 意味表現（命題＋発話行為） content agent read ask content read agent read object taro book agent taro object book 発話行為（Speech Act）：発話を一種の行為（action）ととらえる．陳述，依頼，質問，命令，許可，約束，感謝などの種類がある． 1 意味解析の手法（単純化した処理手順） • 例：「太郎が生協の食堂でカレーを食べた．」係り受け木食べた１．単語辞書を参照して意味表現 eat / 文節の主辞を概念に変換 live 生協の agent 名詞の意味 dining / curry / taro cafeteria Calais 太郎が食堂でカレーを eat / live co-op 複数の概念候補 place object ３．意味役割付与 taro dining / curry / ２．語義曖昧性解消 cafeteria Calais 単語の概念を１つに深層格を求める絞り込む possessor co-op 名詞の意味を捉える方法 • 定義文の記述 – 例：「学校」一定の場所に設けられた施設に，児童・生徒・学生を集めて，教師が計画的・継続的に教育を行う機関．（大辞林）表現（単語）と意味（概念） • 自然言語の表現（単語）とそれが持つ意味（概念）の関係は，多対多の関係「少女」 • 用例を集める – 例：学校の試験があるが，準備の勉強もできないまま登校した．４駅先のマンションから学校に通う．（朝日新聞） • 他の語との関連の記述 – – – – 同義語・類義語上位語下位語関連語学び舎，学府，スクール教育機関，公共施設小学校，大学，大学院，・・・教室，授業，教師，卒業，・・・シソーラス概念体系単語（or 単語が表しうる概念）の体系化 girl （単語）「女の子」（概念） daughter 「娘」多義語・・・１つの単語が複数の意味（概念）を持つ同義語・・・複数の単語が同じ意味（概念）を持つシソーラスの例：分類語彙表（抜粋） • シソーラス（thesaurus）体 – 単語を意味的関係（同義語，上位語，下位語など）に基づいて分類・整理したもの（類語辞書）関係主体用活動相生産物自然 – 例：分類語彙表（国語研）：１０万語の日本語シソーラス Word Net（Princeton大）：１０万語の英語シソーラス人間家族社会機関 • 概念体系 – 単語が表しうる意味（概念）を主に上位・下位関係（一般・特殊）関係に基づいて分類・整理したもの男女老少夫婦子（孫）学校など店など – 例：EDR 概念体系辞書：４１万個の概念からなる体系日本語語彙体系（NTT）： 3000種の意味素からなる体系男性淑女ミセス少年兄さん翁亭主奥様皇后娘お嬢さん皇太子大学私学母校コンビニデパート学食 2 ＥＤＲ概念体系（抜粋） 3d017c 物事概念識別子凡例： 3aa966 概念の説明概念 444d86 もの 30f7e4 3aa911 3d017c 事象人間・主体物事（次ページに続く） 30f7e5 30f801 30f83e 3aa963 現象移動行為状態 30f832 30f802 3f9736 3f9871 情報の移動空間移動加える性状・性向 444e40 30f6ae 抽象物具体物 444e3f 具体的あるいは抽象的存在物 3aa941 30f6f0 30f780 30f6bf 444d57 システム器具情報媒体動物作品 3bc732 3cdcc5 4448ab 10c9bb 30f6c5 3be65c プログラムワープロ光ディスク郵便物哺乳類映画 30f7c8 物事に対する評価 3f96e6 3f96e7 3cff8a 0fe35d 30f7b7 444db1 3bc043 情報の発信情報の受信発送する追加する人の気持ち事物の属性価値が高い 0e910d 1034ee 1e887c 3cf8db 0fbcfb 書き記す読むうれしい悲しい空間的に高い 201de9 アプリケーション 3c1f9e ソフトウェア 3c6726 70009d コンパクトディスクデジタルビデオディスク 0f272b 0f6441 3bdc67 101b25 3ccae4 手紙暑中見舞い犬猫アニメ映画共起辞書（EDRなど） • ある単語（または概念）と一緒に使われる単語（概念）のリスト（⇒ 関連語）動詞の意味例：「学校」という名詞と共起する名詞いじめ，帰り道，学生，教科書，教室，行事，グラウンド，校歌，校舎，校長，講堂，試験，宿題，職員室，授業，成績，生徒，先生，卒業，体育館，図書館，友達，勉強など格（case）構造格フレーム辞書の例（EDR） • 格：文中の動詞に対して他の語が果たす役割 – 表層格：「が」格，「を」格，「に」格など – 深層格： agent, object, goal, source, place など「が」「を」「に」「から」 agent source 自動物，器具，等建物，場所，等 agent source 人間，動物場所 object 具体物，情報媒体等太郎はその本を友達に表層格「が」格「を」格「に」格深層格 agent object goal 貸した動詞 • 動詞によって，文中でどのような格を取るか大体決まっている（格フレーム，文型パターン） object goal 人間，動物，天体等位置－方向 object goal source 具体物人間，組織人間，組織 object 情報媒体，音楽，等 object source 現象，行為具体物，等「出る」内から外へ行く「出る」かえりみないで放っておく「出る」品物がよく売れる「出る」姿を現すこと「出る」与えられる「出る」発行される「出る」事態が新たに生じる • 赤字は格要素に対する意味的制約（選択制限） 3 動詞の意味を分析的に捉える • 例：「次郎は太郎に勉強を教わった」受ける ⇔ 「太郎は次郎に勉強を教えた」授ける • 語彙意味論，語彙概念構造 – 動詞の意味を，BE, BECOME, MOVE, AT, TO などの基本的な意味素の組み合わせに還元 – 例：「教わる」 [BECOME [x BE[WITH [y MOVE [FROM z] [TOWARD x]]]]] ここまでのまとめ • 意味解析の基礎 – 意味解析とは？ – 名詞の意味 – 動詞の意味続きは第6回（統計的意味解析）に！ • 概念依存理論（Schank 1975） – 動詞の意味を，PTRANS（物理的移動），ATRANS（抽象的移動）など少数の意味素の組み合わせに還元実験課題について • 3～4人でチームを作って，自然言語データを自作プログラムで分析する実験に取り組む実験課題の補足 – チームは杉本がランダムに決定（済） – 課題は後述の４つの課題の中からチームごとに１つを杉本が指定（済） – 各チームはメンバー間で分担して与えられた課題の実験に取り組む – プログラム作成だけでなく，完成したプログラムを用いて自然言語データを分析し，その結果の評価・考察も行うこと日程 • 第2回参加アンケート（済） • 第3回グループ分け発表，話し合い • 第4回実験の構想発表（プレゼン） – 実験の目的，作成するシステムの機能（入力と出力の仕様など），処理内容・手順，使用予定のデータ，評価方法，分担 • 第8～10回実験の結果報告（プレゼン） – 実験の目的，システムの機能，アルゴリズムの説明，使用したデータ，使用したツール，実験結果，考察，分担，参考文献注意事項 • グループの全メンバーがそれぞれ，実験課題の実施（プログラム作成，データ作成，評価実験）と結果報告（発表資料作成，発表）の両方に関与すること． • 与えられた課題を直接解決する機能をもったツール（言語，ソフト）は使わないこと．具体的には，課題１ → かな漢字変換ソフト課題２ → N-gram作成ツール課題３ → 単語の類似度計算ツール課題４ → 文章を入力とする分類ツール（素性集合を入力する分類ツールはOK） • 課題解決やデータ作成のための処理過程の一部を行うツールは使用してよい（例：形態素解析ツール） – ツールを使用した場合，結果報告プレゼンで言及すること 4 ヒント：コーパスの作成方法課題１（かな漢字変換）の補足１．無料で入手できる文章データを収集する – 青空文庫，Wikipedia記事，研究論文，ニュースサイト記事などから手作業でデータ構築する２．形態素解析ツールを用いて，収集した文章データを単語列に分解する • 実験を始めやすいように，近日，青空文庫をデータ源とする小規模コーパス（50～100万単語）を提供予定 – 各自でより大規模なコーパスを作成して使うとよい • 参考：既存の主なコーパスやテキストデータのサイズ無料）青空文庫（1～10万語／作品），Wikipedia記事（全体で約2億語？）有料） EDRコーパス（約500万語），新聞記事（約3000万語／年），現代日本語書き言葉均衡コーパス（約1億語）課題２（N-gramデータの作成と利用）の補足 • ごく小さいコーパスからのN-gramデータ作成例太郎は学生です。花子もです。太郎は音楽が好き。花子は映画が好きです学生です。 1-gram(unigram) 2-gram(bigram) 1-gram確率の例 1-gram 回数 2 太郎 3 は 2 学生．．．．．． 2-gram 回数 2 太郎，は 1 は，学生 2 学生，です．．．．．． P(太郎）=2/24=0.08 2-gram確率の例 P(学生｜は) =1/3 =0.33 課題４（文章のカテゴリ分類）の補足 • ここでは Naïve Bayes分類器について説明 • 問題：文章 d が単語 w1, w2, …, wn からなるとき，この文章 d をカテゴリ c1, c2, …, ck のいずれか１つに分類する • 前回の資料の訂正「形態素解析ツールなど既存の言語処理ツールは利用不可」 ⇒入力文に対する変換処理の一部として使用するのは不可だが，解析に必要なデータ（例：コスト値）を事前に準備する際に利用するのは構わない • 入力文と単語辞書の照合の際に，動詞などの活用を考慮する必要あり – 入力文例：「ラーメンを食べた。」 ⇒ 「食べ」をどう扱うか？ – MeCab付属のIPA辞書（Windows版，csv形式）には，このような語形変化後の表記が見出し語として１つずつ登録されているので便利課題３（単語の類似度計算）の補足 • 方法１．シソーラスに基づく類似度計算 – 計算により得られた類似度の値の適切さをどうやって評価すればよいか考えてみるとよい • 方法２．単語の分布類似度の計算 – 共起単語の例 • 「ラーメン」 ⇒ { 「食べる」，「作る」，「注文する」，… } • 「うどん」 ⇒ { 「食べる」，「作る」，「ゆでる」，… } – 共起単語集合の重なり具合を測る尺度 • Jaccard係数，Simpson係数，Cosine類似度など問題：条件付き確率 P(cj | w1…wn) が最大となるカテゴリ cj を求める • Bayes の法則より P(cj | w1…wn) ＝ P(w1…wn | cj)×P(cj) P(w1…wn) – 分母は cj の選び方に依存しないので無視できる • 各wi の出現が互いに独立であると仮定すると n P(w1…wn | cj) ＝ Π P(wi | cj) i=1 n – したがって， P(cj | w1…wn) ∝ P(cj)× Π P(wi | cj) i=1 • 赤枠内の式の値が最大となる cj を選べばよい 5 コーパスデータに基づく確率の最尤推定コーパス = カテゴリ分類済みの文章の集合（文章群） P(cj) ＝ P(wi | cj) ＝（コーパス中でカテゴリ cj に分類された文章数）（コーパス中の全文章数）次回の構想発表に向けた話し合い（グループワーク）（コーパス中でカテゴリ cj に分類された文章で，単語 wi を含むものの数） ※1 （コーパス中でカテゴリ cj に分類された文章数） ※1 wi が１回も出現しない場合は，確率 P(wi | cj) を 0 にせず，微小な数値を割り当てる（smoothing）次回（4/28）の予定 • 実験課題の構想発表 – １グループあたり，発表５分，質疑５分 – 発表用ファイルをUSBメモリに入れて持参 – 以下のような内容を含めること • • • • • • 実験の目的作成するシステムの機能（入力と出力の仕様など）処理内容・手順使用予定のデータ評価方法分担 – 聴衆からのフィードバック参考文献 • 「日本語入力を支える技術」徳永拓之，技術評論社，2012 – かな漢字変換 • 「確率的言語モデル」北研二，東大出版会，1999 – N-gramモデル，smoothing(discounting) • 「Nグラムモデルによる，日本語単語の並べ換え実験」丸山宏，情報処理学会全国大会，1994 – bag translation • 「自然言語処理の基礎」奥村学，コロナ社，2010 – シソーラスに基づく類似度計算，文章分類など • 「言語処理のための機械学習入門」高村大也，コロナ社，2010 – 文書分類 • “Introduction to Information Retrieval” Manning et.al., Cambridge, 2008 （邦訳あり） – 文書分類 6