Jointly optimizing word representations for lexical and sentential tasks with the C-PHRASE model 橋本和真 東京大学・鶴岡研究室 博士課程１年 2015/08/24 ACL読み会@東工大 コーパスからのフレーズベクトルの学習 • word2vecをはじめとした単語ベクトルの話が盛ん – 単語の共起に基づく単語ベクトルの学習 • 「同じような文脈に出てくる単語の意味は近い」 • この論文で提案してること – 任意のフレーズのベクトルも同じように同時に学習 • 単語とフレーズの共起 • フレーズを特定するために構文解析器を利用 “To the best of our knowledge, C-PHRASE is the first model that is jointly optimized for lexical and compositional tasks.” 2015/08/24 ACL読み会@東工大 2 / 14 CBOW+Skipgram C-PHRASE • word2vecに実装されている手法 (Mikolov+, 2013) – CBOW • 文脈単語のベクトルの和を用いて単語を予測 – Skipgram • 単語の文脈単語を予測 • C-PHRASE (提案手法) – 単語ベクトルの和を用いてフレーズベクトルを計算 • フレーズの認識には構文解析器を利用 – フレーズベクトルを用いて周辺の文脈語を予測 2015/08/24 ACL読み会@東工大 3 / 14 構文解析器を用いたフレーズの特定 • 構文的に尤もらしいフレーズの特定 A sad dog is howling in the park. dog, sad dog, a sad dog, a sad dog is howling, etc. 2015/08/24 ACL読み会@東工大 4 / 14 フレーズベクトルの計算 • フレーズベクトル＝構成要素の単語ベクトルの和 – 非常に広く用いられている (Mitchell+, 2008) • 構造を考慮しないため、使い勝手がよい – ”red car”と”car red”が同じ (語順を考慮しない) • 「”red”は形容詞として、”car”はヘッドとして出現」 • 「後者はほとんど出現しないので問題無い」 – 主語と目的語を入れ替えても自然な場合には？ 2015/08/24 ACL読み会@東工大 5 / 14 文脈単語の予測モデル • Skipgramの応用 フレーズベクトル 単語ベクトル 2015/08/24 ACL読み会@東工大 6 / 14 文脈単語の予測モデル • Skipgramと同様のコスト関数 – フレーズと単語の共起をモデル化 – SGDなどによって最適化 文脈窓のサイズ 2015/08/24 ACL読み会@東工大 文脈語 フレーズ (単語列) 7 / 14 文脈窓のサイズの決定 • フレーズによって文脈窓のサイズを変える – 短いフレーズ: 小さい文脈窓 • より文法的な情報を重視 – 長いフレーズ: 大きい文脈窓 • よりトピック的な情報を重視 ℎ 𝐶 : フレーズのノードと、 構成要素の単語ノード間のノード数の最大値 𝑐𝐶 = 𝑐1 + ℎ 𝐶 𝑐2 2015/08/24 ACL読み会@東工大 8 / 14 全体の特徴 • 学習するパラメータは単語ベクトルのみ – 他の複雑なモデルに比べて軽いモデル • 学習に必要なものはフレーズ (内部構造無し) とコーパス – 言語依存性が低い – テスト時には構文解析器は必ずしも必要ない • 単語ベクトルの和をとるだけなので • 特定のタスクに特化していない – 人手の教師データを必要としない • 特定のタスクの知識を入れることも今後可能 2015/08/24 ACL読み会@東工大 9 / 14 実験設定 • 学習用コーパス (3つの組み合わせ) – ukWaC, English Wikipedia, British National Corpus • 構文解析 – Stanford parser • ハイパーパラメータ (𝑐𝐶 = 𝑐1 + ℎ 𝐶 𝑐2 ) – 𝑐1 = 5, 𝑐2 = 2 2015/08/24 ACL読み会@東工大 10 / 14 単語レベルのタスクの結果 • men, wss, wsr, rg: 単語の意味類似度を測るタスク – 人手の評価との相関係数による評価 • 概念を表す単語のグルーピングのタスク • 単語アナロジー (例, “king”-”man”+”woman”=“queen”) – 正解率で評価 2015/08/24 ACL読み会@東工大 11 / 14 文レベルのタスクの結果 • sick, msrvid, onwn: 文の意味的類似度を測るタスク – 人手の評価との相関係数による評価 • sst: 感情分析 – 文レベルでの nega/posi の二値分類 2015/08/24 ACL読み会@東工大 12 / 14 学習したフレーズベクトルの例 2015/08/24 ACL読み会@東工大 13 / 14 まとめ • CBOWとSkipgramの考え方を応用して、任意のフレーズ のベクトル表現を学習 • 様々なタスクで良い結果を達成 • 今後の可能性 – タスク特有の知識を学習に取り込む – 係り受けなどを文脈情報として組み込む 2015/08/24 ACL読み会@東工大 14 / 14
© Copyright 2024 ExpyDoc
