意味情報に基づくWeb検索 2007年1月27日 白井研究室 修士2年 有田一平 研究の目的 本研究の目的 Webデータへの意味情報付加 Web上のドキュメントに対して意味情報を付加する ⇒ 索引語と検索語の単純な一致ではなく、語の意味を考 慮した検索を実現する 主な取組み 意味情報に基づく検索システムの構築 階層型分類番号を意味情報として索引語に付加 単語クラスタリングによる意味情報の構築 検索語の共起情報に基づいてクラスタリングを行い、意味情 報を自動構築する 階層型分類番号の付加 索引語に上位の桁から下位の桁へ向かって語の意味 が細分化されていく階層型の番号を付加 索引語に付加することにより、前方一致検索で複数の語を一 度に検索できる ユーザのクエリ作成時に上位階層の語、下位階層の語へとナ ビゲーションできる 1.1643,06,01,01,あした, 1.1643,06,01,02,明日 1.1643,06,01,03,あす 1.1643,06,01,05, 明朝 1.1643,06,01,08,明晩 1.1643,06,01,09, あさって 11643,06,01,02 分類項目（時間・未来） 段落番号 小段落番号 1.1643,06,01,* 語番号 意味情報付加に基づく 検索システムの構成 ユーザ Webサーバ 検索結果 検索結果出力 結果データ 意味情報付き インデックス 検索処理 検索質問 (分類番号) 検索質問入力 （UIによるナビゲーション） 分類番号による検索 類義語 イ デン ーデ タッ ク ス 類義語検索 分類番号 意味情報 （階層型分類番号） 分類番号 分類番号付加 ＆ インデキシング WEBデータ 索引語 形態素解析 テキスト HTMLパーズ HTMLデータ 単語クラスタリングによる 意味情報の構築 類似の観点 共通する共起クエリを持つ語は類似である ユーザの検索行動が似た語は類似であるとも言える 共起クエリの実例 JALと共起する語： マイレージ ホテル 時刻表 ana ツアー カード 羽田 マイル 航空券 羽田空 港 card 沖縄 株価 国内線 予約 国際線 成田 飛行機 株主優待 hotel ス キー ANAと共起する語： マイレージ 時刻表 ホテル jal カード マイル ツアー 沖縄 hotel 航空券 cm 羽田 羽田空港 飛行機 予約 visa 国内線 jcb card sui スキー 壁紙 成田 クラスター分析の流れ 検索語・共起クエリ行列から単語間の距離表現して 階層型クラスタリングを行う 共起情報 検索語・共起クエリ行列の作成 ベクトル標準化と頻度分析 ベクトル次元数の削減 ユークリッド距離による 単語ベクトル間の距離表現 階層型クラスタリング （Ward法） 羽田 羽田空港 運行状況 運賃 岡山 JA L 0 1 1 1 0 ANA 1 1 1 1 1 yahoo 0 0 0 0 0 … … … … … … IDFによる重み付け 単語ベクトルの分散 を１に統一 検索語を行、共起クエリを列、 共起頻度を成分とする行列 主成分分析、潜在意味解析など d ( x, y ) … … … … … n (x i 1 i yi ) 2 クラスタリング結果の樹形図 ポータル 地名 ウェブ コミュニケーション テレビ 英単語 芸能 動画 2ちゃんねる 地域情報 階層型分類番号による出力 樹形図の上位階層から順に番号を付加 0000,新宿 0001,池袋 00100,沖縄 00101,北海道 001100,千葉 0011010,福岡 0011011,広島 0011100,東京 0011101,京都 0011110,横浜 00111110,札幌 001111110,大阪 001111111,名古屋 010000,yahoo 010001,ヤフー 01001000,livedoor 01001001,ライブドア 01001010,goo 01001011,検索 01001100,google 01001101,グーグル 01001110,mixi 010011110,msn 010011111,hotmail 0101000,jal 0101001,ana 010101000,tube 010101001,japan 010101010,you 0101010110,by 0101010111,the 01010110000,nhk 01010110001,フジテレビ 01010110010,映画 010101100110,ランキング 010101100111,韓国 01010110100,楽天 01010110101,オークション 01010110110,歌詞 01010110111,amazon 01010111100,cure 010101111010,アミーゴ 010101111011,ファイナンス 01010111110,レシピ 01010111111,ハンゲーム 010110000,やわらか戦車 010110001,大塚愛 010110010,ポケモン 010110011,中越典子 010110100,ほしのあき 0101101010,長澤まさみ 01011010110,沢尻エリカ 01011010111,綾瀬はるか 0101101101,あいのり 0101101110,女子アナ 01011011110,芸能人 010110111110,投稿 010110111111,アイドル 010111000,攻略 … 検索アプリケーション
© Copyright 2024 ExpyDoc
