1L4-OS-09a-3in1 クラウドソーシングによる重要ニュース選択 高濱 隆輔*¹*², 馬場 雪乃*¹, 清水 伸幸*³, 藤田 澄男*³, 鹿島 久嗣*¹ *¹京都大学大学院, *²JST ERATO 河原林巨大グラフプロジェクト, *³ヤフー株式会社 Yahoo! JAPAN 研究所 概要: ■ ■ ➡ ➡ ヤフートップページに掲載される8件のニュースは専門家が人力で選択している ニュースは 4,000件/日、クラウドソーシングを用いて専門家の負荷を軽減したい 相対評価タスクを用いると高精度に重要ニュースを選択できる クラウドソーシングによって生成した特徴で文章特徴に匹敵する精度を達成できる 目的と手段: ニュース選択における専門家の負荷を軽減するため、クラウドソーシングを利用 システムに 記事を投稿 専門家に質問: この記事を載せるべき？ ワーカに質問: この記事を載せるべき？ システム 掲載主 ワーカ ⚪ 掲載する Yes Yes No No 専門家 記事を除外 絶対評価/相対評価タスクを実施 話題性ニュース 公共性ニュース 週刊誌, ネットメディアなどで 報道されるようなもの 新聞, NHKなどで 報道されるようなもの 絶対評価タスクによる重要ニュース選択: 200件のニュース (50 * 2(話題性/公共性) * 2(正例/負例)) 「このニュースはヤフートップページに掲載すべきですか？」 各ニュースについて「掲載すべき」と答えた割合のヒストグラム 適当に閾値を設けて正負を判別するのは難しい 公共性ニュースの方が掲載すべきと判断されがちな傾向がある 載せるべきでない と判断されがち Frequency - 載せるべきと 判断されがち 正例 負例 正例 負例 Frequency 実験: 掲載しない 「掲載すべき」と回答した割合 「掲載すべき」と回答した割合 相対評価タスクによる重要ニュース選択: 50ペア100件のニュース (公共性のみ・各ペアは正例と負例) 「どちらのニュースをヤフートップページに掲載すべきですか？」 各ペアについて「正例を掲載すべき」と答えた割合のヒストグラム 正解率0.5以下のものは50ペアのうち2ペアのみ 高精度に正例と負例を分類できている Frequency - 48/50 正解率 相対評価タスクから特徴を生成する既存研究 Flock [Cheng 2015] を重要ニュースの選択に応用: - ワークフロー: ニュースA ワーカに質問: Aがトップに掲載 された理由は？ ニュースB 理由A 理由B 理由C 理由D 理由E 理由F … ワーカに依頼: トップ掲載ニュースの 基準を生成せよ ニュースX ワーカに質問: ニュースXは 基準を満たす？ 基準1 基準2 基準3 … ニュースX の特徴 ベクトル 統計的 機械学習 ⚪ 重要である 重要でない ワーカ ワーカ ワーカ マシン 一方の記事が他方の記事より 優れている理由を収集 理由を統合し、トップ掲載 ニュースの基準を生成 各記事の特徴ベクトルを生成 機械学習手法で 学習・予測 - 実験結果: ・Logistic Regression, Gradient Boosting で予測 ・ニュース文章の Bag-of-Words で予測した結果を ベースラインとして比較 ・クラウドによって生成された特徴のみによる予測で ベースラインに匹敵する精度を実現 ・クラウド特徴、文章特徴を組み合わせることで より高精度を実現することを期待できる Accuracy 話題性ニュース 公共性ニュース Flock 0.760 (+/- 0.051) 0.700 (+/- 0.059) Bag-of-Words 0.750 (+/- 0.078) 0.690 (+/- 0.052) : Logistic Regression : Gradient Boosting [Cheng 2015] Justin Cheng, and Michael S. Bernstein. "Flock: Hybrid crowd-machine learning classifiers." Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing. ACM, 2015.
© Copyright 2024 ExpyDoc
