Ｓｐａｒｋを生んだＡＭＰＬａｂと ビジネス向け機械学習 ２０１４年１１月６日 日本電気株式会社 情報・ナレッジ研究所 中台慎二 Ｃｌｏｕｄｅｒａ Ｗｏｒｌｄ Ｔｏｋｙｏ ２０１４ 自己紹介 中台 慎二 2003 NEC入社 2012～13 ＵＣ Ｂｅｒｋｅｌｅｙ 客員研究員 ＡＭＰＬａｂ 機械学習、分散システム/ＤＢ Ｐｒｏｆ． Ｍｉｃｈａｅｌ Ｆｒａｎｋｌｉｎ 2014現在 情報・ナレッジ研究所 主任 （データ＆テキストマイニング） Page 2 © NEC Corporation 2014 Ｓｐａｒｋとは？ ▐ ＵＣ Ｂｅｒｋｅｌｅｙ ＡＭＰＬａｂで開発された分散処理基盤 インメモリで高速 急速に普及中 “Apache Hadoop” “Apache Spark” Ｖｉｓｉｔｉｎｇ Ｓｃｈｏｌａｒ 商用サポート Ｇｏｏｇｌｅ Ｔｒｅｎｄｓ （２０１４年１０月現在） Page 3 © NEC Corporation 2014 本日のお話 前半 ＡＭＰＬａｂ システムと機械学習の最先端 後半 ビジネス向け機械学習、事例 ソリューション 機械学習 システム Page 4 © NEC Corporation 2014 プラットフォームからのトータルなサポート 今後の協業を発表 ＹＡＲＮ Page 5 © NEC Corporation 2014 システム 2014/10/14 製品 ソリューション SI サポート トレーニングなど 前半 ＡＭＰＬａｂ システムと機械学習の最先端 ソリューション 機械学習 システム Page 6 © NEC Corporation 2014 システムと機械学習の最先端の融合 シリコンバレー企業 （Google, Facebook, Amazon, etc.） ニーズ Prof. Michael Jordan 機械学習のトップ ＢＤＡＳ Prof. David Patterson Prof. Randy Katz Prof. Scott Shenker Prof. Michael Franklin Prof. Ion Stoica システム系のトップ Ｂｅｒｋｅｌｅｙ Ｄａｔａ Ａｎａｌｙｔｉｃｓ Ｓｔａｃｋ MLBase Spark Streaming GraphX BlinkDB Spark SQL Spark Tachyon Page 7 © NEC Corporation 2014 HDFS Mesos YARN 前半で紹介するお話： 融合研究の一例 前半 ＡＭＰＬａｂ システムと機械学習の最先端 ＢＤＡＳ/Ｓｐａｒｋチューニングの話 両面からの研究の具体例 （ＯＣＣ ＤＰ-ｍｅａｎｓ） ソリューション 最先端のエッセンス 機械学習 課題 解決 システム 学習の並列化 X. Pan, J. Gonzalez, S. Jegelka, T. Broderick, M. Jordan, NIPS 2013 Page 8 © NEC Corporation 2014 ＯＣＣ ＤＰ-Ｍｅａｎｓの概要 課題 Ｋ-ｍｅａｎｓ （クラスタリング） 欠点： クラスタ数を 決める必要 学習 ＤＰ-ｍｅａｎｓ システム 欠点： 逐次実行 である必要 解決策 ＤＰ-ｍｅａｎｓ 利点： 自動で決まる ＯＣＣ ＤＰ-ｍｅａｎｓ （楽観的並行性制御） 利点： 並列化可能 ＲＤＢの ＡＣＩＤの議論が関係 Page 9 © NEC Corporation 2014 学習エンジン利用時の課題 ▐ パラメータを振るのが大変！ ▐ 例： 顧客をクラスタリングしたい Ｋ-ｍｅａｎｓを使おう！ クラスタ数Ｋは、いくつにしよう？ ３クラスタ？ Page 10 © NEC Corporation 2014 ４クラスタ？ Ｋ-Ｍｅａｎｓでは、予めクラスタ数を決める必要 Ｋ＝３ Page 11 © NEC Corporation 2014 Ｋ-Ｍｅａｎｓでは、予めクラスタ数を決める必要 Ｋ＝３ Page 12 © NEC Corporation 2014 Ｋ-Ｍｅａｎｓでは、予めクラスタ数を決める必要 Ｋ＝３ Page 13 © NEC Corporation 2014 Ｋ＝４ Ｋ-Ｍｅａｎｓでは、予めクラスタ数を決める必要 Ｋ＝３ Ｋ＝４ 自動で決まる！ Ｂａｙｅｓｉａｎ Ｎｏｎｐａｒａｍｅｔｒｉｃｓだと Page 14 © NEC Corporation 2014 ＤＰ-ｍｅａｎｓ： 最先端のエッセンスをシンプルに導入 手動 速い クラスタ数 Ｋ-ｍｅａｎｓ 自動 ＤＰ-ｍｅａｎｓ σ→0 確率的 非確率的 ベイズ 混合ガウス σ 精度 ＰＲＭＬ ９．３．２ B. Kulis and M. Jordan, ICML2012 Page 15 © NEC Corporation 2014 混合 ディリクレ過程 σ 最先端学会でブーム （Ｂａｙｅｓｉａｎ Ｎｏｎｐａｒａｍｅｔｒｉｃｓ） ＤＰ-ｍｅａｎｓでは、離れていたら独立 ▐ 独立した点の周りに、 他の点が集まりクラスタ化 解決 Page 16 © NEC Corporation 2014 ＤＰ-ｍｅａｎｓでは、離れていたら独立 ▐ 独立した点の周りに、 他の点が集まりクラスタ化 ＞閾値 l 解決 Page 17 © NEC Corporation 2014 ＤＰ-ｍｅａｎｓでは、離れていたら独立 ▐ 独立した点の周りに、 他の点が集まりクラスタ化 解決 Page 18 © NEC Corporation 2014 ＤＰ-ｍｅａｎｓでは、離れていたら独立 ▐ 独立した点の周りに、 他の点が集まりクラスタ化 解決 Page 19 © NEC Corporation 2014 並列化の課題 ▐ そのままＳｐａｒｋで実装した時の課題 中心から、l離れた点が複数独立 中心というグローバル情報を、 別々に更新 グローバル情報 Ｓｐａｒｋ ＲＤＤ Page 20 © NEC Corporation 2014 閾値 l 並列化の課題 ▐ そのままＳｐａｒｋで実装した時の課題 中心から、l離れた点が複数独立 中心というグローバル情報を、 別々に更新 グローバル情報 Ｓｐａｒｋ ＲＤＤ Page 21 © NEC Corporation 2014 閾値 l 並列化の課題 ▐ そのままＳｐａｒｋで実装した時の課題 中心から、l離れた点が複数独立 中心というグローバル情報を、 別々に更新 グローバル情報 Ｓｐａｒｋ ＲＤＤ Page 22 © NEC Corporation 2014 閾値 l 並列化の課題 ▐ そのままＳｐａｒｋで実装した時の課題 中心から、l離れた点が複数独立 中心というグローバル情報を、 別々に更新 グローバル情報 Ｓｐａｒｋ ＲＤＤ Page 23 © NEC Corporation 2014 閾値 l 楽観的に並行性制御 グローバル情報 一旦受け入れ、 後で妥当性検証 閾値 l Ｓｐａｒｋ ＲＤＤ Page 24 © NEC Corporation 2014 楽観的に並行性制御 グローバル情報 一旦受け入れ、 後で妥当性検証 閾値 l Ｓｐａｒｋ ＲＤＤ Page 25 © NEC Corporation 2014 楽観的に並行性制御 グローバル情報 一旦受け入れ、 後で妥当性検証 閾値 l Ｓｐａｒｋ ＲＤＤ この時期 Ｐｒｏｆ． Ａｌａｎ Ｆｅｋｅｔｅ がＡＭＰＬａｂに数か月滞在 （Ｓｅｒｉａｌｉｚａｂｌｅ Ｓｎａｐｓｈｏｔ Ｉｓｏｌａｔｉｏｎの提案者） Ｐｏｓｔｇｒｅｓ ９．１に採用され、 Ｓｎａｐｓｈｏｔ Ｉｓｏｌａｔｉｏｎが、 真にＳＥＲＩＡＬＩＺＡＢＬＥに Page 26 © NEC Corporation 2014 実証実験の概要 購買データなど 独自セグメント ＤＰ-ｍｅａｎｓ 分析エンジン ＡＭＰＬａｂ Ｓｐａｒｋ１．１．０ ＹＡＲＮ １００台 ＮＥＣ Ｃｌｏｕｄ ＩａａＳ Page 27 © NEC Corporation 2014 ＣＤＨ ４．７ 実証実験の結果 ▐ 真のクラスタ数に一致しやすいが、閾値に依存 １０クラスタから、データ生成 学習で、データからクラスタ再現 実験結果は、画面のみ Page 28 © NEC Corporation 2014 後半へのつなぎ 自動で決まるクラスタ数は、 真のクラスタ数に、必ず一致するか？ （沢山のデータがあった場合） ※フルベイズで、閾値相当のパラメータを更新しても Ｄｉｒｉｃｈｅｌｅｔ Ｐｒｏｃｅｓｓ （ＤＰ-ｍｅａｎｓの原型） ＮＯ Ｊ．Ｗ． Ｍｉｌｌｅｒ， ＮＩＰＳ２０１３ 異種 混合 Page 29 © NEC Corporation 2014 Ｙｅｓ Ｒ． Ｆｕｊｉｍａｋｉ， ＡＩＳＴＡＴＳ２０１２ 後半 ビジネス向け機械学習の事例 ソリューション 機械学習 システム Page 30 © NEC Corporation 2014 学習エンジンのマップ 精度 ＳＶＭ ＤｅｅｐＬｅａｒｎｉｎｇ 異種 混合 決定木 回帰分析 説明可能性 Page 31 © NEC Corporation 2014 学習エンジンの特徴に応じた使い分け ▐精度 目じりの間隔と、 眉の長さの比が、 ○×以上だから、、、 画像認識など （判定理由不要） Page 32 © NEC Corporation 2014 ▐説明可能性（可読性） ○×分析の結果、 、、、 が重要と思われます ビジネス分析 （レポーティングが重要） 可読性のある学習１： 決定木 ▐例： 慎重と体重から、生活習慣病リスク ※説明のための疑似データ 身長 リスクあり 体重 以上 未満 １５０ １００ 体重 なし 以上 未満 １００ １５０ 身長 Page 33 © NEC Corporation 2014 なし あり 可読性のある学習２ ： 回帰分析 ▐例 生活習慣病の発症率＝ ５×体重 ー３× ＋ 運動日数 ＋２×年齢 ー１× ＋ 野菜を食べる 回帰係数 ※説明のための疑似データ Page 34 © NEC Corporation 2014 精度 学習エンジンのマップ 異種混合 ＳＶＭ 異種 ＤｅｅｐＬｅａｒｎｉｎｇ 混合 決定木 回帰分析 説明可能性 Page 35 © NEC Corporation 2014 決定木の各葉に回帰式 生活習慣病 ～ 成人病 性別 体重 運動 身長 １４０未満 １４０以上 胴囲 野菜 胴囲 体重 体重 野菜 運動 ※説明のための疑似データ Page 36 © NEC Corporation 2014 精度比較 （回帰） ▐ データ： bank32nh（8192サンプル／32次元） 0.8 誤差 （ＲＭＳＥ） 0.78 0.7 0.67 0.6 Page 37 © NEC Corporation 2014 回帰木 ＳＶＲ 0.68 異種 混合 通常、説明変数の組合せを考える必要 説明変数の候補を 入れるだけ Page 38 © NEC Corporation 2014 通常、説明変数の組合せを考える必要 説明変数の候補を 入れるだけ 性別 身長 １４０未満 Page 39 © NEC Corporation 2014 １４０以上 通常、説明変数の組合せを考える必要 説明変数の候補を 入れるだけ 性別 体重 運動 身長 １４０未満 １４０以上 胴囲 胴囲 体重 野菜 体重 運動 Page 40 © NEC Corporation 2014 通常、「複雑性のつまみ」で調整する必要 ベスト精度 シンプル 複雑 通常、複雑性を１変数で制御 （Ｌａｓｓｏ、あるいは前半の閾値） ベスト精度を 出すために、 調整しないと Page 41 © NEC Corporation 2014 弱 中 強 適度な複雑さを、自動で決定 ベスト精度 シンプル 必要十分な 複雑さを 自動で選択 Page 42 © NEC Corporation 2014 複雑 弱 中 強 調整不要 ＮＥＣの機械学習 精度 ＳＶＭ ＳＶＭ発明者 （Ｖｌａｄｉｍｉｒ Ｖａｐｎｉｋ） ａｔ＆ｔ ２００２ 北米研 異種 混合 北米研 藤巻遼平 機械学習のトップ学会 ＡＩＳＴＡＴＳ２０１２ ＩＣＭＬ２０１２ ＮＩＰＳ２０１３ ＩＣＭＬ２０１４ ＡＩＳＴＡＴＳ２０１４ ＮＩＰＳ２０１４ 説明可能性 Page 43 © NEC Corporation 2014 異種混合学習技術の適用分野 商品需要や適正価格など、社会の様々な予測を実現 Page 44 商品需要予測 適正価格予測 電力需要予測 劣化予測 © NEC Corporation 2014 商品需要予測 コンビニ店長の課題 先週の昼帯の 需要を読み間違えると、 売上を見ると、、、 廃棄損失／機会損失 人手発注 勘で、需要予測 が増える 自動発注 ソリューション ポイント 学習で得られる発注ロジックが ブラックボックスではなく、 理解でき、納得感がある Page 45 © NEC Corporation 2014 在 庫 量 廃棄 損失 売り切れ 時間 昼帯 売上 ？個 機会 損失 適正価格予測 中古店 店長の課題 市場価値は、 ５万円±１万円 ってとこかな 市場価格を読み間違えると、 差額損失が増える ５万円 買取価格算出 ソリューション ポイント スペックの違いによる （型番、色、メーカなど） 価格差が見える化され、 最終的には、人が 柔軟に判断する事が可能 Page 46 © NEC Corporation 2014 見込み 利益 ３万円 損失 買取価格 実際の 価値 ２万円 売却価格 本日のお話 前半 後半 システムと機械学習の最先端 ビジネス向け機械学習、事例 ソリューション ＡＭＰＬａｂでの 学習・システム 融合領域の研究紹介 （ＯＣＣ ＤＰ-ｍｅａｎｓ） 機械学習 システム 異種 混合 精度と可読性を 有した学習エンジン 事例 ※本資料に記載されている会社名、組織名、ソフト名、ロゴなどはそれぞれ企業、組織、団体の商標または登録商標として使用している場合があります。 Page 47 © NEC Corporation 2014 未来に向かい、人が生きる、豊かに生きるために欠かせないもの。 それは「安全」「安心」「効率」「公平」という価値が実現された社会です。 NECは、ネットワーク技術とコンピューティング技術をあわせ持つ類のないインテグレーターとして リーダーシップを発揮し、卓越した技術とさまざまな知見やアイデアを融合することで、 世界の国々や地域の人々と協奏しながら、 明るく希望に満ちた暮らしと社会を実現し、未来につなげていきます。
© Copyright 2024 ExpyDoc
