ビッグデータとは・一連の技術を指す・データの量と多様性の増加によってもたらされる測定における革命の可能性新日鉄住金ソリューションズ株式会社・将来の意思決定がどのように行われるか、または行われるべきかということについての視点や指針を提供するものデータサイエンティストに必要なスキル  最初にある程度必要なもの統計、線形代数、プログラミング・これらのスキルを習得後データの準備、マンジング(データのフォーマットを変換して加工する技術全般)、モデリング、コーディング、可視化、コミュニケーション統計的推論・私たちの住む世界は、複雑で、ランダムで、不確実な世界であるが、それと同時に大きなデータ生成機でもある。・私たちの生活の中の様々なプロセスが実際にデータを生成している。・世界からデータを取り出し、そしてデータから世界を理解するこの全体のプロセスが、統計推論の扱う分野である母集団と標本  母集団一般的な人口のことではなく、ツイートや写真や星などといった一連の対象  標本を取る時は、母集団の一部からn個の観測地を取り出す。サンプリングはデータにバイアス(標本データを母集団から抽出すること)をかけて歪めてしまう可能性があるので、標本が母集団を正しく代表した母集団の「縮小版」になるように注意するビッグデータの母集団と標本  どれだけのデータを必要とするかは、その目的に依存する。分析や推論のためであれば、通常は全てのデータを常に保持する必要はない。一方で必要な場合もある。  ハリケーン・サンディのように観測する対象が母集団を代表する一部でなかった場合、データを適切に解釈できない  母集団から無作為にサンプリングをし、ある標本を作る。もう一度サンプリングを行った際、先ほどの結果とは異なった標本が得られる。このようなサンプリングによる不確実性を標本分布と呼ぶ。ビッグデータという用語  ビッグデータとは相対的な表現であり、データのサイズがそれを処理するために利用できる最新の計算機の能力を上回っていることを表す。  データを1つの計算機で処理することができなければ、それはビッグデータであり、その場合多くの新しいツールや手法を学ぶ必要がある。  技術の進歩が加速したことにより、私たちの生活にどれほど多量のデータが溢れているかを表す。  Volume、Variety、Velocity、Value ビッグデータの大きな仮定 CukierとMayer-Schoenbergerはビッグデータ革命は次の3つのことから構成されていると主張している。  少量の標本ではなく、多量のデータを収集して使用すること  データの乱雑さを許容すること  因果関係を知ることを諦めること彼らはデータが非常に膨大であることを考えれば、ビッグデータにおいては因果関係を理解する必要はないと主張している。これはビッグデータにおいて「N=ALL」であるという考え方に基づいて組み立てられている。 N=ALLは正しいか  選挙の出口調査の例など、ほとんどの場合が「N=ALL」ではない  投票に行かない人を観測することができないデータは客観的ではない  「N=ALL」であればデータが客観的であると解釈されることが多いが、それは間違いである。  ニューヨークタイムズの記事を例にすると、因果関係を無視することは欠陥になりうることがある。過去の問題を繰り返すことになり、問題解決をすることができない。モデル  モデルは、建築学や生物学や数学など、特定のレンズを通して現実の性質を理解し表現しようとする試みなである。  モデルは全ての余分な詳細部分を取り去った人工的な構造物で、モデルを分析した後には、何か見落とされたものはないか、省略された詳細部分に常に注意を払う必要がある。統計モデル  データにのめり込んでコーディングを始める前に、作成するモデルの内在プロセスをどのように考えるか、その概念を思い描くことが有益である。どのようにモデルを作るか？・データをどのような関数形で表現すべきか？ →これはモデリングプロセスの一部。ここでは現実に内在する構造について多くの仮定を置かなければならない。そして、その仮定の選択、説明について基準を持つ必要がある。 →最初の足がかりとしてEDA(探索的データ分析)がある。これの過程では複数の図を作成し、データセットを直観的に理解するため。 →線形関数を書いてみる方法もある。シンプルなものから徐々に複雑な仮定を追加し、数式やコードへ確率分布・自然のプロセスが生み出す測定値はある分布形を持つ傾向がある。それを数学関数で近似する。その関数がもつパラメータのいくつかはデータから推定可。(いろんな分布の仕方がある) →分布は起こりうる結果のうち一部に割り当てられた確率と解釈できる(対応する関数をもつ) ・モデルフィッテイングモデル、オーバーフィッテイング →観測データを使ってモデルのパラメータを推定すること。データを証拠とし、現実世界のデータ生成プロセスを数学的に近似。 (最尤推定(データをもとに確率分布の母数を点推定)など、パラメータの値を求めるための最適化手法やアルゴリズムが必要) ・オーバーフィッテイング →推定されたモデルが標本データを超え、現実をよく捉えられない、正確度などの評価指標で表されるモデルの予測が悪い場合。探索的データ分析(EDA) ・データを体系的に調べる手法であり、すべての変数の分布、時系列をプロットし、変数を変換、散布図行列を作成。そして、すべての変数間の関係を確認し、全変数の要約統計量を計算する。 (平均値、最小値、最大値、etc、、) ・同時に考え方でもある。 →データに関する洞察を得て、データの形を理解、データを生成したプロセスへの理解をデータそのものに結びつけようとする。探索的データ分析の理念・データを分析するものはみなEDAを行うべき！ →EDAの過程で①データ理解、②分散比較、③サニティーチェック (データのスケール、形式の確認)、④欠損値や外れ値の確認、⑤データ要約を行うことになるため →ログから生成されたデータはデバックに役立つ →また、EDAは解析の開始時点、データ可視化(9章)は最後に行う。 EDAで作成される図は自分自身が何がおこっているか理解するために用いる。 (演習、サンプルコードは割愛) 2.3 現実世界データサイエンスのプロセス探索的　データ分析（EDA）生データの収集データの　処理整理されたデータ機械学習アルゴリズム/ 統計モデルデータプロダクトの構築コミュニケーション可視化発見の報告図2-2 データサイエンスのプロセス意思決定 2.3 データサイエンスのプロセス現実世界の行動（あるデータを持つ）を解析するためにデータマンジングのためのパイプラインを構築し，使用する．最終的に形式の整えられたデータを得ることができる． 2. EDA（探索的データ分析）を行う． 3. アルゴリズムを使用してモデルを設計する． 4. 結果を解釈し，視覚化し，報告し，コミュニケーションを行う． 1. 注意  EDAの過程で，データが完全にきれいになっていない． →データの重複，欠損値，外れ値，未記録，誤記録がある． →再度データの収集や，時間をかけてデータセットのクレンジングを行う．  モデル設計の際，分類，予測，基本的な記述などによって，選択するモデルが異なる．  どのような解析を行う場合でも，フィードバックループを考慮し，モデル自体が原因となったバイアスを調整しなくてはならない． →モデルは，未来を予測するだけではなく，原因となる． 2.3.1 データサイエンスのプロセスにおけるデータサイエンティストの役割  人間（データサイエンティスト）は，どのデータを収集するか決定する．そして，課題を設定し仮説を立て，その問題にどのようにアプローチするのかプランを立てる．プロセス研究課題は何か？仮説を立てる課題を設定する現実世界人間活動生物学金融インターネット図2-3 どのデータを準備するか？生データの収集電子メールログ調査採決データの　処理パイプラインクリーニングマンジング結合整理されたデータクリーニング外れ値欠損値デバック表データサイエンティストは，データサイエンスのプロセスのあらゆる部分に関与している科学的手法との関連  課題を設定する．  背景の調査を行う．  仮説を立てる．  実験を行い，仮説を検証する．  収集したデータを分析し，結論を導く．  結果を伝える．多くの課題は，これらのいくつかを組み合わせることで解決できる． 2.4 思考実験：混沌（カオス）をどのようにシミュレートするか？  データサイエンスの問題の始まり・きたないデータ・明確に定義されていない問い・緊急性  データサイエンティストは，混沌から秩序を作り出そうとする．シミュレート  ローレンツの水車  有限状態機械におけるカオスのシミュレーション  秩序を学ぶための模擬的混乱  スタートアップの混乱から秩序を創る講師ノート 1. サイエンティストの仕事は，混沌から秩序を生み出すこと． 2. 質問を心掛ける． →語彙の意味が分からなかったり，両者の語彙の解釈が異なると，コミュニケーションが困難になる． 3. シミュレーションは有用なテクニック． →データ生成プロセスの理解やデバッグに役立つ． 2.5 ケーススタディ：RealDirect  RealDirectのCEOであるDoug Perlsonは，不動産に関する法律，起業，オンライン広告などを専門としている．彼が目指しているのは，不動産に関する利用可能な全てのデータを使い，よりよい住宅購入や売却を提供すること．  売却は，仲介を行うブローカーと現在の不動産データを利用する． →ブローカーのシステムと不動産データの品質の両者に問題がある．ブローカー  ブローカーは，フリーエージェント． →自分の持つデータを積極的に守り，よいブローカーだけが多くの経験を得る．しかし，経験の浅いブローカーに比べ，僅かに多くのデータを持っているだけ． RealDirectは，ライセンスを持った不動産エージェントをチームとして雇用し，知識を共同で蓄積する．ブローカーのチームは，情報収集ツールを使用し，最新の関連情報を監視し，公的に利用可能な情報を入手する方法を学ぶ．問題は，情報が古い．  公正な売買であれば，よい情報は買主と売主の両者にとって有益である．    2.5.1 RealDirectはどのように収益を得ているか 1. 2. 売主に課金することで，売却ツールへのアクセスを提供している．売主は不動産エージェントを低手数料で利用することができる．  データ集約のメリットが現れている． RealDirectは，最適化とそれに伴う大規模化によってより低額の手数料を実現している．  ソフトウェアは，ユーザのステータスに応じて，ユーザのとるべきアクションを提案する． →RealDirectのサイトは，買主と売主が購入と売却プロセスの管理を行うのに最適なプラットフォームである． 2.5.2 演習問題：RealDirectのデータ戦略  設定 realdirect.comにCEO直属のチーフデータサイエンティストとして雇われた．企業は適切なデータプランを持っていない．仕事はデータ戦略を提案すること．提案方法 1. 2. 3. 4. 5. 6. 既存のウェブサイトで，買主と売主はどのように利用しているか，また，そのウェブサイトの構造化・組織化はどうか．また，ユーザ行動分析を，どのように意思決定や製品開発のための情報提供に利用できるか．マーケットに関する勘を得るため，補助的なデータを入手する． CEOに報告するため，調査結果をまとめる．一連のコミュニケーション戦略を持つことが理想．異なった環境でのデータ収集は，自身の専門分野でデータ収集する方法について洞察を与えるか．質問する習慣をつける．オンラインビジネスや自分の専門分野において，データ戦略を策定するための一連のベストプラクティスがあるか．