情報学習理論最後までご聴講いただきありがとうございました。渡辺澄夫東京工業大学学習とは講義・第１回目のあるページ。概念とは？概念１概念２ … 概念３学習モデル世界には例があふれている。例から世界の構造を知る。 2015/9/28 Mathematical Learning Theory 2 深層学習ニューラルネットワークボルツマンマシン教師なし学習教師あり学習自己組織化競合学習サポートベクタマシン最後の問題それで、学習の結果は正しいのか？統計学：謎の螺旋真の情報源がわからないから学習を行う。 ⇒ 真の情報源が不明だから学習モデルが正しいかどうかわからない。 ⇒ 学習の結果を信じていいのかわからない ⇒ 最初に戻る「分からぬことこそ統計学の真実」なのか？ 9/28/2015 Birational probability theory 4 真の分布が明確な場合もある背後にある自然法則が確実にわかっている場合には学習モデルを定めることができる。（例）コインを振る問題（表＝１、裏＝０）を考える場合 p(x|a) = ax(1-a)1-x （例）半減期 log 2/l の一個の原子が時刻 t に崩壊する確率 p(t|l) =le-lt モデルが正しいと考えられる場合には、統計的推測の誤差はデータ揺らぎ（バリアンス）だけになる。 2015/9/28 Mathematical Learning Theory 5 真の分布が明確でないことは多い法則が明確でない問題では、学習モデルは仮のものである。（例）1000人の（算数・国語・理科・社会・英語）のテスト結果から成績の分布を推測する。（例）手書き数字を認識するソフトウエアを作る。（例）テレビＣＭの売り上げへの影響を調べる。（例）人工知能をつくる。データ科学では、学習モデルは仮のものであることの方が多い。仮のモデルを使って得られた結論は「正しい」のだろうか？ 2015/9/28 Mathematical Learning Theory 6 初めての人が陥りやすい誤りかた（１）１．正しい推論は、真の命題を確率１でつなぐ場合だけに得られる。２．絶対に正しい学習モデルが分かるまでは何もできない。３．絶対に正しい学習モデルは決してわからないのだから、統計的学習はすべて嘘である。（注意）学習は、絶対に正しいものだけを積み上げる方法ではありません。（注意）世の中には嘘モデルを使って人をだます人もあるので慎重になるのはわかります。また「検定すれば必ず正しい結論が得られる」というわけではありません。 2015/9/28 Mathematical Learning Theory 7 初めての人が陥りやすい誤りかた（２）１．絶対に正しい学習モデルがわかることはないのだから統計的学習は、それぞれ好みで決めてよい。２．統計的学習は、ひとごとに違っていてよい。それが個性というものだからすばらしい。３．人はみな世界でひとつだけの統計的学習を持っている。（注意）統計的学習は、科学あるいは技術であり人生観ではありません。（注意）結果が絶対に正しくはないからと言って誤ることを個性だと考えるのは・・・ですね。 2015/9/28 Mathematical Learning Theory 8 統計学は・・・ ○ データからわかることは「絶対に正しいこと」ではない。 ○ データから何もわからないということはない。 ○ 「絶対に正しいこと」がわからないからといって、個人の好みで結論を選んでよいということではない。ひとは、知らないことに対しては＜０か１か＞のような極端な意見に陥りやすいので注意しましょう。「統計学こそ大正義」、「統計は全て嘘だらけ」などの本は昔からたくさんあります。（←統計学者は、そういう主張はしません。）深層学習とデータサイエンスの発達は、これからの経済社会、芸術文化、私たちの日々の暮らしに大きな影響を与えるようになるでしょう。統計学と学習理論についての正しい理解は、その世界を生きていくあなたの支えのひとつになると思います。 → 平凡であるけれど、「何がどこまでわかるのか」を知っておくのも悪くないかな（学習理論への出発）。 2015/9/28 Mathematical Learning Theory 9 学習理論で何がわかるか（予測編）学習理論は予測を当てることが責務である。 2015/9/28 Mathematical Learning Theory 10 学習理論で何がわかるか（予測編）真の分布データ各点の適切さ学習モデルの集合 2015/9/28 Mathematical Learning Theory 11 学習理論で何がわかるか（予測編）不明な真の分布学習の結果学習アルゴリズム各点の適切さ学習モデルの集合 2015/9/28 Mathematical Learning Theory 12 学習理論で何がわかるか（予測編）不明な真の分布真の分布が不明でも汎化誤差が従う数学的法則が導出できるので推測することができる。汎化誤差学習の結果学習モデルの集合 2015/9/28 Mathematical Learning Theory 13 学習理論で何がわかるか（予測編）不明な真の分布真の分布が不明でも異なるモデルの汎化誤差の大小を比較することができる。 → 予測が正確なモデルを選べる。汎化誤差１学習の結果１学習モデル１ 2015/9/28 Mathematical Learning Theory 汎化誤差２学習の結果２学習モデル２ 14 学習理論で何がわかるか（確率編）学習理論は真の構造を見つけることが責務である。 2015/9/28 Mathematical Learning Theory 15 学習理論で何がわかるか（確率編）データ学習モデルが与えられたとき「そのモデルからデータが発生する確率」を計算できる学習モデルの集合 2015/9/28 Mathematical Learning Theory 16 学習理論で何がわかるか（確率編）データそれぞれのモデルからデータが発生された確率を比較して、確率の大きいほうを選ぶ。 → 真の分布を実現できるモデルがあるときは、その中で一番小さいモデルが選ばれる。学習モデル１ 2015/9/28 Mathematical Learning Theory 学習モデル２ 17 学習理論で何がわかるか（確率編）学習モデルが与えられたとき、「そのモデルからデータが発生する確率」は学習モデルの集合上の積分になるので計算は一般に困難（統計力学における分配関数と数学的に同値）。データ学習モデルに応じて適切な計算法が必要になる。学習モデルの集合 2015/9/28 統計力学や純粋数学が役立つときがある。 Mathematical Learning Theory 18 学習理論への出発「予測精度の解明」および「構造の発見」は学習理論において中心的に重要な課題であり、上記のことについては数式を用いた定義定理の記述定理の証明を行うことができます。将来、必要になったら勉強してみてください。 2015/9/28 Mathematical Learning Theory 19 「小鳥が歌う」と「春が来る」 2015/9/28 Mathematical Learning Theory 20 例政府統計の総合窓口（ｅ－Ｓｔａｔ）のデータを使わせて頂きました。 http://www.estat.go.jp/SG1/estat/eStatTopPortal.do 経済センサス-町丁・大字別集計・神奈川県横浜市の一部分「○町○丁目」で働く人の数を調べたもの。 log(1+医療福祉で働く人の数) 2015/9/28 log(1+製造業で働く人の数) 21 例 X から Y を多項式回帰したら、多項式の次数によって結果がまったく異なることが分かった。 log(1+医療福祉で働く人の数) 1次 2次 0次 2015/9/28 Mathematical Learning Theory log(1+製造業で働く人の数) 22 問１横浜市で「○町○丁目」で働く人の数を調査した。 X = log(1+製造業で働く人の数) Y = log(1+医療福祉で働く人の数) において、多項式を用いて二乗誤差を最小にするように学習すると、その結果は用いたモデルによって変化する。 (1) ０次: X は Y に影響しない。 (2) １次: X が大きいほど Y は大きい。 (3) 2次-４次: X がある値より大きいと Y は減少する。 (4) ５次以上： Y はいったん減少したあと、また上昇する。モデルが違うと結論が違うから「何もわからない」のだろうか。予測精度および確率の観点から、この問題について論ぜよ。 2015/9/28 Mathematical Learning Theory 23 最後まで学んでくれてありがとう 2015/9/28 Mathematical Learning Theory 実社会で役立つかないつかまた数学と出会ってね 24 学習理論と社会学習理論は、もともと人工知能を作るため、すなわち音声・画像の認識や自然言語・時系列の理解に用いることを目的として研究されてきました。今日では、膨大データ、巨大ネットワーク、深い学習モデルが実現され、社会経済、自然科学、芸術文化のありかたを変革し始めています。学習理論は科学あるいは技術なので、みんなの幸せに役立つかどうかは、使い方しだいです。今度こそ人類は、科学あるいは技術を、賢く正しく使って欲しいと思います。皆さんの時代です。 2015/9/28 Mathematical Learning Theory 25 問２次の中で30年後にそうなっていると思うものに○、そうでないものに×をつけましょう。１．自動英会話できるスマホがあるので、TOEICを受けなくて良い。２．就職活動は、深層学習が代行してくれる。３．あなたの脳波と遺伝子からあなただけの修士論文が自動生成。４．映画も流行歌もお笑い番組も、コンピュータが作っている。５．人間にできる仕事が少なくなり、失業者があふれて社会危機。６．会社は社長ひとり。データ分析してＡＩに指示するだけ。７．人口減少から抜け出すための深層学習の政策が実行されている。８．西森先生の量子コンピュータが実現され「パスワード」はもうない。９．全ての人の全ての行動が記録されている。 10．学問がなくなっている。 2015/9/28 Mathematical Learning Theory 26