後援 ドワンゴ 全脳アーキテクチャ若手の会 : 第3回ディープラーニング勉強会 前半 AutoEncoder 慶應義塾大学環境情報学部1年 増山七海 1 自己紹介 / 増山七海 / 慶應義塾大学環境情報学部(SFC)・1年生 / 先端生命科学研究会(冨田研)所属 / バイオインフォマティクス 合成生物学 (見習い) / 横浜サイエンスフロンティア高校出身 / 趣味を探しているところ / Deep Learningの勉強を始めて約1ヶ月 重要 お願い 誤解を招く表現等(本当の誤解含め) あるかもしれませんがご了承ください 指摘をしてくださるのは大歓迎です 物足りないと思ったら、ぜひ質問を！！！！ 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 5 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 6 Deep Learning誕生までは第一回の勉強会で大澤さんが ものすごくわかりやすく説明してくれましたが AutoEncoderの説明の流れのために 同じような説明させて下さい （ ほぼ大澤さんのコピペ ） 7 Deep Learningができるまで ニューロンのモデル化 : パーセプトロンの誕生 多層化の成功 : バックプロパゲーション 多層化の大成功 : プレトレーニングの登場 ※正しくは他にも理由はある! Deep Learning 誕生 8 参考 : 第一回DL勉強会大澤さんスライド 多層化する意義 多層化によって線形分離不能問題を克服 →表現力があがった →より多層化すれば表現力があがるはず パーセプトロン BP Deep Learning 9 多層化 参考 : 第一回DL勉強会大澤さんスライド 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 10 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 11 DNNの学習がうまくいかなかった理由 多層化すると… ・誤差をうまく逆伝播できない 過学習 汎化性能が低くなる ・局所解に陥る 学習が進まなくなる ・表現力が高すぎる 出力に近いニューロンだけでモデルを表現可能 12 誤差をうまく逆伝播できない バックプロパゲーション(BP) … 後方に誤差を伝播させる 多層化すると… 無理!! うーん できる! 13 局所解に陥る 凸関数の場合 最適解 14 参考 : 第一回DL勉強会大澤さんスライド 局所解に陥る 非凸関数の場合 最適解 15 参考 : 第一回DL勉強会大澤さんスライド 最適に近い初期値を与える 最適解 16 参考 : 第一回DL勉強会大澤さんスライド 表現力が高すぎる 出力に近いニューロンだけでモデルを表現可能 誤差伝播できない input output 過学習してしまう 17 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 18 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 19 多層化大成功の理由 プレトレーニング 教師データがくる前に事前学習する AutoEncoder系(AE) 制限付きボルツマンマシン(RBM) 20 http://www.vision.is.tohoku.ac.jp/files/9313/6601/7876/CVIM_tutorial_deep_learning.pdf 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 21 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 22 Autoencoder (AE) …… 砂時計型NNの発展形 hidden output input inputとoutputを同じにする → 情報の圧縮 特徴抽出 23 Stacked AutoEncoder … AutoEncoderを多層化 features1 output input input … … Copy output input features2 DNNの学習に成功 …… 24 恒等写像 AutoEncoderの問題点 hidden output input error=０ 中間層が出力層と入力層と同じになってしまう 25 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 26 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 27 Denoising Autoencoder ノイズ output input error ノイズを入れても入力データを復元するように学習 28 Stacked Denoising Autoencoder …Denoising AutoEncoderを多層化 output input ノイズ Layer1 より抽象的にデータを学習させる Copy output input ノイズ 29 Copy …… Layer2 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 30 目次 ・Deep Learning誕生まで - 前々回の勉強会のおさらい - DNNの学習がうまくいかなかった理由 ・プレトレーニングの誕生と発展 - AutoEncoder - Denoising AutoEncoder - Sparse AutoEncoder 31 Sparse AutoEncoder … 中間層が疎に活性化するように正則化をする hidden input output なるべく少ないニューロンを 発火させましょうって学習させる 32 Googleの猫( Sparse AutoEncoder系 ) ラベル付けしていないデータセットから特徴抽出に成功 33 http://theanalyticsstore.com/deep-learning/ まとめ ・NN多層化成功の要素のひとつにプレトレーニングの登場 ・AutoEncoderによるプレトレーニングでは入力をできる だけ復元できる中間表現への変換を求める ・より頑健に入力データを復元するためのAEのバリエーション Denoising AutoEncoderやSparse AutoEncoder あくまでもDL学習方法のひとつ 34 謝辞 全脳アーキテクチャ若手の会を支える 全ての皆様に感謝申し上げます． ご清聴ありがとうございました．
© Copyright 2024 ExpyDoc
![P1-28 表紙／誕生日／まちのわだい [PDFファイル／1.29MB]](http://s3.expydoc.com/store/data/007324080_1-365618a125f8c44bbaacf21ed6c7faad-250x500.png)
