パターン認識とニューラルネットワーク栗田多喜夫 2015/9/30 早稲田大学大学院理工学研究科講義 1 講義内容  1時限目  統計的決定理論パターン認識とは  ベイズ決定理論  確率密度分布の推定     パラメトリックモデルを用いる方法ノンパラメトリックな方法セミパラメトリックモデルを用いる方法  2時限目  統計的特徴抽出の理論特徴抽出の枠組み  線形多変量データ解析手法  非線形判別特徴の抽出  線形手法と非線形手法との関係  2015/9/30 早稲田大学大学院理工学研究科講義 2 講義内容  3時限目  学習の理論とニューラルネットワーク      単純パーセプトロン ADALINE ロジスティック回帰多層パーセプトロン汎化性  4時限目  その他のニューラルネット恒等写像学習  RBF(Radial Basis Function)ネットワーク  Mixture of Experts  SVM(Support Vector Machine)  2015/9/30 早稲田大学大学院理工学研究科講義 3 学習の理論とニューラルネット  パターン認識  有限個の例からパターンとクラスの確率的構造を推定  確率密度関数がわかれば、最適なベイズ識別が可能  ニューラルネット  パターン認識の分野でもニューラルネットが盛んに利用されるようになってきた。多層パーセプトロンの学習法として誤差逆伝播法が考案され、良い識別性能を持つ識別器を学習データから比較的簡単に構成できることがわかった  セミパラメトリックモデルによる学習と解釈できる   ニューラルネットの分類  階層的ニューラルネットワーク   相互結合ネットワーク  2015/9/30 多層パーセプトロン、RBF（Radial Basis Function)ネットワーク等 Hopfieldネットワーク、Boltzmann Machine等早稲田大学大学院理工学研究科講義 4 歴史１  単純パーセプトロン  1943年 McCulloch & Pitts   ニューロンモデルとして、2値（＋１，－１）入力の組を2値出力に変換するしきい値論理素子を提案ニューラルネットは論理計算として万能であることを示す  1949年 Hebb  シナプス結合強度の変化規則の提案＝＞ Hebb学習則  1957年 Rosenblatt  パーセプトロン（視覚パターン識別学習機械のモデル）の提案  入力パターンに対するパーセプトロンの出力と教師の答えに応じて、結合重みを逐次修正する学習則  1969年 Minsky & Papert  パーセプトロン（特に1層）の能力の限界を明らかにした  ブームの終了  原因   デジタルな論理関数ネットワークの学習という識別関数のエラーフリーが学習を考えていた決定論的な観点からのアプローチ単純パーセプトロンOHPあり 2015/9/30 早稲田大学大学院理工学研究科講義 5 歴史２  最小2乗線形判別関数の学習  1960年 Widrow & Foff  ADALINE (Adaptive Linear Neuron)モデルの提案  モデル I y   ai xi  a0 i 1   P    || t  y ||2 2 p p 評価基準：2乗誤差最小化 p 1 学習：最急降下法に基づく学習  理想的な識別関数を線形関数（判別関数）によって2乗誤差最小化の意味で解析的に近似＜＝多変量解析の考え方と同じ  1966年 Koford & Groner  ADALINEとフィシャーの線形判別関数との関係を指摘  1966年 Patterson & Wowmack  ADALINEは誤識別率最小の意味で理論的に最適なベイズ識別関数を最小2乗近似していることを指摘  ポイント  連続実数化、線形化＝＞統計解析的な研究対象へ逐次線形重回帰OHPあり 2015/9/30 早稲田大学大学院理工学研究科講義 6 歴史３  人工知能ブーム  1970年代  第2次ニューロブーム  1980年代前半から  1986年 Rumelhart等多層パーセプトロンの学習法（誤差逆伝播学習法）の提案  2乗誤差最小化を評価関数とする最急降下   他方  統計では、GLIM（Generalized Linear Model)の研究  ロジスティック回帰ロジスティック回帰OHPあり 2015/9/30 早稲田大学大学院理工学研究科講義 7 多層パーセプトロン  多層パーセプトロンの構造・多層パーセプトロンでの計算  多層パーセプトロンの能力  誤差逆伝播学習法  最尤推定としての定式化  フィッシャー情報行列とその学習への利用多層パーセプトロンOHPあり 2015/9/30 早稲田大学大学院理工学研究科講義 8 階層型ニューラルネットと非線形回帰  階層型ニューラルネット  たくさんの単純なユニットを結合したネットワークにより非線形回帰を行っている  最適非線形写像  学習すべき究極の目標を与えている非線形回帰OHPあり 2015/9/30 早稲田大学大学院理工学研究科講義 9 汎化性  学習の目的  学習データに対して良い結果を与えることでは無く、未学習のデータに対して性能が良いこと  特に、パターン認識に用いる場合には、学習データでいくらうまく識別出来ても、未知のデータに対してうまく識別出来なければ意味が無い  汎化性  未知データに対する性能汎化性OHPあり 2015/9/30 早稲田大学大学院理工学研究科講義 10 ノイズの付加による汎化能力の向上  ノイズの付加  観測データを補間するような学習データを生成（1992赤穂）  中間層のニューロンにノイズを付加（1993栗田）  結合荷重にノイズを付加（1993Murray)  中間層の各ニューロンの入力のノイズを付加  誤差逆伝播学習がどのような影響を受けるか？中間層へのノイズの付加OHPあり 2015/9/30 早稲田大学大学院理工学研究科講義 11 3時限目終了  4時限目  その他のニューラルネット恒等写像学習  RBF(Radial Basis Function)ネットワーク  Mixture of Experts  SVM(Support Vector Machine)  2015/9/30 早稲田大学大学院理工学研究科講義 12