Nagoya Institute of Technology

Nagoya
Institute of
Technology
ニューラルネットワーク3
竹内一郎
(名古屋工業大学)
Nagoya Institute of Technology
階層型ニューラルネットの適応的基底関数
1
0/1
0
threshold
Nagoya Institute of Technology
シグモイド関数の特徴
Nagoya Institute of Technology
階層型ニューラルネット
Nagoya Institute of Technology
階層型ニューラルネットの学習
学習データ
学習誤差
パラメータ
Nagoya Institute of Technology
非線形最適化のイメージ
初期値
パラメータ空間
最適解
Nagoya Institute of Technology
最急降下法の収束
Nagoya Institute of Technology
局所解と大域解
Nagoya Institute of Technology
Nagoya Institute of Technology
階層型ニューラルネットの学習
学習データ
学習誤差
パラメータ
Nagoya Institute of Technology
中間変数の導入
Nagoya Institute of Technology
順方向計算
Nagoya Institute of Technology
順方向計算過程
Nagoya Institute of Technology
逆方向計算
Nagoya Institute of Technology
逆方向計算過程
Nagoya Institute of Technology
順方向・逆方向計算
Nagoya Institute of Technology
課題1
Nagoya Institute of Technology
課題2
Nagoya Institute of Technology
課題3
Nagoya Institute of Technology
課題4
Nagoya Institute of Technology
階層型ニューラルネットにおけるモデル選択
Nagoya Institute of Technology
階層型ニューラルネットの学習アルゴリズム(1)
パラメータ
Nagoya Institute of Technology
階層型ニューラルネットの学習アルゴリズム(2)
アルゴリズムへの入力
学習データ行列:
隠れ層ユニット数:
初期学習率:
学習減衰率:
最大学習ステップ数:
Nagoya Institute of Technology
階層型ニューラルネットの学習アルゴリズム(3)
ステップ1: パラメータの初期化
ステップ2: 学習誤差, 勾配ベクトルの計算
ステップ3: 収束判定
ステップ4: パラメータ更新