目 次
シリーズの刊行にあたって · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
iii
まえがき · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
v
第 1 章 はじめに ··· ·· ··· ··· ··· ··· ·· ··· ··· ··· ·· ··· ··· ··· ·
1
1.1 研究の歴史 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
1.2
1.1.1 多層ニューラルネット への期待と失望 · · · · · · · · · · · · · · · · · · · · · · · · ·
1.1.2 多層ネット ワークの事前学習 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
1.1.3 特徴量の学習 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
1.1.4 深層学習の隆盛 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
本書の構成 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
第 2 章 順伝播型ネット ワーク ··· ·· ··· ··· ··· ·· ··· ··· ··· ·
2.1
2.2
2.3
2.4
ユニット の出力 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
活性化関数 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
多層ネット ワーク · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
出力層の設計と誤差関数 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
2.4.1 学習の枠組み · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
2.4.2 回帰 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
2.4.3 二値分類 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
2.4.4 多クラス分類 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
第 3 章 確率的勾配降下法 · ··· ··· ·· ··· ··· ··· ·· ··· ··· ··· ·
3.1
3.2
3.3
3.4
3.5
勾配降下法 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
確率的勾配降下法 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
「ミニバッチ」の利用 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
汎化性能と過適合 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
過適合の緩和 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.5.1 正則化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.5.2 重みの制約 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.5.3 ド ロップアウト · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.6 学習のト リック · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.6.1 データの正規化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.6.2 データ拡張 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.6.3 複数ネット の平均 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.6.4 学習係数の決め方 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
3.6.5 モメンタム · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
1
1
3
4
4
6
7
7
10
12
14
14
15
16
18
23
23
25
26
27
29
29
29
30
33
33
35
35
36
37
viii
3.6.6 重みの初期化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 38
3.6.7 サンプルの順序 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 39
第 4 章 誤差逆伝播法 ·· ·· ··· ··· ··· ··· ·· ··· ··· ··· ·· ··· ···
4.1
4.2
4.3
4.4
4.5
41
勾配計算の難しさ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
41
多層ネット ワークへの一般化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
勾配降下法の完全アルゴリズム · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
4.4.1 出力層でのデルタ · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
4.4.2 順伝播と逆伝播の行列計算 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
4.4.3 勾配の差分近似計算 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
勾配消失問題 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
45
2 層ネット ワークでの計算 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
第 5 章 自己符号化器 ·· ·· ··· ··· ··· ··· ·· ··· ··· ··· ·· ··· ···
43
49
49
50
52
53
55
5.1 概要 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.2 ネット ワークの設計 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
55
5.3
58
58
60
5.4
5.5
5.6
5.7
5.2.1 出力層の活性化関数と誤差関数 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.2.2 重み共有 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
自己符号化器の働き · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.3.1 データを表す特徴の学習· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.3.2 主成分分析との関係 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
スパース正則化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.4.1 データの過完備な表現 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.4.2 最適化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.4.3 スパース正則化の効果 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
データの白色化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
ディープネット の事前学習 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
その他の自己符号化器 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.7.1 多層自己符号化器 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
5.7.2 デノイジング自己符号化器 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
第 6 章 畳込みニューラルネット · ··· ·· ··· ··· ··· ·· ··· ···
6.1 単純型細胞と複雑型細胞 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.2 全体の構造 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.3 畳込み · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.4
6.3.1 定義 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.3.2 畳込みの働き · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.3.3 パディング · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.3.4 スト ライド · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
畳込み層 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
57
57
57
62
62
64
66
67
72
74
74
75
79
79
82
83
83
84
85
86
87
目 次
6.5 プーリング層 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.6 正規化層 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.7
6.8
ix
89
92
92
93
95
6.6.1 局所コント ラスト 正規化· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.6.2 単一チャネル画像の正規化 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
6.6.3 多チャネル画像の正規化· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
勾配の計算 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 95
実例：物体カテゴリ認識 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 97
第 7 章 再帰型ニューラルネット ·· ··· ··· ··· ·· ··· ··· ··· ·
7.1
7.2
7.3
7.4
7.5
系列データの分類 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
RNN の構造 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
順伝播計算 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
逆伝播計算 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
長・短期記憶（ LSTM ）· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
7.5.1 RNN の勾配消失問題 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
7.5.2 LSTM の概要 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
7.5.3 順伝播計算 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
7.5.4 逆伝播計算 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
7.6 入出力間で系列長が異なる場合 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
7.6.1 隠れマルコフモデル · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
7.6.2 コネクショニスト 時系列分類法 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
第 8 章 ボルツマンマシン · ··· ··· ·· ··· ··· ··· ·· ··· ··· ··· ·
111
111
114
116
117
120
120
121
122
123
125
125
126
131
8.1 データの生成モデル · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 131
8.2 ボルツマンマシン · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 132
8.3
8.4
8.5
8.6
8.7
8.2.1 確率的構造 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.2.2 学習 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
ギブスサンプリング · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
隠れ変数を持つボルツマンマシン · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.4.1 確率的構造 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.4.2 学習 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
制約ボルツマンマシン（ RBM ）· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.5.1 確率的構造 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.5.2 条件付き分布 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.5.3 RBM と自己符号化器· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
RBM の学習 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.6.1 ギブスサンプリングを用いた勾配の計算 · · · · · · · · · · · · · · · · · · · · · · ·
8.6.2 コント ラスティブダイバージェンス（ CD ）· · · · · · · · · · · · · · · · · · · · · ·
8.6.3 CD の実装 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.6.4 持続的 CD · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
その他のユニット · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
8.7.1 ガウシアンユニット · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
132
134
136
137
137
139
140
140
141
142
143
143
144
145
147
148
148
x
8.7.2 ReLU· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 149
8.8 ディープビリーフネット ワーク · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 151
8.9 ディープボルツマンマシン · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 153
8.10 性能比較 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 156
参考文献 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 157
索 引 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 164