スライド - 名古屋工業大学竹内研究室

ニューラル情報処理第０９回
ニューラルネットワーク１
竹内一郎
名古屋工業大学
Ichiro Takeuchi, Nagoya Institute of Technology
1/25
一変数非線形モデリング
⇓
多変数（高次元）非線形モデリング
Ichiro Takeuchi, Nagoya Institute of Technology
2/25
多変数（高次元）非線形モデリングは何が難しい
のか？
⇓
次元の呪い
(Curse of Dimensionality)
Ichiro Takeuchi, Nagoya Institute of Technology
3/25
一変数多項式モデル（復習）
▶
1 次多項式（線形）モデル（パラメータ数 = 2 個）
f (x) = w0 + w1 x
▶
2 次元多項式モデル（パラメータ数 = 3 個）
f (x) = w0 + w1 x + w2 x2
▶
3 次元多項式モデル（パラメータ数 = 4 個）
f (x) = w0 + w1 x + w2 x2 + w3 x3
一変数モデリングではパラメータ数が線形に増える
Ichiro Takeuchi, Nagoya Institute of Technology
4/25
一変数基底関数モデル（復習）
▶
入力の定義域 x ∈ [0, 10] を 5 個の局所基底関数で表現
1
0.8
0.6
0.4
0.2
0
0
2
4
6
8
10
一変数基底関数モデルでは基底関数が線形に増える
Ichiro Takeuchi, Nagoya Institute of Technology
5/25
多変数（p 変数）多項式モデル
▶
1 次多項式モデル（パラメータ数 = 1 + p 個）
f (x1 , . . . , xp ) = w0 + w1 x1 + . . . + wp xp
▶
▶
2 次多項式モデル（パラメータ数 = 1 + p +
p(p−1)
2
個）
f (x1 , . . . , xp )= w0 + w1 x1 + . . . + wp xp
+w11 x21 + w12 x1 x2 + . . . + wpp x2p
() ()
3 次多項式モデル（パラメータ数 = 1 + p + p2 + p3 個）
f (x1 , . . . , xp )= w0 + w1 x1 + . . . + wp xp
+w11 x21 + w12 x1 x2 + . . . + wpp x2p
+w111 x21 + w112 x21 x2 + . . . + wppp x3p
多変数多項式モデルではパラメータ数が指数的に増える
Ichiro Takeuchi, Nagoya Institute of Technology
6/25
多変数基底関数モデル
▶
各入力の定義域 x1 , x2 ∈ [0, 10] をそれぞれ 5 個の局所基
底関数で表現
1
0.5
0
10
5
5
10 0
多変数基底関数モデルでは基底関数が指数的に増える
Ichiro Takeuchi, Nagoya Institute of Technology
7/25
適応的な基底関数
▶
高次元空間に潜む低次元空間
10
1
0.75
7.5
0.5
5
0.25
2.5
0
2.5
0
5
10
7.5
7.5
0
2.5
5
7.5
5
10
2.5
10
0
2 次元入力空間
Ichiro Takeuchi, Nagoya Institute of Technology
適応的な基底関数
8/25
適応的な基底関数モデル
▶
適応的基底関数モデル
f (x) = v0 +
q
∑
hk (xk , w̃k )
k=1
▶
▶
▶
▶
基底の数: q
適応的な基底関数: hk (x, w̃k ), k = 1, . . . , q
基底関数のパラメータ: w̃k
係数パラメータ: v0 , v1 , . . . , vq
Ichiro Takeuchi, Nagoya Institute of Technology
9/25
適応的な基底関数モデル（模式図）
適応的な基底関数モデル
Ichiro Takeuchi, Nagoya Institute of Technology
10/25
神経細胞のモデル
神経細胞のモデル
Ichiro Takeuchi, Nagoya Institute of Technology
11/25
階層型ニューラルネットの基底関数
hk (x, w̃k ) = ψ(wk0 +
p
∑
wkj xj ), k = 1, . . . , q
j=1
1
1
0.8
0.5
psi(z)
psi(z)
0.6
0
0.4
-0.5
0.2
0
-1
-4
-2
0
z
2
logistic sigmoid
Ichiro Takeuchi, Nagoya Institute of Technology
4
-4
-2
0
z
2
4
tanh sigmoid
12/25
階層型ニューラルネットモデル
f (x) = v0 +
q
∑
k=1
Ichiro Takeuchi, Nagoya Institute of Technology
ψ(wk0 +
p
∑
wkj xj )
j=1
13/25
階層型ニューラルネットモデル
f (x) = v0 +
q
∑
k=1
Ichiro Takeuchi, Nagoya Institute of Technology
ψ(wk0 +
p
∑
wkj xj )
j=1
13/25
階層型ニューラルネットモデルのパラメータ

W
q×(1+p)
w10 w11 w12 · · · w1p
 w20 w21 w22 · · · w2p

=  ..
..
..
..
...
 .
.
.
.
wq0 wq1 wq2 · · · wqp
Ichiro Takeuchi, Nagoya Institute of Technology



,





v =

(1+q)×1

v0
v1
v2
..
.







vq
14/25
課題１
(a) logistic シグモイド関数の導関数を logistic シグ
モイド関数自体を用いて表わせ．
(b) logistic シグモイド関数を ϕlogi (z)，tanh シグモ
イド関数を ϕtanh (z) とすると，
ϕtanh (z) = 2ψlogi (2z) − 1
という関係にあることを示せ．
Ichiro Takeuchi, Nagoya Institute of Technology
15/25
シグモイド関数の特徴
シグモイド関数は C ∞ 級関数（何回でも微分可能）
1
0.8
psi(z)
0.6
0.4
0.2
0
-4
Ichiro Takeuchi, Nagoya Institute of Technology
-2
0
z
2
4
16/25
階層型ニューラルネットの入出力関係
step1: 入力変数を入力層へ
Ichiro Takeuchi, Nagoya Institute of Technology
17/25
階層型ニューラルネットの入出力関係
step2: 入力変数のアフィン変換（位置・尺度変換と回転）
Ichiro Takeuchi, Nagoya Institute of Technology
18/25
階層型ニューラルネットの入出力関係
step3: シグモイド関数による非線形変換
Ichiro Takeuchi, Nagoya Institute of Technology
19/25
階層型ニューラルネットの入出力関係
step3: シグモイド関数による非線形変換
Ichiro Takeuchi, Nagoya Institute of Technology
20/25
階層型ニューラルネットの入出力関係
step4: 基底関数を入力とする線形回帰分析
Ichiro Takeuchi, Nagoya Institute of Technology
21/25
階層型ニューラルネット回帰の学習
▶
学習データ



X=

▶
x1p
x2p
..
.
xn1 xn2 · · ·
xnp
x12
x22
..
.






,
y
=




y1
y2
..
.





yn
学習誤差
E=
n
∑
i=1
▶
···
···
..
.
x11
x21
..
.
パラメータ

W
q×(1+p)
[yi − {v0 +
q
∑
vk ψ(wk0 +
Ichiro Takeuchi, Nagoya Institute of Technology
wkj xij )}]2
j=1
k=1
w10 w11 w12 · · ·
 w20 w21 w22 · · ·

= .
..
..
..
 ..
.
.
.
wq0 wq1 wq2 · · ·
∑
w1p
w2p
..
.
wqp



,





v =

(1+q)×1

v0
v1
v2
..
.







vq
22/25
階層型ニューラルネットによる２クラス分類
▶
ニューラルネットによって事後確率 P (y = +1 | x) を
予測
P (y = +1 | x) = ψlogi (v0 +
q
∑
vk ψ(wk0 +
k=1
∑
wkj xij ))
j=1
P (y = −1 | x) = 1 − P (y = +1 | x)
▶
損失関数 = (負の対数尤度)
E=
n
∑
log ψlogi (yi (v0 +
i=1
Ichiro Takeuchi, Nagoya Institute of Technology
q
∑
k=1
vk ψ(wk0 +
∑
wkj xij )))
j=1
23/25
深層学習（Deep Neural Networks）
Ichiro Takeuchi, Nagoya Institute of Technology
24/25
宿題
▶
深層学習（Deep Learning）の応用先を 3 つ以上（ただ
し，説明したものを除く）リストアップせよ．なお，
情報源を明示すること．
Ichiro Takeuchi, Nagoya Institute of Technology
25/25

Download Report