正誤表（岡谷貴之著，機械学習プロフェッショナルシリーズ「深層学習」第

2015 年 5 月 28 日
正誤表（岡谷貴之著，機械学習プロフェッショナルシリーズ「深層学習」第 1,2 刷）
箇所
誤
正
50 頁最後のパラグ
順伝播計算は，U(1) ≡ X
順伝播計算は，Z(1) ≡ X
ラフ
52 頁の 2 番めの式
∂b(l) =
63 頁第 1 行
{
(l)
δj
99 頁の 10 行目
∂b(l) =
い（Dy ≤ Dx ) 場合であっても，
65 頁式 (5.4)
96 頁の 1 番目と 2
番めの式
1 (l) ⊤
∆ 1N
N
=
··· +
い（Dy > Dx ) 場合であっても，
(
)}
ρ
1−ρ
(l)
−
f ′ (uj )
+
ρ̂j
1 − ρ̂j
(l)
δj
z(l) = f (l) (u)
z(l) = f (l) (u(l) )
約 200,000 ミニバッチ，すなわち 2 万 ×
約 200,000 ミニバッチ，すなわち 20 万 ×
128/(総学習サンプル=数百万)=約 25 エポッ
128/(総学習サンプル=約百万)=約 25 エポック
クほど
ほど
∑
E(w) = −
···
n
122 頁下から 2 行
{
(
)}
ρ
1−ρ
(l)
··· + β −
f ′ (uj )
+
ρ̂j
1 − ρ̂j
u(l) = W(l) z(l−1) + b(l)
E(w) =
119 頁の式 (7.7) の
=
u(l) = W(l) u(l−1) + b(l)
115 頁の式 (7.1)
カッコ内の第 2 項
1 (l)
∆ 1N
N
∑
∑
···
n
∑
wjj ′ δjt+1
′
j′
wj ′ j δjt+1
′
j′
内部のメモリセルは
内部のメモリセル（図 7.7a）は
目
1
箇所
誤
123 頁の第 2,3,4,6 式
正
utj =
∑
(in)
wji xtj +
∑
j′
j

··· = f 
∑

··· = f 

··· = f 
F,in t
wji
xj
wjj ′ zjt−1
I,in t
wji
xj
+
O,in t
wji
xj
∑
j′
+
∑
j′
j
∑
in t
wji
xi +
∑
j′
i
j
∑
∑
utj =
+
∑
j
j′
t−1
F
wjj
′ zj
t−1
I
wjj
′ zj
O t−1
wjj
′ zj
+
+
+



st−1
j
··· = f 
∑


sjt−1 
··· = f 
F,in t
wji
xi
+


stj 
··· = f 
I,in t
wji
xi
+
i
∑
∑
j′
i
∑
wjj ′ zjt−1
′
O,in t
wji
xi

t−1
F
wjj
′ zj ′
∑
j′
+
+

wjI st−1
j

t−1
I
wjj
′ zj ′
∑
i
+

wjF st−1
j
j′

O t−1
wjj
′ zj ′
+
wjO stj 
123 頁の 10 行目に追加
wjF ,
fと
wjI ，はそれぞれ，メモリセルから忘却ゲートと入力ゲートの値を決めるユニット（図 7.7 の
c）への結合の sjt−1 の重みです．これらは下で扱う出力ゲートに関する同様の結合とあわせ
て，
「のぞき穴（peephole）」結合とも呼ばれています．
上の 123 頁の訂正およ
最初に提案された LSTM（wjF = wjI = wjO = 0 に相当，文献 [30]）では，出力ゲートが閉じて
び追加についての備考
いると各ゲートはセルの状態を知ることができず，タスクによってはこれが問題となる場合が
ありますが，
「のぞき穴」結合はこれを解決します（参考：F. Gers, N. N. Schraudolph, and J.
124 頁中央からの 3 つ
Schmidhuber, Learning Precise Timing with LSTM Recurrent Networks, Journal of Machine
Learning Research, 3:115-143, 2002）．
∑ out t
∑
zj であり，
vkt = j wkj
uout,t
= j wkj zjt であり，
k
の式
∂uout,t
k
= wkj f
∂uO,t
j
′
out ′ O,t
= wkj
f (uj )f (stj )
となります．もう一つの伝播先の，次時刻の
メモリユニットへの総入力についても同様に
メモリユニットへの総入力についても同様に
計算でき，したがって gjO,t を出力するユニッ
計算でき，したがって gjO,t を出力するユニッ
トのデルタは
トのデルタは
∑
wkj δkout,t +
k
125 頁の最初の式
行目
∂uO,t
j
となります．もう一つの伝播先の，次時刻の
ϵtj =
129 頁の 10 行目と 11
∂vkt
t
(uO,t
j )f (sj )
∑
wj ′ j δjt+1
′
ϵtj =
∑
out out,t
wkj
δk
+
∑
k
j′
誤：
δjcell,t = δ̃jt + gjF,t+1 ϕt+1
+ δjI,t+1 + δjF,t+1 + δjO,t
j
正：
δjcell,t = δ̃jt + gjF,t+1 δjcell,t+1 + wjI δjI,t+1 + wjF δjF,t+1 + wjO δjO,t
wj ′ j δjt+1
′
j′
p(l|X) = α|L′ |,T + α|L′ |+1,T のように計算でき
ます（図 7.8 にもあるように，有効なパスはい
p(l|X) = α|l′ |,T + α|l′ |−1,T のように計算でき
ます（図 7.8 にもあるように，有効なパスはい
つも，最後の時刻 t = T では |L′ | か |L′ | + 1
つも，最後の時刻 t = T では |l′ | か |l′ | − 1 の
のいずれかに到達するはずであることから）．いずれかに到達するはずであることから）．
129 頁最後の式
−
∑
−
log p(d|X)
n
130 頁下から 4 行目
134 頁の最初の式中
∑
log p(dn |Xn )
n
l̂ = B(π) とする方法です．
l̂ = B(π̂) とする方法です．
Φ(xn |θ)
Φ(xn , θ)
2
箇所
誤
正
139 頁の 2 番めの式
L(θ) =
N
∑
p(vn |θ)
n=1
141 頁の 7 行目
149 頁の式 (8.20c)
150 頁の 11 行目と 14
行目の式
隠れ変数を指定したときの可視変数の条件付
可視変数を指定したときの隠れ変数の条件付
き分布 p(v|h, θ) は，定義により
き分布 p(h|v, θ) は，定義により
(
)
(0)
(T )
∆bj = ϵ hj − pj
(
)
(0)
(T )
∆bj = ϵ pj − pj
σ(x − i + 5)
σ(x − i + 0.5)
p(h(l) |h(l+1) ) =
∏
(l)
σ(bi +
i
153 頁の式の最後の項
155 頁の最初の式
∑
(l+1) (l+1)
hj
)
wij
∑∑
(l)
∑
j
(l)
−
(l)
p(hi = 1|h(l+1) ) = σ(bi +
j
(l)
p(hj |h(l−1) ) = · · ·
j
154 頁の最後の式
p(vn |θ)
n=1
152 頁の最初の式
152 頁の 2 番めの式
N
∏
L(θ) =
p(hj = 1|h(l−1) ) = · · ·
(2) (1) (2)
−
wij hj hj
∑∑
j
k
p(vi |h(1) ) = · · ·
(2) (1) (2)
wjk hj hk
k
p(vi = 1|h(1) ) = · · ·
(l)
(l)
p(hj |h(1−1) ) = · · ·
p(hj = 1|h(l−1) ) = · · ·
3
(l+1) (l+1)
hj
)
wij

Download Report