ニューラル情報処理第０９回 ニューラルネットワーク２ 課題 竹内一郎 名古屋工業大学 Ichiro Takeuchi, Nagoya Institute of Technology 1/5 課題１ z = zt の近傍で線形近似 g(zt + αd) ≃ g(zt ) + αd⊤ ∇gt が成り立っている状況をにおいて, 2 つのベクトル d と ∇gt のなす角度を θ とすると, 目的関数が減少する, すなわち, g(zt + αd) < g(zt ) となるための θ の条件を導出せよ. なお, α はステップ幅で, α > 0 である. Ichiro Takeuchi, Nagoya Institute of Technology 2/5 課題２ 前課題と同様に, z = zt の近傍で線形近似 g(zt + αd) ≃ g(zt ) + αd⊤ ∇gt が成り立っている状況を考える. ステップ幅 α > 0 を一定と し, 探索方向 d の長さを 1 に固定したとき (||d|| = 1), 目的 関数を最も減少させる探索方向 d を求めよ. すなわち, 以下 の最適化問題を解け: min d s.t Ichiro Takeuchi, Nagoya Institute of Technology g(zt + αd), ||d|| = 1. 3/5 課題３ 最急降下法を用いた二次関数の最小化問題 minm z∈R 1 ⊤ z Qz + b⊤ z 2 を考える．ステップ t + 1 にて zt+1 = zt − α(Qzt + b) と更新するとき，目的関数を最小にする α, すなわち, arg min α 1 ⊤ zt+1 Qzt+1 + b⊤ zt+1 2 を求めよ. Ichiro Takeuchi, Nagoya Institute of Technology 4/5
© Copyright 2024 ExpyDoc
