ニューラルネット研究の概観

ニューラルネット研究の概観
村田研究室M1
5310E063-4 園田翔
2010/4/27
目次
目的と手法
昨年の取り組みを整理
これから取り組む問題
そのほかの興味
目的と手法
目的
NNの研究を通して脳を理解する。
手法
NNの学習法（加速・モデル選択）を研究する。
修士では，生理学的な意味づけにも注意する。
昨年の取り組み
 問題設定
0.5
0.0
-0.5
どうすれば学習が収束するか？
どうすれば学習が速く終わるか？
ニューロンはいくつ必要か？
2
4
6
8
10
12
14
16
18
20
-1.0
1.
2.
3.
1.0
 3層パーセプトロンの回帰問題を取り上げ，その
学習法を研究した。
0
20
40
60
Time
80
100
昨年の取り組み
はじめは勾配学習について調べていた。
非線形最適化問題として取り組んでいた。
後半から「積分表現による近似学習」を提案。
一度別の関数空間に飛ばして，戻す方法。
逆変換をモンテカルロ積分で有限和近似すると，
NNに読み替えることができる。という確率的アルゴ
リズム。
モデル選択についてはサーベイ止まり。
枝刈り，正則化，NIC
積分近似学習の概要
これから取り組む問題
モデル選択
T(a,b)の構造から決める方法。
積分表現アルゴリズム
さらなる効率化。サンプリングや
ベンチマークデータで実験する。
の計算など。
回帰問題として
信頼区間を付ける。
実装
Rで実験できるようにインタフェースを整備する。
他のモデル
T(a,b)によるモデル選択
 積分近似は，主成分分析のアナロジーで捉えることができる。
ここで
とおくと，
を基底ベクトルとする線形空間
の元として近似していることになる。
各は，
の”主成分”方向が選ばれているはずなので，
同じ方向のベクトルは選ばないようにすれば無駄がなくなる。
の同じピークから選ばれたと考えられる。
サンプリングについて
棄却法（Acceptance-Rejection method）
現在使用している方法
SIR（Sampling-Importance Resampling）
MCMC
Gibbs Sampler
Metropolis-Hastings
Slice Sampling
逐一実装してみる予定。
NNの他のモデルについて
階層型
3層パーセプトロン
リカレント
Elman, Jordan Network
相互結合型
アソシアトロン，ホップフィールド
教師なし
SOM
参考文献
 N.Murata (’96) An Integral Representation of Functions Using Threelayered Networks and Their Approximation Bounds. Neural
Networks, Vol.9, No.6, pp.947-956
 園田翔 (‘09) 卒業論文「ニューラルネットワークの学習法」
 伊庭幸人ほか (‘05) 統計科学のフロンティア計算統計Ⅱ マルコフ連鎖
モンテカルロ法とその周辺，岩波書店
 浅川伸一サーベイ入門神経回路モデル

Download Report