I. Reservoir Computingとは

8th Symposium
学際大規模情報基盤共同利用・共同研究拠点公募型共同研究平成２８年度採択課題
jh160035-DAJ
末谷大道 (大分大学)
ランダム神経回路網における同期解析のための大規模計算
I. Reservoir Computingとは
II. 例：パターン生成
n Reservoir Computing (Maas 2002, J aeger 2 003)
before training
after training
same network, different initial conditions
l 従来：全ての結合を誤差逆伝播などで学習
Back Propagation Through Time (BPTT)法
Real Time Recurrent Learning (RTRL)法
l ESN：入力信号をいったん高次元空間に写し、
読み出し部分だけ線形モデルで推定
same network, different initial conditions
trial 1
trial 1
trial 2
trial 2
different output
trial M
(Jaeger, 2009)
n FORCE-‐learning: Sussillo and Abbott (2009)
same output with a short duration trial M
after training(g=1.4, wf=0.5)
before training (g=1.4)
target patterns (teacher)
1.5
1
0.5
0
−0.5
−1
−1.5
l オンラインの教師あり学習
l 勾配学習や逐次的最小二乗法など
l readout neuronからのフィードバック
→安定なダイナミクス
0
200
400
600
800
1000
1200
T=1.2sec
z(t)
x1(t)
recall o f p attern
t
J
逐次的最小
二乗法で推定
ẋi =
xi + g
RNNの内部状態
zl (t) =
t
w lout
K
ij
wrec
tanh(xj ) + ai
j=1
L
ik
win
uk
k=1
tanh(x(t))
+ af
l=1
入力
xN(t)
trial 1
trial 2
・・・
・・・
読み出し部分での学習結果を内部の
学習に「転送」する方法も提案
(Sussillo and Abbott 2012)
※ different colors = different trials
III. 研究内容
パラメータによる挙動の違い
chaos
パルス⼊入⼒力力で試⾏行行間の揺らぎが
「過渡的に」消える
transitional consistency
x1(t)
x2(t)
x3(t)
readout neuronからの出力
t
chaos
学習前のネットワークでは、パルス
⼊入⼒力力(トリガー)で試⾏行行毎の軌道の違
いが消えない
il
wfb
zl
exponential divergence of small initial error with time IV. 応用：データ同化
リザバー集団による粒子フィルタ
l データ同化（data assimilation）：数値シミュレーション（物理法則）＋
実際の観測データの協調によるモデリング
l 粒子フィルタ（particle filter, sampling importance resampling: SIR）：
ベイズの定理に基づくリサンプリング → 非ガウス分布、状態と観測
の非線形な関係
observation and particles
“最適”なネットワークとは？
・個々の素⼦子の性質
・ネットワーク構造
・⾮非線形ダイナミクス
ランダムネットワーク上の⾮非
線形ダイナミクスを教師あり
学習＝同期現象の獲得プロセ
スとして解析
y1:t
1
: observation from 1 to t-‐1
(n)
{xt 1|t 1 }N
n=1 : N particles at time t-‐1
simulation model for particles (n)
xt|t
1
(n)
(n)
1|t 1 , vt )
= F (xt
new observation yt à filtered distribution from the Bayes’ rule
異なる初期値・パラメータの計算を同時並行に実施
最初の計算
・・・
・・・
次の計算
最適パラメータの探索索
・⼀一定の閾値以下の物を
破棄して繰り返し実⾏行行
評価
・同期の精度度・収束性
・並列列計算の効率率率
(n)
{xt|t }N
n=1
new particles at time t !
(Nakano et al., 2007)
学際大規模情報基盤共同利用・共同研究拠点第８回シンポジウム
2016 年 7 月 14 日， 15 日
THE GRAND HALL （品川）

Download Report