脳における周期的発火現象の理論解析

A Theory of Associative Memory Model
with Synaptic Delay and Pruning
シナプスに遅延と切断を含む連想記憶モデルの理論
三好誠司
岡田真人
神戸高専電子工学科
理化学研究所脳科学総合研究センター
[email protected]
www.kobe-kosen.ac.jp/~miyoshi/
ｂｒａｉｎ
Outline
•
•
•
•
•
背景
遅延ネットワークの巨視的状態遷移方程式
遅延ネットワークの巨視的定常状態方程式
シナプスの切断
まとめ
Outline
•
•
•
•
•
背景
遅延ネットワークの巨視的状態遷移方程式
遅延ネットワークの巨視的定常状態方程式
シナプスの切断
まとめ
神経細胞（ニューロン）
ニューロンのモデル
u
x
リカレントニューラルネットワーク
脳における情報処理
• 学習
– 例題から規則を獲得
• 連想記憶
– あいまいな入力から記憶内容を連想
系列想起
統計神経力学 (Amari & Maginu,1988)
u
u=s+n
x
記憶容量
o ve rlap m
1
0.8
0.6
0.4
theory
simulation
0.2
0
0
0.1
0.2
0.3
Loading Rate α
0.4
記憶容量 αC
Outline
•
•
•
•
•
背景
遅延ネットワークの巨視的状態遷移方程式
遅延ネットワークの巨視的定常状態方程式
シナプスの切断
まとめ
遅延ネットワーク
Delay Element
1
l
L-1
Neuron
1
i
JijL-1 Jijl Jij1 Jij0
j
JjiL-1 Jjil J ji1 Jji0
N
• ダイナミクスは離散時間同期型
• 系列想起の結合荷重を相関学習により決定
• オーバラップ
統計神経力学による巨視的状態遷移方程式
矢内＆金(1995) Miyoshi, Yanai & Okada(2002)
連想のダイナミクス
1
1
0.8
0.8
o v er la p m
o v er la p m
遅延段数L=3 ，記憶率α=0.5
0.6
0.4
0.2
0.4
0.2
0
0
0
0.6
5
10
15
20
25
time step t
実験（N=2000）
30
0
5
10
15
20
time step t
理論
25
30
連想のダイナミクス
1
1
0.8
0.8
o v er la p m
o v er la p m
遅延段数L=2 ，記憶率α=0.5
0.6
0.4
0.2
0.6
0.4
0.2
0
0
0
5
10
15
20
25
30
0
5
10
15
20
time step t
time step t
実験（N=2000）
理論
25
30
Outline
•
•
•
•
•
背景
遅延ネットワークの巨視的状態遷移方程式
遅延ネットワークの巨視的定常状態方程式
シナプスの切断
まとめ
統計神経力学による巨視的状態遷移方程式
矢内＆金(1995) Miyoshi, Yanai & Okada(2002)
新たに導出した巨視的定常状態方程式
• 系の定常状態に注目
• 時間に関する並進対称性を利用
• 離散フーリエ変換
統計神経力学による巨視的状態遷移方程式
矢内＆金(1995) Miyoshi, Yanai & Okada(2002)
新たに導出した巨視的定常状態方程式
• 系の定常状態に注目
• 時間に関する並進対称性を利用
• 離散フーリエ変換
遅延ネットワークの記憶容量
S to ra g e Capa cityαC
100000
10000
1000
100
10
1
0.1
1
10
100 1000 10000 100000
Number of Delays L
Outline
•
•
•
•
•
背景
遅延ネットワークの巨視的状態遷移方程式
遅延ネットワークの巨視的定常状態方程式
シナプスの切断
まとめ
遅延と切断
解析の必要性
• 外乱や故障に対する頑健さはニューラルネットワーク
の特徴のひとつ
• シナプスの過剰生成と刈り込み → 実際の神経系に
おいて観測されている普遍的な現象（Chechik, et al.,
1998)
• 相関型の連想記憶モデルの場合，シナプス切断により
シナプス効率は増大．しかし，ネットワーク全体の記憶
容量は減少（Mimura, Kimoto & Okada, condmat/0207545)
• 遅延と切断を導入することにより，シナプス本数を一定
に保ちながらシナプス結合率を下げることを提案
Delay Elements
無作為切断
シナプス切断によりノイズ成分が増加
切断によるノイズの増加分
無作為切断（理論と実験）
1
Theory
Ove r lap m
0.8
0.6
0.4 Simulation
0.2
0
0
0.1
0.2
0.3
Loading Rate α
0.4
0.5
無作為切断（理論）
O ve rlap m
1
0.8
L=1 2
0.6
10
100
0.4
1000
0.2
10000
0
0.1
0.2
0.3
0.4
0.5
Loading Rate α
0.6
∞
0.7
系統的切断
（結合荷重の値が小さいシナプスを切断）
非線形シナプスによる表現
系統的切断
シナプス切断によりノイズ成分が増加
切断によるノイズの増加分
系統的切断（理論と実験）
O v erla p m
1
0.8
Theor y
0.6
Si mul ati on
0.4
0.2
L=1
2
3
5
10
0
0
0.2 0.4 0.6 0.8
Loading Rate
1
α
1.2
系統的切断（理論）
1
O ve rlap m
0.8
0.6
0.4
0.2
1 L=10 L=102
L=103
L=10 4
L=105 L=106 L=10 7
0
0
5
10
Loading Rate
15
α
20
系統的切断（理論）
Sto ra g e C apacit yαC
20
15
10
5
0
1
10
2
3
4
5
10 10 10 10 10
Number of Delays L
6
10
7
まとめ
• 矢内＆金理論をもとに遅延ネットワークの巨視
的定常状態方程式を導出
• 全結合の遅延ネットワークの記憶容量は遅延段
数Lに比例し，比例定数は0.195
• シナプス切断を理論的に解析
• シナプス総本数一定の条件下でシナプス結合率
を下げながら遅延段数を増すと記憶容量は増大
– 無作為切断 → 2/πに漸近
– 系統的切断 → log Lで発散
• なぜ脳がシナプスの過剰生成と刈り込み
をするかの理論的な裏付け
• 脳では平衡状態よりもパターン系列などの
動的な記憶の方が望ましいことを強く示唆

Download Report