ｽﾗｲﾄﾞﾀｲﾄﾙなし

パーシャルアニーリングによる
連想記憶安定領域の拡大
三好誠司上江洌達也阿部啓岡田真人
関西大
奈良女子大
奈良女子大
東大，理研
1
あらまし
多体相互作用系においてスピンの変化よりゆっくりと
相互作用も変化する枠組みはパーシャルアニーリン
グと呼ばれる．今回われわれはスピンのヘブ則にラン
ダムパターンの相関学習の形のバイアスが加わって
相互作用を変化させるモデルについてレプリカ法を用
いて解析した．連想記憶モデルに有限個のパターンを
記憶する場合，記憶パターンとその混合パターンがい
ずれもアトラクタになることが知られているが，パーシ
ャルアニーリングにより記憶パターン，混合パターンと
も安定領域が広がることが明らかになった．
2
背景
• 多数の「スピン」とそれらの「相互
作用」という二種類の変数を有す
る系の解析においては，相互作用
の方は固定されておりスピンだけ
が変化するモデルを考える場合が
多い．
• 「スピン」よりもゆっくりと「相互作用」も変化す
るモデル（パーシャルアニーリング）の性質は
興味深い．
3
先行研究
Penny, Coolen and Sherrington, J. Phys. A (1993),
Coupled dynamics of fast spins and slow interactions
in neural networks and spin systems
Coolen, Penny and Sherrington, Phys. Rev. B (1993),
Coupled dynamics of fast spins and slow interactions:
An alternative perspective on replicas
Penny and Sherrington, J. Phys. A (1994),
Slow interaction dynamics in spin-glass models
Dotsenko, Franz and Mezard, J. Phys. A (1994),
Partial annealing and overfrustration in disordered systems
Uezu and Coolen, J.Phys.A (2002),
Hierarchical self-programming in recurrent neural networks
4
目的
• スピンのヘブ則にランダムパターンの相関学習
の形のバイアスが加わるパーシャルアニーリン
グについてレプリカ法を用いて解析する．
• ヘブ則の強さを制御するパラメータを導入するこ
とにより記憶パターン想起状態や混合パターン
想起状態に対してパーシャルアニーリングがど
のような影響を与えるかについて調べる．
5
モデル(1/3)
相互作用Jのダイナミクス
ヘブ則の強さ
ランダムパターンの
相関学習の形
バイアス
逆温度
ランジュバンノイズ
で特徴付けられたノイズ
6
モデル (2/3)
スピンσの分布
すべてのスピン状
態に関する和
熱平均
ハミルトニアン
（スピンの）分配関数
7
モデル (3/3)
• スピンσはで特徴づけられている
• 相互作用J はで特徴づけられている
8
理論 (1/4)
実効ハミルトニアンの導入
相互作用Jのダイナミクス
系全体の分配関数
レプリカ数（正の有限値
０）
9
理論 (2/4)
オーダーパラメータの導入
レプリカ対称性の仮定
10
理論 (3/4)
レプリカ計算により最終的に得られる鞍点方程式
［・・・］はパターン
に関する平均
11
理論 (4/4)
• 解の種類（パターン数 p=3 の場合）
– P解（Para）
– SG解（Spin Glass）
– H解（Hopfield Attractor）
– 2M解（Mixed State）
– 3M解（Mixed State）
12
計算機実験の方法
パーシャルアニーリングではスピンと相互作用の両方がダイナミクスを
有するので，計算機実験は慎重に行う必要がある．
１．相互作用の初期値｛Jij｝を乱数で設定
２．{Jij}を止めて<σiσj>を計算する．
(a)メトロポリス法でR1[MCS]回のサンプリング→過渡状態として捨てる
(b)メトロポリス法でR2[MCS]回のサンプリング→ <σiσj>計算
３．求められた<σiσj>を使って{Jij}を差分で更新
４．２と３をR3回繰り返す→過渡状態として捨てる
５．２と３をR4回繰り返す→mやqの平均値を計算
スピン更新のトータル回数＝N (R1+R2) (R3+R4)
13
結果1
H解（Hopfield Attractor）のm
（相互作用の温度は
に固定）
へブ則を強くすると安定領域拡大
1.0
ε=0.5
ε=0
ε=1
ε=1.5
0.8
0.6
0.4
0.2
0
0
0.2
0.4
0.6
スピンの温度
0.8
1.0
1.2
14
結果2
3M解（Mixed State）のm
（相互作用の温度は
に固定）
1.0
0.8
へブ則を強くすると安定領域拡大
0.6
0.4
ε=1
ε=0
ε=1.5
0.2
0
0
0.2
0.4
0.6
0.8
1.0
1.2
スピンの温度
15
結果3
H解と3M解のq
（相互作用の温度は
に固定）
ε=1
ε=1.5
1.0
1.0
0.8
H解
3M解
H解
0.8
0.6
3M解
0.6
q 0.4
q 0.4
0.2
0.2
0
0
0
0.2
0.4
0.6
0.8
スピンの温度
1.0
1.2
0
0.2
0.4
0.6
0.8
1.0
スピンの温度
16
1.2
結果4
H解と3M解の相転移温度
（相互作用の温度は
ヘブ則の強さ
0.58
（ホップフィールドモデルに相当）
ε=0.5
0.61
ε=1
0.83
ε=1.5
1.07
3M/H
3M解
安
定
領
域
拡
大
0.27
0.38
0.68
0.92
安
定
領
域
拡
大
0.47
0.62
0.82
0.86
（AT安定性を考慮に入れている）
混合状態の安定領域が
相対的に拡大される
ε=0
H解
に固定）
17
結果5 相図（相互作用の温度は
に固定）
ε=1
1
H解
3M解
m
ヘ
ブ
則
の
強
さ
ε
SG+M+H+P
M+H+P
M+H+P
H+P
H+P
SG解
3M解
0
0
SG+M+H+P
H解
q
0
ε=1
1
1
0
1
P
P
ε=0.5
ε=0.5
破線：一次転移
実線：二次転移
1
1
H解
m
H解
q
3M解
SG解
0
3M解
0
0
1
0
1
スピンの温度
18
結果6 相図
ヘ
ブ
則
の
強
さ
（相互作用の温度は
に固定）
破線：一次転移
実線：二次転移
ε
スピンの温度
19
結果7 相図
（ヘブ則の強さεを固定）
破線：一次転移
実線：二次転移
相
互
作
用
の
温
度
スピンの温度
20
まとめ
• パーシャルアニーリングにおいてヘブ則を強く
することにより二次相転移が一次相転移に変
わり，安定領域が拡大する．
• H解（Hopfield Attractor）は常にAT安定．
• 3M解（Mixed State）はヘブ則が弱いときAT
不安定だがヘブ則を強くするとAT安定になる．
21

Download Report