脳科学入門 V #5 情報科学研究科井上純一 URL : http://chaosweb.complex.eng.hokudai.ac.jp/~j_inoue/ 平成26年5月14日第5回(最終回)講義前回までの復習 Si = sgn(hi ) hi 対称結合 : Hebb則 (−1) ν  µ µ ν  ξi 1 + ξi ξ j ξ j  ∑∑ N j µ ≠ν   Ciν > 1 hi 内部ポテンシャルのとき誤りが生じるクロストーク ν Ci の従う分布シミュレーション上はこれより右側に落ちたサンプル数を全サンプル数で割ったものが誤り確率素子をつなげる素子数、パターン数が十分に大きければクロストークはガウス分布に従う例えば誤り率をここまで許すと  N H   = 0.036  p 記憶容量は ⇒ pc = 0.138 N ※結合が非対称の場合にはリミットサイクルが出現ニューロンの動作は不正確である第２回講義の復習一つひとつの素子は不正確であるノイマン型コンピュータ脳単位：プロセッサ単位: ニューロン演算速度：～10^8 Hz 演算速度: ～10^2 Hz シグナル/ノイズ～ ∞ シグナル/ノイズ～ 1 シグナルスピード: ～10^8 m/s シグナルスピード: ～ 1 m/s コネクション数 : ～10 コネクション数 : ～10^4 特徴：直列演算、プログラム＆データ、外部プログラミング特徴：並列演算、シナプス結合、閾値、自己プログラミング、適応ハードウエアの欠陥が致命的ハードウエアの欠陥に対しロバスト Si = sgn(hi ) ：個々の素子の不正確さを多数の素子の結合による並列・分散処理により補っている決定論的素子ある確率で誤作動する素子とみなす不正確さを「確率」で導入する確率的動作の導入 e β hi 1)= β hi P( S= i e + e − β hi β= ∞ P( Si = 1 : β = 0) = ノイズ無しの動作 β =0 完全にランダムな動作 1 2 完全にランダム P( Si = 1: β = ∞) = Θ(hi ) 階段関数ノイズ無し素子 Si = sgn(hi ) ノイズ・フリー T ≡ β −1 ：ノイズレベル T =0 ここからの目標 β hi e 1) =β hi , P ( Si = 1 P ( Si = 1) P ( Si = −1) =− − β hi e +e 個々の素子の不正確さをβで導入し、その不正確さを徐々に増加させて行った場合、素子どうしの協力（分散処理）に基づく機能である連想記憶がどこまで損なわれずに保持されるのかを調べるミクロからマクロへ理想気体の状態方程式理想気体これと同じようなことをやる素子状態の期待値と平均場近似 β hi − β hi e e Si =(+1) × β hi + (−1) × β hi − β hi e +e e + e − β hi β  β  µ µ µ µ = tanh  ∑∑ ξi ξ j S j  tanh  ∑∑ ξi ξ j S j   N j ≠i µ   N j ≠i µ  Si = Si + δ Si , δ Si → 0 → 回路網の状態ベクトル：平均値のまわりの揺らぎを無視 ⇒平均場近似 S = ( S1 , S 2 ,..., S N ) 素子ごとの重なりと平均場方程式 → 1 ξ = (1,1,...,1) : = mi ξ= Si 1 i 想起パターン (ターゲットパターン) Si : 素子ごとの重なり回路網とターゲットパターンの近さ（重なり）は mi (i = 1,..., N ) の従う方程式：平均場方程式は β mi = tanh  N  ξi ξ j m j  ∑∑ j ≠i µ  µ µ 平均場方程式の反復解法 ( n +1) i m ( n +1) i |m T = T1 β = tanh  N (n) i −m |< ε ∑∑µ ξ j ≠i µ i µ ξj m (n) j    ：全ての素子に対して収束条件を課す → での m = (m1 ,..., mN ) T2 > T1 > 1 なノイズレベル T2 → T1 を求める際 T2 からのようにノイズレベルを下げていくアニーリングノイズなしの解と最適化問題 T →0 の解 → * m = (m1* ,..., m*N ) 1 E (S ) = − N → はエネルギー関数： µ µ ξ ∑∑ i ξ j Si S j ij µ を最小化（ｐ＝１の場合のチェックは講義ノート）パターン数P=O(1)の場合の解析解 m 1 1 1 ξ i Si = ∑ N i N   β 1 µ µ ξi ξ j S j  ∑i tanh  β m + N ξi ∑∑ j ≠i µ   →0 O  1  N  状態方程式 T = β −1 m = m(T ) を変化させたときの解をプロットする：ノイズの増加とともに重なりがどのように変化するか？記憶と相転移のときはエネルギー一つのパターンを記憶させた場合の状態図想起可能領域想起不可領域 E= − 1 N ∑∑ (ξ S )(ξ S ) ij µ 1 i i 1 j j を最小化するよう素子は動作する臨界領域での重なりの振る舞い： m |1 − T | 1 2 で重なりはゼロに向かうではエントロピーを最大にするように素子は動作する相転移はこれら２つの効果が拮抗することにより生じる計算機実験との比較解析解 m = tanh( β m) N=400,p=4の場合に対する平均場アルゴリズムからの結果 β mi = tanh  N  ξi ξ j m j  ∑∑ j ≠i µ  µ µ P=O(N)の解析解とその相転移 p=O(1)のとき無視した β N ξi1 ∑∑ ξiµ ξ jµ S j T = 1+ α j µ ≠1 をきちんと評価する (2次転移) 回路網の状態方程式重なりは不連続に変化する（1次転移）この方向にパターン数を増加させたときの重なりの変化を固定して（想起相） α c = 0.138 詳細は講義ノートに基づき黒板で説明しますについて解くノイズ無しの極限 y=0は常に解である両者の非ゼロの交点が消失するときのα