Title Author(s) カオスニュ-ラルネットワ-クにおけるサ-チアクセスに関 する研究 出口, 利憲 Citation Issue Date URL 1998-12-02 http://repo.lib.nitech.ac.jp/handle/123456789/8657 Rights Type Textversion Thesis or Dissertation author ・名古屋工業大学学術機関リポジトリは、名古屋工業大学内で生産された学術情報を 電子的に収集・保存・発信するシステムです。 ・論文の著作権は、著者または出版社が保持しています。著作権法で定める権利制限 規定を超える利用については、著作権者に許諾を得てください。 ・Textversion に「Author」と記載された論文は、著者原稿となります。 実際の出版社版とは、レイアウト、字句校正レベルの異同がある場合もあります。 ・Nagoya Institute of Technology Repository Sytem is built to collect, archive and offer electronically the academic information produced by Nagoya Institute of Technology. ・The copyright and related rights of the article are held by authors or publishers. The copyright owners' consents must be required to use it over the curtailment of copyrights. ・Textversion "Author " means the article is author's version. Author version may have some difference in layouts and wordings form publisher version. り カオスニューラルネットワークにおける サーチアクセスに関する研究 1998年 出口利憲 目次 1 2 3 序論 1 1．1 ニューロンとカオス ．．．．．．．．．． 1 1．2 カオスと情報処理．．．．．，．．．．．． 3 1．2．1 追加学習．．．．．．．．．．．．． 3 1．2．2 記憶の想起 ．．．．．．．．．．． 3 1．2．3 カオスを用いた検索 ．．．．．． 4 1．3 ニューラルネットによるサーチアクセス 5 1．4 論文の概要 ．．．．．．．．．．．．．．． 6 ニューラルネット 9 2．1神経細胞．．．．．．．．．．．．． 9 2．2 ニューロン ．．．．．．．．．．． 11 2．3 ニューラルネットの学習．．．． 16 2．3．1 連想記憶，．．．、．．．． 17 2．3．2 バックブロパゲーション 20 カオスニューラルネット 25 3．1 カオスニューロン．．． 25 3．2 カオスニューラルネット 27 3．3動的想起．．．．．、．． 28 3．4 シナプス前抑制．．．． 29 ii 目次 4 カオスニューラルネットによるサーチアクセス 35 4．1 サーチアクセス．．．．．．．．．．．．．．．．．，．．．．． 35 4．2 カオスニューラルネットによるサーチアクセス．．．．．． 37 4．3バックプロパゲーショソネットによる特徴の抽出と比較． 38 4．4シナプス前抑制関数の設定．．．．．．．．．．．．．．．．． 41 4．5 サーチアクセスの実現．．．．．．．．．．．．．．．．．．． 42 4．6特徴空間での軌跡．．．．．．．．．．．．．．．．．．．．．． 42 5 シナプス前抑制モデルの検討 49 5．1 四つのパターン．．．．．．．．．．．．．．． 49 5．1．1 シナプス前抑制関数の影響．．．．． 49 5．1．2 シナプス前抑制信号の影響．．．．、 51 5．2 ランダムパターン．．．．．．．．．．．．．． 55 5．2．1 パターンの生成．．．，．．．．．．． 55 5．2．2線形関数・逆S字形関数・階段関数． 55 5．2．3 検索の失敗について ．．．．．．．． 56 5．3一対多対応 ．．．．．．．．．．．．．．．．． 57 6学習パターンによる検索成功率 59 6．1 シミュレーションの条件．．．．．．． 59 6．2パターン生成方法と実験．．．．．．． 60 6．2．1 ランダム法．．．．．．．．．． 60 6．2．2 ランダム交換法．．．．．．．． 62 6．2．3 マッチングスコアの平均．．． 64 6．2．4 マッチングスコアの分散．．． 65 6．3 内部パターンを用いたサーチアクセス 66 6．3．1 内部パターン．．．．．．．．． 67 6．3．2 外部曲カハターン．．．．．．． 67 6．3．3 シミュレーション結果．．．． 68 目次 7 iii 周期パターンの検索 73 7．1簡単な周期パターン ．．．．．．．．．．．．．，．．．．．．．．．．．．．．．． 74 7．1．1 カオスニューロンのバックプロパゲーショソネットによる特徴の検出 74 7．1．2 周期パターンの検索 ．．．．．．．．．．．．．．．．．．．．．．．．．． 77 7．2似顔絵バターンの検索．．．．．．．．．．，．．．、．．．．．．．．．．．．．． 79 8総括 87 謝辞 89 参考文献 91 発表論文目録 97 第1章 序論 脳の情報処理においてカオスは重要な役割を果たしているという指摘とともに，カオス の情報工学的応用が注目さ札はじめている．そのような中，生理学的知見にもとづき，カ オスを容易に生成することのできるカオスニューラルネットが提案された叫 本論文では，カオスニューラルネットにおいて，カオスを用いた検索（サーチアクセス） を実現する． 1．1 ニューロンとカオス 人間は優札た情報処理機能を持っており，この機能の中枢が脳である．脳は多数の神経 細胞からなっており，工学的に見れば，多数の演算素子を持つ並列処理マシンである． ニューラルネットは，脳の神経系を模倣して，ひとつひとつの神経細胞をモデル化した 人工ニューロン（以下単にニューロンと呼ぶ）をつなぎ合わせて作られたネットワークで あり，脳の処理機構の解明や，脳の高次の情報処理を工学的に実現するために研究さ札で きた． その起源は，1943年に発表されたMcCu11ochとP出8の論文［21に遡る．彼らは神経細 胞を多入力線形しきい素子としてモデル化し，それらを多数つないだ回路網のふるまいを 調べた． 1949年にHebbは，神経細胞の情報入力部分にあるシナプス結合において，刺激を伝え 1 2 第1章序論 たものは，その結合強度が強まり，さらに刺激を伝えやすくなるという説を唱え，この結 合強度の強弱こそが・脳内における記憶や認識のもとになっていると主張した131． 現在のニューラルネットワークの基本原理ともいえるこれら二つの原理にもとづいて， 1950年代の終りに・Rosenb1a帆により具体的なパターン識別システムであるPerseptmが 提案された［4】． 1962年にはCaianie11oが，認識や記憶を実現する神経回路モデルを提案した［51． 1969年に中野は，連想記憶モデルであるアロシアトロンを提案した［61．アソシアトロ ンでは，「同時に興者した細胞間のシナプス結合は強まる」というふうに修正したヘッブの シナプス強化則を用いる． 一時期，1969年にMinskyとPapertにより単純パーセプトロンの能力の限界を厳しく評 価された［7】ためにそれらの研究は停滞した．しかし，1982年にHopfe1dによってホップ フィールドのモデルが提案され［81，その応用として巡回セールスマン間題へ適用された． また，1986年にはRume1止artによって誤差逆伝搬法（バックプロバケーション）という 多層回路における学習アルゴリズムが提案されr9］，その後は再び盛んな研究が行なわれる ようになった． 一方カオスは，1960年代から注目され始めた非線形系の非周期的な振舞いである．Lorenz〔10］ やMay1111をはじめとして，様々な研究が行なわれたが，非線形系の非周期的な振舞いを カオスと名付けたのは，LiとYorkeであった［121． SkardaとFr㏄m測は，うさぎの嗅覚において，既知の匂いに対しては，リミットサイク ル（周期振動状態）に非常に近いすこしカオス成分の入った状態となるが，未知の匂いに 対しては激しいカオス状態となり，その匂いを学習してしまうと，リミットサイクル的な 弱いカオスに戻ることを明らかにした1131．このような生体の脳におけるカオスは，記憶 や学習について重要な機能を果たしていると考えられている［13，14，15，161． 1987年，カオスは，単体の神経細胞にも存在することが，松本らのヤリイカの巨大軸索 を用いた実験により明らかになった［171． 合原は，この結果をもとに，Caianieuoのモデルにおいて時間とともに指数関数的に減 衰する不応性を有する南雲・佐藤のモデル［181を修正し，単体でカオスを生成し得るカオ スニューロンモデルを提案した【1］． 1．2カオスと情報処理 3 1．2 カオスと情報処理 脳におけるカオスは，記憶や学習などの情報処理について重要な機能を果たしていると 考えられているが［13，14，15，161，そのような中，神経回路網モデルにおいて，カオスを 利用した研究が行なわれている． 1．2．1 追加学習 人間は既に持っている記憶の中にないものを，見るとそれを新たに学習する．このとき， 新たに学習したからといって，以前覚えていたことを忘れるようなことはない．このよう に，既にいくつかのものを学習したネットワークに新たなものを学習させる追加学習に，カ オスは有用である． 津田は非平衡ニューラルネットにおいて，カオスによって，偽りの記憶にとどまること なく真の記憶にたどり着くことを示した．また，カオスにより記憶を渡り歩きながら学習 を行った際に，過度の学習となって過去の記憶が消えてしまう場合と，学習ができない場 合の間に，過去の記憶に新しい記憶を追加できるような場合があることを示した［16］． 渡辺，合原らは，相互結合型（ホップフィールド型）のニューラルネットワークにおい て，未知の外部入力が与えられたとき，入力を与え続けることで，自動的に追加学習する 手法を提案した．従来のネットワークに比べ，カオスニューラルネットの方がより多くの パターンを記憶することができ，優れた特性を示すことを明らかにした［191． また，長名，萩原らは，相互結合型のカオスニューラルネットワークにおいて，入力を 与え続けると，既知パターンは素早く収束し，未知パターンは収束に時間がかかることか ら，これにより，既知であるか未知であるかを判別する手法を提案し，一度追加学習を行 うと，二度目の入力時には既知パターンと判別されることを示した1201． 1．2．2 記憶の想起 相互結合型の連想記憶モデルでは，学習させた記憶以外にも偽りの記憶ができてしまう ことが知られている． 笠原と中川はカオスニューラルネットにおいて，カオスニューロンの内部パラメータを 4 第1章序論 制御することで，真の記憶にたどり着けることを示した［211．彼らは，パラメータを，カ オス的な非周期状態を発生する値から，時間とともに指数関数的に減少させ，最終的には 従来のニューラルネットと同等となるよう変化させた．これにより，カオスによる焼きな ましが起こり，真の記憶に到達できるものと思われる． 1．2．3 カオスを用いた検索 ウサギの嗅覚の実験において，嗅いだ匂いに対応した周波数・位相のそろった時間的・ 空間的なパターンが作られ，知らない匂いを嗅いたときはカオス状態となることが確かめ られている［131．このことから，単純に匂いに対応した出力をするのではなく，匂い対し て，カオス状態となることで記憶を検索し，匂いに対応する記憶にアクセスしているもの と考えら札る． 奈良らは，相互結合型ニューラルネットにおいて，「特徴」による連想記憶へのサーチア クセスを提案した［22］．彼らは，周期的な記憶を持つニューラルネットにおいて，ニューロ ン間の結合数を減らすことによりカオス状態を実現し，ネットワークが出力する記憶から， 「特徴」を抽出し，望ましいものと比較した結果を，結合致ヘフィードバックすることによ り，ネットワークのカオスの強さ（激しさ）を制御している．「特徴」が望ましいものと一 致しないうちは，結合数を少くし，ネットワークを不安定にしておき，一致すれば，結合 数を増やし，通常の連想記憶として動作させる．これにより，「特徴」の一致する記憶を呼 び出すことができる．通常のニューラルネットでは，入力に対し出力は，一対一あるいは 多対一の関係で決まるが，サーチアクセスでは，「特徴」の一致する記憶はいくつあっても 構わないことから，一対多の関係を持つることができる．この場合，「特徴」の一致する記 憶のいずれか一つが検索され，出力される． Kushibeらは，カオスニューラルネットが思い出す記憶の一部分だけをサンプリングし， 望ましいものとの比較により，正しい記憶をアクセスする手法を提案した［231．記憶の一 部分をその記憶の「特徴」と考えれば，これはカオスニューラルネットにおけるサーチア クセスとみなせる．この手法では，比較する部分が一致する度合により，カオスニューロ ンのパラメータを制御することで，ネットワークの安定および不安定を制御している．彼 らは，サンプリングの個数と検索成功率および検索時間の関係等について報告している． 1．3ニューラルネットによるサーチアクセス 5 1．3 ニューラルネットによるサーチアクセス 本論文では，Kushibe［231らと同様に，簡単な相互結合型のモデルでパラメータを適切に 設定するだけで記憶を走査できるカオスニューラルネットを用いてサーチアクセスを行う． サーチアクセスを実現するためには，「特徴」の抽出や比較を行ない，カオスニューラルネッ トのカオスの激しさを制御しなければならない．本論文では，主に，ニューラルネットの みを用いて，これらを実現する． 「特徴」の抽出は，バックプロパゲーショソネットを用い，カオスニューラルネットに 学習させる記憶と，その記憶が持つ「特徴」とを学習させる．このネットワークをカオス ニューラルネットの出力につなぎ，「特徴」を抽出する．また，「特徴」の比較にもバックプ ロパゲーショソネットを用い，抽出さ札た「特徴」と望ましい「特徴」を入力し，これを 比較し，カオスニューラルネットを制御するための信号をつくり出すよう学習させる． カオスニューラルネットにおけるカオスの激しさを制御するには，カオスニューロンの パラメータを制御すればよい．このことはKushibeらの論文［231からも予想できる．し かし，このためには外部からカオスニューロンのパラメータを変更することが必要となり， ニューラルネットのみでは行なえない． そもそも，カオスニューラルネットにおけるカオスは，ニューロン間の相互結合の強さと 不応性の強さのバランスにより，その激しさを制御できる．カオスニューロンのパラメー タを変更するということは，すなわち，このバランスを変えているということになる．し たがって，カオスニューロンのパラメータを変更しなくても，このバランスを変えること ができ札ば，カオスの激しさを制御できることになる． 本論文では，カオスニューロンのパラメータは適切な値に固定し，ニューロン間の相互結 合の強さを表す，シナプス結合の強度を変化させることにより，このバランスを変化させ る．こ札は，実際の神経細胞にも見られるシナプス前抑制を用いることにより実現できる． シナプス前抑制で抑制されている間は，シナプス結合荷重（結合の強度）が小さくなり， ニューロン間の相互結合の強さが弱まる．抑制されていなければ，シナプス結合荷重（結 合の強度）がもとどおりの大きさになり，ニューロン間の相互結合の強さが強まる． 「特徴」を比較するネットワークの出力を，シナプス前抑制の制御信号とし，カオスニュー ロン内のシナプス結合すべてにシナプス前抑制を用いることにより，カオスニューラルネッ 6 第1章序論 トにおけるカオスの激しさを制御する．カオスニューラルネットの出力した記憶がもつ「特 徴」と，望ましい「特徴」が一致しないうちは，シナプス前抑制により抑制し，ネットワー クを不安定にする・「特徴」が一致すれば，抑制を解除し，ネットワークを安定させる．こ れにより，ニューラルネットのみで，サーチアクセスを行うことができる． サーチアクセスでは，入力と出力の関係は一対多とすることができるが，本論文では，主 に，一対一の場合を取り扱う． 1．4 論文の概要 第2章では，ニューロンのもととなる神経細胞について説明し，ガイアニエロのモデル ［5］を用いて，ニューロンモデルとニューラルネットについて説明する．特に，本論文で用 いる連想記憶とバックプロパゲーショソネットについては，詳しく説明する． 第3章では・合原が提案したカオスニューロンおよびカオスニューラルネット［11を説 明する．また，相互結合型（ホップフィールド型）のカオスニューラルネットに，連想記 憶により記憶させることで，記憶を含む非周期的な想起（動的想起）が行なえることを示 す．さらに，シナプス前抑制をモデル化し，これを用いて，カオスニューラルネットにお けるカオスの激しさを制御できることを示す． 第4章では，カオスを用いたサーチアクセスについて説明し，実際に，カオスニューラ ルネット，バックプロパゲーショソネット，シナプス前抑制を用い，サーチアクセスを実 現する124，251・また，検索過程を「特徴」で張られる空間上の軌跡として観察し，考察す る［26，27】． 第5章では，カオスニューラルネットによるサーチアクセスにおいて，シナプス前抑制 の抑制関数と検索成功率の関係を調べ，どのような関数が望ましいか議論する128，291．そ のさい，第6章の結果を用い，記憶させるパターンを変えて調べる．また，入力と出力の 関係が一対二となる場合についても，検索成功率を調べる． 第6章では，学習させるパターンの性質によ・り，検索成功率がどのように変化するかを 調べ，どのような性質を持ったパターンが，カオスニューラルネットによるサーチアクセ スにとって適切であるか検討する130，311．パターンの性質としては，各記憶パターン間の 相関（マッチングスコア）に注目し，シミュレーションを重ね，より良い条件を探索する． 1．4論文の概要 また，良い条件のパターンを内部パターンとして用い，これに対して一般的な外部曲カハ ターンを割り当てることにより，一般的なパターンでのサーチアクセスを実現する． 第7章では，学習パターンを周期パターンに拡張し，奈良らの結果［321と比較・検討す る圧33，34］． 7 第2車 ニューラルネット ニューラルネットは脳の神経系を模倣して作られたネットワークであり，脳の処理機構 の解明や，脳の高次の情報処理を工学的に実現するために研究されてきた．本章では，神 経系を構成する神経細胞とそれをモデル化したニューロン，ニューロンをつなぎ合わせて 作られるニューラルネットについて説明する． 2．1 神経細胞 神経細胞は，生体の中で情報処理を行うために特別に分化した細胞で，脳の構成要素で ある．神経細胞は，細胞体，樹状突起，軸索の三つの部分に分けられ，図2．1のように模式 化される［35］．細胞の中央部分の本体にあたるのが細胞体である．この細胞体の表面から 突き出た，複雑に枝分かれした突起を樹状突起という．軸索は，細胞体から一本だけほぼ 一定の太さで長く伸びた突起で，末端で多くの枝分かれを持っている．一般に神経繊維と 呼ばれるのは，この軸索のことである．枝分かれした軸索の終端にはボタン状の膨らみが あり，他の神経細胞の細胞体や樹状突起に付着している．この付着した部分をシナプスと いい，出力側の細胞（シナプス前細胞）から入力側の細胞（シナプス後細胞）へ信号を伝 達する［361．軸索は10から数百に分岐しており，シナプスを介して多くの細胞につながっ ている．また，一つの細胞は数百から数千，多いものでは数万のシナプス結合を受ける． 神経細胞も他の細胞と同様に，細胞の内部は細胞膜によって外液と隔てられている．神 9 1O 第2章ニューラルネット 樹状突起 シナプス シナプス ノ 重葦（〃11 暮靱呉 グ1：1募1 ○ ↑ ＼ ㌔抱 ○ し 軸索 ソ ノ 図2．1：神経細胞 経細胞の内部と外部の電位にはつねに電位差があり，これを膜電位という．細胞外部の電 位を基準にとると，通常，膜電位は負になっている．ところが，シナプスを通して入力信 号が到着すると，膜電位が正方向に変化し，臨界値を越えると，膜電位は正にまで達して， 再びもとの電位に戻るという現象が起こる．膜電位にこのような変化が生じたとき，細胞 は‘‘興む’’あるいは‘‘発火’’したという．膜電位の変化は，最初，膜の局所的な部分におい て生じるが，やがて膜の興哲部位（膜電位が正になっている部分）は軸索に沿って伝わっ ていく．これが神経のインパルスと呼ばれるものである．このインパルスが，他の神経細 胞に信号として伝えられる．膜の各部分が興奮している時間は1ms程度である． 膜電位が変化したときに膜が興奮する臨界の値をしきい値という．しきい値を一旦越え れば，完全な波形のインパルスが出る．これを‘‘全か無の法則’’と呼ぶ．また，神経繊維に は波形を整形する作用があり，長い神経繊維を伝搬してもインパルス波形は崩札ないよう になっている． 一度インパルスが発生すると，その直後はいくら刺激を受けても新たなインパルスを発 生することができない．この期間を絶対不応期という．絶対不応期を過ぎると再び興奮す 2．2ニューロン 11 ることができるようになるが，しばらくの間はしきい値が通常より高くなり，インパルス の発生しにくい期間が続く．この期間を相対不応期という［351． すでに述べたように，神経細胞はシナプスにより他の細胞からの信号を受けとる．その シナプスには大きく分けて，シナプス後細胞を興奮しやすくさせる興奮性シナプスと，興 奮しにくくさせる抑制性シナプスがある．一般に，一つの神経細胞の軸索末端のシナプス は，すべて興奮性であるカ㍉すべて抑制性であるかのどちらかであるが，両方のシナプス をもつ細胞も存在する． 脳は過去の体験を通して得た記憶をもとに，情報を処理していく．また，学習によって 自己の動作をより適切なものへと変えていく．このような記憶がどこにどのように蓄えら れているかは，古くからの疑問であった．記憶が脳を構成する神経系において実現されて いることは，まず間違いない．“シナプスの可塑性’’説では，記憶や学習はシナプスの変化 を通じて実現さ札る．つまり，神経細胞間のシナプス結合の重み（影響度）を変えること によって，外界の事象や経験を記憶し，学習する．この説自体は19世紀から唱えられてい たものであるが，生理学的に実証するのは困難であった．しかし1970年代後半から変化を 証明する研究が進み，現在，海馬と呼ばれる大脳の一部分で結合の強さが変化することや， 小脳のプルキンエ細胞で信号の効率が変化することが分かっている． 2．2 ニューロン 工学的に応用するため，神経細胞の機能をモデル化したものは，人工ニューロン（ある いは単にニューロン）と呼ばれる． 神経細胞は複雑であり，そのすべてをモデル化することは困難である．一般的には，神 経細胞の機能を次のように単純化してモデル化する［36】． 1．シナプス前細胞の出力が，シナプス結合を通じてシナプス後細胞に伝えられる． 2．多数のシナプスからの影響の総和によって，シナプス後細胞の膜電位が決まる． 3．膜電位がしきい値を越えると，その細胞は興奮し，インパルスを出す． 12 第2車ニューラルネット ”〃） 物（c） α ∼ 物（c） α 物（c＋1） 斗 劣 ㌦（c） 図2．2：ニューロンモデル また・ニューロンが動作する時間については，離散的に刻んでオ＝O，1，2，…という値をと るものとする． これらの条件を満たすモデルを考えると，ニューロンは図2．2のように，η個の時刻オ で入力信号吻（ε）1吻（オ），…，ω冗（｛）を受けとり，それらをもとに計算して出力㎜ん（オ十1）を客 として出す・多入力一出力素子と考えられる［351．他の細胞の出力はシナプス結合を介し て入力として与えられる．シナプス結合の影響αんはそれぞれのシナプスで異なる．この シナプス結合の影響の強さは，シナプス結合係数，結合荷重，などと呼ばれる． ニューロンとして様々なモデルが提案されているが，ここでは，カオスニューロンのも ととなった，ガイアニエロのモデルにもとづいて説明する． Caianie11oは，ニューロンの動作式を次式のように定義している同． 吻（州一1 mξ如一剛一… （2．1） ここで，仙ん（オ）は，離散化された各時間において，Oか1のいずれかの値を持つ関数であ り・時刻オでのニューロンの出力である．関数1（・）は，次式のような単位ステップ関数で 13 2．2ニューロン 7（”） 図2．3：単位ステップ関数 ある（図2．3）． 1⑫）一 ^111；ll （2．2） 助はニューロンのしきい値であり，式（2．1）のΣで与えられる時刻オでの刺激が8ん より大きければ，ニューロンみは時刻f＋τで発火する． α膿（κ≠ん）はニューロンたで生成されたパズルを，ニューロンんへ送るシナプス結 合係数である．これはたからんへのシナプス結合数や軸索による強さの違いなどをすべて 含んだ総影響度である．α膿≠Oのときは，ニューロン冶とニューロンんは直接つながっ ていることを示し，α膿＞0であれば，たからんへの興奮性，α膿くOであ札ば，んからん への抑制性の結合を表す． α縄（ん≠κ）とα般の役割はかなり異なっている． α縄（ん≠た；r＞O）はたが発火した後，τ以上の時間が経ってからゐからのパルスの影 響がんに届く，あるいは影響が残る場合にOではなくなる．これは，刺激がシナプス結合 で放出される伝達物質（τ以上の時間が経ってから届く）により伝えられる場合が考えら 札る．このようなメカニズムは，出力バルスの頻度が入力刺激の密度に依存することに関 連付けられる．モデルによっては，ん≠ゐ，r＞Oに対して，α締＝Oと仮定することもで 14 第2章ニューラルネット きる． 係数α叙は，ニューロンんが持つ自分自身の過去の発火の記憶を表す．これは，神経細 胞における不応期を表現するために必要となる．ブ＝Oからrτがニューロンの絶対不応期 より大きくなるまでの間は，α般《Oでなければならない．それ以降のrについては，使 用する用途によって様々である． 以上，ガイアニエロのモデルについて説明したが，本節の残りでは，ガイアニエロのモ デルから次章のカオスニューロンを導出する準備を行ない，ガイアニエロのモデルはマッ カロックとビッツのモデル［21を包含していることを示す． ガイアニエロのモデルの動作式（2．1）における単位時間τを1とすると，式（2．1）は， ψ・1）一1 mξ伽十… （2．3） となる． ニューロンんの自分自身への結合も考慮し，α膿を，不応性を表す児（『）とシナプス結合 を表すω舵に分けるため，式（2．4）のようにおき，式（2．5）のように他のα繰をω膿で 置き換えると， α叙＝R（・）十ω膿 （2．4） α繰一ω縄（ん≠κ）’ （・．・） 式（2．3）は， ψ・1）一1 mξ如一町州1一■ （2．6） となる． 連想記憶やバックプロバケーションによく用いられるニューロンは，時間的な和や不応 性を考えないので， ω膿：O（・・O） （2．7） 放）＝O （2．8） となり， ω舳＝ω膿 （2．9） 15 2．2ニューロン ∫（”） ” 図2．4：シグモイド関数 とおくと， ω1（1・1）一1［亭舳（1）一刈 （2．10） となる． この式は，ニューロンの機能を最も簡単化したモデルであり，McCu11o．hとPitt。が考 えたモデル［21と一致する． 従来の考えでは，ニューロンの情報はパルス頻度にあるとされていた（動的細胞集成体 仮説［37】では，必ずしも発火頻度が重要ではない）．そこで，ニューロンの出力を拡張し て，パルス頻度を出力すると考えると，出力関数1（・）を，図2．4のような，シグモイド（S 字型）関数∫（・）で置き換えて， 州一1［亭舳（1）一刈 とすることができる． （2．11） 16 第2章ニューラルネット ・… ｮット 教師あり 一＜∴ン ニューラルネット …し ｭ∴力 カーペンター／クロスバーグ ネット コポーネンの 自己組織化特徴マップ 図2．5：ニューラルネットの分類 2．3 ニューラルネットの学習 ニューラルネットにおける学習とは，ニューロン間のシナプス結合係数を変えることで ある．Hebbは，このシナプス結合係数を変化させるルールを具体的に示した［3］． Hebbは，神経細胞が興奮すると，入力部のシナプス結合のうち，刺激を伝えたものは結 合強度が増加し，さらに刺激が伝わりやすくなるという説を唱えた．言い換えると，ニュー ロンAからニューロンBへのシナプス結合係数は，ニューロンBが発火したとき，ニュー ロンAが発火していれば，増大する．この説は，ヘッブのシナプス強化則と呼ばれ，現在 まで大部分のニューラルネットが学習法として，この法則を変形したものを使用している． 基本的なニューラルネットは学習法や取り扱う信号により図2．5のように分類さ札る［381． 図2．5では，学習が行なわれる際に“教師信号”がある“教師あり学習・と，・教師信号・ がない傲師なし学習”に分けられている． 2．3ニューラルネットの学習 17 y7 万コ 巧 巧 ㌶” y㎜ 図2．6：連想記憶ネット 教師あり学習では，学習の間，入力信号に加え，入力された信号に対する望ましい出力 が与えられる．この望ましい出力を教師信号と呼ぶ．学習中，ネットワークは，その出力 を望ましい出力に合わせるよう，シナプス結合係数を変化させる． 教師なし学習では，望ましい出力についての情報は与えられず，ネットワークは，入力 信号の出現頻度などの統計的性質を取り込んで，ネットワークの構造に反映させる． また，出力の取り得る値で，二つに分けられる．ニューロンの出力関数が単位ステップ 関数のように2値しか取らないような場合と，シグモイド関数のように連続値をとる場合 である． これらのモデルの中でも，本書で使用する連想言己慮と，バックプロバケーションについ て説明する． 2．3．1 連想記憶 連想記憶に用いるニューラルネットは，図2．6に示すように，m個のニューロンが並ん 18 第2章ニューラルネット ており，そこにη本の入力信号が加えられ，各ニューロンに共通の入力”1，”2，…，”πが 入る． この入力をまとめて， ”1 ”2 ⑰： （2．12） ”π とベクトルで表し，入力ハターンと呼ぶことにする． 出力も同様に， ψ1 ψ2 ψ： （2．13） γ例 と書き，出力ハターンと呼ぶ． ここで，た個の人カパクーンベクトル。（1），”（2），．．．，”（κ）を考え，この入力に対し望まし い出力ハターンをそれぞれ，ψ（1），ψ（2），＿，ψ（冶）とする．連想記憶では，これらゐ個のベク トルの組（8（1），ψ（1）），＿，（o（ム），ψ（た））を記憶し，⑰（α）が入力されれば，ψ（α）を出力する． ヘッブのシナプス強化則によれば，ニューロンAからニューロンBへのシナプス結合係 数は，ニューロンBが発火したとき，ニューロンAが発火していれば，増大することか ら・簡単のため⑰，”の要素は，1か0とすると，入力。lα）と出力水）がともに1となる とき，ω加が増大する．ここで，増加率として学習パターン数の逆数を用いると，すべて のパターンを学習したとき，ω加は次式のようになる． 1ム ω加：石Σγ5α）・1α） （2．14） α＝1 w＝（ω51）を行列を用いて表記すると， 1た W＝石Σψ（α）o（α）T α：1 ここで，♂は参の転置を表す． （2．15） 2．3ニューラルネットの学習 19 結合行列Wの連想記憶に参（β）を入力したとき，その出力 ㎜1 ω2 仙＝ （2．16） 刎㎜ は， ω二■（W8（β）一8） （2．17） となる．ここで，■（・）はベクトルの各要素に対して1（・）をとる関数とし，8はしきい値の ベクトルとする． しきい値8＝oとすると，旭はWo（β）により決まり，このとき， 1た 脆（β）一τΣψ（α）・（α）T・（β） α＝1 1ム 一石Σψ（α）（・（α）・ω（β）） α；1 −1ト（1）1・（1）ll・易抑1）・〃）1 （l1・） となる． いま，入力ハターン”（α）、が，たがいに直交していれば，すなわち， 〃llll㌶ （・1・） であ札ば，式（2．18）の第2項はすべてOとなり， w。（1）一■1・（β）II2ψ（1） （。．。。） 冶 となる．したがって，w参（β）の要素はψ（β）の要素と同符合となる．したがって， ω＝ψ（β） （2．21） となり，記憶した対のパターンが出力される。 20 第2車ニューラルネット 入力が完全に直交していない場合にも，入力がある程度直交に近ければ，式（2．18）の第 2項はψ（β）の要素の符合を変えるほど大きくはならず，出力ωはψ（β）と等しくなる．ま た，入力が3（β）ではなく，これと近いパターンであった場合にも，同様のことがいえる． また，ヘッブのシナプス強化則を拡張して，同時に発火したあるいは同時に発火しなかっ たとき（すなわち，的：”1），そのシナプス結合係数ω5｛は増大し，逆に，一方のみが発 火したときはω加は減少するようにすると，ω〆は 1κ ω加一τΣ（・μ！α）一1）（・π1α）一1） （・…） α：1 となる． 以降の章でとり扱うカオスニューラルネットは学習の際は2値のみで，式（2．22）の拡 張した学習則を用いるが，動作時は入出力は連続値となる． 2．3．2 パックプロバケーション バックプロバケーションに用いるニューラルネットは，一般に，図2．7に示すように，三 つの層から成っている． 入力層にはη個のニューロンが並んでおり，そこにη本の入力信号が加えられる．入力 層のニューロンに与えられた信号は，そのまま，そのニューロンの出力となる．そのため， 入力層を省略し，単に入力で置き換えることもできる． 中間層の各ニューロンは入力層のすべてのニューロンから信号を受けとり，出力層のす べてのニューロンヘ信号を送る． 連想記憶と同様に7個の人カパクーンベクトル0（1），￠（2），…，0（’）を考え，この入力に対 し望ましい出力ハターンをそれぞれ，V（1），ψ（2），…，ψ（’）とする．ただし，バックプロバケー ションで用いら札るニューロンは，出力関数をシグモイド関数に拡張したものであり，取 り扱う信号は連続値をとるため，各ベクトルの要素は，Oから1までの実数となる． したがって，バックプロバケーションの学習は，入力ベクトル。（α）から出力ベクトル Ψ（α）への写像をニューラルネットにより近似することとなる．学習の評価関数として，次 式のような“誤差関数’’刀を定義する． 1 ト5Σ1Σ（杵μ！α））2 （・…） α た 2．3ニューラルネットの学習 21 yコ 万コ ● ■ ■ ● ■ ■ 巧 力 ■ ■ ■ ● ● ● ● ● ■ y㎜ 工” 入力層 中間層 出力層 図2．7：バックプロバケーション・ネット ここで，㎜￡α）は入力観（α）に対する出力層の店番めのニューロンの出力値であり，μ三α）は そのニューロンが出力すべき望ましい値（教師信号）である．〃三α）はそのときの結合荷重 ω幼により決まることから，誤差関数亙も結合荷重に関する関数となる．そこで，各結合 荷重で張られた空間を考え，さらにこの誤差関数亙によって定義される高さを考えると， 亙はその空間上の超曲面として，“誤差曲面’’を与える．任意の荷重から，この誤差曲面の 極小値に達するには，各結合荷重を棚／∂ω∼に比例した量 ∂亙 △ωザーπ（6＞O） （2・24） ずつ変化させていけば良い．こ札は，誤差曲面上を，最も急な傾斜方向に進んでいくこと にあたり，このような方法を一般に最急降下法と呼ぶ． “￡α）は式（2．11）のように定義されるので，∫（．）の括弧の中を〃三α）で置き換えて 刎戸）一∫（η！α）） （2．25） 第2車ニューラルネット 22 ψ1α）：Σw！αL・1 （2．26） 5 と表すと，式（2．24）は，合成関数の微分公式により， ∂亙 ∂亙破）∂⑭1α） 珂：ξ珊．研’π （2．27） と表せる． ここで， dα（α） 肺一舳）） 迎一、二一） （2．28） （2．29） ∂ω向 3 となるので，結局，式（2．24）は ・ωザ叫蒜舳））ψ （2．30） となる． いま，何￡α）が出力層のニューロンであるので，棚／∂u三α）は，式（2．23）を微分して， 棚 （α） （α） 研＝ザ眺 （2・31） となる． シグモイド関数∫（・）が式（2．32）で与えられる場合， 1 ∫（・）： （2．32） 1一θ・” ∫（・）の微分は， ∫’（・）＝∫（・）（1一∫（π）） （2．33） となるので， △ωザー・Σ（・1α）11α））攻）（1一・1α））仙！α） （2．34） α となる． 式（2．34）では，すべての入出力ハターン（o（α），ψ（α））が与えられてはじめて結合荷重を 変化させることができるようになるが，6が十分小さければ，各入出力が与えられることに 2．3ニューラルネットの学習 23 結合荷重を繰り返し変化させたとしても，全体の変化は最急降下法とほぼ等しくなる．そ こで，αに関する部分を無視して， △ω∼＝一・（叫一肌）叫（1一町）・5 （2．35） とすることができる． 式（2．35）において，叫（1一町）＝∫’（〃た）はシグモイド関数が単調増加関数であること から㎜ム（1一町）≧Oであり，山ゴ≧Oであるから，△ω幻の符合は，眺一町と等しくなる かOとなる．Oの場合結合荷重は変化しないので，映一町と等しくなる場合を考えると， 映＿叫はニューロンの出力より教師信号が大きい場合，すなわち，発火すべきであるのに 発火していない場合，正となる．このときαゴが発火していれば，町5は強められる．これ は，連想記憶と同様，ヘッブのシナプス強化則の考え方に一致する．また，ニューロンの 出力より教師信号が小さい場合，すなわち，発火すべきでないのに発火した場合，映＿町 は負となる．このときωゴが発火していれば，ω切は弱められる．これは，ヘッブのシナプ ス強化則の拡張と考えられる． さて，注目しているニューロンが出力層でなかった場合，誤差関数の結合荷重での偏微 分∂〃／∂ω加は，次の層の素子みの∂亙／∂ω∼を用いて， ∂亙 ∂亙 此（α）伽（α） 珂＝ξ研．粛’京 一ξ／昧勝・勝1耕・謀 （1・・） と表すことができる．式（2．26）より， 伽1α） 研＝叫・ （2．37） 5 となる．したがって， ・顯一一昨崎舳／グ（吹W） （1・・） ∂亙 となり・誤差情報 ､舳を次の層から結合荷重ω・を通して集めることにより・こ の層の△ω加を求めることができる．この操作を出力層にたどり着くまで繰り返せば，誤 差関数の微分を実際に求めることができる． 第2車ニューラルネット 24 また，出力層の場合と同様に，シグモイド関数∫（・）が式（2．32）で与えられるものとし， αに関する部分を無視すれば， ・ψ一イ P亭叫み（1一剛1ψ一心 （2．39） と表せる． 実際に使用する際には，学習を早めるため， ∂刀 △ω11（オトπ十α△ω11（オ・1）（O＜αく1） （2．40） という形の，傾きを速度の変化として用いる方法が良く使われる． バックプロバケーションは，最急降下法であるため，誤差の極小値は必ず求めら札るが， それが最小値であるとは限らない．しかし，実際の使用上は，問題にならないことが多い． 第3革 カオスニューラルネット 現在主流のニューロンにおいてモデル化されているのは，神経細胞のごく基本的な部分 であり，人工ニューロンと実際の神経細胞との間には大きな隔たりがある．ニューロンモ デルをより実際の神経細胞に近づけたものに，カオスニューロンモデル［1，39，40］がある． このモデルは，従来のニューロンに神経細胞から検出されるカオスを導入したものである． カオスニューロンは，従来のニューロンに神経細胞に見られる時空間加算・不応性・連続 値出力をとり入れたニューロンである．相関学習によりパターンを記憶させたカオスニュー ラルネットを用いて，カオスニューロン内部のパラメータを適切に設定することで，カオ ス状態を作り出すことができ，学習したパターンを動的に想起することができる［39，40］． また，パラメータによっては，従来のニューロンのように自己想起する． 本研究では，カオスニューラルネットのカオス状態をニューラルネットにより制御するた めに，カオスニューロン内部のパラメータではなく，実際の神経細胞にも見られる，ニュー ロン外部のシナプス前抑制をモデル化し，このモデルにより制御する． 3．1 カオスニューロン 合原等は電気生理実験を通じて，ニューロンがカオス的応答を示すことを明らかにし［171， カオス応答をカオスニューロンとしてモデル化した［11． 合原によれば・カオスニューロンの動作式は，次式のガイアニエロのモデル151より導か 25 第3車カオスニューラルネット 26 れる． ψ・1）一 ｿ州十シ・㌦H−1） （3．1） ここで，”（オ十1）は時刻オ十1でのニューロンの出力値，〃（・）は単位ステップ関数，wは ニューロンヘの入力の数，5ゴ（亡）は時刻オでのニューロンヘの入力値，ω5（7）はr時間前の 入力値がニューロンの出力値へ与える影響の強さを表すシナプス結合荷重係数，於）はr 時間前のニューロンの出力値が時刻｛十1でのニューロンの出力値に与える影響の強さを あらわす係数（これは，不応性に対応する），θはしきい値である． ここで，不応性とシナプス結合の影響が時間とともに指数関数的に減衰するものと仮定 する． 児（『）：α冶、「 ω5（『）＝ω5ゐ肌「 （3．2） （3．3） ここで，αは現在の出力が不応性に与える影響を表すパラメータ，κ、は不応性に関する減 衰定数（O≦冶、く1），ゐmは入力に関する減衰定数（O≦たmく1）である． この仮定により，式（3．1）は次式のようになる． 州一 ｧξ岬十一妄い（｝） （3．4） また，実際の神経膜の活動電位生成過程は，全か無かの法則には従わず，急峻ではある が連続的に変化する活動電位を有することが示されている［411．そこで，出力関数を次式 のようなシグモイド型連続出力関数∫でおきかえる． 1 ∫（・）： 1＋・・p（一・／ε） （3．5） ここで，εは，この関数の傾きを決める定数である． 最終的に，カオスニューロンの動作式は，次式のようになる． ψ・1）一1 i義一か（1＋αξいH−1） （3．6） 27 3．2カオスニューラルネット 3．2 カオスニューラルネット ホップフィールドのニューラルネットワーク［81を典型例とする，同一層内のニューロン からのフィードバック入力を考慮すると，6番目のカオスニューロンモデルの動作式は次式 のように表される． ψ・1）一／ i紀州川一か（・H）（／・） ここで，ωむはニューロンゴからニューロンξへのシナプス結合の強さ，ん（．）は伝搬性活 動電位に対して軸索が有する波形整形作用を表す関数である． 簡単のため，以後断りのない限り，ん（．）は恒等写像とする。 内部状態として挑，η｛，Gを次のように定義すると， 挑（オ十1）：η1（オ十1）十ζ1（オ十1） 〃 ｛ η1（f＋1）＝Σ叫5Σた。『ん（・5（トク）） ゴ＝1 r：0 ｛ ζξ（オ十1）：一αΣ二た、『軌（オーr）一θづ （3．8） （3．9） （3．10） r＝0 式（3．7）は次のように簡単化できる． 巧（オ十1）＝ ∫（ψ（オ十1）） （3．11） ψ（オ十1）＝η‘（オ十1）十G（オ十1） （3．12） 〃 η1（1＋1）：Σψ（πゴ（1））十ゐ。η1（1） （3．13） ゴ：1 ζ1（オ十1）：一㏄1（f）十た、帥）十◎1 （3．14） ただし， ◎1＝θポ（ゐ、一1） （3．15） 式（3．11），式（3．12），式（3．13），式（3．14）は，カオスダイナミクスを有するカオス ニューラルネットワークであり，従来のニューラルネットワークモデルを包括している． 第3章カオスニューラルネット 28 図3．1：学習パターン 3．3 動的想起 カオスニューロン100個からなるネットワークにおいて，式（3．16）を用い，相関学習 によりバターンを記憶させる［401． 1p ωザアΣ：（・・1たL1）（・・1た）一1） （・・1・） た：1 ここで，Pは学習するパターンの数，”1κ）はパターンたの6番目の要素である．ここでは， 図3．1の四つのパターン［39，40］（バツ，三角，波，星）を学習させる．各パターンにおい て，黒い四角が1に対応し，点がOに対応する． これらのパターンを学習した後，初期パターンを設定し，ニューロン1からニューロン 100までを順に非同期的に動作させる．これを1ステップとし，繰り返し想起させる．こ のとき，カオスニューロンのパラメータ（ゐm，ゐ、，α，ε）を調整することにより，カオス ニューラルネットのカオスの激しさを制御して，従来の自己想起や，学習したパターンを 含む様々なパターンを非周期的に想起する動的連想記憶［39，40］（動的想起）を実現するこ とができる． 自己想起となるパラメータの例として，ゐm＝O．5，ゐ、＝O．55とした場合を図3．2に示 す。その他のパラメータは，表3，1の通りである．図中のfはステップ数を表している．初 期状態として，パターン“バツ’’の出力値を小さくしたものを与えると，次のステップでは ‘‘バツ’’に収束し，以後，自己想起を続けている． 動的想起となるパラメータの例として，ゐm＝O，17，た、：O．86とした場合を図3．3に示 す．他のパラメータは，表3．1の通りである．初期状態は図3．2と同様に，パターン・バ ツ’’の出力値を小さくしたものを与えた．次のステップ（オ＝1）では，“バツ’’を想起する が，それに留まらずに変化し続け，オ：19で“波’’を，t二45で“星’’を，オ：63で“三角’’ 3．4シナプス前抑制 29 t・O t・1 t・2 柱3 t・4 目 ミ…ギ三、…、、黒黒鴻黒莱 曳寅寅寅黄曳 図3．2：自己想起の例（冶㎜＝O．5，ゐ、＝O．55） 表3．1：カオスニューロンのパラメータ ε二〇・015infunction∫（・），α＝10， ◎ε＝2．0for a116． を想起している． カオスニューロンの動作式（3．11）において，時空間加算の項（η（オ十1））が不応性の 項（ζ（壬十1））より相対的に強いとき，ネットワークは安定し自己想起となり，逆に，相 対的に弱いときは動的想起となる． この2項の強弱を決めているパラメータが冶m，ん、である、ここで，κmはニューロン間 の相互作用の強さを表し，ゐ、は不応性の強さを表している．これらのバランスにより動的 想起と自己想起を制御できる． 3．4 シナプス前抑制 カオスニューロン内部のパラメータによる制御を行うためには，ニューロン内部のパラ メータを変化させることが必要となる．しかし，ニューラルネットにこのような構造はな い・したがって・ニューラルネットの外側でパラメータを制御することになり，サーチア クセスはニューラルネットワークだけでは実現することができない． 時空間加算の項と不応性の項のバランスにより，カオスの激しさを制御することができ 第3章カオスニューラルネット 30 t弍 七＝17 t＝18 t＝19 t＝20 ’l1千｝1弔 t：21 t：22 t：23 ：．Hl，1． lF∵I・・■11 ‘1‘’’一 t；27 t＝28 ㈱ t＝24 t功 協 t＝30 t；31 t＝32 仁33 ’ウ’・’1■‘■■＝・’1■． 。・ ’ t；34 t：35 0，1■I， ’＝＝■ t：ω 目1 ＝■1・． 811一’ 、ム．’■‘、■＝■ t：48 t＝49 t：50 t；51 t＝52 t＝53 二1■ ：」凸’1』■…＝…＝＝ t⇒54 t＝55 t256 ㌣㌔ ■ ■ t瑚 t；59 一．’1 図3．3：動的想起の例（ゐ肌＝O．17，ん、＝O．86） 3．4シナプス前抑制 31 た・そこで，カオスニューロン内のパラメータゐ肌，冶、の調節ではなく，ニューロン間の 結合荷重ω｛5を変化させることで時空間加算の項の強弱を制御し，カオス状態を実現する ことを考える［24，261． そこで、次式のように，学習の式（3．16）に。を付け加え，この値を変えて実験を行った． 1p ωザ・アΣ（・・1ムL1）（・4ム）一1） （・・1・） κ：1 コンピュータシミュレーションでは，たm，冶、を自己想起するよう設定し，結合荷重を一定 の割合で小さくすると，動的想起が起こった．その一例として，c＝O．4の場合を図3．4に 示す・冶m，ゐ、は図3．2と同じ，ゐ㎜＝O．5，冶、＝O．55であり，その他のパラメータは，表3．1 の通りである． 図3．3のように学習したパターンが明確に現れているわけではないが，オ：3，｛＝27な どで‘‘バツ’’に近いパターンを，｛＝29，亡＝46などで‘‘波’’に近いパターンを，オ＝20， オ：24などで“星’’に近いパターンを，オ＝41，オ＝50などで“三角”に近いパターンを想 起している． このような結合加重を抑える機能は神経細胞中に見られ，シナプス前抑制とよばれる． シナプスとは，神経細胞と神経細胞の結合部分であり，一般に次のようにモデル化され ている． ⑰’＝ω・ （3．18） ここで，”’はシナプス後細胞へ送ら軋る信号，ωはシナプス結合荷重，”はシナプス前細 胞の信号である． シナプス前抑制は，興奮性シナプスのシナプス前終末を脱分極させ，興奮性シナプスか ら放出される伝達物質の量を抑えることにより抑制をかけるものである［36］． そこで，シナプス前抑制は伝達物質を抑えることから，結合荷重を減少させるものと考え ることができる．この考えをもとに，シナプス前抑制を式（3．19）のようにモデル化した． ・’：7（・，ω）π＝7。（・）ωπ （3．19） ここで，7（2，ω）は抑制前の重みωと抑制信号Zから抑制された重みを計算する関数であ る・ここでは・ωは抑制信号・により一様に減少するとした．よって，7、（・）は抑制信号 。から重みの減少率を求める関数である． 第3単カオスニューラルネット 32 t刻 t；1 t芦2 t＝3 t；4 t＝5 ’、’ t；・6 ■1，11・一 t＝18 8 ■’・ ■・ t訟 t訟 t；27 t＝製 11：，LP：1 巳，11：，l1Il ■ ・・ ｡ 一・一・ 一．’． ll■■．‘．一 1’：■’Fψ1毛・1：1㌔ t：30 二＝｛’：二 ■ ・… t：34 候35 t：31 t；32 t；33 ’1−1一・ t＝28 t靱 ’，1：：，：□1＝二『’二＝＝，：■“二『 t：39 ■1一 ・，l1，’l1 t＝42 t＝43 仁44 ｛戸45 t：46 t；・47 、一’ 仁50 仁51 ・一 t：・52 怐E 1．・“il 忙54 t：55 …’ t：56 一．二1由由 仁刃 P三1≒ll11＝’I手11峠4 t＝58 ・・● f□■’1 ．． t：60 t；61 t＝62 tξ63 町1，1■11’：’匝㌔1−ll二1’ 1一 ’ ．。。， D＝．．…干干拙 t剥 ’』1． 奄P■ 目3 ・・■ 一・ ・’：、’1． ←59 ・0 t弍5 ・● 一■1 一■ 図3，4：結合加重の変化による動的想起の例（ゐm二〇．5，ゐ、＝0．55，c：O．4） 3．4シナプス前抑制 33 シナプス前抑制は，本来興奮性の結合に対してのみ抑制をかけるものであるが，ここで は，興奮性・抑制性のシナプス両方とも抑制の対象とした． したがって，η｛（オ十1）は次式のようになる． w η1（1＋1）＝7。（・）Σψ（ψ））十ゐm州 （3．20） ゴ＝1 こ札により，シナプス前抑制によりシナプス間の信号の伝達が抑制されているとき，す なわち結合加重が抑えられているときは，カオスニューラルネットは動的想起となり，シ ナプス前抑制が解除さ札でいるときは，自己想起となる． シナプス前抑制信号をニューラルネットワークの出力から得ることにより，カオスニュー ラルネットワークのカオス状態を制御することが可能となり，ニューラルネットワークの みによりサーチアクセスを実現できる． 第4革 カオスニューラルネットによるサーチアク セス カオスを容易に生成するカオスニューロンからなるカオスニューラルネットを用いて相 関学習によりパターンを記憶させ，シナプス前抑制モデルを用いることにより，動的想起 （カオス）／自己想起（非カオス）状態を制御できる．この動的想起を状態空間のサンプリ ングに利用して，パターンを検索することができる．検索中，ネットワークの出力ハター ンから特徴を抽出し，望ましい特徴に近づいたら自己想起となるようカオスを抑え，特徴 の一致するパターンを想起させる． 特徴の抽出および比較は，バックプロパゲーショソネットにより行う．またネットワー クによる特徴の抽出により，検索過程を特徴空間で見ることができる． 4．1 サーチアクセス カオスは脳の情報処理において記憶や学習について重要な機能を果たしていると考えら れている日13，14，15，16】．しかし，カオスが実際脳の中でどのように使われているかはま だ明確になっていない．実際の脳とは別に，カオスを単純な規則から作り出される複雑な ダイナミクスと考え，これを情報処理に応用する手法として，カオティックサーチやサー チアクセスが考えられている122，42，431． 35 第4章カオスニューラルネットによるサーチアクセス 36 I叩山 0岬utof 下班get Se町。h F艶t山eS Co1山。1 Comp㎞皿g 血e c11aos 血e ・・・・・・… Feat㎜艶 C血aotic Decα蛇to Sys蛇m 血e0岬ut Extmct 血eF閉tureS 図4．1：サーチアクセス サーチアクセスとは，目標となる記憶についてのできるだけ単純な「特徴」をもとにし た低次元の部分空間での複雑なダイナミクスの連鎖・1対多対応を使って記憶にアクセス すること1221である． サーチアクセスの流れを図4．1に示す． サーチアクセスでは，カオス系がつくり出す情報を意味のあるものとして取り込む．つ まり，カオス系が生成する情報から「特徴」を抜きだし，目標となる「特徴」と比較する ことで，カオス系が生成する情報を評価する．この評価結果をもとにカオス系の制御パラ メータを変化させることにより，カオス系の情報発生の制御を行う．これにより，最初，カ オス系はその状態空間中をさまよい，様々な情報を生成するが，その情報がある特徴を含 んでいると，制御パラメータが変化し，その情報のみを生成し続けるようになる． 奈良ら［22，431は，従来のニューロンを用い，周期的な証慮を学習させたニューラルネッ トワークにおいて，シナプス結合数を変化させることにより，サーチアクセスを実現して いる． 4．2カオスニューラルネットによるサーチアクセス 37 I叩ut Target 0岬山。f Fea岨es Pa脆m Se姐。bed 肺esynapOc Con山。1Cbaos Inhibition Chaotic byComp血g ・・・・・・・・・・・・・・・・・・・… Ne㎜訓 Network F艶t㎜eS Extract the Fea1二ureS 図4．2：カオスニューラルネットによるサーチアクセス 4．2 カオスニューラルネットによるサーチアクセス 本論文では，ニューラルネットにおいてカオス系を作り出すために，従来のニューロンに 神経細胞に見ら軋る時空間加算・不応性・連続値出力をとり入れたカオスニューロンからな るカオスニューラルネットを用いる．相関学習によりパターンを記憶させたカオスニュー ラルネットを用いて，シナプス前抑制をとり入れることで，カオスの激しさを制御するこ とができ，学習したパターンを動的に想起することができる［24，25］．また，シナプス前抑 制を解除すれば，従来のニューロンのように自己想起する． この制御信号は，ネットワークが出力したパターンから特徴を抽出し，望ましい特徴と 比較することによって作られる．特徴抽出と制御信号の生成は，別のバックプロパゲーショ ソネットを用いて行う（次節参照）． ニューラルネットによるサーチアクセスは図4．2のようになる．まず，検索したい特徴 を入力として設定する．そして，カオス系を構成するカオスニューラルネット内のシナプ ス結合に対し，動的想起が起こるようにシナプス前抑制を加え，繰り返し想起させ，状態 空間をサンプリングする．サンプリングと並行して，想起されたパターンから特徴を抽出 する．ネットワークが望ましい特徴を持つパターンを出力すると，自己想起に変わるよう 第4章カオスニューラルネットによるサーチアクセス 38 表4．1：バツ・三角・波・星の特徴の割り当て バツ 三角 波 星 特徴1 O O 1 1 特徴2 0 1 O 1 シナプス前抑制を解除し，カオス状態を脱する。 本章でも，前章で使用したパターン（図3．1）をカオスニューラルネットに学習させた． シミュレーションでは特徴を二つ用意し，妻4．1のように割り当てた．この割り当てで は，パターンと特徴が一対一に対応する．本来，パターンは100次元のベクトルとして表 されているが，特徴を用いることで検索は2次元空間で行われる． これらの図形的な意味としては，強いていえば，特徴1は「不安定」を表し，特徴2は 「閉じている」を表している．ここで「不安定」とは見た目に不安定感を与えること，すな わち「波」・「星」は傾きやすいと感じる図形であることを表し，「閉じている」とは外の空 間とのつながりがない，すなわち「三角」・「星」はひとかたまりの図形であることを表す． 4．3 バックプロパゲーショソネットによる特徴の抽出と比較 シナプス前抑制信号を作るために，バックプロパゲーショソネット日9］を二つ用いた．一 つは，カオスニューラルネットが出力したパターンから特徴を抽出するネットで，入力ユ ニットは100個，隠札ユニットは10個，出力ユニットは特徴1・特徴2に対応する2個で ある．もう一つは，検索したい特徴と抽出した特徴を比較し，シナプス前抑制信号を生成 するネットで，入力ユニット数は望ましい特徴を指定する特徴1・特徴2に対応する2個 と，特徴抽出ネットにより摘出された出力2個の計4個，隠れユニットは3個，出力ユニッ トは1個である． 特徴抽出ネットでは，妻4．2のように，記憶させた4つのパターンを入力し，教師信号 は対応する特徴の値を用いた．また，入力として記憶させた4つのパターンの反転パター ンも用い，この教師信号は，特徴1・特徴2ともO．5として学習させた．これは，相関学 4．3バックプロパゲーショソネットによる特徴の抽出と比較 表4．2：特徴抽出ネットの学習データ 入力ハターン 特徴1 特徴2 O 0 O 1 1 0 1 1 O．5 O．5 0．5 O．5 O．5 O．5 O．5 0．5 岨一’ ■．l1，． 五；‘ 39 第4単カオスニューラルネットによるサーチアクセス 40 表4．3：抑制ネットの学習データ 入力 抑制信号 抽出 特徴1 特徴2 特徴1 特徴2 出力 O O O O O O O O 1 1 O O 1 O 1 O O 1 1 1 O 1 O O 1 O 1 O 1 O O 1 1 O 1 0 1 1 1 1 1 O O O 1 1 0 O 1 1 1 O 1 0 0 1 O 1 1 1 1 1 O O 1 1 1 O 1 1 1 1 1 O 1 1 1 1 1 O 習で学習した反転パターンを検索対象から除くためである．ここでは，特徴本来の意味合 い（つまり，不安定・閉じている）を学習しているかどうかについては考えない． 抑制ネットでは，表4．3のように，4つの入力の可能な組み合わせすべての16個を入力 として与え，教師信号は，望ましい特徴を表すユニットに対する入力と，特徴抽出ネット の出力を引き継ぐ入力が等しいとき，Oとし（検索したい特徴とネットが出力したパター ンの特徴が一致した場合には，抑制を解除する），そうでないときは1とした．この抑制 ネットの出力がシナプス前抑制の信号となり，カオスニューラルネット中のすべてのシナ 4．4シナプス前抑制関数の設定 41 1 ％（ε） ％ O O Z． 1 Z 図4．3：シナプス前抑制関数 フスに対して，シナプス前抑制をかける． 4．4 シナプス前抑制関数の設定 シナプス前抑制関数7、（2）は，抑制信号が大きく1に近いときは，抑制をかけるために 小さい値となり，抑制信号が小さくOに近いときは，抑制を解除するため1．0になる必要 がある． ここでは，7、（2）の形は抑制信号宕が0では1．0となり，徐々に小さくなり，抑制信号 2がある程度大きくなると一定値となる，逆S字型関数が望ましいと考え，図4．3のよう な，式（4．1）の関数を用いる． 州一ザ吋十州11；l1 糾） 抑制信号があるときには動的想起を引き起こすカオス状態になり，抑制信号がないとき 42 第4章カオスニューラルネットによるサーチアクセス には自己想起する非カオス状態になるようにパラメータを7、：O．4，Z、：O．5のように設 定した． 4．5 サーチアクセスの実現 上記のシナプス前抑制を用いて，ニューラルネットによるサーチアクセスを実現した． カオスニューロンのパラメータを次のように設定した．た、：O．55，ゐm＝O．5，α＝10， ε＝O．015，⑤｛＝2．O。 ニューラルネットによるサーチアクセスのシミュレーションの一例を図4．4に示す．検索 する特徴は「安定」かつ「閉じていない」である（この特徴を持つパターンは，「バツ」であ る）．ネットワークの初期状態は，検索する特徴を持っていない，学習したパターンに近い ものにしてもよいが124，25，261，本論文では，ランダムなパターンとした［271．t：17，36 ではネットの出力は「星」に近づき，t：18では「三角」に近づき，t：34，58などでは 「波」に近づき，t：61で「バツ」になり，検索は終了する．ここで，tはステップ数であ る．動的想起により記憶したパターンを巡り歩き，特徴の一致するパターンを見つけたと ころで，シナプス前抑制が解除され自己想起となっていることがわかる． 4．6 特徴空間での軌跡 シナプス前抑制信号を作るためニューラルネットにより二つの特徴を抽出したことによ り，特徴は区間［O，11の値からなる2次元のベクトルとなる．そこで，検索の過程は図4．5 から図4．8のように2次元座標に図示することができる［26，271．図4．5では，検索する 特徴は図4．4と同様に「安定」で「閉じている」であり，ネットの初期状態は四角で示さ れる値であり，ランダムなパターンである．想起されたパターンの特徴は，順に線で結ば 札ており，図4．5でXで示される特徴をもつパターン（「バツ」）で検索が終了している． 図4．6から図4．8は，そ札それ，「三角」・「波」・「星」を検索した場合で，図4．5同様，初 期状態を四角で示し，検索が終了した点をXで示した．これらの図により，特徴空間をど のように検索しているかを観測することができる． 図4．5から図4．8では，初期パターンはまったく同じであるから，図4．5をみると，特 4．6特徴空間での軌跡 43 ㎞⇒．50㎞→．55alFlO．O説．OOe閑弍．O15舳㏄h＝〉X t≡O t：1 t…2 t：3 t；4 盟盟1’∴ 忙5 t：6 仁7 t＝8 七≡9 t：10 七＝11 七＝12 t：13 t＝14 t＝ユ6 t：1−7 t；18 9■■ 一 ■I t＝15 ■ 忙19 t：20 ∵1’ll．： 一一．1 一■一． I．1’． ． ■ t41 t＝22 t；23 t＝24 t＝25 t＝26 t＝27 t；28 t：29 仁30 t・31 t＝32 t・33 t・34 ■ 忙36 仁37 t・38 仁39 担40 t・41 ←35 ・・ O・ t・49 t・50 t・51 t・52 局3 仁54 t・55 曳曳曳曳曳曳曳 図4．4：サーチアクセスの例 44 第4章カオスニューラルネットによるサーチアクセス 徴のどの組み合わせも61ステップまでに検索されるように思える．しかし，実際は図中の a㏄ess．timeが示すように，91ステップ（図4．6）や141ステップ（図4．7）のように，61 ステップ以上必要となる場合がある． これは，特徴が完全に一致しなくても，検索する特徴に近くなるとシナプス前抑制が緩 められるため，異なった想起をし，その結果，検索の過程が異なるからであると思われる． この仕組みは，状態空間のサンプリング中，望ましい特徴に近づけば一気にその特徴を持 つパターンヘ収束させるためのものであるが，ここではそ札が逆効果となっているようで ある． さらに，今回のシミュレーションでは，特徴を比較しシナプス前抑制信号を生成する抑 制ネットを学習させるとき，曖昧な特徴（つまり，特徴1・特徴2ともにO．5の場合など） については学習データを与えていない．しかし，初期ランダムパターンが持つ特徴は特徴 1・特徴2ともにほぼO．5となっているので，検索する特徴によっては，シナプス前抑制が 緩めら札でいることがあるのではないかと考える． 4．6特徴空間での軌跡 45 （O，O）X （1，O）ωave （O，1）tria㎎1e （1，1〉star ㎞・O．50kr司．55a1p・10．Oth・2．OOe降O．015 random一＞X access−time：61 図4．5：特徴空間での検索過程（バツ） 46 第4章カオスニューラルネットによるサーチアクセス （O，O）X （1，O）㈹ve （O，1）tria㎎1e （1，1）stπ k皿…O．50kr：O．55a1P：10．0th：2．OO ePs＝O．015 ramdo皿一＞tria皿91e access＿ti皿e：91 図4．6：特徴空間での検索過程（三角） 4．6特徴空間での軌跡 47 （O，O）X （1，O）㈹ve （O，1）tria㎎1e （1，ユ）star k皿…O．50kr：O．55a■1P＝10．O th：2．OO ePs：O．015 ramdom一＞ωave access＿time＝ 141 図4，7：特徴空間での検索過程（波） 48 集4車カオスニューラルネットによるサーチアクセス （O，O）X （1，O）ωave （O，11tri㎝91e （1，1）star ㎞苅．50㎞・O．55a1p・10．Oth・2．∞e㈱．015 ramdo皿一＞star access＿time： 18 図4．8：特徴空間での検索過程（星） 第5章 シナプス前抑制モデルの検討 本章では，カオスニューラルネットワークによるサーチアクセスの性能を高めるため，こ れを制御するシナプス前抑制モデルについて検討する．まず，前章までに用いた四つのパ ターンを学習させたネットワークにおいて，検索する特徴とパターンが一対一に対応する 場合，シナプス前抑制モデルの抑制関数について，線形関数・逆S字形関数・階段関数の 3種類の形の関数を用いて，シミュレーションを行い，検討する．また，抑制信号の生成 についても検討を試みる．次に，サーチアクセスに適したランダムに作成された四つのパ ターンからなるパター一ン組を用いて，同様のシミュレーションを行い，サーチアクセスに 適したシナプス前抑制関数を選ぶ．最後に，検索する特徴とパターンが一対一に対応しな い場合のシミュレーションを行い，この関数が，一対一対応の場合と同等の成功率を示す ことを確認する． 5．1 四つのパターン 本節では，前章同様，図3．1の四つのパターンを用いる． 5．1．1 シナプス前抑制関数の影響 シナプス前抑制モデルの7、（Z）としてどのような形の関数がふさわしいかを調べるため， シナプス前抑制関数として式（5・1）・式（5・2），式（5．3）を用いた128，291（Z、＝O．8， 49 第5章シナプス前抑制モデルの検討 50 表5．1：パラメータ ゐm＝0．5，ゐ、＝O．55，α＝10， ε＝0，015，◎F2．O， 7、二〇．4の場合を図5．1に示した）． ^1妻1z＋’：1二： …・）一 一・） （5．1） ¥■吋州：1；lll （5．2） P∵ll；1； Ml− （5．3） シナプス前抑制関数7、（2）の形は抑制信号zが0の点では抑制は起こらないので1．Oと なり，zがある値（Z、）より大きいときは抑制を行い動的想起を引き起こすためある一定 の値（7。）となる．この間をつなぐ関数として，線形な仙、。㎜（式（5．1））から7、。。i、、（式 （5．2）），7帖。。h．1d（式（5．3））と順にしきい作用が大きくなっている．これらの関数にお いて7。二〇．4一定とし，Z、をO．01から1．OOまで変化させ，初期パターン100通りに対し 四つの学習したパターンを目標とし，400回の検索を行い，検索の成功する回数を調べた． 同一パターンを15回続けて想起したとき，検索終了とし，そのパターンが指定した特徴を 持っていれば検索成功とした．なお，検索が成功する場合はほとんど1OOステップ内に成 功していたので，一桁余裕を見て，1000ステップまでに検索が終了していないとき，検索 は失敗とした． カオスニューラルネットのパラメータは，前章同様，表5．1のようにした． この実験結果を図5．2に示す． 仙。㎜ではZ、：O．46を中心に小さなピークがあるが，検索成功回数が300を越えるZ， はなく，シナプス前抑制関数としてふさわしくない． 5．1四つのパターン 51 1 、、 Thresho1d− Cosine一一…一 0．8 、 、 ＼、 Linear一一 、 、 0．6 O．4 O．2 O O O．2 0．4 O．6 0．8 1 図5．1二三つのシナプス前抑制関数 7。。。imでは，価。㎜と同様にZ，：O，47に最大値389があり，その前後のZ、も高い検索 成功率を示している．前章で行ったシミュレーション（図4．4）で用いたZ，＝O．5は，数 回の試行をもとに選んだ値であるが，この高い検索成功率を与える範囲に入っている． 7。㎞。。h．1dでは，Z、が小さいところから高い検索成功率が高くなっている．また高い検索 成功率を与えるZ、の範囲も広い． 従って，シナプス前抑制関数はしきい作用が強いほどz、の設定が容易で，検索成功率 が高くなることがわかる・これより・当初は逆S字型関数が望ましいと考えていたが［271， 階段関数の方が望ましいことがわかる． 5．1．2 シナプス前抑制信号の影響 シナプス前抑制信号の影響を調べるため，従来のバックプロパゲーショソネットにより 生成される［25，271信号と，正規化した距離（式（5．4））を抑制信号とした場合を比較し 52 第5章シナプス前抑制モデルの検討 400 350 ω300 ω Φ 0 0250 8 吻 一 ◎200 一 回 。 名 言150 目 Z1O0 Linear一←一 Cosine一一トー一一・ 50 Thresho1d・・呂一 0 0 0．2 0．4 O．6 0．8 1 Zs 図5．2：検索成功回数 だ．特徴抽出は従来通りバックプロパゲーショソネットによった． 伽）一浮 （・．・） ここで，⑰，”はM次元ベクトルとする．本論文では，二つの特徴を用いるので，2次元 である． 結果を図5．3に示す．伽、、㎜の場合，成功回数は300を越えていないが，高い成功率を 与えるZ、の幅が広くなっている．また，7、。。i、、の場合，最大値は393であり，バックプ ロパゲーショソネットによる抑制信号より良い値を示した．7帖、、h．ldでは，最大400回中 398回成功しており，最大値が広い範囲で現れた．これは7帖、、h．1dがしきい関数であるた め，特徴間の距離がしきい値以下のとき抑制が解除されており，このしきい値がある値よ り大きくなりさえすればカオスニューラルネットは収束することができるからであると考 えられる． 5．1四つのパターン 53 400 。。。 8 へ 実。。。l 1土㌔ ≒ 1…1 ㌣ 1 一 ： 斗 ： ◎200 ： キ 1 日 申 1 ： 着1・・1デ 1口 Z 1OO l l Linear＿←＿ 凹 Cosine一十一一一・ 50芹 Th，eSh．1d．冊．．．． 軋 ・ I O 0 0．2 0．4 Zs O．6 0．8 1 図5．3：正規化距離を用いた場合 以上のことから，各関数で距離を用いた方が若干成功率が高くなり，高い成功率を与え るZ・の幅も広くなることがわかる．従って，従来のバックプロパゲーショソネットより， 正規化距離を用いた方が良い結果が得られる． しかしこれは，従来のバックプロパゲーショソネットが四つの入力に対してO，1のすべ ての組合せ16点のみしか学習していないためで，この正規化距離を学習させれば，同等の 効果が得られるはずである．また，正規化距離の計算をバックプロパゲーショソネットで 行えば，従来通り，サーチアクセスがニューラルネットのみで実現できる． そこで，バックプロパゲーショソネットに距離を学習させてみた．学習対象がより細か くなったので，中間層のユニット数を3から30に増やした． この学習では， 1・従来の16点は特徴を比較する上で特に重要な点であるので，しっかりと学習させる 2．それ以外の点についても正規化距離を近似するよう学習させる 第5章シナプス前抑制モデルの検討 54 400 、、。l l ＼ ． 吻3。。’ 匁 ㌔ 8 三1 ㌦ §250中1 林 ξ。。。1ξ 1 、 十 5 11 ↓ 0150 ■ 1 目 ．、 1 箏 11 ㌣ Z 1OO ：‘ Linear＋一 廿 Cosine一十…・ 50 与 Thresho1d・廿… 3 O 0 0．2 0．4 O．6 0．8 1 Zs 図5．4：正規化距離を学習したB．P． ために，32個のデータを一組として用意した．このうち16個は，従来通りO，1の組合せ で可能な16通りすべてとした．また，残り16個はランダムな点とし，各組で異なるラン ダムな値を与えた．こ札らの教師信号には入力に対応する正規化距離を与えた． 学習は各組中の各データに対し，一つずつ学習を行い，100組のデータを1セットとし た．学習終了の条件として，式（5．5）より各組での誤差の総計を求め，100組中最大の誤 差をそのセットの誤差とし，誤差がO．02以下のセットが5つ以上続くこととした． 132 五一5Σ（・（｛L9（｛））2 （…） づ＝1 ここでψ（｛），9（｛）はそ札それ各組のネットワークの出力値，教師信号である． このバックプロパゲーショソネットの結果を図5．4に示す．図5．4からわかるように正規 化距離を学習させたバックプロパゲーショソネットを用いても，正規化距離を用いたとき と同様の効果が得ら札る．また，シナプス前抑制関数に7、。。i。、を用いた場合では，バック プロパゲーショソネットのほうが良い広い範囲で高い成功率が得られている．こ札はハッ 5．2ランダムパターン 55 クプロパゲーショソネットの出力がシグモイド関数であるため，正規化距離を学習したと きの誤差が，距離が小さいときはより小さい出力を，距離が大きいときはより大きい出力 をするため高い成功率を与える範囲が広がったと考えられる． 5．2 ランダムパターン 5．2．1 パターンの生成 サーチアクセスに適したランダムパターンの生成方法を検討した結果，学習パターンが 四つの場合，ランダム交換法により作成したパターンに条件を加えることにより，しきい 関数を用いた場合，95％程度の成功率を得ることができた［30】（次章参照）． まず，100個中，奇数番にはO，偶数番には1を割り当てる．次に，100個中奇数番から 重複を許さずランダムに25個選び，偶数番からもランダムに25個選んで，O，1を反転さ せることによりパターンを生成する．四つのパターン間でマッチングスコアをとり，その 平均と分散を計算し，平均が53未満がつ分散が3未満となる組を選び実験に用いた［301． 特徴は，（特徴1，特徴2）を各パターン組の四つのパターンに，順に（0，0），（O，1），（1，O）， （1，1）と，一対一に割り当てた． 5．2．2 線形関数・逆S字形関数・階段関数 前節同様，シナプス前抑制関数として式（5．1），式（5．2），式（5．3）を用いた．これら の関数において7、＝0．4一定とし，Z。を0．01から1．OOまで変化させ，各パターン集合に 対して，初期パターン25通りに対し四つの学習したパターンを目標とし，100回の検索を 行い，検索の成功する回数を調べた．他の条件は前節と同様であり，シナプス前抑制信号 の生成には正規化距離を学習させたバックプロパゲーショソネットを用いた． この実験結果を図5．5に示す．但し，図5．5では，20のパターン組の合計を縦軸にとっ ているため，総検索数は2000（：100×20）である． このシミュレーションでは，用いた関数三つとも良い値を示しているが，最大値は，式 （5．1）ではZ、＝O・29において1892，式（5．2）ではZ，＝0．42において1947，式（5．3） 第5章シナプス前抑制モデルの検討 56 2000 6 ’チ 字4 ㌔ 雫 ω1500 り ㌔ r 1 蔦 ＼ 凹 易 “ 斗 ξ1…撃 ＼ 毛 ． ＼ 8 ・ 2 500 ； Linear← Cosine一十一一・ 勇 Thresho1d・・目・・… 0 0 0．2 0．4 O．6 0．8 1 Zs 図5．5：ランダムパターンにおける検索成功回数 ではZ，＝O．2において1950と，非線形性が増すにつ札でよりよい値を示している． 5．2．3 検索の失敗について ここで，本シミュレーションにおいて，どのように検索が失敗するかについて調べる．前 項において最も成績の良かった式（5．3）を用いた場合のZ，＝O．2では，50の検索が失敗 している．この様子を，図5．6のようなグラフにより，調べた．図では，横軸はステップ 数，縦軸にシナプス前抑制信号をとった．Z、：O．2であるので，シナプス前抑制が解除さ れるのは2：O．1である． この例では2：0．1未満と2＝0．1以上の点を繰り返す2周期となっているが，z＝O．1 未満で2周期となるものもある．これらは，2＝O．1未満となりシナプス前抑制が解除さ れていても，ネットワークがたどってきた軌跡によっては不応性の影響が残り，完全に安 定しないことによると考えられる．また，2：O．1以上においても周期的になり，この場 5．3一対多対応 57 1 0．8 o⊆ 暑O．6 ⊆ ◎ ’；＝ 至O．4 二 ⊆ O．2 O 0 10 20 30 40 50 60 70 80 t（steps） 図5．6：検索失敗の例 会の周期は2πとなるものが多数であったが，周期が12となるものもあった．シナプス前 抑制下でも周期的になるのは，シミュレーションでの計算誤差のためカ㍉本論文で用いた ニューラルネット（表5．1のパラメータを用いた場合）のカオスがトランシュントカオス であるからと思われる． 5．3 一対多対応 サーチアクセスでは，検索する特徴とパターンが一対一に対応する必要はない．ここで は，二つの特徴の内，一方のみを用いて検索した場合，すなわち一対二に対応させた場合 にも，検索が行なえることを確認する． 特徴を一方だけ用いるので，特徴比較を行うバックプロパゲーショソネットをそれに合 わせて変更したが，それ以外の変更は必要ない．どちらの特徴を用いるかと，特徴の有無 により，4通りの指定ができる．初期パターン250通りとし，合計1000回の検索を行った． 第5章シナプス前抑制モデルの検討 58 250 I ・ ； 仰H ＝ lI ； ＝ ＝ ω200 器 ； ； ； ！ 1 ＝ 8 I 1 ＝ ； ； ＝ ； ＝ ； ミ 易150 ち 1 1 1 ； ； ； さ ミ ＝ ； I ； ； ・ ； 1 』 HH HH HHH Hll H ＝ ； ； 1 ◆・ ；1 ＝ 1 ； ・ I ＝ ミ I I ． E●1 ＝ ； ミ 一 ； ； ； ； ； ＝ ミ ； ； ； ＝ ； ； 1 一 ； ； ＝ ； 1 1 1 1 ； 言 ＝ ； 1 1 1 呂 ； ” 11 H ；1 1 Iや． 1 … ミ 刊 1 ＝ ミ ミ ㍑ ； ； ； 1； ミ ； ； ；； 1 ； ＝ 昌 ； ＝ ； ； ：1 一 ；1 1； ” ＝ 1 1 1 ； 1 1 I ， 1 I ； ； H H H ミ ミ 1 1 刊 1 i 一 1 ； I I ＝ 一 さ さ ； I 1 ＝ ； ； ；； ； ； ； ； I I 1 I 言 1 1 言 ； Total φ l Onepa町 ▲ 1 I 盲 ； ＝ ＝ ； ； i ： ； ： ＝ ミ ； ミ ； 1 ： ミ ＝ ・ さ 1 ＝ ； I ＝ 1◆ ＝ ； 一 ◆ ； ； ！ ＝ ミ 1 ； ； ； ； ； ＝ 1 ＝ ＝ i ； ＝ ； ； 一 ； ； 一 ； ； ； ・ さ ＝ ； ；； ．d紬 ； ＝ ！ ； ； ； ； ； ＝ ；1 ； ； 1 1 ； ；： ； ＝ 1 ； ； ； ＝ ， ， 0⑭100 ； ； 1 ミ 撃戟B；？ ； ； ； 1 ．1 ・ ； ＝ ＝ 呂 I◆ ； I 1 ； 1 ； ； I ＝ I I …… ！ I z 50 O 1234567891011121314151617181920 Pattem Set 図5．7：一対二対応のときの検索成功回数 前抑制関数は式（5．3）のしきい関数で，Z、＝O．2とした．この結果を図5．7に示す． 図は，横軸にパターンの組をとり，さらに各パターンの組において4通りの検索を並べ た．4通りの検索は，左から順に，特徴1＝O，特徴1＝1，特徴2＝O，特徴2＝1であ る．四角マークが検索成功数を表している．一対二対応であることから，各検索において 検索されるべきパターンは二つある．三角マークが一方のパターンが検索された数を表し， 四角マークと三角マークの差がもう一方のバターンが検索された数を表している． 二つのパターンは均等には検索されないが，全体としては，一対一対応のときと同程度 の成功率となっている． 第6章 学習パターンによる検索成功率 前章までに，カオスニューラルネットとカオスニューラルネット外部からカオス状態を 制御する方法としてシナプス前抑制を組み合わせることにより，特徴による連想記憶の検 索（サーチアクセス）が実現できることを示した． また，想起パターンからの特徴抽出と特徴比較にバックプロパゲーショソネットを用い ることにより，ニューラルネットのみでサーチアクセスを実現した． しかし，このとき用いたパターンは，特殊な四つのパターン（図3．1）であり，他の一般 のパターンについても，検索が行なえるかどうか確かめる必要がある． 本章では，ランダムに生成したパターンを用いたときの検索成功率を，シミュレーショ ンにより調べる．次に，その結果より新たなパターンの生成法を用いたパターンを調べる． そして，サーチアクセスに用いることのできるパターンの生成法を考える． 最後に，こ札らのパターンを内部パターンとして用い，ニューラルネットにより外部曲 カハターンに変換して出力することにより，一般的なパターンにおいて，サーチアクセス を実行する手法を提案する． 6．1 シミュレーションの条件 カオスニューロンのパラメータは，前章の表5．1の通りである． カオスニューラルネットに学習させるパターンの数は，前章同様，四つとする．四つのパ 59 60 第6章学習パターンによる検索成功率 ターンから一つを選ぶには2ビットで十分であるので，簡単のため，特徴は二つとし，そ れぞれのパターンに，（O，O），（O，1），（1，0），（1，1）と割り当てる． 特徴抽出ネットは，前章同様，入力層100，中間層10，出力層2素子のバックプロパ ゲーショソネットを用いた．特徴抽出ネットでは，記憶させた4つのパターンを入力し，教 師信号は対応する特徴の値を用いた．また，入力として記憶させた4つのパターンの反転 パターンも用い，この教師信号は，特徴1・特徴2とも0．5として学習させた．これは，相 関学習で学習した反転パターンを検索対象から除くためである． 抑制信号生成ネットも，前章同様，入力層4素子（目標となる特徴二つと，抽出さ札た 特徴二つ），中間層30素子，出力層1素子のバックプロパゲーショソネットを用い，正規 化距離を学習させた． この抑制ネットの出力がシナプス前抑制の信号となり，カオスニューラルネット中のす べてのシナプスに対して，シナプス前抑制をかける．シナプス前抑制関数は前章より，し きい関数でよいことがわかっているので，もし出力がO．15以下なら抑制は解除し，そうで なければ，重みをO．4倍する［281． シミュレーション実験では，400回の検索（ランダムな初期パターン100通りに対して， 四つの目標パターン）を行ない，その検索成功回数を数えた．大多数の検索は100ステッ プまでに終るので，1OOOステップまでに検索が終了しないときは，検索失敗とみなした． 6．2 パターン生成方法と実験 6．2．1 ランダム法 まず，単純に，乱数を用い確率O．5で“O’’，‘‘1’’を割り当てた（ランダム法）．この方法 で20組（80個）のパターンを作成し，各組を用いたときの検索成功回数を調べた． 結果を図6．1に示す．図6．1では，見やすいよう，成功回数が昇順になるようパターン の組を並び変えた． 図6．1からわかるように，ほとんどすべての検索が成功する組も存在するが，一度も成 功しない組も存在した．検索成功回数の平均は132であった． 前章までで用いた四つのパターン（図3，1）では“O’’，“1’’の個数が，およそ半分の50に 61 6．2パターン生成方法と実験 400 350 300 慈 回250 揮200 掻 紙150 無 100 50 0 1 5 10 15 20 パターンの組 図6．1：ランダム法によるパターンを用いた場合の検索成功回数 なるように作られていた．ランダム法でも，統計的には“O’’，‘‘1”の個数はおよそ半分にな るが，素子数が100しかないため，ばらつきが生じ，半分の50にはならない． そこで，各パターンの組で‘‘1’’の要素数の50からの差を横軸に，成功回数を縦軸にと り，分布をみると，図6．2のようになった．これより成功回数が多いものは50に近いこと が分かる． この理由の一つは，‘‘1’’の個数の変化はニューロン間の相互作用の強さの変化となり，相 互作用と不応性のバランスがうまく制御できなくなり，カオスの強さの制御に失敗するか らではないか，と思わ札る． パラメータの再調整により，差が大きいパターンでも検索成功回数を増やすことは可能 であると思わ札るが，相関学習にとっても“O’’，“1”が半々であれば都合が良いので，ここ では，“O”，“1’’を半々にすることを考える． 第6章学習パターンによる検索成功率 62 400 300 き ◇＼ 録 回 昂200 掻 ◇ ＼、 ◇◇ ◇◇ ◇ へ 1oo 0 5 10 15 20 25 30 50からの差の総和 図6．2：‘‘1’’の要素数の50との差の総和と検索成功回数 6．2．2 ランダム交換法 そこで，“1’’の個数が50になるような方法として，次のようなアルゴリズムを考える． まず，1OO個中，奇数番には‘‘O’’，偶数番には“1’’を割り当てる．次に，100個中奇数番か ら重複を許さずランダムに25個選び，偶数番からも重複を許さずランダムに25個選んで， ‘‘ n’’，“1’’を反転させることによりパターンを生成する． 前節同様，20組のパターンを作成し，検索成功回数を調べた．結果は図6．3に示すよう に，成功回数は平均的に多くなっており．検索成功回数の平均も289と大きくなっている． しかし，検索に失敗するものが，あいかわらず存在する． そこで，学習するパターン間でマッチングスコア（値が同じ要素の個数）を調べてみる． マッチングスコアは，50のときパターン間の相関はなく，50より大きいときは正の相関が あり，小さいときは負の相関がある．負の相関はそのパターンの反転パターンと正の相関 があることになり，相関学習では，学習するパターンの反転パターンも同時に学習してい るから，相関の平均値を求めるとき，負の相関は正の相関に変換してもとめ，マッチング スコアの平均と検索成功回数の関係を調べた． 6．2パターン生成方法と実験 63 400 350 300 慈 回250 尽200 掻 桜150 怒 100 50 0 1 5 1O 15 20 パターンの組 図6．3：ランダム交換法によるパターンを用いた場合の検索成功回数 400 ◇ 300 ◇ 二・参 燕 回 帰200 参◇ 掻 100 ◇ 0 51 52 53 54 55 56 57 マッチングスコアの平均 図6．4：マッチングスコアの平均と検索成功回数 第6章学習バターンによる検索成功率 64 400 ◆ ■ ■ 300 ■《全 ■ ■△ △ △ 燕 ■ 回 寓200 ■ △△ △ 蜜 1OO △ O 50 51 52 53 54 55 マッチングスコアの平均 図6．5： マッチングスコアと検索成功回数 ◇50以上51未満 ◆51以上52未満 口52以上53未満 ■53以上54未満 △54以上55未満 その結果を図6．4に示す．その結果，マッチングスコアが50に近いほど，検索成功回数 は大きくなった．特に，平均が54未満になると，成功回数が400に近い値になっているこ とがわかる． 6．2．3 マッチングスコアの平均 マッチングスコアの平均による違いを詳しく調べるため，54から55，53から54，52か ら53，51から52，50から51の五つのカテゴリにわけ実験を行なった． まず・ランダム交換法において，25個ではなく，M個選ぶことにする・η：諸と置く と，マッチングスコアの期待値は｛肌2＋（1一π）2｝×100となる．そこで，それぞれW二13， 6．2パターン生成方法と実験 65 400 350 300 無 回250 掃200 掻 終150 無 100 50 0 1 5 10 15 20 ノマターンの組 図6．6：マッチングスコアの平均が53以上の検索成功回数 M＝131M：19，M：21，M＝23としてパターンを生成し，実際に平均がその範囲に収 まっているものを20組選び，検索を行なった． その結果，図6．5に示すように，マッチングスコアの平均が50に近付くにつれ，成功回 数の最小値と平均値が大きくなっている． 従って・マッチングスコアの平均が，50から51のものを用いれば良いのだが，50に近 い程そのようなパターンは生成されにくく，条件に合うパターンを得るまでに，何度も生 成し直す必要があり，このような値を満たすパターン組を20組得るためには，本実験で は・2万回以上，パターン組を作成する必要があった．この数字は実用的ではない． 6．2．4 マッチングスコアの分散 図6・5より・マッチングスコアの平均が，53未満のものとそ札以外のものでは平均値や 最小値が大きく違っていることから・53未満の組を考えてみる．そこで，M＝25として， 生成したパターンのなかでマッチングスコアの平均が53未満のものを20組選び実験を行 なった． 第6章学習パターンによる検索成功率 66 400 350 300 録 回250 河200 掻 紙150 無 100 50 0 1 5 10 15 20 パターンの組 図6．7二平均が53未満がつ分散が3未満の検索成功回数 その結果，図6．6のようになった．検索成功回数が291回となったのは1組だけで，他 のものは380以上であった．この1組をよく見ると，あるパターンの組合せたけマッチン グスコアが大きくなっていることがわかった．このような場合を見つけるため，マッチン グスコアの分散を計算した．前節の実験結果と分散を見比べると，当然，分散が少ないほ ど成功回数が多い．とくに平均が53未満がつ分散が3未満のものは高い成功率を示した． そこで，〃：25とし，平均が53未満がつ分散が3未満の組を，20組選んで実験を行 なった． その結果を図6．7に示す．この実験ではすべて380以上成功した．すなわち成功率は 95％以上となった．このようなパターンの組を20個捜し出すのに必要とした生成回数は 113回であり，ある程度実用に耐えうるのではないかと考える． 6．3 内部パターンを用いたサーチアクセス 本節では，前節で生成したパターンを用い，より一般的なパターンにおいてサーチアク 6．3内部パターンを用いたサーチアクセス 67 I叩ut T町get 0岬山。f Feat㎜だs Pa脆m Se町。蛇d 肘㏄岬ap此 Con値。1Cbaos Im阯b地。n Chaodc Decωeto by Comp班㎞g ・・一・・・・・・・… Ne㎜訓 血e Output Network Pa脆m F閉tureS EX血aCt 血eFeatし脆S 図6．8：内部パターンを用いたサーチアクセス セスを実現するための方法を提案し，シミュレーションにより検索が成功することを確か める． 6．3．1 内部パターン 本手法では内部パターンと相互相関ネットを用いる．内部パターンを用いてサーチアク セスを行うネットワーク構成を図6．8に示す．図4．2に，内部パターンを外部曲カハター ンに変換する相互相関ネットが追加されている． 生成したパターンを内部パターンとしてカオスニューラルネットワークに学習させ，カ オスニューラルネットの出力ハターン（内部パターン）から外部曲カハターンを生成する ため，内部パターンと外部曲カハターンを1対1に相互相関ネットに学習させる． これにより，内部パターンで動的想起を実現し，こ札を出カパクーンヘ変換することに より，特徴の抽出を可能とする． こ札により内部パターンを用いたサーチアクセスが実現できる． 6．3．2 外部曲カハターン 第6章学習パターンによる検索成功率 68 図6．9：外部曲カハターン 表6．1：特徴の割当 O A E J 左右対称 ○ ○ × × 上下対称 ○ × ○ X 今回のシミュレーションでは，外部曲カハターンとして，図6．9の四つのパターンを用 いた． これらのパターンはアルファベットの“O’’，“A’’，‘‘E”，‘‘J’’をかたちどったものである． 特徴は上下対象，左右対象の二つを考えると，表6．1のように割り当てられる． 内部パターンを用いるシミュレーションに先立ち，これらのパターンを，カオスニュー ラルネットに学習させ，従来の方法で，検索してみた．前節の同様の条件で400回の検索 を行なったところ，“E’’は100回中すべて検索できたが，他の三つのパターンは一度も検 索できなかった．したがって、このパターンの組はサーチアクセスには向いていないこと がわかる． 6．3．3 シミュレーション結果 ‘‘0’’，‘‘A’’，‘‘E’’，‘‘J’’の四つのパターンを外部パターンとし，内部パターンを用いる検 索を行なった． 検索例を図6．10に示す．検索する特徴は，「上下対称」，「左右非対称」である．この例で は，検索条件に合わない他のパターンがいくつか出てきているが，多くの検索では，この ように他のパターンが複数出てくることは少い． 前節で用いた20組のパターンを内部パターンとし，それぞれ初期パターンを変え，400 6．3内部パターンを用いたサーチアクセス 69 軸肚帖むむ軸 t・6 tイ 尚 t→ t・10 目ユ 貞回固旺J回 回齪J町靱｝ t：12 t＝13 t芦ユ4 t；15 t：16 セ＝ユ7 t：18 t＝19 t＝20 t；21 t：22 t：23 t＝24 t＝25 t＝26 忙27 t＝28 忙29 向臨踊。廟｝ t：30 t：31 目2 仁33 t：製 ←35 助。⑪o割助 仁36 t昌37 忙38 杜39 tヨω 目1 顯百雷巨巨匡 t叱 t4 t判 杜45 t哨 目7 E冨匡巨富巨 図6．10：内部パターンを用いた検索の例 の検索を行なった． 結果を表6．2，図6．11に示す．前章の単独で使用した場合と同様，95％以上が成功し，平 均は98．24％であった． この実験では，収束するが，学習したパターンを想起しない場合が生じた．これは，以 前には起こらなかったことである．これは特徴を直接抽出するのではなく，相互相関ネッ トを通った後に抽出するためである思われる． 第6章学習パターンによる検索成功率 70 表6．2：内部パターンを用いたシミュレーション結果 内部 ノざターン O A E J 計 ［％1 1組 97 99 89 98 383 95．75 2組 100 100 100 99 399 99．75 3組 99 100 99 100 398 99，50 4組 99 99 99 97 394 98．50 5組 93 95 99 99 386 96．50 6組 100 98 99 99 396 99．OO 7組 91 100 100 99 390 97．50 8組 1OO 100 100 100 400 100．00 9組 99 90 100 99 388 97．00 10組 99 97 94 99 389 97．25 11組 95 97 98 95 385 96．25 12組 1OO 99 1OO 100 399 99．75 13組 96 100 98 93 387 96．75 14組 100 100 100 100 400 100．00 15組 100 100 97 1OO 397 99．25 16組 96 1OO 99 99 394 98．50 17組 94 97 94 98 383 95．75 18組 97 99 99 100 395 98．75 19組 100 97 100 99 396 99．00 20組 100 100 100 100 400 100．OO 計 1955 1967 1964 1973 7859 98．24 6．3内部パターンを用いたサーチアクセス 71 400 350 300 燕 ・・ 回250 膏200 掻 一 ． 一一 ●一● ・ ・・ 一 ・・ ●●● ●・一 ・ ・ ●●● … 一・ ・一 ． ・ 一 ●・● ■■ ・・ ・ ●●・ 一・ ・ 一 一・ ・ ・ ・・ ・ ・ ・・ ・ ・ 一． ・・ ・一 ・ 一 ・ ・ ． ・ ・・ ・ 一 ■・ ・ ・ 雑150 無 100 ■●●●1 1一一・ ・一1． ■‘I■● ．・・■・ 1●●● 50 0 1 5 10 15 パターンの組 図6．11：内部パターンを用いた検索成功回数 20 第7章 周期パターンの検索 前章までに用いてきた学習は，自己相関型の1周期パターンであった．周期的な記憶は 相互相関型の学習により実現でき，周期が長くなるほど，ノイズ耐性が強いことが示され ている［22，441． 本章では，カオスニューラルネットを用い，シナプス前抑制による連想記憶の検索を，周 期的な記憶に対して適用する．従来使舟していた4パターンに2パターンを加えた6パター ンを，3周期×2の周期記憶として記憶させ，いずれの周期かを判定するネットワークを 用いて，指定した周期を想起させることを考える．従来のネットワークではニューロンを 非同期的に1順に動作させていたが，周期的な記憶を扱うため，同期的に動作させる．この ため，カオスニューロンやシナプス前抑制の適切なパラメータが変化する． 周期を判定するネットワークには，カオスニューロンを用いて作成したバックプロパゲー ショソネットを用いる．このネットワークは，重みだけでなく，カオスニューロンのパラ メータも変化させるものである． また，奈良らの用いた似顔絵パターン［321を用いて検索を行い，結果の比較を行う．こ れらのパターンは20×20の400素子からなる30のパターンを，6周期X5の周期記憶と して用いている． 73 集7章周期パターンの検索 74 姐ψ 1 ’，’1：1 山北 ’3由’ 6…一… 1’119’． 1’’’1土 1曲■6 申辞 当 。 ， U l11捌 2：■・■□■・己一’ ■一■■■■’ ：：1¶ll： ’9’，：1． 1 2 8』911111 圓11■＝■ ・■■… ’’、’’ 目11■」 3 Sequence 図7．1：簡単な周期パターン 7．1 簡単な周期パターン 従来の4バターン圧27】に2パターンを加え，図7．1のように3周期の周期パターンを2 組作成した．黒い四角が1に対応し，点がOに対応する．図中Cyc1．1の周期のパターン を左から，X，T（triang1e），W（waves）と表し，Cyc1e2の周期のパターンを左からS（star）， C（chain），F（且。wer）と表す． 7．1．1 カオスニューロンのバックプロパゲーショソネットによる特徴の検出 周期パターンを検出する方法は，さまざまなものが考えられるが，ここでは，カオスニュー ロンをバックプロパゲーショソネット［91に用い，結合荷重の学習と同時にカオスニューロ ンのパラメータを学習させて，検出に用いた．カオスニューロンは時間的な加算を行うの で，過去の情報が残る．したがって，時系列の処理ができるのではないかと考えた．しか し，各カオスニューロンに対し，適切なパラメータを決定することは困難である．そこで， バックプロバケーションによる結合荷重の変更と同様に，学習によりカオスニューロンの パラメータを決定する方法を考える． 誤差関数はバックプロバケーションと共用し，出力層のニューロンの出力”ゴ（オ十1）を用 7．1簡単な周期パターン 75 いて，式（7．1）のように定める． 1 卵・1）一5Σ（・1（1・1）一金1（1・1））2 （・・1） 5 ここで，金5（オ十1）は時刻壬十1における正しい出力である． ゐmは時間的なパラメータであり，これを時間とともに変化させるため微分∂η（老十1）を ∂たm 求めようとしても意味がないように思える．そこで，ヘッブのシナプス強化則［31からの類 推により，η（オ）とπ（オ十1）かみmを通してつながっており，π（オ十1）の誤差がバックプロ バケーションと同様に逆伝搬し，たmをη（亡）と誤差に比例して変化させると考える．ここ で，O≦た㎜〈1の条件があるため，式（3．5）のシグモイド関数∫（．）により，たm＝∫（硲） なる略を用いて， ・略一一・織辛11州1・1））刎（1）舳） ∂卵十1） 二■6∂。，（1＋1）”・（オ十1）（1刈十1））η舳・（1一た一） （7・2） と変化させる．ここで，6は正の定数である． 紅についても同様に，た、＝∫（ゐ二）として， ・ザー・祭11辛11舳十1）舳11） ∂耶十1） ＝一6∂π。（1．1）”・（オ十1）（1一ψ斗1））舳・（1一ゐ・） （73） とする． αについては， ∂帥十1） △α：6∂”。（1．1）∫W＋1））ψ） ∂帥十1） ＝6∂工、（1＋1）”・（6＋1）（1・ψ十1））州 （…） とするが，αが負になった場合は，強制的にOとする． 結合荷重の変更は通常のバックプロバケーションと同じである．また，学習のスピード、 をあげるため，式（2．40）と同等の加速法を用いた． 入力層に100素子，中間層に60素子，出力層に2素子のネットワークを用いた．出力 層の素子はそれぞれのサイクルに対応しており，対応するサイクルが入力に現れたとき，1 第7章周期パターンの検索 76 表7．1：入力と教師信号 Seq． 1 2 3 4 5 6 Input X T W X T W Cyc1e1 O 0 1 1 1 1 1 1 Cyc1e2 0 O O O O O O O Seq． 9 10 11 12 13 14 15 16 Input X業 丁構 W｝ S C F S C Cyc1・1 O O O O O O O O Cy・1e2 O O O O 0 1 1 1 Seq． 17 18 19 20 21 22 23 24 Input F S C S“ C｝ Fホ T W Cyc1e1 0 O O O O O O O Cyc1e2 1 1 1 O 0 O O O Seq． 25 26 27 28 29 30 31 32 Input X T W C F S C F Cycle1 1 1 1 O O O O O Cyc1e2 O O O O 0 1 1 1 7 8 X T を出力するように学習させる．学習用入力として，表7．1のようなデータを与えた．ここ で，X｝はXの反転パターンを表す．学習時には，入力および教師信号を1から順に32ま で与え，続けてまた1から繰り返し与えた．入力は各パターンおよびその反転パターンか らなっており，連続した入力において，検出すべき周期が現れたとき，その周期に対応す る出力が1となる． カオスニューロンのパラメータ冶舳，冶、，αおよび結合荷重を学習させた結果，X，T，W あるいはS，C，Fを繰り返し入力した場合には，ネットワークは正しく判定した．Xある いはWのみを繰り返し入力しても，周期1であると判定し，CあるいはFのみを繰り返 し入力すると，始めのうちは周期2と判定するが，徐々に出力値が小さくなっていきO．5 7．1簡単な周期パターン 77 を下回るようになる．Tのみを繰り返した場合は両出力は小さく，どちらの周期でもない と正しく判定した．Sのみを繰り返した場合は，両出力が大きくなり，ありえない判定を し，その後徐々に出力が小さくなっていった． 比較のため，通常のニューロン（すなわちた肌：ゐア＝α＝O）によるネットワークを用 いて，結合荷重に同じ初期値を用いて学習させた．しかし，カオスニューラルネットが学 習を終了したステップの1O倍のステップになっても学習できなかった．初期値を10通り 変えて学習させてみたが，同じく学習できなかった． カオスニューラルネットワークは学習させていない入力に対しては不十分な判定を下す が，今回のように，簡単な周期の検出であれば，十分使用可能である．このことは，次の 結果からもわかる． 7．1．2 周期パターンの検索 図7．1のパターンを学習させるため，次式の相互相関学習を用いた． ω1。一・Σ（2・1π）一1）（2π！m）一1） （7．5） （肌，π） ここで，”1例）はパターンmの6番目の要素，cは結合定数ある．図7．1を学習させるの で，（m，η）の組は，（X，T），（T，W），（W，X），（S，C），（C，F），（F，S）の6通りとなる． 特徴を抽出するために，前節で説明した，カオスニューロンによるバックプロパゲーショ ソネットを用いた．これにより，特徴として，「学習させたいずれかの周期が想起されてい るか，あるいはどちらの周期も想起されていない」が得られる． また，特徴を比較しシナプス前抑制信号を生成するため，通常のバックプロパゲーショ ソネットを用いた．このネットワークは入力層に4素子，中間層に30素子，出力層に1素 子を持つ，3層のネットワークである．入力の4素子中，2素子は検索したい周期を指定す る入力となり，残り2素子は抽出された特徴である．学習時には，四つの入力の可能な組 合せ16通りと，ランダムな点の組合せ16通りを入力とし，教師信号はその正規化された 距離を与えた． カオスニューロンのパラメータと式（7．5）の。とシナプス前抑制のパラメータを調整し， 表7．2のように設定した．これらの値は，予備実験の結果から経験的に求めたものである． 78 第7章周期パターンの検索 t：12 t＝13 t：14 t＝15 t＝16 t＝17 t＝18 t＝19 t＝20 t：21 七；22 t＝23 t：24 t；25 t…26 t＝27 t；28 t；29 t．：36 t：37 t：38 t：39 t；40 t；41 1｝1■㌔1’l11ぺ’’1中≒1’1’1㌔ 蛙証龍典主拒 舘卑辞龍単距 図7．2：簡単な周期パターンの検索例 7．2似顔絵パターンの検索 79 表7．2：簡単な周期パターン検索のためのパラメータ ゐm＝0．2，κ、＝O．9，α＝10， ε＝O．015，◎｛＝2．O， ・＝3，7。＝1／6，刎：O・15・ 周期2を指定して，検索した例を図7．2に示す．ステップ数オ＝44の辺りで，周期1を想 起しているが，指定された周期ではないため，収束はしない．オ＝56以降で周期2を想起 し，収束した． 検索の成功率を調べるため，100通りのランダムパターンを初期パターンをとして与え た．検索は，O，1に量子化した出力において，3ステップ前の出力と同じ出力が，15回続 いたとき，終了とした．パターンを発見した15ステップ前のステップを検索成功ステップ とした． 初期パターン100通り，二つの周期を指定して200回の検索を行った．結果を図7．3に 示す．横軸はステップ数，縦軸はそのステップ数までに成功した検索の割合である．1OOス テップにおいて，84％の検索が終了しており，656ステップで200回の検索はすべて成功 した． 7．2 似顔絵パターンの検索 より複雑な例として，20×20の400素子のネットワークにより，奈良らが用いた30の 似顔絵パターン［321を用いて，同様な検索を行う．ネットワークに学習させるパターンを 図7．4に示す．30のパターンが，6周期×5の周期記憶として用いられている． こ札らを学習するため，結合荷重行列wは，パターン。（1，m）とその双対ベクトル 〆（z，m）を用いて， L 〃 W＝・ΣΣ・（1，m＋1）⑧ポ（1，m） （7．6） ’＝1腕＝1 と表される［321．ここで，工はサイクル数，Mはサイクル周期，8（Z，m）はサイクル7に 含まれるm番目のパターンを表すベクトルであり，要素として一1または1をとる．ま 第7章周期パターンの検索 80 1．O 9 書 一 ξ 吻 0，5 8 8 男 0 200 400 600 800 1000 Steps 図7．3：簡単な周期パターンの検索成功率 た。（7，M＋1）：c（7，1）と考える．図7．4では，工＝5，M＝6となっている． 観（1），＿，⑰（冶）の双対ベクトル〆（1），＿，〆（ゐ）は，ゐxみの行列 G：（9、β）二（参（α）・8（β）） （7．7） の逆行列θ一1＝（g；彦）により， κ ・てβ）＝Σgか（α） （7．8） α＝1 として求めることができる1351． これらのパターンを学習させた後，確認のため，カオスニューロンのパラメータゐm，ん、， αをすべてOにし，通常のニューロンとして動作させたところ，初期状態を学習したパター ンのうちの一つに選んでも，正しく想起されなかった．これは，従来カオスニューラルネッ トの出力はlO，11の範囲にあり，一方，奈良らの用いたニューロンの出力は1または一1の 値をとることが原因のようであった． そこで，式（3．20）のん（）を ん（o）＝2卜1 （7．9） 7．2似顔絵パターンの検索 81 2 ① 一 〇 六 〇 3 ．．；：6’’：1：： 41 1 2 3 4 5 6 Sequence 図7．4：周期パターン とし，出力を1−1，11の範囲に拡大して入力とした．これにより，初期状態を学習したパ ターンのうちの一つに選ぶと，学習した周期は正しく想起できた． カオスニューラルネットのパラメータは表7．3のように設定した．cの値が表7．2と比 較してかなり大きくなっている．この主な原因は，学習に双対ベクトルを用いたため，前 節の式（7．5）による学習とくらべ，結合荷重が小さくなるためである．不応性とのバラン スをとるため，Cを大きくする必要がある．また，結合数も増えているためニューロン相 互間の力が強くなるので，Cと7。を調節する必要があった． 第7章周期パターンの検索 82 表7．3：似顔絵パターン検索のためのパラメータ ゐm：O．27，冶ア：O．94，α＝。10， ε＝O．015，◎｛＝2．O， c＝529，7。：O．08． 奈良らは「口の辺りの特徴」を400ビット中40ビットを用いて与え，ターゲットパター ンが3（1，4），8（2，5），8（3，6）となるよう設定している［321．Kushibeらは，10×10の100 素子の自己相関型の連想記憶において，特徴として選ぶビット数により成功率・成功ステッ プ数が変化することを報告している［231． そこで，本論文でも，上記三つのパターンにおいて，口の辺りの共通な40ビットを選 び，一致度数を求めることで，特徴0とした．シナプス前抑制信号を生成するため，正 規化した相違度z＝1＿品を計算した．三つのターゲットパターンのみを検索するため， 柵昌O．124とした．これは，ターゲットパターン以外のパターンはすべて宕≧O．125であ るからである． 学習したパターンは6周期であるので，一度zがz此未満となったときは，次の6ステッ プの間，シナプス前抑制を解除した．検索は，6ステップ前の出力と現在の出力を比べ，同 じになったとき，検索終了とし，検索成功ステップは6ステップ前とした．ターゲットパ ターンを含む周期1，周期2，周期3に収束した場合，検索成功とした． このような特徴抽出や抑制信号生成を行うため，ニューラルネットを用いず，プログラ ムによる処理を行った． 検索例を図7．5に示す．途中，周期4や周期5に近いパターンや，記憶パターンが交じ りあったパターンが想起されているが，最終的には，周期3へ収束している． 奈良らの結果［321と比較するため，初期パターンを変えて300回の検索を行った時の150 ステップまでの検索成功率を，図7．6に示す．横軸はステップ数，縦軸はそのステップ数 までに成功した検索の割合である．奈良らの結果では60ステップ種で，O．9弱にまで到達 し，その後，変化は無い． カオスニューラルネットによる検索は，ほぼ直線的に増加していき，150ステップまで 7．2似顔絵パターンの検索 83 図7．5：似顔絵パターンの検索例 第7章周期パターンの検索 84 § 妻α5 1…… …≡… ω 50 0 Steps 100 150 図7．6：検索成功率（150ステップまで） 1．O § 一 冨 ω O．5 § 1≡； ω 0 200 400 600 Steps 800 1000 図7．7：検索成功率（1000ステップまで） で0．8強であり，150ステップまでの結果では，検索の速さも検索成功率も劣っている．し かし，カオスニューラルネットによる検索は，図からも分かるように150ステップでもま だ成功率は増加している． そこで，1，000ステップまでの実験を行ってみたところ，結果は図7．7のように，627ス テップで成功率が1．Oとなり，すべての検索に成功した．したがって，奈良らの最も良い とさ札るものに比べ，検索の速さでは劣っているものの，成功率の点では上回っていると 7．2似顔絵パターンの検索 85 者えられる． また，300回の検索において，どの周期が検索されたかを調べてみると，周期1は140 回，周期2は6回，周期3は154回となっていた．この結果より，カオスニューラルネッ トがサンプリングしている空間には，偏りがあることがわかる． 第8章 総括 本論文では，シナプス前抑制を用いて，カオスニューラルネットによるサーチアクセス を実現した．「特徴」の抽出と比較には，バックプロパゲーショソネットを用いた．カオス ニューラルネットにおけるカオスの激しさを制御するため，ニューロン間の相互結合の強 さを表すシナプス結合の強度を変化させるシナプス前抑制を用いた．これにより，ニュー ラルネットのみで，サーチアクセスを行うことができた． 第1章では，カオスニューラルネットが提案されるまでの歴史について述べ，カオスを 情報処理に利用しようとする研究について紹介した．続いて，本研究の目的を述べ，各章 の概要を述べた． 第2章では，ニューロンのもととなる神経細胞について説明し，ガイアニエロのモデル ［51を用いて，ニューロンモデルとニューラルネットについて述べた．特に，本論文で用い た連想記憶とバックプロパゲーショソネットについては，詳しく述べた． 第3章では，合原が提案したカオスニューロンおよびカオスニューラルネット［11を説 明した．また，相互結合型（ホップフィールド型）のカオスニューラルネットに，連想記 憶により記憶させることで，記憶を含む非周期的な想起（動的想起）が行なえることを示 した．さらに，シナプス前抑制をモデル化し，これを用いて，カオスニューラルネットに おけるカオスの激しさを制御できることを示した． 第4章では，カオスを用いたサーチアクセスについて説明し，実際に，カオスニューラ ルネット，バックプロパゲーショソネット，シナプス前抑制を用い，サーチアクセスを実 87 88 第8章総括 現した124，251・また，検索過程を「特徴」で張られる空間上の軌跡として観察し，考察し た［26，271． 第5章では，カオスニューラルネットによるサーチアクセスにおいて，シナプス前抑制 の抑制関数と検索成功率の関係を調べ，どのような関数が望ましいか議論した．そのさい， 第6章の結果を用い，記憶させるパターンを変えて調べた．抑制関数とて望ましいのは， 簡単な階段関数であった．また，入力と出力の関係が一対二となる場合についても，検索 成功率も調べ，一対一の場合と同様に検索できることを示した． 第6章では，学習させるパターンの性質により，検索成功率がどのように変化するかを 調べ，どのような性質を持ったパターンが，カオスニューラルネットによるサーチアクセス にとって適切であるか検討した．パターンの性質としては，各記憶パターン間の相関（マッ チングスコア）に注目し，シミュレーションを重ね，より良い条件を探索した．この結果， 各記憶パターン間の相関の相関が，直交に近いほど検索成功率が高くなることが示された． また，良い条件のパターンを内部パターンとして用い，こ札に対して一般的な外部曲カハ ターンを割り当てることにより，一般的なパターンでのサーチアクセスを実現した． 第7章では，学習パターンを周期パターンに拡張し，奈良らの結果［32］と比較・検討し た．カオスニューラルネットによるサーチアクセスは，奈良らのモデルと比べ，検索時間 の点では劣るものの，検索成功率の点では勝っていることを示した． 謝辞 本研究の推進および本論文作成にあたり，始終御指導・御鞭捷を賜わった名古屋工業大 学知能情報システム学科教授石井直宏先生に心より感謝致します． 本論文の作成にあたり，有益な御教示をいただいた名古屋工業大学知能情報システム学 科教授伊藤英則先生および名古屋工業大学知能情報システム学科教授北村正先生に深 く感謝致します． 本研究に関して，有益な議論をしていただいた名古屋工業大学知能情報システム学科講 師犬塚信博先生に深く感謝します． また，岐阜工業高等専門学校電気工学科教授武冨喜ノ噸β先生をはじめ，岐阜工業高等 専門学校電気工学科の先生方には研究のためご配慮をいただき，厚く感謝致します． 最後に，本研究に協力していただいた，岐阜工業高等専門学校電気工学科卒業研究生 の各位に心から感謝します． 89 参考文献 11］K．Aihara，‘‘Chaotic neura1networks，，，Phys．Lett．A，Vo1，144，No．6，7，pp．333−340． 1990． ［2］W．S．McCu11ochandW．Pitts，“A1ogica1ca1cu1usoftheideasi㎜inentinnervous activity，”Bu11etin of Mathematica1Biophysics，5，pp．115−133．1943． 【3］D．O．Hebb，‘‘The organization ofbehavior，，，John Wi1ey＆；Sons，New York，1975， 141F・R・…b1・tt，‘‘P・i・・ip1…f・・…dym㎞・・：P・…pt・・・…dth・th…y・fb・・i・ m㏄hanisms，，，Spartan，1961． 同E．R．CaianieI1o，‘‘0ut1ine of a thθory ofthought processes and thinking machines，’，J． Theor．Bio1．，2，pp．204＿235．1961． ［6】中野馨，“アソシアトロンとその応用＿連想記憶装置に関する研究，’’電子通信学会イ ンホメーション理論研究会資料，IT69−27． ［71M．Minsky and S．Papert，“Perceptron−an essay in computationaI geometry，，’MIT Press，1969． ［81J．J．Hopfe1d，‘‘Neura1networks and physica1systems with emergent co11ective com− putationa1abi1ities，，，Proc．Nat1．Acad．Sci．USA，79，pp．2445−2558．1982． ［9］D．E．R．ume1hart，G．E．Hinton and R．J．Wi11iams，“Leaming repres㎝tations by back− propagating errors，，，Nature，323，pp．533−536．1986． 91 92 参考文献 ［101E．N．Lorenz，‘‘Deterministic nonperiodic How，，，Jouma1of Atmospheric Science， Vo1．20，pp．130＿141．1963． ［111R．M．Ma篶“Simp1e mathematica1mode1s with very comp1icated dynamics，，，Nature Vo1，261，pp．459−467．1976． ［12］T．Y．Li and J．A．Yorke，“Period three impIies chaos，，，Amer．Math．Month1y，Vo1．82， pp．985−992．1975． ［131C．A−Skarda，W．J．Freeman，‘‘How brains make chaos in order to make sense of the wor1d，，，Behavioral and brain sciences，10，pp．161−195．1987． ［141W．J．Freeman，‘‘The physio1ogy of perception：fmctiona1architectures of bio1ogica1 sensorimotor contro1systems，”Proc．of the2nd Intemationa1Conference on Fuzzy Logic＆Neura1Networks，pp．3−7．1992． 1151津田一郎，‘‘カオス的脳観，’’サイエンス社，東京，1990． 11611．Tsuda，“Dynamic1ink of memory−chaotic memory map in nonequi1ibrium neura1 networks，，，Neura1Networks，5，pp．316−326．1992． ［171G．Mastumoto，K．Aihara，Y．Hanyu，N，Takahashi，S．Yoshizawa，and J．Nagumo， “Chaos and phase1ocking in norma1squid axons，，，Physics Letters A，VoL123，No．4， pp．162−166．1987． ［181J．Nagumo㎜d S．Sato，‘‘0n a response characteristic of a mathematica1neuron mod−e1，”Kybemetik，VoL10，pp155−164，（1972）． 1191渡辺正峰，合原一幸，近藤駿介，‘‘カオスニューラルネットによる自動学習電子情報 通信学会論文詩，J78−A，No．6，pp．686−691，J㎜1995． ［201長名優子，服部元信，萩原将文，‘‘カオスニューラルネットワークにおける逐次学習電 子情報通信学会技術研究報告，NC96−132．1989． 参考文献 93 1211笠原毅，中川匡弘，“パラメータ制御型カオスニューラルネットとその応用，’’電子情 報通信学会論文詩，J78−A，No．2，pp．114−122，Feb1995． ［221奈良重俊，P．Davis，“カオスと情報処理機能，”，カオスーカオス理論の基礎と応用， 合原一幸編，第9章，サイエンス社，東京，1990． 1231M．Kushibe，Y．Liu，and J．0htsubo，“Associativememory with spatiotempora1chaos contro1，”Physica1Review E，Vo1．53，no．5．1996． ［241出口利憲，坂和明，石井直宏，“カオスニューラルネットワークを用いた特徴による 連想記憶の検索，’’電子情報通信学会技術研究報告，NC93−100．1994． ［251T．Deguchi and N．Ishii，“Memory search by matching features in chaotic neura1 network，，，Proceedings of Intemationa1Conferen㏄on Neura1Information Processing， Seou1，Korea，Vo1．2，pp．884−889，Oct1994． ［26］T．Deguchi and N，Ishii，“Search of associative memories based on feature matching in chaotic neura1network，，，Proc．of the3rd Intemationa1Conference on Fuzzy Logic， Neura1Nets and Soft Computing，pp．423−426．1994． ［27］出口利憲，石井直宏，“カオスニューラルネットにおける特徴による連想ダイナミクス の制御，’’電子情報通信学会論文詩，J78−D−IIつNo．8，pp．1223−1230，Au91995． ［281T．Deguchi and．N．Ishii，“Contro1of memory search by matching features with presy− naptic inhibition，，，19951EEE Intemationa1Conference on Neura1Networks Proceed− ings，pp．2566−2571．1995． ［291出口利憲，石井直宏，‘‘サーチアクセスのためのシナプス前抑制モデル，’’電子情報通 信学会論文詩，Vo1．J80−D一■，No．2，pp．618−625，Feb1997． ［30］T．Deguchi and N．Ishii，“0n the pattems in search of associative memory by match− ing features，，，Method61ogies for the conception，design，and app1ication of inteI1ig㎝t system，ed．T．Yamakawa and G．Matsumoto，Vo1．2，pp．933−936，Wor1d Sci㎝ti丘。， 1996． 94 参考文献 ［31］T．Deguchi and N．Ishii，“Simu1ation resu1ts on the rate ofsu㏄ess in chaotic search of pattems in neura1networks，，，Intemationa1Jouma1of Chaos Theory and App1ica．tions， Vo1．2，Nr．1，pp．47−57，May1997． ［32］奈良重俊，ピーター デイビス，“カオスと記憶，’’数理科学，no．373，pp．27＿34，Ju1y 1994． ［331T．Deguchi and N．Ishii，“Time and rate of success in chaotic search of cyc1ic mem− ories，，，Progress in Comectionist−Based Information Systems，ed．N．Kasabov etc．， VoI．1，pp．186−189，Springer−Ver1ag，1997． ［34］出口利憲，石井直宏，‘‘カオスニューラルネットによる周期パターンの検索，’’電子情 報通信学会論文詩，J81−D−II，No．4，pp．xxx，Ap11998． ［351甘利俊一，‘‘神経回路網モデルとコネクショニズム，’’東京大学出版会，東京，1989． 日361中野馨，“ニューロコンピュータの基礎，’’コロナ社，東京，1990． ［371H．Fujii，H．Ito，K．Aihara，N．Ichinose，and−M．Tsukada，“Dynamica1ce11assembIy hypothesis＿theoretica1possibi1ity of spatio一もempora1coding in the cortex，，，Neura1 Network，VoL9，No．8，pp．1303−1350．1996． 1381Richard P．Lippemam，‘‘An introduction to computingwith newra1nets，，，IEEE ASSP MAGAZINE，APRIL，pp．4−22．1987． ［391豊田雅嗣，安達雅春，清水和彦，合原一幸，“カオスニューラルネットワークのパター ンダイナミクス，’’電子情報通信学会技術研究報告，NC89＿8．1989． 1401安達雅春，合原一幸，“カオスニューロンモデルとそのネットワークダイナミクス，1・ ニューラルシステムにおけるカオス，合原一幸編，第5章，東京電気大学出版局，東 札1993。 ［411K．S．Co1e，R。．Guttman and F．Bezani11a，Proc．NatI．Acad．Sci．，65，pp．884．1970． 参考文献 95 ［421P．Davis and S．Nara，“Adaptive chaotic e1ements and networks，”Proc．of the Inteト nationa1Conference on Fuzzy Logic＆NeuraI Networks，pp．617−622．1990． ［431S．Nara and P．Davis，“Chaotic Wandering and Search in a Cyc1←Memory Neura1 Network，，，Prog．Theor．Phys．，88，5，PP．845−855．1992． 1441Y．Mori，P，Davis，and S．Nara，‘‘Pattem retrieva1in a neura1network with embedded 1imit cyc1es，’，J．Phys．A．Mth．Gen．，VoI．22，L525．1989． 発表論文目録 論文 ●T．Deguchi and N．Ishii，“Search ofAssociativeMemories based on Feature Matching in Chaotic Neura1Networks，’，Proceedings of The3rd Intemationa1Conference on Fuzzy Logic，Neura1Nets and−Soft Computing，pp．423−426．1994． ●T．Deguchi and N．Ishii，‘‘Memory Search by Matching Features in Chaotic Neura1 Network，，，Proceed−ings ofIntemationaIConferenceon Neura1Information Processing， Vo12，pp．884−889．1994＝． ．出口，石井，‘‘カオスニューラルネットにおける特徴による連想ダイナミクスの制御， ’’電子情報通信学会論文詩，J78−D−II，No．8，pp．1223−1230，Au91995． ●T．Deguchi and．N．Ishii，“Contro1of Memory Search by Matching Features with Presynaptic Inhibition，，，19951EEE Intemationa1Conference on Neura1Networks Proceed−ings，pp．2566−2571．1995． ●T．Deguchi and N．Ishii，“Contro1of Associative Dynamics by Matching Features inChaoti1Neura1Network，’，E1e1tronillandCo㎜unilationinJapan，SCR1PTA TECHNICA，INC．，Vo1，27，No．5，pp．47−54，May1996． ●T．Deguchi and N．Ishii，“0n the Pattemsin SearchofAssociativeMemorybyMatch− ing Features，，，Methodo1ogies for the conception，design，and app1ication ofinte11igent 97 発表論文目録 98 system；Proceedings ofthe4th Intemationa1Conference on Soft Computing，Wor1d Scienti丘。，Vo1．2，pp．933−936．1996． ●出口，石井，‘‘サーチアクセスのためのシナプス前抑制モデル，”電子情報通信学会論 文詩，J80−D−II，No．2，pp．618＿625，Feb1997． ●T．Deguchi and N．Ishii，‘‘Simu1ation Resu1ts on the Rate of Su㏄ess in Chaotic Search of Pattems in Neura1Networks，’，Intemationa1Jouma1of Chaos Theory and App1ications，Vo1．2，Nr．1，pp．47−57，May1997． ●T．Deguchi and．N．Ishii，‘‘Time and Rate of Su㏄ess in Chaotic Search of Cyc1ic Memories，，，Progress in Com㏄tionist−Based Information Systems；Pr㏄eedings of the19971ntemationa1Conference on Neura1Information Processing and．Inte11igent Information Systems，ed．N．Kasabov etc．，Vo1．1，pp．186−189，Springer−Ver1ag，1997． ●出口，石井，“カオスニューラルネットによる周期パターンの検索，”電子情報通信学 会論文詩，J81−D−II，No．4，pp．752−759，Ap11998． 研究会 ●出口，坂，石井，‘‘カオスニューラルネットワークを用いた特徴による連想記憶の検 索，’’電子情報通信学会技術研究報告，NC93＿100．1994． ・出口，石井，“特徴による連想記憶の検索における学習パターンと想起の関係につい て，’’電子情報通信学会技術研究報告，NC95−88．1995． ・出口，石井，“内部パターンを用いたカオスニューラルネットによる連想記憶の検索 法，’’電子情報通信学会技術研究報告，NC96−129．1997．
© Copyright 2024 ExpyDoc
