３層パーセプトロン • 基本パーセプトロンにより線形分離可能な問題を扱うことが出来た。 • しかしながら線形分離可能でない問題も多く存在する。 • 例ＸＯＲ（exclusive or）排他的論理和２つの入力x1, x2があったとき、次の表のような出力が要求される。 x1 0 0 1 1 x2 0 1 0 1 z 0 1 1 0 • これをx1, x2をそれぞれの軸とするパターン空間で見てみると、次のように２本の超平面が必要であることが分かる。 • このような問題は基本パーセプトロンで扱うことは出来ない。 • そこでパーセプトロンを層状にする方法によりこれを解決する。 • より正確なＸＯＲを実現するにはバックプロパゲーションと呼ばれる方法を用いる必要があるが、ここではより単純な３層パーセプトロンと呼ばれる方法を示す。 • ３層パーセプトロンの構造 x1 x2 z xn ランダム変換 S層 A層 R層 • 第１層（sensory units, S層）は感覚層と呼ばれ、外部からの入力を受けてそのまま第２層へ送る（生物の視覚での目の網膜などに対応）。この層は省略し、直接入力が次の第２層の全てのニューロンに入ると考えても良い。 • 第２層は連合層（association units, A層）と呼ばれ、入力信号を変換する。 • 第３層は基本パーセプトロンが並んでおり、反応層（response units, R層）と呼ばれる。 • S層からR層へ入力されるまでの処理方法（結合荷重）は完全にランダムである。 • ランダム変換を受けた信号に対し、R層の基本パーセプトロンにより最終的な識別処理が行われる。 • 詳細は省略するが、ランダム変換は、カテゴリー間の距離が近い場合、カテゴリー間の距離を変換し、線形分離性を高める性質がある。 • この性質により、線形分離不可の問題を線形分離可能な状態に変換できる可能性がある。多層ニューラルネットワークの能力 • １つのパーセプトロンではパターン空間を一つの超平面で２分割する線形分離可能な識別しかできないが、複数のニューロンを用いて多層にすることにより、より複雑なパターンの識別が可能となる。 • 以下、例題を通しながら多層ニューラルネットワークの効果について見ていく。 • いま基本パーセプトロンを組み合わせて次図のような２層のニューラルネットワークを構成する。 x1 1 x3 3 x2 2 x4 z • このニューラルネットワークにより次図のような識別を行う場合を考えてみる。いま入力値が1か0しかとらない場合、このニューラルネットワークにより入力値のXORが実現できることになる。 x1 0 0 1 1 x2 0 1 0 1 z 0 1 1 0 • 問題いまニューロン３の決定領域が次図のようになっている場合、ニューロン１と２のそれぞれの決定領域を求めよ。またそれぞれの結合加重としきい値の値を求めよ。 ※さらにパターン空間内に境界（超平面）により閉じた複数の島状の決定領域を作る場合は最低３つの超平面の組が複数必要となる。よってこのような決定領域の作成には最低３層のニューラルネットワークが必要となる。バックプロパゲーションの手法を用いるとこのような多層のニューラルネットワークのそれぞれのニューロンの結合荷重としきい値の自動的な学習が可能となる。何層のニューラルネットワークを用いる必要があるかはパターン空間内のカテゴリーの分布を考慮して決定する必要がある。無意味に多層化すると計算量が増え構造が複雑になるというデメリットが生じる。 structure single layer Type of decision region Half plane bounded by hyperplane two layer Convex open or closed region three layer Arbitrary (Complexity limited by number of nodes) Shapes of decision region