初期視覚領野の情報表現に関する研究 室蘭工業大学 工学部情報電子工学系学科 計算神経科学研究室 小松 友也 1 はじめに 我々は物体を眼で見て，それが何であるかを判断する．そ の判断を行うまでには，様々なニューロンが眼から送られ てきた情報を処理し，次のニューロンへと情報を渡してい る．特に，初期の段階で処理を行う V1 では，ニューロンの 持つ様々な特徴への選択性によって視覚情報が符号化され， 伝達されている．単純型細胞のニューロンの受容野は刺激 の傾きに対する選択性を持っている．その受容野は，始め から持っている訳ではない．普段の生活での経験や，成長 過程で学習し，受容野を形成していくのである．その受容 野は，興奮性の領域の両端に抑制性の領域があり，外側に 向かうにつれ減衰していることから，局所的な受容野であ 図 1: スパースコーディングにより獲得した受容野の一部． ることが分かっている．V1 のニューロンが学習を行った結 果，ガボール状の受容野は刺激の傾きに対して選択性を持 3 ち，自然画像に適している． 先行研究でも行われていたスパースコーディングによる受 これまでの先行研究は，V1 ニューロンの線形和で入力情 容野の獲得を行う．スパースコーディングは，多くのニュー 報が表現できるように受容野の獲得を行うという，生成モ ロンの反応を抑え，一部のニューロンだけが反応する受容 デルの考え方で進められてきた．こうした研究には，数値 野を獲得する．その受容野は，局所的で V1 ニューロンに 計算による主成分分析の受容野の獲得や，スパースコーディ よく似た特性を持つことが知られている．この線形シミュ ングを用いたニューロンの学習 [1] などがある．しかし，本 レーションでは，膜電位 ui を出力として扱っている．学習 来は，脳内演算は非線形な演算によって行われている． に用いた入力画像は，512 × 512 の画像を 16 × 16 pixel に 本研究では, なぜ V1 ニューロンがガボール状の受容野を 切り出したものを，4480 枚を用いて，ニューロン数は，192 獲得したのかを, 非線形性を考慮したシミュレーションを行 個で行った．学習は次式で与えられる評価関数 E が小さく い再検討する. 2 なるように学習させる． ニューロンモデル ニューロンの動作を理論的に考察するには，モデル化を E= 行う必要がある．実際のニューロンは非線形で複雑な演算 モデルは次式で表すことができる． i=1 N ! i=1 S "u # i (3) σ 入力データが与えられるごとに評価関数 E が小さくなるよ (1) うに次式で更新する． n N n " # ! ! ! λ ui ∆ua = −2ρ1 − Ij waj + ui waj wij + S ! (4) σ σ 重，θi は閾値，非線形関数 f (x) を通すことで出力 yi が求 められる．非線形関数 f (x) の例として挙げられるものと j=1 yi wij i=1 j=1 式 (4) で更新した ui を用いて，結合荷重 wij を次式で更新 しては，階段関数や，シグモイド関数が用いられる．また， 次式を用いると入力の予測値 Iˆ を得ることができる． Iˆj = ui wij )2 + λ と値が単調増加する関数である．学習は，まず膜電位 ui を Ij wij − θi ) 式 (1) で，ui は膜電位，n はニューロン数，wij は結合荷 N ! N ! 数，σ は u をスケーリングするための係数である．式 (3) の $ % 第 2 項がスパースコーディングによる拘束項である．S uσi " # u2 は，今回は log 1 + σi2 を用いた．ui の絶対値が増加する より提案されたニューロンモデルがある．このニューロン j=1 (Ij − このとき，n はピクセル数，N はニューロン数，λ は正の定 つつ簡潔な数式で表せるモデルに，McCulloch と Pitts に n ! n ! j=1 を行っている．しかし，ニューロンの特徴的な性質を保ち yi = f (ui − θi ) = f ( 線形シミュレーション する． ∆wab (2) j=1 = * −2ρ2 (−ua ) Ib − N ! i=1 ui wib + (5) これを繰り返し，評価関数 E が収束するまで学習させる． 式 (2) で，入力画像 Ij が結合荷重 wij の成分をどのくらい ρ はそれぞれの学習率である．パラメータは，ρ1 = 0.1， 持っているかを，出力 yi が表している． 1 図 2: α = 1 のときのシグモイド関数． 図 3: 非線形な学習により獲得した受容野． 0.1， σλ ρ2 = = 0.14 で行った．獲得した受容野の一部を図 1 に示す．V1 ニューロンのようなガボール状の側抑制機構 を持つ受容野が見られる．一つひとつの受容野は疎であり， ほとんど 0 に近い箇所が多数で，一部分のみが大きな重み を持つ受容野を獲得した．非線形な V1 ニューロンであって も，ただ誤差を小さくするだけではなく，スパースコーディ ングのような拘束条件を加え学習していると考えられる. 4 非線形シミュレーション 線形シミュレーションのスパースコーディングによる学 習をもとに，非線形性を考慮して受容野の学習を行った．線 形近似では膜電位 ui をそのまま出力として用いたが，次式 図 4: スパースコーディングの検証結果．(a) スパースネス の非線形関数 f (ui ) を用いることで非線形性を考慮した． f (ui ) = 1 1 + exp(−αui ) の拘束条件の係数を増加した場合．(b) 非線形関数を変更 した場合． (6) 大きくすることで，影響を大きくするものである．拘束項 この非線形関数は図 2 になり，シグモイド関数である．学 の係数の値は，10 倍の = 1.4 で行う．2 は，膜電位 u が 0 のときに，出力 f (x) も 0 に近い値にすることでニュー ロン応答を抑えるものである．これは非線形関数 f (u) を， 習方法については，式 (4)，(5) の膜電位 ui を，出力 f (ui ) におきかえて行う．入力データは線形シミュレーションで 用いたものを用い，ニューロン数は 100 個で行う．u の更 λ σ f (u − β) として β を変更することで，図 2 のグラフを正負 の方向へ移動させることができる．パラメータは，β = 1 で 新回数は 100 回，w の更新回数は 896,000 枚分学習させた． パラメータは，ρ1 = 0.1，ρ2 = 0.1， σλ = 0.14, α = 0.75 で 行った．1，2 で獲得した受容野をそれぞれ図 4(a)，図 4(b) 行った． に示す．先ほどと同様に，どちらも滑らかに変化している 学習して獲得した受容野を図 3 に示す．図 3 を見てみる ことが分かるが，ガボール状の局所的な受容野ではないこ と，ある程度滑らかに変化していることが分かるが，局在し とが分かる．この結果から，スパースコーディングだけで たガボール状の受容野を確認することはできなかった．こ は V1 ニューロンのような受容野を獲得することはできな れは，非線形関数を通すことで，スパースコーディングの いことが確認できた．非線形性を考慮した場合，スパース 効果が弱くなったためであると考えられる．膜電位 u が 0 コーディングの他に別の拘束項が必要であると考えられる． のとき，非線形関数 f (u) の値は 0.5 である．スパースコー 5 ディングは，出力をなるべく 0 に抑えようとする項である まとめ 本研究では，従来の線形近似による受容野の獲得をもと が，ほとんどの出力がある程度の値を持っていたために，十 に，非線形を考慮した V1 ニューロンの受容野の獲得を行 分な効果は得られなかったと考えられる． い，なぜガボール状の受容野を獲得したのかを再検討した． 先の結果から，スパースコーディングを用いて非線形性 非線形性を考慮したシミュレーションの結果，スパースコー を考慮するだけで，ガボール状で局所的な受容野は得るこ ディングのみではガボール状の受容野を獲得することはで とができるのか検証を行った．検証方法としては，次の二 きなかった．今後の課題としては，スパースコーディングの つの方法が挙げられる． 他にどのような拘束項を加えるかなど検討する必要がある． 1. スパースコーディングによる拘束項の係数 λ を大きく 参考文献 する． [1] B.A.Olshausen & D.J.Field，Emergence of simple-cell receptive field properties by learning a sparse code for natural images，Nature, Vol. 381, pp. 607–609 (1996)． 2. 非線形関数 f (u) の変更． スパースコーディングの効果が薄いということは，拘束項 の値が小さいという可能性がある．1 は，拘束項の係数を 2
© Copyright 2024 ExpyDoc
