連合学習モデルと脳内メカニズム

2008年3月10日
早稲田大学
連合学習モデルと
その神経学的基盤
慶應義塾大学社会学研究科
丹野貴行
目次
1. レスポンデント条件づけ研究（～1960年代）
2. R-Wモデルの成立
3. 連合学習モデルの拡張（随伴性判断での研究例）
4. 連合とは何か
5. 連合学習の神経学的基盤
参考文献：
今田寛（1996）．学習の心理学培風館
レスポンデント条件づけ
繰り返すと・・・
ベルと餌を対呈示すると、餌への反射である唾液分泌
がベルへも起こるようになった（Pavlov, 1927）。
いったい何が起こっていたのか？
対呈示により連合が形成される
NS
(ベル)
US
(餌)
UR
(唾液)
US: Unconditioned stimulus
UR: Unconditioned response
NS: Neutral stimulus
CS
(ベル)
CR
(唾液)
CS: Conditioned stimulus
CR: Conditioned response
（１）仮定：刺激の等質性
（２）必要十分条件： NSとUSの時間的接近性
1960年代における変化１
生物学的準備性
仮定：刺激の等質性
視聴覚
電気
ショック
味覚
X線
（腹痛）
Garcia & Koelling (1966)
CSとなるかどうかはUSとの関係に依存する
（比較心理学による進化論的原因の探求）
1960年代における変化２
接近性から随伴性へ
US
no US
CS
a
b
no CS
c
d
Rescorla (1968)
接近性のみが重要ならば a のみを考慮すれば良い。
しかしΔP = P(US|CS) – P(US|noCS) が重要なようである。
つまりCSがUSの予測子とならなければならない。
目次
1. レスポンデント条件づけ研究（～1960年代）
2. R-Wモデルの成立
3. 連合学習モデルの拡張（随伴性判断での研究例）
4. 連合とは何か
5. 連合学習の神経学的基盤
参考文献：
今田寛（監修）（2003）．学習心理学における古典的条件づけの理論培風館
ブロッキング
Phase
Group 1
Group 2
1
A+
non
2
AB+
AB+
Test
B
B
Results
no CR
CR
Group1とGroup2の間で、Bの随伴性には
差が無いにもかかわらず、前者ではBは
CSとはならなかった。
試行ごとの予測が可能なモデルの必要性
Kamin (1968)
Rescorla-Wagner model (1972)
Vn   (  V ) exp( kt)
連合強度
の変化量
学習率
予測誤差
（驚き）
接近性
V：連合強度（0～1、CRの大きさは連合強度により決まると考える）
α： CS明瞭度に依存する学習率パラメータ（0～1）
β： US強度に依存する学習率パラメータ（0～1）
λ：対呈示ならば1、CS単独呈示ならば0
k ：接近性減少に伴う連合の崩壊率
R-Wモデルのブロッキングの説明
その後の流れ
• CSへの注意（attention）という概念（予測ができるほど注目
する・驚きが大きいほど注目する）を導入したMackintosh
(1975) モデルとPearce-Hall (1980) モデル
• AB刺激の呈示を、A要素とB要素の同時呈示ではなく、ABと
いう別の刺激の呈示であると考えるPearce (1987)モデル（刺
激形態化・般化）
• あるCSがCRをもたらすのは、CSと＋の連合強度と、文脈刺
激と＋の連合強度が、テスト時に比較した結果であるとする、
Miller のコンパレータモデル(Miller & Schachtman, 1985)
• 以上の他、CS→USの記憶減衰に基づくSOPモデル（Wagner,
1981）、CSとUSの時間関係も同時にコーディングされている
とする時間的符号化モデル（Matzel et al., 1988）など、いくつ
ものモデルが提案されている
その後の流れ
目次
1. レスポンデント条件づけ研究（～1960年代）
2. R-Wモデルの成立
3. 連合学習モデルの拡張（随伴性判断での研究例）
4. 連合とは何か
5. 連合学習の神経学的基盤
随伴性（因果関係）判断の概要
• 古くはHumeやKant。迷信行動（Skinner, 1948; 制御幻想）
や原因帰属（Kelly, 1967）などとも関連する
• 1960年代中頃から研究が開始（Allan & Jenkins, 1965）
• 統計的モデルとしてのΔPモデル（Allan, 1980）
• R-Wモデルの導入（Dickinson et al., 1984）
• Retrospective revaluationの問題（Shanks, 1985）と新たな
連合学習モデルの出現（e.g., Van Humme and Wasserman,
1994）
• 高次の推論過程の影響（Waldmann & Holyoak, 1992）
実験手続き
Effect
no Effect
Cause
a
b
no Cause
c
d
たとえば、ラジオを叩いた場
合と叩かなかった場合とで、
故障が直ったか直らなかっ
たか。
• 試行ベースもしくは上記の随伴性テーブルの形式で呈示。
• 実験参加者は0～100（-100~100の場合もあり）の間で、
感じた因果性をレーティングする。
統計的モデル
Effect
no Effect
Cause
a
b
no Cause
c
d
Allan (1980）のΔPモデル
ΔP = P(E|C) – P(E|~C)
ヒトは統計学者のように振舞うと仮定している。
a > b > c > dの心理的重みづけがある（Wasserman et al.,
1990）、dを無視するヒューリスティクスを用いている
（Hattori & Oaksford, 2007）といったモデルの拡張があり、
まさに認知心理学的なモデルである
R-Wモデルの導入
Alloy & Abramson (1979):
随伴性判断は、動物における学習モデルで説明できる
のではないか？
Dickinson, Evenden, & Shanks (1984):
ヒトの随伴性判断においてもブロッキングが生じるこ
とを示す
その後R-Wモデルが予測・説明してきた
現象が随伴性判断においても見られるこ
とを確かめる検討が続く（レビューとして
Shanks & Dickinson, １９８７）
随伴性判断の獲得過程
R-Wモデルの予測
ΔPモデルの予測
随伴性判断の獲得過程
R-Wモデルのみが、随伴
性判断の獲得過程を説明
できている。
実際のデータ
（Shanks & Dickinson, 1987）
Retrospective Revaluationの問題
Prospective
Blocking
Phase
Group 1
Group 2
1
A+
―
2
AB+
AB+
Test
B
B
Results
no CR
CR
Retrospective
Blocking
Phase
Group 1
Group 2
1
AB+
AB+
2
A+
―
Test
B
B
Results
no CR
CR
• Retrospectiveな影響をR-Wモデルは説明ができない。
• AB間の刺激連合が形成さえるとし、A単独呈示中は、Bにおけ
るαの正負が逆転しているとする改良版R-Wモデル（Van
Humme & Wasserman, 1994）などが考案されている
• 統計的モデルは両者の違いは問題にはならない
推論過程の影響
Phase
Group 1
Group 2
Group 3
Group 4
1
―
C+
C+
C+
2
―
D+
D+
D+
3
―
―
CD+
CD++
4
A+
A+
A+
A+
5
AB+
AB+
AB+
AB+
Test
B
B
B
B
Results
Baseline
CR↑
CR↑↑
CR↓
Additively（Group 2, 3）
参加者は通常、もしAとBの両者とも原因であるならば、AとBを両方呈示
した場合には、結果はより大きくなるという考え方をしている。それが違
うということを経験するとブロッキングの効果が弱まる（Beckers et al.,
2005; Lovibond et al., 2003）。
Maximality（Group 4）
Additivityが成り立つ背景には、＋以上の場合がありえるという考えが
ある。これを明示的にすることでブロッキングがより強くなる（De Houwer
et al., 2002）。
Hｙｂlid Modelを模索中
どのモデルが支持されるかは状況に依存するのだろう
• 手がかりの数（Houwer & Beckers, 2002）
• レーティングの回数（Collins & Shanks, 2002）
• 個人差（Shanks & Darby, 1998）
それぞれの主張を含んだ単一のモデルを作り出せないか？
• 推論モデルは量的予測には程遠い、R-Wモデルの獲得
段階の利点は捨てがたい、などなど・・・
• 因果関係があるかないか（Causal Structure）についての
確信度と、そしてあるとしたらどの程度強いのか（Causal
Power）を同時に扱うCausal Bayes Net はその候補と見ら
れている。
目次
1. レスポンデント条件づけ研究（～1960年代）
2. R-Wモデルの成立
3. 連合学習モデルの拡張（随伴性判断での研究例）
4. 連合とは何か
5. 連合学習の神経学的基盤
連合とは何なのか
Hall (2002):
連合学習モデルでは、観察された現象は、概念的神経系
（conceptual nervous system）の変化として、ノードの結びつき
の変化として説明できると考えている [連合学習は脳で起こって
いることそのもの、あるいはそのモデルであると考えている]
Shanks (2007):
CS
(Tone)
US
(Air-puff)
UR(CR)
(Blink)
認知主義： Tone、Air-puff、Blinkという別個の心的表象があり、そ
の間の計算は可能
連合主義： “Tone⇔Airpuff”および“Tone⇔Blink”という連合され
た心的表象があり、それらを切り離したり計算することはできない
目次
1. レスポンデント条件づけ研究（～1960年代）
2. R-Wモデルの成立
3. 連合学習モデルの拡張（随伴性判断での研究例を
通した種々のモデルの紹介、および認知心理学と
の絡みについて）
4. 連合とは何か
5. 連合学習の神経学的基盤
予測誤差（prediction error）
Dopamine Neurons
注意が向く・報酬の場合に
活性化（ただし罰子には反
応しない）
ドーパミンニューロンは、時
間的情報を伴って、予測誤
差をコードしている。
Schultz (2000)
脳部位を用いた研究例
Corlett et al. (2004). Prediction
error during retrospective
revaluation of causal associations
in humans: fMRI evidence in
favor of an associative model of
learning. Neuron, 44, 877-888.
Right lateral prefrontal
cortex（右外側前頭前皮質）
がRetrospective revaluation
が起こっているときにも活性
化しているならば、その現象
の説明には連合学習モデル
が適しているだろう。
まとめ
1. レスポンデント条件づけ研究（～1960年代）
2. R-Wモデルの成立
3. 連合学習モデルの拡張（随伴性判断での研究例）
4. 連合とは何か
5. 連合学習の神経学的基盤

Download Report