連合学習理論 そして科学するために 条件反射制御法をネタにして

パブロフ vs レスポンデント
道具的 vs オペラント
連合学習理論 vs 徹底行動主義
科学としての行動主義
ネタとしての条件反射制御法
原井宏明
このレクチャーの目的
• パブロフ復活
– 興奮条件づけ/制止条件づけ
• 外制止,脱制止,内制止,拮抗条件づけ
• なぜ制止条件づけは消去されたのか
– 伝統的学習心理学vsスキナー・徹底的行動主義
• 反応しない(行動しない)は行動ではない
• 生体内部の媒介過程は不要
• レスコーラ・ワーグナーは認知的だ
呪文を覚えよう
•
•
•
•
•
OR
定位反応(おや何だ反射)
CER
条件性情動反応
Partial-Reinforcement
PREE
部分強化消去抵抗 Extinction Effect
二次・高次条件づけ
嫌悪条件づけ・欲求条件づけ
– Aversive / Appetitive
• 行動の二重機能性
• 自動反応形成(Auto-Shaping, Sign-Tracking)
平井慎二 曰く
• しかしながら,上記したように学習理論では,
行動を誤って各機能に意味があると考えて分
解し,自律神経の反射と動作の反射を取り上
げ,それらをそれぞれレスポンデント条件付
けとオペラント条件付けと呼び,このレスポン
デント条件付けの部分だけにパヴロフ学説が
留まると規定し,すでに時代遅れになってい
るようにも聞こえる古典的条件付けという呼
び名も与えたのである。(p24)
あなたはどっち?
SR派
• 古典的条件づけ
• パヴロフ条件づけ
• 道具的条件づけ
• 連合説・接近説
– SS連合,SR連合
• 細胞内・脳内メカニズム
– 海馬,扁桃体
スキナリアン
• レスポンデント条件づけ
• オペラント条件づけ
• 行動随伴性
• 行動選択
伝統的学習心理とスキナー
• S-R心理学
– Rの前にそれを縛るSがある Rはヒモつき
• スキナーの特徴
– 非理論的立場,ハルのようなS-R的な発想がない。
– オペラントという言葉で:生活体の行動の特徴は外からの刺激を待た
なくても自然に自発するところに最大の特徴がある
– 自発性を表すのにオペラント「働きかける」という意味合いをもつ語を
用いた
– 生活体が自由な環境の中でさまざまなオペラント行動を自発している
うちに,それが報酬などの良い結果に出会い,そのことによってその
オペラントの自発頻度が上昇する
• オペラントはハル派のいうRとは違う
– 共通の環境変化をもたらす行動のクラス
– ハル派の場合には右手反応と左手反応は別
– スキナーは同じ効果をもたらす行動であれば同じオペラントクラス
認知・行動療法学会も
• 第3の波などと言って応用行動分析学に乗っ
ている内に,SR派のことを等閑視
• SR派,接近説,強化説
– パブロフ
– ハル:SR連合主義 トールマン:目的論的行動主義
• しかし
– ガルシア
– レスコーラ・ワーグナー:
レスポンデント条件づけの汎用性
唾と引きつり
情動条件づけ
記憶条件づけ
免疫条件づけ
価値条件づけ
薬物条件づけ
因果判断・随伴性判断
道徳反応
頭の柔軟体操
• 二人のペアで瞬目反射条件づけ
– CS そばに寄る,声,光
– US 目に息を吹きかける
• レスポンデント/オペラントの分類?
– 嚥下反射,腸の蠕動はいつも古典的条件づけ?
– プチプチつぶし行動,皮膚摘み取り行動はいつも
オペラント条件づけ?
KWAを体験してみよう
• 私は今,おしっこが出ない
• 私は今,咳が出ない
• 私は今,唾がでない
倫理・道徳
• モラル反応
– 嫌悪と怒り
の組み合わ
せ
– 共感・平等・
同情の反対
セックスについて
• Consummatory Behavior 完了行動
– 摂食,獲得,生殖などの獲得のゴールがはっき
りしていて,本能的な行動
• 咀嚼,嚥下,交尾,排泄,授乳など
本能的で種に特有な定型的行動
がある
• 阻害されることで,その手前
のAppetitive Behaviorが活性化
参考 Ball 2008
How useful is the appetitive and consummatory
distinction for our understanding of the
neuroendocrine control of sexual behavior?
フェーズ4
刺激フリー
回避・逃避
フェーズ1
刺激+or
刺激ー
Appetitive
フェーズ3
Aversion
嫌悪
フェーズ2
Consummat
ory
興奮そわそわ
落ち着き
条件反射制御法
この試みの当初の方法は,患者が覚醒剤ではない物質で水溶液を作り,
その後に著者が患者に生理的食塩水を静脈注射するものであった。偽で
あることを伝えて,患者に,覚醒剤に見立てた可溶性の白い結晶を小さ
なチャック付きポリエチレン袋に入れたものを渡し,また,針のない1cc
の注射器,白い結晶をすくうスプーンとして斜めに切ったストロ一等も
渡した。患者は白い結晶を溶解し,その溶液を注射器内に吸い上げ,そ
の注射器を目の前に置いた。続いて,著者が別の注射器につめていた生
理的食塩水を患者の静脈に注射した。この初の疑似覚醒剤静脈注射を受
けた患者は,一瞬にして顔面に玉の汗を吹き出し,口の周囲をなめ回し,
快感が生じたことをうれしそうに著者に告げたのであった。
全ては随伴性
渇望
使用
輪ゴムぱっちん
(思考停止法),
KWA?
KWA
制止条件づけ
隠蔽 Masking
阻止 Blocking
•
• 音と光の複合刺激を電撃USと対
呈示した
• その後,音CSまたは光CSへの反
応をテスト
•
強い音と弱い光を同時に与えてか
ら餌を呈示するという複合条件づ
けの方法で空腹のイヌを訓練
その後音CSと光CSを別々にテスト
– 音CSに対しては大きなCR(唾液分泌)
– 光CSはほとんどCRを誘発しなかった
•
•
しかし,音CSも光CSも,それぞれ別
個に餌と対呈示して訓練した場合
には,大きなCRを引き起こすように
条件づけることができた。
パヴロフの考え
– 強いCSは弱いCSを隠蔽し,弱いCSと
USとの連合形成を阻害すると考えた。
•
強いCSは弱いCSを一方的に隠蔽
する
– いずれの場合にもCR (恐怖反応)
• しかし
• このような複合条件づけ前に 音
と光のどちらか一方を電撃と対
呈示しておく
• 複合条件づけ後に行われたテス
トで,残る一方へのCRはほとんど
みられなかった。
• 最初に条件づけられたCSが別の
CSの条件づけを阻止
隠蔽・阻止の意義
• CSとUSを対呈示しでも,必ずしもCSがCRを誘
発するようにならない
• CSがUSの到来をどれだけ確実に信号できる
かによって条件づけの大きさが決まる
連合学習理論の進歩
• 認知的学習理論 Rescorla-Wagnerモデル
– 隠蔽や阻止といった現象を説明するための理論
– ある特定のUSが条件づけを形成し,維持する効
力は一定である
– このUSの効力をめぐって複数のCSが競合する
– 古典的条件づけのさまざまな現象を説明できる
– それまで発見されていなかった現象の存在を指
摘するなどの功績
• 過剰予期効果(Overlearning)
過剰予期効果
1.
2.
3.
4.
音CSと光CSをそれぞれ単独にUSと対呈示する訓練
それぞれのCSについて学習が完了
2つのCSを同時にUSと対呈示する複合条件づけ
2つのCSを別々にテスト
– 各CSが誘発するCRは複合条件づけ前に比べて減少する
• レスコーラ=ワグナー・モデルによれば
– 複合条件づけ開始時に2つのCSが予測するUS量は実際
に呈示されるUS量の2倍という過剰予期の状況となる
– 従って2つのCSをあわせて適切なUS量となるように各CS
に対するCRは弱くなるはずだ
古典的条件づけの随伴性空間
パブロフ
オペラント
正
の
随
伴
性
パブロフ
負
の
随
伴
性
オペラント
条件制止子かどうかのテスト
• 制止条件づけは観察不能
– 「おまじない」が欲求を制止しているかどうか?
• 遅滞テスト
– このCSをUSと対呈示することで条件興奮を獲得させてみよう
– もし制止子ならば
– まったく新しいCSを用いる場合よりも,条件興奮の獲得が遅れる
• 加算テスト
– このCSと条件興奮子のCSを同時に複合呈示
– もし制止子ならば
– 条件制止と条件興奮の加算が生じ,条件興奮子を単独で呈示したと
きよりも観察されるCRが少なくなる
– この減少の程度は条件興奮子と新奇刺激を複合呈示した場合(外制
止)よりも大きい
Robert A. Rescorla
連合学習理論の先端
• 古典的条件づけは「動物が周囲の環境から
得た情報の価値をどう判断し行動するか」と
いう情報処理のメカニズムの一つ
– 刺激淘汰
• 人間の推理判断のような複雑な認知プロセス
も古典的条件づけで説明できる
• パヴロフは条件反射を「中枢神経系のもっと
も高次な活動」と呼んだ。それが認められる
時代がきた
US価値変化法
• 古典的条件づけで学習されるのはSS連合かS-R連合か?
• 条件づけを形成した後にUSの価値を変化させる手続き
• 条件づけがS-R連合にもとづくものであれば, (図5-1の太い矢印),
条件づけ形成後にUSの価値を変化させてもCRには影響がないは
ず
• S-S連合が学習されていれば(図5-1の点線), CS→「USイメージ」
→CRという経路の中継点であるUSの価値変化によってCRの大きさ
が変わるはず
• ヒリアードとドムヤン(1995) の実験結果は, S-S連合を支持してい
る。まず,オスウズラに丸木(CS) を見せてからメスウズラ(US) と交
尾させる。これを繰り返すと,丸木への接近反応(CR)が獲得された。
次に,このオスウズラを別の4匹のメスと次々交尾させることで,
USの魅力を弱めた(価値低減)。最後に, CSを呈示してテストすると,
USの価値を低減しなかった場合よりも, CRが小さかったのである。
かなり難しいテスト1
• 条件性制止と条件性抑制の違いを述べよ
– Conditioned Inhibition vs. Conditioned Suppression
• 学習理論の神スレッド
– http://yasai.2ch.net/psycho/kako/968/968644163.dat
テストの確認 以下の誤りを正せ
– 心理学辞典 1999 有斐閣の項目
• 条件性制止(ジョウケンセイセイシ)
– conditioned inhibition
• ある行動の生起頻度の低減(抑制)が,ある条件刺激
によって引き起こされるようになること。たとえば恐怖
の条件づけ実験において,生体の摂食・摂水行動が,
電撃を無条件刺激として条件づけが成立した条件刺
激(音など)によって抑制を受けること。この反応抑制
を定量化することによって恐怖の程度を客観的に数
値化することができる。
• 関連語: 反応制止 内制止
• 執筆者: 神村栄一
平井理論と学習理論
• 平井の考え方は?
– ひとつで正しい
• 学習理論は?
– リサーチプログラム
– パブロフからワトソン,
ハル,トールマン,
スキナー,レスコーラま
で
• 間違いを指摘する
– 柘植秀臣 条件反射とは
なにか 1982
• 正しい答えは教えない
学習理論
• 刺激淘汰
• 行動淘汰
• ハーンスタイン・
マッチング理論
あなたはどんな随伴性空間に
自分を晒しているのか?
• どんな刺激と刺激がペア
リングされている?
• どんな情動が?
– 喜怒哀楽
– 嫌悪・後悔
•
•
•
•
•
学会で会う人に
臨床で会う人に
家で会う人に
一人の時に
スケジュールは?
• どんな行動と結果が
ペアリングされてい
る?
• 行動
– 移動,摂食,生殖
– 探索,闘争,獲得
• 結果
– 注目・獲得
– 回避・感覚
• 学会,臨床,家
• 他人・人
• スケジュールは?
私個人は?
• とても感謝しています
• 私は良い質問を頂きました
– 調べ行動は自動反応形成・刺激性制御
• 私は良いオーディエンスを持っています
– 説明行動は随伴性制御
参考文献
コンパクトで絵図も
あって読みやすい
用語の正確さ一番
学習理論の歴史的発展が一望
できる。研究者の人柄も分かっ
て読み物として面白い
スキナー(が悪いわけではない
が)のために制止条件づけが
隠蔽された事情がわかる
凄い。ラットの因果推論もわかる。でも,
Mackintoshモデル・Pearce‐Hallモデル・
SOP理論・コンパレータ仮説・時間的符
合化仮説なんて読まされた後の読後感
は「自分の頭はラット並?覚えてない」
当然英語で一流の
分担執筆者
• 行動経済学
• 行動慣性
• 行動システム
• 文脈条件づけ
• ルール支配行動
• 消去→新奇行動