スライド 1 - IDCJ

評価研究の巨人ペーター・ロッシ
とは？
• Peter H. Rossi (1921-2006)。享年85歳。
• 評価研究の世界でもっとも売れた本
Evaluation: A Systematic Approach (1st –
7th edition)の著者。
• 評価の7人のパイオニアの一人。（Shadish,
Cook & Leviton (1991)）
・・・・・・個人的には、クロンバックの位置づけをキャンベルの直後にする
べきと考える。
『エビデンスに基づく教育政策の是非
を巡る論争とその影響：ロッシ＆リプ
シー対スクリヴェンの論争から』
佐々木亮
立教大学大学院
21世紀社会デザイン研究科兼任講師
(財）国際開発センター主任研究員
１．ロッシの経歴と主要業績
• 1910年に両親がイタリアから移民。
• 1921 New York Cityに生まれる。
• 大恐慌時代に少年時代を過ごす。その後の
思想に大きな影響を受ける。
• 貧困問題、社会格差の問題に生涯取り組む
ことになる。
• 若い頃は極左的思想に傾倒し、当時は「トロ
ツキスト」だったが、スターリン時代を経て幻
想から覚めたと語っている。
• ニューヨーク市立大学のNon-tuition policyに
より、大学学部で勉強できた（1930年代）。
• 第二次世界大戦に従事（1942-1945）。
• G.I.Billを得て、コロンビア大学大学院で勉強
できた(1946?-1951)。
• 同大学の「応用社会調査局」で研究助手とし
て働くことができた。
• 所長のLazerfeldは、「因果関係分析には、ラ
ンダム実験デザインがもっとも厳格だが、社
会調査では実際的ではない」と教える。
• かわりに、クロスタビュレーションとパネルスタ
ディがもっとも使えるデザインだと教える。
（ランダム実験デザイン・・・フィッシャーが初めて体系化した。主
に農業で利用された。（R.A. Fisher (1935))）
• コロンビア大学で、博士号取得(1951)。ハー
バード大学に職を得るも、社会関係論をテー
マとせねばならず、シカゴ大学に移る（1955）。
• シカゴ大学のNational Opinion Research
Center(NORC)の所長に就任。その頃は自
分が「評価」を行っているとは思っていなかっ
た。
（１）キャンベルの「実験と擬似実験デザイン」
（1963）のドラフトを読んで感銘を受けた。擬
似実験デザインの制約と、それと対比される
実験デザインの価値について再認識した。
（２）有名なNew Jersey-Pennsylvaia Income
Maintenance Experiment（Mathematicaと
ウィスコンシン大学が実施）を知った。
• NORCの所長としてセールスマンとしての仕事が多
くなってきたので、ジョンズホプキンズ大学に移る
（1967）。Sage Publicationが資金援助した研究会
（”Evaluating evaluation”）に参加。クックなど多数
の評価研究者と交わった。
• マサチューセッツ大学に移りリタイヤするまで在籍し
た（1974-1992）。
• そして、自分が、社会学者よりも、評価研究者
(Evaluation Researcher)だと認識したと語る。
• 1975年にOECDの会合に招かれた。外国援
助の評価に利用できる手法について発表し
てほしいとの依頼だった。
• ロッシ／ライトと、別の招待者であるフリーマ
ンが発表したペーパーはほぼ同一だった。
OECDのNicolas Ibodenが共同で一冊の本
にしてみないかと提案。
• 1979年に英語とフランス語で出版
（‘Evaluating Social Projects in Developing
Countries’）。
• 同年、事例をODAの事例からアメリカ国内の
事例に差し替えて、アメリカ国内市場向けに
出版（Evaluation: A Systematic Approach
(1st ed.)）。(“Sibling but not clones”)。
つまり、『兄弟だが
双子ではない』。
• ライトは評価研究から抜けてウォール街へ転
身を図った。経済的に成功したらしい。
• その後数年おきに改訂版を出した。改定の度
に売り上げを伸ばす。大学のProgram
Evaluationのテキストとして定着。(1979,
1982, 1985, 1989, 1993)
• 第５版の改定が済んだ1993年にフリーマン
が飛行機事故で死亡。もう改訂版は出さない
と決心する。
• しかしその後、Sage Publicationの紹介でバ
ンダービルド大学のリプシーを紹介される。そ
の後、２回改訂版を出版して現在に至る。
(1999, 2004)。
• 2006年没。
２．「評価」に関するロッシの認識
（１）「評価とは、応用社会調査である」
(Evaluation is applied social research)。
←スクリヴェンが強く非難。
（２）「評価は判断を含む」(Evaluation involves
making judgment). Needs, Program
“theory”, implementation, impact, efficiency.
（３）社会政策は、民主的な社会において、民主
的な政治プロセスによって形成されるもので、
評価はそれに貢献する。（評価がそれに取っ
て代わることはない。）
（４）倫理的な評価ができないときには、評価者
は評価をすることを拒否せねばならない。
（５）評価研究の機能は成功と失敗を峻別する
ことである。この機能がうまく働くことにより、
よりよい社会を導くことができるだろう。（キャ
ンベルのExperimenting Societyと同じ発想
だと表現している。）
３．評価研究の業績について
・多数のアイディアをいろいろな専門分野か
ら借りた。そして統合することを試みた。
• 「セオリーに推進された評価」はチェンを指導
する過程で形成された。
４．実験デザインへの厚い信頼
・ボルチモアＬＩＦＥプログラムのインパクト
評価。それがロッシが実施したランダム実
験デザインを用いた唯一の評価だった。そ
して、その経験は、彼の評価者としての一
生のなかでもっとも満足できるものだったと
語っている。
• ・「ロッシは、信じるに足る答えを得るために、
ランダム実験に内在する能力に価値を認め
ていた」（Lipsey（2007））
• ・「現在主流である定量的手法よりも定性的
手法を使うべきだという主張は、ほとんど神
秘主義的(Mystical)だ。そして、インパクトの
特定に関して、事業実施者それ自身の意見
を受け入れてしまっている」(Rossi, 1985,
p.7)
←Pattonがよく引用する『評価の賢者
Halcom』への批判だろう。
５．アメリカ教育省の提案
をめぐる論争
• 「子供を一人も落ちこぼれにしないための
2001年法」（No Child Left Behind Act of
2001）。
• 「科学的根拠(Scientifically-based
evidence)に基づいた研究に予算を与える」
• では科学的根拠とは何か？
→「厳密なエビデンスに基づ
いた実践の識別と実践：ユー
ザーフレンドリーガイド」
（Identifying and
Implementing Educational
Practices Supporting
Rigorous Evidence: A User
Friendly Guide）
• 最も厳密なエビデンスを得る
のはランダム実験デザイン
（ＲＣＴ）と明記した。
• 2003年の全米評価学会。評価の‘暗黒時代’
（1970年代）への逆戻りだ。
－1970年代の実験デザインの全盛期
（思想として）。
－1980年代の反論と代替案の提案。
－1990年代の共存。
スクリヴェンのリーダーシップにより、教育省宛に次の
ステートメントが郵送された。
「AEA Statement
科学的根拠に基づくというのは支持でき
るが、実験デザインを最上位とすること
には反対だ。因果関係を評価するため
には、実験デザインが適用できない場合
もあるし、実験デザインを用いなくても特
定できる。」
（2003年11月24日。Molley Engle（AEA会長2002）、
Richard Krueger（AEA会長2003）、Nick Smith(AEA
会長2004)、Sharon Rallies(AEA会長2005)）
これに反論するグループによって、教育省宛に
次のステートメントが郵送された。
「NOT AEA Statement
AEA Statementにおける実験デザインと
擬似実験デザインに対する一般的な反
論は正当化できるものではない。当該反
論は、評価研究における方法論的な規
範(norm)に沿っていないし、実験デザイ
ンと擬似実験デザインの経験を有する
全米評価学会の主流の見方でもない。
教育省の科学的根拠に基づく評価
は、評価研究のメジャーなテキスト
の解説に沿っている。また社会科学
および医学で一般的に認識されて
いる方法論的スタンダードに沿って
いる。」
(2003 年 12 月３日。 Leonald Bickman,
Thomas De. Cook, David S. Cordray, Mark
W. Liksey, Peter Rossi, Lee Sechres)
• メジャーなテキストとは、
Evaluation: A Systematic
Approachのこと。
• 社会科学の方法論的スタンダードとは、キャ
ンベルの「実験と擬似実験デザイン」のこと。
• AEAメーリングリスト上での論争。
リプシー vs. 多数の定性的評価者。リプシー
の「実験デザインのほかに、因果関係を完全
に客観的に明らかにできることが証明された
方法はないし・・・」という発言に端を発する論
争。
• リプシーとスクリヴェンの討論会（The
Claremont Debate 2004）を開催。
Absolutely YES.
Absolutely NO.
この論争に関連して、ロッシは、全米評価
学会を脱退した。次の言葉を残して。
「なぜ、地球が平らだという会
（Flat Earth Society)のメンバー
でなければならない？」
（真実を知っているものは、勇気を持って
真実を語って、そして死すのみ、
の意味）。(Lipsey, 2007)
スクリヴェンいわく
「この論争によって何人かの
シニアメンバーが脱退した。
しかしそれは仕方ない。」
ただし、「評価とは社会を改
善する活動である」という基
本的な定義は、両者とも共
有している。
＜余談＞
• 1999年にロッシの自宅を訪問した。ホンダの
バンで迎えに来てくれた。親交を結ぶ。
• 自書（『政策評価の理論と技法』）と山田治徳
（『政策評価の技法』）を後で送った。
• その後、スクリヴェンに誘われて、彼が運営
する博士課程に学ぶ。何の因果か？
＜最後に＞
• 貧困問題、社会格差の問題に生涯取り組ん
だ。
• ロッシは、同世代の他の移民の研究者と同じ
ように、公教育によってチャンスを得て、一生
懸命働くことによって、学問的に成功した。
（Berk, 2007）
• ランダム実験デザインに大きな信頼を抱いて
いた。そして、30年の時を経て、それがまさに
広く普及しようかという時期に世を去った。
“エビデンスに基づく実践”として普及のきざし
討論会のビデオ
http://www.cgu.edu/pages/2668.asp
The Debate Video
Based on popular request, we are pleased
that we have been able to make this debate
available to users with Apple Quicktime,
RealPlayer v.10, or RealOne Player.
Debate Section 1: Lipsey's Opening Comments
Debate Section 2: Scriven's Response and
Lipsey's Rebuttal
Debate Section 3: Questions from the Audience

Download Report