JES社会実験分科会・立教大学大学院21世紀社会デザイン研究科共催セミナー 「評価研究の巨人ロッシ教授が残した影響といくつかの主要な論 争」 ロッシら「プログラム評価第７版」に見る 米国プログラム評価研究の発展と 日本における課題 日本社会事業大学社会福祉学部 大島 巌 2007.12.3／於：立教大学太刀川記念館（国際センター） １. 背 景 欧米諸国における、プログラム評価・政策評価の急速な発展 プログラム評価は、社会プログラムや社会政策を社会に適切に 位置づけるために不可欠の存在となる ロッシら「プログラム評価」は、プログラム評価に関する初の体 系的なテキストとして1979年に初版が出版 その後も版を改めながら、プログラム評価に関する最も代表的 で標準的なテキストとして大学院教育などで使用されて来た 同時に、時代の最先端のプログラム評価方法を体系的にまと めた本として、数年おきに大胆な改訂を繰り返す。 ⇒プログラム評価の発展を跡付けるのに最適なテキスト 本報告の目的 ロッシら「プログラム評価」の改訂の歴史をたど り、アメリカにおけるプログラム評価の理論と 手法の発展の歴史と現状を明らかにする 日本におけるプログラム評価への示唆を、地 域精神保健プログラムを事例にしながら検討 ２. 分析方法 まず、この本のインパクトを明らかにするため、Web of Science を検索。引用した文献の出版年次、論文の専門領域を分析 テキストの変遷を明らかにするために、初版から第７版までを比 較検討 ⇒①プログラムデザインとプログラム理論の位置づけ ②評価者-利害関係者関係の位置づけ ③プログラム効果の評価方法の位置づけ に焦点を当てて、その変遷を検討 本文の記述とともに、Key Conceptsの用語、Index掲載用語に 注目して分析 ３. ロッシらのテキストの特徴･インパクト 評価(evaluation)の用語法 プログラム評価の定義 □「システマティック・アプローチ」 □科学的な社会調査法の活用 プログラム評価の主な対象領域 プログラム評価とは 「社会的介入プログラムの効果性をシステマ ティックに検討するために、プログラムを取り巻 く政治的・組織的環境に適合し、かつ社会状況 を改善するための社会活動に有益な知識を提 供可能な方法で、社会調査法を利用することで ある」 (ロッシら、2004､第１章) プログラム評価とは(２) １. 社会的介入プログラムの効果性を体系的に 検討 ２. 科学的な社会調査法の適用 ３. 評価を政治的・組織的文脈に適合させる ４. 社会活動に知識を提供して、社会状況を改善 する (ロッシら、2004､第１章より) プログラム評価とは（３） より具体的には、評価担当者が社会調査の方法を用いて、プロ グラムのすべての重要な側面から、社会的介入プログラムを研究 し、査定し、改善を援助するもの プログラムの重要な側面とは、 プログラムが対象とする社会問題を診断する（ニーズ評価） プログラムの設計や概念化（プログラム理論評価） その実施や管理（プロセス評価） アウトカム（インパクト評価） 効率性（効率評価） などを含んでいる (Rossiら、2004、第１章より) 何のためにプログラム評価を行うのか 有意義なプログラムと効果のないプログラムを区別する とともに、望ましい結果を実現するために新しいプログラ ムを開始し、既存のプログラムを改訂するため 社会的介入プログラム(social intervention program)： 社会問題や社会状況を改善するために設計された、組 織的で計画された通常は継続的な取り組み プログラムゴールとプログラム単位 プログラムゴール：改善すべき社会問題や社会状況 プログラム単位：ゴールを達成するのに有効な、組織的 で計画された取り組みの単位（構造･機能･プロセス） ロッシら(2004)が対象とするプログラム 本文中の全111件のExhibits(例示)のうち プログラム評価の実例紹介： 68件(100%) 対人サービスに関する例示: 63件(93%) 福祉サービスに関する例示: 48件(71%) 保健サービスに関する例示: 18件(27%) 精神保健福祉サービスに関する例示: 26件(38%) ※分野別の分類に重複あり。 「保健サービス」は狭義のものに限定。 表 ロッシらテキストの論文引用件数と発表年 論文発表年 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 全体 SSC I S S C I+S C I+A & H C I テキストの版 第１版 13 15 14 18 16 13 18 19 12 21 15 21 22 18 26 39 53 39 26 26 43 41 42 33 44 24 671 注：Web of Science、2005.9.24検索 14 15 15 18 16 14 19 21 12 25 15 21 23 20 27 41 58 43 27 30 50 45 44 38 49 25 725 第２版 第３版 第４版 第５版 第６版 第７版 ロッシらテキストのインパクト 引用雑誌の領域： 社会科学一般 公衆衛生 ソーシャルワーク 保健政策・サービス 教育 146件 119件 55件 55件 44件 注：SSCI引用件数 n=671（2005.9.24) 初版から第７版までのいずれかを引用 章構成の変遷 ロッシら「プログラム評価の理論と方法 ～システマティックな対人サービス・政策評価の実践ガイド」（日本評論社1 0 月刊）目次 １章 プログラム評価の概要 ２章 プログラム評価をあつらえる ３章 課題を同定し、評価クエスチョンを形成する ４章 プログラムに対するニーズをアセスメントする ５章 プログラム理論の明示とアセスメント ６章 プログラムプロセスをモニターし、アセスメントする ⇒プログラム評価の社会的位置づけ プログラム評価の企画・デザイン ⇒ニーズ評価 ⇒ﾌﾟﾛｸﾞﾗﾑ理論の評価 ⇒企画・デザイン ⇒プロセス評価 ７章 プログラムアウトカムの測定とモニタリング ８章 プログラムインパクトのアセスメント～無作為化フィー ルド実験法 ９章 プログラムインパクトのアセスメント～代替的デザイン アウトカム評価（インパクト評価） 10章 プログラム効果の検出、解釈、および分析 11章 効率性の測定 12章 プログラム評価の社会的文脈 ⇒効率性評価 ⇒プログラム評価の社会的位置づけ R ossiP H ,et al(2004).Evaluation:A system atic approach,7th edition,S A G E. プログラム評価の種類 (1)プログラムの必要性（ニーズ評価; needs assessment) ニーズを確定し、あるいは確認するための評価 (2)プログラム理論の評価（セオリー評価; assessment of program theory) プログラムの設計・デザインの評価 (3)プログラムの実施とサービス提供 (プロセス評価;process assessment） プログラムを実施し管理する過程の評価 (4)プログラムの影響と効果(影響評価; impact assessment、 アウトカム評価; outcome assessment) サービス提供によって発生した成果､効果の評価 (5)プログラムの効率(効率評価; efficiency assessment) 表 ロッシら「プログラム評価～システマティックアプローチ」の改訂プロセス 章の内容 1版(1979) 2版(1982) 3版(1985) 4版(1989) 5版(1993) 6版(1999) 7版(2004) A 5版､335p A 5版､351p A 5版､423p A 5版､496p B 5版､487p B 5版､499p B 5版､469p 総説・概要 38p 36p 46p 54p 51p 34p 30p テーラリング(Tailoring) 28p 38p 44p 54p 58p 40p 36p 課題同定と評価クエスチョン形成 - - - - - 40p 34p ニーズアセスメント(社会診断) 40p 34p 36p 46p 48p 36p 32p プログラム理論評価 - - - - - 36p 33p プロセス評価モニタリング 38p 42p 46p 58p 52p 44p 30p プログラムアウトカムの測定／その戦略 30p 30p 44p 46p 46p 44p 30p プログラムインパクト： 無作為化フィー ルド実験法 46p 50p 36p 38p 36p 30p 32p 36p 34p 36p 30p 22p - プログラムインパクト： 準実験法 16p 22p 56p 66p フルカバープログラムのアセスメント プログラム効果の検出・解釈・分析 - - - - - - 30p 効率性の測定 42p 32p 36p 42p 40p 32p 38p プログラム評価の社会的文脈 28p 32p 44p 52p 53p 44p 54p 表 ロッシら「プログラム評価～システマティックアプローチ」の改訂プロセス 章の内容 1版(1979) 2版(1982) 3版(1985) 4版(1989) 5版(1993) 6版(1999) 7版(2004) 総説・概要 ○ ○ ○ ○ ○ ○ ○ テーラリング(T ailoring) ○ ○ ○ ○ ○ ○ ○ 課題同定と評価クエスチョン形成 - - - - - ○ ○ ニーズアセスメント(社会診断) ○ ○ ○ ○ ○ ○ ○ プログラム理論評価 - - - - - ○ ○ プロセス評価モニタリング ○ ○ ○ ○ ○ ○ ○ プログラムアウトカムの測定／その戦略 ○ ○ ○ ○ ○ ○ ○ プログラムインパクト： 無作為化フィー ルド実験法 ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ - プログラムインパクト： 準実験法 ○ ○ ○ ○ フルカバープログラムのアセスメント プログラム効果の検出・解釈・分析 - - - - - - ○ 効率性の測定 ○ ○ ○ ○ ○ ○ ○ プログラム評価の社会的文脈 ○ ○ ○ ○ ○ ○ ○ ロッシらテキストの改訂プロセス を検討する際の注目点 １) プログラムのデザイン、プログラム理論 ２) プログラム評価に関わる社会関係 ３) プログラム効果の評価方法 プログラムデザイン、 プログラム理論の位置づけの変遷 主なキー概念の変遷(1 ): プログラムデザイン、プログラム理論に関するもの 1版(1979) 2版(1982) 3版(1985) 4版(1989) 5版(1993) 6版(1999) 7版(2004) Evaluability assessm ent - ○ ○ ○ ○ ○ ○ C onceptualization and design analyses - ○ ○ ○ ○ - - Im pact m odel ○ ○ ○ ○ ○ - - - - C ausal/intervention/action hypothesis △(本文中) △(本文中) △(本文中) △(本文中) △(本文中) A ssessm ent of program theory - - - - △(索引) ○ ○ Im plem entation/theory failure - - - - - ○ ○ A rticulated/im plicit program theory - - - - - ○ ○ B lack box evaluation - - - - - ○ ○ Im pact theory - - - - - ○ ○ P rocess theory - - - - - ○ ○ プログラム理論とは 社会的介入プログラムが、その期待される社会的便益に影響す ると思われる影響の因果関連や、プログラムがその目的や目標を 達成するために採用している戦略や戦術に関する一連の仮説群。 ○プログラム理論の３要素 ・プログラムの結果･効果に関わる因果関係を明らかにする （インパクト理論） ⇒ブラックボックス型評価の欠点を補う、ロジックモデル構築 ・プログラム構造に関する規定（プロセス理論） ①組織計画(Organizational plan) ②サービス利用計画(Service utilization plan) ○理論上の失敗（Theory failure）と 実施上の失敗(Implementation failure) インパクト理論 【まとめ】プログラムデザイン、 プログラム理論の位置づけの変遷 ロッシらのテキストでは1993年に発行された第５ 版の索引でプログラム理論が登場 第５版までプログラム理論に代わる概念として impact modelが用いられ、３種類の仮説が示さ れる。しかし、その説明はごくわずか ６版以降１つの章を起こしているのとは対照的 近年のプログラム評価の動向としては、プログラ ムの企画、デザインを重視し、その中心にプログ ラム理論の構築を位置づけている 評価者-利害関係者関係の 位置づけの変遷 主なキー概念の変遷(2): プログラム評価の社会関係に関わるもの 1版(1979) 2版(1982) 3版(1985) 4版(1989) 5版(1993) 6版(1999) 7版(2004) Stakeholders △(本文中) △(索引) △(索引) △(索引) ○ ○ ○ Evaluation sponsor △(本文中) △(本文中) △(本文中) △(本文中) △(本文中) ○ ○ Reputability assessment - - - ○ ○ - - Independent evaluation - - - - - ○ ○ Participatory or collaborative evaluation - - - △(本文中) △(本文中) ○ ○ Empowerment evaluation - - - - - ○ ○ プログラム評価に関与する人たち ○評価者（evaluators） ○プログラムスポンサー(program sponsor) ○評価スポンサー(evaluation sponsor) ○ステークホルダー（stakeholders；利害関係者たち） プログラムの成否に特別な関心を持つ個人､集団､組 織：スポンサー、政策立案者、政策管理者、 プログラム実施者、プログラム受益者・家族、 その他の利害関係者 評価者－利害関係者関係からみた プログラム評価の類型 独立評価： 評価者は、評価計画を立て、評価を実施し、結果を伝 えることにおいて、主たる責任を負う。 参加型・協働型評価：評価者および１つ以上の利害関係者集団の 代表者がチームをつくり、チームプロジェクトとして組織される。 参加する利害関係者は、評価の計画、実行、分析に直接的に関 与し、評価者は、チームリーダーやコンサルタントから、必要なとき にだけ呼ばれる人という幅広い役割を担い、協働的に作業する。 エンパワーメント評価：利害関係者の主導権、権利擁護、自己決 定を強調する視点を発展させてきた方法。評価者－利害関係者 関係は、参加型かつ協働型である。加えて、評価者の役割にはコ ンサルタントやファシリテーターの役割も含まれ、評価者は参加す る利害関係者が自身で評価を行える力、権利擁護や変革のため に評価結果を効果的に使える力、彼らの生活に影響を及ぼすプロ グラムに対してなんらかのコントロール感を開発する。 【まとめ】評価者-利害関係者関係の 位置づけの変遷 第６版以降に、独立評価、参加型・協働型評価、エンパ ワーメント評価という評価者と利害関係者の関係性に関 わる評価分類がキーコンセプトに出現。 「利害関係者」は、初版でも本文中に記述はあるが、索 引用語になっていない 第２版以降、「利害関係者」が索引用語となり、第５版以 降でキーコンセプトに位置づけられる 評価者-利害関係者関係の位置づけを評価活動の重要 な側面に位置づけることが近年の動向 対人サービス領域のプログラム評価では特に重要 プログラム効果の評価方法の 位置づけの変遷 主なキー概念の変遷(3 ): プログラム効果の評価方法に関わるもの 1版(1979) 2版(1982) 3版(1985) 4版(1989) 5版(1993) 6版(1999) 7版(2004) P artial and full coverage - ○ ○ statistical controls ○ ○ ○ ○ ○ ○ ○ R egression-discontinuity design - - - ○ ○ ○ ○ R eflexive controls ○ ○ ○ ○ ○ ○ ○ Tim e-series analyses △(本文中) ○ ○ ○ ○ ○ ○ G eneric controls △(本文中) ○ ○ ○ ○ ○ - S hadow controls △(本文中) ○ ○ ○ ○ ○ - M eta-analysis - - - ○ ○ △(タイトル) ○ Effect size statistic - - - - - - ○ O dds ratio - - - - - - ○ △(タイトル) △(タイトル) △(タイトル) - 【まとめ】インパクト評価の 位置づけの推移 「科学的な厳密性」と「実践的な制約」のバランスに配慮す るインパクト評価から、まずはランダム化比較試験（RCT） の可能性を追求するインパクト評価へ ランダム化比較試験(RCT)の蓄積（メタ分析等）が、科学的 根拠に基づく実践(EBP)の基盤になるという認識へ変化 RCTが難しい状況でも、準実験デザインを用いたインパクト 評価が推奨される 単純前後比較デザイン（⊂フルカバーデザイン）は、 ７版で はアウトカムモニタリングの位置づけに後退する フルカバーデザイン、シャドーコントロール法（判断に基づく 振り返り評価）、全体統計比較法は７版では記述がなくなる プログラム評価発展の歴史と現状のまとめ ロッシらテキスト初版の出版後約25年のうちに、プログ ラム評価の用語や視点が整理され、アプローチの枠 組みも明確になった 最近20～30年のプログラム評価論の発展の中心に、 ①プログラムのデザイン・プログラム理論、② 評価に 関わる社会関係、中でも評価者-利害関係者関係、 ③プログラム効果の評価方法がある プログラム評価が、より科学的、体系的になり、かつそ の社会調整機能を向上させて、社会的地位を高めて きたように思われる 厚生労働省 「精神障害者退院促進支援事業」 の検証 平成17年度予算 地域生活支援センター などの地域機関 精神科病院 マンツーマンの支援 関係づくりの事前面接 Pt 退院後フォロー Pt Pt Pt Pt 自立支援員（支援職員) 調整 外出支援 退院準備支援 Pt 対象者 ・社会的理由の入院 ・長期入院が予想される ・主治医の推薦 ・本人が希望、同意 退院促進支援事業の概要 グループホーム など生活の場 作業所など 活動の場 自立促進支援協議会 （地域の精神保健・福祉・医療関係 機関から構成： 機関長と実務担当者の会） ・対象者の決定 ・自立支援計画の作成 ・訓練の進捗状況の把握など 単身アパート16人 GH社復施設22人 退院51人(53%) 家族10人 支援対象者 97人 その他3人 再入院 13人26% 支援期間：対象者１人当り8.9ヶ月 (Max 2年３ヶ月/Min 1ヶ月) うち入院継続7人 退院／事業終了時 退院促進事業の援助経過と成果 （大阪府の試行事業 H12-14）(鹿野勉ら) 「退院促進支援事業」を評価すると １. 事業のプラス評価 地域の関係機関･行政関係者が長期入院問題に関わ ることができた 直接サービスがともなうケアマネジメントの導入 医療関係者と地域関係者のコンセンサス作りをし ながら進めることのできるプログラム 全国的に、意欲的に取り組まれつつある 退院が確かに促進されている（その程度は？ ） 「退院促進事業」を評価すると（２） 課題１：プログラムモデルの構築 プログラムを必要としている人の特定がされておらず、主治 医による恣意的な運用がされている プログラムのインパクト理論が明確でなく、退院を実現する 援助をすればよいのか、その後の良い地域生活の実現を 目指しているのかが関係者の間で共有されてない 既知の、科学的根拠に基づく「効果的援助要素」が取り入 れられていない（ケースロード、多職種アプローチなど） プログラムのプロセス理論（組織計画、サービス利用計画） が明確になっておらず、時に現場に混乱が生じる 「退院促進事業」を評価すると（３） 課題２：アウトカムの評価 ・科学的なアウトカム評価が行われていない ・退院率は測定されるが、再入院防止、地域定着期 間の増加、ＱＯＬの向上、満足度の向上などの効 果が明らかでない ・退院は、アウトカム指標になるのか（サービス自 体、あるいは直接のoutputではないか） 「退院促進事業」を評価すると（４） 課題３：プログラム評価に関わる社会関係 ・プログラムの利害関係者(stakeholders)の それぞれの役割が不明確 ・評価者が位置付いていない ・プログラムのミッション、哲学・理念が関 係者の間で共有されていない システマティックなプログラム 評価法が導入されると..... 効果のあるプログラムモデルの構築が目指され、その対 象者（ターゲット）が明確にされる プログラム理論が明確化され、それに基づいて利害関 係者との調整が可能になる 科学的な効果評価の行うことができる環境が整い、プロ グラムの普及・定着が可能になる ⇒新規プログラムの開発に、システマティックなプログラ ム評価を活用する意義 対人サービス領域のプログラム評価の課題 対人サービス領域には、介護保険レベルの大規模なプログラ ムから、個別分野の試行的事業、自治体単独事業など小規模 な個別プログラムまで、数多くのプログラムが存在する そのプログラムの多くが、実証的な根拠が不明確なまま、行政 主導で創設されている プログラム効果の検証は一部で行われているが、それが社会 システムとしては位置付かない 既存プログラムの見直しは、科学的実証的なプログラム評価 の方法を用いて行われることが少ない 何のためにプログラム（評価）を行うのか 有意義なプログラムと効果のないプログラムを区別する とともに、望ましい結果を実現するために新しいプログラ ムを開始し、既存のプログラムを改訂するため 社会的介入プログラム(social intervention program)： 社会問題や社会状況を改善するために設計された、組 織的で計画された通常は継続的な取り組み 「地域生活支援プログラム」のゴールとプログラム単位 プログラムゴール：改善すべき社会問題や社会状況 プログラム単位：ゴールを達成するのに有効な、組織的 で計画された取り組みの単位（構造･機能･プロセス） ⇒そのプログラム単位が、どのように定義されるか 「地域生活支援プログラム」評価の課題 プログラム評価では、まずプログラム単位の明確化が必要： ある特定の問題解決のために有効な、組織的で計画された取り組み をどのように構築しているのか、まず「プログラム」の輪郭を明らかにする 必要 プログラムゴールの明確化： 改善すべき社会問題や社会状況が何なのか、プログラムを提供すべき標 的集団がどのような状況にあるのか、を明らかにする必要 改善すべき社会問題・社会状況の改善が、アウトカムの指標になる 効果的なプログラムを設計をする上でプログラム理論を活用： より効果的で、問題解決の改善に有効なプログラムモデルを設 計・構築するためには、プログラム理論の活用が重要 研究者の関与について 対人サービス領域のプログラム評価の課題 対人サービス領域のプログラムは、常に実践の検 証を経ながらより良いプログラムに置き換わって行く ことが必要であり、またそれが可能な領域 より良い対人サービスプログラムを、科学的に発展 させていくために、日本でも、プログラム評価が主要 な役割を果たす必要がある ありがとうございました！ 大島巌（おおしまいわお） [email protected] http://ioshima.com/ Rossi P, et al (2004). Evaluation: A systematic approach. 7th edition. Sage Publications （大島､ 平岡ら監訳、プログラム評価の理論と方法～ システマティックな対人サービス・政策評価の 実践ガイド. 日本評論社、2005）
© Copyright 2024 ExpyDoc
