Effizienzbewertung in Evaluationen Barbara Winker, Bernhard Hoeper und Jens Koy, AG Effizienz des AK-Entwicklungspolitik der DeGEval Handreichung Effizienzbewertung Zielgruppe: EvaluatorInnen und Auftraggebende von Programm- oder Projektevaluationen Für „Standardevaluationen“: • 2-3 Wochen Feldaufenthalt • 30-35 Tage pro Evaluator insgesamt • 1-2 Personen im Evaluationsteam • Effizienz als eines von mehreren zu bearbeitenden Evaluationskriterien 2 Ausgangspunkte • Effizienzbegriff (OECD/DAC) • Analyseeinheiten (Strukturen, Arbeitsabläufe/Prozesse, (Teil)Projekte, Programme) • Effizienzaspekte (Implementierungs-, Produktions-, Allokationseffizienz) 3 Denkbare Untersuchungseinheiten: Prozesse, Organisationen (Strukturen) Projekte oder Programme Vergleich von mindestens zwei Alternativen? Nein Ja Nur Analyse der Kostenseite Kostenbeschreibung Kostenanalyse Analyse von Kosten und Leistungen (Output) bzw. von Kosten und Wirkungen (Outcome und Impact) Deskriptive Gegenüberstellung der Kosten und Ergebnisse (Leistungen oder Wirkungen) einer Entwicklungsmaßnahme ohne Berechnung eines eindeutigen Maßes Kostenminimierungsanalyse Identifizierung des kostengünstigeren Vorhabens bei unterstellten gleichen Leistungen/Wirkungen Kosten-Effektivitätsanalyse Berücksichtigung einer Leistung oder einer Wirkung und Vergleich von Interventionen anhand zentraler Kennzahlen (Bsp. Bildungsprojekt: Kosten pro weitergebildetem Lehrer mit bestimmter Abschlussqualifikation) Kosten-Nutzwert-Analyse Berücksichtigung mehrerer Leistungen/Wirkungen über die Berechnung eines Nutzenindex (z. B. „Qualitätsgleiche Lebensjahre“ (QALYs)) Kosten-Nutzen-Analyse Berücksichtigung mehrerer quantifizierter und monetarisierter Leistungen/Wirkungen und Berechnung eines Nettonutzens als Differenz von Nutzen und Kosten. Ermöglicht auch den Vergleich ganz unterschiedlich ausgerichteter Interventionen 4 Effizienzanalysen zwischen • Anspruch: Unterstützung des Auftrags zu einem wirtschaftlichen, sparsamen und wirkungsvollen Mitteleinsatz, von Transparenz und Rechenschaftslegung • Wirklichkeit: Wirkungsmessung, Restriktionen (Zeit, Budget, Daten, Methodik), Widerstände, ethische Gesichtspunkte Offenlegung von Annahmen und Vorgehensweisen (Werthaltung)  Vermeidung einer isolierten Betrachtung 5 Kapitel 4: Effizienzbewertung • • • • Vorarbeiten Erfassung der Kostenseite Maßstäbe: Ebenen des Vergleichs Verfahren der Effizienzbewertung 7 Vorarbeiten • TOR – spezifische Evaluationsfragen zu Effizienz nützlich? Von wem für wen? Wie genau? • Auftragsklärung: Stellenwert „Effizienz gesamt“ oder fokussiert auf Teilbereiche, Schwachstellen, Kernbereiche, Produktsparten, -linien? • Offenlegung der Kosten?! Betrachtung / Dokumentation von nichtmonetären Kosten, Eigenleistungen; [sensitive Daten: Gehälter/Steuern] • Welche Daten hat wer, wo und wie verfügbar?! Standardkontenrahmen, zuordbare Kosten, Plan : Ist, Daten aus Wirtschaftsprüfung? Daten aus Buchhaltung/ Finanzadministration.. • Fokussierung?! ..Begründungszusammenhang. Wenn ja, wo Abstriche machen? 8 Erfassung der Kostenseite • Standardvorgehen: Analyse des Budgets und der Finanzberichte • Vertiefung: „Einheitskosten/Stückkosten“ nicht nur einfach aus Büchern, „Schätzen“ gemeinsam mit Projektverantwortlichen [z.B. „ausgebildete Krankenschwester“] 9 Maßstäbe: Ebenen des Vergleichs 1.: Interner Vergleich im Projekt mit „früher“ 2.: Vergleich mit anderen Projekten / Verfahren 3.: Vergleich mit Statistiken oder Standardindikatoren 4.: Kontrafaktischer Vergleich: Wie könnte eine effizientere Situation aussehen? 10 Verfahren der Effizienzbewertung • • • • • Budgetanalyse Organisatorische Abläufe und Arbeitsweisen Expenditure Tracking Benchmarking Erhebungen über Interviews, Fragebögen… 12 Expenditure Tracking • Verfahren aus dem Bereich der öffentlichen Finanzen: Fließen die Gelder wirklich in den vorgesehenen Output? • Aufzeichnung aller Ausgaben, die für die Erbringung des Outputs durch das Projekt vorgenommen werden. • Beurteilung nach Sparsamkeitsprinzip oder/und Ergiebigkeitsprinzip 13 Benchmarking Instrument der Wettbewerbsanalyse Grundidee: • Welche Unterschiede bestehen zu anderen (vergleichbaren) Projekten und Programmen? • Warum bestehen die Unterschiede? • Was könnte von den anderen gelernt werden? • Erarbeitung von Veränderungsschritten 14 Was können wir von anderen lernen? 15 Schlussfolgerungen Effizienzanalyse • Wir können sofort mit der Effizienzbewertung beginnen • Auf der Ebene der Produktionseffizienz beginnen • Effizienzanalysen tragen zu mehr Transparenz bei: Wichtig für Rechenschaft und Lernen • Für das Lernen wichtig: Effizienz-Perspektive 16 Vielen Dank für Ihre Aufmerksamkeit 17