„Was nützt Jugendarbeit eigentlich?“ Eine Einführung in die

„Was nützt Jugendarbeit eigentlich?“
Eine Einführung in die Evaluation von
(Nonprofit-) Organisationen und Projekten
der Jugendarbeit
Mag. Olivia Rauscher
NPO & SE Kompetenzzentrum, WU Wien
Definitionen
 „Im wissenschaftlichen Sprachgebrauch wird von Evaluation
gesprochen, wenn spezifische Sachverhalte in einem
objektivierten Verfahren und nach explizit auf den
Sachverhalt bezogenen und begründeten Kriterien durch
Personen bewertet werden, die zu dieser Bewertung in
besonderer Weise befähigt sind“ (Kromrey, 2001).
 „Evaluation research is the systematic application of social
research procedures in assessing the conceptualization
and design, implementation, and utility of social
intervention programms“ (Rossi & Freemann, 1993).
 „Evaluation is the systematic assessment of the worth or
merit of an object“ (Joint Committee 1994).
Evaluation = systematische Bewertung eines
Sachverhalts anhand festgelegter Kriterien (mithilfe
sozialwissenschaftlicher Forschungsmethoden)
2
Dimensionen der Evaluation
 Was: Projekte, Maßnahmen, Organisationen, Reformen
Was?
z.B. Außerschulische Jugendbildung, Jugendarbeit in Sport u. Spiel,
Jugendberatung, arbeitswelt-, schul- u. familienbezogene Jugendarbeit …
 Warum: um Steuerungsentscheidungen treffen zu können,
um Programme verbessern zu können (Defizite erkennen),
um Wirkungen belegen zu können (Erfolg/Misserfolg)…
 Wann: zu Beginn des Programms, laufend, nach Abschluss
des Programms
 Wer: befähigte Personen
z.B. ExpertInnen, Mitwirkende, Personen aus anderen Einrichtungen,
„Betroffene“,…
 Wo: im Projektteam, in der Organisation/Institution, in
einem externen Forschungsinstitut…
 Wie: nach einem objektiviertem Verfahren
(Evaluationsdesign)
Warum?
Wann?
Wer?
Wo?
Wie?
3
Haupttypen von Evaluationsstudien
Was?
 Bedarfsanalyse
Warum?
 Evaluation der Programmkonzeption
 Prozessevaluation
 Wirkungsanalyse
Wann?
Wer?
Wo?
Wie?
4
Prozessevaluation
Was?
 Begleitforschung oder Monitoring als laufende
Interventionskontrolle
Informationen über Programmverlauf und ProgrammErgebnisse sammeln, bewerten und rückspeisen
Hilfe bei Steuerungsentscheidungen
durch frühzeitige Korrekturmöglichkeiten können
Veränderungen im Programmdesign vorgenommen
werden
beratende u. programmgestaltende Funktion
(Qualitätssicherung)
5
Beispiel Prozessevaluation „Herz-KreislaufErkrankungen bei Jugendlichen“
Was?
 Zielgruppe: Jugendliche mit erhöhtem Risiko für kardiovaskuläre Erkrankungen
 Ziel der Intervention: durch struktur- oder verhaltensändernde
Projekte das Risiko für Herz-Kreislauf-Erkrankungen bei
Jugendlichen senken
 Fokus der Evaluation: Darstellung des Ressourcenaufwandes
pro Projekt, Wahrnehmung unterschiedlicher Stakeholder,
Zufriedenheit der Jugendlichen, Feedback des Kernteams,
getroffene Steuerungsentscheidungen und deren Auswirkungen
abbilden
 Methoden: Zeiterfassungslisten, Dokumentenanalyse (Protokolle,
Kurzberichte), Leitfadeninterviews mit Stakeholdern, Fragebogen
an Jugendliche, Onlinebefragung der MitarbeiterInnen,
Reflexionsworkshops
 Ergebnis der Evaluation: durch kontinuierliches Rückspielen der
Ergebnisse Steuerungsentscheidungen erleichtern -> Ergebnisse
in Halbjahresberichten präsentiert
6
Wirkungsanalyse
 Durch das Programm entfaltete Wirkungen identifizieren,
messen und ev. bewerten (z.B. monetarisieren)
Was?
 Beabsichtigte Wirkungen werden bereits in Programmtheorie
festgelegt
 Wirkungen werden meist stakeholderspezifisch betrachtet
 Erfolgskontrolle nach definierten Kriterien (Effektivität,
Effizienz, Akzeptanz)
 Messung der Wirkungen kann methodisch sehr anspruchsvoll
sein -> Kausalität
 Aktuell viele verschiedene Methoden zur Messung des „Social
Impacts“, aber keine Standardisierungen
 Wird (noch) primär zu Legitimationszwecken eingesetzt
7
Was sind Wirkungen?
Was?
 Wirkungen bezeichnen jene (positiven und/oder
negativen) Veränderungen die an Begünstigten bzw.
Betroffenen einer Intervention (z.B. Menschen,
Gruppen, Gesellschaft) oder der Umwelt festzustellen
sind, nachdem eine Intervention stattgefunden hat.
 Wirkungen können auf unterschiedlichen Ebenen
betrachtet werden (zeitlich, strukturell und inhaltlich) siehe Wirkungsbox
 Wirkungen sind stakeholderspezifisch unterschiedlich
zu messen, zu analysieren und zu bewerten
 Wirkungen können in Brutto-Wirkungen (Outcome)
und Netto-Wirkungen (Impact) eingeteilt werden
SEITE 8
FUßZEILE
Logisches Modell/ Wirkungskette
Was?
9
Wirkungsbox
Was?
SROI – die Grundlegende Logik
Beispiel Identifizierung der Stakeholder
„Gesellschaft“
Herkunftsfamilien
Betreute
Kinder u.
Jugendliche
MitarbeiterInnen
LieferantInnen
Unternehmen
Arbeitsamt
Casa
Abraham
Kindergärten
Sozialversicherung
Staatl. Kinder- u.
Jugendheime
Staat
Andere
Berufsschulen
Concordia
Essl
Foundation
Polizei
Auszug aus einer Impact Value
Chain – „Casa Abraham“
Stakeholder
Input
Aktivität
Output
Outcome
Deadweight
Wille zur
Veränderung,
Akzeptanz der
Strukturen
Unterkunft u. Versorgung
bereitstellen, Ausbildung,
familiäres soziales Netz,
Unterstützung bei Jobsuche,
Wiedereingliederung in die
Gesellschaft (Akzeptanz von
Normen, Vermitteln von
Werten…)
Anzahl an in die
Gesellschaft
integrierten Kinder
u. Jugendlichen
Unterkunft und Versorgung,
Ausbildung, Integration auf
dem Arbeitsmarkt, familiäres
soziales Netz u. psychische
Stabilisierung, Bessere
physische Gesundheit, aktive
Freizeitgestaltung, Qualität
der Kinderbetreuung
(Kindergarten)
Anzahl der Kinder u.
Jugendlichen, die aus
eigener Kraft od. durch
andere Institutionen die
Rückkehr in ein
konventionelles Leben
geschafft hätten.
MitarbeiterInnen
Zeit,
Fähigkeiten
Arbeitsplatz bereitstellen,
Weiterbildung anbieten
Anzahl an bezahlten
Arbeitsstunden,
Anzahl an gebotenen
Weiterbildungen
Feste Beschäftigung u. fixes
Einkommen, Erweiterter
Kompetenzen und Know-how
Gewinn
Möglichkeit eines
Alternativjobs in einem
anderen Projekt/ Betrieb
LieferantInnen
Produkte und
Dienstleistungen
Bezug von Produkten u.
Dienstleistungen, um den
Betrieb der CA zu
ermöglichen
Anzahl an gelieferten Zusätzliche Aufträge
Produkten und DL
Betreute
Kinder
und
Jugendliche
Aufträge von anderen
Organisationen/ Firmen
Festsetzen von Indikatoren –„Casa
Abraham“
Stakeholder
Outcome
Unterkunft und Versorgung
Ausbildung
Betreute Kinderund Jugendliche
Integration auf dem Arbeitsmarkt
Familiäres soziales Netz und psychische
Stabilisierung
Bessere physische Gesundheit
Aktive Freizeitgestaltung
Qualität der Kinderbetreuung
MitarbeiterInnen
Feste Beschäftigung u. fixes Einkommen,
Erweiterte Kompetenzen u. Know-how
Gewinn
Indikatoren/ Proxies
Kosten für Ein-Zimmer-Wohnung in
Bukarest und Lebenserhaltungskosten
der CA
Proxy: Differenz des Mindestlohns zum
Durchschnittsgehalt der jeweiligen
Berufe (aufgerechnet auf das
durchschnittl. Pensionsalter)
Proxy: Anzahl der Jugendlichen mit Job
und Höhe des Mindestlohns
(aufgerechnet auf das durchschnittl.
Pensionsalter)
Nur zum Teil ökonomisch bewertbar.
Proxy: Kosten für Psychotherapie, um
soziale und emotionale Kompetenzen zu
erhalten
Proxy: Ausgaben der
Gesundheitsversorgung je Einwohner
Kosten für Musikstunde und Sportverein
Proxy: Differenz der Kosten zwischen
privatem und staatl. Kindergarten
Anzahl der MitarbeiterInnen und Höhe
des zusätzl. Einkommens sowie Kosten
für Weiterbildung
Der ermittelte Social Return on
Investment – „Casa Abraham“
Jeder in die Casa Abraham investierte Euro schafft Wirkungen im monetarisierten
Gegenwert von 3,47 Euro.
Sensitivitätsberechnungen können die Auswirkung von Variationen bei einzelnen
Parametern auf das Gesamtergebnis abrunden. => Z.B. ein/e zusätzliche/r
Jugendliche/r mehr bedeutet ceteris paribus einen höheren SROI-Wert von 0,2
Investitionen 2010
174.775 €
Profite 2010
606.405 €
SROI gesamt
3,47
Funktionen der Evaluation
Was?
Erkenntnisfunktion
Kontrollfunktion
Warum?
Wann?
Programm/
Projekt
Wer?
Dialogfunktion
Legitimitätsfunktion
17
Stockmann 2000
Wo?
Wie?
Wann wird evaluiert?
Was?
 Formative Evaluation
 Summative Evaluation
 ex-ante,
 on-going,
 ex-post
Warum?
Wann?
Wer?
Erhebungszeitpunkte sind
davon unabhängig zu planen!
Wo?
Wie?
18
Selbst- vs. Fremdevaluation
Selbstevaluation
Fremdevaluation
Eigenes Personal = Interne
Evaluation
Außenstehende, unabhängige
ForscherInnen = Externe
Evaluation
Vorteile:
Problemloser Zugang zu
Informationen, zu jedem
Zeitpunkt vor Ort, bereits
„fachkundig“
Vorteile:
wissenschaftl. Professionalität
& Objektivität gegeben
Nachteile:
Mangelnde Professionalität,
fehlende Objektivität,
Befangenheit, mangelnder
Zugang zu Quellen
Nachteile:
Weniger Detailwissen zu
Maßnahme & Umfeld, meist
teurer, weniger ErgebnisRückkoppelung
Was?
Warum?
Wann?
Wer?
Wo?
Wie?
Zusammenfassender Überblick
Bedarfsanalyse/
Eval. der
Programmkonz.
Prozessevaluation
(Begleitforschung)
Wirkungsanalyse
Rahmen- u.
Eingangsbedingung
en untersuchen,
Erstellung eines
Programmdesigns > Input-Evaluation
Programmverlauf,
Programmergebnisse
bewerten, Kontrollu. Beratungsaufgabe
-> Prozessevaluation
Wirkungen erfassen u.
ev. bewerten,
Zusammenhänge
aufzeigen ->
Outcome-,
Nutzenevaluierung
Warum
Erkenntnisfunktion
Kontrollfunktion,
Erkenntnisfunktion,
Dialogfunktion
Dialogfunktion,
Legitimitätsfunktion
Wann
ex-ante,
(pre)formativ: aktiv
gestaltend,
prozessorientiert,
konstruktiv
on-going,
formativ/summativ:
beides möglich
ex-post, summativ:
zusammenfassend,
bilanzierend,
ergebnisorientiert
Wer20 / Wo
Selbstevaluation,
Interne Evaluation
Selbst-/Fremdeval.,
Interne/Externe
Eval.: beides möglich
Fremdevaluation,
Externe Evaluation
Was
Methoden der Evaluation
Was?
Befragung
Beobachtung
Inhaltsanalyse
Nicht-reaktive
Erhebungsmethoden
Warum?
„face-to-face“
Interview
strukturiert oder
unstrukturiert
Texte
Verhaltensspuren
Wann?
telefonisches
Interview
teilnehmend oder
nicht-teilnehmend
Bilder
Prozessproduzierte
Daten
Wer?
schriftliche
Befragung
Gruppendiskussion
offen oder
verdeckt
Wo?
Filme
Amtliche
Statistiken
Wie?
21
Vgl. Diekmann 2007
Anwendungsbereiche qualitativer
Methoden (QM) in der sozialen Arbeit
Wissenschaft
Wie?
QM als
Forschungsmethoden:
Forschung über
anonymisierte Akteure und
soziale Welten
QM als Methoden
der
Selbstbeforschung:
Selbstreflexion
22
Forschung über die
eigene Praxis
QM als Methoden
der Sozialen Arbeit:
Forschung mit
AdressatInnen
Praxis
Quelle: Völter (2008)
Beispiel 1: Qualitative Einzel- und
Gruppenbefragungen
 Evaluation der städtischen offenen Kinder- und Jugendarbeit
Ziel: Erkenntnisse zur Zufriedenheit der NutzerInnen, zur Inanspruchnahme der
Angebote und bezüglich des Verbesserungspotenzials zu gewinnen
 Methode:
 Face-to-face Interviews mit MitarbeiterInnen von acht Einrichtungen und
Jugendämter, Gruppendiskussionen mit NutzerInnen (4-6 Jugendliche, nach
Geschlecht getrennt)
 Auszug aus dem Leitfaden für MitarbeiterInnen:

1. Einzugsgebiet/Sozialraum und Kooperation / Vernetzung im Stadtteil

Wie charakterisieren Sie ihren Stadtteil? Was sind die größten Besonderheiten ihres
Stadtteils? …
2. Räumliche Ausstattung der Einrichtung

Welche Räume und Außengelände haben Sie? Wie ist die Zugänglichkeit? ….
3. Angebote und Zielgruppe der Einrichtung

Welche Angebotsschwerpunkte hat Ihre Einrichtung? Welche Zielgruppe spricht Ihre
Einrichtung an? Welche Zielgruppen erreichen Sie nicht? Warum nicht?....
4. NutzerInnen und deren Bedarfe der Einrichtung

23
Wer nutzt Ihre Einrichtung tatsächlich? Was wissen Sie über die NutzerInnen? ….
Wie?
Beispiel 2: Auszüge aus
Beobachtungsprotokollen
Wie?
Frage
Antwort
Anmerkungen
war der Lärmpegel
im
o sehr laut
WieStark
kooperativ
Raum?
o
o
o
o
unruhig
normal
ruhig
sehr ruhig
Was war auf den
Gesichtern der
Jugendlichen zu
beobachten?
…..
…..
…..
Jugendlichen insgesamt?
…...
 Eher kooperativ
 Gering kooperativ
 Nicht kooperativ
 Die Jugendlichen zeigten sich bei der Gruppenarbeit…
Wie wirkten die
…..
Stark
kooperativ
Eher
kooperativ
Gering
kooperativ
Nicht
kooperativ
Die Jugendlichen zeigten sich bei der Gruppenarbeit…
Sehr gering
Die Beteiligung der Jugendlichen an der Diskussion
ist…
Sehr hoch
Fallbeispiel 3: Bildanalyse (mit
Interviewteil)
Wie?
 Evaluation der räumlichen Gestaltung eines Kinderbereiches
 Vorgehensweise:
1. Kinder sollen Raum aus Vogelperspektive zeichnen
2. in Zeichnung an bevorzugtem Aufenthaltsort positionieren
3. Nachfrageteil mit Fragen wie „Wo hältst du dich am liebsten auf?
Was ist dort wichtig und gut?“, „An welchen Orten gibt es öfter
Streit? Worum geht es da?“, „Gibt es Orte denen du aus dem Weg
gehst?“, ….
 Zeichnung wird einem Foto vom Raum gegenübergestellt und bezüglich
Auffälligkeiten, Größenverhältnissen, Farbgestaltung etc. unter
Berücksichtigung des Gesagten von KollegInnen einer anderen Einrichtung
analysiert
 Raumgestaltung aufgrund der Ergebnisse aus Bildanalyse und Analyse des
Gesagten hinterfragen und gegebenenfalls adaptieren
25
Weiterführende Literatur

Crosby, Richard A./ DiClemente, Ralph J./ Salazar, Laura F. (2006): „Research Methods
in Health Promotion“. Jossey-Bass, San Francisco.

Diekmann, Andreas (2007): „Empirische Sozialforschung. Grundlagen, Methoden,
Anwendungen.“ Rowohlt, Reinbek.

Flick, Uwe (Hrsg.) (2006): „ Qualitative Evaluationsforschung: Konzepte - Methoden –
Umsetzungen“. Rowohlt, Reinbek.

Kromrey, Helmut (2001): „Evaluation – ein vielschichtiges Konzept. Begriff und
Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis.
Sozialwissenschaften und Berufspraxis 2001/Heft 2: 105-131.

Rossi, Peter H./ Lipsey, Mark W./ Freeman, Howard E. (2004): „ Evaluation. A
Systematic Approach“. Sage Publications, Thousand Oaks.

Stockmann, Reinhard (2000): „Evaluationsforschung. Grundlagen und Ausgewählte
Forschungsfelder“. Leske+Budrich, Opladen.

Stufflebeam, Daniel L./ Shinkfield, Anthony J. (2007): „Evaluation Theory, Models, and
Applications”. Jossey-Bass, San Francisco.

Windsor, Richard/ Clark, Noreen/ Boyd, Neal Richard/ Goodman/ Robert M. (2003):
„Evaluation of Health Promotion, Health Education, and Disease Prevention Programs“.
McGraw-Hill, New York.

Wottawa, Heinrich/ Thierau, Heike (2003): „Lehrbuch Evaluation“. Hans Huber, Bern.
26
Kompetenzzentrum für
Nonprofit Organisationen und
Social Entrepreneurship
Welthandelsplatz 1
Gebäude D1, 2. Stock
1020 Wien
Mag. Olivia RAUSCHER
T +43-1-313 36-5826
F +43-1-313 36-905826
[email protected]
www.npo.or.at

Download Report