Evaluation praktisch

Evaluation praktisch
Wie kann eine Taschengeldbörse evaluiert werden?
Abschlussworkshop des Projektes „Servicebrücken Jugend-Alter“
Düsseldorf, 01.12.2015
Ziele des Inputs

Wir erarbeiten gemeinsam Ideen für ein passendes Vorgehen zur
Evaluation einer Taschengeldbörse.

Wir berücksichtigen dabei, dass Sie mit (sehr) begrenzten Ressourcen
auskommen müssen.

Sie sind dafür sensibilisiert, eine Evaluation gut zu planen.

Sie kennen weiterführende Informationsquellen.
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
2
Der Evaluationszyklus
1. Ziele des
Projekts klären
6. Ergebnisse
verwenden
2. Zweck der
Evaluation klären
Partizipation?
5. Schlussfolgerungen
3. Fragestellungen
festlegen
4. Daten erheben
und auswerten
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
3
Partizipation
Wer stellt welche Fragen?
In jedem Projekt gibt es Personen, für die «etwas auf dem Spiel steht». Sie werden Stakeholder (Anspruchsgruppen) genannt. Oft haben sie rollentypischen Fragen, Interessen, Befürchtungen und Erwartungen an eine
Evaluation. Darunter sind …
 … jene, welche das Projekt finanzieren und über die Fortsetzung entscheiden;
 … jene, die für das Projekt auf strategischer Ebene Verantwortung tragen (z. B. Geschäftsführung des
Trägers, Projektleitung);
 … jene, die an der Umsetzung des Projekts beteiligt sind (haupt- und ehrenamtliche Mitarbeitende);
 … jene, die durch das Projekt direkt oder indirekt erreicht werden oder werden sollen bzw. die von dessen
Umsetzung betroffen sind (Zielgruppen).
Die Differenzierung ist nicht in jedem Projekt trennscharf gegeben.
 Wesentlich für eine konstruktive Haltung zur Evaluation und eine effektive Nutzung der Evaluationsergebnisse ist die Identifizierung der Stakeholder und eine den jeweiligen Ressourcen angemessene
Einbeziehung.
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
4
1. Ziele des Projekts klären
Was genau möchten Sie im Projekt
Ziele sollten auch unabhängig von einer erreichen?
Evaluation geklärt sein.

 Für eine Evaluation müssen die Ziele operationalisiert werden (messbar gemacht werden!)
 Ziele gibt es auf mehreren Ebenen: Outputs, Outcomes, Impacts
Outputs
(zählbare Leistungen)
• Was müssen Sie zur
Verfügung stellen?
• Wie viele
Jugendliche/Ältere
möchten Sie erreichen?
Outcomes
(Veränderungen bei
Personen)
• Was sollen die
Jugendlichen lernen?
• Wie sollen ältere
Menschen davon
profitieren?
Impacts
(Veränderungen in
sozialen Systemen)
• Soll die Taschengeldbörse auch
Auswirkungen auf den
Sozialraum, die Stadt
haben?
 Die Erreichung von Output-Zielen zu messen ist „mit Bordmitteln“ in der Regel leistbar.
 Bei Outcomes und Impacts wird es von Stufe zu Stufe anspruchsvoller. Die Messung der Zielerreichung
ist „mit Bordmitteln“ selten möglich.
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
5
2. Zweck der Evaluation klären
Wozu mache ich die Evaluation?
Der Zweck einer Evaluation lässt sich in der Regel einer dieser vier Kategorien zuordnen:
1. Optimierung: die Veränderung der Aktivitäten des Projekts, um bessere Ergebnisse zu erzielen
2. Rechenschaftslegung: die Legitimation über die Kosten des Projekts
3. Entscheidungsfindung: das Ermöglichen von Entscheidungen über das Projekt
4. Wissensgenerierung: generalisierbares Fachwissen über das Thema, die Zielgruppen etc. des Projekts
(häufig zusätzlich gefordert: Nutzung von Ergebnissen für die Öffentlichkeitsarbeit)
 Sie dürfen strategisch denken! Was nützt Ihnen am meisten? Wie viel können Sie leisten?
 Für eine Evaluation „mit Bordmitteln“ kommen in der Regel nur die „Optimierung/Verbesserung“ oder
die „Rechenschaftslegung“ in Betracht.
 An die Stakeholder muss klar und deutlich kommuniziert werden, welche Zwecke verfolgt werden und
vor allem auch, welche nicht verfolgt werden! (Was geht – Was geht nicht)
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
6
3. Fragestellungen festlegen
Was genau soll die Evaluation untersuchen?
Die Fragestellung bringt mein Erkenntnisinteresse auf den Punkt. Worüber konkret brauche ich datenbasierte
Informationen? Fragestellungen unterscheiden sich je nach Evaluationszweck und Erkenntnisinteresse. Fragen,
die beim Fokussieren helfen können, sind:
1. Verbesserung/Optimierung: Bezüglich welcher Aspekte bin ich mir unsicher, ob das Konzept aufgeht? Wo
hakt es?
2. Rechenschaftslegung: Wie kann ich darlegen, dass die (Finanz-)Mittel wirtschaftlich und sinnvoll eingesetzt
wurden?
3. Entscheidungsfindung: Welche Argumente überzeugen (derzeitige und/oder potentielle) Mittelgeber, das
Projekt weiter zu finanzieren?
4. Wissensgenerierung (im Sinne von neuem, generalisierbarem Fachwissen): Warum geht das Konzept auf?
Was kann man (für Folgeprojekte) daraus lernen?
 Jeder Zweck erfordert spezifische Fragestellungen und Daten (Vorsicht: hoher Aufwand!)
 Je nach Zweck/Fragestellungen werden die rollentypischen Fragen von bestimmten Stakeholdern
bedient bzw. nicht bedient. Das muss offen kommuniziert werden.
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
7
4. Daten erheben und auswerten
Welche Daten beantworten die
Fragestellungen?
Fragestellung
Ausprägung des zu untersuchenden Sachverhalts
Kann ich es
beobachten?
Kann ich es
lesen?
Kann ich es
fragen?
Kann ich es
dokumentieren?
Kann ich es
ausprobieren?
Beobachtung
Inhaltsanalyse
Befragung
Monitoring
Experiment
Auswertung: „Filtern“ des Materials in Bezug auf die Fragestellung
 Der Nutzen der Evaluation wird nicht über den Umfang oder die Komplexität der Erhebungen und
Auswertungen bestimmt, sondern darüber, wie systematisch und überlegt vorgegangen wird!
 Zu allererst sollte geprüft werden, ob vorhandene Daten genutzt werden können! Dann sollte geprüft
werden, welche Unterstützung Sie erhalten können!
 Soweit möglich sollten qualitative und quantitative Daten kombiniert werden (Triangulation).
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
8
5. Schlussfolgerungen
Am Ende leiten Werte das Handeln…
FIWE-Methode am Beispiel der Evaluationsergebnisse eines Führungskräftetrainings
Fakten
Welche Daten?
Interpretationen
Wie erklären?
Die Erwartungen der
Mitarbeitenden sind
sehr hoch.
Drei Viertel der
Mitarbeitenden ist
unzufrieden mit dem
Führungsverhalten
ihrer Vorgesetzten.
Das Trainingsprogramm ist
schlecht.
schmidt evaluation
Wertungen
Was leitet uns?
Wir sind die Besten
und wollen es
bleiben.
Empfehlungen
Was ist zu tun?
Das Programm wird
ausgeweitet.
Die Mitarbeitenden
müssen sich
anpassen.
Die Auswahl und
Beurteilung der
Mitarbeitenden wird
verändert.
Kein Staub aufwirbeln. Stabilität
hat Vorrang.
Das Programm wird
eingestellt, die
Mitarbeitenden beruhigt.
Wir wollen besser
werden.
Es wird ein neues
Programm erarbeitet.
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
9
6. Ergebnisse verwenden
Ergebnisse verwerten - strategisch denken!
Rahmenbedingung/Vorgehensweise
für Erfolg/Misserfolg ist…
…stabil
…variabel
…innerhalb unseres
Verantwortungsbereichs.
Keine bzw. langfristige
Veränderung möglich
Schnelle Veränderung möglich
…innerhalb des
Verantwortungsbereich von…
Keine bzw. langfristige
Veränderung möglich
Überzeugungsarbeit notwendig
und liegt…

Welche Akteure sollen bei der Interpretation von Ergebnissen einbezogen werden? Welche
Ansprechpartnerinnen und -partner sind dafür zuständig bzw. geeignet?

An welchen Stellen bzw. durch welche Personen werden strategische Entscheidungen getroffen, die auf
Grundlage der Ergebnisse angestrebt bzw. vermieden werden sollen?

Welche Form der Berichterstattung ist für die verfolgten Zwecke und die einzubeziehenden Personen
geeignet?
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
10
Weiterführende Literatur
Handreichungen zur Planung und Umsetzung von Evaluationen

König, J. (2000). Einführung in die Selbstevaluation. Ein Leitfaden zur Bewertung der Praxis sozialer Arbeit. Freiburg
i.Br.: Lambertus Verlag.

Beywl, Kehr, Mäder & Niestroj (2007). Evaluation Schritt für Schritt: Planung von Evaluationen. Münster: hiba
Verlag.

Kurz, B. & Kubek, D. (2013). Kursbuch Wirkung. Berlin: Phineo gAG.

Schmidt, Stefan (2016): Elemente und Aspekte im Sinne der Ergebnisqualität. In Institut für Soziale Arbeit (Hrsg.)
(im erscheinen). Qualitätsmanagement im Bereich Ehrenamt in den Frühen Hilfen. Münster.
Handreichungen speziell zur Zielklärung

Beywl, W. & Schepp-Winter, E. (1999). Zielfindung und Zielklärung – ein Leitfaden [online].

Schmidt, Stefan (2015): Die wirkungsorientierte Zielsystematik als Instrument der Evaluation und der Steuerung
von komplexen Programmen und Netzwerken. In: Giel, S./Klockgether, K./Mäder, S. (Hrsg.). Evaluationspraxis.
Professionalisierung - Ansätze - Methoden. Münster
schmidt evaluation
Evaluation praktisch: Wie kann eine Taschengeldbörse evaluiert werden?
11
Herzlichen Dank für die
Einladung!

Download Report