Developmental Evaluation: Was bedeutet die Evaluation

Developmental Evaluation:
Was bedeutet die Evaluation von
Innovationen in komplexen, dynamischen
Umfeldern für das Bewerten?
Transdisziplinäres Kolloquium
Zwischen Objektivität und Normativität:
Wie kommt die Evaluation zu(m) Werten?
1
Dr. Maria Gutknecht-Gmeiner
3.12.2013,
Justus-Liebig-Universität Gießen!
Developmental Evaluation und (Be)Werte(n)
Was Sie heute erwartet...
◼  Beispiel
◼  DE
– was ist das? (in aller Kürze)
◼  DE
& Werten
◼  Wozu?
Für/an wen?
◼  Wer?
◼  Auf
der Basis welcher Werte?
◼  Nach
◼  Fazit
2
welchen Kriterien?
und Diskussion
Developmental Evaluation und (Be)Werte(n)
„Technik zu den Mädchen bringen“
CSM/KoMD
Technische Ausbildung an „Mädchenschule“
3
Developmental Evaluation und (Be)Werte(n)
Ausbildungsschwerpunkt CSM/KoMD
Fern von
Lehrplan NEU
sozial
kompliziert
Beziehungen pflegen,
eine gemeinsame
Basis aufbauen
Nahe zu
Übereinstimmung
Schultypen
Systemmerkmal
Einfach
Technisch kompliziert
Planen, kontrollieren
Experimentieren, Expertise koordinieren
Nahe zu
4
Zielgruppe
Developmental Evaluation und (Be)Werte(n)
Gewissheit
Zone der
Komplexität
OE & PE
Einzigartiges
Curriculum
Neuartige
Kooperationen
Fern von
Developmental Evaluation (Patton) ist ...
Evaluation und zwar
nutzungsorientiert (UFE) und entwicklungsorientiert
◼  Gegenstand
◼  Programm
(Programm) ist komplex.
ist noch nicht ausdefiniert.
◼  Evaluationszweck
ist (Weiter)Entwicklung des
Programms.
Innovative Projekte
Bereitschaft der Zusammenarbeit mit Evaluation
5
Developmental Evaluation und (Be)Werte(n)
Wozu? Für/an wen?
Entwicklungen unterstützen
Programmumsetzende als „intended users“
◼  Handlungsrelevanz
von „Bewertungen“
◼  Handlungsentscheidungen
◼  Rechtzeitig/zeitnah
◼  Konkret
und im Detail
◼  Priorisierung
◼  Evolutiv,
formativ
◼  Summativ
6
(Synthese ?)
Developmental Evaluation und (Be)Werte(n)
unterstützend
Wer?
!"#$%&'()*((
+,-./%01%2&(
34,50#"/-(
!"#$%&'()%*+,
!"#$%&'()%*+,%+"#-(.+&,+"#/)#*)+,#,0*.'*.,
12#(3#"'*,0*'2.)%+,)#"#,"',.)%/".4.%),+"#$%&'()%*+,
75(%*89'0&#:,
!"#$%,
12#(3#"'*,0*'2.)%+,)#"#,4'*,3+%,-5,-*'#),#3).%/6%+,
;*'/-#6&8<%.++,
12#(3#"'*,=3.)%+,+"#$%&'()%*+,-5,%+"#-(.+&./=,#,4*#:%>'*$,
4'*,2#(3./=,
?($./,
,
@%""%*:#/89#""'/,
,
;'3+./+8A./=,
!"#$%&'()%*+,
#/),%2#(3#"'*,
12#(3#"'*,,
12#(3#"'*,=3.)%+,+"#$%&'()%*+,-5,=3.)./=,"&%,2#(3./=,
0*'6%++,."%*#".2%(5,
12#(3#"'*,0#*".6.0#"%+,>."&,+"#$%&'()%*+,./,2#(3./=,
12#(3#"'*,2#(3./=,+"*'/=(5,-#+%),'/,"&%,0*':'".'/,'4,
%2#(3#"'*,2#(3%+,B%C=C,:'*#(+D,
12#(3#"'*,2#(3./=,-#+%),30'/,%2#(3#".'/,%E0%*".+%,
12#(3#"'*,2#(3./=,-#+%),0*.:#*.(5,'/,0*'=*#:,%E0%*".+%,
12#(3#"'*,2#(3./=,-#+%),30'/,+6.%/".4.6,#00*#.+#(,
,
7
F'3+%,
!6*.2%/,
1.+/%*,
G'*36&8;''$,
Typology of Evaluator Valuing Roles (Alkin/Vo/Christie 2012, 33)
Developmental Evaluation und (Be)Werte(n)
Auf der Basis welcher Werte?
Programm/Programmumsetzende
Zielgruppen und andere Stakeholder
Evaluator/in
8
Developmental Evaluation und (Be)Werte(n)
Auf der Basis welcher Werte?
Programm/Programmumsetzende
◼  Many
social innovators are driven more by values than
by specifiable outcomes.
◼  They
aren’t necessarily sure what SMART (specific,
measurable, attainable, realistic, timely) goals are, nor
do they particularly care, and they aren’t very explicit in
advance about what outcomes can be attained,
◼  but
they are sure about what values will drive their
efforts.
(Patton 2010, 246)
9
Developmental Evaluation und (Be)Werte(n)
Auf der Basis welcher Werte?
Zielgruppen und andere Stakeholder
◼  Sehr
wichtig
◼  Bewertungen
eingeholt und berücksichtigt
Merit or Worth? -- Beides!
10
Developmental Evaluation und (Be)Werte(n)
Auf der Basis welcher Werte?
Werte der Evaluatorin/des Evaluators?
◼  “Confluence
of interest” (Stake 2004)
◼  We
don’t have to pretend neutrality
about the problems programs are attacking
to do fair, balanced, and neutral evaluations of those
programs. […]
I want to see prevention programs work.
That means I am motivated to hold staff feet to the fire
of evaluation to assure that the program works.
(Patton 2008)
11
Developmental Evaluation und (Be)Werte(n)
Auf der Basis welcher Werte?
Glaubwürdigkeit der Evaluatorin/des Evaluators?
◼  Standards
für Evaluation
◼  Genauigkeitsstandards
◼  Nachvollziehbarkeit,
◼  Selbstreflexion
◼  Ethik
12
Developmental Evaluation und (Be)Werte(n)
Transparenz
Wie Veränderungen bewirken?
Top down
Verbreitung und Implementierung von Best Practice
Adaptives Management
Developmental Evaluation
Bottom up
Selbstinitiierte Innovation durch Betroffene/Beteiligte
13
Developmental Evaluation und (Be)Werte(n)
Wie Veränderungen evaluieren?
Top down
Verbreitung und Implementierung von Best Practice
Theory-driven evaluation, Impact Evaluation,
standardisierte M&E-Verfahren
Adaptives Management
Developmental Evaluation
(Realistic Evaluation)
Bottom up
Selbstinitiierte Innovation durch Betroffene/Beteiligte
Participatory Evaluation, Empowerment Evaluation, Transformative Evaluation,
(feministische Evaluation), Aktionsforschung
14
Developmental Evaluation und (Be)Werte(n)
Nach welchen Kriterien?
◼  Gesamtprogramm
◼  Konkrete
„unvergleichbar“
Ziele und Kriterien emergent
◼  Entwickeln
sich mit/aus dem Programm
◼  Aber
auch forschungsgeleitet,
im Vergleich mit anderen Programmen etc.
◼  Teile
15
des Programms durchaus vergleichbar
Developmental Evaluation und (Be)Werte(n)
Danke für Ihre Aufmerksamkeit!
Dr. Maria Gutknecht-Gmeiner
IMPULSE
Evaluation und Organisationsberatung
[email protected]
www.impulse.at
16
Developmental Evaluation und (Be)Werte(n)

Download Report