Service und Wissenschaft? Chancen und Möglichkeiten eines partizipativen Evaluationsansatzes Dieses Vorhaben wird aus Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen 01PL12033 gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt beim Autor. v Agenda • Projektkontext und partizipativer Evaluationsansatz • Überblick über die Schreibwerkstätten im UK • Entstehung eines Itemssets zur Messung des Fortschrittes zu Fähigkeiten im akad. Schreiben • Zentrale Rollen des Evaluationsteams - Herausforderungen und Chancen • Sicht der Projektakteure auf die Zusammenarbeit • Evaluationsbefunde und Wirksamkeit v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 1 Projektkontext und partizipativer Evaluationsansatz Überblick über das Universitätskolleg Schulprojekte (7 TP) Eigenes Wissen einschätzen (4 TP) Wissen erweitern (4 TP) Übergänge gestalten (5 TP) Studieren lernen - Akademisches Schreiben (4 TP) Studieren lernen - Akademisches Lernen (7 TP) Lenkungsgruppe Studienanfängerinnen und -anfänger begleiten (8 TP) Begleitforschung & Evaluation (3 TP) v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 2 Projektkontext und partizipativer Evaluationsansatz Überblick über das Vorgehen des TP24 • Bestimmungsstücke partizipativer Evaluationen (King, 2012): – Einbeziehung von Akteuren, die nicht über das Wissen und die technischen Fertigkeiten für Evaluationen verfügen – Akteure werden befähigt Evaluationsprozess und dessen Outcomes zu managen – Akteure bekommen Einblick in evaluative Denkweisen (Programmverbesserungen vornehmen und Verantwortung für die Evaluation übernehmen) • Projektauftrag TP24: Begleitung der verschiedenen Teilprojekte bei deren internen Evaluationen, um aussagekräftige und hilfreiche Rückmeldungen zu den Programmen zu erhalten. (Freiwilligkeit + stark serviceorientiert) v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 3 Projektkontext und partizipativer Evaluationsansatz – Notwendigkeit partizipativen Vorgehens • fördert die Nützlichkeit der Evaluationsergebnisse (Patton, 2012) • Hilft den Beteiligten, die Programme besser zu verstehen und somit zu verbessern (King, 2012) • Gibt den Akteuren Kontrolle über die Evaluation (King, 2012) • Stärkt die Selbstverantwortung der beteiligten Akteure (Patton, 1997) • Projektkontext (thematische Vielfalt der Programme, die eine vertiefte Einarbeitung in die jeweiligen Kontexte stark erschwert) v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 4 Überblick über die Schreibwerkstätten im UK • Im UK 4 Projekte zum akademischen Schreiben in den Fakultäten Rechtwissenschaft, Erziehungswissenschaft und Geisteswissenschaften • Gemeinsame Zielvorstellungen: Studienerfolg und Selbstzufriedenheit der Teilnehmerinnen und Teilnehmer wird erhöht Optimierung (Entwicklung und Ausbau) der akad. Schreibund Textkompetenzen der Teilnehmerinnen und Teilnehmer v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 5 Entstehung eines Itemssets zur Messung des Fortschrittes zu Fähigkeiten im akad. Schreiben Vorgehen im Evaluationsprozess: 1. 2. Gespräche über die Durchführung einer Evaluation In Workshops: 1. 2. 3. 4. 5. 3. 4. Ausarbeitung und Spezifizierung der Projektziele Bestimmung und Ausarbeitung der Evaluationsziele Bestimmung der Zielgruppen für die Evaluation und Beratung bei der Wahl der Evaluationsmethoden Unterstützung bei der Instrumentenentwicklung Unterstützung bei der Planung Administration der Erhebung(en) Gemeinsame Ergebnissichtung und Dateninterpretation v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 6 Entstehung eines Itemssets zur Messung des Fortschrittes zu Fähigkeiten im akad. Schreiben Es zeigen sich in den Ergebnissen 5 Komponenten: • • • • • K 1: allgemeine Schreibkompetenzen – (Cronbach´s α= ,919) K 2: Planung und Gestaltung des Schreibprozesses – (Cronbach´s α= ,886) K 3: Reflexion und Abbau von Blockaden im Schreibprozess – (Cronbach´s α= ,905) K 4: fachbezogene Aspekte wissenschaftlichen Schreibens – (Cronbach´s α= ,880) K 5: „Handwerkszeug“ lernen – (Cronbach´s α= ,666) v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 7 zentrale Rollen des Evaluationsteams - Herausforderungen und Chancen Moderator/-in Berater/-in Detektiv/-in Reporter/-in Lehrer/-in (Student) Wissenschaftler/-in (vgl. Gutknecht-Gmeiner, 2014) v Borke“; André Kopischke 8 10.03.2016 - Netzwerktagung „Zwischen Baum und zentrale Rollen des Evaluationsteams - Herausforderungen und Chancen Chancen Moderator/ -in • Detektiv/-in Berater/-in Reporter/- • Lehrer/-in (Student) in Wissenschaftler/-in • Schreibwerkstätten „im Boot“ behalten Austausch anregen über Gemeinsamkeiten und Unterschiede bei Ziele, Maßnahmen, Konzepten Sowohl TP intern als auch extern v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und Herausforderungen • • • • Fokus der Diskussionen auf gemeinsames Instrument richten Ergebnisse zusammenfassen in fachfremder Thematik Kompromisse finden Zeitaufwand 9 zentrale Rollen des Evaluationsteams - Herausforderungen und Chancen Chancen Herausforderungen Moderator/-in Detektiv/in Berater/-in Lehrer/-in (Student) Reporter/-in • • Evaluationen eng an den Bedarfen der Projekte ausrichten Relevante Bedarfe/Infos herausfiltern • • Relevanz/ „blinde Flecke“ in fachfremder Thematik erkennen Zeitaufwand Wissenschaftler/-in v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 10 zentrale Rollen des Evaluationsteams - Herausforderungen und Chancen Chancen Herausforderungen Moderator/-in Berater/-in Detektiv/-in Reporter/-in Lehrer/-in (Student/in) • Weiterentwicklung in „fachfremden“ Themengebieten für Evaluationsteam und Akteure • • Überblick behalten Angemessene Tiefe der Informationen beibehalten Wissenschaftler/-in v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 11 zentrale Rollen des Evaluationsteams - Herausforderungen und Chancen Chancen Herausforderungen Moderator/-in Detektiv/-in Berater/-in • • Entlastung für die Akteure Synergieeffekte und Ressourcen geschont • • Lehrer/-in (Student) Reporter/-in Wissenschaftler/in • v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und Verständnis für Konzepte, Nomenklaturen etc. entwickeln Spagat zwischen klaren Formulierungen und fachsprachlichen Elementen Ergebnisse richtig verstehen 12 zentrale Rollen des Evaluationsteams - Herausforderungen und Chancen Chancen Herausforderungen Moderator/-in Erweiterte • Perspektive auf die Ergebnisse Verständnis und Interpretationsmöglichkeiten für die jeweiligen Ergebnisse entwickeln bzw. vertiefen (bei Akteuren und Reportern) v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 13 Berater/-in Detektiv/-in Reporter/in Lehrer/-in (Student) • Wissenschaftler/-in zentrale Rollen des Evaluationsteams - Herausforderungen und Chancen Chancen Herausforderungen Moderator/-in • Detektiv/-in Berater/-in • Lehrer/-in (Student) Reporter/-in Wissenschaftler/-in • • Einfluss und Kontrolle im Prozess (Akteure) Impulse für Programmverbess erungen Reflexion zu Vorgehen und Instrument Ergebnisse für die weitere Verwendung • • v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und Balance zwischen Objektivität und Involvierung insb. bei neg. Befunden Akteure fühlen sich unterstützt und nicht bevormundet 14 Moderator/-in Berater/in Detektiv/-in Reporter/-in Lehrer/-in (Student) Wissenschaftler/-in Chancen Herausforderungen • Einfluss und Kontrolle im Prozess • Balance zwischen Objektivität und (Akteure) Involvierung insb. bei neg. Befunden • Impulse für Programmverbesserungen • Akteure fühlen sich unterstützt und • Reflexion zu Vorgehen und Instrument nicht bevormundet • Eignung von Ergebnissen für die weitere Verwendung v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 15 Sicht der Projektakteure auf die Zusammenarbeit • Durchführung einer Selbstevaluation des Projektes im November/Dezember 2015 • Hierbei 8 Akteure aus den Projekten zum Akademischen Schreiben befragt HF07-Die Zusammenarbeit mit dem Evaluationsteam und den anderen Projekten war für mich und mein Projekt hilfreich. Range 6,71 MW 1 2 3 4 5 v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 6 7 16 Sicht der Projektakteure auf die Zusammenarbeit • Moderator/-in & Detektiv/-in: „Vernetzung und Kooperation im HF gesteigert, guter Einblick in die Arbeit der anderen Projekte“ „Zusammenführung der Projektbedarfe“ gelungen „Unterstützung bei der Zielklärung“ „Erkenntnisse über gemeinsame Bedarfe der vers. Projekte“ – – – – „Einigungsprozess mit den Projekten schwierig“ „Zeitaufwändig“ „Inhaltlich und begrifflich auf einen Nenner zu kommen“ „Engagement der Projektakteure unterschiedlich groß“ v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 17 Sicht der Projektakteure auf die Zusammenarbeit • Lehrer/-in: „ unter anderem methodischer Nutzen“ „fachlich kompetente Anleitung“ • Wissenschaftler/-in: „Systematischer Aufbau der Befragungen“ „methodisch versierte Gesprächspartner“ „Daten ermitteln hinsichtlich eines Vergleichs der Projekte …zur Zusammenarbeit oder gegenseitigen Ergänzung“ − „Differenzierung hinsichtlich bestimmter Items“ v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 18 Sicht der Projektakteure auf die Zusammenarbeit • Reporter/Berater: Weiterentwicklung des Projektes Als Handlungsfeld eine starke gemeinsame Position gegenüber der Leitung Im zweiten Durchlauf ist vorgesehen, die einzelnen Schreibprojekte in einem Schreibzentrum zusammen zu fassen, das sowohl überfachliche als auch fachspezifische Angebote für die Studierenden bereit hält v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 19 Evaluationsbefunde und Wirksamkeit (Wie) kann man mit den Evaluationsbefunden die Wirksamkeit der Maßnahmen belegen? • Probleme: – – – – • zu geringe TeilnehmerInnenzahlen Projekte sehr spezifisch aufgesetzt geringe Ressourcenausstattung für aufwändige Designs definitive Schlussfolgerungen über Kausalzusammenhänge kaum möglich (Patton 1997) Lösungsansatz: – -> plausible Wirkungsargumentation (Patton, 1997) – (implizite) Theorien liegen in Programmen vor (Chen,1989) – Programmtheorien ermöglichen Angaben zu machen, wie und warum etwas wirkt (Munter, Cobb, Shekell 2015) v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 20 Evaluationsbefunde und Wirksamkeit Darstellung einer Wirkungskette für das individuelle Schreibberatungsangebot der Schreibwerkstatt Mehrsprachigkeit: – Hier beziehen sich Projektmaßnahmen und Projektziele direkt aufeinander (systematische Zielausarbeitung hier hilfreich) 5 Komponenten Reflexion des Schreibprozesses Verbesserung der schriftsprachlichen Kompetenzen Verbesserung der Schreibprodukte Optimierung der akademischen Textkompetenz Studienerfolg und Selbstzufriedenheit erhöht Arbeit am konkreten Text und hilfreiches Feedback durch ExpertInnen in der Schreibberatung v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 21 Literatur Chen, H.-T. (1989). The Conceptual Framework of the Theory-Driven Perspective. Evaluation and Program Planning, 12(4), 391–396. Gutknecht-Gmeiner, M. (2014). Wie weit können, dürfen und müssen Evaluierende gehen, um die Welt zu retten? Zum Rollenverständnis von Evaluierenden. Zeitschrift Für Evaluation, 13(2). Luo, H. (2010). The Role for an Evaluator: A Fundamental Issue for Evaluation of Education and Social Programs. International Education Studies, 3(2), 42–50. http://doi.org/10.5539/ies.v3n2p42 Munter, C., Cobb, P., & Shekell, C. (2015). The Role of Program Theory in Evaluation Research: A Consideration of the What Works Clearinghouse Standards in the Case of Mathematics Education. American Journal of Evaluation, 37(1), 7–26. http://doi.org/10.1177/1098214015571122 Patton, M. Q. (1997). Utilization-focused evaluation (3rd ed). Thousand Oaks; London; New Delhi: Sage Publications. Patton, M. Q. (2012). A utilization-focused approach to contribution analysis. Evaluation, 18(3), 364–377. http://doi.org/10.1177/1356389012449523 Patton, M. Q. (2013). Utilization-Eocused Evaluation Checklist. http://doi.org/10.1007/978-94-010-0309-4 v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und 22 Herzlichen Dank! Kontakt Dipl.-Psych. André Kopischke Universität Hamburg , Fakultät für Erziehungswissenschaft Universitätskolleg, TP 24 Interne Evaluation von Maßnahmen des Universitätskollegs Postadresse: Von-Melle-Park 8, 20146 Hamburg Besucheradresse: Bogenallee 11, Raum 114, 20144 Hamburg Tel: 040-42838-3680 [email protected] v Borke“; André Kopischke 10.03.2016 - Netzwerktagung „Zwischen Baum und
© Copyright 2024 ExpyDoc
