8 Regeln für die totale Folgenlosigkeit von Evaluation in

Integrierte Datennutzung
an allgemeinbildenden Schulen
oder 8 Regeln für die totale
Folgenlosigkeit von
Evaluation in Schulen
Klaudia Schulte & Marnie Schlüter
Speyer, 17. September 2015
17.09.2015
Integrierte Datennutzung
2
Gliederung
1.
2.
3.
4.
5.
6.
Ausgangspunkt
Projekt IDA – struktureller Rahmen
Wirk- und Disseminationsmodell
empirische Teilstudien
Zentrale Befunde
8 Regeln für die totale Folgenlosigkeit von Evaluation
17.09.2015
Integrierte Datennutzung
3
1.
2.
3.
4.
5.
6.
Ausgangspunkt
Projekt IDA – struktureller Rahmen
Wirk- und Disseminationsmodell
empirische Teilstudien
Zentrale Befunde
8 Regeln für die totale Folgenlosigkeit von Evaluation
17.09.2015
Integrierte Datennutzung
4
Ausgangspunkt:
Rückmeldungen des IfBQ für Schulen
– KERMIT: Schulleistungstests in Deutsch-Leseverstehen, Mathematik,
Naturwissenschaften und Englisch (Leseverstehen und Hörverstehen), Erhebung einmal
pro Jahr in den Jahrgängen 2, 3, 5, 7, 8 und 9
– Schulinspektion: Gewinn und Bereitstellung empirischer Erkenntnisse über Schulen, um
Mindeststandards schulischer Qualität zu sichern und Schulentwicklung zu stimulieren,
eine Inspektion findet alle fünf bis sieben Schuljahre statt
– Schule im Überblick: Datenreport, der das Einzugsgebiet der Schule, die schulische
Herkunft bzw. die Schulwahl und das sozialräumliche Umfeld der Schule sowie die
soziale und ethnische Zusammensetzung der Schülerschaft, die Abschlussquoten der
Schule, bei Gymnasien etc. aufbereitet. Einmal jährlich, auf Basis schulstatistischer und
sozialräumlicher Daten.
– Rückmeldung zur Umsetzung des Sprachförderkonzepts: Evaluation des Ausmaß
des Sprachförderbedarfs, schulischer Rahmenbedingungen (Ressourceneinsatz,
Qualifikation der Förderlehrkräfte und Sprachlernberaterinnen und -berater) und der
Umsetzung des Hamburger Sprachförderkonzeptes (Qualität und Probleme der
Umsetzung der verschiedenen Elemente des Sprachförderkonzeptes), einmal jährlich.
– Zentrale Prüfungen: Bisher keine Schulrückmeldungen
17.09.2015
Integrierte Datennutzung
5
Ausgangspunkt
Verschiedene externe Evaluationsdaten für Schulen in Hamburg, z.B.
die Ergebnisse von Vergleichsarbeiten (KERMIT) oder der
Schulinspektionsbericht im Rahmen von Bildungsmonitoring
• Welche Daten gibt es und wofür können sie von wem und bei
welcher Gelegenheit genutzt werden?
• Wie gehen Schulen damit um?
• Wie passen verschiedene Datenquellen zusammen?
• Welche Daten können dabei helfen, eine Vision und Ziele für
Schulen zu entwickeln?
• Was bringt es, sich über Daten Gedanken zu machen, während im
Schulalltag ganz andere Dinge obenauf liegen?
17.09.2015
Integrierte Datennutzung
6
1.
2.
3.
4.
5.
6.
Ausgangspunkt
Projekt IDA – struktureller Rahmen
Wirk- und Disseminationsmodell
empirische Teilstudien
Zentrale Befunde
8 Regeln für die totale Folgenlosigkeit von Evaluation
17.09.2015
Integrierte Datennutzung
7
Projekt IDA – struktureller Rahmen
• Laufzeit von Juli 2014 – Ende August 2015
• Ziel: Erstellung eines Konzepts
– Stand der Forschung bzgl. datengestützter Schulentwicklung
– Bestandsaufnahme der aktuellen Nutzungssituation datengestützter
Rückmeldungen
– Problemanalyse & Strategien, mit denen die systematische Datennutzung an
Schulen unterstützt werden kann
– Vorarbeiten für eine Hamburger Gesamtstrategie datengestützter SE
• Befragung von über 300 Akteuren (Schulleitungen,
Datenbeauftragte, Lehrkräfte, Schulaufsichtsbeamte, Externe) mit
quantitativen und qualitativen Instrumenten
• Installation einer Arbeitsgruppe am IfBQ
– Diskussion aller Rückmeldungen
– Gemeinsame Erarbeitung von Teilen des Konzepts
– Entwicklung eines Wirkmodells
• Stichwort „integrierte“ Datennutzung
17.09.2015
Integrierte Datennutzung
8
1.
2.
3.
4.
5.
6.
Ausgangspunkt
Projekt IDA – struktureller Rahmen
Wirk- und Disseminationsmodell
empirische Teilstudien
Zentrale Befunde
8 Regeln für die totale Folgenlosigkeit von Evaluation
17.09.2015
Integrierte Datennutzung
9
Wirk- und Disseminationsmodell
Integrierte Datennutzung
10
1.
2.
3.
4.
5.
6.
Ausgangspunkt
Projekt IDA – struktureller Rahmen
Wirk- und Disseminationsmodell
empirische Teilstudien
Zentrale Befunde
8 Regeln für die totale Folgenlosigkeit von Evaluation
17.09.2015
Integrierte Datennutzung
11
Empirische Teilstudien
1. Workshop mit Schulformexpertinnen und -experten (Nov. 2014)
– 5 Schulformexpertinnen und -experten (2 Gymnasien, Sozialindex 5; 3
Grundschulen, Sozialindex 1, 4 & 6)
2. Gespräch Schulleitungen (Dez. 2014)
– 5 Schulleitungen (3 Grundschulen, 1 Gymnasium, 1 Stadtteilschule)
3. Analyse von vorhandenen Interviews, 2. Zyklus Schulinspektion
– Von 112 Schulen zufällige Auswahl von je 4 Schulen pro Schulform und pro
Datennutzung stark/schwach  N = 24 Schulen
– 96 Interviews, davon 48 mit Lehrkräften und Schulleitungen. SuS und Eltern
nur ausgewertet, wenn Datennutzung in Kurzprotokoll erwähnt (N = 41)
4. Interviews im Rahmen von IDA (April 2015)
– Leitfadengestützte Interviews mit je 2 Schulen pro Schulform mit hoher und
niedriger Datennutzung plus ein Gymnasium (convenience sampling)  N = 7
Schulen (6 SL, eine Eva-Beauftragte)
5. Online-Fragebogenbefragung (N = 127, davon 70
Schulleitungen)
17.09.2015
Integrierte Datennutzung
12
1.
2.
3.
4.
5.
6.
Ausgangspunkt
Projekt IDA – struktureller Rahmen
Wirk- und Disseminationsmodell
empirische Teilstudien
Zentrale Befunde
8 Regeln für die totale Folgenlosigkeit von Evaluation
17.09.2015
Integrierte Datennutzung
13
Zentrale Befunde
• Der Umgang mit datengestützten Rückmeldungen variiert stark
von Schule zu Schule (abhängig von Schulform, Sozialindex und
Datenbeauftragte/r), von sehr datenaffinen Schulen hin zu sehr
kritischen Schulen in Bezug auf Datennutzung
 Eigenlogiken der Akteure (Governance-Perspektive), Innovationskapazität
 Unterschiedliche Bedarfslagen in Bezug auf Fortbildung und Beratung
• Schulleitungen nutzen Rückmeldungen intensiver als Lehrkräfte
und zeigen positivere Einstellungen
 Die Referenzebene von Lehrkräften ist nicht das Schulsystem sondern die
Interaktion mit Schülerinnen und Schülern
• KERMIT und Inspektion sind am stärksten institutionalisiert und in
den Schulen verankert, erzeugen jedoch am meisten Druck
 Von low-stakes zu high-stakes durch Wettbewerb innerhalb und außerhalb der
Schulen?
17.09.2015
Integrierte Datennutzung
14
Zentrale Befunde
• Zusammenhang der Daten untereinander ist oft unklar, wird
gerade bei abweichenden Ergebnistendenzen auch von den
Schulleitungen thematisiert („Sprachlosigkeit“ auf allen
Akteursebenen)
• Vereindeutigung widersprüchlicher Ergebnisse durch höhere
Priorisierung der KERMIT-Ergebnisse
• Positive Bewertungen der Handhabbarkeit der Rückmeldungen
• Viele Beispiele für gelungene Konsequenzen aus den
Rückmeldungen (Maßnahmen der Schul- und
Unterrichtsentwicklung)
• Teilweise Schwierigkeiten (organisatorisch, inhaltlich, Sorgen bzgl.
Datenschutz)
• Wunsch nach mehr Unterstützung
17.09.2015
Integrierte Datennutzung
15
Zentrale Befunde
• Alle Schulen arbeiten mit diversen weiteren Daten
– diagnostische Testverfahren
– interne Evaluationen
– Noten
• Jährliches Statusgespräch mit der Schulaufsicht wird eher als
Kontrolle und weniger als Unterstützung wahrgenommen
17.09.2015
Integrierte Datennutzung
16
1.
2.
3.
4.
5.
6.
Ausgangspunkt
Projekt IDA – struktureller Rahmen
Wirk- und Disseminationsmodell
empirische Teilstudien
Zentrale Befunde
8 Regeln für die totale Folgenlosigkeit von Evaluation
17.09.2015
Integrierte Datennutzung
17
8 Regeln für die totale Folgenlosigkeit
von Evaluation in Schulen
1.
2.
3.
4.
5.
6.
7.
8.
Verwenden Sie in der Rückmeldung wissenschaftliche Fachterminologie und
unterlassen Sie jede Reduktion von Komplexität.
Verweisen Sie bei widersprüchlichen oder schwierigen Ergebnissen auf Ihre
wissenschaftliche Expertise, ohne Nachfragen konkret zu beantworten.
Fahren Sie nach der Veröffentlichung der Ergebnisse für mindestens zwei
Wochen in den wohlverdienten Urlaub.
Stören Sie sich nicht daran, dass die Schule ggf. mit Reaktionen der Eltern
oder Schüler-/innen konfrontiert sein wird.
Veröffentlichen Sie alle Rückmeldungen im Internet und erstellen Sie
Rankings, die Sie mit Anekdoten über schwierige Schulen ausschmücken.
Bieten Sie keine Beratungen, Fortbildungen oder unterstützende Materialien
an. Falls Sie diese doch anbieten, gehen Sie in keinem Fall auf die konkrete
Situation an den Schulen ein.
Betonen Sie die Kontrollfunktion der Erhebungen und drohen Sie ernsthafte
Konsequenzen an, wenn Standards nicht erreicht werden.
Erwarten Sie nur von Schulen kontinuierliche Qualitätsentwicklung.
Qualitätsentwicklung in Ihrer Organisation steht auf einem anderen Blatt.
17.09.2015
Integrierte Datennutzung
18
Vielen Dank!
[email protected]

Download Report