Begleitforschung
Rezeption und Nutzung von Ergebnissen der
Bildungsstandardüberprüfung in Mathematik auf
der 4. Schulstufe unter Berücksichtigung der
Rückmeldemoderation im Bundesland Oberösterreich
Sabine Dinges & Maximilian Egger
02/2015
Rezeption und Nutzung von Ergebnissen der
Bildungsstandardüberprüfung in Mathematik auf
der 4. Schulstufe unter Berücksichtigung der
Rückmeldemoderation im Bundesland Oberösterreich
Sabine Dinges & Maximilian Egger
Bundesinstitut für Bildungsforschung, Innovation & Entwicklung
des österreichischen Schulwesens
Alpenstraße 121 / 5020 Salzburg
www.bifie.at
Rezeption und Nutzung von Ergebnissen der Bildungsstandardüberprüfung in
Mathematik auf der 4. Schulstufe unter Berücksichtigung der Rückmeldemoderation
im Bundesland Oberösterreich
Sabine Dinges & Maximilian Egger
Layout, Satz und Lektorat: Zentrales Management & Services
Vorwort
Mathematik ist neben Lesen und Schreiben eine Grundvoraussetzung, um den Alltag kompetent bewältigen zu können. Gerade in den ersten Schuljahren ist der Aufbau von Grundkompetenzen besonders
wichtig.
Die Überprüfung der Bildungsstandards gab 2013 zum ersten Mal allen Grundschulen eine objektive
Rückmeldung, inwieweit mathematische Kompetenzen nachhaltig vermittelt werden konnten.
Schulleiter/innen und Lehrer/innen konnten nach der Ergebnisrückmeldung den wichtigen Prozess
starten, die Ergebnisse der Standardüberprüfung in den Schulalltag einfließen zu lassen. Eine verantwortungsvolle Ergebnisinterpretation ist dafür essentiell. Deshalb standen für diesen Schritt in ganz
Österreich Rückmeldemoderatorinnen und -moderatoren zur Verfügung, die von den Schulen auf freiwilliger Basis angefordert werden konnten.
Die vorliegende Studie der PH Oberösterreich legt dar, welchen Beitrag die Rückmeldemoderation im
Bundesland Oberösterreich leisten konnte und welche Impulse die Rückmeldung der Standardüber­
prüfung für Qualitätsentwicklungsprozesse setzt.
Die Ergebnisse zeigen, dass die Rückmeldemoderation als sehr hilfreich beurteilt und von Schulleiterinnen
und Schulleitern gut akzeptiert wird. Zur Ergebnisrückmeldung selbst wurden als positive Aspekte angeführt, dass die Ergebnisrückmeldung einen Blick über den Tellerrand sowie eine Stärken-SchwächenAnalyse ermöglicht; Unsicherheit wurde beim Umgang mit den Ergebnissen in der Kommunikation mit
dem Kollegium und v. a. dem Schulforum genannt.
Für diesen Beitrag zur Begleitforschung der Bildungsstandards danken wir den Autoren Sabine Dinges
und Maximilian Egger, den Rückmeldemoderatorinnen und -moderatoren und vor allem auch den
Volksschulleiterinnen und -leitern im Bundesland Oberösterreich, die durch ihre Beteiligung diese
Evaluationsstudie ermöglicht haben.
Die Zusammenarbeit von Pädagogischen Hochschulen und dem Bundesinstitut BIFIE ist rund um das
Thema „standortbezogene Qualitätsentwicklung“ besonders wichtig. Damit die Qualitätsbemühungen
tatsächlich die Schüler/innen erreichen, müssen Standards und der Umgang mit der Ergebnisrückmeldung
unbedingt in der Lehreraus- und -fortbildung verankert sein. Darin sehen wir einen gemeinsamen
Auftrag.
Josef Oberneder, MAS, MSc., MBA
Vizerektor für Hochschulmanagement
und Schulentwicklung der Pädagogischen
Hochschule Oberösterreich
MMag. ChristianWiesner
Leiter der Koordinationsstelle Netzwerke &
Kooperationen/Begleitforschung der
Bildungsstandards am BIFIE
Inhalt
5
1
6
Teil A: Bildungsstandards
6
2
7
9 10 11
Was sind Bildungsstandards?
2.1 Konzeption der Bildungsstandards
2.2 Ziele und Funktionen der Bildungsstandards
2.3 Überprüfung der Bildungsstandards
3
11
12 13 14 16
Einleitung
Ergebnisrückmeldung
3.1
3.2
3.3
3.4
4
18
20
Die Ergebnisrückmeldung als Datenfeedback
Adressatinnen und Adressaten der Ergebnisrückmeldung
Aufbau und Struktur eines Schulberichts
Theoretisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen
Rückmeldemoderation
4.1 Rückmeldemoderation in Oberösterreich – Prozessbeschreibung
4.2 Österreichisches Modell zum Umgang mit Ergebnisrückmeldungen
23
Teil B: Evaluation der Rückmeldemoderation
23
5
Evaluationsvorhaben
23
5.1Ausgangssituation
23
5.2 Beschreibung des Evaluationsinstruments
24
5.3 Zielgruppe und Rücklauf
25
5.4Ergebnisse
25
5.4.1 Intensität der Auseinandersetzung mit der Rückmeldung
26
5.4.2 Besprechung der Ergebnisse
27
5.4.3 Motive für die Inanspruchnahme einer Rückmeldemoderation
28
5.4.4 Anforderung der Rückmeldemoderation
28
5.4.5 Verfügbarkeit der Rückmeldemoderation
29
5.4.6 Zeitumfang der Rückmeldemoderation
29
5.4.7 Aspekte zum Verlauf der Rückmeldemoderation
30
5.4.8 Inhaltliche Schwerpunkte der Rückmeldemoderation
31
5.4.9 Konkrete Maßnahmen bzw. Schritte aufgrund der Ergebnisrückmeldung
33
5.4.10Nützlichkeit der Rückmeldemoderation
34
5.4.11Angebot eines zweiten Termins
34
5.4.12Zukünftige Inanspruchnahme einer Rückmeldemoderation
35
5.4.12.1 Zukünftige Inanspruchnahme im Hinblick auf einen zweiten Termin
36
5.4.13Positive Aspekte der Ergebnisrückmeldung
37
5.4.14Problematische Aspekte der Ergebnisrückmeldung
40
6Diskussion
40
40
40
41
41
41
41
41
42
43
43
43
43
44
6.1 Rezeption der rückgemeldeten Ergebnisse zur Standardüberprüfung
6.2 Kommunikation der rückgemeldeten Ergebnisse vor der Rückmeldemoderation
6.3 Motive für die Anforderung einer Rückmeldemoderation
6.4 Anforderung der Rückmeldemoderation
6.5 Verfügbarkeit der Rückmeldemoderation
6.6 Verfügbare Zeit für die Moderation
6.7 Detailergebnisse zum Verlauf der Rückmeldemoderation
6.8 Hilfestellungen durch die Rückmeldemoderation
6.9 Gesetzte Maßnahmen aufgrund der Ergebnisrückmeldung
6.10Nützlichkeit der Rückmeldemoderation
6.11Anforderung einer weiteren Moderation im Rahmen einer pädagogischen Konferenz
6.12Zukünftige Anforderung einer Moderation
6.13Positive Aspekte der Ergebnisrückmeldung
6.14Problematische Aspekte der Ergebnisrückmeldung
45
7Resümee
47
8Literaturverzeichnis
50
9
51
10Anhang
51
10.1 Evaluationsfragebogen für Schulleitungen
Abbildungs- und Tabellenverzeichnis
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
1Einleitung
„Bildungsstandards!“ Spätestens seit der Überprüfung der Bildungsstandards im Schuljahr 2011/12 im
Fach Mathematik auf der 8. Schulstufe nimmt der Begriff eine wichtige Stellung in der Bildungsdiskussion
ein. Viele Hoffnungen, aber auch Ängste und Vorbehalte sind daran geknüpft, viel ist darüber diskutiert
und dazu publiziert worden.
Standards und die damit verbundenen periodischen Leistungsmessungen haben unter anderem das Ziel, die
Überprüfungsergebnisse für Schul- und Unterrichtsentwicklung nutzbar zu machen. Die Rückmeldung
der Ergebnisse soll als Impuls für Qualitätsentwicklungsprozesse am jeweiligen Schulstandort dienen.
Durch die gesetzliche Verankerung sind die jährlichen Überprüfungen und die daraus resultierenden
Datenrückmeldungen und Entwicklungspläne fixer Bestandteil schulischer Arbeit geworden. Unterstützt
durch öffentliches und mediales Interesse wird sich Schule in Zukunft – noch mehr als bisher – kritischen
Rückfragen hinsichtlich unterschiedlicher Leistungsstände und Wirkungsgrade stellen müssen.
Trotz der seit Jahren geführten schulinternen und öffentlichen Diskussion gibt es immer noch viele
offene Fragen. Welche Chancen, Gefahren und Nebenwirkungen gibt es? Wie fließen Standards
in die schulische Praxis ein? Fließen Sie überhaupt ein? Erfüllen sie die in sie gesetzten Hoffnungen?
Welche Beiträge kann die in Österreich gewählte Version der Steuerungsstrategie „Bildungsstandards
und externe Überprüfungen von Schülerkompetenzen“ zur Erreichung verschiedener Qualitätsziele
der Schule leisten? Welche Bedingungen begünstigen, dass nach der Ergebnisrückmeldung tatsächlich Qualitätsentwicklungsmaßnahmen initiiert werden? Lassen sich gegebenenfalls auch hemmende
Wirkmechanismen identifizieren?
Die vorliegende Studie hatte nicht das Ziel, eine Grundsatzdiskussion über Chancen und Gefahren
von Bildungsstandards zu führen. Zentrales Forschungsinteresse dieser Arbeit war es vielmehr, Hin­
weise über den Beitrag der Rückmeldemoderation, die zur Sicherstellung einer sachlich korrekten
Ergebnisinterpretation von den Schulen auf freiwilliger Basis angefordert werden kann, zur Rezeption
und Nutzung der Überprüfungsergebnisse am Schulstandort zu erhalten. Darüber hinaus sollten auch
Erkenntnisse gewonnen werden, ob die rückgemeldeten Ergebnisse in adäquates Unterrichtshandeln
und entsprechende Maßnahmen der Schulentwicklung übergeleitet werden und welche positiven und
problematischen Aspekte Schulleiterinnen und Schulleiter mit der Rückmeldung der Bildungsstandards
assoziieren.
Die Evaluationserhebung umfasste eine Online-Befragung unter oberösterreichischen Volksschulleiterinnen und -leitern, die das Angebot der Rückmeldemoderation der Pädagogischen Hochschule OÖ im
Schuljahr 2013/2014 in Anspruch genommen haben.
Der erste Teil des Berichts gibt zunächst einen Überblick über inhaltliche Eckpunkte des österreichischen
Standards-Konzepts, fokussiert dann auf wesentliche Aspekte der Ergebnisrückmeldung und stellt abschließend die zentralen Elemente einer Rückmeldemoderation vor.
Der zweite Teil der Arbeit beschreibt das Evaluationsvorhaben. Dabei wird im ersten Schritt das verwendete Evaluationsinstrument vorgestellt und anschließend werden Stichprobe, Durchführung und
Rücklauf der Erhebungen dargestellt. Daran schließt sich die Präsentation der Ergebnisse an, die mit der
Intensität der Auseinandersetzung mit der Rückmeldung beginnt. Im Anschluss folgen Ausführungen
über Charakteristika und Wirkungen der Rückmeldemoderation. Danach werden die Ergebnisse hinsichtlich der Nutzung der Rückmeldung für Maßnahmen der Qualitätssicherung und -entwicklung dargelegt
und positive und problematische Aspekte im Hinblick auf die Ergebnisrückmeldung der Standardüber­
prüfung aufgezeigt. Abschließend werden der Ablauf sowie die Wirkungen der Rückmeldemoderation
im Hinblick auf ihren Erfolg und sich daraus ergebende Verbesserungsmaßnahmen diskutiert. Darüber
hinaus wurde auch die Nutzung der rückgemeldeten Ergebnisse für die Schulentwicklung analysiert und
die positiven und problematischen Aspekte der Ergebnisrückmeldung genauer betrachtet.
5
6
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Durch die vorliegende Evaluationsstudie werden datengestützte Informationen über die Wirkung von
Rückmeldemoderationen im Hinblick auf die Rezeption und Nutzung der Bildungsstandardergebnisse
am Schulstandort gesammelt. Damit wird eine fundierte Entscheidungsbasis für die zukünftige Gestaltung
dieses Unterstützungsangebots bereitgestellt.
Das Autorenteam hofft, dass die Erhebung einen kleinen Beitrag zum sinnvollen Umgang mit Standards
liefert – die Diskussion wird jedenfalls verstärkt fortgeführt werden müssen.
Teil A: Bildungsstandards
Bildungsstandards
Wie in anderen europäischen Staaten wurden auch im österreichischen Schulwesen in den letzten
Jahrzehnten Maßnahmen zur Veränderung der Systemsteuerung in Richtung Evidenzbasierung und
Accountability gesetzt. In deren Rahmen sollen nationale Bildungsstandards und die externe Überprüfung
von Schülerkompetenzen zur Sicherung und Steigerung der Qualität an Schulen beitragen (vgl. Altrichter
& Kanape-Willingshofer, 2013, S. 32).
Diese Entwicklung ist laut Zimmermann (2011, S. 4) als Reaktion auf internationale Vergleichsstudien
wie PISA oder TIMSS zu sehen, in denen das Abschneiden österreichischer Schülerinnen und Schüler
Bestürzung in der Bildungslandschaft hervorrief. Die genannten Studien überprüfen Kompetenzen von
Schülerinnen und Schülern in verschiedenen Fächern auf einer bestimmten Schulstufe, decken allerdings
nur einen Teil der österreichischen Bildungslandschaft ab (vgl. Erläuterungen zur Änderung des SchUG,
BGBl Nr. 472/1986 idF BGBl. I Nr. 117/2008 [Stand 07.11.2014]). PISA beispielsweise erhebt den
Kompetenzstand 15- bis 16-jähriger Schülerinnen und Schüler in den Bereichen „Lesen, Mathematik
und Naturwissenschaften“ (vgl. http://www.bifie.at/pisa [Stand: 07.11.2014]). Somit sind sowohl nationale Inhalte und Besonderheiten als auch ganze Bereiche eines Unterrichtsfachs aus dieser Überprüfung
ausgeklammert, was bedeutet, dass nur ein kleiner Teil des österreichischen Bildungssystems beleuchtet­
wird. Auf nationaler Ebene wurden daher als Element der Vergleichbarkeit und Qualitätssicherung
Bildungsstandards und deren Überprüfung eingeführt, um regelmäßig umfassende und objektiv festgestellte Ergebnisse über die Kompetenzen der Schülerinnen und Schüler zu erhalten, die für die Zwecke
der Steuerung und Planung im Bildungsbereich notwendig erscheinen (vgl. Erläuterungen zur Änderung
des SchUG, BGBl Nr. 472/1986 idF BGBl. I Nr. 117/2008 [Stand 07.11.2014]).
Was genau unter Bildungsstandards zu verstehen ist, welche Ziele und Funktionen hinter den Standards
stehen, wie die Überprüfung der Bildungsstandards erfolgt und wie die Ergebnisrückmeldung konzipiert
ist, soll nun in den folgenden Punkten erläutert werden.
2
Was sind Bildungsstandards?
Bildungsstandards greifen allgemeine Bildungsziele auf, die über Kompetenzen definiert sind (vgl. Klieme
et al., 2007, S. 19). Sie sind konkret formulierte Lernergebnisse, die sich aus den Lehrplänen ableiten
lassen­. Sie legen jene Kompetenzen fest, die Schülerinnen und Schüler bis zum Ende der 4. Schulstufe
in Deutsch und Mathematik sowie bis zum Ende der 8. Schulstufe in Deutsch, Mathematik und
Englisch nachhaltig erworben haben sollen und die für die weitere schulische und berufliche Bildung
von entscheidender Bedeutung sind (vgl. BIFIE Bildungsstandards [Stand 07.11.2014]). Über die
Definition von Bildungszielen formuliert eine Gesellschaft demnach ihre Erwartungen gegenüber den
Bildungsinstitutionen (vgl. Beer, 2006, S. 36).
Die Kompetenzen werden in regelmäßigen Abständen durch objektive Testverfahren überprüft, um so
die Qualität im österreichischen Schulsystem zu sichern. Getestet werden Schülerinnen und Schüler auf
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
der 4. und 8. Schulstufe in den Fächern Mathematik, Deutsch und Englisch (nur auf der 8. Schulstufe).
Ziel der Standardüberprüfungen ist es, die bis zur 4. bzw. 8. Schulstufe erworbenen Kompetenzen objektiv festzustellen und mit den angestrebten Standards zu vergleichen. Es wird somit gemessen, in welchem
Grad die Bildungsstandards erreicht werden. Die Auswertungen der Standardüberprüfungen und deren
Rückmeldung sollen an jeder Schule gezielte Qualitätsentwicklungsprozesse in Gang setzen (vgl. BIFIE
Standardüberprüfung [Stand 07.11.2014]).
2.1 Konzeption der Bildungsstandards
In Österreich werden mit der Entwicklung von Standards folgende Ziele (vgl. dazu Huber et al., [Stand
07.11.2014]; BGBl. II Nr. 1/2009; BGBl. II Nr. 282/2011; BGBl. II Nr. 185/2012) verfolgt:
Sicherstellung grundlegender Kompetenzen bei allen Schülerinnen
Gleichwertigkeit der schulischen Ausbildung und der Abschlüsse
Beiträge zur Systementwicklung
und Schülern
Laut Lucyshyn (2007, S. 15) sind Standards nicht als Instrument für ein Qualitätsranking konzipiert,
sondern werden als Hilfsmittel für die Selbstbewertung und Orientierung von Schulen und Lehrpersonen
eingesetzt. Sie dienen nicht als Kontroll- und Selektionsinstrument, sondern als Stimulierung für eine
Veränderung der Unterrichtskultur. „Bildungsstandards sind konkret formulierte Lernergebnisse, die sich
aus den Lehrplänen ableiten lassen. Sie definieren Kompetenzen, die in der Regel von allen Schülerinnen und
Schülern an den Schnittstellen des Schulsystems erreicht werden sollen. Bildungsstandards geben den Lehrerinnen
und Lehrern Orientierung darüber, was Schüler/innen zu bestimmten Zeitpunkten ihrer Schullaufbahn können sollen und konkretisieren damit die Zielsetzungen des Lehrplans. Bildungsstandards und Lehrplan treten daher nicht in eine konkurrierende oder widersprüchliche Position, sondern ergänzen einander positiv.“
(Breit et al., 2012, S. 5).
Bildungsstandards wurden für folgende Fächer verordnet (vgl. Breit et al., 2012, ebd.):
4. Schulstufe (Volksschule):
Deutsch, Lesen,
Mathematik
Schreiben
8. Schulstufe (Hauptschule, Neue Mittelschule, allgemeinbildende höhere Schule sowie Volksschuloberstufe):
Deutsch
Lebende Fremdsprache
Mathematik
(Englisch)
Ausgangspunkt der Standards für die einzelnen Schularten und Schulstufen ist der Lehrplan. Er bildet
die inhaltliche Grundlage. Auf Basis eines allgemeinen Kompetenzmodells werden Kompetenzbereiche
in Anlehnung an die jeweiligen Fachlehrpläne beschrieben. Die in diesen Kompetenzbereichen festgelegten Einzelkompetenzen (Standards) sind als Can-Do-Statements formuliert und legen konkrete,
von den Schüler/innen erwartete Lernergebnisse fest. Die nachstehende Abbildung beschreibt den
Zusammenhang zwischen Lehrplan und Standards.
Aus den als Can-Do-Statements formulierten Bildungsstandards lassen sich konkrete Aufgabenstellungen
ableiten, die als Testitems im Rahmen der Standardüberprüfung eingesetzt werden. Mit ihnen lässt sich
feststellen, inwieweit die tatsächlich erworbenen Kompetenzen mit den angestrebten Lernergebnissen
übereinstimmen.
7
8
Eine gemeinsame und inhaltlich stabile Festlegung des Kompetenzkonzepts
ist wesentlich für eine angemessene Modellierung und Messung vorhandener
Fähigkeiten. Dabei müssen pädagogische Konstrukte, psychologische
Kompetenzmodelle und Messverfahren miteinander verbunden werden. Die
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
nachstehende Abbildung 6 beschreibt das Zusammenspiel zwischen Lehrplan
und Bildungsstandards.
Lehrplan
Der Lehrplan der jeweiligen Schulart und Schulstufe bildet die
inhaltliche Grundlage der Bildungsstandards.
Die österreichischen Bildungsstandards beziehen sich auf die
Pflichtgegenstand
Pflichtgegenstände Deutsch/Lesen/Schreiben sowie Mathe-
matik in der 4. Schulstufe und Deutsch, (Erste) Lebende Fremdsprache (Englisch) sowie Mathematik in der 8. Schulstufe.
inhaltliche und strukturelle Verbindung zwischen Lehrplan und Bildungsstandards
Kompetenzmodelle sind prozessorientierte Modellvorstellun-
gen über den Erwerb von fachbezogenen oder fächerübergreifenden Kompetenzen. Kompetenzmodelle stützen sich dabei
auf fachdidaktische und fachsystematische Gesichtspunkte.
Kompetenzmodell
Jedes Modell gliedert das jeweilige Fach in Kompetenzbereiche.
Kompetenzbereiche sind Teilbereiche innerhalb eines Kompetenzmodells.
Kompetenzbereich
Die als Can-Do-Statements formulierten Bildungsstandards
legen in einem Pflichtgegenstand konkrete, von Schülerinnen
und Schülern erwartete Kompetenzen fest – als Lernergebnisse,
die bis zum Ende einer bestimmten Schulstufe im Unterricht zu
Bildungsstandards
erwerben sind.
Abb. 6: Zusammenhang zwischen Lehrplan und Bildungsstandards
Abb. 1 (Breit et al., 2012, 12): Zusammenhang zwischen Lehrplan und Standards
Nach Klieme et al. sollen Standards folgende Qualitätsmerkmale aufweisen:
1. Fachlichkeit: Meint die eben beschriebene domänenspezifische Ausrichtung der Standards. Sie sollen
die Kernkompetenzen der Fächer und Fächergruppen besonders klar herausarbeiten. (Klieme et al.,
2007, S. 24)
2. Fokussierung: Die Standards decken nicht den gesamten Bereich eines Faches ab, sondern arbeiten
Kernbereiche heraus. (Klieme et al., 2007, S. 25)
3. Kumulativität: In den Bildungsstandards werden längerfristige, aufbauende Ziele wahrgenommen.
Lernen wird als kumulativer Prozess gesehen, der durch die Kompetenzmodelle und Kompetenzstufen abgebildet wird. Es geht darum, welche Kenntnisse Schülerinnen und Schüler nachhaltig erworben haben. (Beer, 2006, S. 39)
4. Verbindlichkeit: Bildungsstandards sollen für alle Lernenden gelten, unabhängig von der besuchten
Schulform. Sie stellen Mindestvoraussetzungen dar, die von allen Schülerinnen und Schülern erfüllt
werden sollen. Sie können somit einen Beitrag zum Abbau von Disparitäten im Schulsystem leisten.
(Beer, 2006, S. 39)
5. Differenzierung: Die Standards müssen Niveaustufen differenzieren, die unter und über bzw. vor und
nach Erreichen dieses Mindestniveaus liegen. Sie machen so Lernentwicklungen verstehbar und er-
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
möglichen weitere Profilbildungen und Abstufungen, die ergänzende Anforderungen in einem Land,
einer Schule oder einer Schulform darstellen. (Klieme et al., 2007, S. 25)
6. Verständlichkeit: Die Standards sollen klar und knapp formuliert sein und keiner weiteren Interpretation bedürfen, um von allen Beteiligten (Schülerinnen und Schüler, Eltern, Lehrerinnen und Lehrer
und Öffentlichkeit) verstanden zu werden. (Beer, 2006, S. 39)
7. Realisierbarkeit: Die Standards stellen eine Herausforderung für Lehrende und Lernende dar, sind
aber mit realistischem Aufwand erreichbar. (Klieme et al., 2007, S. 25)
2.2 Ziele und Funktionen der Bildungsstandards
Das Ziel von Bildungsstandards ist eine durch Feedback angestoßene Qualitätsentwicklung. Feedback
ist eine der wichtigsten Einzelvariablen zur Steuerung des personalen und organisationalen Lernens.
Die Einführung von Bildungsstandards bedeutet allerdings nicht, dass die anderen Säulen der
Qualitätssicherung (Input und Rahmenbedingungen, Prozessebene) unwichtig werden (vgl. Reusser,
2009, S. 297).
Bildungsstandards haben laut Verordnung der Bundesministerin für Unterricht, Kunst und Kultur über
Bildungsstandards im Schulwesen (vgl. BGBl. II Nr. 1/2009 [Stand 07.11.2014]) folgende Funktionen:
Orientierungsfunktion:
Die Einführung von Bildungsstandards soll eine nachhaltige Ergebnisorientierung in der Planung und
Durchführung von Unterricht bewirken. Der Fokus wird auf die Lernergebnisse gerichtet, die erwünschten/angestrebten Lernergebnisse sind in den Bildungsstandards formuliert. Dadurch konkretisieren bzw.
präzisieren sie den Lehrplan und bieten den Lehrkräften Orientierung. Im Mittelpunkt des Unterrichts
steht der nachhaltige Kompetenzaufbau, nicht das flüchtige Wissen.
Diagnosefunktion:
Im Unterricht sollen die Bildungsstandards den Lehrkräften einen kontinuierlichen Abgleich zwischen
dem Ist-Stand von Kompetenzen ihrer Schüler/innen und dem angestrebten Soll (Bildungsstandards)
ermöglichen. Dieser konkrete Vergleichsmaßstab bietet eine Grundlage für die individuelle Diagnose
und dient der Förderung von Schülerinnen und Schülern. Die Leistungen der Schüler/innen sind in allen
Schulstufen unter Zugrundelegung der Bildungsstandards für die 4. bzw. für die 8. Schulstufe besonders
zu beobachten und zu analysieren. Bildungsstandards wirken also nicht erst an den Schnittstellen, sondern auf allen Schulstufen.
Monitoringfunktion:
Durch periodische Standardüberprüfungen sind die von den Schülerinnen und Schülern bis zur 4. bzw. zur
8. Schulstufe erworbenen Kompetenzen objektiv festzustellen und mit den angestrebten Lernergebnissen
zu vergleichen. Standardüberprüfungen sind zentral vorgegebene Leistungsmessungen mit dem Ziel, die
Ergebnisse für Schul- und Unterrichtsentwicklung nutzbar zu machen. Die Rückmeldung der Ergebnisse
dient als Impuls für Qualitätsentwicklungsprozesse am jeweiligen Schulstandort sowie landes- und bundesweit. Die externe Evaluation zeigt somit, inwieweit Schulen ihre Kernaufgabe der Vermittlung von
allgemein als notwendig angesehenen Kompetenzen erfüllen.
9
10
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
2.3 Überprüfung der Bildungsstandards
Laut der Verordnung zu den Bildungsstandards (BGBl. II Nr. 1/2009) sind ab dem Schuljahr 2011/12 in
der 8. Schulstufe und ab dem Schuljahr 2012/13 in der 4. Schulstufe periodische Standardüberprüfungen
durchzuführen. Die Auswertungen der Standardüberprüfungen und deren Rückmeldung sollen an jeder
Schule, wie bereits erläutert, gezielte Qualitätsentwicklungsprozesse in Gang setzen. Die dafür getroffenen Maßnahmen müssen gemäß der Verordnung dokumentiert und periodisch evaluiert werden.
Die Überprüfung der Kompetenzbereiche erfolgt domänenorientiert, wie die folgende Abbildung zeigt:
Abb. 2 (selbst erstellt): Domänenorientiertes Überprüfungsdesign
Auf der 8. Schulstufe nehmen ab dem Schuljahr 2011/12 alle öffentlichen und privaten Schulen mit
­gesetzlich geregelten Schulartbezeichnungen (Volksschuloberstufe, Hauptschule, Neue Mittelschule,
­allgemeinbildende höhere Schule) und mit auf Dauer verliehenem Öffentlichkeitsrecht, in vom BMBF
festgelegten Zyklen, an einer Standardüberprüfung teil. Der Überprüfungszyklus begann im Jahr 2012
mit Mathematik, setzte im Jahr 2013 mit Englisch fort und endet im Jahr 2016 mit der Überprüfung
in Deutsch. Im Jahr darauf ist ein neuerlicher Zyklus beginnend mit Mathematik auf der 8. Schulstufe
geplant (vgl. BGBl. II Nr. 1/2009; BGBl. II Nr. 282/2011; BGBl. II Nr. 185/2012).
In der Volksschule wurde im ersten Zyklusjahr nicht getestet. Die Überprüfung auf der 4. Schulstufe
fokussierte 2013 die Mathematikkompetenz. Im Schuljahr 2015 erfolgt die Überprüfung von „Deutsch/
Lesen/Schreiben“ auf der 4. Schulstufe, und zwar am 6. und 7. Mai 2015 (Ersatztermin: 12. und 13.
Mai). Daran werden rund 80 000 Schülerinnen und Schüler an rund 3100 Schulen beteiligt sein (vgl.
BMBF Bildungsstandards [Stand 07.11.2014]).
Für die Standardüberprüfung wird bundesweit einheitlich ein für alle Schulen verbindlicher Testtag gegen Ende des jeweiligen Schuljahres festgelegt. Eine Ausnahme bildet dabei die Überprüfung des Faches
Deutsch/Lesen/Schreiben in der Volksschule. Um die Schüler/innen dieser Altersstufe zeitlich nicht zu
überfordern, findet die Testung an zwei aufeinanderfolgenden Tagen statt. Eine weitere Ausnahme gibt
es bei der Überprüfung der Sprechkompetenz in den Fächern Deutsch und Englisch. Dafür steht ein
Testfenster von zirka einem Monat zur Verfügung (vgl. Breit et al., 2012, S. 18 f ).
Das BMBF hat entschieden, dass die Überprüfungen von Lehrerinnen und Lehrern der eigenen Schule
geleitet werden sollen. Dazu nominiert der Schulleiter oder die Schulleiterin für jede Klasse eine/n
Testleiter/in aus den Lehrpersonen der Schule, die die zu testenden Klassen nicht unterrichten. Als
Qualitätssicherungsmaßnahme für die Ergebnisse auf Systemebene werden in etwa 7 % der Klassen externe Testleitungen eingesetzt oder die Testung wird durch eine/n Qualitätsprüfer/in (in ca. 3 % der
Klassen) beobachtet (siehe Abbildung 3).
Die Schulen mit externer Testleitung oder Qualitätsprüfung werden vom BIFIE zufällig ausgewählt.
Externe Testleiter/innen sind geschulte Lehrpersonen, die den Test nicht an der eigenen, sondern an einer
anderen Schule durchführen. Qualitätsprüfer/innen sind ebenfalls Lehrpersonen, die die Testleiterschulung
absolviert haben. Sie erhalten darüber hinaus ein spezielles Training für die Qualitätsprüfung und be-
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
interne Testleitung
mit Qualitätsprüfung
externe Testleitung
3%
7%
90 %
interne
Testleitung
Abb. 3 (Breit et al., 2012, S. 22): Interne und externe Testleitung, Qualitätsprüfung
suchen dann im Auftrag des BIFIE am Tag der Standardüberprüfung eine Schule. Ihre Aufgabe besteht
darin, die Testabläufe zu beobachten und zu protokollieren und auf die korrekte Einhaltung der standardisierten Abläufe zu achten (vgl. Breit et al., 2012, S. 22).
3Ergebnisrückmeldung
Die Rückmeldung der Ergebnisse der Standardüberprüfung erfolgt hauptsächlich zur Information der
im österreichischen Schulwesen beteiligten Akteure. Die Ergebnisrückmeldung liefert Informationen
zum Grad der Kompetenzerreichung und zu verschiedenen Kontextbedingungen. Sie stellt eine
wichtige Ausgangsbasis für Überlegungen zu Handlungsfeldern im Hinblick auf die nachhaltige Kompetenzsicherung dar. Somit ermöglicht die Rückmeldung der Ergebnisse faktenbasierte
Entscheidungen über Maßnahmen der Qualitätsentwicklung (vgl. Breit et al., 2012, S. 38).
3.1 Die Ergebnisrückmeldung als Datenfeedback
„Feedback ist ein Konzept, das im Alltag selbstverständlich gebraucht und positiv konnotiert wird. Nichts
scheint dagegen zu sprechen, dass es bei einer Übertragung auf das Schulsystem günstige Wirkungen entfalten
könnte.“ (Altrichter, 2010, S. 231)
Im Mittelpunkt der Überlegung, den Kompetenzerwerb von Schülerinnen und Schülern bis zu einem
bestimmten Zeitpunkt in Form von Überprüfungen zu erfassen und die Ergebnisse daraus rückzumelden, steht der Wunsch nach einer kontinuierlichen Verbesserung von Unterricht und Schule. Im Rahmen
dieses Sicherungs- bzw. Qualitätsentwicklungsprozesses ist die Überprüfung der Bildungsstandards und
deren Rückmeldung als schulexternes Datenfeedback zu betrachten, welches als Grundlage für faktenbasierte Steuerungsmaßnahmen sowohl interner Art (an der Schule) als auch externer Art (durch die
Schulbehörden) dient (vgl. Breit et al., 2012, S. 38).
Im Vergleich zu üblichen schulinternen Feedbackschleifen, die von einzelnen Fachkräften oder
Schulstandorten selbst durchgeführt werden, können externe Evaluierungen durch wissenschaftlich
beauftragte Institutionen mit dem nötigen Know-how und Personal Leistungsergebnisse standardisiert
ermitteln, wodurch eine Vergleichbarkeit mit anderen Klassen, Schulen oder österreichweit ermöglicht
wird. Zudem werden im Rahmen der Testungen Kontextfaktoren und Schülerwahrnehmungen erhoben, welche sich mit den Leistungsdaten verknüpfen lassen. Durch das Zusammenfassen (Aggregation)
der einzelnen Daten können schlussendlich Rückmeldungen auf mehreren Ebenen des Schulsystems
11
12
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
(Unterrichtsgruppe, Schule, Schulaufsicht etc.) in unterschiedlichen Ausfertigungen erstellt werden (vgl.
Altrichter, 2010, S.224 f ).
Bisher ist die Evaluationsstruktur im österreichischen Bildungssystem relativ schwach ausgeprägt
(OECD, 2009, 463). Die Einführung der Bildungsstandards und die damit verbundenen objektiv wissenschaftlich fundierten Überprüfungen der Kompetenzen sollen jedoch zur Verbesserung der
Evaluationsstruktur in Österreich beitragen. Um die Informationen aus den Rückmeldungen tatsächlich für Schul- und Unterrichtsentwicklung einzusetzen, wird bei der Rückmeldung der Ergebnisse
aus den Standardüberprüfungen darauf geachtet, dass diese – trotz des komplexen Inhalts – möglichst
verständlich aufbereitet wird. Unabhängig von der Qualität der Rückmeldung sind jedoch Akzeptanz,
Kompetenz und eine positive Grundeinstellung hinsichtlich externer Evaluierungen notwendig, um das
erhaltene Datenfeedback anzunehmen und damit weiterzuarbeiten (vgl. Breit et al., 2012, S. 38 ff).
3.2 Adressatinnen und Adressaten der Ergebnisrückmeldung
Im Rahmen der Etablierung einer evidenzbasierten Steuerung ist Datenfeedback auf mehreren Ebenen
des Schulsystems notwendig. „Bildungspolitik und Schulverwaltung sollen sich im ‚neuen Steuerungsmodell‘
bei i­hren Entwicklungsentscheidungen in gleicher Weise an den postulierten Zielen und den ‚Evidenzen‘ über
die bisherigen Leistungen orientieren, wie dies für die regionale Schulaufsicht oder Unterstützungseinrichtungen
wie die Lehrerfortbildung gilt.“ (Altrichter, 2010, S. 224) Nach jeder Standardüberprüfung werden deshalb
neben Rückmeldungen zur standortbezogenen Qualitätsentwicklung (Lehrerrückmeldung, Schulbericht,
Berichte für die Schulaufsicht) auch Rückmeldungen auf Systemebene (Landesergebnisberichte und
Bundesergebnisbericht) erstellt. Zudem erhalten alle getesteten Schüler/innen eine individuelle OnlineRückmeldung (vgl. Breit et al., 2012, S. 39 f ). Aufgrund der umfangreichen Datenverarbeitung, Analyse
und Aufbereitung können die Ergebnisse den beteiligten Personen zirka ein halbes bis dreiviertel Jahr
nach der Testung rückgemeldet werden.
Abb. 4 (BIFIE Berichte [Stand 07.11.2014]): Adressatinnen und Adressaten der Ergebnisrückmeldung
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Inhaltlich erhalten alle Ebenen des Schulsystems in jeweils unterschiedlicher Form eine Rückmeldung
über die Ergebnisse in ihrem Zuständigkeitsbereich, die verschiedenartigen Bezugsnormen gegenübergestellt werden:
Vergleich mit einer kriterialen Norm (erreichte Kompetenzstufen)
Vergleich mit allen anderen getesteten Schülerinnen und Schülern (österreichweiter Vergleich)
Fairer Vergleich (unter Berücksichtigung struktureller Rahmenbedingungen)
Diese Informationen sind in verschiedenen grafischen Aufbereitungen dargestellt. Der Aufbau sowie die
Struktur der Rückmeldungen werden im Anschluss am Beispiel der Rückmeldung an die Schulleitung
erläutert.
3.3 Aufbau und Struktur eines Schulberichts (vgl. BIFIE Schulbericht
[Stand 07.11.2014]).
Als Schulbericht wird die Rückmeldung an Schulleiterinnen und Schulleiter bezeichnet. Diese erfolgt ­online und kann über einen Zugangscode abgerufen werden, der postalisch ausschließlich an die
Schulleitung gesendet wird. Der Schulbericht besteht aus zwei wesentlichen Teilen – den Schulergebnissen
und den Ergebnissen der einzelnen Unterrichtsgruppen (siehe dazu Abbildung 5).
Die Schulergebnisse untergliedern sich in
a. Informationen über die getesteten Schüler/innen an der Schule sowie
b. Ergebnisse aus den Testungen im überprüften Fach gesamt und
c. Testergebnisse aus den einzelnen Kompetenzbereichen des überprüften Fachs.
Die Ergebnisse im getesteten Fach gesamt erhalten Schulleiter/innen in Form von Testwerten und erreichten Kompetenzstufen (kriteriale Rückmeldung). Ebenso werden Informationen über die Streuung
der Leistung in der Schule sowie Vergleiche getrennt nach Geschlecht, Migrationshintergrund und
deutscher vs. nichtdeutscher Erstsprache (Subgruppenvergleiche) rückgemeldet. Die Darstellung der
Testergebnisse in den einzelnen Kompetenzbereichen erfolgt in Form von Kompetenzprofilen. Die
Gesamtleistung der Schule wird entweder dem Österreich-Schnitt oder einem Erwartungsbereich für die
Schule gegenübergestellt, der unter anderem die demografischen und sozioökonomischen Merkmale der
Schülerpopulation berücksichtigt (fairer Vergleich).
Die Ergebnisse der einzelnen Unterrichtsgruppen enthalten
a Ergebnisse aus den Testungen im überprüften Fach gesamt und
b. Testergebnisse aus den einzelnen Kompetenzbereichen.
Die Ergebnisse der einzelnen Unterrichtsgruppen werden in Form von Testwerten und erreich­
ten Kompetenzstufen (kriteriale Rückmeldung) rückgemeldet, jedoch ohne Angabe von Streuungs­
informationen und Subgruppenvergleichen. Die Darstellung der Testergebnisse in den einzelnen
Kompetenzbereichen erfolgt analog zu den Schulergebnissen in Form von Kompetenzprofilen. Die
Leistungen der Unterrichtsgruppen werden entweder dem Österreich-Schnitt, den Leistungen der Schule
oder einem Erwartungsbereich für die Unterrichtsgruppe (fairer Vergleich) gegenübergestellt (vgl. dazu
auch George & Robitzsch, 2013).
13
14
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Struktur Schulbericht
Anzahl der
Schüler/innen
Informationen
über die
Schüler/innen
demografische/
sozioökonomische
Merkmale
Wohlbefinden
motivationale
Merkmale
kriterialer Vergleich
Rückmeldung an
die Schulleitung
und Schulpartner
Mathematik
gesamt
österr. & fairer Vergleich
Streuung
Geschlecht
Subgruppen
Migrationshintergrund
Erstsprache
allgem. mathematische Kompetenzen
österr. & fairer Vergleich
inhaltl. mathematische Kompetenzen
österr. & fairer Vergleich
Kompetenzbereiche
Schulbericht
Kompetenzprofil
Kompetenzprofil
kriterialer Vergleich
Mathematik
gesamt
österr. Vergleich
fairer Vergleich
Streuung
Ergänzung für die
Schulleitung,
Ergebnisse der
Klassen
österr. Vergleich
allgem. mathematische Kompetenzen
fairer Vergleich
Kompetenzprofil
Kompetenzbereiche
österr. Vergleich
inhaltl. mathematische Kompetenzen
fairer Vergleich
Kompetenzprofil
Abb. 5 (BIFIE Schulbericht [Stand 07.11.2014]): Aufbau und Struktur eines Schulberichts
3.4 Theoretisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen
Wie bereits erläutert, wurden in den letzten Jahren Maßnahmen zur Veränderung der Systemsteuerung
in Richtung Evidenzbasierung und Accountability gesetzt, um die Leistungsfähigkeit des österreichischen Schulsystems zu verbessern. Die Erreichung dieses Ziels soll durch Ergebnisrückmeldungen unterstützt werden, da angenommen wird, dass die handelnden Personen im Schulsystem aufgrund solcher
Informationen Veränderungen vornehmen, die zu besseren Schülerleistungen führen können.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Grundsätzlich sind die Rückmeldungen laut Rieß & Zuber (2014, S. 6) nicht für einzelne Zielgruppen
isoliert zu betrachten, da gerade die Nutzung der Ergebnisse übergreifende Kommunikationsprozesse
voraussetzt, wodurch längerfristig ein Qualitätsprozess innerhalb des gesamten Systems initiiert werden
soll. Zeitlich vorangestellt scheint dem aber die Auseinandersetzung mit den Ergebnissen am jeweiligen
Schulstandort, wofür die Hauptverantwortung bei der Schulleitung liegt. Der an die Rückmeldung anschließende Prozess der Auseinandersetzung mit den Ergebnissen erfolgt nach Helmke & Hosenfeld
(2005, S. 147) in mehreren Phasen:
1. Wahrnehmung der Information (Rezeption)
2. Analyse der Information (Reflexion)
3. Entwicklung und Umsetzung von Maßnahmen (Aktion)
4. Überprüfung der Wirkung der Maßnahmen (Evaluation)
In der nachstehenden Grafik ist der Verlauf von der Rezeption bis zur Evaluation unter Berücksichtigung
verschiedener Rahmenbedingungen dargestellt, der in dieser Form auch in die Konzeption der
Bildungsstandards-Reflexion eingeflossen ist (vgl. Rieß & Zuber, 2014, S. 6).
INDIVIDUELLE BEDINGUNGEN
"
"
"
Reflektion
Aktion
Evaluation
Übermittlung
Verständnis
Suche nach
" Erklärungen
"
Unterrichtsgestaltung
Lernmaterial
Fortbildung
"
über Wirkungen
des Unterrichts
& zusätzl.
Information
"
Prüfung
der
Wirksamkeit
"
"
"
"
Rezeption
INFORMATION
über die Qualität
des Unterrichts
Proffessionelles Selbstverständnis
Stabilität von Gewohnheiten
Empirisches Grundverständnis
Kosten-Nutzen-Abschätzung
"
Subjektive Notwendigkeit
Bereitschaft zur Selbstrefelktion
Selbstwirksamkeit
Akzeptanz von Evaluation
RAHMENBEDINGUNGEN
schulintern
schulextern
Evaluationsklima
Kooperationskultur
Verankerung im Schulprogramm
Schulausstattung
Akzeptanz: Eltern, Schüler, Lehrer
Beteiligung an Schul-Netzwerken
Förderung durch die Schulaufsicht
(Unterstützungssysteme, Moderatoren,
Berater, Modellversuche, Handreichungen,
Arbeitszeitsysteme, Annerkennung)
Hilfeleistung durch die Wissenschaft
Lehreraus- und -fortbildung
Abb. 6 (selbst erstellt): Theoretisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen nach Helmke &
Hosenfeld (vgl. Helmke, 2009, S. 309):
In ihrem Modell gehen Helmke und Hosenfeld von einem vier Schritte umfassenden Umgang mit
Ergebnisrückmeldungen aus. Die einzelnen Schritte werden von externen und internen Bedingungen
beeinflusst. Die internen Bedingungen beziehen sich auf die individuelle Ebene, die Nutzerinnen und
Nutzer der Rückmeldung. Die externen Faktoren sind untergliedert in Schul- und Systemebene. Zu
berücksichtigen ist dabei, dass Art und Ausgestaltung des Ablaufs sowohl von internen als auch von externen Bedingungen beeinflusst werden. Dabei sind mit internen Bedingungen personenbezogene Faktoren,
15
16
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
z. B. die Akzeptanz gegenüber der Rückmeldung, gemeint. Externe Bedingungen umfassen sowohl die
Schul- als auch die Systemebene. Am Ende steht die Evaluation über die nachhaltige Wirkung der vorgenommenen Maßnahmen, danach startet der Qualitätszyklus erneut (vgl. Rieß & Zuber, 2014, S. 7).
Die Ableitung und Umsetzung qualitätssichernder bzw. qualitätsentwickelnder Maßnahmen auf Basis
der Rückmeldung setzt laut Rieß & Zuber (2014, ebd.) voraus, dass die darin verfügbaren Informationen
sachlich richtig interpretiert werden (Rezeption). Daran anschließend erfolgt – unter Berücksichtigung
standortbezogenen Wissens – eine Auseinandersetzung über Faktoren, die das Ergebnis beeinflusst
haben könnten (Reflexion). Erst dann ist es möglich, speziell auf die Bedingungen am Schulstandort
abgestimmte Maßnahmen abzuleiten und selbstständig Schritte im Bereich der Schul- und/oder
Unterrichtsentwicklung zu setzen (Aktion). In welcher Form und mit welcher Intensität sich Schulen
mit den einzelnen Prozessphasen auseinandersetzen, hängt wesentlich davon ab, welchen Nutzen
sich die Beteiligten (Lehrkräfte und Schulleitungen) erwarten. Bezogen auf Helmke (2004) weisen
Rieß & Zuber (2014, ebd.) darauf hin, dass flächendeckende Vergleichsstudien, die ja umfangreiche
Evaluationsstudien des Schulsystems darstellen, ihr Ziel nicht erreichen, wenn sie keine Anregung von
Schul- und Unterrichtsprozessen bewirken.
4Rückmeldemoderation
Die Analyse und Interpretation der Ergebnisberichte, die nach der Überprüfung der Bildungsstandards
in Form eines Schulberichts an die einzelnen Schulen ergehen, und die Integration ihrer Aussagen in
die eigenen laufenden Schul- und Unterrichtsentwicklungsprozesse, die Ableitung von passenden
Konsequenzen vor dem Hintergrund der eigenen Schulkultur – all das ist Neuland für viele Schulen.
Um Schulen dabei zu unterstützen, gibt es seitens der Pädagogischen Hochschulen das Angebot einer
externen Unterstützung durch sogenannte Rückmeldemoderationen (vgl. Breit et al., 2012, S. 57).
Schulen erhalten nach einer Standardüberprüfung Berichte, die einen Umfang von über 80 Seiten
erreichen können. Diese bieten eine umfangreiche Datensammlung, die als Basis für Schul- und
Unterrichtsentwicklungsprozesse dienen kann. Es ist aber nicht so einfach, diese Berichte korrekt
zu interpretieren, nicht zuletzt, weil das Lesen von Statistiken ein spezielles Wissen verlangt, das an
den Schulen bisher nicht notwendig war. Um Schulleiterinnen und Schulleiter beim Lesen und
Interpretieren der Ergebnisrückmeldungen zu unterstützen, können diese im Zeitraum von Jänner
bis Mai über die Pädagogische Hochschule im Bundesland externe Unterstützung durch sogenannte­
Rückmeldemoderatorinnen und -moderatoren (RMM) anfordern. Durch dieses Angebot sollen ein erfolgreicher Transfer der Ergebnisse in adäquates Unterrichtshandeln und entsprechende Maßnahmen der
Schulentwicklung angeregt werden (vgl. Breit et al., 2012, S. 57).
Die Rückmeldemoderation kann sich über zwei Termine erstrecken: Der erste Termin ist dabei immer
ein Einzelgespräch mit der Schulleiterin/dem Schulleiter. Danach kann ein weiterer Einsatz aus folgenden Optionen ausgewählt werden:
Gespräch
der/des RMM mit der Schulleitung und den Lehrerinnen und Lehrern der überprüften
Klassen/Unterrichtsgruppen oder
unterstützende Teilnahme der/des RMM an einer pädagogischen (Fach-) Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen (Verständnisfragen zur Ergebnisrückmeldung der eigenen Klasse bzw. Unterrichtsgruppe).
Bestandteile einer Rückmeldemoderation im Erstgespräch mit der Schulleitung sind:
Lesen und Interpretieren der Grafiken
Stärken- und Schwächenanalyse
Identifizierung von Handlungsfeldern
und Tabellen
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 7 (selbst erstellt): Zyklus-Ablauf von Überprüfung und Rückmeldung der Bildungsstandards
Reflexion von Qualitätsentwicklungs- und Qualitätssicherungsmaßnahmen
Information über bundeslandspezifische Unterstützungsmöglichkeiten
RMM helfen den Schulen dabei, sich der Chancen der Ergebnisrückmeldung bewusst zu werden und Qualitätsentwicklungspotential zu erkennen. Konkrete nachfolgende Schul- und
Unterrichtsentwicklungsprozesse vorzugeben oder zu begleiten ist Aufgabe für ausgebildete Schulund Unterrichtsentwicklungsberater/innen und nicht Aufgabe der RMM (vgl. PH OÖ RMM [Stand
07.11.2014]).
„Die Einschätzung, was die Daten für den jeweiligen Standort bedeuten, muss von der Schule selbst getroffen
werden.“ (Krainz-Dürr, 2012, S. 28) „Punktuell gemessene Lernergebnisse sind immer als Produkt komplexer Zusammenhänge zu verstehen und von vielen äußeren Faktoren abhängig. Unterricht selbst ist zwar ein
­wesentlicher, aber eben nur ein Teil in diesem komplexen Wirkungsgefüge. Daher verbietet es sich, einen einzelnen Faktor als Ursache zu isolieren. Lernergebnisse als Produkt eines komplexen sozialen Geschehens können
daher niemals trivialisiert betrachtet werden.“ (Krainz-Dürr, 2012, S. 29)
Die Ergebnisrückmeldung der Standardüberprüfungen lässt bei der statistischen Interpretation ein Bild
über die relativen Schwächen und Stärken einer Schule zu. Die relativen Schwächen zeigen mögliche
Handlungsfelder der Qualitätsentwicklung einer Schule auf. Die relativen Stärken zeigen auf, wo bereits ein hoher Qualitätsstandard vorhanden ist und daher Qualitätssicherung stattfinden sollte. Welche
Maßnahmen dabei zu ergreifen sind, liegt – wie von Krainz-Dürr (2012) ausgeführt – im Entscheidungsund Verantwortungsbereich der Schulleitung und kann der Ergebnisrückmeldung nicht entnommen
werden.
17
18
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Aufgabe der/des RMM ist es, einerseits mit der Schulleitung Handlungsfelder in beide Richtungen
(Qualität entwickeln vs. sichern) zu identifizieren. Dazu bekommt der/die RMM den Schulbericht
der betreffenden Schule, um sich auf das Gespräch mit der Schulleitung vorbereiten zu können.
Auch die Schulleitung wird gebeten, vor der eigentlichen Moderation eine erste Analyse mit schul­
internem Hintergrundwissen zu erstellen. Die Zusammenführung dieser beiden Analysen bei der
Rückmeldemoderation soll der/dem RMM ausreichend Möglichkeit geben, die sich daraus ergebenden
Qualitätssicherungs- bzw. Qualitätsentwicklungsmaßnahmen anzuregen.
Selbst wenn statistische Ergebnisse korrekt und objektiv dargestellt wurden, können sie dennoch
falsch oder unvollständig interpretiert werden. Bei vielen Messungen ist zu beachten, dass es sich um
Momentaufnahmen handelt, die nach einer gewissen Zeit nicht mehr zutreffen müssen. Ein verantwortungsvoller Umgang mit den Resultaten ist laut Pinwinkler et al. (2013, S. 26) in der Hinsicht anzustreben, dass Ergebnisse im richtigen Licht der gesamten Überprüfungsumstände betrachtet werden. Zum
Beispiel ergibt es wenig Sinn, ein schwaches Ergebnis überzubewerten, wenn nachweislich am Testtag die
Schülerinnen und Schüler durch ein kurz vorhergegangenes Ereignis (z. B. Unfall eines Mitschülers/einer
Mitschülerin) in der Bearbeitung der Testitems emotional stark beeinflusst wurden.
Ebenso können laut Pinwinkler et al. (ebd.) Ergebnisse hinsichtlich verschiedener Merkmale mitein­ander
verglichen werden (z. B. Geschlecht oder Migrationshintergrund). Bei einem Vergleich von Gruppen
dürfen jedoch nicht nur die Gruppenmerkmale selbst (z. B. Geschlecht oder Migrationshintergrund)
als Erklärungsansatz für unterschiedliche Ergebnisse in Betracht gezogen werden. Vielmehr ist es
wichtig,­schulinternes Wissen über die Schülergruppen und weitere Wirkfaktoren heranzuziehen, um
die Ergebnisse sinnvoll interpretieren zu können. Die Ergebnisse der Standardüberprüfung stellen den
Status quo zum Überprüfungszeitpunkt dar. Daraus sind keine direkten Schlüsse auf Ursachen zulässig.
Schülerkompetenzen entstehen in einem komplexen Zusammenspiel aus individuellen Voraussetzungen,
der Lernumgebung und weiteren inner- und außerschulischen Faktoren. Diese Komplexität spiegelt
sich auch in den Schülerleistungen wider, die in der Standardüberprüfung gezeigt wurden. Deshalb
ist für eine verantwortungsvolle Ergebnisinterpretation in jedem Fall schulinternes Wissen über diese
Wirkfaktoren notwendig.
Viele dieser Faktoren sind vor der Rückmeldemoderation für die/den RMM allerdings nicht bekannt.
Bei der Vorbereitung auf die Rückmeldemoderation sollten daher – neben der rein statistischen Analyse
der Ergebnisrückmeldung – auch die vielfältigen Einflussfaktoren auf das Ergebnis einer Schule nicht
außer Acht gelassen werden. Eigene Hypothesen, welche Determinanten ursächlich sein könnten, sollten
in der Rückmeldemoderation möglichst offen und unspezifisch abgefragt werden, um die Schulleitung
zur Reflektion anzuregen. Im Gespräch wird sich die Interpretation durch das schulinterne Wissen
­komplettieren. Die/Der RMM sollte sich jedoch bewusst sein, dass weitere Determinanten bestehen
können, welche die Ergebnisse beeinflusst haben, aber nicht direkt identifizierbar sind (vgl. Pinwinkler,
2013, S. 27).
4.1 Rückmeldemoderation in Oberösterreich – Prozessbeschreibung
In Kooperation mit dem BIFIE Salzburg wurden im Bundesland Oberösterreich in den letzten drei Jahren
fast 90 Personen als Rückmeldemoderator/innen (RMM) ausgebildet. Ein inhaltlicher Schwerpunkt
der Ausbildung lag auf der Vermittlung von statistischen Fachkenntnissen und vertiefendem Wissen
über Bildungsstandards allgemein. Um die Teilnehmerinnen und Teilnehmer auf schwierige und konfliktträchtige Situationen vorzubereiten, wurden darüber hinaus personale und soziale Kompetenzen
(Kommunikation, Konfliktmanagement und Moderation) geschult. Ebenso wurde der Rollenklärung
großes Augenmerk gewidmet, um das Aufgabenprofil einer RMM/eines RMM zu schärfen und die
Grenzen dieser Tätigkeit zu klären.
In Oberösterreich konnten Schulleiterinnen und Schulleiter im Schuljahr 2013/14 in einem vorge­
gebenen Zeitraum per Online-Anmeldung eine Rückmeldemoderation über die PH OÖ anfordern.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 8: Aussendung zur Bewerbung der RMM im Schuljahr 2013/14
Alle Schulleiterinnen und Schulleiter, die im Schuljahr 2013/2014 eine Moderation über das OnlineAnmeldeportal angefordert hatten, erhielten die Kontaktdaten der/des RMM in Form eines Datenblattes
per E-Mail übermittelt. Nach Freischaltung der Ergebnisrückmeldungen (letzte Jännerwoche 2014)
durch das BIFIE setzten sich die RMM telefonisch mit den Leiterinnen und Leitern in Verbindung, um
einen Termin für die Moderation zu vereinbaren.
Damit sich die RMM auf die Arbeit an den Schulen vorbereiten können, müssen diese vor dem
Moderationsgespräch die Schulberichte analysieren. Um die Schulberichte der zugeteilten Schulen
zu bekommen, mussten die RMM beim telefonischen Erstkontakt mit der Schulleitung auch den
Zugangscode für den Schulbericht erfragen, den die Schulleitungen vom BIFIE erhalten hatten. Den
Schulleitungen wurde diese Vorgangsweise schon vor der Ergebnisfreischaltung mit dem Hinweis mitgeteilt, dass alle RMM eine Verschwiegenheitserklärung über die Inhalte der Ergebnisrückmeldung und
der Rückmeldemoderation unterschrieben haben. Nachdem die Moderation erfolgt war, wurde seitens
der RMM eine Abhaltungsbestätigung vorgelegt, die von der Schulleitung als Bestätigung unterschrieben
wurde.
19
20
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 9: Aussendung per E-Mail an Schulleitungen
Im Schuljahr 2013/14 wurden die Ergebnisse der Englischüberprüfung auf der 8. Schulstufe und die
Ergebnisse der Mathematiküberprüfung auf der 4. Schulstufe aus dem Schuljahr 2012/13 rückgemeldet. Insgesamt wurden in Oberösterreich 300 RMM in Anspruch genommen, davon über 180 im
Volksschulbereich. Da manche VS-Schulleiterinnen und Schulleiter mehr als eine Schule betreuen und
daher in solchen Fällen nur ein Gespräch, allerdings mit dem Inhalt von zwei Schulberichten, stattfand,
wird in weiterer Folge von 170 Rückmeldemoderationen im VS-Bereich gesprochen.
Aufgrund des großen Bedarfs und der begrenzten Ressourcen konnte in Oberösterreich mehrheitlich nur
das Erstgespräch mit der Schulleitung angeboten werden. Eine unterstützende Teilnahme des/der RMM
an einer pädagogischen (Fach-) Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs
für Lehrer/innen war nur in wenigen Ausnahmefällen – auf ganz speziellen Wunsch der Schulleitung –
möglich.
4.2 Österreichisches Modell zum Umgang mit Ergebnisrückmeldungen
Für die Schulen besteht, wie bereits erläutert, die Verpflichtung, sich mit den rückgemeldeten Ergebnissen
auseinanderzusetzen und konkrete Qualitätsentwicklungs- und Qualitätssicherungsmaßnahmen einzuleiten. Die Verordnung über Bildungsstandards im Schulwesen legt fest, dass die gesetzten Maßnahmen
zu dokumentieren und periodisch zu evaluieren sind. Welche Maßnahmen dabei zu ergreifen sind, liegt
im Entscheidungs- und Verantwortungsbereich der Schulleitung.
Die Schulaufsicht wiederum hat dafür Sorge zu tragen, dass Qualitätsentwicklungsprozesse tatsächlich
durchgeführt werden. Ebenfalls muss sie Schulen, die Qualitätsentwicklungspotenzial identifiziert haben,
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
in ihrer Entwicklungsarbeit unterstützen. Im Zuge von Bilanz- und Zielvereinbarungsgesprächen mit der
Schulleitung kann die Schulaufsicht auch näher auf Detailergebnisse der Standardüberprüfung eingehen
und Maßnahmen, die sich daraus ergeben, anregen (vgl. BMUKK Umgang mit Rückmeldungen [Stand
07.11.2014]).
Zielvereinbarungen sind auch ein wichtiger Bestandteil des neu formulierten Bundes-Schulaufsichtsge­
setzes, das die Einführung eines bundesweit einheitlichen, durchgängigen Qualitätsmanagement-Systems
auf allen Ebenen der Schulverwaltung und der Schulen vorsieht (vgl. Bundes-Schulaufsichtsgesetz
[Stand 07.11.2014]). Wie in den Erläuterungen zum neuen Bundes-Schulaufsichtsgesetz beschrieben,
ist der Nationale Qualitätsrahmen das Kernstück dieses Qualitätsmanagement-Systems. Eine Reihe von
Maßnahmen und Instrumenten zur Entwicklung und Sicherung der Schulqualität sind darin vorgesehen, wie zum Beispiel die bereits erwähnten Zielvereinbarungen, aber auch Evaluierungen und ein
Planungs- und Berichtswesen. Im Rahmen dieses Qualitätsmanagement-Systems wurden auch die
Organe der Schulaufsicht als „Regionale Qualitätsmanager/innen“ neu positioniert (vgl. Erläuterungen
Bundes-Schulaufsichtsgesetz [Stand 07.11.2014]).
Die regionalen Qualitätsmanagerinnen und -manager schließen mit den Schulleitungen Zielver­
einbarungen ab, in denen bundes- und landesweite Zielsetzungen auf eine regionale bzw. schulische
Ebene heruntergebrochen und konkretisiert werden. Die Zielvereinbarungen kommen nach dem Prinzip
der dialogischen Führung zustande.
Regionale Qualitätsmanagerinnen und -manager haben die Schulleitungen aber auch zu unterstützen,­
zu beraten und auf die Rechtskonformität des schulischen Handelns zu achten. Die Beratung der
Schulleitungen erfolgt strategisch, aber nicht unmittelbar prozessbegleitend.
Die regelmäßige Selbstevaluierung, die in der Schule und auf allen Ebenen der Schulverwaltung stattfinden sollte, ist ebenfalls ein wichtiger Grundbaustein des Nationalen Qualitätsrahmens. Darüber hinaus
enthält der Qualitätsrahmen Maßnahmen und Instrumente, die im Sinne einer ergebnisorientierten
Steuerung notwendig sind, um Qualität zu verbessern und nachhaltig aufrechtzuerhalten. Zum Beispiel
sind bei der Erstellung von Zielvereinbarungen externe Rückmeldungen, wie sie die Schulberichte
der Standardüberprüfungen darstellen, zu berücksichtigen (vgl. Nationaler Qualitätsrahmen [Stand
07.11.2014]).
Seit Oktober 2012 werden seitens des Bildungsministeriums Orientierungs- und Unterstützungsangebote
in Form der Qualitätsinitiative SQA (Schulqualität Allgemeinbildung) für Qualitätsentwicklung und
Qualitätssicherung im allgemeinbildenden Schulwesen angeboten, die auf der Novellierung des BundesSchulaufsichtsgesetzes basieren. Das Thema Lernen und Lehren steht dabei im Zentrum, besondere
Aufmerksamkeit wird den Bereichen Individualisierung und Kompetenzorientierung gewidmet.
„In einem koordinierten Zusammenspiel aller Ebenen des Schulsystems sollen Entwicklungsprozesse etabliert
werden, die in Form einer Aufwärtsspirale von der Bedürfnisformulierung und Ist-Stand-Analyse (z. B. aufgrund der Ergebnisse der Bildungsstandardsüberprüfung) über Zielvereinbarungen, Umsetzungsmaßnahmen
und Erfolgsüberprüfungen zu Konsequenzen und weiterführenden Vorhaben führen.“ (BMUKK Umgang
mit Rückmeldung [Stand 07.11.2014])
Zum breiten Angebot von Unterstützungsmaßnahmen bei der Umsetzung von SQA an jeder einzelnen Schule zählt auch die Initiative EBIS – Entwicklungsberatung in Schulen. Ziel von EBIS ist es,
die Qualität von externer Begleitung und Beratung von Schulen bei ihren Entwicklungsprozessen zu
sichern und weiterzuentwickeln. Im Anschluss an eine Rückmeldemoderation können beispielsweise
über die Initiative „Entwicklungsberatung in Schulen“ (EBIS) qualifizierte Fachkräfte (Unterrichts- und
Schulentwicklungsberaterinnen und -berater), die eine adäquate Ausbildung und Praxis nachweisen
können, von den Schulen angefordert werden. Es fällt nun den Pädagogischen Hochschulen zu, die
Unterrichts- und Schulentwicklungsprozesse zu begleiten und zu unterstützen (vgl. Altrichter & KanapeWillingshofer, 2013, S. 33).
21
22
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 10 (Schreiner, Breit & Wiesner, 2014): Österreichisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen
Die obige Abbildung besagt, dass durch die Ergebnisrückmeldung Informationen über das jeweils überprüfte Fach an die einzelne Schule kommen. Die Informationen (Schulberichte) müssen dort zunächst
einmal sachlich korrekt interpretiert werden. Die sachliche und korrekte Interpretation (Rezeption) kann
durch eine Rückmeldemoderation unterstützt werden. Im Anschluss daran erfolgt unter Einbeziehung
standortspezifischen Wissens eine Reflexionsphase über Faktoren, die das Ergebnis beeinflusst haben
könnten. Danach können speziell auf die Bedingungen am Schulstandort abgestimmte Maßnahmen im
Bereich der Schul- und/oder Unterrichtsentwicklung abgeleitet und gesetzt werden. Den vorgegebenen
gesetzlichen Rahmen für „Reflexion und Aktion“ bildet die Initiative SQA, bei der die Entwicklungsarbeit
in den Entwicklungsplänen nachvollziehbar dargestellt wird und deren Wirksamkeit zu einem späteren
Zeitpunkt auch schulintern evaluiert werden muss.
In welcher Form und mit welcher Intensität sich Schulen mit den einzelnen Prozessphasen auseinandersetzen, hängt wesentlich davon ab, welchen Nutzen sich die Beteiligten (Lehrkräfte und Schulleitungen)
erwarten. Es ist unschwer zu erkennen, dass das dargestellte Rahmenmodell einigermaßen fragil ist, da
verschiedene Ausstiegsmöglichkeiten vorhanden sind, die letztendlich zu Misserfolg führen können. Der
Erfolg dieses Modells hängt von Merkmalen der Schule und des Kollegiums und auch von externen
Faktoren ab. Dazu gehört unter anderem das in einer Schule herrschende Kooperationsklima und die
Einstellung zu externer Evaluation, verbunden mit der Bereitschaft, die schulische Praxis kontinuierlich
zu reflektieren und an der Verbesserung des Lehrens und Lernens zu arbeiten. So weist Helmke (2004) darauf hin, dass flächendeckende Überprüfungen, die ja umfangreiche Evaluationsstudien des Schulsystems
darstellen, ihr Ziel verfehlt haben, wenn sie keine Anregung von Schul- und Unterrichtsprozessen bewirken.
Die institutionelle Basis, die im dargestellten Modell durch SQA – gekoppelt mit Unterstützung in
Form von RMM und EBIS – gegeben ist, ist zwar keine Garantie für das Gelingen, jedoch ein förderlicher Faktor, da durch die gesetzliche Vorgabe ein gewisser Grad an Unterstützung und eine gewisse
Verbindlichkeit vorhanden sind.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Teil B: Evaluation der Rückmeldemoderation
5Evaluationsvorhaben
5.1Ausgangssituation
Die Überprüfungen der Bildungsstandards schaffen eine Informationsgrundlage, um datengeleitete
Qualitätsentwicklungs- und Qualitätssicherungsprozesse im Schulsystem anzuregen. Das BIFIE bietet mit
der Ergebnisrückmeldung aus den einzelnen Standardüberprüfungen eine umfangreiche Datengrundlage,
die Impulse für mögliche Veränderungsmaßnahmen liefern kann. Durch die Information über den IstStand können – wie im „Österreichischen Rahmenmodell zum Umgang mit Ergebnisrückmeldungen“
bereits dargelegt – in weiterer Folge auf die Bedingungen am Schulstandort abgestimmte Maßnahmen
im Bereich der Schul- und/oder Unterrichtsentwicklung in Gang gesetzt werden.
Ein wesentliches Ziel der Erhebung war es, Hinweise aus Sicht der Schulleiterinnen und Schulleiter
über den Erfolg der durchgeführten Moderationsgespräche zu erhalten, um Anregungen für
Verbesserungsmaßnahmen zu bekommen, die an den Bedürfnissen der Schulen orientiert sind. Darüber
hinaus ging es auch darum, Erkenntnisse zu gewinnen, wie die Ergebnisrückmeldung an Schulen von
den Schulleitungen rezipiert wurde, ob und welche Maßnahmen aufgrund der Rückmeldung im Bereich
der Schul- und/oder Unterrichtsentwicklung an den Schulen gesetzt werden und welche positiven und
problematischen Aspekte Schulleiterinnen und Schulleiter mit der Rückmeldung der Bildungsstandards
assoziieren.
Folgende Leitfragen standen im Zentrum der Erhebung:
Welche
Kommunikationsprozesse zu den Bildungsstandardergebnissen finden innerhalb der Schule,
mit Schulpartnern und mit der Schulaufsicht statt?
Welche Faktoren beeinflussen die Inanspruchnahme der Rückmeldemoderation?
Wie wird das Angebot der Rückmeldemoderation beurteilt?
Wurden bereits Maßnahmen der Schul- und Unterrichtsentwicklung als Reaktion auf die Ergebnisrückmeldung gesetzt? Wenn ja, welche Maßnahmen und Schritte wurden bereits gesetzt?
Hätten die Schulleitungen, wenn dies angeboten worden wäre, die/den RMM auch für einen zweiten
Termin (pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für
Lehrer/innen, deren Klassen überprüft wurden) angefordert?
Welche Aspekte werden im Hinblick auf die Rückmeldung der Bildungsstandards positiv und welche
werden als problematisch gesehen?
5.2 Beschreibung des Evaluationsinstruments
Auf Basis der dargestellten Leitfragen wurden die Items für einen Online-Fragebogen konzipiert. Dabei
wurden auch einige von Rieß & Zuber (2014) bei einer Rezeptions- und Nutzungsstudie zu Ergebnissen
der Bildungsstandardüberprüfung in Mathematik auf der 8. Schulstufe unter Berücksichtigung der
Rückmeldemoderation eingesetzte Fragen modifiziert oder direkt übernommen und in den Fragebogen
integriert. Der Aufbau und die Themenbereiche werden im Folgenden kurz dargestellt. Der Fragebogen
selbst befindet sich im Anhang.
Der Online-Fragebogen wandte sich an alle oberösterreichischen Volksschulen, die eine Rückmelde­
moderation in Anspruch genommen hatten. Ziel des Fragebogens war es, die Rückmeldemoderation
aus Sicht der Schulleiterinnen und Schulleiter zu erfassen und deren Eindrücke über dieses
Unterstützungsangebot zu sammeln. Der Evaluationsfragebogen wurde auf Basis der oben angeführten
Leitfragen konzipiert und umfasst folgende Themenbereiche:
23
24
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Rahmenbedingungen der Rückmeldemoderation
Motive zur Inanspruchnahme einer Rückmeldemoderation
Verlauf der Rückmeldemoderation
Maßnahmen der Schul- und Unterrichtsentwicklung als Reaktion auf die Rückmeldemoderation
Positive und problematische Aspekte im Hinblick auf die Ergebnisrückmeldung der Bildungsstan-
dards
Die Online-Befragung wurde mit IQES online (Instrumente für Qualitätsentwicklung und Evaluation
in Schulen) erstellt, durchgeführt und ausgewertet. IQES online stellt eine umfangreiche Palette wissenschaftlich geprüfter und praxiserprobter Instrumente zur Verfügung. Das Evaluationscenter erlaubt die
Durchführung von Online-Befragungen. Außer einem Internetzugang ist keine weitere Software nötig.
Die vorgefertigten Fragebögen von IQES online können beliebig verändert und an eigene Bedürfnisse
angepasst werden. Im Falle der vorliegenden Evaluation wurde ein eigener Fragebogen von Grund auf
selbst erstellt. Dafür standen verschiedene Fragetypen (u. a. Fragen mit Antwortskalen, Fragen mit
Einfach- oder Mehrfachauswahl, offene Fragen) zur Verfügung. Für die Erfassung und Auswertung stellt
IQES online ein Excel-Instrument zur Verfügung. Dieses wurde auf den eigenen PC heruntergeladen
und offline für die Ergebnisauswertung genutzt (vgl. IQES online [Stand 07.11.2014]).
5.3 Zielgruppe und Rücklauf
Für die Befragung zum Ablauf der Rückmeldemoderation an den Volksschulen wurden alle 170
Schulleiterinnen und Schulleiter in Oberösterreich mittels Online-Fragebogen kontaktiert, an deren
Schule eine Rückmeldemoderation stattgefunden hatte.
Tabelle 1 bietet eine Übersicht über die Grundgesamtheit der Schulen, die an der Standardüberprüfung
Mathematik 4. Schulstufe im Bundesland Oberösterreich teilgenommen haben. Die Anzahl der stattgefunden Rückmeldemoderationen stellt gleichzeitig die Stichprobengröße für die Online-Befragung
dar (Vollerhebung). Da manche Schulleiterinnen und Schulleiter im Volksschulbereich mehr als eine
Schule betreuen und daher in solchen Fällen nur ein Gespräch, allerdings mit dem Inhalt von zwei
Schulberichten, stattfand, wird in der Tabelle zwischen „Anzahl der RMM M4“ und „Anzahl der Schulen,
die eine Rückmeldemoderation erhielten“ unterschieden.
Bundesland
Gesamtzahl Schulen
M4 Überprüfung
Anzahl der RMM
M4 im Bundesland
Anzahl Schulen, die im Bundesland eine RMM erhielten
Oberösterreich
559
170
182
Tabelle 1: Übersicht zur Stichprobe
Die Online-Befragung wurde im Oktober 2014 durchgeführt. Der Erhebungszeitraum sollte sicherstellen, dass Schulen ausreichend Zeit zur Verfügung hatten, die Ergebnisse zu rezipieren sowie erste Maßnahmen am Schulstandort auf Basis der Rückmeldung einzuleiten. Ebenso wurde mit
der Festlegung dieses Durchführungszeitraums berücksichtigt, dass alle Schulen die Ergebnisse der
Bildungsstandardüberprüfungen bereits im Schulforum kommuniziert hatten und dass alle Schulen darüber informiert waren, dass nach der positiven Absolvierung der Datensicherheitsüberprüfung durch den
TÜV Austria des BIFIE im Auftrag des BMBF die Standardüberprüfung in Deutsch/Lesen/Schreiben
auf der 4. Schulstufe im Frühjahr 2015 durchgeführt wird.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Beginndatum der Befragung:
20. Oktober 2014
Abschlussdatum der Befragung:
30. Oktober 2014
Per E-Mail eingeladene Befragte:
170
Vollständig beantwortete Fragebogen:
138
Rücklaufquote in Prozent:
81,2
Teilweise beantwortete Fragebogen:
1
Rücklaufquote inkl. teilweise beantwortete Fragebogen in Prozent:
81,8
Tabelle 2: Kontaktaufnahme und Rücklaufquote
Abbildung 11 zeigt die Verteilung der Befragten im Hinblick auf die Anzahl der überprüften Klassen.
Hierbei zeigt sich, dass an 35 Prozent der Schulen die Rückmeldung für eine Klasse erfolgte. Weitere 41
Prozent der Schulen bekamen eine Rückmeldung für zwei Klassen und 24 Prozent der Schulen erhielten
eine Rückmeldung für drei oder mehr Klassen.
Abb. 11: Wie viele Klassen umfasste der M4-Rückmeldebericht?
5.4Ergebnisse
Im Anschluss werden die Ergebnisse der Befragung strukturiert nach der Anordnung der Fragen im
Fragebogen dargestellt. Die in den Grafiken bzw. im Text angegebenen Prozentwerte sind gerundete
Werte, weshalb es vorkommen kann, dass die Summe der gerundeten Prozentangaben nicht exakt 100
ergibt.
5.4.1 Intensität der Auseinandersetzung mit der Rückmeldung
Ein Element der Befragung war, einen Einblick zu erhalten, wie intensiv sich die Schulleiter/innen vor
der Rückmeldemoderation mit den Testergebnissen ihrer Schule auseinandergesetzt haben. Die Intensität
der Auseinandersetzung vor einer Moderation kann möglicherweise eine verstärkte Reflexion während
einer Moderation unterstützen, zu einem besseren Verständnis der rückgemeldeten Daten führen und so
die Wirkungen einer Moderation im Hinblick auf ihren praktischen Nutzen erhöhen.
Um zu ermitteln, wie ausführlich sich die Schulleiter/innen mit der Ergebnisrückmeldung auseinandergesetzt haben, wurden diese gebeten, sich auf einer 4-stufigen Skala (sehr ausführlich 1 gar nicht) zu
positionieren.
25
26
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Wie ausführlich haben Sie sich vor der Rückmeldemoderation mit den Ergebnissen der M4-Überprüfung
auseinandergesetzt?
Abb. 12: Intensität der Auseinandersetzung mit den Testergebnissen
Wie aus Abbildung 12 hervorgeht, geben 38 Prozent der befragten Leiterinnen und Leiter an, sich vor der
Rückmeldemoderation sehr ausführlich mit den Ergebnissen der Rückmeldung beschäftigt zu haben. 39
Prozent bewerten die Auseinandersetzung als ausführlich, 22 Prozent schätzen die Auseinandersetzung
mit den Ergebnissen vor der Moderation als überblicksmäßig ein und 1 Prozent der Leitungspersonen
gibt an, sich gar nicht mit der Rückmeldung befasst zu haben. Insgesamt lässt die Antwortverteilung
auf eine intensive Auseinandersetzung mit den Testergebnissen vor der Rückmeldemoderation schließen, da mehr als drei Viertel der Schulleiterinnen und Schulleiter (107 Personen) ihre eigenständige
Auseinandersetzung mit den Ergebnissen als sehr ausführlich bzw. ausführlich bewerten.
5.4.2 Besprechung der Ergebnisse
Die Schulleiterinnen und Schulleiter wurden in einem weiteren Schritt auch dazu befragt, ob die
Überprüfungsergebnisse vor der Rückmeldemoderation mit anderen Personengruppen besprochen wurden.­
Haben Sie die Testergebnisse vor der Rückmeldemoderation bereits mit anderen Personen besprochen?
Abb. 13: Besprechung der Ergebnisse vor der RMM mit anderen Personen
Eine schulinterne Auseinandersetzung mit den Bildungsstandardergebnissen vor der Rückmeldemodera­
tion fand in erster Linie mit Lehrkräften der getesteten Klassen statt (62 %; 86 Personen). Weitaus
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
weniger Schulleiterinnen und Schulleiter (11 %; 15 Nennungen) besprachen die Ergebnisse vorab auch
mit Lehrerinnen und Lehrern der nicht getesteten Klassen. Im Rahmen einer pädagogischen Konferenz
wurden die Ergebnisse vor der Rückmeldemoderation an 32 Prozent (45 Schulen) der Schulen besprochen. An 10 Prozent der Schulstandorte (14 Standorte), an denen eine Rückmeldemoderation
angefordert wurde, fand bereits vor dem Moderationsgespräch eine Ergebnisbesprechung mit den
Schulpartnern (Elternvertretern) statt. Etwa 14 % der Schulen (19 Schulen) gaben an, bereits vor dem
Moderationsgespräch Kontakt mit der/dem Pflichtschulinspektor/in bezüglich der Ergebnisse gehabt
zu haben. 24 Prozent (34 Nennungen) der Schulleiterinnen und Schulleiter gaben an, dass es vor der
Moderation gar keinen Austausch über die Ergebnisse gab.
5.4.3 Motive für die Inanspruchnahme einer Rückmeldemoderation
Im Rahmen der Befragung sollte auch geklärt werden, welche Motive für die Inanspruchnahme einer
Rückmeldemoderation auf Seiten der Schulleiterinnen und Schulleiter vorhanden waren.
Warum haben Sie eine Rückmeldemoderation in Anspruch genommen?
Abb. 14: Motive für die Inanspruchnahme einer RMM
Gefragt nach den Motiven der Inanspruchnahme der Rückmeldemoderation, gaben die Schulleiterinnen
und Schulleiter mit 105 Nennungen am häufigsten (76 %) an, die Rückmeldemoderation zum Abgleich
mit der eigenen Interpretation angefordert zu haben. Die Bestätigung der eigenen Interpretation war
somit ein wichtiges Motiv. Unterstützung beim Interpretieren der Ergebnisse zu bekommen war für 104
befragte Personen (75 %) der Grund für die Inanspruchnahme. Bei 30 Prozent stand die Hilfestellung
bei der Anleitung der schulinternen Diskussion im Vordergrund, 64 Prozent (89 Nennungen) der befragten Schulleiterinnen und Schulleiter erhofften sich Unterstützung bei der Ergebnisdarstellung gegenüber den Schulpartnern. Etwas mehr als ein Drittel der Schulleiter/innen (54 Nennungen) benötigte Unterstützung beim Lesen der Grafiken, Anregungen für weitere Maßnahmen erwarteten sich 33
Prozent von der Rückmeldemoderation. Deutlich seltener, nämlich in jeweils rund 1 Prozent der Fälle,
wurde die Rückmeldemoderation von der Schulaufsicht angeordnet oder auf Anfrage der Mitglieder im
Lehrerkollegium in Anspruch genommen.
27
28
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
5.4.4 Anforderung der Rückmeldemoderation
Um zu ermitteln, wie die Schulleiterinnen und Schulleiter die Anforderung einer Rückmeldemoderation
beurteilen, wurden diese gebeten, sich auf einer 3-stufigen Skala (problemlos 1 mit großen Schwierig­
keiten) zu positionieren.
Die Anforderung der Rückmeldemoderation verlief ...
Abb. 15: Verlauf der Anforderung einer RMM
Aus Sicht der Schulleiterinnen und Schulleiter verlief die Anforderung von Rückmeldemoderatorinnen
und Rückmeldemoderatoren für 96 Prozent (133 Personen) problemlos. Fünf Personen (4 %) gaben an,
mit kleinen Schwierigkeiten konfrontiert gewesen zu sein. Von einer Schulleitung wurde im Hinblick
auf Schwierigkeiten rückgemeldet, dass man mehrmals beim Rückmeldemoderator anrufen musste, um
einen Termin zu erhalten, da man mit einer fast namensgleichen Volksschule verwechselt worden war.
Die anderen Rückmeldungen bezogen sich auf die Online-Anmeldung. Hier war man sich nach erfolgter Anmeldung über die Anmeldeplattform nicht sicher, ob man auch angemeldet sei, da man keine
Bestätigung per E-Mail erhielt.
5.4.5 Verfügbarkeit der Rückmeldemoderation
Um zu ermitteln, wie die Schulleiterinnen und Schulleiter die Verfügbarkeit der Rückmeldemoderatorinnen
und -moderatoren beurteilen, wurden diese gebeten, sich auf einer 3-stufigen Skala (zum Wunschtermin
1 nicht zum Wunschtermin) zu positionieren.
Wie beurteilen Sie die Verfügbarkeit der Rückmeldemoderation?
Die Terminfindung war aus Sicht der Schulleiterinnen und Schulleiter unkompliziert. Über 80 Prozent
der Schulleiterinnen und Schulleiter (115 Nennungen) gaben an, dass sie die Rückmeldemoderation
zum Wunschtermin erhalten haben. Die restlichen 17 % (23 Personen) erhielten zwar die Rückmelde­
moderation nicht zum Wunschtermin, wurden aber trotz der Wartezeit bei der Auseinandersetzung mit
dem Schulbericht nicht behindert.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 16: Verfügbarkeit einer RMM
5.4.6 Zeitumfang der Rückmeldemoderation
Im Rahmen der Befragung sollte auch geklärt werden, ob die für eine Rückmeldemoderation zur
Verfügung stehende Zeit aus Sicht der Schulleiterinnen und Schulleiter ausreichend war. Um dies zu
ermitteln, wurden die Befragten gebeten, sich auf einer 2-stufigen Skala (ja 1 nein) zu positionieren.
War die zur Verfügung stehende Zeit für die Rückmeldemoderation ausreichend?
Abb. 17: Zeitumfang einer RMM
Der zeitliche Umfang der Rückmeldemoderation wird von den Schulleiterinnen und Schulleitern ganz
überwiegend als ausreichend eingeschätzt. 99 Prozent (136 Nennungen) gaben an, dass die zur Verfügung
stehende Zeit für die Rückmeldemoderation ausreichend war. 2 Personen (1 %) gaben an, dass sie mehr
Zeit für das Gespräch benötigt hätten, als zur Verfügung stand.
5.4.7 Aspekte zum Verlauf der Rückmeldemoderation
Die Schulleiterinnen und Schulleiter wurden in einem weiteren Schritt auch dazu befragt, wie sie verschiedene Aspekte des Gesprächsverlaufs einschätzen. Für die Beurteilung der einzelnen Aspekte standen
vier Antwortkategorien zur Auswahl (trifft nicht zu 1 trifft eher nicht zu 1 trifft eher zu 1 trifft zu).
29
30
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 18: Bewertung des Gesprächsverlaufs zwischen Schulleitung und RMM
Die unterschiedlichen Aspekte zum Verlauf des Rückmeldegesprächs werden insgesamt durchwegs
positiv beurteilt. 100 Prozent (138 Nennungen) der Schulleiterinnen und Schulleiter schätzen das
Gesprächsklima als gut ein und geben an, dass die Moderatorinnen und Moderatoren wertschätzend
und freundlich waren. Mit dem organisatorischen Ablauf (Kontaktaufnahme usw.) waren 94 Prozent
(130 Nennungen) zufrieden. Auch mit der fachlichen Kompetenz des Rückmeldemoderators/der
Rückmeldemoderatorin waren rund 90 Prozent der Teilnehmer/innen (123 Personen) zufrieden, für
10 Prozent (14 Personen) trifft dies eher zu. Auf diesem insgesamt sehr hohen Niveau an Zustimmung
wurde die praktische Verwertbarkeit des Gesprächs für die Weiterarbeit in der Schule vergleichsweise am
seltensten mit trifft zu (86 %, 118 Nennungen) bewertet, insgesamt beurteilen aber auch diesen Aspekt
99 Prozent (137 Personen) mit trifft zu oder trifft eher zu.
5.4.8 Inhaltliche Schwerpunkte der Rückmeldemoderation
Um die inhaltlichen Schwerpunkte und den Informationsgehalt der Rückmeldemoderationen einschätzen zu können, wurden die Schulleiter/innen gebeten, bei jenen Aussagen ein Häkchen zu setzen, die aus
ihrer Sicht zutreffen.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Bitte geben Sie an, welche der folgenden Aussagen über die Rückmeldemoderation für Sie zutreffen.
Durch die Rückmeldemoderation ...
Abb. 19: Inhaltliche Schwerpunkte der RMM
Die Rückmeldemoderation soll eine statistisch korrekte Interpretation der rückgemeldeten Daten sicherstellen. 80 Prozent der Schulleiterinnen und Schulleiter (111 Nennungen) gaben an, dass die
Rückmeldemoderation an ihrem Schulstandort die korrekte Interpretation der Ergebnisse unterstützte.
Die Aussage, man habe eine hilfreiche Unterstützung für die Ergebnispräsentation im Schulforum erhalten, wurde von 81 Prozent (112 Nennungen) der Befragten gewählt. Deutlich seltener gaben die
Schulleiterinnen und Schulleiter an, dass im Gespräch das Aufzeigen von Handlungsfeldern (31 %, 43
Personen) bzw. die konkrete Verwendung der Ergebnisse für Maßnahmen zur Qualitätssicherung und
-entwicklung (38 %, 52 Nennungen) thematisiert worden war. Während 75 Prozent (104 Nennungen)
der Befragten angaben, dass sie nun wissen, wo die Stärken und Schwächen der überprüften Klassen liegen,
wurden Stärken und Schwächen der Schule nur für 54 Prozent der Schulleiterinnen und Schulleiter (75
Nennungen) ersichtlich. 34 Prozent (47 Nennungen) gaben an, im Rahmen der Rückmeldemoderation
eine hilfreiche Unterstützung für weiterführende schulinterne Diskussionsprozesse erhalten zu haben.
Die geringste Aufmerksamkeit kam bei den Moderationen Unterstützungsangeboten der PH OÖ (15 %,
21 Personen) bzw. Anregungen für konkrete Fortbildungsangebote für Lehrkräfte zu, den letztgenannten Aspekt gaben nur 9 Prozent (13 Nennungen) der Befragten an. Insgesamt spiegeln die Angaben der
Schulleitungen eine positive Resonanz wider, was darauf schließen lässt, dass die Rückmeldemoderation
ihren Kernaufgaben (Dateninterpretation) in ausreichendem Maße nachgekommen ist.
5.4.9 Konkrete Maßnahmen bzw. Schritte aufgrund der Ergebnisrückmeldung
Durch die Rückmeldung von Ergebnissen aus der Standardüberprüfung soll an den Schulen ein Prozess der
Qualitätssicherung und -entwicklung initiiert werden (vgl. Erläuterungen Bundes-Schulaufsichtsgesetz
[Stand 07.11.2014]). Auf die Rezeption der Ergebnisse und die daran anschließende Reflexion sollte
also die Umsetzung von Maßnahmen im Bereich der Unterrichts- und Schulentwicklung folgen (vgl.
Schreiner, Breit & Wiesner, 2014). Ziel der Evaluation war es unter anderem auch, einen Eindruck zur
Nutzung der Ergebnisse an den Schulstandorten zu erhalten. Im Detail fokussierten die Fragen darauf,
ob an den Schulen auf Basis der rückgemeldeten Ergebnisse Maßnahmen der Qualitätsentwicklung angestoßen wurden.
31
32
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Um zu erfassen, zu welchen konkreten Reaktionen und Maßnahmen es an den Schulen kam, wurden 18 Statements zur Auswahl gestellt, die mögliche Reaktionen auf die Rückmeldung beinhalten (Mehrfachnennungen waren möglich). Die Palette der Statements reichte von Einbindung von
Testformaten in den Unterricht bis hin zur gezielten Auswahl von Fortbildungsangeboten.
Welche Maßnahmen/Schritte wurden an Ihrer Schule als Reaktion auf die Ergebnisrückmeldung gesetzt?
Abb. 20: Maßnahmen aufgrund der Ergebnisrückmeldung
Am häufigsten wurde von den Schulleiterinnen und Schulleitern angegeben, dass bestimmte
Unterrichtsinhalte verstärkt werden, was im Grunde bedeutet, dass der Fokus bewusst auf jene
Kompetenzbereiche gelegt wird, in denen die Schülerinnen und Schüler schlechter abgeschnitten haben (72 %, 99 Nennungen). Die Einarbeitung der Ergebnisse in SQA wurde am zweithäufigsten genannt (44 %, 61 Nennungen). Auch die Nutzung der Informellen Kompetenzmessung (IKM) (34 %,
47 Nennungen) und die Einbindung von Testformaten in den Unterricht (33 %, 45 Nennungen) zählen zu jenen Maßnahmen, die häufig genannt wurden. Auch eine bewusste Unterstützung bestimmter
Subgruppen (30 %, 42 Nennungen) und die Anpassung von Schularbeiten an die Standards (24 %, 33
Nennungen) wurden wiederholt angeführt. Veränderungsmaßnahmen beziehen sich auch auf die Wahl
der Schulbücher und Unterrichtsmittel. Die Verwendung anderer Schulbücher bzw. die bewusste Wahl
standardbasierter Unterrichtsmittel wurde ebenfalls mehrfach genannt (26 %, 36 Nennungen). Insgesamt
27 Schulen (20 %) leiteten aus der Rückmeldung die Fortbildung ihrer Lehrkräfte als Maßnahme der
Qualitätsentwicklung ab. An manchen Schulen werden auch Maßnahmen zur Persönlichkeitsbildung gesetzt. Diese umfassen zum einen die Steigerung des Wohlbefindens an der Schule (11 %, 15 Nennungen)
wie auch die Stärkung des Selbstkonzepts der Schülerinnen und Schüler (23 %, 32 Nennungen). An 4
Schulen (3 %) wurde als Reaktion auf das Rückmeldeergebnis externe Beratung seitens der Pädagogischen
Hochschule angefordert und an 13 Schulen (9 %) wurden keine Maßnahmen aus dem Ergebnis abgeleitet.
Teilt man die einzelnen Maßnahmen unterschiedlichen Kategorien zu, zeigt sich, dass Maßnahmen
im Bereich der Planung und Gestaltung von Unterricht (209 Nennungen) überwiegen, hierzu zählen vor allem eine Verstärkung einzelner Unterrichtsinhalte sowie eine Änderung der verwendeten
Unterrichtsmaterialien. Die Standardisierung im Unterricht (144 Nennungen) bezieht sich einerseits
auf einen verstärkten Einsatz von standardisierten Diagnoseinstrumenten (IKM) im Unterricht, andererseits auf die Einbindung von Testformaten und die Leistungsbeurteilung. Maßnahmen, die zeitliche
und personelle Ressourcen (79 Nennungen) betreffen, werden deutlich weniger gesetzt und betreffen
hauptsächlich die Einarbeitung der Ergebnisse in SQA. Die wenigsten Maßnahmen wurden in den
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 21: Maßnahmenkategorien aufgrund der Ergebnisrückmeldung
Kategorien Motivation und Wohlbefinden (47 Nennungen) und Fortbildung und externe Beratung (31
Nennungen) gesetzt.
5.4.10 Nützlichkeit der Rückmeldemoderation
Ein weiteres Element der Befragung war, einen Einblick zu erhalten, wie hilfreich und nützlich die
Rückmeldemoderation insgesamt von den Schulleiterinnen und Schulleitern eingeschätzt wird. Dazu
mussten sich die Befragten auf einer 4-stufigen Skala (sehr hilfreich 1 eher hilfreich 1 eher nicht hilfreich 1 gar nicht hilfreich) positionieren.
Insgesamt gesehen, wie hilfreich/nützlich war die Rückmeldemoderation für Sie?
Abb. 22: Nützlichkeit der RMM
33
34
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Wie aus Abbildung 22 hervorgeht, gaben 64 % der befragten Schulleiterinnen und Schulleiter (88
Nennungen) an, dass die Moderation sehr hilfreich für sie war. 34 % (47 Personen) haben die zweite Antwortkategorie „eher hilfreich“ gewählt, 2 % der Befragten (3 Nennungen) geben an, dass die
Rückmeldemoderation eher oder gar nicht hilfreich war.
5.4.11 Angebot eines zweiten Termins
Die Schulleiter/innen wurden auch dazu befragt, ob sie, wenn dies angeboten worden wäre, die/den
Rückmeldemoderator/in auch für einen zweiten Termin (pädagogische Konferenz mit anschließender
Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen, deren Klassen überprüft wurden) angefordert
hätten. Für die Beantwortung wurden vier Antwortkategorien zur Auswahl gestellt (ja 1 eher ja 1 eher
nein 1 nein).
Hätten Sie, wenn dies angeboten worden wäre, die/den Rückmeldemoderator/in auch für einen zweiten Termin (pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für
Lehrer/innen, deren Klassen überprüft wurden) angefordert?
Abb. 23: Angebot eines zweiten Termins
Abbildung 23 zeigt, inwieweit ein zweiter Termin in Anspruch genommen worden wäre. 27 % (37
Nennungen) der Schulleitungen geben an, dass sie das Angebot eines zweiten Termins genützt hätten,
26 % (36 Personen) wählten die Antwort „eher ja“. Weiters geht aus der Antwortverteilung hervor, dass
20 % (28 Nennungen) eher keinen zweiten Termin gewählt hätten und dass die restlichen 27 % (37
Personen) die Rückmeldemoderation nicht für einen zweiten Termin angefordert hätten.
5.4.12 Zukünftige Inanspruchnahme einer Rückmeldemoderation
Um den Umfang einer zukünftigen Inanspruchnahme von Rückmeldmoderationen im VS-Bereich
einschätzen zu können, wurden die Schulleiterinnen und Schulleiter gefragt, ob sie nach der nächsten
Ergebnisrückmeldung (Deutsch 4. Schulstufe) wieder eine Moderation für die Ergebnisinterpretation
anfordern werden. Es wurden drei Antwortkategorien (ja 1 nein 1 kann ich noch nicht sagen) zur
Auswahl vorgegeben.
Auf die Frage, ob sie in Zukunft wieder eine Rückmeldemoderation anfordern werden, antworteten
65 % der befragten VS-Leiterinnen und Leiter (90 Nennungen) mit „ja“, 5 % (7 Personen) mit „nein“.
30 % der Befragten (41 Nennungen) gaben an, dass sie zu diesem Zeitpunkt noch nicht sagen können,
ob sie wieder eine Rückmeldemoderation anfordern werden.
Werden Sie in Zukunft wieder eine Rückmeldemoderation anfordern?
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 24: Zukünftige Inanspruchnahme einer RMM
Auf die Frage, ob sie in Zukunft wieder eine Rückmeldemoderation anfordern werden, antworteten
65 % der befragten VS-Leiterinnen und Leiter (90 Nennungen) mit „ja“, 5 % (7 Personen) mit „nein“.
30 % der Befragten (41 Nennungen) gaben an, dass sie zu diesem Zeitpunkt noch nicht sagen können,
ob sie wieder eine Rückmeldemoderation anfordern werden.
5.4.12.1 Zukünftige Inanspruchnahme im Hinblick auf einen zweiten Termin
Um einen Überblick zu bekommen, wie groß der Bedarf für einen zweiten Moderationstermin (pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen,
deren Klassen überprüft wurden) an jenen Schulen gewesen wäre, die angeben, auch in Zukunft eine
Rückmeldemoderation anfordern zu wollen, wurden die Ergebnisse beider Fragen miteinander verknüpft
und getrennt nach den Antworten „ja“, „eher ja“, „eher nein“ und „nein“ der Fragestellung „Hätten Sie,
wenn dies angeboten worden wäre, die/den Rückmeldemoderator/in auch für einen zweiten Termin
(pädagogische Konferenz mit anschließender Möglichkeit eines Vier-Augen-Gesprächs für Lehrer/innen,
deren Klassen überprüft wurden) angefordert?“ ausgewertet.
Abb. 25: Zukünftige Inanspruchnahme & zweiter Moderationstermin
Wie in Abbildung 25 ersichtlich, war der Wunsch nach einem zweiten Termin an jenen Schulen am größten, die auch in Zukunft eine Rückmeldemoderation anfordern wollen. 86 Prozent der Schulleiterinnen
und Schulleiter, die einen zweiten Termin in Anspruch genommen hätten, geben an, dass sie auch in
Zukunft eine Moderation anfordern werden. Unter jenen Leiterinnen und Leitern, die auf die Frage
35
36
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
nach einem zweiten Termin mit „eher ja“ geantwortet haben, befinden sich auch noch fast 70 Prozent,
die angeben, dass sie die Rückmeldemoderation auch in Zukunft anfordern werden. Im Gegensatz dazu
geben nur 43 Prozent aller Befragten, die laut eigenen Angaben keinen zweiten Termin gewollt hätten,
an, die Rückmeldemoderation auch nächstes Jahr nutzen zu wollen.
5.4.13 Positive Aspekte der Ergebnisrückmeldung
In einem weiteren Schritt wurden die Schulleiterinnen und Schulleiter gebeten, in einem Textfeld (offene
Fragestellung) die wichtigsten positiven Aspekte im Hinblick auf die Rückmeldung der Ergebnisse aus
der Standardüberprüfung zu nennen.
Die gestellte Frage bezog sich nicht mehr auf die Rückmeldemoderation, sondern auf die
Ergebnisrückmeldung an sich. Da ein Teil der gegebenen Antworten aber direkt die Rückmeldemoderation
anspricht, besteht die Möglichkeit, dass durch die Fragenanordnung im Fragebogen Kontexteffekte aufgetreten sind, die sich auf das Antwortverhalten ausgewirkt haben.
Das anschließende Kategoriensystem (Abb. 27) wurde induktiv ausgearbeitet. Das heißt, das Textmaterial
wurde durchgesehen und anschließend kategorisiert. Dabei wurde vom konkreten Textmaterial abstrahiert und versucht, zusammenfassende Bedeutungseinheiten zu finden. Hierbei ist darauf hinzuweisen,
dass eine besondere Schwierigkeit bei der Erstellung des Kategoriensystems in der Vieldeutigkeit der
vorliegenden Kurzstatements liegt. Dies „(...) entspricht aber der Tatsache, dass die soziale Realität nur in
den seltensten Fällen verbal eindeutig erfasst und wiedergegeben werden kann“. (Atteslander, 2003, S.144)
Aussagen werden demnach nicht als isolierte Daten gewertet, sondern als Hinweise auf Zusammenhänge.
Als Auswertungsbasis liegt die Interpretation zugrunde. Die von Bortz & Döring (2006, S.140) formulierten Bedingungen, dass die Kategorien exakt definiert sein müssen (Genauigkeitskriterium), sich gegenseitig ausschließen (Exklusivitätskriterium) müssen und das Merkmal erschöpfend beschreiben müssen (Exhausitivitätskriterium), wurden bei der Erstellung des Kategoriensystems berücksichtigt.
Die Bedeutungseinheiten, die aus dem Auswertungsprozess hervorgingen, wurden grafisch mit dem
Programm „Wordle“ aufbereitet. „Wordle“ ist ein frei zugängliches Werkzeug aus dem Bereich des Web
2.0. Das Tool ist in der Lage, eine Sammlung von Worten und Wortgruppen optisch ansprechend darzustellen. Dabei wird die Anzahl der Wortnennungen dadurch berücksichtigt, dass „Wordle“ in der grafischen Ausgabe häufige Nennungen durch Vergrößerung der Schrift für das betreffende Wort darstellt.
Wird beispielsweise eine Sammlung von Obstsorten erstellt und der Begriff „Apfel“ dreimal genannt,
„Orange“ aber nur einmal, so wird dementsprechend ersterer dreimal so groß präsentiert wie letzterer
(vgl. Wordle [Stand: 07.11.2014]).
Abb. 26: „Wordle“: Positive Aspekte der Ergebnisrückmeldung
Die grafische Darstellung (Abb. 26) der positiven Aspekte der Rückmeldung der Ergebnisse verdeutlicht, dass die Kategorien Außensicht, Bestätigung und Sicherheit wie auch die Unterstützung bei der
Vorbereitung auf das Schulforum sehr positiv bewertet und am häufigsten erwähnt wurden. 30 Personen
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
gaben an, dass der „neutrale Blick von außen“ besonders wichtig sei und – so ein/e Befragte/r – vor
­„sogenannter Betriebsblindheit“ schützt. Als „Loslösung aus der Isolation der eigenen Schulergebnisse“ bezeichnete ein/e Leiter/in die neutrale Außensicht der Rückmeldemoderatorin/des Rückmeldemoderators. Die
„Bestätigung der eigenen Interpretation und der geleisteten Arbeit“ wurde von 23 Leiterinnen und Leitern
positiv betrachtet, sie wurde als „Bestärkung der eigenen Sichtweise“ und als „Gewissheit, auf dem richtigen Weg zu sein“ gesehen. Die Verwertbarkeit der Gespräche und die damit verbundene Unterstützung
bei der Präsentation im Schulforum sehen 23 Schulleiterinnen und Schulleiter als gewinnbringend
an. Die durch die Rückmeldemoderation vermittelte Sicherheit im Lesen und Interpretieren von
Testergebnissen und die damit „gewonnene Sicherheit und Stärkung der Schulleitung für die Aufgaben im
Schulforum“ wurde­von 21 Befragten als positiver Aspekt erwähnt. 17 Personen gaben an, den Anstoß
zur Qualitätsarbeit besonders zu schätzen, 16 Befragte vertraten die Meinung, dass sie Hilfestellung im
Bereich der Stärken-Schwächen-Analyse erhalten haben und 7 Personen meinten, durch die Moderation
Zusammenhänge besser verstehen und erkennen zu können. „Ich dachte vorher, selbst genug in diversen
Seminaren zum Thema Lesen der Ergebnisse gelernt zu haben. Nach der Rückmeldung durch den Moderator
wurde ich aber auf Feinheiten aufmerksam, die ich vorher noch nicht so bewusst wahrgenommen hatte.“ Die
positiven Aspekte zur Anregung und Verwertbarkeit für SQA und der Umsetzung bei der Erstellung von
Entwicklungsplänen wurden von jeweils drei Schulleitungen angeführt. Insgesamt gaben 140 Leiterinnen
und Leiter positive Statements ab.
Abb. 27: Kategoriensystem: Positive Aspekte der Ergebnisrückmeldung
5.4.14 Problematische Aspekte der Ergebnisrückmeldung
Die Leiterinnen und Leiter wurden ebenfalls gebeten, die wichtigsten Aspekte, die sie im Hinblick auf
die Rückmeldung der Bildungsstandard-Ergebnisse problematisch sehen, zu notieren. Jene Aspekte, die
von den Befragten als problematisch empfunden wurden, sind dem folgenden Kategoriensystem (Abb.
29) und der grafischen „Wordle-Darstellung“ (Abb. 28) zu entnehmen:
37
38
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 28: „Wordle“: Problematische Aspekte der Ergebnisrückmeldung
Wie Abbildung 28 verdeutlicht, wurde die Offenlegung der Ergebnisse im Schulforum am häufigsten
(9 Personen) negativ bewertet. Es wurde mehrfach erwähnt, dass „die Ergebnisse unterschiedlich ausgelegt werden können“ und viele der beim Schulforum anwesenden Eltern „gar keine Kinder haben,
die bei der Testung teilgenommen haben“. Ein/e Befragte/r meinte, dass sich die Präsentation der
Ergebnisse im Schulforum „als Bumerang“ erweisen werde. Auch die durch die Rückmeldung „aufkommende Konkurrenzsituation innerhalb des Lehrkörpers“ und das befürchtete „Ranking“ wurden von
jeweils 7 Personen als negativ angeführt. Aufgrund der Einschätzung, dass manchmal falsche Angaben
zum sozioökonomischen Hintergrund gemacht werden, wurden von 5 Personen kritische Statements
zum Eltern-Schüler-Fragebogen abgegeben. 5 weitere Aussagen von Schulleitungen bezogen sich auf
die Kategorie Verschwiegenheit. Es wird als problematisch angesehen, dass die Ergebnisse einerseits im
Schulforum offengelegt werden müssen und so „öffentlich“ werden, andererseits die anwesenden Eltern
zur Verschwiegenheit verpflichtet werden und „nichts weitersagen“ dürfen. Die Testung selbst wurde von
3 Leiterinnen und Leitern als problematisch angesehen. Eine Schulleiterin/ein Schulleiter schrieb, dass
die Testung „eine Momentaufnahme ist und nicht alle Schüler/innen gleich gut mit dieser Testsituation umgehen können und manche Ergebnisse dadurch verzerrt sein können“. Ebenfalls kritisch wurde die Tatsache
gesehen, dass „Schüler/innen mit SPF in Deutsch bei den Bildungsstandards in Mathematik mitmachen
müssen, obwohl sie große Schwierigkeiten beim Erlesen haben“. Auch die fehlende Veränderungsbereitschaft
im Lehrkörper, das Kosten-Nutzen-Verhältnis und die Rückmeldung an Kleinschulen wurden kritisch
gesehen. Eine Schulleitung bewertete auch die eigenen mangelnden Statistikkenntnisse als hinderlich bei
der Interpretation von Ergebnissen.
Insgesamt wurden von den Schulleiterinnen und Schulleitern zu den beiden offenen Fragestellungen 140
positive und 43 negative Aspekte notiert.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Abb. 29: Kategoriensystem: Problematische Aspekte der Ergebnisrückmeldung
39
40
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
6Diskussion
Die vorliegende Evaluationsstudie beleuchtet vorrangig den Beitrag der Rückmeldemoderation zur
Rezeption und Nutzung der Ergebnisse am Schulstandort. Im Wesentlichen ging es dabei um Fragen nach
dem Ablauf, dem Erfolg und den Wirkungen. Darüber hinaus wurden auch Erkenntnisse gewonnen,
wie die Rückmeldeergebnisse für schulische Qualitätsarbeit genutzt werden und welche positiven und
problematischen Aspekte Schulleiterinnen und Schulleiter mit der Rückmeldung der Bildungsstandards
assoziieren.
6.1 Rezeption der rückgemeldeten Ergebnisse zur Standardüberprüfung
Fast 100 Prozent der befragten Schulleiterinnen und Schulleiter setzten sich vor der Rückmeldemoderation
individuell mit den Ergebnisberichten auseinander. Da an die 80 Prozent der Schulleiterinnen und
Schulleiter angaben, sich (sehr) ausführlich mit den Ergebnissen auseinandergesetzt zu haben, lassen die vorliegenden Daten den Schluss auf eine intensive Auseinandersetzung zu. Im Vergleich
zu Rezeptionsstudien aus dem deutschsprachigen Raum, in denen nicht zwingend von einer
Auseinandersetzung mit den Ergebnissen berichtet wird (vgl. Maier, 2011, S. 70), zeigt diese Erhebung
ein anderes Bild, was eine wichtige Basis für die weitere Nutzung der Ergebnisse für Prozesse der Schulund Unterrichtsentwicklung am Schulstandort darstellt.
6.2 Kommunikation der rückgemeldeten Ergebnisse vor der
Rückmeldemoderation
Die Kommunikation der Ergebnisse vor dem Moderationsgespräch war standortspezifisch unterschiedlich. An den meisten Schulstandorten (62 %) wurde bereits vor der angeforderten Rückmeldemoderation
mit den Lehrkräften der getesteten Klassen über die Testergebnisse gesprochen. 32 Prozent der
Schulleiterinnen und Schulleiter kommunizierten vor der Moderation im Rahmen einer pädagogischen Konferenz die Ergebnisse. Es dominierte klar die schulinterne Auseinandersetzung mit dem
Schulbericht vor der Rückmeldemoderation. Eine externe Kommunikation mit den Schulpartnern und
der Schulaufsicht erfolgte vor der Rückmeldmoderation nur an wenigen Standorten. Dies lässt darauf
schließen, dass den Schulleitungen ein professioneller Datenabgleich vor den gesetzlich verordneten externen Kommunikationsprozessen wichtig war. Einen Rückschluss darauf, ob – und wenn ja – in welcher
Form die Ergebnisse extern kommuniziert wurden, liefern die vorliegenden Daten nicht.
6.2 Motive für die Anforderung einer Rückmeldemoderation
Die Rückmeldemoderation hat zum Ziel, die Schulleiterinnen und Schulleiter bei der Analyse und objektiven Interpretation der Ergebnisse und bei der Identifizierung von Handlungsfeldern zu unterstützen. Als maßgebliche Motive für die Inanspruchnahme der Rückmeldemoderation traten das Motiv
zum Abgleich der eigenen Interpretation (76 %) und das Motiv der Unterstützung beim Interpretieren
der Ergebnisse (75 %) zutage. Die beiden Hauptmotive waren in klarer Übereinstimmung mit dem
Angebot, welches die Rückmeldemoderation leisten sollte. Somit war die Gefahr einer Enttäuschung
durch falsche Erwartungen nicht vorhanden und die Grundlage für die adäquate Verwendung der
Rückmeldemoderation gegeben.
Erwähnenswert ist im Hinblick auf die Anforderungsmotive, dass 64 Prozent der Schulleitungen die
Unterstützung für die Darstellung der Ergebnisse im Schulforum als Motiv angaben. Um gezielter auf
diesen Beweggrund eingehen zu können, erscheint eine vertiefte Auseinandersetzung mit dieser Thematik
bei der Grundausbildung und bei den Update-Schulungen der Rückmeldemoderatorinnen und -moderatoren in Zukunft sinnvoll, da die Kommunikation mit den Schulpartnern in der Ausbildung bisher
eine sehr untergeordnete Rolle spielte.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
6.4 Anforderung der Rückmeldemoderation
Die überwiegende Mehrheit der Schulleiterinnen und Schulleiter (96 %) bewertete die Anforderung
der Rückmeldemoderation als problemlos, nur an fünf Schulstandorten verlief diese mit kleinen
Schwierigkeiten. Aus diesem Ergebnis kann eine Bestätigung der bisherigen Anmeldemodalitäten
(Anmeldefristen, Zielgruppenansprache …) mit dem Hinweis auf kleine Verbesserungsmöglichkeiten,
die im Bereich der Onlineanmeldung liegen, abgeleitet werden. Ein sofortiges Antwort-Mail auf die
Anforderung der Rückmeldemoderation erscheint als Optimierungsmaßnahme sinnvoll.
6.5 Verfügbarkeit der Rückmeldemoderation
Die Verfügbarkeit der Rückmeldemoderatorinnen und Rückmeldemoderatoren erschien ausreichend
gegeben. Dies wird dadurch bestätigt, dass 83 Prozent der Schulleitungen angaben, die Moderation
zum Wunschtermin erhalten zu haben. 17 Prozent erhielten die Moderation nicht zum Wunschtermin,
die Wartezeit behinderte sie aber bei der Auseinandersetzung mit dem Schulbericht nicht. Dieses
Ergebnis bestätigt die vom Zentrum für Bildungsstandards geplante und durchgeführte Organisation.
Unterstützungsangebote können meist nur dann gelingen, wenn sich die Motivation der Inanspruchnahme
mit den gebotenen Möglichkeiten der Unterstützungsmaßnahmen deckt und die zeitnahe Verfügbarkeit
der Leistung sichergestellt ist (vgl. Friedmann, 1990, in: Rieß & Zuber, 2014, S. 43).
6.6 Verfügbare Zeit für die Moderation
Nahezu alle Schulleitungen (99 %) sahen die zur Verfügung stehende Zeit als ausreichend an. Die zeitliche
Konzeption der Rückmeldemoderation erhält durch diese Rückmeldung eine eindeutige Bestätigung.
6.7 Detailergebnisse zum Verlauf der Rückmeldemoderation
„Für das Gelingen eines Moderationsgesprächs ist es maßgeblich, den Kommunikationsregeln entsprechend ein
konstruktives Gesprächsklima herzustellen sowie dem Gegenüber persönliche Wertschätzung entgegenzubringen.“ (Rieß & Zuber, 2014, S. 44) Die beiden Detailergebnisse zu Gesprächsklima und wertschätzender
Umgang bezogen sich auf die soziale Kompetenz der Moderatorin/des Moderators und wurden jeweils
mit den Höchstpunkten bewertet. Weiters wurde auch die fachliche Kompetenz der Moderatorin/des
Moderators, die für das Gelingen eines Rückmeldemoderationsgesprächs ebenfalls sehr wichtig ist, abgefragt. Die befragten Schulleitungen bewerteten die fachliche Kompetenz mit 3,9 von 4 möglichen
Punkten. Im selben Ausmaß waren sie mit dem organisatorischen Ablauf zufrieden. Die Verwertbarkeit
des Moderationsgesprächs für die Weiterarbeit in der Schule scheint mit einer Bewertung von 3,8 ebenfalls gegeben. Diese sehr positiven Ergebnisse lassen darauf schließen, dass die im Vorfeld gesetzten
Schritte (z. B. Ausbildung und Schulung der Moderatorinnen und Moderatoren) zum Gelingen einen
wichtigen Beitrag geleistet haben und von hoher Qualität waren. Es ist aber auch der Schluss zulässig,
dass sich die Rückmeldemoderatorinnen und -moderatoren sehr intensiv auf ihre Einsätze vorbereitet
haben.
6.8 Hilfestellungen durch die Rückmeldemoderation
Die Rückmeldemoderation hat als vorrangiges Ziel, die „Datenlesekompetenz“ der Schulleiterinnen und
Schulleiter zu unterstützen und so eine korrekte Interpretation der Ergebnisse zu gewährleisten.­Die
Kompetenzzuwächse waren, so die Aussagen der Schulleitungen, vor allem im Bereich Ergebnisinter­
pretation ersichtlich. Ebenso hat die Rückmeldemoderation dazu beigetragen, mögliche Stärken und
Schwächen sowie Handlungsfelder zu identifizieren. Die Befragung zeigte darüber hinaus, dass die
Moderation für 81 Prozent der Schulleitungen eine hilfreiche Unterstützung für die Ergebnispräsentation
41
42
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
im Schulforum darstellte. An fast 40 Prozent der Standorte diente die Moderation als Anregung, die
Ergebnisse als Grundlage für Maßnahmen zur Qualitätssicherung und Qualitätsentwicklung zu verwenden. Diese Bewertungen stellen im Gesamten eine klare Bestätigung der Rückmeldemoderation im
Hinblick auf die oben angeführte Zielerreichung dar.
Dass nur 15 Prozent der Schulleitungen durch die Moderation wissen, welche Unterstützungsmaßnahmen
(Schul- und Unterrichtsentwicklungsangebote) es seitens der Pädagogischen Hochschule OÖ gibt, sollte
nicht überbewertet werden. Möglicherweise ist die Anzahl der Nennungen hier deshalb so gering, weil
die Schulleitungen die Angebote schon aus anderen Quellen kennen. Das Ergebnis sollte aber als Anlass
genommen werden, die Moderatorinnen und Moderatoren in Zukunft gezielter darauf hinzuweisen, entsprechende Angebote am Ende der Moderation vorzustellen. Hierfür würde sich ein bereits im Vorfeld
gestalteter Folder als Informationsgrundlage gut eignen.
6.9 Gesetzte Maßnahmen aufgrund der Ergebnisrückmeldung
Ein komplexes soziales System lernt dann, wenn durch die Verarbeitung von Information die Bandbreite
der Handlungsmöglichkeiten erweitert wird. Für das System Schule bedeutet dies, dass die involvierten
Personen relevante Informationen für zukünftiges Handeln benötigen. Des Weiteren müssen diese
Informationen im System richtig interpretiert werden, um Entwicklungen in Gang setzen zu können.
Dies ist in komplexen Systemen wie der Schule nicht immer der Fall. Einschränkungen ergeben sich z. B.
durch die individuell unterschiedliche Wissensbasis der Mitglieder, sozial konstruierte Überzeugungen
und die Machthierarchie innerhalb der Institution (vgl. Maier, 2008, S. 98). Die Frage, welche konkreten
Maßnahmen aus den Daten abgeleitet werden, ist daher wohl einer der zentralsten Indikatoren, an denen
der Nutzen der Rückmeldung zu messen ist (vgl. Koch, 2011 in: Rieß & Zuber, 2014, S. 44).
Als Reaktion auf die Ergebnisse gaben über 70 Prozent der Schulleitungen an, bestimmte Unterrichtsinhalte
verstärkt im Unterricht zu behandeln. Diese Maßnahme, die dem Bereich Unterrichtsgestaltung zugeordnet werden kann, wurde von den meisten Schulleiterinnen und Schulleitern (99 Nennungen) genannt, gefolgt von der Qualitätsentwicklungsarbeit im Sinne von SQA (61 Nennungen) und dem Einsatz
von standardisierten Diagnoseinstrumenten (z. B. IKM). Ebenso zeigt sich, dass die Einbindung von
Testformaten in den Unterricht, die erhöhte Aufmerksamkeit für bestimmte Subgruppen, die Anpassung
von Schularbeiten und Leistungsbeurteilung an die Standards und die Neuausrichtung bei Schulbüchern
und Unterrichtsmaterial verstärkt angeregt wurde. Nur an ganz wenigen Schulen (13 Nennungen) wurden keine Maßnahmen als Reaktion auf die Ergebnisrückmeldung abgeleitet.
Angesichts der Datenlage stellt sich die Frage, ob die Logik des österreichischen Rahmenmodells
zum Umgang mit Ergebnisrückmeldungen auch wirklich die Realität abbildet. Die genannten
Umsetzungsmaßnahmen lassen jedenfalls darauf schließen, dass nicht nur die Überprüfungsergebnisse,
sondern auch die Testinstrumente selbst, die eigentlich nur Mittel zum Zweck sein sollten, einen erkennbaren Einfluss auf den Unterricht ausüben. Maßnahmen wie etwa die Nutzung von Testaufgaben
als Übungsmaterial, die Anpassung von Schularbeiten an die Standards, der Einsatz der Informellen
Kompetenzmessung und die Auswahl von Schulbüchern, die vermehrt auch Testformate enthalten, deuten jedenfalls darauf hin, dass im österreichischen Rahmenmodell nicht alle Prozesse (z. B. Einfluss
der Testinstrumente an sich) abgebildet werden. Dass dieses Phänomen kein rein österreichisches
ist, zeigen verschiedene internationale Studien (vgl. Maier, 2014, S. 9). Auch Rieß & Zuber (2014,
S. 45) weisen im Rahmen ihrer Rezeptionsstudie zur Ergebnisrückmeldung der Mathematikergebnisse
auf der 8. Schulstufe darauf hin, dass die Ursachenattribuierungen, welche die Schulleitungen bei der
Rezeption der Daten vollzogen, nur selten in direkt nachvollziehbarem Zusammenhang mit den gesetzten Entwicklungsschritten standen. Auch zeigte sich das Bild hinsichtlich der Einflussfaktoren auf
die Qualitätsentwicklungsarbeit an den Schulen diffus. Die Maßnahmenableitung erwies sich als relativ
unabhängig vom rückgemeldeten Ergebnis.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
6.10 Nützlichkeit der Rückmeldemoderation
Die Schulleiterinnen und Schulleiter erachteten die Rückmeldemoderation überwiegend als sehr/eher
hilfreich und nützlich (98 %). Die Moderation wurde somit von den Schulleitungen sehr nutzbringend erlebt. Diese hohe Akzeptanz trägt möglicherweise dazu bei, dass die Bereitschaft, Maßnahmen zur
Qualitätssicherung und -verbesserung zu initiieren, erhöht wird.
6.11 Anforderung einer weiteren Moderation im Rahmen einer pädagogischen
Konferenz
47 Prozent der Schulleitungen sahen sich durch das Angebot einer Moderation ausreichend versorgt
und hätten eher keine oder keine weiterführende Unterstützung in Form eines zweiten Termins angefordert. Die Mehrheit der Schulleitungen sprach sich allerdings für das Angebot eines zweiten
Moderationstermins aus. 27 Prozent der Befragten beantworteten die Frage „Hätten Sie, wenn dies angeboten worden wäre, den RMM auch für einen zweiten Termin angefordert?“ mit ja, 26 Prozent mit
eher ja. Dieses Ergebnis weist sehr deutlich darauf hin, dass es für einen Teil der Schulleitungen hilfreich
wäre, wenn die Rückmeldemoderatorinnen und -moderatoren nach dem Erstgespräch auch für eine
­pädagogische Konferenz zur Verfügung stehen würden.
6.12 Zukünftige Anforderung einer Moderation
Eine weitere Fragestellung bezog sich auf die zukünftige Anforderung einer Rückmeldemoderation. Ein
beträchtlicher Teil der Schulleitungen gab an, auch in Zukunft wieder eine Moderation anfordern zu
wollen. Ein Teil der Befragten konnte sich zum Abfragezeitpunkt noch nicht festlegen und antworteten
mit „kann ich noch nicht sagen“.
Kombiniert man die Ergebnisse von Frage 13 und Frage 14, so zeigt sich, dass ein Großteil der
Schulleiterinnen und Schulleiter, die wieder eine Moderation anfordern werden, auch die Möglichkeit
eines zweiten Termins schätzen und in Anspruch nehmen würden. Nach Abelmann und Elmore
(1999 in: Rieß & Zuber, 2014, S. 42) unterstützt eine kollektive Dateninterpretation datenbasierte
Schulentwicklung, da ein kollektives Sensemaking (vgl. Coburn, 2004 in: Rieß & Zuber, 2014, S. 42)
ausgelöst wird und interne Verantwortlichkeit entsteht. Die Rückmeldungen der Schulleitungen können
somit als Auftrag gesehen werden, die notwendigen Ressourcen für einen zweiten Moderationstermin
bereitzustellen, um eine noch intensivere Auseinandersetzung mit den Ergebnissen unter Einbindung
des Kollegiums zu gewährleisten.
6.13 Positive Aspekte der Ergebnisrückmeldung
Die Ergebnisse der Befragung nach den positiven Aspekten der Ergebnisrückmeldung zeigen ebenfalls, dass die Rückmeldemoderation eine hilfreiche Unterstützung für die Schulleitungen darstellte.
„Der neutrale Blick von außen“ sowie die Unterstützung im Hinblick auf die Ergebnispräsentation im
Schulforum, die Bestätigung der eigenen Interpretation und der Zugewinn an Sicherheit bei Lesen und
Interpretieren der Ergebnisrückmeldung wurden besonders oft genannt. Aber auch die Impulse für die
Weiterarbeit mit den Daten innerhalb der Schule und die Stärken-Schwächen-Analyse wurden positiv
konnotiert.
Die sehr positive Bewertung eines „neutralen Spiegelbildes von außen“ deutet darauf hin, dass die
Befragten hohes Interesse am Abgleich mit den eigenen Interpretationsergebnissen hatten und motiviert waren, sich mit den Daten auseinanderzusetzen. Die Gespräche mit geschulten Moderatorinnen
43
44
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
und Moderatoren gaben den Schulleiterinnen und Schulleitern die Sicherheit, die Berichte richtig gelesen und interpretiert zu haben, was als wichtige Basis für die weitere Nutzung der Ergebnisse am
Schulstandort gesehen werden kann.
Die Datenlage lässt weiters den Schluss zu, dass der Blick auf die Ergebnisse aus unterschiedlichen
Perspektiven und die damit verbundene Transferleistung im Sinne der Erhöhung der Datenkompetenz
der Schulleitung als hilfreiche Unterstützung im Hinblick auf die Ergebnispräsentation im Schulforum
gesehen werden kann. Diese „höhere“ Sicherheit führt möglicherweise zu einer (selbst)bewussteren
Einbindung der Schulpartner in den Datenkommunikationsprozess, welcher sich laut Rieß & Zuber
(2014, S. 43) im Rahmen der M8-Rückmeldung als bedenklich erwies, da an manchen Schulen die
Kommunikation bewusst vermieden wurde.
Der Aspekt, dass die bisher geleistete Arbeit eine sehr gute war, kann natürlich auch dazu führen, dass
die Rückmeldeergebnisse nicht in Prozesse der schulischen Qualitätssicherung und -entwicklung einfließen. Ergebnisse, die im oder über dem statistisch errechneten Erwartungsbereich einer Schule liegen,
können für die Schulleitungen (sehr) akzeptabel und zufriedenstellend sein und keine weitergehende
Reflexion anregen. Visscher und Coe (2003) sprechen in diesem Zusammenhang von symbolischer
Datennutzung, bei der Feedback-Informationen selektiv genutzt werden, um den eigenen, bereits feststehenden Standpunkt argumentativ zu stützen. Beispielsweise könnten die Daten für die Imagepflege
verwendet werden, um etwa im Rahmen eines Schulforums die Eltern davon zu überzeugen, wie gut die
Schule im Vergleich zum österreichischen Schuldurchschnitt ist.
Die Ergebnisse der Frage nach den positiven Aspekten weisen insgesamt gesehen deutlich darauf hin,
dass eine Rückmeldemoderation zu Kompetenzzuwächsen im Umgang mit den Daten führt und
auch die schulische Qualitätsarbeit anregt. Geht man davon aus, dass es ein wesentliches Ziel der
Rückmeldemoderation ist, die Datenkompetenz der Schulleitungen zu unterstützen und so eine korrekte Interpretation der Ergebnisse zu gewährleisten, dann stellen die Antworten auf die Fragen nach den
positiven Aspekten eine klare Legitimation für eine Weiterführung dieses Unterstützungsangebots dar
(vgl. dazu auch Rieß & Zuber, 2014, S. 44).
6.14 Problematische Aspekte der Ergebnisrückmeldung
Problematische Aspekte der Ergebnisrückmeldung wurden von den Befragten vor allem darin gesehen,
dass die Schulberichte im Schulforum offengelegt werden müssen, die Rückmeldungen Schulrankings
nach sich ziehen könnten und dass im Lehrkörper Konfliktsituationen entstehen können. Ewas seltener
waren die Schulleitungen der Ansicht, dass der Eltern-Schüler-Fragebogen und die von den Eltern verlangte Verschwiegenheit problematische Aspekte darstellen. Vereinzelt wurden auch Äußerungen dahingehend gemacht, dass die Testdurchführung selbst eine bürokratische Routine sei, bei der die Kosten
in keinem Verhältnis zum erzielten Nutzen stehen würden und dass es Lehrkräfte gäbe, denen die
Motivation zur Weiterarbeit mit den Ergebnissen fehle.
Bei der Frage nach den problematischen Aspekten zeigte sich, dass die Ergebnisrückmeldung auch mit
Ängsten und Bedenken besetzt ist. Vor allem schwingt in sehr vielen Antworten mit, dass es im Zuge
der Ergebnisrückmeldung zu Schulrankings kommen könnte. Um diesen Ängsten entgegenzuwirken,
ist ein sehr sensibler Umgang mit den Daten erforderlich. Dabei erscheint es wesentlich, dass auf Ebene
der Schulleitung und der Schulaufsicht sehr sorgsam mit den rückgemeldeten Ergebnissen umgegangen
und vermittelt wird, dass es um die Qualitätsentwicklung am jeweiligen Schulstandort und nicht um
den Vergleich mit anderen Schulen oder Lehrkräften geht (vgl. dazu auch die Ergebnisse von Grillitsch
& Amtmann, 2012, S. 21). Ob ein Bundesländerranking, das die Veröffentlichung der Länderergebnisse
zwangsläufig mit sich bringt, einen positiven Beitrag zum Abbau der genannten Ängste und Bedenken
leistet, muss bezweifelt werden.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Insgesamt gesehen könnte es von Vorteil sein, wenn seitens des BMBF die Regelungen für den Umgang
mit den Rückmeldeergebnissen noch klarer definiert werden. Der Hinweis, dass es nicht im Sinne einer seriösen Auseinandersetzung mit Schulentwicklung ist, wenn die Schulleitung oder Mitglieder der
Schulpartnerschaftsgremien mit Ergebnissen an die Öffentlichkeit treten, geht in die richtige Richtung
(vgl. BMUKK Umgang mit Rückmeldungen [Stand 07.11.2014]). Verbindlicher wäre aber beispielsweise ein Erlass, der den Schulen eine Veröffentlichung ihrer Ergebnisse untersagt. Damit könnte auch regionalen Rankings (die beispielsweise dadurch entstehen könnten, dass einzelne Schulen ihre Ergebnisse
aus „Werbezwecken“ bekannt geben) vorgebeugt werden.
Ein weiterer problematischer Aspekt, der hier noch kurz diskutiert werden soll, bezog sich auf die fehlende Veränderungsbereitschaft und Motivation mancher Lehrkräfte. Aus schultheoretischer Sicht erzeugen externe Evaluationen – wie sie die Überprüfungen der Bildungsstandards darstellen – konfliktträchtige Spannungsfelder, die sich motivationshemmend auswirken können. Einerseits wird mit zentralen
Tests der Versuch unternommen, Schuleffektivitätsforschung für Einzelschulentwicklungsprozesse anschlussfähig zu machen. Andererseits werden die Tests von der Bildungsadministration verordnet und
somit von Lehrkräften auch als externes Kontrollinstrument wahrgenommen, was zu Abwehrreaktionen
führen kann (vgl. Maier, 2008, S. 96). Externe Evaluationen haben im österreichischen Schulsystem
keine Tradition, daher wird ihnen auch oft mit Skepsis oder sogar Ablehnung begegnet. Es ist daher eine
wichtige Aufgabe für Schulleiterinnen und Schulleiter, ein Innovationsklima im Lehrkörper aufzubauen,
das die Nutzung von extern erhobenen Daten fördert. Datenbasierte Schul- und Unterrichtsentwicklung
muss in diesem Sinn als ein Bestandteil von Schulentwicklung gesehen werden, und dies folgt ganz
speziellen Gesetzmäßigkeiten. Das Kollegium muss offen über Handlungsfelder sprechen können, die
Schulleitung muss zusammen mit Steuergruppen einen Entwicklungsprozess partizipativ gestalten können, die Schule muss Ziele und Indikatoren definieren und sich kontinuierlich hinterfragen, inwiefern
man die Ziele schon erreicht hat (vgl. Maier, 2014, S. 10).
7Resümee
Insgesamt betrachtet zeigen die Daten, dass das Projekt Rückmeldemoderation im Schuljahr 2013/2014
als gelungen bezeichnet werden kann. Die befragten Schulleiterinnen und Schulleiter erachteten das
Angebot überwiegend als (sehr) hilfreich, um die Ergebnisse der Standardüberprüfung korrekt interpretieren und in weiterer Folge adäquate Unterrichts- und Schulentwicklungsmaßnahmen ableiten zu können. Auch der Verlauf der Moderationen wurde sehr positiv bewertet, was die Qualität der im Vorfeld gesetzten Maßnahmen (z. B. Ausbildung und Schulung der Moderatorinnen und Moderatoren) bestätigt.
Verbesserungsbedarf ist im Bereich der Online-Anmeldung zu erkennen. In diesem Zusammenhang
muss zukünftig darauf geachtet werden, dass nach erfolgter Anmeldung über die Anmeldeplattform
sofort ein standardisiertes Antwortmail an die Schulleitung als Bestätigung versendet wird. Optimiert
kann das Angebot auch dadurch werden, dass die Moderatorin/der Moderator für einen zweiten Termin
im Rahmen einer pädagogischen Konferenz zur Verfügung steht. Schritte in diese Richtung sollten jedenfalls angedacht werden, da es auf Seiten der Schulleitungen einen erkennbaren Bedarf dafür gibt.
Angemerkt sei aber, dass Schritte in diese Richtung zusätzliche Qualifizierungsmaßnahmen auf Seiten
der Rückmeldemoderatorinnen und Rückmeldemoderatoren nach sich ziehen müssen, um ein professionelles Agieren in heiklen Rückmeldegesprächen bzw. mit schwierigen Gesprächspartnerinnen und -partnern (im Rahmen von Konferenzen) zu unterstützen. In diesem Zusammenhang muss auch die Frage geklärt werden, ob im Rahmen einer pädagogischen Konferenz nur mit fiktiven Grafiken gearbeitet werden
soll oder ob reale Schulergebnisse moderiert werden sollen. Geht man in Richtung „Moderation realer
Schulergebnisse“, dann wird die klare Trennung zwischen Rückmeldemoderation und Schulentwicklung
teilweise nicht mehr möglich sein, da die Grenzen verwischt werden.
Die vorgelegte Studie gibt nicht nur einen Einblick über den Beitrag der Rückmeldemoderation zur
Rezeption und Nutzung der Bildungsstandardergebnisse an den Schulstandorten, die diese Unterstützung
über die Pädagogische Hochschule OÖ angefordert haben. Sie zeigt darüber hinaus auch auf, welche
45
46
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Maßnahmen die rückgemeldeten Ergebnisse an den Schulen nach sich ziehen und welche positiven und
problematischen Aspekte Schulleiterinnen und Schulleiter mit der Rückmeldung der Bildungsstandards
assoziieren.
Betrachtet man die Maßnahmen, die nach der Ergebnisrückmeldung an den Schulen gesetzt wurden,
dann stellt sich die Frage, ob das österreichische Rahmenmodell zur schulischen Qualitätsarbeit in ­seiner
derzeitigen Form die Realität abbildet. Basierend auf den Daten liegt die Vermutung nahe, dass die
standortspezifisch gesetzten Maßnahmen sich auch an den Testinstrumenten selbst orientieren. Die hier
geäußerte Vermutung ist vor allem der Tatsache geschuldet, dass die von den Schulleitungen genannten
Maßnahmen nur teilweise in direkt nachvollziehbarem Zusammenhang mit den Rückmeldeergebnissen
stehen können. Die vorliegenden Ergebnisse sprechen tendenziell dafür, das österreichische Rahmenmodell
zur schulischen Qualitätsarbeit um den Punkt „Testwirkungen“ zu ergänzen. Angemerkt sei an dieser
Stelle, dass das hier angedeutete Phänomen nicht einfach mit der Bezeichnung „teaching to the test“
abgetan werden kann. Einige Effekte können durchaus auch positiv gesehen werden, weil damit die
eine oder andere Innovation (z. B. Aufgabenkultur, kriteriale Beurteilung von Texten) in den Unterricht
transportiert wird.
Abb. 30 (selbst erstellt): Auf Basis der Datenlage verändertes Rahmenmodell
Die von den Schulleitungen geäußerten problematischen Aspekte weisen zudem noch auf eine weitere
Ergänzungsmöglichkeit hin. Wenn an einer Schule kein Evaluations- und Kooperationsklima vorhanden
ist, dann kann nicht davon ausgegangen werden, dass die Rückmeldeergebnisse automatisch in schulische Qualitätsarbeit einfließen. Damit die Daten gar nicht oder nur „symbolisch“ genutzt werden, muss
schon im Vorfeld von Rückmeldungen von den Schulleitungen ein Innovationsklima aufgebaut werden,
das datenbasierte Entwicklungsprozesse unterstützt (vgl. dazu auch Maier, 2014, S. 9).
Die vorliegende Studie gibt Einblicke über die Wirkung von Rückmeldemoderationen im Hinblick auf
die Rezeption und Nutzung der Ergebnisse der M4-Standardüberprüfung am Schulstandort und legt
damit eine fundierte Entscheidungsbasis für die zukünftige Gestaltung dieses Unterstützungsangebots.
Die Ergebnisse dieser Studie werfen aber auch Fragen auf, die nicht beantwortet werden können.
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Vor allem ist unklar, ob die mit der Online-Befragung erfassten Maßnahmen und Schritte nach der
Ergebnisrückmeldung mit dem österreichischen Rahmenmodell zur schulischen Qualitätsarbeit übereinstimmen. Mit rein quantitativen Befragungsdaten wird man dabei zu keiner befriedigenden Antwort kommen, es werden auch qualitative Zugänge nötig sein. Folgestudien könnten beispielsweise die Orientierung
von Maßnahmen an den Testinstrumenten oder Gelingensbedingungen für Rückmeldemoderationen an
einem zweiten Termin im Rahmen einer pädagogischen Konferenz genauer beleuchten.
8Literaturverzeichnis
Altrichter, H. (2010): Schul- und Unterrichtsentwicklung durch Datenrückmeldung. In H. Altrichter & K. Maag Merki
(Hrsg.), Handbuch neue Steuerung im Schulsystem (S. 219–254). Wiesbaden: Verlag für Sozialwissenschaften.
Altrichter, H. & Kanape-Willingshofer, A. (2013). Bildungsstandards und externe Überprüfung von Schülerkompetenzen: Mögliche Beiträge externer Messungen zur Erreichung der Qualitätsziele der Schule. In: M. Bruneforth, L.
Lassnigg & B. Herzog-Punzenberger (Hrsg.). Nationaler Bildungsbericht Österreich 2012. Indikatoren und Themen
im Überblick (S. 32–32). Graz: Leykam.
Atteslander, P. (2003). Methoden der empirischen Sozialforschung. 10. neu bearb. und erweiterte Aufl. Berlin: de Gruyter.
Beer, R. (2006). Bildungsstandards. Einstellungen von Lehrerinnen und Lehrern. Wien: LIT Verlag.
BIFIE Berichte, URL: https://www.bifie.at/node/65 [Stand 07.11.2014]).
BIFIE Bildungsstandards, URL: https://www.bifie.at/bildungsstandards [Stand 07.11.2014].
BIFIE Schulbericht, URL: https://www.bifie.at/system/files/dl/BiSt-UE_RM_M4_Schulbericht_I_20140131.pdf [Stand
07.11.2014].
BIFIE Standardüberprüfung, URL: https://www.bifie.at/standardueberpruefung [Stand 07.11.2014].
BMBF Bildungsstandards, URL: https://www.bmbf.gv.at/schulen/unterricht/ba/bildungsstandards.html [Stand
07.11.2014].
BMUKK Umgang mit Rückmeldungen, URL: http://www.evapstirol.at/resources/bildungsstandards_rl.pdf [Stand
07.11.2014].
Bortz J. & Döring N. (2006): Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4., überarb. Aufl., Berlin: Springer.
Breit, S., Furlan, N., Kuhn J., Laimer, G., Längauer-Hohengaßner, H., Meließnig, C., Neureiter, H., Rieß, C., Schreiner, C., Siller, K. & Friedl-Lucyshyn, G. (2012). Bildungsstandards in Österreich. Überprüfung und Rückmeldung.
Salzburg: BIFIE/ZMS. URL: https://www.bifie.at/node/560 [Stand 07.11.2014].
Bundes-Schulaufsichtsgesetz, URL: https://www.ris.bka.gv.at/Dokumente/BgblAuth/BGBLA_2011_I_28/BGBLA_2011_I_28.
pdf [Stand 07.11.2014].
Erläuterungen Bundes-Schulaufsichtsgesetz, URL: http://www.parlament.gv.at/PAKT/VHG/XXIV/I/I_01113/fname_
210115.pdf [Stand 07.11.2014].
Erläuterungen zur Änderung des SCHUG, BGBl Nr. 472/1986 idF BGBl. I Nr. 117/2008, URL: http://www.ris.bka.
gv.at/Dokumente/Begut/BEGUT_COO2026_100_2_434752/COO_2026_100_2_434762.html [Stand 07.11.2014].
47
48
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
George, A. C. & Robitzsch, A. (2013). „Fairer Vergleich“ in der BIST-Ü-M4 2013. Salzburg: BIFIE. URL: https://www.
bifie.at/system/files/dl/Fairer_Vergleich_M4.pdf [Stand 07.11.2014].
Grillitsch, M. & Amtmann, E. (2012). Rezeption der Bildungsstandards und Erfahrungen mit der Ergebnisrückmeldung. Befunde der Begleitforschung zur Baseline-Testung auf der 4. Schulstufe. Graz: BIFIE.
Helmke, A. (2009). Unterrichtsqualität und Lehrerprofessionalität. Diagnose, Evaluation und Verbesserung der Unterrichtsqualität. Seelze: Klett-Kallmeyer.
Helmke, A. (2004). Von der Evaluation zur Innovation: Pädagogische Nutzbarmachung von Vergleichsarbeiten in
der Grundschule. Seminar – Lehrerbildung und Schule 2. S. 90–112. In: Rieß, C. & Zuber, J. (2014). BIST-Begleitforschung 2/2014: Rezeption und Nutzung von Ergebnissen der Bildungsstandardüberprüfung in Mathematik auf
der 8. Schulstufe unter Berücksichtigung der Rückmeldemoderation. Salzburg: BIFIE.
Helmke, A. & Hosenfeld, I. (2005). Ergebnisorientierte Unterrichtsevaluation. In: Interkantonale Arbeitsgemeinschaft
Externe Evaluation von Schulen (Hrsg.). Schlüsselfragen zur externen Schulevaluation (S. 127–151). Bern: h.e.p.Verlag.
Huber, C., Späni, M., Schmellentin, C. & Criblez, L. (2006). Bildungsstandards in Deutschland, Österreich, England,
Australien, Neuseeland und Südostasien. Literaturbericht zu Entwicklung, Implementation und Gebrauch von Standards in nationalen Schulsystemen. URL: http://www.edudoc.ch/static/web/arbeiten/harmos/lit_analyse_1.pdf
[Stand 07.11.2014].
IQES online, URL: https://www.iqesonline.net/index.cfm [Stand 07.11.2014].
Klieme, E., Avenarius, H., Blum, W., Döbrich, P., Gruber, H., Prenzel, M., Reiss, K., Riquarts, K., Rost, J., Tenorth,
H.-E. & Vollmer, H. J. (2007). Zur Entwicklung nationaler Bildungsstandards. Eine Expertise. URL: http://www.bmbf.
de/pub/zur entwicklung_nationaler_bildungsstandards.pdf [Stand: 07.11.2014].
Krainz-Dürr, M. (2012). Ergebnisse der Standardüberprüfungen: Stolpersteine und Handlungsstrategien. In: Bildungsstandards und Qualitätsentwicklung an Schulen. Impulse für Schulleiter/innen (S. 25–38). Salzburg: BIFIE.
Lucyshyn, J. (2007). Bildungsstandards in Österreich. Entwicklung und Implementierung. Pilotphase II (2004–2007).
Salzburg: BIFIE.
Maier, U. (2014). Datenbasierte Schul- und Unterrichtsentwicklung. Ein kritischer Blick auf die Realität. Schulmanagement. Die Fachzeitschrift für Schul- und Unterrichtsentwicklung 2/2014, S. 8–11. Oldenbourg.
Maier, U. (2008). Rezeption und Nutzung von Vergleichsarbeiten aus der Perspektive von Lehrkräften. Zeitschrift für
Pädagogik 54, S. 95–117.
Nationaler Qualitätsrahmen, URL: http://www.sqa.at/course/view.php?id=78 [Stand 07.11.2014].
OECD (2009). Bildung auf einen Blick 2009. OECD-Indikatoren. Paris: OECD/W. Bertelsmann.
PH OÖ RMM, URL: http://www.ph-ooe.at/de/rmm.html [Stand 07.11.2014].
Pinwinkler, M., Luthe, S. & Heumann, S. (2013). Skriptum Modul 3: Statistische Grundlagen. Seminarreihe „Rückmeldemoderatorin/Rückmeldemoderator“. Salzburg: BIFIE.
PISA, URL: http://www.bifie.at/pisa [Stand: 07.11.2014].
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Reusser, K. (2009). Von der Bildungs- und Unterrichtsforschung zur Unterrichtsentwicklung – Probleme, Strategien,
Werkzeuge und Bedingungen. Beiträge zur Lehrerinnen- und Lehrerbildung, 27(3), 295–312. URL: http://www.bzlonline.ch/archivdownload/artikel/BZL_2009_3_295-312.pdf [Stand: 07.11.2014].
Rieß, C. & Zuber, J. (2014). BIST-Begleitforschung 2/2014: Rezeption und Nutzung von Ergebnissen der Bildungsstandardüberprüfung in Mathematik auf der 8. Schulstufe unter Berücksichtigung der Rückmeldemoderation. Salzburg: BIFIE.
Schreiner, C., Breit, S. & Wiesner, C. (2014). Überprüfung der Bildungsstandards 2013 in M4 und E8. Unveröffentlichte PowerPoint-Präsentation. Informationsveranstaltung für Landeskoordinator/innen im Jänner 2014. BIFIE
Salzburg.
Verordnung der Bundesministerin für Unterricht, Kunst und Kultur über Bildungsstandards im Schulwesen. BGBl. II
Nr. 1/2009 v. 2.1.2009. URL: http://www.ris.bka.gv.at/Dokumente/BgblAuth/BGBLA_2009_II_1/BGBLA_2009_
II_1.pdf [Stand: 07.11.2014].
Verordnung der Bundesministerin für Unterricht, Kunst und Kultur über Bildungsstandards im Schulwesen. Novelle.
BGBl. II Nr. 282/2011 v. 24.08.2011. URL: https://www.ris.bka.gv.at/Dokumente/BgblAuth/BGBLA_2011_II_282/
BGBLA_2011_II_282.pdf [Stand: 07.11.2014].
Verordnung der Bundesministerin für Unterricht, Kunst und Kultur über Bildungsstandards im Schulwesen. Novelle.
BGBl. II Nr. 185/2012 v. 30.05.2012. URL: http://www.ris.bka.gv.at/Dokumente/BgblAuth/BGBLA_2012_II_185/
BGBLA_2012_II_185.pdf [Stand: 07.11.2014].
Visscher, A. J. & Coe, R. (2003). School performance feedback systems: Conceptualisation, analysis, and refl ection. School effectiveness and school improvement, 14, 321–349. In: Uwe Maier, Thorsten Bohl, Marc Kleinknecht
& Kerstin Metz (2011). Journal für Bildungsforschung, Nr. 2, S. 62–93. Waxmann.
Wordle, URL: http://www.lehrer-online.de/wordle.php [Stand 07.11.2014].
Zimmermann, L. C. (2011). Der Bildungsstandard „Schreiben“ der 8. Schulstufe. Eine Analyse der Aufgabenqualität
ausgewählter Text- und Beispielaufgaben unter Einbezug empirischer Schreibforschung. URL: http://static.unigraz.at/fileadmin/ projekte/ forschungsnetzwerk-fachdidaktik/Publikationen/da_zimmermann_2_f.pdf [Stand:
07.11.2014].
49
50
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
9
Abbildungs- und Tabellenverzeichnis
8
Abb. 1: Zusammenhang zwischen Lehrplan und Standards (Breit et al., 2012, 12)
10
Abb. 2: Domänenorientiertes Überprüfungsdesign
11
Abb. 3: Interne und externe Testleitung, Qualitätsprüfung (Breit et al., 2012, 22)
12
Abb. 4: Adressatinnen und Adressaten der Ergebnisrückmeldung (BIFIE Berichte [Stand 07.11.2014])
14
Abb. 5: Aufbau und Struktur eines Schulberichts (BIFIE Schulbericht [Stand 07.11.2014])
15
Abb. 6: Theoretisches Rahmenmodell zum Umgang mit Ergebnisrückmeldungen nach Helmke & Hosenfeld (vgl. Helmke, 2009, 309):
17
Abb. 7: Zyklus-Ablauf von Überprüfung und Rückmeldung der Bildungsstandards
19
Abb. 8: Aussendung zur Bewerbung der RMM im Schuljahr 2013/14
20
Abb. 9: Aussendung per E-Mail an Schulleitungen
22
Abb. 10: „Österreichisches“ Rahmenmodell zum Umgang mit Ergebnisrückmeldungen (Schreiner,
Breit & Wiesner, 2014)
25
Abb. 11: Wie viele Klassen umfasste der M4-Rückmeldebericht?
26
Abb. 12: Intensität der Auseinandersetzung mit den Testergebnissen
26
Abb. 13: Besprechung der Ergebnisse vor der RMM mit anderen Personen
27
Abb. 14: Motive für die Inanspruchnahme einer RMM
28
Abb. 15: Verlauf der Anforderung einer RMM
29
Abb. 16: Verfügbarkeit einer RMM
29
Abb. 17: Zeitumfang einer RMM
30
Abb. 18: Bewertung des Gesprächverlaufs zwischen Schulleitung und RMM
31
Abb. 19: Inhaltliche Schwerpunkte der RMM
32
Abb. 20: Maßnahmen aufgrund der Ergebnisrückmeldung
33
Abb. 21: Maßnahmenkategorien aufgrund der Ergebnisrückmeldung
33
Abb. 22: Nützlichkeit der RMM
34
Abb. 23: Angebot eines zweiten Termins 35
Abb. 24: Zukünftige Inanspruchnahme einer RMM
35
Abb. 25: Zukünftige Inanspruchnahme & zweiter Moderationstermin47
36
Abb. 26: “Wordle“: Positive Aspekte der Ergebnisrückmeldung
37
Abb. 27: Kategoriensystem: Positive Aspekte der Ergebnisrückmeldung
38
Abb. 28: “Wordle“: Problematische Aspekte der Ergebnisrückmeldung51
39
Abb. 29: Kategoriensystem: Problematische Aspekte der Ergebnisrückmeldung53
46
Abb. 30: Auf Basis der Datenlage verändertes Rahmenmodell 63
24
Tabelle 1: Übersicht zur Stichprobe 32
25
Tabelle 2: Kontaktaufnahme und Rücklaufquote
33
49
51
10Anhang
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
51
10.1 Evaluationsfragebogen für Schulleiterinnen
52
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
53
54
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
55
56
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
Rezeption und Nutzung von Ergebnissen der BIST-Ü M4 in Oberösterreich
57

Sehr geehrte Frau Direktorin, sehr geehrter Herr Direktor

KnatterRatter - Schulen Zermatt

AK Wien Veranstaltung - AMS

Mitarbeiter/in Rezeption & Reservation

Kompetenzfeststellung Kompetenzfeststellung – Wie geht das

Dipl. Sozialarbeiterinnen/

Zum Tagungsprogramm - Religionspädagogisches Institut Loccum

Was Bildungsstandards sind… Bildungsstandards legen fest

ZC - Berolina Camping GmbH

Plakat: Fest zum Welttag des Buches 2016