Was ist Evaluation und warum ist sie so wichtig? Stand: 08.03.2016 Sektion I Inhaltsverzeichnis INHALTSVERZEICHNIS........................................................................................................................................... 2 WAS IST EVALUATION UND WARUM IST SIE SO WICHTIG? .......................................................................................... 3 1. Warum braucht es Evaluation und Feedback? ....................................................................................... 3 2. Evaluation – was ist das? ....................................................................................................................... 3 2.1 Exkurs: „Alltagsevaluation“ und professionelle Evaluation – wo liegt der Unterschied? ................ 4 2.2 Feedback und pädagogische Diagnostik als wichtige Elemente der Evaluation .............................. 5 3. „Spielarten“von Evaluation .................................................................................................................... 6 3.1 „Gegenstände“ von Evaluation: Was kann evaluiert werden? ........................................................ 6 3.2 Evaluationszwecke: Wozu wird evaluiert? ....................................................................................... 7 3.3 Evaluationsarten: Wer evaluiert? In wessen Auftrag? ..................................................................... 9 3.4 Evaluationsmethoden: Woher kommen die Daten? ...................................................................... 10 4. Evaluation und Feedback: Was bringt das? ......................................................................................... 10 Was ist Evaluation und warum ist sie so wichtig? 2 Was ist Evaluation und warum ist sie so wichtig? Dieses Kapitel ist eine Einführung in das Thema Evaluation. Es gibt eine erste Orientierung, worum es bei Evaluation und Feedback geht. Sie finden hier grundlegende Informationen und Begriffsbestimmungen zu Evaluation und Feedback verschiedene „Spielarten“ von Evaluation einen ersten Überblick, warum Evaluation und Feedback für SQA wichtig sind und welchen Nutzen sie für Schulen und Lehrer/innen bringen. 1. Warum braucht es Evaluation und Feedback? Evaluation und Feedback sind wesentliche Pfeiler der Schul- bzw. Unterrichtsentwicklung. Man braucht sie in allen Phasen von Qualitätsentwicklungsprozessen: Ob Bestandsaufnahme zu Beginn eines Vorhabens, punktuelle Rückmeldungen im Verlauf des gesamten Prozesses oder abschließende Evaluation der Wirksamkeit von Maßnahmen – ohne das Sammeln und Analysieren von Daten und Rückmeldungen gibt es keine seriöse Qualitätsentwicklung. Selbstvergewisserung ist ein Merkmal von Professionalität, das gilt für Personen wie für Organisationen. Mehr zu Evaluation und Feedback in SQA siehe hier. 2. Evaluation – was ist das? Evaluation ist in aller Munde. Ständig wird irgendetwas von irgendjemandem evaluiert. Da Menschen im täglichen Leben ständig Bewertungen vornehmen (ob das Essen schmeckt, die Kollegin sympathisch ist etc.), hat Evaluation selbst in die Alltagssprache Eingang gefunden. Diese „Alltagsbewertungen“ sind jedoch nicht gemeint, wenn in SQA von Evaluation die Rede ist. Hier geht es um ein professionelles Verständnis von Evaluation. Mit Evaluation ist demnach eine systematische Untersuchung und Bewertung eines Gegenstands auf der Basis empirischer, d.h. erfahrungsbasierter Informationen gemeint, in der Absicht, seine Qualität und seinen Nutzen sicherzustellen und weiterzuentwickeln. Mit „Gegenstand“ sind bei SQA Schule und Unterricht gemeint. Zu Gegenständen von Evaluation siehe unten. Der Terminus „Erfahrungsbasierte Informationen“ bezeichnet die verschiedenen Arten von Daten, auf die sich die Evaluation stützt: z.B. Statistiken und Ergebnisse von quantitativen Erhebungen (wie z.B. das Online-Individualfeedback), aber auch qualitative Daten, wie sie bei Interviews, moderierten Gruppendiskussionen oder als Ergebnis von kreativen Methoden entstehen. Mehr dazu siehe Kapitel 4 und Kapitel 9. Evaluation ist nutzungsorientiert: Sie soll die Praxis unterstützen und handlungsrelevante Ergebnisse hervorbringen. Sie ist daher immer „maßgeschneidert“, d.h. auf Evaluationsgegenstand und Fragestellungen abgestimmt. Was ist Evaluation und warum ist sie so wichtig? 3 Professionelle Evaluation gibt es mittlerweile in vielen Bereichen, nicht nur in der Schule. Sie hat sich in den letzten etwa 50 Jahren zu einer eigenen Disziplin entwickelt. Sollten Sie Interesse haben, hier mehr zu erfahren, so finden Sie Informationen und Links zu Evaluation hier. 2.1 Exkurs: „Alltagsevaluation“ und professionelle Evaluation – wo liegt der Unterschied? Die Abgrenzung der Evaluation von Alltagsbewertungen bedeutet nun nicht, dass für eine seriöse und aussagekräftige Evaluation im Rahmen schulischer Qualitätsentwicklung aufwändige und anspruchsvolle wissenschaftliche Forschungen vorgenommen werden müssen. Das kann Schule, das können Lehrkräfte gar nicht leisten. (Sehr wohl kann dies aber von einer wissenschaftlichen, externen Evaluation erwartet werden.) Eine gewisse „Wissenschaftlichkeit“ muss jedoch sein, damit in professionellem Sinn von Evaluation die Rede sein kann: Evaluation geht über die intuitiven Bewertungen, wie man sie in vielen Situationen im Alltag sozusagen „aus dem Bauch heraus“ macht, hinaus. Die Zauberwörter sind „systematisch“ und „empirisch“, d.h. auf der Basis von Daten, „dokumentiert“ und „intersubjektiv nachvollziehbar“: Das sind die Merkmale von professioneller Evaluation. Hier nun ein Beispiel, um den Unterschied zwischen „Alltagsevaluation“ und professioneller Evaluation zu veranschaulichen: Schüler/innen haben im fächerübergreifenden Unterricht gelernt, ihre Projekte in professioneller Art und Weise vorzustellen. Nun möchten die Lehrkräfte (und auch die Schüler/innen) wissen, wie gut sie das Präsentieren beherrschen. Grundlage für die Evaluation sind die Abschlusspräsentationen, die die Schüler/innen vor den beteiligten Klassen halten. Diese Präsentationen sollen folgendermaßen bewertet werden: 1) Eine erfahrene Lehrkraft, die bereits selbst viele Präsentationen gehalten hat, notiert zu jeder Präsentation ihre persönlichen Eindrücke. Sie nutzt besonders „starke“ Adjektive (z.B. „exzellent“, „unvollständig“), um die Besonderheiten der jeweiligen Präsentationen zu kennzeichnen. 2) Die Präsentationen werden von drei Schüler/innen entlang eines einheitlichen, strukturierten Beobachtungsschemas protokolliert. Dabei werden verschiedene Dimensionen unterschieden (z. B. Struktur, inhaltliche Angemessenheit, Verständlichkeit, Anschaulichkeit etc.). Nachfolgend werden die festgehaltenen Beobachtungsdaten verglichen. Als Zusammenfassung werden für jede Beobachtungsdimension eine Schulnote und eine kurze Begründung angegeben. Welches Vorgehen kann nun als Evaluation in unserem Sinne gelten? Die Bewertung in Beispiel 1 wird zwar von einer erfahrenen Person durchgeführt, sowohl Beobachtung als auch Bewertung sind jedoch unsystematisch. Man weiß nicht, was beobachtet wurde und nach welchen Kriterien beurteilt wurde. Es werden keine „Daten“ (im Sinne von empirischen Beobachtungen) gesammelt und dokumentiert, der gesamte Prozess kann von anderen Personen nicht nachvollzogen werden. Die Beurteilungen sind zwar markig, aber nur wenig aussagekräftig, v.a. wenn die Präsentationstechnik von den Schüler/innen auf dieser Basis verbessert werden soll. Es handelt sich hier also nicht um eine Evaluation. Was ist Evaluation und warum ist sie so wichtig? 4 Im zweiten Beispiel wird systematisch vorgegangen, es werden Daten erhoben und protokolliert. Die Bewertungen sind auf dieser Basis gut nachvollziehbar. Es handelt sich in diesem Fall also klar um eine Evaluation. Quelle: Beispiel durch Autorin adaptiert von Balzer/Bewyl 2015 Wie eine seriöse Evaluation in der Schule möglich ist, zeigen die nächsten Kapitel. 2.2 Feedback und pädagogische Diagnostik als wichtige Elemente der Evaluation Mit Feedback ist in SQA die Rückmeldung von betroffenen/beteiligten Personen an andere Personen bezüglich deren Verhalten, deren Leistung und der von ihnen erzielten Ergebnisse (bzw. deren Auswirkungen) gemeint. Die Absicht dabei ist, die Qualität gemeinsam gestalteter/erlebter Prozesse und Produkte zu verbessern. Feedback setzt ein Minimum an Systematisierung voraus, die durch den Einsatz verschiedener Methoden und Instrumente sowie durch die Einhaltung elementarer „Spielregeln“ sichergestellt wird. Es kann sich auf einzelne Personen (Individualfeedback) oder auf Gruppen, Teams oder Institutionen/Organisationen beziehen (z.B. Klassenfeedback in SQA online). Mehr dazu hier. Evaluation und Feedback: Feedback ist in SQA eine der wichtigsten, weil wirksamsten Informationsquellen. Es ist genau genommen kein eigenes Verfahren, sondern eine Form (der „Datenerhebung“ in) der Evaluation. Wenn im Folgenden von Evaluation die Rede ist, ist auch Feedback (mit)gemeint, da hier grundsätzlich die gleichen Regeln gelten. Wird Feedback ausdrücklich genannt, so deshalb, weil speziell darauf eingegangen werden soll. Evaluation und pädagogische Diagnostik Es gibt einen Bereich, in dem Evaluation zum Alltagsgeschäft von Lehrer/innen gehört: die Bewertung der Leistung von Schüler/innen. Aus diesem Grund sind Lehrer/innen auch prinzipiell mit Evaluation vertraut. Leistungsbewertung und pädagogische Diagnostik sind tatsächlich ein wichtiger Teil der Evaluation in SQA (s. die Qualitätsbereiche 1 und 2). Unterscheiden muss man dabei zwischen 1) der Leistungsbewertung und pädagogischen Diagnostik als solche, d.h. der Evaluation der Schülerleistungen, und 2) der Evaluation der von den Lehrer/innen angewandten Verfahren zur Leistungsbewertung und pädagogischen Diagnostik. Die Evaluation in SQA beschäftigt sich mit beiden Aspekten, wobei der zweite Punkt streng genommen eine Art „Metaevaluation" darstellt. Das Thema „pädagogische Diagnostik“ (Punkt 1) wird unter „Lernen und Lehren“ ausführlich behandelt. Welchen Stellenwert es als Anwendungsbereich von Evaluation in SQA innehat, dazu gibt es weitere Informationen im Kapitel "Pädagogische Diagnostik als zentraler Anwendungsbereich von Evaluation". Mehr zu förderlicher Leistungsbewertung in SQA finden Sie hier. Mehr zur pädagogischen Diagnostik finden Sie hier. Was ist Evaluation und warum ist sie so wichtig? 5 3. „Spielarten“von Evaluation Evaluation kann je nach Kontext und Intention zu verschiedenen Zwecken und in verschiedener Art und Weise durchgeführt werden. Hier werden die wichtigsten „Spielarten“ vorgestellt: 3.1 „Gegenstände“ von Evaluation: Was kann evaluiert werden? Grundsätzlich kann alles, was mit Schule und Unterricht zu tun hat, einer Evaluation unterzogen werden. Hier werden nun einige nützliche Unterscheidungen präsentiert. Sie sollen helfen, Klarheit über das eigene Tun zu bekommen – als Basis für eine qualitätvolle Planung und Durchführung, aber auch um die Auseinandersetzung mit Erwartungen und Ansprüchen der verschiedenen Betroffenen und Beteiligten zu erleichtern. Schulebene und individuelle Ebene Evaluation kann erfolgen · auf Schulebene: die ganze Schule oder größere Teile davon sind betroffen oder · auf individueller Ebene: der Unterricht einzelner Lehrkräfte/Teams ist Gegenstand. Wenn Evaluation im Zusammenhang mit dem Entwicklungsplan erfolgt, betrifft sie oft die gesamte Schule oder größere Teile davon. Unterfüttert werden sollte diese Evaluation jedoch auch durch Selbstevaluation von Lehrkräften und Teams, insbesondere als Evaluation des Unterrichts. Je nach Gegenstand, Umfang und Initiator/innen der Evaluation ergeben sich unterschiedliche Herausforderungen: Bei der Selbstevaluation einzelner Lehrkräfte (z.B. durch Individualfeedback) stellt sich die Frage, wie dies anerkannt und über den Kreis der direkt Beteiligten hinaus bzw. für die Schule als Ganzes genutzt werden kann. Bei der Evaluation auf Schulebene muss sichergestellt werden, dass die Evaluation nicht die Sache einiger weniger bleibt, sondern über Schulleitung, Schulkoordinator/in und ev. Qualitätsteam hinaus das gesamte Kollegium anspricht. Qualitätsbereiche Evaluation kann einzelne Qualitätsbereiche in den Blick nehmen oder ein Gesamtbild geben. Meist empfiehlt es sich jedoch, nicht allzu breit zu evaluieren, sondern eher einzelne Qualitätsbereiche in den Blick zu nehmen, um die Evaluation nicht zu überfrachten und „Datenfriedhöfe“ zu kreieren. Auch in den Entwicklungsplänen konzentriert sich die Schule ja auf zwei Qualitätsbereiche. In SQA stehen die Qualitätsbereiche 1 „Lernerfahrungen und Lernergebnisse“ und 2 „Lernen und Lehren“ im Mittelpunkt, auf sie sollte in der Evaluation in jedem Fall Bezug genommen werden. Auch der selbst gewählte Entwicklungsschwerpunkt ist ein wichtiger Ausgangspunkt für Evaluation. Die Auswahl der Qualitätsbereiche wird auch davon bestimmt, ob sich die Evaluation eher · mit den Voraussetzungen und Rahmenbedingungen (Kontext), · mit den Prozessen an der Schule – mit Fokus auf das Lernen und Lehren – , · mit den Lernergebnissen (Output) oder · mit langfristigen Wirkungen (Outcome) beschäftigen soll. Was ist Evaluation und warum ist sie so wichtig? 6 Situationsanalyse oder Evaluation von Veränderungen Schließlich kann man unterscheiden zwischen · Evaluation als Situationsanalyse/Bestandsaufnahme zu Beginn eines Entwicklungsprozesses und · der Evaluation von Maßnahmen und den Veränderungen/Wirkungen, die diese (hoffentlich) zeigen. Für SQA ist beides wichtig und sowohl für die Evaluation auf Schulebene relevant, als auch für die Unterrichtsevaluation einzelner Lehrkräfte oder Teams. Im Normalfall folgt auf eine Ist-Analyse eine Entwicklungsphase, die nach einiger Zeit ihrerseits evaluiert wird. Es kommt also zu einem zyklischen, (iterativen) Vorgehen: einem Kreislauf, einer Qualitätsspirale. Mehr dazu finden Sie hier. Für die Evaluation von Schulentwicklung spielen in SQA die Entwicklungspläne eine zentrale Rolle. Sie beginnen mit einem Rückblick und einer Ist-Analyse zum jeweiligen Thema. Dazu bedarf es einer ersten Evaluation, die die Bestandsaufnahme mit Daten (erhobenen und vorhandenen) unterfüttert. Sie ist auch die Basis für einen Ist-Soll-Vergleich zu einem späteren Zeitpunkt. Die Ist-Analyse eignet sich besonders zur (ersten) Orientierung: In welchen Bereichen bzw. wo in einem größeren Bereich gibt es auffällige Ergebnisse, die möglicherweise auf besondere Stärken/Schwächen hinweisen? Eine Bestandsaufnahme kann in der Folge vertiefende Untersuchungen nach sich ziehen. Sie eignet sich auch gut für Längsschnittuntersuchungen. Auf Schulebene kann sich die Bestandsaufnahme auf einzelne Personen, Gruppen, Teams, Klassen, Jahrgänge, Abteilungen oder die ganze Schule beziehen. Sie soll nach Möglichkeit multiperspektivisch angelegt sein (d.h. also möglichst auch eine Außensicht einbeziehen). Gibt es erste Entwicklungs(fort)schritte, sind die Maßnahmen zu überprüfen: ob die Bemühungen tatsächlich erfolgreich sind; ob die gewünschte Richtung stimmt; ob die Dosierung passt; und ob der Plan sinnvoll war. Im Unterschied zur Ist-Analyse braucht es dazu eine Evaluation von Veränderungen, es geht also um einen Vergleich zwischen dem Stand zu Beginn des Entwicklungsprozesses und dem aktuellen Status quo bzw. zwischen dem gewünschten Ziel und dem tatsächlich Erreichten. Dies hat Auswirkungen auf das Design und die Methoden einer Evaluation, die nun Veränderungen (oder deren Ausbleiben) nachzeichnen muss. Gleiches gilt für die Evaluation von Unterrichtsentwicklung. Auch hier versuchen einzelne Lehrkräfte oder Teams zuerst den Stand der Dinge durch eine Ist-Analyse genauer zu fassen. Die aus dieser Bestandsaufnahme entwickelten Maßnahmen werden dann ihrerseits evaluiert, um zu sehen, ob man damit dem gewünschten Ziel näher gekommen ist. 3.2 Evaluationszwecke: Wozu wird evaluiert? Evaluation kann verschiedenen Zwecken und Auftraggeber/innen dienen; sie kann den Entwicklungsgedanken voranstellen oder auf Kontrolle abzielen (oder sogar beides auf einen Nenner bringen wollen). Sie kann · formativ, also prozessbegleitend und entwicklungsunterstützend, oder · summativ, d.h. bilanzierend und im Nachhinein, erfolgen. Was ist Evaluation und warum ist sie so wichtig? 7 Evaluationslandkarte nach John Nisbet Evaluation soll Entwicklungen anstoßen und begleiten Für die Evaluation in SQA steht v.a. der formative, d.h. entwicklungsorientierte Ansatz im Zentrum: Evaluation soll dazu beitragen, Schule und Unterricht weiterzuentwickeln. Sie wendet sich daher hauptsächlich an die Schule selbst, d.h. v.a. an das Kollegium und natürlich die Schulleitung. Formative Evaluation wird im Schulbereich daher oft als Selbstevaluation oder interne Evaluation durchgeführt: Die Verantwortung sowie die Durchführung und der Umgang mit Ergebnissen liegen bei der Schule oder – im Falle der Selbstevaluation von Unterricht – bei den beteiligten Lehrkräften. Evaluation soll helfen Schul- bzw. Unterrichtsqualität sichtbar zu machen Andererseits kann Evaluation auch dazu genutzt werden, um Bilanz zu ziehen und Rechenschaft abzulegen über die Qualitäts(vor)sorge an der Schule. Dies kann zu regelmäßigen Zeitpunkten erfolgen, am Ende eines Projekts oder auch im Falle einer Nachfrage, z.B. von Eltern, Schulaufsicht oder anderen externen Stakeholdern. Es ist diese Art von Evaluation, in der die Bewertungsfunktion von Evaluation für die meisten am klarsten zutage tritt. Solche Evaluationen zur Rechenschaftslegung können extern veranlasst und durchgeführt werden, dies ist aber im Schulbereich nur selten der Fall. Hier werden eher intern durchgeführte Evaluationen (auch) für summative Zwecke genutzt; aus Sicht der Rechenschaftslegung kommt es dabei vor allem darauf an, ob/wie seriös die interne Evaluation durchgeführt wurde. Jedenfalls ist darauf zu achten, dass die (behördliche) Beurteilung und die Maßnahmen der (Selbst-)Evaluation voneinander getrennt werden, um ein ehrliches (statt einem vorgetäuschten) Bemühen um die Einschätzung der Qualität von Schule und Unterricht zu erreichen. Was ist Evaluation und warum ist sie so wichtig? 8 Evaluation soll Wissen generieren In jedem Fall geht es in Evaluation darum, etwas „herauszufinden“, d.h. Wissen zu generieren, das für die weitere Arbeit genutzt werden kann. Gerade im Bereich des Unterrichts bedient sie sich der Aktionsforschung und hilft die eigene professionelle Tätigkeit besser zu verstehen. „Knackpunkte“ erforschen: Evaluation eignet sich insbesondere auch dazu, „Knackpunkte“ von Schule und Unterricht zu erforschen, also Themen, die ein wichtiges Anliegen sind und zu denen Informationen nicht offen zutage liegen; es also ein systematisches und datenbasiertes Vorgehen braucht, um sie zu ergründen. Neues erfahren: Schließlich kann Evaluation Neues und vielleicht sogar Unerwartetes zutage bringen. Um zu neuen Informationen und Einsichten zu kommen, braucht es Neugierde und Offenheit, sich darauf einzulassen, Neuland zu betreten und Unübliches zu erproben. 3.3 Evaluationsarten: Wer evaluiert? In wessen Auftrag? Man spricht von interner und externer, von Selbst- und Fremdevaluation – je nach Auftraggeber/in, Durchführung, Datenhoheit oder Entscheidungsgewalt über Konsequenzen. Selbstevaluation und interne Evaluation Im Schulbereich – und damit auch in SQA – wird vor allem die Selbstevaluation bzw. die interne Evaluation praktiziert. Die beiden Begriffe werden in der Praxis oft synonym verwendet, die folgenden Differenzierungen bieten zusätzliche Unterscheidungen: Von Selbstevaluation spricht man dann, wenn Personen oder Teams ihr eigenes Handeln evaluieren. Dies ist bei der Unterrichtsevaluation meist der Fall. Lehrer/innen sind in diesem Fall sozusagen in Personalunion auch Evaluator/innen. Sie geben sich – für gewöhnlich – selbst einen Auftrag. Wird auf Schulebene evaluiert, so handelt es sich meist um eine so genannte interne Evaluation, sie wird meist von einer Gruppe von Personen für die gesamte Schule durchgeführt, findet also intern statt. Es sind aber nicht zwangsläufig alle Lehrkräfte eingebunden und es betrifft die Evaluation auch nicht nur das eigene professionelle Handeln der Evaluierenden, sondern (auch) allgemeine Fragestellungen der Schulqualität und Schulentwicklung. Der Auftrag kommt von der Schulleitung und/oder es gibt einen gemeinsamen Beschluss des Kollegiums. Federführend bei internen Evaluationen sind oft Personen mit entsprechendem Tätigkeitsprofil sowie einer einschlägigen Ausbildung: in SQA also Schulqualitätskoordinator/innen und Qualitätsteams. Selbstevaluation und interne Evaluation sind vor allem formativ ausgerichtet, d.h. sie dienen der (Weiter)Entwicklung. Bisweilen werden solche Evaluationen aber auch dazu genützt, die eigene Tätigkeit zu dokumentieren und – gegebenenfalls auch für externe Adressat/innen – transparent zu machen. Externe Evaluation Weiters ist es möglich, dass Schule oder Unterricht extern evaluiert werden. Auch in diesem Fall gibt es Varianten: „Klassisch“ ist die externe Fremdevaluation durch externe Expert/innen, Wissenschafter/innen oder auch die Schulaufsicht. Sie ist oft summativ angelegt und betrifft die Schule als Ganzes oder größere Bereiche, d.h. sie soll eine Art Qualitätsnachweis für die Schule erbringen. Gerade bei der Evaluation von Reformen oder innovativen Projekten sind externe Evaluationen jedoch oft eher formativ und auf konkrete Maßnahmen oder (Qualitäts)Bereiche ausgerichtet: Sie dienen der datengestützten BegleiWas ist Evaluation und warum ist sie so wichtig? 9 tung und Entwicklung von Vorhaben und stellen so für Schulen eine wichtige Ressource und Unterstützung dar. Eine sehr niederschwellige Version von externer Evaluation ist das Beiziehen von Außenstehenden in die interne oder Selbstevaluation. Sie ist eine Art „Mischform“ zwischen interner und externer Evaluation, lässt sich (vergleichsweise) leicht bewerkstelligen und punktet durch die externe Sicht. Peer Evaluation/Peer Review: So gibt es z.B. die Möglichkeit der – meist – formativen Evaluation durch Kolleg/innen. Auch diese kann – als kollegiales Hospitieren oder kollegiale Unterrichtsevaluation – innerhalb der Schule v.a. für die Unterrichtsevaluation und -entwicklung eingesetzt werden. Sie ist dann insofern „extern“, als es um den Blick von außen durch eine Kollegin oder einen Kollegen geht. Veranlasst und organisiert werden Peer Evaluationen durch die betroffenen Lehrkräfte selbst (siehe Kollegiale Unterrichtsbeobachtungen). Auf Schulebene gibt es das Peer Review durch Kolleg/innen aus anderen Schulen, die sich auf der Basis der internen Evaluation der Schule in einem Vor-Ort-Besuch ein eigenes Bild machen und der Schule eine Rückmeldung auf Augenhöhe geben. Auch diese Form der Evaluation dient also der Schul- bzw. Unterrichtsentwicklung, sie wird von der evaluierten Schule „in Auftrag gegeben“. Sie eignet sich nicht als Ersatz für Inspektionen oder ähnlich gelagerte summative Evaluationen. Praktiziert wird Peer Review auf Schulebene in den berufsbildenden Schulen in Österreich. Mehr dazu hier. 3.4 Evaluationsmethoden: Woher kommen die Daten? Evaluation braucht empirische Daten, die aus vielfältigen Quellen stammen können. Es gibt eine breite Palette von Erhebungsmethoden, die sich auch für die Evaluation an Schulen eignen. Mehr dazu finden Sie im Kapitel 4 und Kapitel 9. 4. Evaluation und Feedback: Was bringt das? Was tun Profis, um den Erfolg ihres Handelns abzusichern? Sie fragen nach, sie vergewissern sich, sie überprüfen, lassen sich von anderen Expert/innen über die Schulter schauen. Auch wenn es keine objektive Wahrheit gibt im menschlichen Miteinander, so doch den Blick aus unterschiedlichen Perspektiven! Lehrer/innen sind mit Formen der Evaluation aus ihrer täglichen Arbeit ja grundsätzlich vertraut: Sie bewerten die Leistungen von Schüler/innen, sie reflektieren ihren Unterricht oder auch Entwicklungen an ihrer Schule. Und doch sind Feedback und Evaluation ein heißes Eisen bei Unterrichts- bzw. Schulentwicklung. „Heißes Eisen“ Evaluation? Woran liegt das? Rückmeldungen sind immer auch ein Blick in den Spiegel, und was uns da entgegenblickt, kann angenehm und motivierend sein, manchmal aber auch weniger erfreulich. Und: Evaluation – das hat mit Wertung zu tun. Ein heikles Thema, vor allem, wenn es die eigene Arbeit betrifft. Da geht es auch um Emotionen, um die Angst vor dem Aufdecken (vermeintlicher) Schwächen, vor Konflikten und vor möglichen Konsequenzen. Bloßstellung vor anderen und persönliche Kränkung vermeiden zu wollen, ist ein ganz natürlicher Impuls. Evaluation und Feedback werden daher oft mit Unsicherheit, Ängsten und Widerständen in ZuWas ist Evaluation und warum ist sie so wichtig? 10 sammenhang gebracht. Für professionelles Handeln braucht es aber eine Außensicht und eine kritische Reflexion. Es ist also wichtig, mit Feedback und Evaluation so umgehen zu lernen, dass die Vorteile sicht- und erlebbar werden. Wie kann das gehen? Die genannten Ängste und Widerstände haben vor allem mit einer weit verbreiteten negativen „Fehlerkultur“ zu tun, mit unklaren Regeln, mit mangelnder Einbindung von Beteiligten und Betroffenen sowie mit fehlendem Vertrauen. Soll Evaluation Wachstum und Entwicklung fördern, dann ist das primär eine Frage der Haltung und des Klimas. Dazu braucht es vertrauensbildende Maßnahmen, verbindliche Vereinbarungen, die Beteiligung Betroffener und eine Schulkultur, in der Fehler als Lernchance gesehen werden. So kann es etwa hilfreich sein, wenn Führungspersonen, die den Einsatz von Feedback in ihrer Organisation verstärken wollen, mit gutem Beispiel vorangehen, indem sie selbst Feedback von ihren Mitarbeiter/innen einholen und die Ergebnisse mit ihnen besprechen. Weiters ist es wichtig, „geschützte Räume“ für Beteiligte einzurichten, in denen sie ihre Feedback-Ergebnisse ohne Angst vor Publikmachung austauschen können. Vor allem im Anfangsstadium erscheint es ratsam, in jeder Hinsicht niederschwellig zu beginnen (z. B. was die Brisanz des Themas oder die Größe des involvierten Personenkreises betrifft). Und immer braucht es Klarheit und Transparenz hinsichtlich der Frage nach dem WOZU? Was bringen Evaluation und Feedback? Hat man sich dazu durchgerungen, helfen Evaluation und Feedback die bisherigen Bemühungen zur Qualitätsentwicklung (noch) glaubwürdiger und professioneller zu gestalten. Durch Evaluation wird die Reflexion zu Unterricht und Schule bewusster und systematischer vollzogen und auf eine belastbare, empirische Basis gestellt: Zur eigenen (intuitiven) Beobachtung und Einschätzung kommen nun Feedback und andere empirische Informationen, die es erlauben, das Geschehen umfassender und genauer zu erkennen und „blinde Flecken“ in der eigenen Wahrnehmung auszuschalten. Dies kann in verschiedener Weise genutzt werden: · · So bietet Evaluation die Möglichkeit, die eigene tägliche Arbeit besser zu verstehen und „Knackpunkte“ von Schule und Unterricht zu erforschen. Evaluation unterstützt die Selbstvergewisserung: Bin ich/sind wir auf dem richtigen Weg? · Sie hilft bei der Weiterentwicklung der eigenen Praxis: Was kann ich/können wir noch verbessern? Und wie? · Zusätzlich macht Evaluation die Qualität der Arbeit der Schule sichtbar – nach innen, aber auch nach außen. · Sie ermöglicht es daher auch „datenbasiert“ und in einer sachlichen Art und Weise mit (externen) Ansprüchen – der Schulpartner, der Schulaufsicht, anderer „Stakeholder“ – umzugehen: Wie (gut) arbeiten wir tatsächlich? In welchen Bereichen liegen unsere Stärken? Wo gibt es Entwicklungspotenziale? Was können/sollen wir tun? Evaluation dient in SQA also dazu, dass Schulen und Lehrkräfte mehr über ihr eigenes Tun (und dessen Wirkungen) erfahren, dadurch mehr Sicherheit in der eigenen professionellen Praxis gewinnen und fundierte(re) Entscheidungen treffen können. Wie Evaluation in SQA so umgesetzt werden kann, dass positive Wirkungen für alle Beteiligten – die Lehrkräfte, die Schüler/innen und andere „Stakeholder“ – entstehen, dazu finden Sie Informationen und Anregungen in Kapitel 2: Wie geht Evaluation und was ist dabei zu beachten? sowie in den Kapiteln zu den vier Phasen der Evaluation. Was ist Evaluation und warum ist sie so wichtig? 11
© Copyright 2024 ExpyDoc
