Vier Qualitätskriterien von Prüfungen Die Qualität von Prüfungen basiert auf den zugrunde liegenden Qualitätskriterien, die im Sinn der Fairness für alle Prüfungen Anwendung finden sollten. Prüfungen sollten idealerweise bestimmte Qualitätskriterien, auch Gütekriterien genannt, erfüllen. Nicht jede Art der Prüfung (mündlich, schriftlich etc.) entspricht von vornherein gleichermaßen diesen Qualitätskriterien, in der Praxis sind oft Abstriche in einzelnen Bereichen notwendig. Um die Qualität einer Prüfung zu sichern oder zu heben, sind bei der Konstruktion und Konzeption einer Prüfung insbesondere folgende Fragen zu berücksichtigen: 1. Gültigkeit (Validität) Misst die Prüfung, was sie messen soll? Deckt eine Prüfung den Umfang der Lernziele repräsentativ ab (inhaltliche Validität)? Messen die Prüfungsaufgaben die in den Lernzielen definierten Domänen des Wissen, der Fertigkeiten und Fähigkeiten/Einstellungen (Konstruktvalidität)? Um diese Fragen in der Praxis zu klären, können sich Lehrende gegenseitig Feedback auf Prüfungsfragen geben und damit ein sogenanntes „ExpertInnen-Rating“ durchführen, eine mit KollegInnen leicht durchführbare Methode. Jede Prüfungsfrage wird dahingehend überprüft, ob sie „misst, was die Prüfung messen soll“, d.h. misst die Frage eines der Lernziele? ExpertInnen sind in diesem Fall mit dem Prüfungsstoff vertraute Peers. Neben der Lernzielorientierung kann beim ExpertInnen-Rating auch überprüft werden, ob bei der Frage ungewollt Sprachverständnis oder Aufmerksamkeit mitgeprüft werden. 2. Zuverlässigkeit (Reliabilität) Wie genau bzw. zuverlässig misst die Prüfung die zu prüfenden Merkmale? Führt die Prüfung bei der nächsten Durchführung oder bei einer Parallelgruppe zu einem vergleichbaren Ergebnis? Eine höhere Anzahl mittelschwerer Prüfungsfragen führt in der Regel zu einer höheren Reliabilität. Wenn die Umstände in der Praxis es zulassen, sollen in Parallelgruppen dieselben Fragen (vielleicht in unterschiedlicher Reihenfolge) vorgegeben werden. Das Beachten der Beurteilungsfehler kann auch zu einer höheren Zuverlässigkeit beitragen. 3. Chancengleichheit (Fairness, Objektivität) Sind die Ergebnisse einer Prüfung unabhängig von der durchführenden Person? Sind die Ergebnisse einer Prüfung unabhängig davon, wer diese durchführt, auswertet oder interpretiert? In der Praxis ermöglichen im Vorfeld verfasste Musterlösungen und/oder Kriterien für die Beurteilung der Antworten eine standardisierte und faire Beurteilung der Leistungen durch verschiedene Prüfer/innen. 4. Ökonomie Stehen die notwendigen Ressourcen (Zeit, Budget, Material etc.) in angemessenem Verhältnis zum Informationsgewinn einer Prüfung? Quelle: Walzik, S. (2012). Kompetenzorientiert prüfen. Opladen: Barbara Budrich Checkfragen für die Prüfungsbögen Qualitätskriterium Gültigkeit Praxisbezug der Aufgabenstellungen, bzw. Fragestellungen (Kompetenzorientierung) Grundfrage: Misst die Prüfung wirklich das, was sie zu prüfen vorgibt? • • • • • • • • • • • Was wird mit der ausgewählten praktischen Prüfung effektiv gemessen? Misst jede einzelne Frage das, was sie zu messen vorgibt? Können damit die zentral wichtigen fachlichen, sozialen, personalen oder methodischen Kompetenzen überprüft werden, welche in der Praxis besonders relevant sind und häufig vorkommen? Woran ist das feststellbar? Was wird mit der ausgewählten praktischen Prüfung effektiv überprüft? Was wird mit der mündlichen Fallbesprechung wirklich überprüft? Orientieren sich die Fragestellungen an der Praxis? Wird nur Wissen oder werden auch Fertigkeiten und Fähigkeiten/Handlungen geprüft? Wenn die Fertigkeiten oder Fähigkeiten/Haltungen nicht direkt über beobachtbare Handlungen geprüft werden können: wie werden diese erschlossen? Messen die Kriterien die im Unterricht kommunizierten Lernziele? Werden bei kognitiven Fragen nur die unteren 2 Taxonomiestufen (Kenntnisse, Verständnis) oder auch die oberen 4 Stufen geprüft (Anwendung, Analyse, Synthese, Bewertung?) Werden unbeabsichtigt noch weitere Kriterien mitgeprüft (Sprachverständnis, Aufmerksamkeit..) Qualitätskriterium Zuverlässigkeit Klarheit und Genauigkeit der Beurteilungsmasstäbe (Kriterien und Indikatoren) Grundfrage: Wie genau misst die Prüfung die zu prüfenden Merkmale? • • • • • • • • Wie zuverlässig sind die Kriterien und Indikatoren? Sind die Kriterien, bzw. Indikatoren so formuliert, dass sie von allen Beteiligten auch ohne weitere Erklärungen verstanden werden? Käme bei einer wiederholten Prüfung ein ähnliches Ergebnis zustande? Sind die Bewertungskriterien mit Indikatoren konkretisiert? Sind die Indikatoren als ganze Sätze ausformuliert? Wenn keine Indikatoren vorhanden: sind die Kriterien in ganzen Sätzen ausformuliert? Sind die Fragen konkret und klar verständlich formuliert? Gibt es nur wenige schwere oder mehrere mittelschwere Fragen? Qualitätskriterium Chancengleichheit (Fairness, Objektivität) Grundfrage: Wie unabhängig von der durchführenden Person sind die Prüfungsergebnisse? • • • • • • Wie unvoreingenommen sind die Prüfenden? Kämen andere bewertende Personen zum selben oder einem ähnlichen Ergebnis? Sind Kriterien und präzisierende Indikatoren vorhanden? Sind Musterlösungen vorhanden? Sind das Prüfungssetting und die Kriterien/Indikatoren den zu Prüfenden im Voraus bekannt? Werden Wahrnehmungsverzerrer thematisiert und reflektiert? Wie geschieht dies? Donatus Berlinger, 2016