Qualitätskriterien und Wahrnehmungsverzerrungen - Z-ina

Qualitätskriterien von Prüfungen
Die Qualität von Prüfungen basiert auf den zugrunde liegenden Qualitätskriterien, die im Sinn der
Fairness für alle Prüfungen Anwendung finden sollten. Prüfungen sollten idealerweise bestimmte
Qualitätskriterien, auch Gütekriterien genannt, erfüllen. Nicht jede Art der Prüfung (mündlich,
schriftlich etc.) entspricht von vornherein gleichermaßen diesen Qualitätskriterien, in der Praxis sind
oft Abstriche in einzelnen Bereichen notwendig. Um die Qualität einer Prüfung zu sichern oder zu
heben, sind bei der Konstruktion und Konzeption einer Prüfung insbesondere folgende Fragen zu
berücksichtigen:
Gültigkeit (Validität)
Misst die Prüfung, was sie messen soll?
Deckt eine Prüfung den Umfang der Lernziele repräsentativ ab (inhaltliche Validität)? Messen die
Prüfungsaufgaben die in den Lernzielen definierten Domänen des Wissen, der Fertigkeiten und
Fähigkeiten/Einstelungen (Konstruktvalidität)?
Um diese Fragen in der Praxis zu klären, können sich Lehrende gegenseitig Feedback auf
Prüfungsfragen geben und damit ein sogenanntes „ExpertInnen-Rating“ durchführen, eine mit
KollegInnen leicht durchführbare Methode. Jede Prüfungsfrage wird dahingehend überprüft, ob sie
„misst, was die Prüfung messen soll“, d.h. misst die Frage eines der Lernziele? ExpertInnen sind in
diesem Fall mit dem Prüfungsstoff vertraute Peers. Neben der Lernzielorientierung kann beim
ExpertInnen-Rating auch überprüft werden, ob bei der Frage ungewollt Sprachverständnis oder
Aufmerksamkeit mitgeprüft werden.
Zuverlässigkeit (Reliabilität)
Wie genau bzw. zuverlässig misst die Prüfung die zu prüfenden Merkmale?
Führt die Prüfung bei der nächsten Durchführung oder bei einer Parallelgruppe zu einem
vergleichbaren Ergebnis? Eine höhere Anzahl mittelschwerer Prüfungsfragen führt in der Regel zu
einer höheren Reliabilität. Wenn die Umstände in der Praxis es zulassen, sollen in Parallelgruppen
dieselben Fragen (vielleicht in unterschiedlicher Reihenfolge) vorgegeben werden. Das Beachten
der Beurteilungsfehler kann auch zu einer höheren Zuverlässigkeit beitragen.
Fairness (Objektivität, Chancengleichheit)
Sind die Ergebnisse einer Prüfung unabhängig von der durchführenden Person?
Sind die Ergebnisse einer Prüfung unabhängig davon, wer diese durchführt, auswertet oder
interpretiert? In der Praxis ermöglichen im Vorfeld verfasste Musterlösungen und/oder Kriterien für
die Beurteilung der Antworten eine standardisierte und faire Beurteilung der Leistungen durch
verschiedene Prüfer/innen.
Ökonomie
Stehen die notwendigen Ressourcen (Zeit, Budget, Material etc.) in angemessenem Verhältnis zum
Informationsgewinn einer Prüfung?
Zumutbarkeit
Weiter spielen die zeitliche, psychische und körperliche Belastung für die Studierenden eine Rolle.
Wahrnehmungsvrzerrer - Beurteilungsfehler
Um eine faire Korrektur von Prüfungen zu gewährleisten, sollten mögliche Beurteilungstendenzen und
Beurteilungsfehler bekannt sein:
Erwartungseffekte
Auch: Selbsterfüllende Prophezeiungen. Erwartungen von Lehrenden an die Studierenden können sich nach
Art einer sich selbst erfüllenden Prophezeiung auf die Beurteilung der Leistungen auswirken. Erwartungen an
die Notenverteilung können ebenfalls Auswirkungen auf die Beurteilungen haben.
Projektionsfehler und Halo-Effekte
Auch: Überstrahlungseffekt. Eigene Eigenschaften, Ansichten oder Wünsche werden auf die Studierenden
übertragen und fliessen in die Beurteilung ein. Die Wahrnehmung einer Person „überstrahlt“ die zu messende
Leistung (Halo-Effekt). Das kann z. B. dazu führen, dass implizit wahrgenommene
Persönlichkeitseigenschaften und nicht die Leistung beurteilt wird.
Reihenfolgeeffekt
Auch Kontrasteffekt. Die ersten Prüfungen werden oft strenger beurteilt als die folgenden. Das
Leistungsniveau vorangegangener Prüfungen kann sich auf die Beurteilung darauf folgender Prüfungen
auswirken.
Strenge- und Mildefehler
Strengefehler: Schon „geringe Mängel“ fließen stark in die Beurteilung ein und „gute“ Leistungen werden
kaum gewertet.
Mildefehler: „Gute“ Leistungen werden stark gewichtet, „schlechte“ Leistungen fliessen hingegen kaum in die
Bewertung ein.
Tendenz zu Extremurteilen
Es wird vor allem zwischen „guten“ und „schlechten“ Leistungen unterschieden, Urteile in der Mitte des
Notenspektrums werden vermieden.
Tendenz zur Mitte
Eindeutige (extreme) Urteile werden vermieden.
Wie Beurteilungsfehler vermeiden
Es empfiehlt sich Prüfungen „quer“ zu beurteilen, d.h. es wird jeweils eine Prüfungsaufgabe bei allen
Prüfungsteilnehmenden kontrolliert, statt jeden Prüfungsbogen in einem Durchlauf zu bewerten. Dazwischen sollten auch Pausen eingelegt werden. Weiters sollte überlegt werden, inwieweit eine persönliche
Neigung zu bestimmten Beurteilungstendenzen besteht, diese sollte bei der Beurteilung immer wieder in
Erinnerung gerufen werden.
Quelle: CTL Center for Teaching and Learning(2013). Diskussionsgrundlage: Qualität von
Prüfungen. Universität Wien.
https://ctl.univie.ac.at/fileadmin/user_upload/elearning/Qualität_von_Prüfungen/30_09_2013_DISK
USSIONSGRUNDLAGE_Qualität_von_Prüfungen_FINAL.pdf (abgerufen am 25.9.2015).

Download Report