Kompetenzorientiertes Prüfen im Fernstudium: Perspektive

Kompetenzorientiertes Prüfen im Fernstudium:
Perspektive Studierende, Perspektive Prüfende
Ulrich Iberer
Beitrag an der Jahrestagung 2015
AG-F in der DGWF
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
1
Intro
 Fernstudienanbieter arbeiten per se kompetenzorientiert.
(erster Gedanke)
 „Kompetenzen prüfen im Fernstudium – geht denn das?“
(Reaktion im Kollegium)
 „Prüfungen - ein Problem, zu dem die Hochschuldidaktik
manches sagen, aber wenig tun kann?“ (L. Huber 2008)
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
2
Kompetenzorientiertes Prüfen im Fernstudium:
Perspektive Studierende, Perspektive Prüfende
Übersicht
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
4. Conclusio:
Prüfungen zwischen Kreativität und Konsolidieren
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
3
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Theorie der Prüfung
Impulse
„Kompetenzen“
prüfen?
Prämissen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
4
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Theorie der Prüfung - Semantik
 Prüfen („Prouven“) als probare
• etwas auf seine Echtheit und Güte untersuchen,
Wesenheiten erkennen, einen Wert zusprechen – Was ist da?
(vgl. Grimm/Grimm 1889)
• Rolle des Prüfenden: „Kritiker“, Koexistenz
 Prüfen (institutionalisiert) als examinare
• etwas heraustreiben, ausfragen – Was kommt heraus?
• Beziehungsstruktur zwischen Prüfling und Prüfer geprägt von
Hierarchie und Unfreiwilligkeit
 → Konnotationen provozieren interessensgeleitete
Interpretationen auf verschiedenen Ebenen
(Individuum, Didaktik, Institution, Gesellschaft)
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
5
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Theorie der Prüfung - Definition
 Charakter des dauernden Versuchs
Als Prüfung sei – unabhängig von Art und Güte – jeder Vorgang
bezeichnet, dessen Ziel es ist eine wahre Aussage über Persönlichkeitsmerkmale zu treffen. Maßgeblich ist dabei nicht das Gelingen einer
wahren Aussage, sondern dass implizit oder explizit eine wahre Aussage
als Ziel genannt wird. (nach Krope 1984, S. 10)
 Funktionalitäten
• Diagnose über den Lernerfolg, auch als Motivation und Rückmeldung
an die Lernenden
• Prognose, auch um Informationen zur Steuerung von Lehraktivitäten
zu gewinnen
• Qualifizierung, Selektion: Grundlage zum Erwerb eines Abschlusses
(Zertifikat)
• Legitimation: als Baustein in der Evaluation von Lehrgängen und
Curricula
6
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Theorie der Prüfung – Praktische Evidenz
 Dilemmata
formative Bewertung
summative Beurteilung
Validität
Messgenauigkeit
Motivation
Selektion
 Prüfungsalltag an deutschen Universitäten
• weniger integrierte, weitaus mehr additive Prüfungen
(dauernder Prüfungszeitraum)
• hohe Effizienzanforderungen aufgrund Studierendenmenge
(Planungs-, Durchführungs-, Bewertungskosten)
• rechtliche Unsicherheiten gegenüber individualisierten Prüfungen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
7
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Impulse: Erwachsenenbildung
 Prüfung wird als Sondersituation empfunden und in
didaktischer Diskussion weitgehend ausgeblendet,
wohlmöglich indiziert durch Selbstverständnis:
• Teilnehmerorientierung, Lebensweltorientierung
(„Ermöglichungsdidaktik“) (vgl. Arnold/Schüßler 2003)
• Lehrende und Lernende begegnen sich auf Augenhöhe;
gemeinsamer Aushandlungsprozess bestimmt Inhalte
 Wertschätzende Prüfungskultur:
Transparenz von Abläufen und Kriterien, Vorbereitung und
Üben, Gestaltung der äußeren Rahmenbedingungen
(vgl. Schlieb/Müller 2013)
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
9
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Impulse: Spezifika im Fernstudium
 Tradition der Präsenzprüfung
• v.a. in Format schriftlicher Prüfungen an zentralen/dezentralen
Prüfungsorten; zunehmend auch Online-Varianten
• etablierte Kultur der Prüfungsvorbereitung
durch Selbstkontroll- und Einsendeaufgaben
 Flexibilität für die Studierenden,
Standardisierung bei Prüfungsabläufen
• weitgehende Wahlmöglichkeiten bei Prüfungsterminen,
individueller Prüfungsrhythmus
• große Zahl von Studierenden steht relativ kleine Zahl von
Lehrenden (Prüfpersonen) gegenüber
 Instrument zur Qualitätssicherung
• Hohe Bedeutung für Fernstudienanbieter, zentral für die
Michael Krüger, „Die Lernende
Bildungsorganisation“, Wintersemester
2010/11
Gewährleistung
von Qualitätsversprechen
(vgl. Laaser
1996)
10
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
„Kompetenzen“ prüfen?
 Was ist wirklich neu?
• Wurden nicht schon immer Kompetenzen geprüft?
• Kompetenz-Performanz-Problematik
 Was wäre, wenn wir keine Prüfung hätten?
• Nicht wenige Lernprozesse (auch an Hochschulen) prägen und
verändern Studierende nachhaltig ohne jede Prüfung
(vgl. BAK 2009/1970)
• Könnten nicht auch andere Lernprozesse so gestaltet werden, dass
sich eine Prüfung erübrigt? (vgl. Reinmann 2012)
 Wie valide kann eine kompetenzbasierte Prüfung sein?
unzureichender Zusammenhang von in formellen Lernprozessen
erbrachten Lernergebnissen und tatsächlich vorhandenen Kompetenzen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
11
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Prämissen
Kompetenzorientiertes Prüfen ist …
 … problemorientiert:
• Kognitive Dissonanzen:
Diskrepanz zwischen Umwelt und kognitiven Konstrukt, die nicht
mehr mit vertrauten Routinen gelöst werden kann (Assimilation),
sondern kreative Lösungen (Akkommodation) erfordert
• Lernzieltaxonomien (z.B. Bloom):
höhere Leistungsanforderungen durch Anwenden, Analysieren,
Gestalten, Beurteilen; abhängig von den Lernvoraussetzungen,
dem Lehrprozess und der angestrebten Kompetenzstufe
• nach Informations- und Sicherheitsgrad:
Kompetenzprüfungen sollten Probleme enthalten und nicht nur
Aufgaben (Interpolationsprobleme, Entdeckungs-/Strukturierungsprobleme, dialektische Probleme) (vgl. Walzik 2012, S. 34)
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
16
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Prämissen
Kompetenzorientiertes Prüfen ist …
 … handlungsorientiert:
Quelle:
Hanft/Müskens 2003
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
17
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Prämissen
Kompetenzorientiertes Prüfen ist …
 … forschungsorientiert:
Quelle: Reinmann 2015b
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
18
1. Kompetenzorientiertes Prüfen:
Versuch einer Systematisierung
Zwischenfazit
Versuch einer Systematisierung
kompetenzorientierten Prüfens im Fernstudium
• Kompetenzorientierte Prüfungen sind ein Ideal,
dem man sich nur nähern kann (vgl. Reinmann 2015a)
• Notwendig sind komplexe Prüfungen,
die Kompetenzen mit reflektiertem Anspruch erfassen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
19
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
Fallstudie
Fokus
Analysen
Thesen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
20
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
Eine kleine Fallstudie
 Masterstudiengang Bildungsmanagement
• 4 Semester berufsbegleitend, Fernstudien-/Präsenzphasen,
E-Learning- und Praxiselemente
• Prüfungsformen (Häufigkeit fallend):
Modulprüfungen als schriftliche Hausarbeit (auch kooperativ),
Projektarbeit, Team-Coaching, Präsenzklausur, Präsentation,
Selbstreflexion (Lerntagebuch); mündliche Prüfung, Masterarbeit
• Kohorten-Prinzip, ca. 25 Absolventen pro Jahrgang
 Methode und Datengrundlage
• Sonderanalyse ausgewählter Daten von Absolventen-Evaluationen
der letzten fünf Jahrgänge (2010 bis 2014)
• Zufriedenheitsmessung (subjektive Wahrnehmung)
• Online-Erhebung 3 Monate nach Studienende;
Rücklauf ca. 65 %, d.h. N = 81
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
21
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
Fokus - Fragen
 Zufriedenheit mit Prüfungen insgesamt
• Wie beurteilen Sie die Prüfungsformen (Teilprüfung und Endprüfung)
im Studiengang?
• Offene Fragen:
◦
◦
◦
Welche Aspekte haben Ihnen besonders gefallen?
Wo sehen Sie noch Änderungsbedarf?
Wie beurteilen Sie die Rückmeldung zu den Prüfungen?
 Selbsteinschätzung des Kompetenzzuwachs
• Durch die Teilnahme am Studiengang hat sich meine soziale /
methodische / fachliche /personale Kompetenz verbessert.
• Es war mir möglich, im Studium erworbenes Wissen in meiner
beruflichen Praxis umzusetzen.
 Urteil zum Studium insgesamt
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
22
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
Quantitative Analysen: Häufigkeitsverteilungen
M
SD
N
Zufriedenheit Prüfungen 3,80
(1 sehr negativ; 2 negativ; 3 neutral; 4 positiv; 5 sehr positiv) (min 3,36; max 4,21)
,84
74
Soziale Kompetenz verbessert
3,31
(1 überhaupt nicht; 2 weitgehend nicht; 3 teils,teils;
(min 2,86; max 3,75)
4 weitgehend; 5 vollständig)
1,05
71
Methodische Kompetenz verbessert
3,81
(1 überhaupt nicht; 2 weitgehend nicht; 3 teils,teils;
(min 3,64; max 4,00)
4 weitgehend; 5 vollständig)
,81
73
Fachliche Kompetenz verbessert
4,29
(1 überhaupt nicht; 2 weitgehend nicht; 3 teils,teils;
(min 3,86; max 4,67)
4 weitgehend; 5 vollständig)
,68
73
Personale Kompetenz verbessert
3,88
(1 überhaupt nicht; 2 weitgehend nicht; 3 teils,teils;
(min 3,64; max 4,25)
4 weitgehend; 5 vollständig)
,85
73
Wissenstransfer in Praxis
3,86
(1 überhaupt nicht; 2 weitgehend nicht; 3 teils,teils;
(min 3,71; max 4,00)
4 weitgehend; 5 vollständig)
,80
71
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
23
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
Quantitative Analysen: Mittelwertvergleiche
Prüfungsformen
Zufriedenheit mit Prüfungen N
Soziale Kompetenz
Methodische Kompetenz
Fachliche Kompetenz
Personale Kompetenz
Wissen in Praxis umsetzen
M
SD
DIFF.
0,352
>= 4
47
3,45
,996
<4
21
3,10
1,091
>= 4
47
3,85
,807
<4
23
3,78
,850
>= 4
47
4,28
,682
<4
23
4,30
,703
>= 4
47
4,04
,721
<4
23
3,70
,876
>= 4
47
3,83
,842
<4
23
3,91
,733
p-Wert
(T-Test)
0,068
-0,028
0,347
(,08)
-0,083
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
24
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
Qualitative Analysen
 Welche Aspekte haben Ihnen besonders gefallen?
(Angaben paraphrasiert; Häufigkeit fallend)
• Prüfungsform Hausarbeit; dadurch kontinuierliches Lernen von Modul zu
Modul, verfestigt die Inhalte und regt zum Austausch mit Kommilitonen an
• Möglichkeit der Gruppenprüfung
• Auswahlmöglichkeiten innerhalb von Prüfungen, freie Themenwahl
• Hohes Maß an individueller Gestaltung ermöglichte intensiven Bezug zur
eigenen beruflichen Praxis und Aufbau einer „Prüfungslinie“
•
•
•
•
•
•
Prüfungsform „Projektprüfung“
Noten mit Begründungen; Differenzierte Beurteilungen durch Gutachten
Prüfungsform „mündliches Kolloquium“; lediglich eine klassische Klausur
„Hineinbohren“ bei der Masterarbeit
Online-Assessments (v.a. Blog bei Praktikum und Projekt)
Betreuung während der Prüfungsphasen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
26
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
Qualitative Analysen
 Wo sehen Sie noch Änderungsbedarf?
(Angaben paraphrasiert; Häufigkeit fallend)
• Prüfungsform Klausur führt zu Bulemie-Lernen
• z.T. kamen Rückmeldungen zu spät, so man diese auf die nächste Prüfung
nicht mehr berücksichtigen konnte
• größere Variation bei Prüfungsformen; mehr kompetenzorientierte,
formative Prüfungen (Portfolio, Aufgaben, Präsentationen, Anerkennung
von Arbeitsergebnissen aus Präsenzarbeit)
• zeitliche Taktung der Module und Prüfungen optimieren
• vereinzelt Inkonsistenzen bei Anforderungen und Kriterien zwischen
verschiedenen Lehrenden; einheitliche Standards bei Hausarbeiten
•
•
•
•
mehr anonyme Bewertung (Abgabe nur mit Matrikelnummer)
mehr Rückmeldung zur Masterarbeit
Probeklausuren für Klausurprüfungen
Auffrischung zum wissenschaftlichen Schreiben
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
27
2. Perspektive Studierende:
Kompetenzerwerb durch Prüfungen?
Qualitative Analysen
 Wie beurteilen Sie die Rückmeldung zu den
Prüfungsleistungen? (Notenbekanntgabe, Feedback)
(Angaben paraphrasiert; Häufigkeit fallend)
• Notenbekanntgabe insgesamt gut; teilweise etwas lange Wartezeiten
• Gutachten sehr positiv und sehr gut, da ausführlich und individuell
• Individuelles Gutachten sehr wichtig, damit kommt Wertschätzung rüber,
wichtige Qualität, hilfreich für Studienverlauf
• Rückmeldungen inhaltlich vereinzelt uneinheitlich und widersprüchlich
• Absprachen wurden nicht immer eingehalten
• Feedback sehr verständlich formuliert; bisweilen unklare Relevanzen
(Tippfehler, kleine Formalfehler)
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
28
Kompetenzerwerb durch Prüfungen?
Thesen
 Die Einstellung gegenüber Prüfungen ist geprägt von
(Ehr-)Furcht gegenüber klassischen Prüfungsformen und
Souveränität durch Arbeits- bzw. Lebenssozialisation.
 Weiterbildend Studierende fordern ein erhöhtes Maß an
Flexibilität, Praxisnähe einerseits, fachliche Vertiefung
und Aktualität in den Prüfungen andererseits.
 Weiterbildend Studierende verfügen über erhöhte
„Kompetenz-Kompetenz“.
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
29
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
ExpertenBefragung
Fragen
Analysen
Thesen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
30
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Empirische Erhebung
Thesen
 Expertenbefragung
• Online-Befragung vom 22.05. bis 12.06.2015
 Sample
• Phase 1: Bekannte Kolleginnen und Kollegen, die in weiterbildenden
Studiengängen und an (Fern-)Hochschulen koordinierend tätig sind.
• Phase 2: Anfragen an Gatekeeper-Personen eben solcher Expertenkreise
• Erreicht: 107; Response=70; Verteilung:
1 ausschließlich in Fernstudiengängen bzw. berufsbegleitenden
Studiengängen (29)
2 überwiegend in Fernstudiengänge bzw. berufsbegleitenden
Studiengängen (14)
3 überwiegend in Präsenz-/Vollzeitstudiengängen, vereinzelt
Fernstudiengängen bzw. berufsbegleitenden Studiengängen (18)
4 ausschließlich in Präsenz-/Vollzeitstudiengängen (9)
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
31
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Fokus
 Fragen:
1. Welche Prüfungsformen setzen Sie in Ihren Studiengängen ein?
2. Wie wichtig sind für Sie Prüfungen hinsichtlich folgender Ziele?
3. Welche Spezifika für "Prüfungen" sehen Sie im besonderen
Kontext von Fernstudium bzw. berufsbegleitendes Studium?
4. Wer bewertet in Ihrer Bildungsorganisation die
Prüfungsleistungen der Studierenden?
5. Welche Kriterien sind für Sie hinsichtlich der Bewertung einer
Prüfungsleistung maßgebend?
6. Welche Rückmeldung geben Sie den Studierenden zu ihrer
Prüfungsleistung?
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
32
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Deskriptive Statistik
Thesen
 Welche Prüfungsformen setzen Sie in Ihren Studiengängen ein?
(4) überwiegend (3) häufig (2) vereinzelt (1) gar nicht
(Sortierung nach Mittelwert absteigend)
schriftliche Klausur (Präsenz)
M
2,98
SD
0,98
gültige N
63
schriftliche Hausarbeit
2,82
0,86
62
mündliche Prüfung (Präsenz)
2,31
0,75
59
Projektprüfung (Durchführung, Dokumentation, Reflexion)
2,25
0,79
56
Portfolio (Erstellen und Sammeln von Einzelarbeiten)
1,84
0,92
55
Arbeitsprobe, Fallstudie, Assessment-Center
1,74
0,84
53
schriftliche Online-Prüfung (als E-Test, E-Klausur o.ä.)
1,44
0,73
50
Lerntagebuch
1,36
0,68
53
mündliche Online-Prüfung (via virtuelles Klassenzimmer, Skype o.ä.)
1,30
0,51
50
Spiele, Wettbewerb (z.B. Quiz)
1,24
0,51
51
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
33
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen - Deskriptive Statistik
Thesen
 Welche Prüfungsformen setzen Sie in Ihren Studiengängen ein?
Weitere Nennungen: (paraphrasiert, Häufigkeit fallend)
• Präsentationen
• Literaturrecherchen
• Formlose, kleine Aufgaben/Testat; Teamaufgaben
• Referate (mit Ausarbeitung)
• Forschungsprojekt, Praxis-Echt-Projekte (Labor), Werkstätten
• Praktikumsdokumentation
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
34
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Deskriptive Statistik
Thesen
 Wie wichtig sind für Sie Prüfungen hinsichtlich folgender Ziele?
(4) sehr wichtig (3) durchaus bedeutsam (2) weniger wichtig (1) irrelevant
(Sortierung nach Mittelwert absteigend)
M
3,33
SD
0,75
gültige N
60
um Informationen zur individuellen Kompetenzentwicklung von
Studierenden zu erhalten
3,18
0,68
60
zur Bewertung von Arbeits-/Lernleistungen über längeren Zeitraum
2,98
0,62
60
um Studierenden eine Möglichkeit zu geben, wo sie ihre Talente bzw.
Stärken ausbringen können
2,83
0,72
60
zur (extrinsischen) Motivation der Studierenden im Studienverlauf
2,56
0,79
59
als ein Baustein zur Evaluation von Lehrveranstaltungen
2,30
0,72
60
als Voraussetzung/Eingangstest vor einem Studiengang/Modul
1,95
0,95
60
um Erfolgskennzahlen für die Bildungseinrichtung zu generieren
1,90
0,63
60
um für Lernziel- bzw. Leistungskontrolle objektive Daten zu erheben
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
35
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen - Deskriptive Statistik
Thesen
 Wie wichtig sind für Sie Prüfungen hinsichtlich folgender Ziele?
Weitere Nennungen: (paraphrasiert, Häufigkeit fallend)
• Erfüllung von übergeordneten Vorgaben (z.B. Akkreditierung, Bologna,
Prüfungsordnung, Modulkatalog), „notwendiges Übel“
• Bildungsziele: mündlicher/schriftlicher Ausdruck, analytische Fähigkeiten,
eigenständige Arbeit, kritische Reflexion
• Um Noten zu generieren
• Entwicklung eines Kompetenzprofils; Vorbereitung auf berufliche Situationen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
36
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Deskriptive Statistik
Thesen
 Welche Spezifika für "Prüfungen" sehen Sie im besonderen Kontext von
Fernstudium bzw. berufsbegleitendes Studium?
(4) stimme voll zu (3) stimme überwiegend zu (2) stimme etwas zu (1) stimme gar nicht zu
(Sortierung nach Mittelwert absteigend)
M
SD
gültige N
Der Fokus liegt mehr auf dem Transfer in die Anwendung,
weniger auf dem Wiedergeben von reinem Wissen.
3,37
0,74
52
Prüfungen sollen die Studierenden eher zu Selbstreflexion anregen,
weniger kontrollieren.
2,94
0,92
52
Studierende erwarten mehr inhaltliche Rückmeldungen,
weniger formale Begutachtungen.
Studierende erarbeiten Prüfungen eher selbstverantwortet von zu Hause
(oder am Arbeitsplatz), weniger in vorgegebenen Settings an der
Hochschule.
2,88
0,83
52
2,69
0,97
51
Prüfungen sollen primär den Lernprozess beobachten, weniger das
Lernergebnis bewerten.
2,51
0,86
51
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
37
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen - Deskriptive Statistik
Thesen
 Welche Spezifika für "Prüfungen" sehen Sie im besonderen Kontext von
Fernstudium bzw. berufsbegleitendes Studium?
Weitere Nennungen: (paraphrasiert, Häufigkeit fallend)
• Prüfungsleistungen sollen Kommilitonen zur Verfügung gestellt werden
• Prüfungen sind für die meisten Studenten der Motor, um sich überhaupt mit dem
Lernstoff auseinanderzusetzen
• Prüfungen können Struktur geben
• Orts- und zeitunabhängige Prüfungen
• Prüfungsleistungen werden Bestandteil eines ePortfolio und dokumentieren
individuelle Leistungen, Kenntnisse, Fähigkeiten
• Nicht nur Präsenz-, auch Fernstudieninhalte werden geprüft
• Prüfungsformen sollen mit Arbeitsformen korrespondieren
• keine
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
38
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Deskriptive Statistik
Thesen
 Wer bewertet in Ihrer Bildungsorganisation die Prüfungsleistungen der
Studierenden?
(4) trifft (nahezu) immer zu (3) trifft häufig zu (2) trifft vereinzelt zu (1) trifft gar nicht zu
(Sortierung nach Mittelwert absteigend)
Lehrende
Studiengangs- oder Modulverantwortliche (nicht lehrend)
andere, bekannte Personen (Kollegen, Vorgesetzte, Projektpartner usw.)
andere, fremde Experten (Autoren v. Studientexten, Fachexperten usw.)
Mitstudierende
Studierende selbst
M
3,90
1,66
1,43
SD
0,35
0,88
0,54
gültige N
61
56
54
1,41
0,66
54
1,22
1,15
0,42
0,36
55
53
Weitere Nennungen: (paraphrasiert, Häufigkeit fallend)
• Alumni
• (Fach-)Kollegen (z.B. als Beisitzer, Zweitkorrektor im Konfliktfall)
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
39
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Deskriptive Statistik
Thesen
 Welche Kriterien sind für Sie hinsichtlich der Bewertung einer
Prüfungsleistung maßgebend?
(5) zwingend (4) ausschlaggebend (3) gewichtig (2) vereinzelt (1) irrelevant
(Sortierung nach Mittelwert absteigend)
M
SD gültige N
60
fachliches bzw. fachwissenschaftliches (Anspruchs-)Niveau der Leistung 4,02 0,81
Wissen entsprechend der formalen Studiengangsziele oder Modulanforderungen 4,00 0,86
60
Orientierung an wissenschaftliche Standards, sprachliche Fertigkeit, methodische Exaktheit 3,86 0,82
59
Reflexivität im Vorgehen, selbstkritische Einordnung der erarbeiteten Erkenntnisse erkennbar 3,73 0,99
Umfang/Qualität in der Recherche/Aufarbeitung wissenschaftlicher Erkenntnisse 3,47 0,89
evidenter (sichtbarer) Kompetenzzuwachs der/des Studierenden 3,19 0,97
60
60
59
Praxisrelevanz von Fragestellung, Vorgehensweise und Arbeitsergebnis 3,17 0,87
60
Transfererfolg im Anwendungskontext bzw. Berufsfeld bzw. Unternehmen 3,17 0,99
Vergleichbarkeit/Gerechtigkeit innerhalb Kohorte (Gruppe, Jahrgang o.ä.) 2,92 1,08
Grad der Innovation und Kreativität in der Prüfungsleistung 2,80 0,82
58
60
60
Grad der Mitwirkung der/des Studierenden durch informelle Aktivitäten (Online-Aktivitäten,
2,23 1,05
Engagement in der Gruppe usw.)
60
personenspezifische Faktoren (z.B. Prüfungsleistung in Nicht-Muttersprache, besondere
2,02 0,75
Lebenssituation
usw.)
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester
2010/11
60
40
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen - Deskriptive Statistik
Thesen
 Welche Kriterien sind für Sie hinsichtlich der Bewertung einer
Prüfungsleistung maßgebend?
Weitere Nennungen: (paraphrasiert, Häufigkeit fallend)
• (unterschiedliche Kriterien je nach Prüfungsform)
• Originalität der Prüfungsleistung; Herausragende Prüfungsleistungen
• Adressatenbezogenheit
• Vergleichbarkeit aus prüfungsrechtlichen Anforderungen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
41
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Deskriptive Statistik
Thesen
 Welche Rückmeldung geben Sie den Studierenden zu ihrer
Prüfungsleistung?
(4) trifft voll zu (3) trifft häufig zu (2) trifft vereinzelt zu (1) trifft gar nicht zu
(Sortierung nach Mittelwert absteigend)
Bewertung differenziert nach standardisierten Kriterien
Ausschließlich Gesamtpunktzahl bzw. Endnote
erweiterteres, individuelles Gutachten
persönliches, vertrauliches Gespräch
zusammenfassende Analyse an alle Studierenden
M
2,60
2,54
2,36
2,32
1,81
SD
0,94
1,12
0,85
0,99
0,83
gültige N
58
59
59
56
58
Weitere Nennungen: (paraphrasiert, Häufigkeit fallend)
• Klausureinsicht mit individuellen Gesprächen
• Konkrete Rückmeldung auf Nachfrage
• Allgemeines Feedback bei Bekanntgabe der Noten über Online-Plattform
• Individuelle und kohortenbezogene Rückmeldung in Online-Diskussionsforen bzw.
Online-Arbeitsgruppen
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
42
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Gruppenvergleiche
Thesen
Fernstudium versus Präsenzstudium
Prüfungsform
mündliche Online-Prüfung (via virtuelles
Klassenzimmer, Skype o.ä.)
Portfolio (Erstellen und Sammeln von
Einzelarbeiten)
Ziel von Prüfung
um für eine Lernziel- bzw. Leistungskontrolle objektive Daten zu erheben
Gruppe
Fernstudium-Orientierte
Präsenzstudium-Orientierte
Fernstudium-Orientierte
Präsenzstudium-Orientierte
N
32
18
33
22
p-Wert bei
M SD DIFF T-/U-Test
1,47 0,57
(,001/
0,47
1,00 0,00
,001**)
1,70 0,98
-0,35
2,05 0,79
Gruppe
N M SD
Fernstudium-Orientierte
34 3,47 0,71
Präsenzstudium-Orientierte 26 3,15 0,78
p-Wert bei
DIFF T-/U-Test
0,32
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
43
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Gruppenvergleiche
Thesen
Spezifika von Prüfung im Fernstudium
Studierende erarbeiten Prüfungen eher selbstverantwortet von zu Hause (oder am Arbeitsplatz), weniger in vorgegebenen Settings
Studierende erwarten mehr inhaltliche
Rückmeldungen, weniger formale
Begutachtungen.
M
Gruppe
N
Fernstudium-Orientierte
Präsenzstudium-Orientierte
34 2,53 0,96 -0,47
17 3,00 0,93
Fernstudium-Orientierte
35 3,11 0,79
Präsenzstudium-Orientierte
17 2,41 0,71
M
SD
p-Wert bei
DIFF T-/U-Test
SD
0,70
p-Wert bei
DIFF T-/U-Test
Wer bewertet
Gruppe
N
andere, fremde Experten (Autoren von
Studientexten, Fachexperten usw.)
Fernstudium-Orientierte
Präsenzstudium-Orientierte
31 1,65 0,75 0,56
23 1,09 0,28
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
,003/
,005**
(,001/
,001**)
44
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Gruppenvergleiche
Thesen
Bewertungskriterien
fachliches bzw. fachwissenschaftliches
(Anspruchs-)Niveau der Prüfungsleistung
evidenter (sichtbarer) Kompetenzzuwachs
der/des Studierenden
Orientierung an wissenschaftlichen Standards,
sprachliche Fertigkeit, methodische Exaktheit
Praxisrelevanz von Fragestellung,
Vorgehensweise und Arbeitsergebnis
Transfererfolg im Anwendungskontext bzw.
Berufsfeld bzw. Unternehmen
Gruppe
N
Fernstudium-Orientierte
Präsenzstudium-Orientierte
Fernstudium-Orientierte
Präsenzstudium-Orientierte
34
26
33
26
p-Wert bei
M
SD DIFF T-/U-Test
,074/
3,85 0,85 -0,38
,090
4,23 0,71
3,33 0,95
0,33
3,00 0,98
Fernstudium-Orientierte
Präsenzstudium-Orientierte
Fernstudium-Orientierte
Präsenzstudium-Orientierte
34
25
34
26
3,74
4,04
3,47
2,77
0,79 -0,30
0,84
0,74
0,70
0,86
,001/
,003**
Fernstudium-Orientierte
33 3,30 0,88 0,30
Präsenzstudium-Orientierte 25 3,00 1,11
Grad der Mitwirkung der/des Studierenden durch Fernstudium-Orientierte
34 2,41 1,10
informelle Aktivitäten (Online-Aktivitäten, usw.) Präsenzstudium-Orientierte 26 2,00 0,93 0,41
p-Wert bei
Rückmeldung
Gruppe
N M
SD DIFF T-/U-Test
ausschließlich die Gesamtpunkzahl bzw. Endnote Fernstudium-Orientierte
33 2,82 1,15
,032/
0,63
Präsenzstudium-Orientierte 26 2,19 0,98
,030*
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
45
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Gruppenvergleiche
Thesen
stark kompetenzorientiert versus weniger kompetenzorientiert
Prüfungsform
schriftliche Hausarbeit
Projektprüfung (Durchführung,
Dokumentation, Reflexion)
Spezifika von Prüfung im
Fernstudium
Der Fokus liegt mehr auf dem Transfer
in die Anwendung, weniger auf dem
Wiedergeben von reinem Wissen.
Studierende erwarten mehr
inhaltliche Rückmeldungen, weniger
formale Begutachtungen.
p-Wert bei
Gruppe
N M SD DIFF T-/U-Test
stark kompetenzorientiert
20 3,05 0,69
0,34
weniger bzw. nicht kompetenzorientiert 42 2,71 0,92
stark kompetenzorientiert
17 2,47 0,80
0,32
weniger bzw. nicht kompetenzorientiert 39 2,15 0,78
p-Wert bei
SD DIFF T-/U-Test
Gruppe
N M
stark kompetenzorientiert
17 3,59 0,62
0,33
weniger bzw. nicht kompetenzorientiert 35 3,26 0,78
stark kompetenzorientiert
17 3,12 0,78
0,35
weniger bzw. nicht kompetenzorientiert 35 2,77 0,84
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
46
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Analysen – Gruppenvergleiche
Thesen
Bewertungskriterien
evidenter (sichtbarer)
Kompetenzzuwachs der/des
Studierenden
Reflexivität im Vorgehen,
selbstkritische Einordnung der
erarbeiteten Erkenntnisse erkennbar
Grad der Innovation und Kreativität
in der Prüfungsleistung
Transfererfolg im
Anwendungskontext bzw. Berufsfeld
bzw. Unternehmen
Vergleichbarkeit und Gerechtigkeit
innerhalb einer Prüfungskohorte
(bzw. Studiengruppe, Jahrgang o.ä.)
p-Wert bei
Gruppe
N M SD DIFF T-/U-Test
stark kompetenzorientiert
20 3,45 0,76
weniger bzw. nicht kompetenzorientiert 39 3,05 1,05 0,40
stark kompetenzorientiert
20 4,00 0,80
weniger bzw. nicht kompetenzorientiert 40 3,60 1,06 0,40
stark kompetenzorientiert
20 3,15 0,81
weniger bzw. nicht kompetenzorientiert 40 2,63 0,77 0,52
stark kompetenzorientiert
20 3,55 0,89
weniger bzw. nicht kompetenzorientiert 38 2,97 1,00 0,58
stark kompetenzorientiert
,018
016
,035
,037
20 2,60 1,10
weniger bzw. nicht kompetenzorientiert 40 3,08 1,05 -0,48
p-Wert bei
Rückmeldung
Gruppe
N M SD DIFF T-/U-Test
stark kompetenzorientiert
19 3,05 0,91
Bewertung differenziert nach
,009
0,67
standardisierten Kriterien
weniger bzw. nicht kompetenzorientiert 39 2,38 0,88
,011
stark kompetenzorientiert
18 2,78 0,88
erweitertertes, individuelles
Gutachten
weniger bzw. nicht kompetenzorientiert 41 2,17 0,77 0,61
47
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
3. Perspektive Prüfende:
Selbstansprüche und Realitäten
Selbstansprüche und Realitäten
Thesen
These:
 Kompetenzorientierte Prüfungen werden weniger in
bestimmten Formen oder unter bestimmten Zielsetzungen
gestaltet, sondern mehr in der kompetenzorientierten Art
und Weise der inhaltlichen Gestaltung und Bewertung.
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
48
Kompetenzorientiertes Prüfen im Fernstudium:
Perspektive Studierende, Perspektive Prüfende
4. Conclusio:
Prüfungen zwischen Kreativität und Konsolidieren
 Die Bandbreite kompetenzorientierter Prüfungen in
Fernstudiengängen wächst, es dominieren allerdings
weiterhin konventionelle (schriftliche) Präsenzprüfungen.
 Interdependenzen zwischen Präsenz- und
Fernstudiengängen?
 Anschlussfragen
• Wo liegen möglicherweise fachspezifische und/oder
hochschulspezifische Varianten?
• Was hindert Lehrende und Studiengangsverantwortliche,
kompetenzorientierte Prüfungen zu praktizieren?
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
49
Vielen Dank!
Ulrich Iberer
Pädagogische Hochschule Ludwigsburg
Institut für Bildungsmanagement
[email protected]
http://www.bildungsmanagement.ph-ludwigsburg.de
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
50
Kompetenzorientiertes Prüfen im Fernstudium:
Perspektive Studierende, Perspektive Prüfende
Quellen
Arnold, Rolf; Schüßler, Ingeborg (2003, Hrsg.): Ermöglichungsdidaktik. Erwachsenenpädagogische Grundlagen und
Erfahrungen. Baltmannsweiler: Schneider-Verlag.
Bachmann, Heinz (2011): Formulieren von Lernergebnissen - learning outcomes. In: Bachmann, Heinz (Hrsg.):
Kompetenzorientierte Hochschullehre. Die Notwendigkeit von Kohärenz zwischen Lernzielen, Prüfungsformen und LehrLern-Methoden. Bern: hep, S. 30-43.
Biggs, John (1999): Teaching for quality learning at university. Glasgow: MacGraw Hill.
Biggs, John; Tang, Catherine (2011): Teaching for quality learning at university. Glasgow: MacGraw Hill.
Bretschneider, Markus; Gutschow, Katrin; Lorig, Barbara (2014): Kompetenzorientiert prüfen - Prüfungspraxis und weiterer
Entwicklungsbedarf. In: Berufsbildung in Wissenschaft und Praxis, 43 (2014) 3, S. 26-29.
Bundesassistentenkonferenz (BAK) (2009/1970): Forschendes Lernen – Wissenschaftliches Prüfen. Bielefeld:
UniversitätsVerlabWebler.
Glathe, Annette; Schabel, Samuel (2014): Prüfungsinstrumentarium für Projekte. In: Berendt, Brigitte; Fleischmann,
Andreas; Wildt, Johannes; Schaper, Niclas; Szczyrba, Birgit (Hrsg.): Neues Handbuch Hochschullehre. 65.
Ergänzungslieferung. Stuttgart: Raabe, Systemstelle H3.6.
Hanft, Anke; Müskens, Wolfgang (2003): Prüfungs- und Dokumentationsmethoden als Instrumente der
kompetenzorientierten Erfolgskontrolle internetgestützten Lernens. Ergebnisse des Projekts “Lernerfolgskontrolle und
Zertifizierung des Lernens im Netz und mit Multimedia unter dem Aspekt der Lernkulturveränderung und
Kompetenzentwicklung”. In: Lernen im Netz und mit Multimedia. (QUEM-Report, 80). Berlin: Arbeitsgemeinschaft
Betriebliche Weiterbildungsforschung, S. 177-254.
Online: http://www.abwf.de/content/main/publik/report/2003/Report-80.pdf
Huber, Ludwig (2007): Prüfungen – ein Problem, zu dem die Hochschuldidaktik manches sagen, aber wenig tun kann? In:
Merkt, Marianne; Mayrberger, Kerstin (Hrsg.): Die Qualität akademischer Lehre. Zur Interdependenz von Hochschuldidaktik
und Hochschulentwicklung. Innsbruck: Studienverlag, S. 73-88.
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
51
Kompetenzorientiertes Prüfen im Fernstudium:
Perspektive Studierende, Perspektive Prüfende
Quellen
Huber, Ludwig (2008): 'Kompetenzen' prüfen? In: Dany, Sigrid; Szczyrba, Birgit; Wildt, Johannes (Hrsg.): Prüfungen auf die
Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Bielefeld: W. Bertelsmann, S. 12-26.
Krope, Peter (1984): Dialogische Prüfungsforschung. Bern: Peter Lang.
Laaser, Wolfram (1996): Prüfungen im Fernstudium. Eine didaktische und organisatorische Herausforderung. In: Beiträge zur
Hochschulforschung 4/1996, S. 331-342.
Online: http://www.bzh.bayern.de/uploads/media/4-1996-laaser.pdf
Reinmann, Gabi (2012): Was wäre, wenn es keine Prüfungen mit Rechtsfolgen mehr gäbe? Ein Gedankenexperiment. In:
Csanyi, Gottfried; Reichl, Franz; Steiner, Andreas (Hrsg.): Digitale Medien - Werkzeuge für exzellente Forschung und Lehre.
Münster: Waxmann, S. 29-40.
Online: http://www.pedocs.de/volltexte/2013/8297/pdf/Digitale_Medien_2012_Reinmann_Was_waere_wenn.pdf
Reinmann, Gabi (2015a): Kompetenzorientierung und Prüfungspraxis an Universitäten: Ziele heute und früher,
Problemanalyse und ein unzeitgemäßer Vorschlag. In: Lin-Klitzing, S., Di Fuccia, D., Hartung, R. (Hrsg.): Leistungsstandards
und Leistungsmessung am Gymnasium und an der Universität. Bad Heilbrunn: Klinkhardt.
Online: http://gabi-reinmann.de/wp-content/uploads/2014/10/Artikel_Berlin_Okt_14.pdf
Reinmann, Gabi (2015b): Prüfungen und Forschendes Lernen. In: Mieg, H. A.; Lehmann, J. (Hrsg.): Forschendes Lernen:
Programmatik und Praxis. Frankfurt am Main: Campus.
Online: http://gabi-reinmann.de/wpcontent/uploads/2014/12/Artikel_Pruefungen2_ForschendesLernen_Dez14_Preprint.pdf
Schaper, Niclas; Hilkenmeier, Frederic (2013): Umsetzungshilfen für kompetenzorientiertes Prüfen. HRK-Zusatzgutachten.
Hochschulrektorenkonferenz. Hochschulrektorenkonferenz Projekt nexus.
Online: http://www.hrk-nexus.de/fileadmin/redaktion/hrk-nexus/07-Downloads/07-03-Material/zusatzgutachten.pdf
Schaper, Niclas (2012). Fachgutachten zur Kompetenzorientierung in Studium und Lehre. Hochschulrektorenkonferenz.
Online: http://www.hrk-nexus.de/fileadmin/redaktion/hrk-nexus.
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
52
Kompetenzorientiertes Prüfen im Fernstudium:
Perspektive Studierende, Perspektive Prüfende
Quellen
Schlieb, Claudia; Müller, Ulrich (2013): Prüfung. In: Müller, Ulrich; Alsheimer, Martin; Iberer, Ulrich; Papenkort, Ulrich
(Hrsg.): methoden-kartothek.de. Spielend Seminare plane für Weiterbildung, Training und Schule. Erste Nachlieferung 2013.
Bielefeld: W. Bertelsmann Verlag.
Waffenschmidt, Eberhard (2013): Kompetenzorientierte schriftliche Prüfungen. In: Berendt, Brigitte; Fleischmann, Andreas;
Wildt, Johannes; Schaper, Niclas; Szczyrba, Birgit (Hrsg.): Neues Handbuch Hochschullehre. 62. Ergänzungslieferung.
Stuttgart: Raabe, Systemstelle H5.2.
Walzik, Sebastian (2012): Kompetenzorientiert prüfen. Leistungsbewertung an der Hochschule in Theorie und Praxis.
Opladen: Verlag Barbara Budrich.
Wildt, Johannes Wildt; Wildt, Beatrix (2011): Lernprozessorientiertes Prüfen im "Constructive Alignment". Ein Beitrag zur
Förderung der Qualität von Hochschulbildung durch eine Weiterentwicklung des Prüfungssystems. In: Berendt, Brigitte;
Fleischmann, Andreas; Wildt, Johannes; Schaper, Niclas; Szczyrba, Birgit (Hrsg.): Neues Handbuch Hochschullehre. 51.
Ergänzungslieferung. Stuttgart: Raabe, Systemstelle H6.1.
Wippermann, Martina; Müller, Ulrich (2008): Innovativ lehren - konventionell prüfen? Zur Gestaltung von Studienleistungen
und Prüfungen. In: Müller, Ulrich; Wippermann, Sven; Schweizer, Gerd (Hrsg.): Visionen entwickeln - Bildungsprozesse
wirksam steuern - Führung professionell gestalten. Dokumentation zum Masterstudiengang Bildungsmanagement der
Landesstiftung Baden-Württemberg. Bielefeld, W. Bertelsmann: S. 195-208. DOI: 10.3278/6001921w.
Michael Krüger, „Die Lernende Bildungsorganisation“, Wintersemester 2010/11
53

Download Report