e-Prüfung On-Demand Individuell Lernen, individuell Prüfen Interaktive elektronische Prüfungen sind die Zukunft des individualisierten Prüfens. On-Demand ePrüfungen sind eine flexible, kostengünstige Möglichkeit, um Kapazitätsengpässe bei den Rechnerplätzen auszugleichen und eine gleichmäßigere Belegung der vorhandenen Kapazitäten zu ermöglichen. Studierende können aus mehreren Prüfungsterminen auswählen und bekommen aus einem großen, frei zugänglichen Aufgabenpool eine individuelle, aber gleichwertige Klausur gestellt. Die neuartigen Aufgabenkonzepte vereinen dabei die Vorteile von Freifeld- und Multiple-Choice Aufgaben und werden mit zunehmender Verbesserung des Prüfungssystems interaktiver, sodass Studierende Feedback zu Ihren Antworten erhalten können und das Zwischenschritte miteinbezogen werden. Dieser Paradigmenwechsel im akademischen Prüfen erlaubt somit einen individuell auf die Bedürfnisse der Studierenden abgestimmte Prüfung. Motivation Die großen Studierendenzahlen an der RWTH stellen vor allem die Lehrstühle und Institute des FB04 im Pflichtbereich der 1. Semester Maschinenbau vor die Herausforderung Massenveranstaltung mit individueller und persönlicher Betreuung und Lehre in Einklang zu bringen (vgl. Abb. 1). Ein zentraler Punkt im Blended-Learning Konzept des Instituts für Allgemeine Mechanik (IAM) ist dabei das Klausurformat und die Vorbereitung auf die Klausur durch semesterbegleitende Hausübungen. Den Studierenden müssen zum selbstständigen Üben Aufgaben auf Klausurniveau zur Verfügung gestellt werden und die erworbenen Fähigkeiten müssen angemessen in der Klausur geprüft werden. Eine Vielzahl von Angeboten, von klassischen Hörsaalveranstaltungen (Vorlesung, Vorrechen- und Selbstrechenübungen) und Sprechstunden bis hin zu DirektFeedback [1], Studycrowd, Flipped-Classroom und Hausübungen bereiten die Studierenden auf die Prüfung vor. Die 'klassische' Methode, die komplexen Rechenaufgaben auf Papier, führt zu einem enormen Korrekturaufwand durch die Miteinbeziehung von Folgefehlern. Diese Vorgehensweise ist bei über 5000 Studierenden in den Mechanik 1 bis 3 für Maschinenbau und diverse Studiengänge weder effektiv noch ökonomisch. Darüber hinaus müssen Korrekturen mehrerer wissenschaftlicher Mitarbeiter stets einheitlich und fair, nach den gleichen, klar formulierten Kriterien, stattfinden. Da diese Kriterien im Idealfall bei der Ausarbeitung der Aufgaben festgelegt werden, liegt es nah die geprüften Lernziele und Bewertungskriterien mit der Erstellung der Aufgaben exakt zu formulieren und die Auswertung selbst zu automatisieren. Der Mehraufwand der Erstellung von qualitativ hochwertigen und schlüssigen Aufgaben, die die Studierenden gezielt an die Problemstellung heranführen und gezielt prüfen, ist dabei hinten angestellten Nachkorrekturen vorzuziehen. Solche reinen Multiple-Choice Aufgaben auf Papier umzusetzen bringt allerdings mehrere Nachteile mit sich. Formeln in Lösungen lassen Rückschlüsse auf dem Lösungsweg zu und Abbildung 1: Vorlesung Mechanik 1 im Maschinenbau im Audimax und parallel per Live-Schaltung im grünen Hörsaal (ca. 1800 Studierende). Über die von uns motivierte und mitentwickelte RWTHApp können trotz der großen Zahl die Studierenden in direkten Austausch mit den Dozierenden treten. durch den limitierten Platz auf dem Papier können Lösungen erraten werden. Gleichzeitig werden Folgefehler bestraft und der Lösungsweg kann nicht mehr berücksichtigt werden, sodass Punkte unnötig verloren gehen. Diese Nachteile lassen sich auf die begrenzten Eigenschaften des Mediums Papier zurückführen. Beschränken sich Inhalte von Prüfungen nicht länger auf statische Bilder und Texte, sondern geben dem Studierenden ein klares Feedback zur Interpretation seiner eingegeben, aber noch nicht abgeschickten Lösung, entsteht ein zukunftssicheres ePrüfungskonzept mit einem echten Mehrwert für die Studierenden. Seit nunmehr einem Jahr werden solche e-Prüfungen erfolgreich an der RWTH in den Fächern Mechanik 1 und 2 im Maschinenbau angeboten. Die große Anzahl der Studierenden (ca. 5000) steht hierbei der Anzahl der gleichzeitig verfügbaren Rechnerplätzen (ca. 350) gegenüber. Aus diesem Grund schreiben die Studierenden die Klausuren derzeit über 2 Tage verteilt in 2-8 Kohorten pro Veranstaltung. Die naheliegende Lösung für die Kapazitätsengpässe, die Schaffung von mehr Rechnerplätzen (vgl. Rechnerkapazitäten der TU Delft, NL), ist nicht alleine zielführend. Zum einen kosten die Anschaffung und der Betrieb der Infrastruktur viel Zeit und Geld, sodass Erweiterungen der Kapazitäten eher in Dekaden, als in Jahren gerechnet werden. Zum anderen führt eine massive Erweiterung der Kapazitäten zu einem großen Überangebot außerhalb der Prüfungszeit. Angeschaffte Technik wird entweder kaum genutzt oder wird in der Prüfungszeit überbucht. Aus diesen Gründen muss die Schaffung von mehr Rechnerplätzen durch ein flexibles, schnelles und kostengünstiges Konzept ergänzt werden. On-Demand-Prüfungen lösen das Kapazitäts- und Auslastungsproblem auf eine elegante, kostengünstige Weise. Statt die Studierenden fest in Kohorten einzuteilen und nacheinander zu prüfen, können sich die Studierenden ihren Prüfungstermin selber auswählen. Dabei können sie den Prüfungstermin individuell nach ihrem Lernstand, persönlichen Rahmenbedingungen und Vorlieben auswählen. Dies führt zu einer gerechteren Auslastung der Rechnerplätze über das ganze Semester und die vorlesungsfreie Zeit. Um elektronische Prüfungen On-Demand durchführen zu können, muss eine große Anzahl an gleichwertigen, aber einzigartigen Klausuraufgaben vorliegen. Für das Aufgabendesign wird ein halbautomatisches System, entwickelt am IAM, bevorzugt, welches die Ausarbeitenden bei der Einpflegung der Prüfungsinhalte maximal unterstützt, aber gleichzeitig maximale Kontrolle durch den Ausarbeitenden erlaubt. Die Studierenden sollen durch dynamische Prüfungsinhalte, wie Videos und Animationen, losgelöst von Blattgrenzen an die Aufgabe heranführen. Eine Mischung von unterschiedlichen MC- und Freifeldaufgaben ermöglicht neue Aufgabentypen, wie zum Beispiel das qualitative Zusammensetzen eines Schnittgrößenverlaufs oder das eigenständige Zusammensetzen eines Lösungsweges, die in MC-Klausuren auf Papier nicht oder nur über Umwege möglich sind. Unsere Erfahrungen mit dem an der RWTH verwendeten Prüfungssystem OPS (Online Prüfungssystem) durch Hausübungen und klassischen e-Prüfungen dienen als Grundlage, um alle Möglichkeiten dieses Systems beim Aufgabendesign auszunutzen. Durch eine Durchmischung der Semester und Veranstaltungen werden zudem Täuschungsversuche deutlich erschwert. Zum Beispiel ein Studierender der Mechanik 1 für Maschinenbauer kann schlecht von einem Studierenden der Mechanik 3 abschreiben. Die Kohorten können zudem kleiner sein, sodass nicht synchron in mehreren Rechnerräumen geprüft wird. Die dadurch frei gewordenen Aufsichtsführenden können die Studierenden besser überblicken. On-Demand e-Prüfungen werden die Organisation Prüfungsräumen vereinfachen und die Kapazitäten besser verteilen. Durch die individuelle An- und Ummeldung erscheint zunächst ein Mehraufwand zu entstehen. Allerdings können sich nach den derzeitigen rechtlichen Rahmenbedingungen auch schon bei klassischen Prüfungen Studierende noch bis zu 3 Tage vor der Klausur ohne Attest abmelden, sodass der Aufwand die Kapazitäten umzuverteilen bereits betrieben wird. Durch individuelle Prüfungstermine sind hier also im Gegenteil Entlastungen durch eine Verringerung von Abmeldungen durch Terminkonflikte zu erwarten. Aus den oben genannten Gründen ergänzen On-Demand Prüfungen den Ansatz mehr Rechnerplätze zu schaffen perfekt und erlauben zudem einen Paradigmenwechsel im akademischen Prüfen in Massenveranstaltungen. Zielsetzung Das Ziel dieses Projektes ist die Schaffung eines hochwertigen Aufgabenpools und die Organisation von elektronische Prüfungen On Demand in den Fächern Mechanik 1, 2 und 3 im Maschinenbau. Es wird ein hybrides Prüfungsformat gewählt, welches die Vorteile von reinen elektronischen Prüfungen und klassischen Prüfungen mit Stift und Papier in sich vereint. Die Qualität des Aufgabenpools wird durch einen einheitlichen, fairen Schwierigkeitsgrad zwischen den unterschiedlichen Aufgabenvarianten, ein einheitliches Bewertungsschema und die Ausnutzung der Möglichkeiten, die elektronische Prüfungen über reine Papierklausuren hinaus bieten. Vollständig automatisierte Systeme zur Aufgabengenerierung erlauben nur begrenzte Kontrolle ausarbeitenden wissenschaftlichen Mitarbeiter über den Inhalt der Aufgaben. Die Konsistenz der Aufgabenstellungen und der Schwierigkeitsgrad benötigen nach unseren Erfahrungen mit e-Prüfungen in mehreren Kohorten besondere Sorgfalt und eine zusätzliche, neutrale Beurteilung. Zudem stehen wir in engem Kontakt zu den Entwicklern und dem RWTH internen digitalen Support Medien für die Lehre (MfL), um die Weiterentwicklung und Verbesserung des OPS in Hinblick auf die Anforderungen der Mechanik zu beeinflußen. Durch Feedback zur eingegebenen Lösung, wie zum Beispiel das Zeichnen eines eingegebenen Spannungsverlaufs vor dem Absenden, könnten Hilfestellungen bei der Interpretation und eigenständigen Überprüfung bereitgestellt werden. Die so erworbenen Meta-Kompetenzen erlauben das gezielte Prüfen von Verständnis und Zusammenhängen und nicht nur das reproduzieren von auswendig gelerntem Wissen. Neben der Umsetzung des Aufgabenpools ist die organisatorische Durchführung der ePrüfung On Demand von zentralem Interesse. Die An-, Um- und gegebenenfalls Abmeldung von einem Prüfungstermin soll möglichst einfach und automatisiert funktionieren. Das individuell auf jeden Studierenden zugeschnittene Prüfungsformat soll sich in die anderen e-Learning Aktivitäten des Lehrstuhls, wie das durch uns motivierte [1] und mitentwickelte DirektFeedback in der RWTHApp, StudyCrowd und das L²P, einpassen. Die ergänzenden Lehrvideos und Animationen für das Flipped-Classroom Konzept können im Zusammenhang mit e-Prüfungen als dynamischer Klausurinhalt teilweise integriert werden. Außerdem entsteht eine natürliche Symbiose mit den Hausübungen, die an das Klausurformat angepasst, eine ideale Vorbereitung auf den frei gewählten Prüfungstermin bieten. Neben dem Heranführen an die zum Teil neuen Aufgabentypen und an die Bedienung des Systems, motivieren die Hausübungen die Studierenden zum kontinuierlichen, semesterbegleitenden Lernen durch den Anreiz von Bonuspunkten für die Klausur. Projektbeschreibung Für das Aufgabendesign wird somit ein halbautomatisches Interface, entwickelt am IAM, bevorzugt, welches die Ausarbeitenden beim Einpflegen der Prüfungsinhalte maximal unterstützt (Abb. 2). Die Studierenden sollen durch dynamische Prüfungsinhalte, wie Videos und Animationen, losgelöst von Blattgrenzen an die Aufgabe heranführen. Eine Mischung von unterschiedlichen MC- und Freifeldaufgaben ermöglicht neue Aufgabentypen, wie zum Beispiel das qualitative Zusammensetzen eines Schnittgrößenverlaufs oder das eigenständige Zusammensetzen eines Lösungsweges, die in MC-Klausuren auf Papier nicht oder nur über Umwege möglich sind. Unsere Erfahrungen mit dem an der RWTH verwendeten Prüfungssystem OPS (Online Prüfungssystem) durch Hausübungen und klassischen ePrüfungen dienen als Grundlage, um alle Möglichkeiten dieses Systems beim Aufgabendesign auszunutzen. Die Verbesserung des Interfaces folgt darauf parallel zur Erweiterung des Aufgabenpools, sodass neue Bedürfnisse und Anforderungen der Aufgaben berücksichtigt werden können. So sollen neue Aufgabentypen lernzielspezifischere Fragestellungen erlauben, sodass Grundverständnis zur Herangehensweise an eine Problemstellung, als auch das Ausführen von Teilrechenschritten unabhängig voneinander abgefragt werden kann. So werden die Studierenden zur richtigen Lösung geführt, während geprüft wird, was sie können und nicht was sie nicht können. Die Studierenden werden über Hausübungen an das Online-Prüfungssystem und die Aufgabentypen herangeführt. So Lernen die Studierenden das spätere Klausursystem kennen und können gleichzeitig Feedback zur Verbesserung des Systems geben. Durch mehrere auf die Hausübungen folgende, interne Evaluationen der neuen Aufgabentypen und des Klausursystems, können Risiken und Grenzen des Konzepts gefunden und vermieden oder beseitigt werden. Die Vergrößerung des Aufgabenpools erfolgt danach halbautomatisch. Das Interface unterstützt den Ausarbeitenden maximal, ohne ihn einzuschränken. Das halbautomatische Vorgehen wurde gewählt um stets eine Überprüfung durch den Menschen und einen einheitlichen Schwierigkeitsgrad der Aufgaben sicherzustellen. Zwar wird das Interface auch Konsistenzprüfung der Eingabewerte und Lösungen vornehmen, allerdings sind diese auf numerische Auswertung beschränkt. Darum ist ein manueller Konsistenzcheck im Rahmen Ausarbeiter Korrektor Interface (IAM Entwicklung) Prüfungssystem (OPS) Abbildung 2: Aufgabendesign-Prozess eines halbautomatischen Ansatzes notwendig. Ab diesem Zeitpunkt ist es möglich, den Aufgabenpool für die Studierenden freizugeben, sodass von Anfang an klar ist, was in der Klausur geprüft wird, sodass Vorteile, wenn auch Durch die gute Zusammenarbeit mit dem MfL nehmen wir außerdem im Rahmen des Projekts Einfluss auf die Entwicklung von Online-Prüfungssystemen, sodass es für unsere Anforderungen von numerischen und symbolischen Rechen- und grafischen Verständnisaufgaben verbessert wird. Risikobewertung Seitdem die ersten Hürden, die Entwicklung des Interfaces zur Aufgabenerstellung und eine vorhandene Grundmenge an Aufgaben, genommen wurden, sind die Risiken für das Projekt überschaubar. Die Gleichwertigkeit und Austauschbarkeit der Aufgaben wird über mehrere, streng geregelte Korrekturschleifen realisiert. Die Korrigierenden sind nicht an der Erstellung der Aufgabe selbst beteiligt, beurteilen aber nach ihrer eigenen Erfahrung in der Mechanik und nach genau festgelegten Vorgaben, die Zeit zum Lösen der Aufgabe und deren Schwierigkeitsgrad. Zusätzlich vergleichen alle Korrigierenden alle Aufgaben eines Typs, sodass keine Ausreißer dabei sind. Außerdem wird die Leistung der Studierenden in jeder Aufgabe eines Aufgabentyps, sowie die Leistung jedes Termins statistisch verglichen, sodass auch hier erkannt wird, ob eine Aufgabe oder Klausur einfacher oder schwerer als der Durchschnitt war. Unsere Erfahrungen mit mehreren Kohorten haben allerdings gezeigt, dass selbst bei ähnlichen Aufgabentypen und Klausur-Zusammenstellungen, die späteren Kohorten die gleiche durchschnittliche Leistung, wie die vorangegangenen, zeigen. Übertragbarkeit und Nachhaltigkeit Durch die zunehmende Digitalisierung der Gesellschaft wir eine zunehmende Akzeptanz in der Studierendenschaft zum elektronischen Lernen und Prüfen wahrgenommen. Indikatoren hierfür sind in allen Bereichen der akademischen Lehre vertreten. Die stetig wachsenden und akzeptierten Blended Learning Aktivitäten am IAM und an der RWTH, angefangen vom L²P mit seinen Schnittstellen zum E-Test Moodle und StudyCrowd über die RWTHApp und DirektFeedback bis hin zu den Vorlesungsvideos und Flipped Classroom Konzepten des MfL, passen sich der Lernweise der digital affinen Studierenden an. Im englischsprachigen Raum und weltweit erfahren Online-Kurse mit integrierten Prüfungen, z. B. Bei Coursera von Stanford, großes Interesse. Es ist zu erwarten, dass das Interesse anderer Lehrstühle am elektronischen Lehren und Prüfen mittelfristig noch steigen wird. Die Inhalte der Aufgaben und Lösungen sollen beliebig austauschbar sein, sodass Formeln, Skizzen, Bilder oder Videos beliebig eingebunden und eine große Anzahl an Aufgaben weit über Grenzen von Themenbereich oder Fachrichtung hinaus ermöglicht werden. Durch den modularen Aufbau können außerdem aus den ersten erstellten Aufgaben leicht Derivate abgeleitet werden, wodurch die Zeit für Ausarbeitung optimiert wird. Bei der Umsetzung wird haupstsächlich OpenSource-Software und ein modularer Aufbau des Arbeitsablaufs verwendet werden, um Lizenzkosten zu minimieren und den Austausch von Software und Systemen zu erlauben. Textsatz und Formeln werden mit LATEX, Skizzen und Bilder mit Xfig erstellt. Generierung von numerischen Variationen wird über MATLAB bzw. Octave gesteuert. Das verwendete Online-Prüfungssystem bestimmt dabei, wie Quelldateien umgesetzt werden, um eine optimale Kompatibilität mit dem Online-Prüfungssystem zu erreichen. Online-Prüfungssysteme, die keine direkte LATEX Eingabe unterstützen, können die Aufgaben als Bilder bereitgestellt bekommen, während fortgeschrittene Systeme direkt auf die Quelldateien zurückgreifen können. Da sich auch die Online-Prüfungssysteme stets weiterentwickeln, das favorisierte System sich ändert oder die Rahmenbedingungen angepasst werden, wird bei der Umsetzung auf eine möglichst große Unabhängigkeit von einem spezifischen System geachtet. Somit kann unser Interface für Ausarbeitenden Schnittstellen zu mehreren Online-Prüfungssystemen bieten, wodurch Kompatibilität und Anpassungsfähigkeit stets gewährleistet ist und das Klausurformat universell übertragbar ist. Vorarbeiten, Vernetzung und Austausch Als Vorarbeiten des Instituts sind die Motivation und Mitentwicklung der RWTHApp und von DirektFeedback mit dem Center for Innovative Learning Technologies (CiL) [1], die Ersteinführung an der RWTH und Förderung von StudyCrowd, sowie die Umsetzung von FlippedClassroom und elektronischen Hausübungskonzepten zu nennen. In Sachen Klausursysteme sind der zweijährige Einsatz und die Weiterentwicklung unseres eigenen AMC Prüfungssystems für Papier-MC Klausuren aufzuführen. Das System erlaubt das automatisierte einlesen von eingescannten Lösungsbögen und wurde in Kursen und Prüfungen von jeweils 200 bis 1800 Studierenden erfolgreich eingesetzt. Dabei wurden die Risiken und Probleme eines elektronischen Prüfungsformats identifiziert und soweit es papierbasierte Prüfungen zulassen beseitigt oder vermieden. Elektronische Prüfungen mit dem OPS im klassischen Sinne (mit Kohorten über 2 Tage verteilt) werden seit nunmehr einem Jahr in den Veranstaltungen Mechanik 1 und 2 für Maschinenbauer angewandt. Die daraus resultierenden Erfahrungen, an der RWTH einzigartig für so große Massenveranstaltungen, wurden im Rahmen eines Vortrags und Diskussion auf dem e-Prüfungstag 2016 an der RWTH geteilt. Das Bestreben im Bereich der Lehre automatisiert Aufgaben zu generieren ist weit verbreitet (siehe z. B. [2]). Allerdings beschränken sich die meisten Konzepte auf das Erstellen von Übungsaufgaben, da ohne menschliche Kontrolle die Qualität und der Schwierigkeitsgrad von Klausuraufgaben nur schwer sichergestellt werden kann. Prof. Cramer betreut seit 2009 die Verwendung von MapleTA im Bereich der Mathematik an der RWTH. Die lizenzpflichtige Software erlaubt symbolisches Rechnen und besitzt fortgeschrittene Zeichen- und Plotfunktionen. Komplexe Formeln und Symbole können in der Software selbst dargestellt werden und bietet eine gute Schnittstelle zu LATEX. Leider ist durch die hohen Lizenzkosten pro Studierenden ein Einsatz für ein einzelnes, wenn auch zentrales Fach im Maschinenbaustudium noch nicht ökonomisch. Bei einer Lizenzlösung für den gesamten Fachbereich 4 oder die gesamte Hochschule wäre MapleTA allerdings eine ausgezeichnete Wahl. In [3], [4] werden die Möglichkeiten von neuen Aufgabenformen und Prüfungstaxonomien im Bereich der Medizin beschrieben. Das Potenzial zur Selbsteinschätzung für den Studierenden wir hierbei als positiv gewertet, allerdings werden auch Probleme, Risiken und Verbesserungsvorschläge elektronischer Prüfungen und deren Durchführung aufgezeigt [4]. Ein Konzept zur Einführung hochschulweiter elektronischer Prüfungen an der RWTH wird in [5] beleuchtet. Das Konzept sieht eine Analyse des Bedarfs an der Hochschule, die praktische Umsetzung, Werbung für das Format und, Hilfestellung für die Lehrstühle und Nachhaltigkeit durch Bündelung der Kompetenzen. Das hier vorgestellte Projekt baut in Zusammenarbeit mit dem MfL auf dem Konzept von [5] auf Institutsseite auf und fungiert als Schnittstelle zwischen den ausarbeitenden Assistenten und dem Online-Prüfungssystem des MfL. Literaturangaben [1] T. Karbach, ‘WhatsApp im Hörsaal: RWTH-Professor auf neuen Wegen’, Aachener Zeitung. Available: http://www.aachener-zeitung.de/lokales/region/whatsapp-imhoersaal-rwth-professor-auf-neuen-wegen-1.837026. [Accessed: 19-Aug-2016]. [2] M. Fikar, L. Cirka, M. Bakosova, und T. Hirmajer, „Automatic generation of assignments and quizzes in control engineering education“, Control Conf. ECC 2007 Eur., S. 2714–2720, Juli 2007. [3] M. Baumann, J. Steinmetzer, M. Karami, und G. Schäfer, „Innovative electronic exams with voice in- and output questions in medical terminology on a high taxonomic level“, Med. Teach., Bd. 31, Nr. 10, S. e460–e463, Jan. 2009. [4] A. Otto, M. Karami, M. Baumann, und D. Groß, „Verbesserungspotenziale elektronischer Prüfungen am Beispiel von medizinischen Tests“, in Elektronische Prüfungsformen und E-Learning-Unterstützung für polyvalente Lehre, 2015, S. 16. [5] M. Karami und M. Baumann, „Zum Glück gezwungen? Wie die Einführung eines hochschulweiten Angebots elektronischer Prüfungen gelingen kann“, in Pädagogische Hochschulentwicklung: von der Programmatik zur Implementierung, T. Brahm, T. Jenert, und D. Euler, Hrsg. (in Druck).
© Copyright 2024 ExpyDoc