Projektantrag - Institut für Allgemeine Mechanik

e-Prüfung On-Demand
Individuell Lernen, individuell Prüfen
Interaktive elektronische Prüfungen sind die Zukunft des individualisierten Prüfens. On-Demand ePrüfungen sind eine flexible, kostengünstige Möglichkeit, um Kapazitätsengpässe bei den Rechnerplätzen
auszugleichen und eine gleichmäßigere Belegung der vorhandenen Kapazitäten zu ermöglichen.
Studierende können aus mehreren Prüfungsterminen auswählen und bekommen aus einem großen, frei
zugänglichen Aufgabenpool eine individuelle, aber gleichwertige Klausur gestellt. Die neuartigen
Aufgabenkonzepte vereinen dabei die Vorteile von Freifeld- und Multiple-Choice Aufgaben und werden
mit zunehmender Verbesserung des Prüfungssystems interaktiver, sodass Studierende Feedback zu Ihren
Antworten erhalten können und das Zwischenschritte miteinbezogen werden. Dieser Paradigmenwechsel
im akademischen Prüfen erlaubt somit einen individuell auf die Bedürfnisse der Studierenden
abgestimmte Prüfung.
Motivation
Die großen Studierendenzahlen an der RWTH stellen vor allem die Lehrstühle und Institute
des FB04 im Pflichtbereich der 1. Semester Maschinenbau vor die Herausforderung
Massenveranstaltung mit individueller und persönlicher Betreuung und Lehre in Einklang zu
bringen (vgl. Abb. 1).
Ein zentraler Punkt im Blended-Learning Konzept des Instituts für Allgemeine Mechanik
(IAM) ist dabei das Klausurformat und die Vorbereitung auf die Klausur durch
semesterbegleitende Hausübungen. Den Studierenden müssen zum selbstständigen Üben
Aufgaben auf Klausurniveau zur Verfügung gestellt werden und die erworbenen Fähigkeiten
müssen angemessen in der Klausur geprüft werden. Eine Vielzahl von Angeboten, von
klassischen Hörsaalveranstaltungen (Vorlesung, Vorrechen- und Selbstrechenübungen) und
Sprechstunden bis hin zu DirektFeedback [1], Studycrowd, Flipped-Classroom und
Hausübungen bereiten die Studierenden auf die Prüfung vor.
Die 'klassische' Methode, die komplexen Rechenaufgaben auf Papier, führt zu einem enormen
Korrekturaufwand durch die Miteinbeziehung von Folgefehlern. Diese Vorgehensweise ist
bei über 5000 Studierenden in den Mechanik 1 bis 3 für Maschinenbau und diverse
Studiengänge weder effektiv noch ökonomisch. Darüber hinaus müssen Korrekturen mehrerer
wissenschaftlicher Mitarbeiter stets einheitlich und fair, nach den gleichen, klar formulierten
Kriterien, stattfinden.
Da diese Kriterien im Idealfall bei der Ausarbeitung der Aufgaben festgelegt werden, liegt es
nah die geprüften Lernziele und Bewertungskriterien mit der Erstellung der Aufgaben exakt
zu formulieren und die Auswertung selbst zu automatisieren. Der Mehraufwand der
Erstellung von qualitativ hochwertigen und schlüssigen Aufgaben, die die Studierenden
gezielt an die Problemstellung heranführen und gezielt prüfen, ist dabei hinten angestellten
Nachkorrekturen vorzuziehen.
Solche reinen Multiple-Choice Aufgaben auf Papier umzusetzen bringt allerdings mehrere
Nachteile mit sich. Formeln in Lösungen lassen Rückschlüsse auf dem Lösungsweg zu und
Abbildung 1: Vorlesung Mechanik 1 im Maschinenbau im Audimax und parallel
per Live-Schaltung im grünen Hörsaal (ca. 1800 Studierende). Über die von uns
motivierte und mitentwickelte RWTHApp können trotz der großen Zahl die
Studierenden in direkten Austausch mit den Dozierenden treten.
durch den limitierten Platz auf dem Papier können Lösungen erraten werden. Gleichzeitig
werden Folgefehler bestraft und der Lösungsweg kann nicht mehr berücksichtigt werden,
sodass Punkte unnötig verloren gehen.
Diese Nachteile lassen sich auf die begrenzten Eigenschaften des Mediums Papier
zurückführen. Beschränken sich Inhalte von Prüfungen nicht länger auf statische Bilder und
Texte, sondern geben dem Studierenden ein klares Feedback zur Interpretation seiner
eingegeben, aber noch nicht abgeschickten Lösung, entsteht ein zukunftssicheres ePrüfungskonzept mit einem echten Mehrwert für die Studierenden.
Seit nunmehr einem Jahr werden solche e-Prüfungen erfolgreich an der RWTH in den
Fächern Mechanik 1 und 2 im Maschinenbau angeboten. Die große Anzahl der Studierenden
(ca. 5000) steht hierbei der Anzahl der gleichzeitig verfügbaren Rechnerplätzen (ca. 350)
gegenüber. Aus diesem Grund schreiben die Studierenden die Klausuren derzeit über 2 Tage
verteilt in 2-8 Kohorten pro Veranstaltung.
Die naheliegende Lösung für die Kapazitätsengpässe, die Schaffung von mehr Rechnerplätzen
(vgl. Rechnerkapazitäten der TU Delft, NL), ist nicht alleine zielführend. Zum einen kosten
die Anschaffung und der Betrieb der Infrastruktur viel Zeit und Geld, sodass Erweiterungen
der Kapazitäten eher in Dekaden, als in Jahren gerechnet werden. Zum anderen führt eine
massive Erweiterung der Kapazitäten zu einem großen Überangebot außerhalb der
Prüfungszeit. Angeschaffte Technik wird entweder kaum genutzt oder wird in der
Prüfungszeit überbucht. Aus diesen Gründen muss die Schaffung von mehr Rechnerplätzen
durch ein flexibles, schnelles und kostengünstiges Konzept ergänzt werden.
On-Demand-Prüfungen lösen das Kapazitäts- und Auslastungsproblem auf eine elegante,
kostengünstige Weise. Statt die Studierenden fest in Kohorten einzuteilen und nacheinander
zu prüfen, können sich die Studierenden ihren Prüfungstermin selber auswählen. Dabei
können sie den Prüfungstermin individuell nach ihrem Lernstand, persönlichen
Rahmenbedingungen und Vorlieben auswählen. Dies führt zu einer gerechteren Auslastung
der Rechnerplätze über das ganze Semester und die vorlesungsfreie Zeit.
Um elektronische Prüfungen On-Demand durchführen zu können, muss eine große Anzahl an
gleichwertigen, aber einzigartigen Klausuraufgaben vorliegen. Für das Aufgabendesign wird
ein halbautomatisches System, entwickelt am IAM, bevorzugt, welches die Ausarbeitenden
bei der Einpflegung der Prüfungsinhalte maximal unterstützt, aber gleichzeitig maximale
Kontrolle durch den Ausarbeitenden erlaubt. Die Studierenden sollen durch dynamische
Prüfungsinhalte, wie Videos und Animationen, losgelöst von Blattgrenzen an die Aufgabe
heranführen. Eine Mischung von unterschiedlichen MC- und Freifeldaufgaben ermöglicht
neue Aufgabentypen, wie zum Beispiel das qualitative Zusammensetzen eines
Schnittgrößenverlaufs oder das eigenständige Zusammensetzen eines Lösungsweges, die in
MC-Klausuren auf Papier nicht oder nur über Umwege möglich sind. Unsere Erfahrungen mit
dem an der RWTH verwendeten Prüfungssystem OPS (Online Prüfungssystem) durch
Hausübungen und klassischen e-Prüfungen dienen als Grundlage, um alle Möglichkeiten
dieses Systems beim Aufgabendesign auszunutzen.
Durch eine Durchmischung der Semester und Veranstaltungen werden zudem
Täuschungsversuche deutlich erschwert. Zum Beispiel ein Studierender der Mechanik 1 für
Maschinenbauer kann schlecht von einem Studierenden der Mechanik 3 abschreiben. Die
Kohorten können zudem kleiner sein, sodass nicht synchron in mehreren Rechnerräumen
geprüft wird. Die dadurch frei gewordenen Aufsichtsführenden können die Studierenden
besser überblicken.
On-Demand e-Prüfungen werden die Organisation Prüfungsräumen vereinfachen und die
Kapazitäten besser verteilen. Durch die individuelle An- und Ummeldung erscheint zunächst
ein Mehraufwand zu entstehen. Allerdings können sich nach den derzeitigen rechtlichen
Rahmenbedingungen auch schon bei klassischen Prüfungen Studierende noch bis zu 3 Tage
vor der Klausur ohne Attest abmelden, sodass der Aufwand die Kapazitäten umzuverteilen
bereits betrieben wird. Durch individuelle Prüfungstermine sind hier also im Gegenteil
Entlastungen durch eine Verringerung von Abmeldungen durch Terminkonflikte zu erwarten.
Aus den oben genannten Gründen ergänzen On-Demand Prüfungen den Ansatz mehr
Rechnerplätze zu schaffen perfekt und erlauben zudem einen Paradigmenwechsel im
akademischen Prüfen in Massenveranstaltungen.
Zielsetzung
Das Ziel dieses Projektes ist die Schaffung eines hochwertigen Aufgabenpools und die
Organisation von elektronische Prüfungen On Demand in den Fächern Mechanik 1, 2 und 3
im Maschinenbau. Es wird ein hybrides Prüfungsformat gewählt, welches die Vorteile von
reinen elektronischen Prüfungen und klassischen Prüfungen mit Stift und Papier in sich
vereint.
Die Qualität des Aufgabenpools wird durch einen einheitlichen, fairen Schwierigkeitsgrad
zwischen den unterschiedlichen Aufgabenvarianten, ein einheitliches Bewertungsschema und
die Ausnutzung der Möglichkeiten, die elektronische Prüfungen über reine Papierklausuren
hinaus bieten. Vollständig automatisierte Systeme zur Aufgabengenerierung erlauben nur
begrenzte Kontrolle ausarbeitenden wissenschaftlichen Mitarbeiter über den Inhalt der
Aufgaben. Die Konsistenz der Aufgabenstellungen und der Schwierigkeitsgrad benötigen
nach unseren Erfahrungen mit e-Prüfungen in mehreren Kohorten besondere Sorgfalt und eine
zusätzliche, neutrale Beurteilung.
Zudem stehen wir in engem Kontakt zu den Entwicklern und dem RWTH internen digitalen
Support Medien für die Lehre (MfL), um die Weiterentwicklung und Verbesserung des OPS
in Hinblick auf die Anforderungen der Mechanik zu beeinflußen. Durch Feedback zur
eingegebenen Lösung, wie zum Beispiel das Zeichnen eines eingegebenen Spannungsverlaufs
vor dem Absenden, könnten Hilfestellungen bei der Interpretation und eigenständigen
Überprüfung bereitgestellt werden. Die so erworbenen Meta-Kompetenzen erlauben das
gezielte Prüfen von Verständnis und Zusammenhängen und nicht nur das reproduzieren von
auswendig gelerntem Wissen.
Neben der Umsetzung des Aufgabenpools ist die organisatorische Durchführung der ePrüfung On Demand von zentralem Interesse. Die An-, Um- und gegebenenfalls Abmeldung
von einem Prüfungstermin soll möglichst einfach und automatisiert funktionieren.
Das individuell auf jeden Studierenden zugeschnittene Prüfungsformat soll sich in die anderen
e-Learning Aktivitäten des Lehrstuhls, wie das durch uns motivierte [1] und mitentwickelte
DirektFeedback in der RWTHApp, StudyCrowd und das L²P, einpassen. Die ergänzenden
Lehrvideos und Animationen für das Flipped-Classroom Konzept können im Zusammenhang
mit e-Prüfungen als dynamischer Klausurinhalt teilweise integriert werden. Außerdem
entsteht eine natürliche Symbiose mit den Hausübungen, die an das Klausurformat angepasst,
eine ideale Vorbereitung auf den frei gewählten Prüfungstermin bieten. Neben dem
Heranführen an die zum Teil neuen Aufgabentypen und an die Bedienung des Systems,
motivieren die Hausübungen die Studierenden zum kontinuierlichen, semesterbegleitenden
Lernen durch den Anreiz von Bonuspunkten für die Klausur.
Projektbeschreibung
Für das Aufgabendesign wird somit ein halbautomatisches Interface, entwickelt am IAM,
bevorzugt, welches die Ausarbeitenden beim Einpflegen der Prüfungsinhalte maximal
unterstützt (Abb. 2). Die Studierenden sollen durch dynamische Prüfungsinhalte, wie Videos
und Animationen, losgelöst von Blattgrenzen an die Aufgabe heranführen. Eine Mischung
von unterschiedlichen MC- und Freifeldaufgaben ermöglicht neue Aufgabentypen, wie zum
Beispiel das qualitative Zusammensetzen eines Schnittgrößenverlaufs oder das eigenständige
Zusammensetzen eines Lösungsweges, die in MC-Klausuren auf Papier nicht oder nur über
Umwege möglich sind. Unsere Erfahrungen mit dem an der RWTH verwendeten
Prüfungssystem OPS (Online Prüfungssystem) durch Hausübungen und klassischen ePrüfungen dienen als Grundlage, um alle Möglichkeiten dieses Systems beim Aufgabendesign
auszunutzen.
Die Verbesserung des Interfaces folgt darauf parallel zur Erweiterung des Aufgabenpools,
sodass neue Bedürfnisse und Anforderungen der Aufgaben berücksichtigt werden können. So
sollen neue Aufgabentypen lernzielspezifischere Fragestellungen erlauben, sodass
Grundverständnis zur Herangehensweise an eine Problemstellung, als auch das Ausführen
von Teilrechenschritten unabhängig voneinander abgefragt werden kann. So werden die
Studierenden zur richtigen Lösung geführt, während geprüft wird, was sie können und nicht
was sie nicht können.
Die Studierenden werden über Hausübungen an das Online-Prüfungssystem und die
Aufgabentypen herangeführt. So Lernen die Studierenden das spätere Klausursystem kennen
und können gleichzeitig Feedback zur Verbesserung des Systems geben. Durch mehrere auf
die Hausübungen folgende, interne Evaluationen der neuen Aufgabentypen und des
Klausursystems, können Risiken und Grenzen des Konzepts gefunden und vermieden oder
beseitigt werden.
Die Vergrößerung des Aufgabenpools erfolgt danach halbautomatisch. Das Interface
unterstützt den Ausarbeitenden maximal, ohne ihn einzuschränken. Das halbautomatische
Vorgehen wurde gewählt um stets eine Überprüfung durch den Menschen und einen
einheitlichen Schwierigkeitsgrad der Aufgaben sicherzustellen. Zwar wird das Interface auch
Konsistenzprüfung der Eingabewerte und Lösungen vornehmen, allerdings sind diese auf
numerische Auswertung beschränkt. Darum ist ein manueller Konsistenzcheck im Rahmen
Ausarbeiter
Korrektor
Interface
(IAM Entwicklung)
Prüfungssystem
(OPS)
Abbildung 2: Aufgabendesign-Prozess
eines halbautomatischen Ansatzes notwendig.
Ab diesem Zeitpunkt ist es möglich, den Aufgabenpool für die Studierenden freizugeben,
sodass von Anfang an klar ist, was in der Klausur geprüft wird, sodass Vorteile, wenn auch
Durch die gute Zusammenarbeit mit dem MfL nehmen wir außerdem im Rahmen des Projekts
Einfluss auf die Entwicklung von Online-Prüfungssystemen, sodass es für unsere
Anforderungen von numerischen und symbolischen Rechen- und grafischen
Verständnisaufgaben verbessert wird.
Risikobewertung
Seitdem die ersten Hürden, die Entwicklung des Interfaces zur Aufgabenerstellung und eine
vorhandene Grundmenge an Aufgaben, genommen wurden, sind die Risiken für das Projekt
überschaubar.
Die Gleichwertigkeit und Austauschbarkeit der Aufgaben wird über mehrere, streng geregelte
Korrekturschleifen realisiert. Die Korrigierenden sind nicht an der Erstellung der Aufgabe
selbst beteiligt, beurteilen aber nach ihrer eigenen Erfahrung in der Mechanik und nach genau
festgelegten Vorgaben, die Zeit zum Lösen der Aufgabe und deren Schwierigkeitsgrad.
Zusätzlich vergleichen alle Korrigierenden alle Aufgaben eines Typs, sodass keine Ausreißer
dabei sind.
Außerdem wird die Leistung der Studierenden in jeder Aufgabe eines Aufgabentyps, sowie
die Leistung jedes Termins statistisch verglichen, sodass auch hier erkannt wird, ob eine
Aufgabe oder Klausur einfacher oder schwerer als der Durchschnitt war. Unsere Erfahrungen
mit mehreren Kohorten haben allerdings gezeigt, dass selbst bei ähnlichen Aufgabentypen
und Klausur-Zusammenstellungen, die späteren Kohorten die gleiche durchschnittliche
Leistung, wie die vorangegangenen, zeigen.
Übertragbarkeit und Nachhaltigkeit
Durch die zunehmende Digitalisierung der Gesellschaft wir eine zunehmende Akzeptanz in
der Studierendenschaft zum elektronischen Lernen und Prüfen wahrgenommen. Indikatoren
hierfür sind in allen Bereichen der akademischen Lehre vertreten. Die stetig wachsenden und
akzeptierten Blended Learning Aktivitäten am IAM und an der RWTH, angefangen vom L²P
mit seinen Schnittstellen zum E-Test Moodle und StudyCrowd über die RWTHApp und
DirektFeedback bis hin zu den Vorlesungsvideos und Flipped Classroom Konzepten des MfL,
passen sich der Lernweise der digital affinen Studierenden an. Im englischsprachigen Raum
und weltweit erfahren Online-Kurse mit integrierten Prüfungen, z. B. Bei Coursera von
Stanford, großes Interesse. Es ist zu erwarten, dass das Interesse anderer Lehrstühle am
elektronischen Lehren und Prüfen mittelfristig noch steigen wird.
Die Inhalte der Aufgaben und Lösungen sollen beliebig austauschbar sein, sodass Formeln,
Skizzen, Bilder oder Videos beliebig eingebunden und eine große Anzahl an Aufgaben weit
über Grenzen von Themenbereich oder Fachrichtung hinaus ermöglicht werden. Durch den
modularen Aufbau können außerdem aus den ersten erstellten Aufgaben leicht Derivate
abgeleitet werden, wodurch die Zeit für Ausarbeitung optimiert wird.
Bei der Umsetzung wird haupstsächlich OpenSource-Software und ein modularer Aufbau des
Arbeitsablaufs verwendet werden, um Lizenzkosten zu minimieren und den Austausch von
Software und Systemen zu erlauben. Textsatz und Formeln werden mit LATEX, Skizzen und
Bilder mit Xfig erstellt. Generierung von numerischen Variationen wird über MATLAB bzw.
Octave gesteuert. Das verwendete Online-Prüfungssystem bestimmt dabei, wie Quelldateien
umgesetzt werden, um eine optimale Kompatibilität mit dem Online-Prüfungssystem zu
erreichen. Online-Prüfungssysteme, die keine direkte LATEX Eingabe unterstützen, können
die Aufgaben als Bilder bereitgestellt bekommen, während fortgeschrittene Systeme direkt
auf die Quelldateien zurückgreifen können.
Da sich auch die Online-Prüfungssysteme stets weiterentwickeln, das favorisierte System sich
ändert oder die Rahmenbedingungen angepasst werden, wird bei der Umsetzung auf eine
möglichst große Unabhängigkeit von einem spezifischen System geachtet. Somit kann unser
Interface für Ausarbeitenden Schnittstellen zu mehreren Online-Prüfungssystemen bieten,
wodurch Kompatibilität und Anpassungsfähigkeit stets gewährleistet ist und das
Klausurformat universell übertragbar ist.
Vorarbeiten, Vernetzung und Austausch
Als Vorarbeiten des Instituts sind die Motivation und Mitentwicklung der RWTHApp und
von DirektFeedback mit dem Center for Innovative Learning Technologies (CiL) [1], die
Ersteinführung an der RWTH und Förderung von StudyCrowd, sowie die Umsetzung von
FlippedClassroom und elektronischen Hausübungskonzepten zu nennen. In Sachen
Klausursysteme sind der zweijährige Einsatz und die Weiterentwicklung unseres eigenen
AMC Prüfungssystems für Papier-MC Klausuren aufzuführen. Das System erlaubt das
automatisierte einlesen von eingescannten Lösungsbögen und wurde in Kursen und Prüfungen
von jeweils 200 bis 1800 Studierenden erfolgreich eingesetzt. Dabei wurden die Risiken und
Probleme eines elektronischen Prüfungsformats identifiziert und soweit es papierbasierte
Prüfungen zulassen beseitigt oder vermieden.
Elektronische Prüfungen mit dem OPS im klassischen Sinne (mit Kohorten über 2 Tage
verteilt) werden seit nunmehr einem Jahr in den Veranstaltungen Mechanik 1 und 2 für
Maschinenbauer angewandt. Die daraus resultierenden Erfahrungen, an der RWTH
einzigartig für so große Massenveranstaltungen, wurden im Rahmen eines Vortrags und
Diskussion auf dem e-Prüfungstag 2016 an der RWTH geteilt.
Das Bestreben im Bereich der Lehre automatisiert Aufgaben zu generieren ist weit verbreitet
(siehe z. B. [2]). Allerdings beschränken sich die meisten Konzepte auf das Erstellen von
Übungsaufgaben, da ohne menschliche Kontrolle die Qualität und der Schwierigkeitsgrad von
Klausuraufgaben nur schwer sichergestellt werden kann.
Prof. Cramer betreut seit 2009 die Verwendung von MapleTA im Bereich der Mathematik an
der RWTH. Die lizenzpflichtige Software erlaubt symbolisches Rechnen und besitzt
fortgeschrittene Zeichen- und Plotfunktionen. Komplexe Formeln und Symbole können in der
Software selbst dargestellt werden und bietet eine gute Schnittstelle zu LATEX. Leider ist
durch die hohen Lizenzkosten pro Studierenden ein Einsatz für ein einzelnes, wenn auch
zentrales Fach im Maschinenbaustudium noch nicht ökonomisch. Bei einer Lizenzlösung für
den gesamten Fachbereich 4 oder die gesamte Hochschule wäre MapleTA allerdings eine
ausgezeichnete Wahl.
In [3], [4] werden die Möglichkeiten von neuen Aufgabenformen und Prüfungstaxonomien im
Bereich der Medizin beschrieben. Das Potenzial zur Selbsteinschätzung für den Studierenden
wir hierbei als positiv gewertet, allerdings werden auch Probleme, Risiken und
Verbesserungsvorschläge elektronischer Prüfungen und deren Durchführung aufgezeigt [4].
Ein Konzept zur Einführung hochschulweiter elektronischer Prüfungen an der RWTH wird in
[5] beleuchtet. Das Konzept sieht eine Analyse des Bedarfs an der Hochschule, die praktische
Umsetzung, Werbung für das Format und, Hilfestellung für die Lehrstühle und Nachhaltigkeit
durch Bündelung der Kompetenzen. Das hier vorgestellte Projekt baut in Zusammenarbeit mit
dem MfL auf dem Konzept von [5] auf Institutsseite auf und fungiert als Schnittstelle
zwischen den ausarbeitenden Assistenten und dem Online-Prüfungssystem des MfL.
Literaturangaben
[1]
T. Karbach, ‘WhatsApp im Hörsaal: RWTH-Professor auf neuen Wegen’, Aachener
Zeitung. Available: http://www.aachener-zeitung.de/lokales/region/whatsapp-imhoersaal-rwth-professor-auf-neuen-wegen-1.837026. [Accessed: 19-Aug-2016].
[2]
M. Fikar, L. Cirka, M. Bakosova, und T. Hirmajer, „Automatic generation of
assignments and quizzes in control engineering education“, Control Conf. ECC 2007
Eur., S. 2714–2720, Juli 2007.
[3]
M. Baumann, J. Steinmetzer, M. Karami, und G. Schäfer, „Innovative electronic
exams with voice in- and output questions in medical terminology on a high
taxonomic level“, Med. Teach., Bd. 31, Nr. 10, S. e460–e463, Jan. 2009.
[4]
A. Otto, M. Karami, M. Baumann, und D. Groß, „Verbesserungspotenziale
elektronischer Prüfungen am Beispiel von medizinischen Tests“, in Elektronische
Prüfungsformen und E-Learning-Unterstützung für polyvalente Lehre, 2015, S. 16.
[5]
M. Karami und M. Baumann, „Zum Glück gezwungen? Wie die Einführung eines
hochschulweiten Angebots elektronischer Prüfungen gelingen kann“, in Pädagogische
Hochschulentwicklung: von der Programmatik zur Implementierung, T. Brahm, T.
Jenert, und D. Euler, Hrsg. (in Druck).