P2: Entwicklung und Validierung eines Bewertungsbogens für

P2
Entwicklung und Validierung eines Bewertungsbogens
für Phantomarbeiten in der zahnärztlichen Vorprüfung
N. CORCODEL, L. EBERHARD, E. KARATZOGIANNIS, K-CH. WEGE, A.J. HASSEL, M. LECKEL,
B.OHLMANN, P. RAMMELSBERG, ST. RUES, M. SCHMITTER, T. STOBER
Abteilung für Zahnärztliche Prothetik, Universität Heidelberg, Deutschland
Einführung
Die Prüfung ist ein Instrument um theoretische und/oder praktische Kompetenzen zu verifizieren und sichert als Schlüsselelement die
Qualität einer Ausbildung.
Ein wesentlicher Teil der zahnärztlichen Vorprüfung besteht in der Bewertung von praktischen Kenntnissen und Fertigkeiten. Im Gegensatz
zu den theoretischen Prüfungen, wie z.B. Multiple-Choice-Klausuren, ist die Prüfung von praktischen Fertigkeiten einer hohen Subjektivität
und bei mehreren Prüfern zusätzlich einer Variabilität unterworfen.
Zielsetzung
Im Rahmen eines Lehrprojekts sollte ein Bewertungsbogen mit Erwartungshorizonten und Checklisten für die Evaluation der praktischen
Phantomarbeiten der zahnärztlichen Vorprüfung entwickelt und validiert werden.
Material und Methoden
Statistische Auswertung:
I. Erstellen eines Bewertungsbogen:
• Die Übereinstimmung der Bewertungen wurde mittels Fleiss Kappa
berechnet
Workshop mit allen an der Physikumsprüfung beteiligten Prüfer (N=6) • Berechnung von Spearman Korrelationsanalysen zwischen dem
Ergebnis der praktischen Physikumsnote des folgenden Semesters
1. Bewertung von 15 Kursarbeiten (15 Brücken und 15 Totalprothesen) (p<0.05).
• Arbeiten aus dem abgeschlossenen Kurs davon 5 als nicht
bestanden, 5 mit durchschnittlich und 5 mit sehr gut bewertete
Kursarbeiten
• alter Bewertungsbogen (Notengebung von 1-6)
Ergebnisse
1. Die
Reliabilität
der
Notenvergabe
konnte
von
einem
durchschnittlichen ICC-Maß von 0,75 auf 0,84 gesteigert werden.
2. Die Übereinstimmung, ob die Arbeit als bestanden gilt oder nicht,
konnte von einem Fleiss Kappa von 0,11 auf 0,36 gesteigert werden.
2. Konsensfindung anhand anderer Kursarbeiten zu idealen
Bewertungskriterien und zur Kategorienbeschreibung
Erarbeitung eines Bewertungsbogens
Merkmale des Bogens:
• 8 Bewertungskriterien
• Reduzierung der Notengebung auf 3 Bewertungsgrade
(Noten 1, 3 oder 5)
• definierte Erwartungshorizonte für jedes Bewertungskriterium
3. Die Validität der Prüfungsnote konnte durch eine signifikante
Korrelation zwischen den Ergebnissen der praktischen Arbeiten aus
den vorklinischen Kursen zu der Bewertung der praktischen
Physikumsarbeit bestätigt werden (Spearman CC 0,36-0,67;
p<0.011).
Zeitpunkt
Zahnärztliche Vorprüfung Frühjahr 2010
Name:
Zahnärztliche Vorprüfung Frühjahr 2010
Name:
Nr.:
Kriterien
Arbeit:
Noten
1
2
3
Kriterien
Datum:
4
5
6
Wesentliche Kriterien erfüllt
(Substanzabtrag, Präpgrenze,
Winkel, Einschubrichtung)
Leichte Mängel
Wesentliche Kriterien erfüllt
(Passung, kein Schaukeln,
Randschluss)
Leichte Mängel (geringfügig zu
kurz oder zu lang aber dicht,
minimales Schaukeln)
3) Approximalkontakte
(Patient)
Wesentliche Kriterien erfüllt
(beide vorhanden, in korrekter
Position und Stärke)
Leichte Mängel (beide
vorhanden, zu stark oder zu
schwach)
4) Statische Okklusion
Mehrere Kontakte auf allen
Brückengliedern ohne
Bisserhöhung
Mindestens ein Kontakt je
Brückenglied ohne
Bisserhöhung
5) Dynamische
Okklusion
Eckzahnführung gemeinsam
mit FZ-Führungsteller
Gruppenführung gemeinsam
mit FZ-Führungsteller
6) Modellation und
Gestaltung Metallgerüst
(incl. Politur)
Wesentliche Kriterien erfüllt
(Zahnanatomie,
Brückenzw.glied mit Basis,
Gussqualität, Politur)
Leichte Mängel
Wesentliche Mängel
Täuschung oder
nicht
durchgeführt
7) Verblendung
Wesentliche Kriterien erfüllt
(ansprechende Form- und
Farbgestaltung, Politur)
Leichte Mängel in Form- oder
Farbgestaltung oder
Ausarbeitung
Wesentliche Mängel in Formoder Farbgestaltung oder
Ausarbeitung
Täuschung oder
nicht
durchgeführt
Unversehrt und Sauber,
Splicast spaltfrei
Leichte Beschädigungen der
Modelle, unsaubere
Unterlagen
1) Präparation
Brücke 13-15
Prüfer:
2) Passung und
Randschluss
8) Arbeitsunterlagen
(Modelle, Splitcast, Patient,
Artikulator)
Nr.:
Wesentliche Mängel
Täuschung oder
(untersichgehend oder deutlich nicht
zu invasiv oder zu konisch)
durchgeführt
Wesentliche Mängel (deutlich zu
Täuschung oder
lang oder zu kurz oder
nicht
deutliches Schaukeln oder
durchgeführt
undicht
1) Zahnaufstellung
Arbeit:
TO / TU
2) stat. Okklusion
(Shimstock, Lage mit
Okklufolie)
Täuschung oder
Wesentliche Mängel (einer oder
nicht
beide fehlen deutlich)
durchgeführt
Nonokklusion (teilweise oder
ganz) oder deutliche
Bisserhöhung
3) dyn. Okklusion (mit
zwei Farben Okklufolie)
Täuschung oder
nicht
durchgeführt
4) Prothesenausdehung
und Passung (wenn ein
Kiefer deutliche Mängel
"5")
5) Kunststoffqualität
(wenn ein Kiefer
deutliche Mängel "5")
6) Ausarbeitung/Politur
(wenn ein Kiefer
deutliche Mängel "5")
Nur Brückenzwischen-glied oder Täuschung oder
keine Beteiligung oder
nicht
Balancekontake
durchgeführt
Wesentliche Beschädigung der Täuschung oder
Modelle oder stark verschmutzte nicht
Unterlagen
durchgeführt
7) Arbeitsunterlagen
(Modelle, Splitcast, Patient,
Artikulator)
Richtlinien zur
Endnote
1. Wenn keine Einzelnote "5" zählt die Durchschnittsnote
2. Wenn 2 x Einzelnote 5 in den Kriterien 1-4: bestenfalls Gesamtnote 4
3. Wenn 3 x Einzelnote 5: bestenfalls Gesamtnote 4
JA
Abweichung von der
Durchschnittsnote
NEIN
1
2
3
Relation Kieferkamm/
Vestibulum, Glasplatte,
Kompensations-kurve,
Zahnachsen, (Prä-)
Molarentangente, Verzahnung, Mittellinie, Form der
Zahnbögen
Leichte Abweichungen
2 Kontakte Molar, 1 Kontakte
pro Prämolar in richtiger Lage,
Front Overbite/Overjet
Kontakt an maximal zwei
Zahnpaaren pro Seite fehlt
oder hat falsche Lage
Zähne (3)4-7 Arbeitsseitenkontake, Zähne 4-7
Balancekontakte, seitl.
Abstützung Protrusion
Frontzahnführungsteller hat
Kontakt
Vor Bogenerstellung
Datum:
4
5
6
Wesentliche Mängel
Täuschung oder
nicht
durchgeführt
weniger Kontakte als bei
Beschreibung "3"
Täuschung oder
nicht
durchgeführt
mindestens zwei
Arbeitsseitenkontakte und ein
Balancekontakt, leichtes
Abheben des FZF-Tellers
keine Remontagemodelle,
Eckzahnführung, unilaterale
Täuschung oder
Balance, weniger Kontakte als
nicht
bei "3", massives Abheben des
durchgeführt
Tellers oder nur Führung durch
FZF-Teller
Funktionsrand, keine
Schaukeln und flächoges
Anliegen auf dem
Patientenmodell
leichte Über- oder
Unterkonturierung des
Funktionsrandes, leichtes
Schaukel
Funktionsrand deutlich entfernt
oder massive Überkonturierung, Täuschung oder
massives Schaukeln, nur
nicht
punktförmiger Kontakt auf
durchgeführt
Patientenmodell
homogen, keine Blasen,
durchscheinend
leichte Mängel
deutliche Mängel
Täuschung oder
nicht
durchgeführt
korrekte Stärke, Oberfläche,
Papillen, Politur
leichte Mängel
deutliche Mängel
Täuschung oder
nicht
durchgeführt
Unversehrt und Sauber
Leichte Beschädigungen
Wesentliche Beschädigung
oder stark verschmutzte
Unterlagen
Täuschung oder
nicht
durchgeführt
Durchschnittsnote:
Durchschnittsnote:
Richtlinien zur
Endnote
Noten
Prüfer:
BEGRÜNDUNG
ENDNOTE
NICHT
BESTANDEN BESTANDEN
Gesamtbewertung
1. Wenn keine Einzelnote "5" zählt die Durchschnittsnote
2. Wenn 2 x Einzelnote 5 in den Kriterien 1-4: bestenfalls Gesamtnote 4
3. Wenn 3 x Einzelnote 5: bestenfalls Gesamtnote 4
JA
NEIN
BEGRÜNDUNG
Abweichung von der
Durchschnittsnote
ENDNOTE
NICHT
BESTANDEN BESTANDEN
**. Die Korrelation ist auf dem 0,01 Niveau signifikant (zweiseitig).
*. Die Korrelation ist auf dem 0,05 Niveau signifikant (zweiseitig).
Tabelle 1. Verteilung der als bestanden oder
durchgefallen gewerteten Arbeiten vor und nach
der Erstellung des neuen Bewertungsbogens je
Prüfer
Nach
Bogenerstellung
Prüfer
Bestanden
Nicht bestanden
1
13
2
2
12
3
3
5
10
4
9
6
5
9
6
6
10
5
1
7
8
2
9
6
3
4
11
4
8
7
5
8
7
6
8
7
Tabelle 2. Korrelation Physikum praktische
Bewertungen mit praktischen Noten der
Kurse
Gesamtbewertung
Bewertungsbögen Brücke und Totalprothese OK+UK
3. Wiederbewertung derselben 15 Arbeiten wie in der ersten
Benotungsrunde von allen Prüfern mit dem neu erarbeiteten Bogen
II. Validierung des Bewertungsbogens
Schlussfolgerung
Durch die Verwendung eines standardisierten
Bewertungsbogens konnte die Reliabilität der
Bewertungen von praktischen Prüfungen erhöht werden.
Der Bogen wurde zur Bewertung in der zahnärztlichen Vorprüfung für
das WS 2011 eingesetzt. Die Bewertungen wurden anschließend mit
den praktischen Noten der vorklinischen Kurse (Technische
Das vorgestellte Lehrprojekt wurde von der Kurt Kaltenbach – Stiftung gefördert.
Propädeutik, Phantomkurs Zahnersatzkunde I und II) korreliert.

Download Report