79 6 RELIABILITÄTSANALYSEN Unter der Reliabilität eines

6
RELIABILITÄTSANALYSEN
Unter der Reliabilität eines diagnostischen Instruments versteht man den Grad an
Genauigkeit, mit dem ein bestimmtes Merkmal gemessen wird, unabhängig davon, ob dieses
Merkmal zu messen auch beansprucht wird. Reliabilität bezeichnet somit die Reproduzierbarkeit von Ergebnissen unter gleichen intersubjektiven Bedingungen (Kriz & Lisch, 1988).
Neben der Validität und der Objektivität stellt sie eines der Gütekriterien für ein diagnostisches Instrument dar. Die Reliabilität wird in der Regel durch Reliabilitätskoeffizienten
ermittelt, welche die Höhe der Zuverlässigkeit numerisch zum Ausdruck bringen. Zur
Bestimmung der Reliabilität gibt es eine Reihe von methodischen Vorgehensweisen, die
jeweils unterschiedliche Aspekte berücksichtigen und damit auch unterschiedliche operationale Zugänge zur Bestimmung mit einschließen (vgl. Lienert, 1973).
Die Erfassung psychopathologischer Merkmale zu diagnostischen Zwecken geschieht
häufig auf dem Nominalskalenniveau. Fremdbeurteilungen (Interviews) nehmen dabei einen
viel größeren Raum ein als Selbstbeurteilungen. Die üblichen Verfahren zur Berechnung der
Zuverlässigkeit können hier somit nicht zur Anwendung kommen. Aufgrund der heterogenen
Fragen nach unterschiedlichen Sachverhalten scheidet die Halbierungsmethode aus. Da in der
Regel keine parallelen Befragungsschemata vorhanden sind, kann auch das Paralleltestverfahren als Prüfverfahren nicht eingesetzt werden. Einzig bietet sich die Retestmethode an,
bei der eine Wiederholung der Befragung vorgenommen wird. Die Ergebnisse solcher Reinterviews fallen jedoch sehr unterschiedlich aus. Dies kann daran liegen, daß subjektive Einschätzungen weniger stabil sind und im Laufe der Zeit fluktuieren (Asendorpf, 1996). Da
dieses Verfahren sehr zeitaufwendig ist, bedient man sich zur Überprüfung des Kriteriums der
Reliabilität oftmals der Beurteilerübereinstimmung. Diese gibt Auskunft darüber, inwieweit
das Ergebnis durch einen zweiten unabhängigen Rater reproduzierbar ist. Bei der Überprüfung der Übereinstimmung zweier Beurteiler interessiert zum einen der Anteil an Beurteilungen, bei welchem die Rater übereinstimmen, zum anderen der Anteil an Beurteilungen, bei
denen eine Übereinstimmung per Zufall zu erwarten ist. Mittels des Cohen-Kappa-Koeffizienten werden diese Größen miteinander verglichen (Cohen, 1960):
K =
p 0 − pc
,
1 − pc
wobei p0 = die beobachtete relative Häufigkeit und pc = die erwartete relative Häufigkeit
zufälliger Übereinstimmungen ist.
79
Kapitel 6
Reliabilitätsanalysen
Dieser Koeffizient beinhaltet eine Zufallskorrektur; er kann Werte zwischen -1 und +1
annehmen. Des weiteren sind die Verteilungseigenschaften bekannt, so daß ein statistischer
Signifikanztest durchgeführt werden kann.
Bei der Berechnung und Interpretation des Kappa-Koeffizienten sind jedoch einige
Probleme zu berücksichtigen. So kann sich der Fall ergeben, daß beide Beurteiler in allen
Fällen der Meinung sind, ein Symptom sei nicht vorhanden (weil es sich dabei z.B. um ein
sehr seltenes Symptom handelt), d.h. der Fall fehlender Varianz vorliegt. Die beobachtete
relative Häufigkeit der Übereinstimmung erreicht dabei einen Wert von 1, ebenfalls die
erwartete relative Häufigkeit. Setzt man diese beiden Werte nun in die Formel ein, läßt sich
Kappa nicht mehr berechnen. Es sind nun mehrere Kombinationen denkbar, unter denen der
Cohen-Kappa-Koeffizient nicht zu berechnen ist. Beim Einsatz dieses Verfahrens zur
Bestimmung der Reliabilität eines diagnostischen Instrumentes müssen diese Nachteile bei
der Interpretation der Werte auf jeden Fall berücksichtigt werden.
80

Download Report