Verfahren 7 - Q-DAS

Verfahren 7
Die Berechnungsoptionen für Cohens Kappa
in den Q-DAS Software-Produkten
Verfahren 7: Berechnungsoptionen für Cohens Kappa
1/23
Verfahren 7: Berechnungsoptionen für Cohens Kappa
Inhalt
Verfahren 7: Berechnungsoptionen für Cohens Kappa...................................................................... 1
Warum dieses Dokument? .............................................................................................................. 2
Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA ....................................................... 3
Beispieldaten ............................................................................................................................... 3
Standardberechnung ....................................................................................................................... 4
AIAG MSA Standard ......................................................................................................................... 7
Datensatz ohne Referenzurteile .................................................................................................. 9
Datensatz mit Referenzurteilen ................................................................................................ 12
AIAG MSA Extended ...................................................................................................................... 15
Datensatz ohne Referenzurteile ................................................................................................ 16
Datensatz mit Referenzurteilen ................................................................................................ 21
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
2/23
Warum dieses Dokument?
In den Programm solara.MP und destra können beim Verfahren 7 verschiedene
Berechnungsoptionen für den Kappa-Index nach Cohen eingestellt werden. Worin diese
Unterschiede bestehen, kann der Anwender nicht direkt ersehen. Hier wird dem Leser eine
Erläuterung geboten, welche Auswirkung das Einstellen einer bestimmten Berechnungsmethode auf
die angezeigten Ergebnisse hat.
Was mit dem Dokument nicht beabsichtigt ist
Das Dokument stellt keine Einführung in die Bestimmung des Kappa-Index nach Cohen dar und es ist
auch kein Ersatz für eine Schulung zu diesem Thema. Vielmehr wird das Wissen hier schon
vorausgesetzt.
Auswertestrategie in solara.MP oder in destra, Modul Messsystemanalyse
Wie aus der Abbildung 1 entnommen werden kann, sind drei Berechnungsoptionen für den KappaIndex nach Cohen in der Software verfügbar. Jede Berechnungsoption ist in einem eigenen Kapitel
beschrieben, wobei in allen Kapiteln das gleiche Zahlenbeispiel verwendet wurde.
Abbildung 1: Auswertestrategie zum Verfahren 7 - Berechnung Cohen's Kappa
Das verwendete Zahlenbeispiel stammt aus der AIAG-Richtlinie Measurement System Analysis
(4th Edition, Page 134). Aus Platzgründen ist der Rechengang für den Prüfer A jeweils ausführlich
dargestellt und derjenige für die weiteren Prüfer – da analog – stets nur angedeutet.
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
3/23
Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA
Drei Prüfer haben 50 Einheiten in drei Durchgängen geprüft. Dadurch sind 3 × 3  50 = 450
Prüfergebnisse entstanden. Zusätzlich wurde zu jedem Teil genau eine einzige Referenzbewertung
durchgeführt. Somit besteht der Datensatz aus 450 Prüferurteilen und weiteren 50 Referenzurteilen.
Beispieldaten
Abbildung 2: Beispieldaten aus der AIAG-Richtlinie Measurement System Analysis
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
4/23
Standardberechnung
Diese Einstellung ist nur geeignet, wenn in allen Fällen sicher ist, dass die auszuwertenden
Datensätze eine Referenzbewertung enthalten.
Abbildung 3: Berechnung Cohen's Kappa – Standardberechnung
Welche Ergebnisse werden berechnet?
Wird ein Datensatz mit Referenzbewertung verwendet und wählt man die Auswertung Cohen’s
Kappa – Prüferurteil mit Referenz – Prüferübereinstimmung, so erhält man das in der Fehler!
erweisquelle konnte nicht gefunden werden. dargestellte Ergebnis: den Vergleich der Prüferurteile
mit den Referenzurteilen, wie z.B. A mit Referenz, B mit Referenz, C mit Referenz und alle Prüfer mit
Referenz.
Abbildung 4: Ergebnisaufruf bei Einstellung Standardberechnung
Abbildung 5: Cohen’s Kappa - Vergleich der Prüferurteile mit der Referenz
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
5/23
Erster Schritt: Die beobachteten Urteilskombinationen der Prüfer werden ausgezählt. Das Ergebnis
dieser Zählung ist in der Tabelle 1 dargestellt. Dort bedeutet das Symbol A1, dass hier die Urteile des
Prüfers A aus dem ersten Durchgang betrachtet werden.
Hinweis: Analog müssen diese Zählungen für die weiteren Durchgänge 2 und 3 durchgeführt werden.
A1 mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A1: Teil schlecht = 1
34
0
34
Urteil A1: Teil gut = 0
0
16
16
Summe
34
16
50
Tabelle 1: Beobachtete Häufigkeiten der Urteile des Prüfers A
Zweiter Schritt: Man berechnet die beobachteten relativen Häufigkeiten der Prüferurteile aus den
Zählergebnissen im ersten Schritt. Das Vorgehen mit Ergebnisangabe st in der Tabelle 2 dargestellt.
A1 mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A1: Teil schlecht = 1
34
= 0.68
50
0
=0
50
0.68
Urteil A1: Teil gut = 0
0
=0
50
16
= 0.32
50
0.32
Summe
0.68
0.32
1
Tabelle 2: Relative Beobachtungshäufigkeit der Urteile des Prüfers A
Dritter Schritt: Man berechnet die erwarteten relativen Häufigkeiten, wieder auf der Grundlage der
Zählungen im Schritt 1. Das Rechenschema mit Ergebnis ist in der Tabelle 3 dargestellt.
A1 mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A1: Teil schlecht = 1
34 34
×
= 0.4624
50 50
34 16
×
= 0.2176
50 50
0.68
Urteil A1: Teil gut = 0
16 34
×
= 0.2176
50 50
16 16
×
= 0.1024
50 50
0.32
Summe
0.68
0.32
1
Tabelle 3: Erwartete relative Häufigkeiten der Urteile des Prüfers A
Vierter Schritt: Es wird der Anteilswert Po = beobachteter Anteil übereinstimmender Prüferurteile
und der Anteilswert Pe = Erwarteter Anteil übereinstimmender Prüferurteile berechnet. Dazu
werden die Inhalte (Anteilswerte) der Hauptdiagonalzellen in Tabelle 2 bzw. Tabelle 3, addiert.
Beobachteter Anteil übereinstimmender Prüferentscheidungen (aus Tabelle 2):
𝑃𝑜 = 0.68 + 0.32 = 1.0
Formel 1: Beobachteter Anteil gleicher Urteile, berechnet für den ersten Durchlauf Prüfer A mit Referenz
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
6/23
Erwarteter Anteil übereinstimmender Prüferentscheidungen (aus Tabelle 3):
𝑃𝑒 = 0.4624 + 0.1024 = 0.5648
Formel 2: Erwarteter Anteil gleicher Urteile, berechnet für den ersten Durchlauf Prüfer A mit Referenz
Fünfter Schritt: Es wird der Kappa-Index nach Cohen anhand der im Schritt vier ermittelten
Anteilswerte berechnet. Für das Beispiel - Vergleich der Prüferurteile von Prüfer A im ersten
Prüfdurchgang mit der Referenzbewertung – ist das Ergebnis dargestellt:
𝜅𝐴1𝑅 =
𝑃𝑜 − 𝑃𝑒 1 − 0.5648
=
= 1.0
1 − 𝑃𝑒
1 − 0.5648
Formel 3: Kappa-Index nach Cohen, berechnet für den ersten Durchlauf Prüfer A mit Referenz
Für den zweiten Prüfdurchgang des Prüfers A erhält man analog nach dem oben angegebenen FünfSchritt-Schema den Kappa-Werte 𝜿𝑨𝟐𝑹 = 0.9081 und für den dritten Durchgang den Wert
𝜿𝑨𝟑𝑹 = 0,7331. Der Kappa-Index für den Prüfer A ist der Mittelwert aus den drei Kappa-Werten, die
man für die drei Durchgänge des Prüfers A zuvor berechnet hat:
𝜅𝐴 =
𝜅𝐴1𝑅 + 𝜅𝐴2𝑅 + 𝜅𝐴3𝑅 1.0 + 0.9081 + 0.7331
=
= 0.880
3
3
Formel 4: Kappa-Index nach Cohen, berechnet als Mittelwert
Hinweis: Um alle Ergebnisse für das Zahlenbeispiel zu erhalten, muss das Fünf-Schritte-Schema – wie
es am Beispiel des Prüfers A beschrieben wurde – auch für die Prüfer B und C ausgeführt werden.
In der Tabelle 4 ist das Rechenschema zur Bestimmung der Kappa-Werte dargestellt.
𝜅𝐴 =
𝜅𝐴1𝑅
𝜅𝐴1𝑅 + 𝜅𝐴2𝑅 + 𝜅𝐴3𝑅
3
𝜅𝐴2𝑅
𝜅𝐴3𝑅
𝜅𝐴 + 𝜅𝐵 + 𝜅𝐶
𝜅𝑎𝑙𝑙 =
3
𝜅𝐵1𝑅 + 𝜅𝐵2𝑅 + 𝜅𝐵3𝑅
𝜅𝐵 =
3
𝜅𝐵1𝑅
𝜅𝐵2𝑅
𝜅𝐵3𝑅
𝜅𝐶 =
𝜅𝐶1𝑅
𝜅𝐶1𝑅 + 𝜅𝐶2𝑅 + 𝜅𝐶3𝑅
3
𝜅𝐶2𝑅
𝜅𝐶3𝑅
Tabelle 4: Übersicht zur Bildung der Kappa-Werte, Einstellung Standardberechnung
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
7/23
AIAG MSA Standard
Bei dieser Einstellung wird das Rechenschema aus der AIAG-Richtlinie Measurement System Analysis
(4th Edition) verwendet. Wer die Ergebnisse genauso wie in der Richtlinie dargestellt erhalten
möchte, sollte diese Einstellung in der Software wählen.
Abbildung 6: Berechnung Cohen's Kappa - AIAG MSA Standard
Welche Ergebnisse werden berechnet?
Wird ein Datensatz ohne Referenzwerte geladen, so werden die paarweisen Vergleicher der Prüfer
untereinander bestimmt.

Paarweiser Vergleich der Prüfer im Beispiel: A mit B, A mit C und B mit C.
Abbildung 7: Aufruf der Ergebnisse im "Assistenten"
Abbildung 8: Cohen’s Kappa - AIAG MSA Standard, links ohne und rechts mit Referenzwerte-Vergleich unter
Verwendung eines Datensatzes ohne Referenzwerte
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
8/23
Bei einem Datensatz mit Referenzwerten werden folgende Ergebnisse ausgegeben:


Paarweise Vergleicher der Prüfer untereinander
Paarweise Vergleiche der Prüfer mit den Referenzwerten
Exemplarisch für die Daten des Beispiels erhält man die folgenden Vergleiche:
Abbildung 9: Aufruf der Ergebnisse im "Assistenten"
Abbildung 10: Cohen’s Kappa - AIAG MSA Standard – links ohne und rechts mit Referenzwerte-Vergleich unter
Verwendung eines Datensatzes mit Referenzwerten
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
9/23
Datensatz ohne Referenzurteile
Betrachtet wird das Auswerten gemäß der Auswahl Cohen’s Kappa - Prüferurteil ohne Referenz –
Prüferübereinstimmung.
Paarweise Vergleiche der Prüferurteile
Für die Auswertung werden Urteilspaare gebildet. Die Tabelle 5 zeigt, welche Paarungen im
Beispieldatensatz miteinander verglichen werden müssen. Dabei ist die symbolische Schreibweise –
bestehend aus Buchstabe und Zahl – wie folgt zu deuten: A1 = Prüfer A im ersten Durchgang, A2 =
Prüfer A im zweiten Durchgang, usw.
A mit B
A1 = B1; A2 = B2; A3 = B3
A mit C
A1 = C1; A2 = C2; A3 = C3
B mit C
B1 = C1; B2 = C2; B3 = C3
Tabelle 5: Übersicht der paarweisen Urteilsvergleiche
Erster Schritt: Bei jedem Durchgang trifft ein Prüfer 50 Prüfentscheidungen. Somit sind für den
paarweisen Vergleich der Urteile der beiden Prüfer A und B insgesamt 150 Urteilspaare auszuzählen:
50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten Durchgang und schließlich 50
Urteilspaare im dritten Durchgang. Das Ergebnis dieser Zählungen ist in der Tabelle 6 dargestellt.
A mit B
Urteil B: Teil schlecht = 1
Urteil B: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
97
3
100
Urteil A: Teil gut = 0
6
44
50
Summe
103
47
150
Tabelle 6: Beobachtete Häufigkeiten der paarweise miteinander verglichenen Urteile der Prüfer A und B
Vierter Schritt: Aus den Ergebnissen der beobachteten Häufigkeiten werden die relativen
Häufigkeiten berechnet.
A mit B
Urteil B: Teil schlecht = 1
Urteil B: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
97
= 0.6467
150
3
= 0.02
150
0.6667
Urteil A: Teil gut = 0
6
= 0.04
150
44
= 0.2933
150
0.3333
Summe
0.6867
0.3133
1
Tabelle 7: Beobachtete relative Häufigkeiten der paarweise verglichenen Urteile der Prüfer A und B
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
10/23
Dritter Schritt: Nun werden die erwarteten relativen Häufigkeiten der paarweisen Urteile berechnet:
A mit B
Urteil B: Teil schlecht = 1
Urteil B: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
103 100
×
= 0.4578
150 150
47 100
×
= 0.2089
150 150
0.6667
Urteil A: Teil gut = 0
103 50
×
= 0.2289
150 150
47
50
×
= 0.1044
150 150
0.3333
Summe
0.6867
0.3133
1
Tabelle 8: Erwartete relative Häufigkeiten der paarweise verglichenen Urteile der Prüfer A und B
Vierter Schritt: Mit den Ergebnissen in den Hauptdiagonal-Zellen der Tabelle 7 berechnet man den
beobachteten Anteil übereinstimmender Prüferurteile:
𝑃𝑜 = 0.6467 + 0.2933 = 0.94
Formel 5: Beobachteter Anteil gleicher Urteile, berechnet für den Vergleich der Prüfer A und B
Mit den Ergebnissen in den Hauptdiagonal-Zellen in der Tabelle 8 berechnet man den erwarteten
Anteil übereinstimmender Prüferurteile:
𝑃𝑒 = 0.4578 + 0.1044 = 0.5622
Formel 6: Erwarteter Anteil gleicher Urteile, berechnet für den Vergleich der Prüfer A und B
Fünfter Schritt: Nun wird mit den im Schritt 4 berechneten Anteilswerten der Kappa-Index nach
Cohen berechnet.
𝜅𝑐 (𝐴 × 𝐵) =
𝑃𝑜 − 𝑃𝑒 0.94 − 0.5622
=
= 0.8629
1 − 𝑃𝑒
1 − 0.5622
Formel 7: Kappa-Index nach Cohen, berechnet für den Vergleich der Prüfer A und B
Hinweis: Analog werden die Kappa-Werte für den paarweisen Vergleich A mit C und B mit C
berechnet.
Zur Erinnerung: Im Programm erhält man das Ergebnis, wenn man Cohen’s Kappa - Prüferurteil ohne
Referenz – Prüferübereinstimmung auswählt.
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
11/23
Abbildung 11: Cohen's Kappa - MSA AIAG Standard – ohne Referenzwerte-Vergleich
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
12/23
Datensatz mit Referenzurteilen
Wählt man Cohen’s Kappa - Prüferurteil mit Referenz – Prüferübereinstimmung, so erhält man die
Ergebnisse für den Vergleich der Urteile von jeweils einem Prüfer mit den Referenzurteilen.
Übersicht der paarweisen Vergleiche (Prüferurteile mit Referenzbewertung)
In der Tabelle 9 ist dargestellt, welche Urteilspaare gebildet werden müssen. Wieder ist die
symbolische Schreibweise – Buchstabe und Zahlenwert – wie folgt zu deuten: A1 = Prüfer A im ersten
Durchgang, A2 = Prüfer A im zweiten Durchgang, usw.
A mit Referenz
A1 = Ref.; A2=Ref.; A3 = Ref.
B mit Referenz
B1 = Ref.; B2 = Ref.; B3 = Ref.
C mit Referenz
C1 = Ref.; C2 = Ref.; C3 = Ref.
Tabelle 9: Übersicht aller paarweise zu vergleichender Urteile - Prüfer mit Referenz
Erster Schritt: In jedem Durchgang sind 50 Prüferurteile mit 50 Referenzbewertungen zu
vergleichen. Somit sind insgesamt 50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten
Durchgang und schließlich 50 Urteilspaare im dritten Durchgang auszuzählen. Das Ergebnis dieser
Zählungen ist in der Tabelle 10 dargestellt.
A mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
97
3
100
Urteil A: Teil gut = 0
5
45
50
Summe
102
48
150
Tabelle 10: Beobachtete Häufigkeit der paarweise verglichenen Urteile Prüfer A mit Referenz
Zweiter Schritt: Mit den Zählergebnissen aus der Tabelle 10 berechnet man die beobachteten
relativen Häufigkeiten der paarweisen Urteilsvergleiche Prüfer mit Referenz. Das Ergebnis ist in der
Tabelle 11 dargestellt.
A mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
97
= 0.6467
150
3
= 0.02
150
0.6667
Urteil A: Teil gut = 0
5
= 0.0333
150
45
= 0.3
150
0.3333
Summe
0.68
0.32
1
Tabelle 11: Beobachtete relative Häufigkeit der paarweise verglichenen Urteile Prüfer A mit Referenz
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
13/23
Dritter Schritt: Auf der Grundlage der beobachteten relativen Häufigkeiten in der Tabelle 11
berechnet man die erwarteten relativen Häufigkeiten. Die Berechnungsschritte mit Ergebnissen sind
in Tabelle 12 dargestellt:
A mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
102 100
×
= 0.4533
150 150
48 100
×
= 0.2133
150 150
0.6667
Urteil A: Teil gut = 0
102 50
×
= 0.2267
150 150
48
50
×
= 0.1067
150 150
0.3333
Summe
0.68
0.32
1
Tabelle 12: Erwartete relative Häufigkeiten der paarweise verglichenen Urteile Prüfer A mit Referenz
Vierter Schritt: Mit den Ergebnissen aus der Tabelle 11 im zweiten Schritt wird der beobachtet Anteil
gleicher Entscheidungen berechnet:
𝑃𝑜 = 0.6467 + 0.3 = 0.9467
Formel 8: Beobachteter Anteil gleicher Urteile, berechnet für den Vergleich Prüfer A mit Referenz
Analog wird mit den Ergebnissen aus der Tabelle 12 im dritten Schritt der erwartete Anteil gleicher
Entscheidungen berechnet:
𝑃𝑒 = 0.4533 + 0.1067 = 0.56
Formel 9: Erwarteter Anteil gleicher Urteile, berechnet für den Vergleich Prüfer A mit Referenz
Fünfter Schritt: Mit den Anteilswerten aus dem vierten Schritt wird der Kappa-Index nach Cohen
berechnet.
𝜅𝑐 (𝐴 × 𝑅𝑒𝑓) =
𝑃𝑜 − 𝑃𝑒 0.9467 − 0.56
=
≈ 0.879
1 − 𝑃𝑒
1 − 0.56
Formel 10: Kappa-Index nach Cohen, berechnet für den Vergleich Prüfer A mit Referenz
Hinweis: Analog gemäß dem gezeigten Fünf-Schritte-Schema muss der Kappa-Index für den Vergleich
Prüfer B mit Referenz und Prüfer C mit Referenz bestimmt werden.
Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohen’s Kappa - Prüferurteil mit
Referenz – Prüferübereinstimmung aufgerufen werden. In der Abbildung 12 ist das Ergebnis für das
Zahlenbeispiel mit Ergebnissen für alle Prüfer dargestellt.
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
14/23
Abbildung 12: Ergebnisse für die Auswertung Prüferurteil mit Referenz - Berechnungsmethode AIAG MSA Standard
Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohen’s Kappa - Prüferurteil ohne
Referenz – Prüferübereinstimmung aufgerufen werden. In der Abbildung 13 ist das Ergebnis für das
Zahlenbeispiel mit Ergebnissen für alle Prüfer dargestellt
Abbildung 13: Cohen’s Kappa - AIAG MSA Standard, Vergleich der Prüfer ohne Referenzwerte-Vergleich
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
15/23
AIAG MSA Extended
Diese mit AIAG MSA Extended bezeichnete Berechnungsmethode integriert die Berechnung des
Kappa-Index nach Fleiss, um die Wiederholbarkeit (Vergleich der Urteile eines Prüfers von einem
Durchlauf zum nächsten) berechnen zu können.
Abbildung 14: Einstellung in der Auswertestrategie - Berechnungsmethode AIAG MSA extended
Welche Ergebnisse werden dargestellt?
Bei einem Datensatz ohne Referenzurteile werden die folgenden Vergleiche durchgeführt:


Vergleich der Prüfer untereinander (Vergleichbarkeit)
Vergleich der Prüfer mit sich selbst (Wiederholbarkeit)
Abbildung 15: Cohen’s Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter
Verwendung eines Datensatzes ohne Referenzwerte
Bei einem Datensatz mit Referenzurteilen werden folgende Vergleiche durchgeführt:



Version:
Vergleich der Prüfer (Wiederholbarkeit)
Paarweiser Vergleich der Prüfer (Vergleichbarkeit der Prüfer)
Vergleich der Prüfer mit dem Standard (Vergleichbarkeit der Prüfer mit dem Standard)
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
16/23
Abbildung 16: Cohen’s Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter
Verwendung eines Datensatzes mit Referenzwerten
Datensatz ohne Referenzurteile
Liegt ein Datensatz ohne Referenzurteile vor und wählt man die Auswertung Cohen’s Kappa Prüferurteil ohne Referenz – Prüferübereinstimmung, so erhält man mehrere Ergebnisse:
1. Vergleich innerhalb eines jeden Prüfer – Vergleich der Durchläufe: Wiederholbarkeit.
2. Paarweiser Vergleich der Urteile zwischen den Prüfern: Vergleichbarkeit.
Der Aufbau der Vergleiche ist weiter unten im Detail beschrieben.
Vergleich der Durchläufe der einzelnen Prüfer mit sich selbst - Wiederholbarkeit
In der Tabelle 13 sind alle Kombinationen an Paarvergleichen aufgelistet, die insgesamt mit den
Beispieldaten durchgeführt werden müssen:
A
A1 = A2; A1 = A3; A2 = A3
B
B1 = B2; B1 = B3; B2 = B3
C
C1 = C2; C1 = C3; C2 = C3
Tabelle 13: Übersicht der Vergleiche innerhalb der Prüfer
Im Beispiel ist die Zählung exemplarisch für den Prüfer A ausführlich dargestellt und muss analog für
die übrigen Prüfer ausgeführt werden.
Erster Schritt: Auszählen der Urteilspaare gemäß der ersten Spalte in der Tabelle 13. Das Ergebnis
dieser Zählungen ist in der Tabelle 14 dargestellt.
A
Urteil A: Teil schlecht = 1
Urteil A: Teil gut = 0
Summe
Version:
A
Urteil A: Teil schlecht = 1
92
10
102
Urteil A: Teil gut = 0
6
42
48
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Summe
98
52
150
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
17/23
Tabelle 14: Ergebnis der beobachteten Häufigkeiten für den Prüfer A
Zweiter Schritt: Mit den beobachteten Häufigkeiten aus der Tabelle 14 berechnet man die
beobachteten relativen Häufigkeiten. Der Rechengang und die Ergebnisse für den Prüfer A sind in der
Tabelle 15 enthalten.
A
Urteil A: Teil schlecht = 1
Urteil A: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
92
= 0.6133
150
10
= 0.0667
150
0.68
Urteil A: Teil gut = 0
6
= 0.04
150
42
= 0.28
150
0.32
Summe
0.6533
0.3467
1
Tabelle 15: Beobachtete relative Häufigkeiten für den Prüfer A
Dritter Schritt: Anhand der Ergebnissen aus der Tabelle 15 im zweiten Schritt berechnet man die
erwarteten relativen Häufigkeiten. Wieder sind die Berechnungsgrundlagen und Ergebnisse nur für
den Prüfer A in der Tabelle 16 dargestellt.
A
Urteil A: Teil schlecht = 1
Urteil A: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
102 102
×
= 0.4443
150 150
48 102
×
= 0.2357
150 150
0.68
Urteil A: Teil gut = 0
102 52
×
= 0.2091
150 150
48
52
×
= 0.1109
150 150
0.32
Summe
0.6533
0.3467
1
Tabelle 16: Erwartete relative Häufigkeiten für den Prüfer A
Vierter Schritt: Wählt man aus der Tabelle 15 die beobachteten relativen Häufigkeiten der
Hauptdiagonalen, so erhält man den beobachteten Anteil gleicher Urteile:
𝑃𝑜 = 0.6133 + 0.28 = 0.8933
Formel 11: Beobachteter Anteil gleicher Urteile, berechnet für den Prüfer A
Analog berechnet man mit den Hauptdiagonalelementen der Tabelle 16 – den erwarteten relativen
Häufigkeiten übereinstimmender Urteile – den erwarteten Anteil gleicher Urteile:
𝑃𝑒 = 0.4443 + 0.1109 = 0.5552
Formel 12: Erwarteter Anteil gleicher Urteile, berechnet für den Prüfer A
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
18/23
Fünfter Schritt: Mit den beobachteten und erwarteten Anteilen gleicher Entscheidungen wird der
Kappa-Index berechnet:
𝜅𝑐 (𝐴) =
𝑃𝑜 − 𝑃𝑒 0.8933 − 0.5552
=
≈ 0.760
1 − 𝑃𝑒
1 − 0.5552
Formel 13: Kappa-Index nach Cohen für den Prüfer A
Im Zähler steht die Differenz zwischen dem beobachteten Anteil übereinstimmender Entscheidungen
und dem erwarteten Anteil rein zufällig übereinstimmender Entscheidungen. Somit repräsentiert der
Zähler den beobachteten Anteil übereinstimmender Entscheidungen, der über den erwarteten Anteil
rein zufällig übereinstimmender Entscheidungen hinausgeht. Im Nenner steht der größtmögliche
Wert für den Anteil der nicht zufällig übereinstimmenden Prüferurteile.
Abbildung 17: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich
Hinweis: Analog nach diesem Fünf-Schritte-Schema sind die Kappa-Werte für die Vergleiche der
Urteile innerhalb der Prüfer B und C berechnet (die ersten drei Zeilen in der Abbildung 17).
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
19/23
Paarweise Vergleiche aller Prüferurteile
Insgesamt müssen mit den Beispieldaten die in der Tabelle 17 dargestellten Paarvergleiche
ausgezählt werden.
A mit B
A mit C
B mit C
A1=B1; A1=B2; A1 = B3; A2=B1; A2 = B2; A2 = B3; A3 = B1; A3 = B2; A3 = B3
A1=C1; A1=C2; A1 = C3; A2=C1; A2 = C2; A2 = C3; A3 = C1; A3 = C2; A3 = C3
B1=C1; B1=C2; B1 = C3; B2=C1; B2 = C2; B2 = C3; B3 = C1; B3 = C2; B3 = C3
Tabelle 17: Übersicht zu dem paarweisen Vergleich der Prüferurteile
Exemplarisch wird hier wieder nur der Rechengang für den Vergleich der Prüfer A und B betrachtet.
Erster Schritt: Auszählen der paarweisen Urteilskombinationen der Prüfer A und B (gemäß der ersten
Zeile in der Tabelle 17). Das Ergebnis ist in der folgenden Tabelle 18 dargestellt:
A mit B
Urteil B: Teil schlecht = 1
Urteil B: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
289
11
300
Urteil A: Teil gut = 0
20
130
150
Summe
309
141
450
Tabelle 18: Ergebnis der beobachteten Häufigkeiten des paarweisen Vergleiches der Prüfer A und B
Zweiter Schritt: Berechnen der beobachteten relativen Häufigkeiten der Urteilskombinationen
anhand der Zählergebnisse aus der Tabelle 18.
A mit B
Urteil B: Teil schlecht = 1
Urteil B: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
289
= 0.6422
450
11
= 0.0244
450
0.6667
Urteil A: Teil gut = 0
20
= 0.0444
450
130
= 0.2889
450
0.3333
Summe
0.6867
0.3133
1
Tabelle 19: Ergebnis der beobachteten relativen Häufigkeiten des paarweisen Vergleiches der Prüfer A und B
Dritter Schritt: Bestimmen der erwarteten relativen Häufigkeiten der Urteilskombinationen anhand
der Rechenergebnisse aus der Tabelle 18 :
A mit B
Urteil B: Teil schlecht = 1
Urteil B: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
300 309
×
= 0.4578
450 450
300 141
×
= 0.2089
450 450
0.6667
Urteil A: Teil gut = 0
150 309
×
= 0.2289
450 450
150 141
×
= 0.1044
450 450
0.3333
Summe
0.6867
0.3133
1
Tabelle 20: Ergebnis der erwarteten relativen Häufigkeiten des paarweisen Vergches der Prüfer A und B
Vierter Schritt: Mit den Hauptdiagonal-Elementen aus der Tabelle der beobachteten relativen
Häufigkeit berechnet man den Anteilswert Po = Anteil der beobachteten übereinstimmenden
Prüferurteile
𝑃𝑜 = 0.6422 + 0.2889 = 0.9311
Formel 14: Beobachtete Anteil gleicher Urteile
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
20/23
Analog berechnet man mit den Hauptdiagonal-Elementen der Tabelle der erwarteten relativen
Häufigkeiten den Anteilswert Pe = Anteil der erwarteten übereinstimmenden Prüferurteile.
𝑃𝑒 = 0.4578 + 0.1044 = 0.5622
Formel 15: Erwarteter Anteil gleicher Urteile
Fünfter Schritt: Der Wert für Kappa wird mit diesen Anteilswerten wie folgt errechnet:
𝜅𝑐 (𝐴 × 𝐵) =
𝑃𝑜 − 𝑃𝑒 0.9311 − 0.5622
=
≈ 0.843
1 − 𝑃𝑒
1 − 0.5622
Formel 16: Kappa-Index nach Cohen für den Vergleich der Urteile der Prüfer A und B
Im Zähler steht die Differenz zwischen dem beobachteten Anteil übereinstimmender Entscheidungen
und dem erwarteten Anteil rein zufällig übereinstimmender Entscheidungen. Somit repräsentiert der
Zähler den beobachteten Anteil übereinstimmender Entscheidungen, der über den erwarteten Anteil
rein zufällig übereinstimmender Entscheidungen hinausgeht. Im Nenner steht der größtmögliche
Wert für den Anteil der nicht zufällig übereinstimmenden Prüferurteile.
Abbildung 18: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
21/23
Datensatz mit Referenzurteilen
Liegt ein Datensatz mit Referenzbewertungen vor, so werden folgende Auswertungen durchgeführt:
1.
2.
3.
4.
Vergleich der Durchläufe eines einzelnen Prüfers: Wiederholbarkeit
Paarweise Vergleiche der Prüfer ohne Referenz: Vergleichbarkeit
Prüfer mit Referenz: Vergleichbarkeit jedes Prüfers mit der Referenz
Alle Prüfer mit Referenz: Vergleichbarkeit aller Prüfer mit der Referenz
Die Berechnung der Fälle 1 und 2 entspricht dem Vorgehen gemäß dem Abschnitt „Datensätze ohne
Referenz“ (Kapitel AIAG MSA Extended). Daher wird auf eine wiederholte Darstellung des
Rechenganges hier verzichtet.
Im Folgenden angenommen, dass in der Auswertestrategie die Berechnungsmethode AIAG MSA
Extended eingestellt ist.
Tabelle 21: Darstellung der Einstellung „AIAG MSA extended“ in der Auswertestrategie
Vergleich der Prüferurteile mit der Referenzbewertung
Die Übersicht, welche Paarvergleiche mit den Beispieldaten insgesamt durchgeführt werden müssen,
ist in der Tabelle 22 dargestellt.
A mit Referenz
A1 = Ref.; A2 = Ref.; A3 = Ref.
B mit Referenz
B1 = Ref.; B2 = Ref.; B3 = Ref.
C mit Referenz
C1 = Ref.; C2 = Ref.; C3 = Ref.
Tabelle 22: Übersicht der Vergleiche Prüfer mit Referenz
Erster Schritt: Bei jedem Prüfdurchgang wurden 50 Prüfentscheidungen getroffen. Damit sind für
jeden Prüfer 150 Paare von Prüferurteilen auszuzählen. Das Ergebnis dieser Zählungen ist in den
folgenden Tabelle 23 für den Vergleich der Urteile des Prüfers A dargestellt.
A mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
97
3
100
Urteil A: Teil gut = 0
5
45
50
Summe
102
48
150
Tabelle 23: Beobachtete Häufigkeit der Urteile, gezählt für den Vergleich Prüfer A mit Referenz
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
22/23
Zweiter Schritt: Anhand der Zählergebnisse in der Tabelle 23 berechnet man die beobachteten
relativen Häufigkeiten der Urteilskombinationen. In der Tabelle 24 sind diese für den Vergleich der
Urteile des Prüfers A mit der Referenzbeurteilung dargestellt.
A mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
97
= 0.6467
150
3
= 0.02
150
0.6667
Urteil A: Teil gut = 0
5
= 0.0333
150
45
= 0.3
150
0.3333
Summe
0.68
0.32
1
Tabelle 24: Beobachtete relative Häufigkeit der Urteile, berechnet für den Vergleich Prüfer A mit Referenz
Dritter Schritt: Mit den Ergebnissen für die beobachteten relativen Häufigkeiten berechnet man die
erwarteten relativen Häufigkeit. In der Tabelle 25 sind die erwarteten relativen Häufigkeiten für den
Vergleich des Prüfers A mit der Referenzbewertung dargestellt.
A mit Referenz
Referenz: Teil schlecht = 1
Referenz: Teil gut = 0
Summe
Urteil A: Teil schlecht = 1
102 100
×
= 0.4533
150 150
48 100
×
= 0.2133
150 150
0.6667
Urteil A: Teil gut = 0
102 50
×
= 0.2267
150 150
48
50
×
= 0.1067
150 150
0.3333
Summe
0.68
0.32
1
Tabelle 25: Erwartete relative Häufigkeit der Urteile, berechnet für den Vergleich Prüfer A mit Referenz
Vierter Schritt: Mit den beiden Hauptdiagonalelementen der beobachteten relativen Häufigkeit in
der Tabelle 24 berechnet man den Anteilswert Po = beobachteter Anteil übereinstimmender
Prüferurteile.
𝑃𝑜 = 0.6467 + 0.3 = 0.9467
Formel 17: Beobachteter Anteil übereinstimmender Entscheidungen, berechnet für den Vergleich Prüfer A mit Referenz
Analog wird mit den Hauptdiagonalelementen der erwarteten relativen Häufigkeit in Tabelle 25 der
Anteilswert Pe = erwarteter Anteil der übereinstimmender Prüferurteile berechnet.
𝑃𝑒 = 0.4533 + 0.1067 = 0.56
Formel 18: Erwarteter Anteil übereinstimmender Entscheidungen, berechnet für den Vergleich Prüfer A mit Referenz
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
23/23
Fünfter Schritt: Der Kappa-Index nach Cohen für den Vergleich des Prüfers A mit der Referenz wird
mit den Anteilswerten aus dem vierten Schritt berechnet.
𝜅𝑐 (𝐴) =
𝑃𝑜 − 𝑃𝑒 0.9467 − 0.56
=
≈ 0.879
1 − 𝑃𝑒
1 − 0.56
Formel 19: Kappa-Index nach Cohen, berechnet für den Vergleich Prüfer A mit Referenz
Hinweis: Analog gemäß dem Fünf-Schritt-Schema müssen die Indizes für die Prüfer A und B
berechnet werden.
Abbildung 19: Cohen's Kappa – AIAG MSA Extended, mit Referenzwerte-Vergleich
Zu ergänzen ist noch, dass der Kappa-Wert für alle Prüfer der arithmetische Mittelwert der drei
einzelnen Kappa-Werte der Prüfer A bis C ist.
Version:
A
© 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim
Cohens_Kappa_solara.docx

Download Report