Institut für Medizinische Biometrie und Epidemiologie Kenngrößen für Diagnostika … nicht ganz selten in Dissertationen... Studiendesigns Diagnosestudie: Vergleich eines diagnostischen Novums gegenüber etablierter Referenz Methodenvergleich: Vergleich eines diagnostischen Novums gegenüber anerkannten „Goldstandard“ Reliabilitätsstudie: Bewertung eines diagnostischen Novums bezüglich test / re-test – Eigenschaften Beispiel-Studie Promotionsprojekt Thulasi Kirupanathan: „Prospektive Diagnosestudie zum Vergleich rein OCT-gestützter versus kombiniert OCT / FLA-gestützter AMD-Therapieführung“ Patientengut: Zielsetzung: 139 Patienten, Augenklinik Mülheim / Ruhr Altersabhängige Makula-Degeneration Entscheidungshilfe zu Injektionszyklus Referenz: Novum: Fluoreszenz-Angiographie (FLA) Okuläre Computer-Tomographie (OCT) diagnostische Kenngrößen OCT: Befund a OCT: kein Befund b FLA: kein Befund c d konkordante Befunde: diskordante Befunde: a und d c und b FLA: Befund diagnostische Kenngrößen FLA: Befund OCT: Befund a / (a + b) OCT: kein Befund b / (a + b) FLA: kein Befund c / (c + d) d / (c + d) Sensitivität = a / ( a + b ) = Anteil korrekt positiver Befunde Spezifität = d / ( c + d ) = Anteil korrekt negativer Befunde Beispiel-Studie FLA: Befund FLA: kein Befund OCT: Befund 69 OCT: kein Befund 17 3 50 Beispiel-Studie FLA: Befund FLA: kein Befund OCT: Befund 69 / 86 OCT: kein Befund 17 / 86 3 / 53 50 / 53 Beispiel-Studie FLA: Befund FLA: kein Befund OCT: Befund 80 % OCT: kein Befund 20 % 6% 94 % OCT-Sensitivität 80 % (80 % positiver Befunde korrekt) OCT-Spezifität 94 % (94 % negativer Befunde korrekt) Beispiel-Studie FLA: Befund FLA: kein Befund OCT-Sensitivität 95%-KI OCT-Spezifität 95%-KI OCT: Befund 80 % OCT: kein Befund 20 % 6% 94 % 80 % (80 % positiver Befunde korrekt) (72 % ; 88 %) 94 % (94 % negativer Befunde korrekt) (88 % ; 100 %) diagnostische Kenngrößen FLA: Befund OCT: Befund a / (a + c) OCT: kein Befund b / (b + d) FLA: kein Befund c / (a + c) d / (b + d) ppv = a / ( a + c ) = positiver Vorhersagewert npv = d / ( b + d ) = negativer Vorhersagewert Beispiel-Studie FLA: Befund FLA: kein Befund OCT: Befund 69 / 72 OCT: kein Befund 17 / 67 3 / 72 50 / 67 ppv = 96 % korrekt positive Vorhersagen npv = 75 % korrekt negative Vorhersagen Beispiel-Studie OCT Funduskopie Befund kein Befund Befund kein Befund Beispiel-Studie OCT Funduskopie Befund kein Befund Rationale: Entscheidung „Befund“ Befund „Befund“ kein Befund „kein Befund“ OCT „übersieht“ eher Befunde, daher dann eine zweite Information dazu nehmen Beispiel-Studie OCT 72 67 Funduskopie Befund kein Befund Zielparameter: FLA 69 x „Befund“ 12 Befund 9 x „Befund“ 55 kein Befund 8 x „Befund“ Sensitivität kombinierter Diagnostik Beispiel-Studie OCT + Fundusk.: OCT + Fundusk.: Befund kein Befund FLA: Befund 69 + 9 8 FLA: kein Befund 3+3 47 Beispiel-Studie OCT + Fundusk.: OCT + Fundusk.: Befund kein Befund FLA: Befund 69 + 9 8 9 47 FLA: kein Befund 3+3 3 Beispiel-Studie OCT + Fundusk.: OCT + Fundusk.: Befund kein Befund FLA: Befund 69 + 9 8 FLA: kein Befund 3+3 47 Sensitivität 91 % (statt 80 % bei alleinigem OCT) Spezifität 89 % (statt 94 % bei alleinigem OCT) Befunder-Reliabilität anderer Blickwinkel: Reproduzierbarkeit des FLA-Befundes FLA laut CL: Befund FLA laut BS: Befund FLA laut BS: kein Befund FLA laut CL: kein Befund Befunder-Reliabilität BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 parallele Befunder CL und BS: jeweils eine FLA-Auswertung gesucht: Kenngröße für Reproduzierbarkeit („Reliabilität“) der parallelen Auswertung? Befunder-Reliabilität BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 Anteil konkordanter Befunde = ( 65 + 45 ) / 139 = 79 % Cohen‘s kappa-Maß BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 Anteil konkordanter Befunde = ( 65 + 45 ) / 139 = 79 % Cohen: Anteil zu korrigieren für „Zufallsübereinstimmung“ kappa: ( B – E ) / ( 100 % – E ) Cohen‘s kappa-Maß BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 Cohen‘s kappa-Maß BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 Cohen‘s kappa-Maß BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 Cohen‘s kappa-Maß BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 Anteil konkordanter Befunde = ( 65 + 45 ) / 139 = 79 % Cohen: Anteil zu korrigieren für „Zufallsübereinstimmung“ kappa: ( B – E ) / ( 100 % – E ) = 58 % (46 % ; 72 %) test for „observer bias“ BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 test for „observer bias“ BS: Befund BS: kein Befund CL: Befund 65 CL: kein Befund 25 4 45 Kenngrößen für Diagnostika Vergleich Novum gegen diagnostische Referenz: Sensitivität und Spezifität nebst Konfidenzintervall Gegenüberstellung gleichwertiger Informationsquellen: Cohen‘s kappa-Maß und McNemar-Test speziell bei Vergleich paralleler Befunder: „agreement“ (Cohen) und „observer bias“ (McNemar) Methodenvergleichsstudien Methodenvergleichsstudien bei binärer Zielgröße: Cohen‘s kappa-Maß „agreement“ McNemar‘s Test „bias“ Methodenvergleichsstudien bei stetiger Zielgröße: ??? „agreement“ ??? „bias“ Methodenvergleichsstudien Methodenvergleichsstudien bei binärer Zielgröße: Cohen‘s kappa-Maß „agreement“ McNemar‘s Test „bias“ Methodenvergleichsstudien bei stetiger Zielgröße: ??? „agreement“ Vorzeichentest „bias“ Methodenvergleichsstudien Methodenvergleichsstudien bei stetiger Zielgröße: ??? „agreement“ Differenzen-Boxplot „bias“ Abweichung TGDc - Goldmann [mmHg] 4 2 0 -2 -4 -6 -8 -10 N= 68 Bland/Altman-Diagramm Methodenvergleichsstudien bei stetiger Zielgröße: Bland/Altman-Diagramm „agreement“ horizontale Achse Mittel der beiden Messungen (TonoPen + Goldmann) / 2 [mmHg] vertikale Achse Differenz der beiden Messungen TonoPen – Goldmann [mmHg] Bland/Altman-Diagramm Methodenvergleichsstudien bei stetiger Zielgröße: Bland/Altman-Diagramm „agreement“ Bland/Altman-Diagramm „agreement limits“ im Bland/Altman-Diagramm: umfassen 95% der gemessenen Abweichungen Bland/Altman-Diagramm „agreement limits“ im Bland/Altman-Diagramm: umfassen 95% der gemessenen Abweichungen häufige Charakterisierung von Austauschbarkeit: „agreement limits“ innerhalb „tolerabler Grenzen“ Problem bei dieser Charakterisierung: Was sind „tolerable Abweichungen“??? Bland/Altman-Diagramm „agreement limits“: -10 mmHg bis +3 mmHg „tolerable Abweichungen“: -3 mmHg bis +3 mmHg Methodenvergleichsstudien Methodenvergleichsstudien bei binärer Zielgröße: Cohen‘s kappa-Maß „agreement“ McNemar‘s Test „bias“ Methodenvergleichsstudien bei stetiger Zielgröße: Bland/Altman-Diagramm „agreement“ Vorzeichentest / D-Boxplot „bias“ Methodenvergleichsstudien Methodenvergleichsstudien bei binärer Zielgröße: Cohen‘s kappa-Maß „agreement“ McNemar‘s Test „bias“ Methodenvergleichsstudien bei stetiger Zielgröße: Bland/Altman-Diagramm „agreement“ Vorzeichentest / D-Boxplot „bias“ Finger weg vom Korrelationskoeffizienten !!! Korrelationskoeffizient Korrelationskoeffizient r nach Pearson: Wertebereich –1 bis +1 positive Werte: proportionaler Zusammenhang negative Werte: inverser Zusammenhang Werte um 0: kein Zusammenhang Korrelationskoeffizient Probleme des Korrelationskoeffizienten: a) sehr liberale Eindrücke bei Methodenvergleich r = 0.97 Korrelationskoeffizient Probleme des Korrelationskoeffizienten: a) sehr liberale Einschätzung bei Methodenvergleich b) anfällig für „Scheinkorrelationen“ Einkommen [€] Schuhgröße [cm] Korrelationskoeffizient Probleme des Korrelationskoeffizienten: a) sehr liberale Einschätzung bei Methodenvergleich b) anfällig für „Scheinkorrelationen“ Lebensqualität nach OP [%] Alter > 75 Alter < 75 Versorgungskosten [€] Methodenvergleichsstudien Methodenvergleichsstudien bei binärer Zielgröße: Cohen‘s kappa-Maß „agreement“ McNemar‘s Test „bias“ Methodenvergleichsstudien bei stetiger Zielgröße: Bland/Altman-Diagramm „agreement“ Vorzeichentest / D-Boxplot „bias“ Finger weg vom Korrelationskoeffizienten !!!
© Copyright 2024 ExpyDoc
