Stand van zaken methodologie van onderzoek
KLINISCHE PR AKTIJK
Referentiestandaarden in diagnostisch onderzoek:
problemen en oplossingen
Joris A.H. de Groot, Johannes B. Reitsma en Karel G.M. Moons
De accuratesse van diagnostische tests is uitermate belangrijk, want vertekende testresultaten kunnen leiden tot verkeerde keuzes in de klinische praktijk.
In diagnostisch accuratesseonderzoek wordt een diagnostische test, model of strategie vergeleken met de referentiestandaard, dat wil zeggen de best mogelijke manier om de aan- of afwezigheid van de betreffende ziekte vast te
stellen.
Problemen met de referentiestandaard leiden tot vertekening ('bias') in de resultaten van de onderzochte test. De
overkoepelende term hiervoor is 'verificatiebias'.
Verificatiebias ontstaat doordat de referentiestandaard niet bij alle patiënten kan worden toegepast, doordat de
onderzoekers verschillende referentiestandaarden gebruiken of doordat er überhaupt geen goede referentiestandaard is.
Vaak is er voor de genoemde problemen wel een correctiemogelijkheid die, als hij transparant en reproduceerbaar
wordt toegepast, bruikbare diagnostische informatie oplevert.
Clinici die een diagnostische test gebruiken, moeten terdege rekening houden met mogelijke verificatiebias.
C
Universitair Medisch Centrum Utrecht, Julius Centrum voor
Gezondheidswetenschappen en Eerstelijns Geneeskunde,
afd. Klinische Epidemiologie, Utrecht.
Dr. J.A.H. de Groot, dr. J.B. Reitsma en prof.dr. K.G.M. Moons,
klinisch epidemiologen.
Contactpersoon: dr. J.A.H. de Groot ([email protected]).
linici besteden het grootste deel van hun tijd aan het
stellen van een diagnose bij patiënten die zich bij
hen melden met bepaalde klachten en symptomen.
Aan de hand van een breed scala aan diagnostische
informatie uit anamnese, lichamelijk onderzoek en aanvullende tests probeert de arts zo goed mogelijk de aanof afwezigheid van een bepaalde ziekte vast te stellen of
uit te sluiten.
Omdat de aldus verzamelde diagnostische informatie
richting geeft aan het verdere beleid en aan de keuze van
verrichtingen en behandelingen, is het buitengewoon
belangrijk dat die informatie valide is. Een belangrijke
stap in de validering van diagnostische informatie is
onderzoek naar de accuratesse van de gebruikte diagnostische test, methode of strategie: hoe goed kan de onderzochte test onderscheid maken tussen 'zieken' en 'nietzieken'?1,2 Met 'test' bedoelen wij dan alle mogelijke
vormen van informatie over de gezondheidstoestand van
de patiënt die kan worden verkregen uit beeldvormend
onderzoek, functieonderzoek, laboratoriumbepalingen,
anamnese of lichamelijk onderzoek.
In diagnostisch accuratesseonderzoek worden de resultaten van een diagnostische test of model vergeleken
met een referentiestandaard: de best mogelijke manier
NED TIJDSCHR GENEESKD. 2015;159: A7202
1
patiënten met verdenking op ziekte
KLINISCHE PR AKTIJK
referentiestandaard
diagnostische test (+/–)
diagnostische test
+
–
+
TP
FN
–
FP
TN
referentiestandaard (+/–)
FIGUUR 1 De klassieke opzet van diagnostisch accuratesseonderzoek, waarin het resultaat van een diagnostische test vergeleken wordt met een
referentiestandaard. De accuratesse wordt uitgedrukt in de volgende ‘maten’:
(a) sensitiviteit = aantal terecht positieven (TP) / (aantal terecht positieven (TP) + aantal fout-negatieven (FN));
(b) specificiteit = aantal terecht negatieven (TN) / (aantal terecht negatieven (TN) + aantal fout-positieven (FP));
(c) positief voorspellende waarde = aantal terecht positieven (TP) / (aantal terecht positieven (TP) + aantal fout-positieven (FP));
(d) negatief voorspellende waarde = aantal terecht negatieven (TN) / (aantal terecht negatieven (TN) + aantal fout-negatieven (FN)).
om de aan- of afwezigheid van de betreffende ziekte vast
te stellen. Deze bevindingen worden samengevat met
behulp van maten zoals sensitiviteit, specificiteit, likelihood ratio, voorspellende waarde en oppervlakte onder
de 'receiver operating characteristic'-curve. Figuur 1
laat de klassieke opzet zien van een cross-sectioneel
diagnostisch accuratesseonderzoek en de berekening
van sensitiviteit, specificiteit en voorspellende waarden.3
Soms is het echter niet mogelijk om bij alle patiënten in
een onderzoek de aan- of afwezigheid van de ziekte te
bepalen, of bestaat er überhaupt geen goede referentiestandaard voor de betreffende ziekte.4,5 Denk aan moeilijk te diagnosticeren aandoeningen zoals migraine,
depressie of hartfalen. De verschillende typen van vertekening ('bias') van de onderzoeksresultaten die hierdoor kunnen ontstaan, worden aangeduid met de term
'verificatiebias'. Volgens een recente publicatie, die
3 soorten bias onderscheidt, is verificatiebias te rangschikken onder informatiebias.6 Verificatiebias leidt in
de klinische praktijk in eerste instantie tot verkeerde
toepassing of interpretatie van de test, en kan uiteindelijk resulteren in een verkeerde diagnose, prognose en
behandeling.
Dit artikel is allereerst bedoeld om klinisch onderzoekers
aan te sporen scherper na te denken over verificatieproblemen binnen hun diagnostisch accuratesseonderzoek
en waar mogelijk de beschikbare correctiemethoden te
gebruiken. Daarnaast hopen wij degenen die de resultaten van deze onderzoeken in de klinische praktijk
gebruiken, bewuster te maken van het potentiële probleem van verificatiebias in diagnostisch accuratesseonderzoek.
2
Partiële verificatiebias
Het is niet altijd mogelijk om alle patiënten in een onderzoek de referentiestandaard te laten ondergaan. Bijvoorbeeld in onderzoeken naar de accuratesse van FDG-PET
om metastasen op afstand te lokaliseren, waarbij biopsie
de referentiestandaard is, zijn negatieve testresultaten
niet te verifiëren omdat je bij die patiënten niet weet waar
te biopteren.7 Andere redenen om niet alle patiënten de
referentiestandaard te laten ondergaan, zijn bijvoorbeeld
de kosten of de invasiviteit van de referentiestandaard.
Deze situatie, waarin een deel van de onderzochte personen de referentiestandaard niet ondergaat, heet partiële
verificatie.8 Vaak zullen de patiënten die de referentiestandaard niet hebben ondergaan, geen willekeurige
steekproef zijn uit de oorspronkelijke onderzoekspopulatie. Zou men deze patiënten uit de analyse weglaten, dan
zou dat leiden tot vertekening van maten als sensitiviteit,
specificiteit en voorspellende waarde.9
Er zijn 2 manieren om met het probleem van partiële
verificatie om te gaan. Allereerst zijn er verschillende
mathematische oplossingen om te corrigeren voor de
ontbrekende referentieresultaten, 'Multipele imputatie'
geniet daarbij de voorkeur.10 Met multipele imputatie is,
aan de hand van alle bekende testresultaten in de onderzoekspopulatie, te voorspellen wat de waarde van de
ontbrekende referentieresultaten zou zijn geweest als
men deze wel zou hebben gemeten.
Een tweede manier om het probleem van partiële verificatie terug te dringen, is de ontbrekende referentieresultaten aan te vullen door de patiënten bij wie de referentiestandaard niet kon worden toegepast een tweede,
minder perfecte referentietest te laten ondergaan. Wanneer een deel van de patiënten in een onderzoek een
andere referentietest ondergaat, noemt men dit 'differen-
NED TIJDSCHR GENEESKD. 2015;159: A7202
Differentiële verificatiebias
Differentiële verificatie is, zoals gezegd, de situatie waarin
binnen hetzelfde diagnostisch accuratesseonderzoek
verschillende referentietests worden gebruikt. Als voorbeeld nemen we een onderzoek naar de diagnostische
accuratesse van plasmamarkers voor het aantonen of
uitsluiten van acute appendicitis, waarbij de referentiestandaard histopathologisch onderzoek van een biopt
was.11 De onderzoekers pasten bij deelnemers met een
lage voorafkans niet de invasieve referentiestandaard
toe, maar controleerden bij hen in de klinische follow-up
de aan- of afwezigheid van acute appendicitis. In de klinische praktijk is dat volkomen logisch, maar in de analyse zijn deze 2 referentietests niet uitwisselbaar: bij histopathologisch onderzoek wordt al appendicitis
vastgesteld bij de geringste ontsteking in het weefsel,
terwijl dat in de follow-up alleen gebeurt wanneer de
appendicitis klinisch manifest wordt. Een naïeve analyse,
waarbij je aanneemt dat alle verificatieresultaten exact
vergelijkbaar zijn en dus kunnen worden opgeteld, leidt
hier tot differentiële verificatiebias in de accuratessematen.
Onderzoekers die 2 of meer verschillende referentietests
gebruiken, horen de geobserveerde accuratesse van een
nieuwe diagnostische test modelmatig te corrigeren.12
Bovendien moeten zij de accuratesse van iedere referentietest afzonderlijk vermelden.8,13,14
Zowel voor partiële als voor differentiële verificatiebias
geldt dat hun grootte en richting lastig te voorspellen
zijn. Die hangen namelijk af van meerdere factoren,
waaronder de prevalentie, het percentage patiënten dat
niet de optimale referentiestandaard onderging en de
kwaliteit van de suboptimale referentiestandaard. In het
algemeen echter leidt differentiële verificatie gemiddeld
tot overschatting van de accuratesse van de diagnostische test.15
te sluiten, kan dit ook leiden tot vertekening in de resultaten van een diagnostische test of model. Deze vertekening noemt men 'imperfecte referentiestandaardbias'.
Ook van dit type bias zijn de richting en de grootte moeilijk te voorspellen, omdat die afhangen van factoren zoals
prevalentie, ware sensitiviteit en specificiteit, en de covariantie van fout-positieve en fout-negatieve testresultaten.16
Er zijn geen optimale oplossingen voor dit probleem,
maar er zijn 3 methoden om het te verlichten.
Samengestelde referentiestandaard
De eerste methode maakt gebruik van een vastgestelde
regel om verschillende imperfecte tests te combineren
tot één samengestelde ('composite') referentiestandaard.
Als de combinatie van de verschillende componenttests
de ziektestatus beter vaststelt dan elke test afzonderlijk,
zal de accuratesse van het diagnostische model als geheel
groter zijn dan wanneer men slechts één van de imperfecte tests als referentiestandaard zou gebruiken.17 Een
voorbeeld waarin een dergelijke samengestelde referentiestandaard wordt gebruikt, is een onderzoek naar een
antigeensneltest voor trichomoniasis.18 De onderzoekers
besloten dat de traditionele referentiestandaard, de
kweek, imperfect is omdat deze niet alle patiënten met
trichomoniasis detecteerde. Aannemende dat microscopisch onderzoek patiënten met trichomoniasis zou kunnen oppikken die bij de kweek gemist waren, besloten de
onderzoekers trichomoniasis aanwezig te beschouwen
bij patiënten die ofwel op de kweek, ofwel bij microscopie
een abnormaal resultaat hadden.
De methode om meerdere referentietests te gebruiken in
plaats van één imperfecte referentietest is transparant en
reproduceerbaar, mits men de recentelijk gepubliceerde
richtlijnen voor de rapportage van een samengestelde
referentiestandaard volgt. Zo is het belangrijk voor iedere
afzonderlijke componenttest de reden te geven waarom
deze gebruikt is, en voor iedere combinatie van uitslagen
de uiteindelijke diagnose te vermelden met het aantal
patiënten dat die combinatie had en welke uitslagen op
de componenttests eventueel ontbraken.17
Imperfecte referentiestandaardbias
Paneldiagnose
Idealiter kan de referentiestandaard foutloos onderscheid
maken tussen patiënten met en zonder de ziekte. De referentiestandaard heeft in dat geval een sensitiviteit en
specificiteit van 100% en wordt dan ook wel 'gouden standaard' genoemd. In de praktijk zijn er echter veel aandoeningen waarvoor geen perfecte referentiestandaard
bestaat, denk bijvoorbeeld aan depressie, hartfalen of
verschillende infectieziekten. Als de referentiestandaard
niet in staat is de ziektestatus perfect aan te tonen of uit
Een tweede veelgebruikte methode om om te gaan met
imperfecte referentiestandaardbias is de paneldiagnose.19
Hierbij bepaalt een panel van deskundigen voor iedere
patiënt de uiteindelijke 'consensusdiagnose' op basis van
relevante patiëntkarakteristieken, testresultaten en soms
informatie uit de follow-up. Een voorbeeld van een
paneldiagnose vinden we in een onderzoek naar de diagnostische accuratesse van 3 verschillende peptidebepalingen voor de diagnose 'hartfalen'.20 De referentiestandaard bestond uit een 'consensusdiagnose', vastgesteld
NED TIJDSCHR GENEESKD. 2015;159: A7202
3
KLINISCHE PR AKTIJK
tiële verificatie'. Intuïtief lijkt dit een logische oplossing,
maar zij kan leiden tot vertekening: differentiële verificatiebias.8
KLINISCHE PR AKTIJK
bestaat er één acceptabele
referentiestandaard voor het
diagnostische probleem?
ja
is met de beschikbare
referentiestandaard
complete verificatie mogelijk?
ja
complete verificatie
nee
nee
is er een tweede informatieve
referentietest voor patiënten die
de referentiestandaard niet ondergaan?
nee
partiële
verificatie
leidt de combinatie van
meerdere tests tot een
goede schatting van de diagnose?
ja
differentiële
verificatie
ja
paneldiagnose, samengestelde
referentiestandaard of latente
klasseanalyse
nee
overweeg ander type
evaluatieonderzoek
FIGUUR 2 Beslisregel bij problemen met de referentiestandaard in diagnostisch accuratesseonderzoek. Als complete en foutloze verificatie niet mogelijk is, zijn er
methoden om de bias te corrigeren die kan optreden bij de verschillende alternatieven.
door een cardioloog, een longarts en een huisarts op
basis van alle beschikbare diagnostische informatie
behalve de peptidebepalingen, te weten anamnese, lichamelijk onderzoek, laboratoriumonderzoek, beeldvormend onderzoek en follow-upinformatie.
Een paneldiagnose is een intuïtieve oplossing voor aandoeningen waarvoor geen referentiestandaard beschikbaar is, maar er zijn nog geen duidelijke richtlijnen.
Recentelijk is een systematische review uitgevoerd naar
het gebruik van consensuspanels in diagnostisch onderzoek.19 Deze review geeft aan aan welke voorwaarden een
paneldiagnose minimaal zou moeten voldoen. Zo is het
belangrijk om na te denken over de samenstelling van het
panel, welke informatie de panelleden krijgen en of het
panel geblindeerd is voor de te bestuderen test. Voor een
volledige beschrijving verwijzen we naar de betreffende
publicatie.19
Latente klasseanalyse
Als laatste is er nog een statistische methode om imperfecte referentiestandaardbias te ondervangen, namelijk
latente klasseanalyse.21,22,23 Deze methode gaat uit van de
aanname dat de 'ware' ziektestatus niet geobserveerd,
dus 'latent' is. Met behulp van een statistisch model combineert men vervolgens de uitslagen van verschillende
tests om de accuratesse te schatten van de onderzochte
test, combinatie van tests of diagnostisch model. Een
voorbeeld waarin latente klasseanalyse wordt gebruikt
als oplossing voor imperfecte referentiestandaardbias is
een onderzoek naar de accuratesse van verschillende
interferon-gammabepalingen voor het diagnosticeren
van latente tuberculose.24
4
Latente klasseanalyse kan zeker waardevol zijn bij aandoeningen waarvoor een referentiestandaard ontbreekt,
maar een duidelijke rapportage over het gebruikte statistische model en een inzichtelijke beschrijving van de
aannames daarbinnen zijn onontbeerlijk.22
Informatie uit de follow-up
Als er geen goede referentiestandaard bestaat voor een
aandoening en als ook een combinatie van imperfecte
referentietests niet een eenduidige ziektedefinitie oplevert, kan het soms beter zijn te erkennen dat de klassieke
aanpak van het diagnostisch accuratesseonderzoek
tekortschiet. Eén belangrijke oplossing om in dat geval
toch iets te kunnen zeggen over de waarde van bijvoorbeeld een nieuwe diagnostische test is het gebruik van
informatie verzameld tijdens de follow-up. Dit stelt de
onderzoeker in staat de relatie tussen de uitslag van de
test en het optreden van klinisch relevante uitkomsten in
kaart te brengen.25 Een voorbeeld is een longitudinaal
onderzoek naar de voorspellende waarde van troponine
voor het optreden van relevante hartgerelateerde problemen binnen 30 dagen.26 Omdat troponine een goede
voorspeller bleek van hartproblemen, is het inmiddels
opgenomen in de ziektedefinitie van myocardinfarct.
Het essentiële punt waarop longitudinaal follow-uponderzoek verschilt van het klassieke cross-sectionele diagnostisch accuratesseonderzoek is natuurlijk de factor
tijd. Doordat de deelnemers in de tijd moeten worden
gevolgd, treden karakteristieke problemen op zoals 'loss
to follow-up'.25 Toch biedt longitudinaal onderzoek aan
de onderzoeker de mogelijkheid de waarde van een diag-
NED TIJDSCHR GENEESKD. 2015;159: A7202
▼ Leerpunten ▼
nostische test of model in kaart te brengen zonder de
verificatieproblemen die een standaardaanpak zou hebben gehad.
Conclusie
Figuur 2 geeft een overzicht van de diverse verificatieproblemen die in diagnostisch accuratesseonderzoek kunnen voorkomen. In het ideale design bestaat er een 'gouden' referentiestandaard die bij alle patiënten kan worden
uitgevoerd. Als er een acceptabele referentiestandaard
bestaat, maar deze niet bij alle patiënten kan worden
uitgevoerd, is er sprake van 'partiële verificatie'. Als de
ontbrekende referentieresultaten worden aangevuld met
de resultaten van een tweede referentietest, noemt men
dat 'differentiële verificatie'. Bij diagnostische problemen
waarvoor geen perfecte referentiestandaard bestaat, kan
men gebruik maken van een samengestelde referentiestandaard, een paneldiagnose of een latente klasseanalyse.
Verificatieproblemen kunnen leiden tot aanzienlijke bias
in de accuratesse van een diagnostische test. Deze bias
kan direct leiden tot een verkeerde toepassing en/of
interpretatie van de test in de klinische praktijk, en daarmee in ultimo tot een verkeerde diagnose, prognose en
behandeling. Beter signaleren van, rapporteren over en,
indien mogelijk, corrigeren voor verificatiebias in diagnostisch onderzoek is daarom van groot belang.
Disclaimer: In de rubriek Stand van zaken verschijnen regelmatig
bijdragen over methoden die gebruikt worden bij het opzetten van
wetenschappelijk onderzoek. De artikelen in deze serie illustreren op
KLINISCHE PR AKTIJK
• Clinici moeten zich ervan bewust zijn dat de accuratesse
van diagnostische tests vaak begrensd wordt door
verificatiebias.
• Partiële verificatiebias ontstaat wanneer de referentiestandaard niet bij alle patiënten kan worden toegepast.
• Differentiële verificatiebias ontstaat wanneer
onderzoekers meer dan 1 referentiestandaard gebruiken
om partiële verificatiebias te vermijden.
• Imperfecte referentiestandaardbias ontstaat wanneer er
geen gouden standaard beschikbaar is.
• Onderzoekers kunnen bias gedeeltelijk ondervangen met
behulp van statistische technieken, samengestelde
referentiestandaarden, expertpanels of followuponderzoek. De gebruikte methoden moeten
transparant en reproduceerbaar zijn.
begrijpelijke wijze wat een bepaalde methode behelst, zonder dat hier
uitvoerige methodologische kennis voor nodig is. Zowel oude als nieuwe
methodologische principes worden zo inzichtelijk gemaakt voor artsen
die klinische onderzoeken goed willen interpreteren.
Belangenconflict en financiële ondersteuning: ICMJE-formulieren zijn online
beschikbaar bij dit artikel.
Aanvaard op 19 november 2014
Citeer als: Ned Tijdschr Geneeskd. 2015;159:A7202
> Kijk ook op www.ntvg.nl/A7202
●
Literatuur
1
2
Grobbee DE, Hoes AW. Clinical epidemiology: Principles, methods and
7
positron emission tomography for the evaluation of malignancy in
Moons KG, Grobbee DE. Diagnostic studies as multivariable, prediction
patients presenting with new lung abnormalities: a retrospective review.
Chest 2001;120:1791-7.
research. J Epidemiol Community Health 2002;56:337-8.
3
Knottnerus JA, Muris JW. Assessment of the accuracy of diagnostic tests:
8
2011;343:d4770.
BMJ Books; 2002. p. 39-60.
Rutjes AW, Reitsma JB, Coomarasamy A, Khan KS, Bossuyt PM.
9
10 De Groot JA, Janssen KJ, Zwinderman AH, Moons KG, Reitsma JB.
methods. Health Technol Assess 2007;11:iii, ix-51.
Multiple imputation to correct for partial verification bias revisited. Stat
Whiting P, Rutjes AW, Reitsma JB, Glas AS, Bossuyt PM, Kleijnen J.
Med 2008;27:5880-9.
Sources of variation and bias in studies of diagnostic accuracy: a
11
systematic review. Ann Intern Med. 2004;140:189-202.
6
Schellekens DH, Hulsewé KW, van Acker BA, et al. Evaluation of the
diagnostic accuracy of plasma markers for early diagnosis in patients
Groenwold RHH. 3 vormen van bias: Vertekening van
onderzoeksresultaten en hoe dat te voorkomen. Ned Tijdschr Geneeskd
2013;157:A6497.
Begg CB, Greenes RA. Assessment of diagnostic tests when disease
verification is subject to selection bias. Biometrics 1983;39:207-15.
Evaluation of diagnostic tests when there is no gold standard. A review of
5
De Groot JA, Bossuyt PM, Reitsma JB, et al. Verification problems in
diagnostic accuracy studies: consequences and solutions. BMJ
the crosssectional study. The evidence base of clinical diagnosis. London:
4
Lee J, Aronchick JM, Alavi A. Accuracy of F-18 fluorodeoxyglucose
applications for clinical research. London: Jones and Bartlett; 2009.
suspected for acute appendicitis. Acad Emerg Med 2013;20:703-10.
12 De Groot JA, Dendukuri N, Janssen KJ, Reitsma JB, Bossuyt PM, Moons
KG. Adjusting for differential-verification bias in diagnostic-accuracy
studies: a Bayesian approach. Epidemiology 2011;22:234-41.
NED TIJDSCHR GENEESKD. 2015;159: A7202
5
13 Alonzo TA, Brinton JT, Ringham BM, Glueck DH. Bias in estimating
KLINISCHE PR AKTIJK
accuracy of a binary screening test with differential disease verification.
20 Kelder JC, Cramer MJ, Verweij WM, Grobbee DE, Hoes AW. Clinical
utility of three B-type natriuretic peptide assays for the initial diagnostic
assessment of new slow-onset heart failure. J Card Fail 2011;17:729-34.
Stat Med 2011;30:1852-64.
14 Naaktgeboren CA, de Groot JA, van Smeden M, Moons KG, Reitsma JB.
Evaluating diagnostic accuracy in the face of multiple reference standards.
21 Pepe MS, Janes H. Insights into latent class analysis of diagnostic test
performance. Biostatistics 2007;8:474-84.
22 Van Smeden M, Naaktgeboren CA, Reitsma JB, Moons KG, de Groot JA.
Ann Intern Med 2013;159:195-202.
15 Rutjes AW, Reitsma JB, Di Nisio M, Smidt N, van Rijn JC, Bossuyt PM.
Evidence of bias and variation in diagnostic accuracy studies. CMAJ
Latent class models in diagnostic studies when there is no reference
standard: a systematic review. Am J Epidemiol 2014;179:423-43.
23 Dendukuri N, Schiller I, Joseph L, Pai M. Bayesian meta-analysis of the
2006;174:469-76.
16 Walter SD, Macaskill P, Lord SJ, Irwig L. Effect of dependent errors in the
assessment of diagnostic or screening test accuracy when the reference
accuracy of a test for tuberculous pleuritis in the absence of a gold
standard reference. Biometrics 2012;68:1285-93.
24 Girardi E, Angeletti C, Puro V, et al. Estimating diagnostic accuracy of
standard is imperfect. Stat Med 2012;31:1129-38.
17 Naaktgeboren CA, Bertens LCM, van Smeden M, de Groot JA, Moons
KG, Reitsma JB. Value of composite reference standards in diagnostic
tests for latent tuberculosis infection without a gold standard among
healthcare workers. Euro Surveill 2009;14(43).
25 Bossuyt PM, Lijmer JG, Mol BW. Randomised comparisons of medical
research. BMJ 2013;347:f5605.
18 Hegazy MM, El-Tantawy NL, Soliman MM, El-Sadeek ES, El-Nagar HS.
Performance of rapid immunochromatographic assay in the diagnosis of
Trichomoniasis vaginalis. Diagn Microbiol Infect Dis 2012;74:49-53.
19 Bertens LC, Broekhuizen BD, Naaktgeboren CA, et al. Use of expert
tests: sometimes invalid, not always efficient. Lancet 2000;356:1844-7.
26 Kontos MC, Shah R, Fritz LM, et al. Implication of different cardiac
troponin I levels for clinical outcomes and prognosis of acute chest pain
patients. J Am Coll Cardiol 2004;43:958-65.
panels to define the reference standard in diagnostic research: a
systematic review of published methods and reporting. PLoS Med
2013;10:e1001531.
6
NED TIJDSCHR GENEESKD. 2015;159: A7202
© Copyright 2025 ExpyDoc
