研究の批判的吟味の仕方ニコラス・P・ポリゾス医学博士 The material was supported by an educational grant from Ferring 目的を知る • この発表の最後に、いかなる記事の結論も疑問を持たずに受け入れるべきではないことを理解してください。 • この発表では、どのように記事に対して疑問を持つべきかについてガイダンスを行います。エッセイ：なぜ大半の研究結果は間違っているのか - John P.A. Ioannidis 研究結果は、以下の場合、正しくないことが多い： • 小規模フィールドで行われた研究 • 効果の範囲が小さい • デザイン、定義、アウトカムおよび分析モードに大きな柔軟性がある • 大きな経済的およびその他の利益や偏見がある Ioannidis JP, Plos Med 2005 • なぜすべての記事の結果に対して疑問を持たなければならないのか • どのように結果に対して疑問を持つべきかなぜすべての記事の結果に対して疑問を持たなければならないのかよく引用される記事が常に真実を語っているとは限らないよく引用される記事が常に真実を語っているとは限らない • 最初の発見…は、将来誤りと証明されることがある • 効果に関する主張とともにかなりよく引用される研究（1000回以上） – 16％は、続く研究により否定される – 16％は、最初に効果がより強調されていたことが判明する – 44％は、続く研究においてより大きなサンプルサイズで繰り返され、オリジナルのよく引用される研究と比較される – 24％は、広く検証されないままとなる Ioannidis JP, JAMA 2005 なぜすべての記事の結果に対して疑問を持たなければならないのか高く評価されている雑誌であっても、データのねつ造がありうる高く評価されている雑誌であっても、データのねつ造がありうる Sudbø の場合 (Lancet) 研究に参加した908例の患者のうち、250例が同じ誕生日であった。なぜすべての記事の結果に対して疑問を持たなければならないのか質の低いランダム化試験では、高い治療効果を示すことがある質の低いランダム化試験は、疑似的に高い治療効果を示すことがある • コクラン妊娠および出産データベース – 330のメタ分析より250の比較対象試験 • 質の悪い研究において、見せかけの治療効果がより大きい – ランダム化の問題 • オッズ比は、最大41％誇張されていた – 不適切な盲検化 • オッズ比は、17％誇張されていた Schulz. JAMA 1995; 273 (5): 408–412 質の低い試験は、質の高い試験では確認できない治療効果を示した妊娠37週未満で出生した未熟児のメタ分析のプロット研究またはサブグループ質の低い試験サブトータル(95% CI) 治療未治療イベント／総計イベント／総計オズ比 (M-H, 固定) (95% CI) 体重 (%) オッズ比 (M-H, 固定) (95% CI) 114/996 147/725 35.2 0.52 (0.38 to 0.72) 250/2303 219/2290 64.8 1.15 (0.95 to 1.40) 364/3299 366/3015 100 0.93 (0.79 to 1.10) 不均質の検定： χ2 = 4.95, df = 5, P = 0.42, I2 = 0% 全体の効果の検定： z = 4.01, P<0.001 質の高い試験サブトータル(95% CI) 不均質の検定： χ2 = 4.02, df = 4, P = 0.40, I2 = 1% 全体の効果の検定： z = 1.45, P = 0.15 総計(95% CI) 不均質の検定 χ2 = 25.94, df = 10, P = 0.004, I2 = 61% 全体の効果の検定 z = 0.86, P = 0.39 M-H=Mantel-Haenszel 固定効果モデル 0.1 0.2 0.5 治療側 1 2 5 10 未治療側 Polyzos NP et al., BMJ 2010 なぜすべての記事の結果に対して疑問を持たなければならないのか否定的結果の試験は出版されないか、のちに出版される否定的結果の試験は出版されないか、のちに出版される 1.0 実験群に有利なアウトカム非陽性陽性陽性が検出されず陽性が検出される前文で掲載された概要の数 0.8 0.6 0.4 生殖医療における出版バイアス：欧州生殖医学会年次会議から出版 0.2 0.0 0 20 40 60 80 100 出版の磁器（月）主要な科学会議において発表された研究の中で、肯定的な結果の試験が否定的な試験と比べてより出版される傾向にある。 Polyzos NP et al., Hum Reprod 2011 なぜすべての記事の結果に対して疑問を持たなければならないのかメタ分析は、エビデンスがないか矛盾したエビデンスに依存している場合が多いメタ分析は、エビデンスがないか矛盾したエビデンスに依存している場合が多い • 2012年7月中にコクランでは61の系統的レビューが出版された – – – – 15％には、1または0件の試験が含まれた半数には、1000例以下のランダム化された患者が含まれた 31件は更新されたレビューであったこれらの31件の更新されたレビューのうち、11件は現代に合わせようとした前回のレビュー時と同様の試験数および参加者であった。これを（メタ）分析：系統的レビューは信頼性を失う可能性がある Humaidan & Polyzos Nat Med 2012 なぜすべての記事の結果に対して疑問を持たなければならないのか産業界が出資した研究では、より大きな治療効果が示されることがある。産業界が出資した研究では、より大きな治療効果が示されることがある製薬会社が出資した研究では、アウトカムが出資者の製品に有利なアウトカムとなる傾向が、他の出資者による研究より4倍多かった。研究(第1著者）オッズ比 Azimi12 Cho14 Clifford15 Davidson16 Dieppe18 Djulbegovic19 Djulbegovic20 Friedberg23* Friedberg23┼ Kamal-Bahl26╪ Kamal-Bahl26§ Koep30 Mandelkern32 Sacristan36¶ Sacristan36** Thomas38 Vandenbroucke39 Yaphe41 0.1 0.2 0.5 1 2 OR 4.05; 95% CI 2.98-5.51 5 10 100 1000 Lexchin J et al., BMJ. 2003. 10000 産業界が出資した研究では、より大きな治療効果が示されることがある腫瘍学における標的治療の経済的分析との財政的関係産業界が依頼したコスト効率性分析の82％が、その薬剤はコスト効率的だと示した。 Valachis et al., J Clin Oncol 2012 産業界が出資した研究では、より大きな治療効果が示されることがある「ストローマン」コンパレーター製造者と友好関係または出資関係にあるまたは利益の相反がある著者 100 90 80 Sensitivity 70 60 50 40 30 20 10 0 0 10 20 30 40 50 60 70 80 90 100 1 - Specificity 著者が製造者と友好関係、出資関係、または利益相反のないCEAの推定最低1人の著者が製造者と友好関係、または出資関係、利益の相反があるCEAの推定産業界が関与するコスト効率性分析は、パップ検定の感受性のベースラインでの推定を低くしていた。 Polyzos NP et al., CMAJ 2011 なぜすべての記事の結果に対して疑問を持たなければならないのか産業界が出資する試験や政府が出資する試験であっても、過去に遅れて出版されている。産業界が出資した試験は、出資を受けていない試験より、後に出版されることがある • 出版の時期 – 試験終了後、産業界（24カ月）対非産業界（20カ月） p＜0.001 Ross JS et al., JAMA 2013 • 2年以内に出版される率 – 産業界（40％）対非政府／非産業界（56％） – RR = 0.73, 95% CI 0.61–0.87; p<0.001 – 産業界（40％）対政府の試験（47％）；p＝0.22 Ross JS et al., Plos Med 2009 政府が出資した試験であっても、すぐに出版されない • 終了後、出版されなかったNIH試験 – – 30 カ月- 半数が出版されず 51 カ月- 1/3 が出版されず 80 80 出版された試験の割合出版された試験の割合 2007年以前に試験終了 60 40 20 0 0 20 40 60 100 80 2007～08年に試験終了 60 40 P<.001 20 0 0 5 試験完了からの時間（月） 25 30 2007年以前に完了した試験で出版されなかった試験リスクなし 635 10 15 20 試験完了からの時間（月） 635 635 635 493 330 220 153 95 54 44 269 264 259 235 221 197 175 試験終了が2007～08年 366 356 324 282 244 215 176 Ross JS et al., BMJ 2011 • なぜすべての記事の結果に対して疑問を持たなければならないのか • 結果に対してどのように疑問を持つべきか結果に対してどのように疑問を持つべきか臨床試験のガバナンスおよび報告は、時間とともに改善しているため、そのステータスに基づいて正面から拒絶してはいけないそのステータスに基づいて、正面から否定しない産業界が関与する出版は、医師にとって価値が減少する医師が喜んで処方する薬剤 1.25 0.68 (95% CI, 0.49-0.94) P = .02 0.52 (95% CI, 0.37-0.71) P<.001 オッズ比 1.00 0.75 0.50 産業対なし産業対HIM 出資記事全文を読まないことが多い！産業界の出資： • • 方法論の質の受け止め方について、医師に否定的な影響を与える試験の質にかかわらず、信じるまたは試験での所見に基づいて行動しようとする傾向が減少する。 Kesselheim NEJM 2012 現在そのステータスに基づいて、正面から否定しないのはなぜか • 医薬品の臨床試験の実施の基準に関する省令(欧州議会2005年4月省令2005/28/EC) • EudraCT 対 9 (欧州臨床試験レジストリ) • • 2004年5月1日以降より欧州連合で開始されたすべての介入臨床試験に関して結果を提供しなければならない。 • 報告および公への開示には以下が含まれる。 – 早期に終了した試験 – 肯定的だけでなく、否定的結果の得られた試験 – コミュニティ内で販売者承認がある、またはない製品の試験 https://eudract.ema.europa.eu/index.html そのステータスに基づいて、正面から否定しない状況は、時間とともに改善したか。 • 製薬会社が新薬を導入する際、その薬剤は第II相試験に合格し、用量および安全性を確立し、その後、第III相試験にて有効性と外部にモニターされたさらなる安全性を示し、高度な方法論の試験に従わなければならない。 • 新しい開発プロジェクトの第II相試験の成功率は、28％（2006～2007年）から18％（2008～2009年）に下落した。 Arrowsmith. Nature Reviews Drug Discovery 2011 • 第III相試験と申請の両方の成功率は、2007～2010年の間に50％下落した。 Arrowsmith. Nature Reviews Drug Discovery 2011 結果に対してどのように疑問を持つべきか科学的記事を評価する場合、標準的批判的アプローチを用いる科学的記事を評価する場合、標準的批判的アプローチを用いる試験の目的を批判的に評価する • 試験を実施する根拠は何か。 • 研究する疑問は、明確に定義されているか、そうでなければ、どうあるべきか。調査研究の読み方と批判の仕方の枠組み米国看護師協会 http://www.nursingworld.org 科学的記事を評価する場合、標準的批判的アプローチを用いる試験デザインを批判的に評価する • • • • デザインは試験に適しているかサンプルは研究デザインに適しているか、サイズは十分かデータはどのように収集されたか分析のアプローチは、研究の疑問および研究デザインと矛盾しないか調査研究の読み方と批判の仕方の枠組み米国看護師協会 http://www.nursingworld.org 科学的記事を評価する場合、標準的批判的アプローチを用いる試験が公的レジストリに登録されているかを検証する • この試験は、試験開始前に登録されているか • 主要エンドポイントは、試験の登録されているものと同一か科学的記事を評価する場合、標準的批判的アプローチを用いる既存の文献を常にレビューする • その文献レビューは試験と関連し、包括的かつ最近の調査を含んでいるか • その文献レビューは、試験の必要性を支持するか • 所見は、既存の文献と矛盾しないか調査研究の読み方と批判の仕方の枠組み米国看護師協会 http://www.nursingworld.org 科学的記事を評価する場合、標準的批判的アプローチを用いる結果と結論を批判的に評価する • 結果は、テキスト、表および図の中に明確に示されているか • 統計は明確に説明されているか • 結果は、理論的枠組みおよび調査の疑問との関連で説明されているか • 制約が示され、その含意するところが議論されているか • 臨床実践に対して、推奨することはあるか調査研究の読み方と批判の仕方の枠組み米国看護師協会 http://www.nursingworld.org 結論 • • • • 制限のない試験はなく、結果は偶然に生じる結果が誤解を招くリスクさえあるより堅固な試験ほど、より真実である常にすべての文献をレビューし、報告された内容に一貫性と矛盾を探す • 出版された雑誌、研究グループまたは産業界の関与のみに基づいて、正面から受容または拒否してはならないありがとうございました。