Applicability of the AGREE II Instrument in

Journal Club 2012.10
Journal Club 2012.10
Applicability of the AGREE II Instrument in Evaluating the Development
Process and Quality of Current National Academy of Clinical Biochemistry
Guidelines
Andrew C. Don-Wauchope1,2,3,*, John L. Sievenpiper1, Stephen A. Hill1,2 and Alfonso Iorio3,4
1Department of Pathology and Molecular Medicine, McMaster University, Hamilton, Ontario, Canada;
2Hamilton Regional Laboratory Medicine Program, Hamilton, Ontario, Canada;
3Department of Medicine, McMaster University, Hamilton, Ontario, Canada;
4Departments of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canada.
* Address correspondence to this author at: Juravinski Hospital and Cancer Centre, Rm. A0–120. Fax 905-381-7066; e-mail [email protected].
ジャーナルクラブ
現行の臨床生化学ナショナルアカデミーガイドラインの作成過程と質の評価における
AGREE II の応用可能性
■要旨
【研究背景】医学検査診療ガイドライン(LMPGs) は臨床検査医学の重要な部分である。診療ガイドラインの作成とレポ
ートの質を評価するために、The Appraisal of Guidelines for Research and Evaluation II (AGREE II)が開発されている。
我々は、臨床生化学ナショナルアカデミー (NACB) LMPGs の評価における AGREE II の適用性を精査した。【方法】
NACB のウェブサイトにおいて 2011 年 12 月までに利用可能なすべての LMPGs を検索した。2 人の独立した査定
人が検索により同定された各 LMPG を精査するために AGREE II を用いた。7 点の範囲(1 から 7 の順に強く反対する
から強く同意するまで)で採点される全部で 23 項目、2 つの総合評価から成る 6 ドメイン (開発の範囲と目的、利害関係
者の関与、鑑定の厳密さ、プレゼンテーションの明瞭さ、適用性、および編集の独立性)に渡って品質を査定した。すべて
のスコアは AGREE II 算出百分率 (すべての検定の結果、全ての項目において 7 ポイントの場合を 100％で示す)で表示
した。【結果】11 の LMPGs が同定された。すべての LMPG が検定によって臨床診療に該当すると見られるいくつかの
情報を提供した。LMPG のうちの 5 つだけが 50％以上のスコアを記録し、中央値は 42％だった（範囲：8％-92％）。個々
のドメインスコアは 0％から 100％までかなり異なっていた。一つのガイドラインがその方法において非常に高いスコアを
記録した。【結論】AGREE II は LMPG を評価するのに適応可能で、有益である。全てのドメインが LMPG を査定するのに
有益であり、いくつかは改善の余地がある一方で（例、適応性）それ以外はよく機能していた（例、プレゼンテーションの
明瞭さ）。
■本文
臨床生化学(NACB)5 ナショナルアカデミーは、臨床検査診療に通知することを意図したいくつかの医学検査診療ガイ
ドライン(LMPG)を作成した。これらのガイドラインは、臨床化学のための医学検査において証拠に基づく診療に関する最
も適切な情報源である。実験室試験に特化した、もしくは実験室試験の状況を加味したローカルレベル、地域レベルおよ
1
Journal Club 2012.10
び国立レベルで作成されたその他のガイドラインも存在する。標準化されたプロトコル、方法論、およびガイドラインを立
証する証拠の報告手法が開発されている(1-3)。標準化された方法に従うことで、より質の高い臨床診療ガイドライン
(CPG)に帰着するはずである。ガイドラインの作成法の標準化は、全ての医療サービス提供者と一般社会がガイドライン
を査定し、同意し、実施することをより簡単にすることを目的としている(4, 5)。ガイドライン標準化のよい例が全米決済ガ
イドラインによって提供されているが、そこではその内容を再フォーマットし、更なる実施援助および CPG の使用のため
の重要情報を確認して、ガイドラインの標準化された要点を作成する(6)。よい方法を強調することにより、出所でガイドラ
インの作成を標準化することが究極のゴールである(7)。最初に、ガイドライン作成過程の系統的な調査段階の間に、信
頼できて再現可能な選択、および CPG のために使用された証拠の評価を保証する適切なツールを使用することが重要
である(2, 4, 5)。後の段階になって、その証拠を明瞭に説明できるようにガイドラインの推薦事項に翻訳することが保証さ
れるだろう(8, 9)。ほとんどのガイドラインが治療と予防の分野で出されることから、一般的ガイドライン作成法が LMPG に
適用可能かどうかは考慮されなければならない。というのも、いくつかの特定の状況が、CPG 作成のためのガイドライン
または CPG のためにデザインされた評価手法において考慮されないかもしれない実験室関連のガイドラインに含まれる
可能性があるためである(10)。例えば、糖尿病用の CPG は 2 度査定されたが、その両方で用いられた方法と実験室試験
のレポートが変化しており、標準化されていないことが判明した(11, 12)。この発見により、これらの CPG の臨床検査試験
に関する要素の有効性に対する問題が提起された(12)。さらに、LMPG 作成のための万能なガイドライン作成法の適応
性については疑問であるかもしれない。CPG の質と有効性を改善する目的から The Appraisal of Guidelines for Research
and Evaluation (AGREE)が作られた(13)。AGREE 共同研究は、ガイドラインの評価で使用するツールとして AGREE II を開
発した(8)。このツールは世界中の一連の臨床トピックをカバーする CPG を評価するために使用されている。また AGREE
および AGREE II は臨床検査状況に関係のあるガイドラインを評価するためにも使用されている(9, 11, 12, 14-17)。糖尿
病 CPG の調査に加えて、Watine らは AGREE を使用して検査情報と共に CPG を評価する例を発表した(11, 12, 17)。し
かしながら、LMPG への AGREE II の適用可能性を確認するための一連の LMPG を評価する研究は未だ発表されていな
い。この研究は、NACB によって作成された一連の LMPG を評価するのに AGREEII を用いることにより、AGREE II の
LMPG への適用可能性を実証するようにデザインされた。私たちはこの仕事によって NACB LMPG の質を報告し、将来
の LMPG を改善するための提案を行うことができた。
■方法
ガイドラインの選択
2011 年 12 月までに公表されたすべての LMPG を求めて NACB ウェブサイトを探索した。現行のフルファイルとしてダウ
ンロードできる LMPG はすべて含めた(18)。その他の公表されたバージョンは使用しなかった。可能な場合、関連する補
足ファイルも NACB ウェブサイトから集めた。
ガイドラインの評価
NACB(18)によって作成され、識別された各 LMPG を評価するために AGREE II (8)を使用した。AGREE II は、6 つのドメイ
ン(範囲および目的、ステイクホルダーの関係、作成の正確性、プレゼンテーションの明瞭さ、適用可能性、編集の独立
性)で組織され、全部で 23 項目からなる(9)。各項目は、診療ガイドラインの質において 1 つの鍵となる状況を標的として
いる。AGREE II は、診療ガイドラインの全面的な判断を下すことを査定人に要求する 2 つの総合評価項目を含んでいる
(9)。各項目および 2 つの総合評価項目は LMPG へのそれらの適用可能性において評価され、7 点満点 (1(強く否定)か
ら 7(強く一致))で評価された。関連情報が提供されない、もしくは非常に低度に報告された場合を 1 点とした。報告がそ
の項目の基準または考察を完全には満たさない場合、より多くの基準と考察に合致するのに合わせて点数が増加する
ように 2 から 6 までの点数を用いた。報告の質が例外的で、その項目に対するすべての基準および考察が満たされた時、
2
Journal Club 2012.10
7 点とした。4 人の査定人(A.C. Don-Wauchope, J.L. Sievenpiper S.A. Hill, A. Iorio)が、AGREE トラストウェブサイト(13)上で
提供されるオンライントレーニングにより AGREE II を使用できるように訓練された。2 人の査定人が独立して、AGREE II
のオンラインか印刷されたバージョンを使用して、各 LMPG を査定した。適格な LMPG を、乱数発生器を用いて査定人に
ランダムに割りあてた。独立評価は、すべての査定人による一対一の会談においてチームによって議論され、個々の点
数が 4 点以上異なる場合、ドキュメンテーションを見た後に再考した。2 人の点数が一致しなければならないとする仮定
は設けず、また改訂された点数のそれ以上の調整も行わなかった(9)。
■統計分析
データは計算した後パーセンテージ・スコアとして表現した。AGREE II(8)は、各査定人(得点)が出した個々の項目の点
数から可能最小点[項目(1、強く否定)×n 項目数×n 査定人数]を引いたものを合計することにより、ドメインと総合評価
の点数を計算する。合計は、数式によれば可能最大点[項目(7、強く一致)×n 項目数×n 査定人数]から可能最小点を引
いたものに対する割合として表現する。
(得点– 可能最小点)
(可能最大点– 可能最小点).
様々な査定人による個々の項目における一致は、最終スコアの加重 (二次)κ 分析 (Analyze-It, version 2.22,
Analyze-It Software)によって決定した。我々は Mann-Whitney テストを使用した感度分析を行い、2009 年(AGREE II の発
表年)の前後に公表されたガイドラインを比較した。
■結果
ガイドラインの選択
2011 年 12 月 5 日現在において 11 の LMPG が確認された(19-29)。11 の LMPG のうちの 4 つ(23, 25-27)については、
報告書はそれらのガイドラインの作成における AGREE/AGREE II の方法論的な品質判定基準の考察を含んでいた。8 つ
の LMPG(19-21、23、25-28)には LPMG チームの利害衝突に対応するための情報開示を含む付加的な補足ファイルが
あった。我々の見解では、これらの補足ファイルの設置は簡単でなく、メインバージョンにおいてしばしばリンクされなか
ったり、参考文献として載せられてなかった。編集の独立に関する項目の採点は最初は補足ファイルなしで行われたが、
その後補足ファイルも考慮にいれて行われた (図 1)。表 1 には補足点を示す編集の独立のために付加された列を設け
た。
3
Journal Club 2012.10
図 1. NACB LMPG の査定のための AGREEII によるドメインスコアの演算に使用されたデータ。a
Reviewer
b
Domain
1. Scope
and
purpose
1. The
overall
objective
(s) of the
guideline
is (are)
specifical
ly
describe
d.
2. The
health
question
(s)
covered
by the
guideline
is (are)
specifical
ly
describe
d.
Guideline
Guideli
nes and
Recom
mendations
for
Laborat
ory
Analysis
in the
Diagnos
is and
Manag
ement
of
Diabete
s
Mellitu
s
Use of
Tumor
Marker
s in
Liver,
Bladder
,
Cervical
, and
Gastric
Cancers
Laborat
ory
Analysis
and
Applica
tion of
Pharma
cogenetic
s to
Clinical
Practice
Use of
Tumor
Marke
rs in
Testicu
lar,
Prostat
e,
Colore
ctal,
Breast,
and
Ovaria
n
Cancer
s
Emergin
g
Biomark
ers for
Primary
Preventi
on of
Cardiov
ascular
Disease
and
Stroke
Followup
Testing
for
Metabo
lic
Disease
s
Identifi
ed by
Expand
ed
Newbor
n
Screeni
ng
Using
Tandem
Mass
Spectro
metry
Use of
Tumor
Markers
in
Clinical
Practice
: Quality
Require
ments
Biomar
kers of
Acute
Corona
ry
Syndro
mes
and
Heart
Failure
S.
S.
J.
A.
J.
A.
A
S.
A.
S.
S.
A.
A.
J.
A.
A.
A.
L.
C.
L.
C.
.I
A.
C.
A.
J.L
A.
C.
C.
L.
A.I
J.L.
A.C
A.
A.
L.
I.
H.
H.
S.
D.
S.
D.
.
H.
D.
H.
.S.
H.
D.
D.
S.
.
S.
.D.
I.
I.
S.
1
1
2
Evidence
-Based
Practice
For
Point-ofCare
Testing
Materna
l-Fetal
Risk
Assessm
ent and
Referen
ce
Values
in
Pregnan
cy
Recom
mendation
s for
the
Use of
Labora
tory
Tests
to
Suppor
t
Poison
ed
Patient
s Who
Presen
t to
the
Emerg
ency
Depart
ment
J.
1
1
1
21
17
11
0
15
4
13
1
19
17
11
6
13
11
16
5
21
18
13
11
2
2
7
6
6
5
6
5
4
7
5
6
4
2
6
4
6
5
7
6
3
4
5
5
7
4
3
2
7
7
4
7
7
5
4
2
2
4
5
4
7
6
4
1
5
3
4
Journal Club 2012.10
3. The
populati
on (e.g.,
patients,
public)
to whom
the
guideline
is meant
to apply
is
specifical
ly
describe
d.
Domain
2.Stakeh
older
involvem
ent
4. The
guideline
develop
ment
group
includes
individua
ls from
all the
relevant
professio
nal
groups.
5. The
views
and
preferen
ces of
the
target
populati
on
(patients
, public,
etc.)
have
been
sought.
6. The
target
users of
the
guideline
are
clearly
defined.
Domain
3. Rigor
of
7
7
2
3
2
2
5
1
7
7
6
3
2
5
3
5
1
6
7
6
6
6
1
2
4
1
1
21
21
10
8
12
0
14
6
11
16
6
4
12
15
15
1
14
10
10
8
1
0
7
7
2
2
4
2
6
6
3
5
2
2
3
6
6
5
5
4
7
6
6
3
7
7
2
1
1
1
2
3
5
6
2
1
3
3
2
1
4
2
1
1
1
1
7
7
6
5
7
7
6
7
3
5
2
1
6
6
7
5
5
4
2
1
4
6
1
1
4
9
1
52
46
24
9
1
26
7
2
20
1
2
36
32
20
5
15
19
28
29
6
44
34
18
17
Journal Club 2012.10
develop
ment
7.System
atic
methods
were
used to
search
for
evidence
.
8. The
criteria
for
selecting
the
evidence
are
clearly
describe
d.
9. The
strength
s and
limitatio
ns of the
body of
evidence
are
clearly
describe
d.
10. The
methods
for
formulati
ng the
recomm
endation
s are
clearly
describe
d.
11. The
health
benefits,
side
effects,
and risks
have
been
consider
ed in
formulati
ng the
recomm
endation
s.
5
7
2
2
1
1
2
2
3
3
2
1
1
2
2
3
7
5
1
1
1
1
7
4
2
2
1
1
1
2
4
2
2
1
1
1
1
2
7
6
1
1
1
1
7
6
4
3
4
2
3
4
5
3
2
2
1
4
3
3
7
4
3
1
1
1
7
6
3
2
4
3
5
1
6
6
2
2
2
5
7
5
7
6
1
1
2
2
5
4
4
3
4
2
2
1
3
5
5
2
1
3
5
4
5
4
4
4
3
6
6
Journal Club 2012.10
12.
There is
an
explicit
link
between
the
recomm
endation
s and the
supporti
ng
evidence
.
13. The
guideline
has been
externall
y
reviewed
by
experts
prior to
its
publicati
on.
14. A
procedur
e for
updating
the
guideline
is
provided
.
Domain
4. Clarity
of
presenta
tion
15. The
recomm
endation
s are
specific
and
unambig
uous.
16. The
different
options
for
manage
ment of
the
conditio
n or
health
issue are
7
7
5
3
6
4
4
7
6
6
3
5
2
5
4
6
7
5
3
5
3
5
7
7
2
2
5
3
1
1
6
5
2
1
6
6
5
2
2
3
4
2
2
2
7
5
2
2
1
1
2
3
3
2
2
1
5
2
2
1
2
1
1
2
1
1
1
1
1
1
1
1
20
20
14
3
17
2
17
8
14
15
11
9
4
9
17
5
17
17
16
18
4
6
7
7
5
4
6
4
5
7
6
5
5
3
2
5
5
5
5
6
5
6
5
6
7
7
4
5
5
4
6
5
3
5
1
2
1
1
6
6
6
6
5
6
3
6
7
Journal Club 2012.10
clearly
presente
d.
17. Key
recomm
endation
s are
easily
identifia
ble.
Domain
5.
Applicabi
lity
18. The
guideline
describe
s
facilitato
rs and
barriers
to its
applicati
on.
19. The
guideline
provides
advice
and/or
tools on
how the
recomm
endation
s can be
put into
practice.
20. The
potential
resource
implicati
ons of
applying
the
recomm
endation
s have
been
consider
ed.
21. The
guideline
presents
monitori
ng
and/or
auditing
criteria.
6
6
5
4
6
4
6
1
6
5
5
5
4
1
3
6
4
6
5
6
6
6
4
1
20
20
11
6
12
3
11
1
11
10
7
6
10
12
12
8
4
7
5
10
7
6
7
4
3
1
1
1
4
1
5
3
2
3
2
4
5
3
1
2
2
4
1
3
5
6
2
2
5
6
4
3
4
5
2
1
4
6
5
2
1
2
1
2
2
1
1
3
3
1
5
2
1
4
1
1
2
1
2
1
1
2
1
2
1
3
2
1
7
7
3
2
1
4
2
3
1
1
1
1
2
1
1
1
1
1
1
1
2
1
8
Journal Club 2012.10
Domain
6.
Editorial
indepen
dence
22. The
views of
the
funding
body
have not
influence
d the
content
of the
guideline
.
23.
Competi
ng
interests
of
guideline
develop
ment
group
member
s have
been
recorded
and
addresse
d.
S23.Com
peting
interests
of
guideline
develop
ment
group
member
s have
been
recorded
and
addresse
c
d.
Overall
Score
Rate the
overall
quality
of this
guideline
I would
recomm
end this
guideline
8
8
6
2
2
2
2
2
2
2
3
2
3
2
8
7
3
3
3
6
5
4
7
7
3
1
1
1
1
1
1
1
1
1
1
1
7
6
2
2
2
5
3
3
1
1
3
1
1
1
1
1
1
1
2
1
2
1
1
1
1
1
1
1
2
1
n/
n/
n/
a
a
a
S
n/
S7
S7
S7
S7
S6
S5
S7
5
S6
S5
S7
S7
S6
S5
S5
S6
7
6
4
3
4
2
4
6
5
5
3
2
2
3
4
4
Y
Y
M
M
Y
M
Y
M Y
Y
M
9
M
N
M
Y
M
a
n/a
n/a
5
2
6
Y
M
N
4
M
1
N
2
M
Journal Club 2012.10
for use
d
aEach key item scored from 1–7. Domain score is the total of the key item scores for the domain.
bA.C.D., Andrew C. Don-Wauchope; J.L.S., John L. Sievenpiper; S.A.H., Stephen A. Hill; A.I., Alfonso Iorio.
cS before a number reflects the assessment of the supplemental file as described in the text.
dY, yes; N, no; M, yes, with modifications.
ガイドラインの査定
AGREE II は、11 のすべての LMPG に対して上手く適用された。項目 16(条件もしくは健康問題の管理に対する異なるオ
プションが明確に提示されている)は、腫瘍マーカー品質要求事項 LMPG(26)において棄却された。それは両方の査定人
によって認識され、この項目がこのガイドラインにおいて適用可能でなかったことがチームで一致した。その他すべての
項目はすべての LMPG に適用可能であると考えられた。
各ガイドラインの総合点数およびドメインスコアを表 2 に示した。また、個々の査定人による点数を表 1 に示した。AGREE
II を用いて評点されたように、ガイドラインの質は一般的に低くなった。11 のガイドラインのうちの 5 つだけ(20-23、25)が
50%以上の総合点数を記録し、中央値は 42%(範囲: 8 % - 92 %)だった。総合点数を押し下げたドメインはドメイン 3（作成の
正確性：28%（18%-85%）(図 2)とドメイン 5（適応可能性：25%(6%-67%)）だった。一方、ドメイン 1（範囲と目的：64%（31%-92%）、
ドメイン 2（ステイクホルダーの関与：50%（11%-100%）、ドメイン 4（プレゼンテーションの明瞭さ：71%（19%-94%）が総合点数
を押し上げた。
10
Journal Club 2012.10
図 2. AGREEII を用いた NACB LMPG の査定
Domain 1.
Year of
Guideline
Domain 2.
Scope and Stakeholder
publication purpose
involvement
Domain 3.
Domain 4.
Domain 6.
Rigor of
Clarity of
development
presentation Applicability
Domain 5.
Editorial
Overall
independence score
Weighted
κ
Guidelines and
Recommendations
for Laboratory
Analysis in the
Diagnosis and
Management of
Diabetes Mellitus.
2011
89%
100%
85%
94%
67%
100%
92%
0.45
2010
42%
33%
28%
58%
19%
58%
42%
0.76
2010
64%
44%
28%
64%
35%
38%
33%
0.75
2009
78%
67%
26%
81%
29%
42%
67%
0.6
Use of Tumor
Markers in Liver,
Bladder, Cervical,
and Gastric
Cancers
Laboratory
Analysis and
Application of
Pharmacogenetics
to Clinical Practice
Use Of Tumor
Markers In
Testicular,
11
Journal Club 2012.10
Prostate,
Colorectal, Breast,
And Ovarian
Cancers
Emerging
Biomarkers for
Primary
Prevention of
Cardiovascular
Disease and
Stroke
2009
83%
58%
54%
71%
27%
38%
67%
0.72
2009
31%
11%
20%
39%
10%
50%
25%
0.5
Requirements
2009
50%
58%
32%
19%
29%
38%
25%
0.47
Biomarkers of
2007
69%
56%
41%
72%
25%
83%
50%
0.7
Follow-up Testing
for Metabolic
Diseases
Identified by
Expanded
Newborn
Screening Using
Tandem Mass
Spectrometry
Use of Tumor
Markers in Clinical
Practice: Quality
12
Journal Club 2012.10
Acute Coronary
Syndromes and
Heart Failure
Evidence-Based
Practice for
Point-of-Care
Testing
2007
92%
50%
65%
78%
6%
8%
75%
0.84
2006
50%
33%
20%
78%
15%
21%
33%
0.75
2005
50%
42%
18%
67%
10%
21%
8%
0.61
Maternal-Fetal
Risk Assessment
and Reference
Values in
Pregnancy
Recommendations
for the Use of
Laboratory Tests
to Support
Poisoned Patients
Who Present to
the Emergency
Department
13
Journal Club 2012.10
糖尿病 LMPG(23)が最高点をつけたが、これはガイドラインが AGREE II においてドメインを扱う方法が改良されたのを反
映している。それは両方の査定人から総合評価(表 1 および図 1)の最終項目(「このガイドラインの使用を推奨する」)に対
して「可」を得た 2 つのガイドラインのうちの 1 つであった。緊急毒物学 LMPG(29)の総合点数は非常に低かった。しかし、
2 人の査定人のうちの 1 人によって、修正すれば臨床において使用できる可能性がある、と評価された。他の多くの
LMPG(24 と 26)は総合評価の最終項目において、「不可」や「修正次第で可」と評価された。しかしながら、両方の査定人
により臨床検査診療に対して有益でないと評価された LMPG はなかった。すべての LMPG には優良検査診療に寄与す
る面があり、臨床診療において役割を持つと考えられた。
253 点のうちの 40 点(16%)が、7 点満点において 4 点以上異なった。これらについては、修正を考慮しなければならない。
2 つのドメイン[ステイクホルダーの関与(27%)(および編集の独立(22%)]は高率で異なる点数(範囲：11% - 27%)を獲得した。
ほとんどにおいて査定人は、LMPG の中の項目を識別しなかったか、あるいは示された情報を誤解していた。これらの
40 の項目の得点をつけ直した後、11 のうち 9 つの LMPG が、加重(二次)κにより>0.5 一致することが実証された。
感度解析
2009 年の前後に出されたガイドラインに対するドメインスコアを Mann-Whitney テストを用いて比較したが、有意な変化は
見られなかった(表 3)。しかしながら、ドメインの多くが改善方向に変化していたことは、より標準化されたガイドライン作
成法の開発が続けられていることを示唆していた。例えば適用可能性の中央値は 13%から 29%(P = 0.07)まで改善され
た。
表 3. 2009 年前後に報告された LMPG の比較
Mann–
Whitney
Pre-2009 (n = 4)
a
2009 onwards (n = 7)
test
Mean (SD)
Median (IQR)a
Mean (SD)
Median (IQR)
Domain 1. Scope and purpose
65% (20%)
60% (32%)
63% (20%)
64% (39%)
0.79
Domain 2. Stakeholder involvement
45% (10%)
46% (16%)
53% (28%)
58% (30%)
0.53
Domain 3. Rigor of development
36% (22%)
30% (36%)
39% (23%)
28% (24%)
0.79
Domain 4. Clarity of presentation
74% (5%)
75% (9%)
61% (25%)
64% (34%)
0.41
Domain 5. Applicability
14% (8%)
13% (13%)
31% (18%)
29% (14%)
0.07
Domain 6. Editorial independence
33% (34%)
21% (19%)
52% (22%)
42% (16%)
0.16
Overall score
42% (28%)
42% (46%)
50% (25%)
42% (40%)
0.93
P
IQR, interquartile range.
■考察
ドメインスコアの解釈
ドメインスコアの解釈は主観的であるが、百分率スコアにより LMPG ユーザが LMPG の全面的なユーティリティを測るこ
とができる。
14
Journal Club 2012.10
ドメイン 1(項目 1-3)は、ドキュメントの全面的な目的をカバーする。よく記述された目的の最良の例は緊急検査
LMPG(22)(92%)でみられ、その一方で拡張新生児検診 LMPG(19)は最低点(31%)を記録した。このドメインにおいて最も不
明瞭だった項目は、ガイドラインを当てはめようと狙った対象だった（表１）。糖尿病ガイドライン(23)は、この項目について
は非常によく(最高点)記述している一方で、薬理遺伝学ガイドライン(28)はそうではなかった(最低点)。LMPG が検査診療
および臨床診療の両方において適用可能と考えられるエリアを定義するので、ドメイン 1 は LMPG にとって重要である。
このドメインの明瞭な定義なしでは、ガイドラインの潜在的ユーザーはガイドラインが各状況へ適用可能かどうかを評価
するのが困難であると分かるだろう。
ガイドラインがその意図したユーザの見解を示すことを保証するために、ドメイン 2(項目 4-6)はガイドラインの作成におい
て適切なステイクホルダーが含まれているかどうかに焦点をあてている。だからといって糖尿病ガイドラインを例外として、
このセクションが適切に LMPG において取り組まれていたわけではなかった。ドメイン 2 では再考を要求した個人得点の
割合が高く(27%)、査定人が示された情報を理解もしくは解釈することが困難であると考えたことを示唆している。所属の
記録、各委員会メンバーの役割、および公の見解と好みについては、LMPG の多くにおいてあまり記録されていない（表
１）。適切な専門家がドキュメントの作成に関与しており、適切な一般の代表および専門家が LMPG の作成において求め
られていることを読者に気づいてもらう必要があるため、ドメイン 2 は LMPG にとって重要である。リストには所属、専門分
野、各個人がガイドラインにおいてどのような実体もしくは組織を代表しているのかが示されるべきである。
ドメイン 3(項目 7-14)は、ガイドラインを作成した方法を評価する。ほとんどの LMPG において 3 つの項目が特にうまく取
り組まれなかった。これらは次のとおりだった:(a) 証拠を見つけるための系統的方法の利用; (b)証拠を評価し選択する
ために用いられる方法の記述; そして(c)ガイドラインを更新する明瞭な計画の記述。ドメイン 3 は根本的な証拠の質を
判断することを可能にすることから、読者が LMPG の有効性を評価するのに重大である。
ドメイン 4(項目 15-17)は、ガイドラインのプレゼンテーションおよび構造の明瞭さを対象にする。どのガイドラインにおいて
もドメイン 4 の重要性は単純である。ほとんどのガイドラインはよく記述され明瞭に提示されていた(表 1)。項目 16 は条件
もしくは健康問題の管理に対する異なるオプションについて記述しているが、それは AGREE II の明示的な基準を検査所
に特有の品質要求事項ガイドライン(26)と一致させるために査定人が苦労した項目だった。この困難は、部分的には臨
床化学の特定の分野と関係があるかもしれないが、スクリーニング、診断・予後のテスト使用のような代替手段に対する
検討と議論を喚起することで、ガイドラインは確実に更に価値あるものになるであろう。しかしながら、項目 16 はそのほと
んどが LMPG に対する設問の深さと範囲に基づいている。設問がまさにその検査所特異的である場合、項目 16 の基準
を満たすのはおそらく難しいだろう。結果で報告されるように、この項目は 1 つのガイドラインにおいて適用可能でないと
考えられた。なぜなら取り組まれる質問が臨床診療における検査試験のユーティリティではなく試験の質に関する領域
に焦点をあてているためである(26)。しかしながら、LMPG が臨床ユーティリティに関する設問に取り組む場合、設問が明
瞭であれば十分にこのドメインで取り組めるような結果となるはずである。
ドメイン 5(項目 18-21)は、ガイドラインを実施するにあたり出てくる障壁とポイントを同定するとともに、臨床医と臨床検査
診療に対して推薦できるかどうかの適用可能性について記述する方法を調査する。LMPG の多くはこの領域においてか
なり低い得点を記録した。項目 20(「推薦を適用する潜在資源の導入が考慮された」)は、すべての LMPG(テーブル 1)に
おいてあまり取り組まれてなかった（表１）。項目 21(「ガイドラインがモニタリングおよび(または)監査基準を示してい
る。」)は、糖尿病 LMPG は例外ではあるもののほとんど取り組まれてなかった。領域 5 は LMPG の作成において考慮す
15
Journal Club 2012.10
るべき重要なセクションで、私たちは LMPG の作成者に対して将来のガイドラインではこの領域に取り組むよう促すこと
になるだろう。
ドメイン 6(項目 22 および 23)は、ドキュメントのバイアスに対するリスクと編集の際の独立性に関係している。資金提供お
よび利害衝突を扱う項目 22 および 23 は、最初はほとんどの LMPG において低スコアを記録した(図 1 および表 1)。これ
は、利害衝突を報告するオンラインの補足ファイルが主な報告書に含まれておらず、またリンクもされてなかったという事
実を反映している。またこれは我々の意見だが、これが平均的なユーザーがそれらの編集の独立性を簡単に評価でき
なかった理由である。さらに、ウェブサイトのレイアウトが 2011 年 12 月から変更されているが、それにより 2012 年 5 月現
在では補足ファイルを設置するのが少し簡単になった。表 1 は、補足ファイルを考慮すると、項目 23 の得点が 11 の
LMPG のうちの 8 つにおいて改善したことを実証している。利害衝突の報告は読者が独立性を決定すると同様に資金提
供機関とガイドラインの著者の関係を理解するのに重要である。潜在的な利害衝突の明確なリストの作成はほとんどの
出版物およびプレゼンテーションにおいて必要である。ガイドラインの作成は潜在的に広範囲の診療に影響を及ぼす場
合があり、ガイドラインの中であらゆる潜在的な衝突を明確に報告することが望ましい。もし委員会が本質的な利害衝突
を持たない人から選ばれるのなら、それが望ましい。産業界からの要望は重要であるが、ガイドライン作成に影響を及ぼ
すべきではない。
ガイドラインの最終評価は、ガイドラインの質に対する査定人の全面的な見解とガイドラインが臨床用途に推薦できるか
どうかをまとめている。この結果は、査定人の全面的な見解を表わしている(図 1)。AGREE II が LMPG(7、17)の、証拠の
質はいうまでもなく、内容妥当性も評価しないことに留意するのは重要である。重要なことは、証拠が求められ、加重さ
れた方法が LMPG において明確にかつ再現可能的に報告されるということである。AGREE II は、LMPG の作成過程の報
告を改善し、かつプレゼンテーションの明瞭さおよび利害衝突の透明性を促進するように設計されている。読者は、これ
らの改良によって CPG の有効性を判断することができる。AGREE II 上の高得点は、情報がこれらの基準を満たすことを
示している。低得点の場合は、情報がよく示されていないか、方法が詳しく報告されていないことを示している。もちろん
高品質な方法が、脆弱な証拠に依存してしまうリスクを除去するとは限らないが、脆弱な方法では、読者は証拠の価値
を査定することが全く出来ない。私たちは、証拠選択と評価の質、そして証拠から推奨へと導入する過程の質および妥
当性を含む、過程全体の質を判断した。証拠内容の質の直接の評価は AGREE II の適用範囲を超えており、この調査で
評価されなかった。
AGREEII のユーティリティ
私たちは AGREE II が 11 の NACB LMPG を査定するのに役立つことを発見した。AGREE II のドメインおよび項目はすべ
て、実験室試験の臨床応用を考慮するほとんどの LMPG を評価するのに適切で適用可能だった。純粋に臨床実験試験
の技術的、分析的、組織的、あるいは品質的な側面を考慮した LMPG の評価に AGREE II はそれほど有効ではなかった。
LMPG を計画し準備する際には、LMPG を作成するすべてのグループがこれらの基準を考慮することが勧められる。こ
れらの発見は、医学検査(17)の中における以前からの AGREE の使用に一致する。
ほとんどの LMPG において総合得点が<50%を記録したが、それはそれら LMPG が低品質だったことを示唆している。ドメ
インのうちのいくつかについてはよくカバーされ、高い平均点を記録したが、他のドメインではそうではなかった。表 3 は、
多くのドメインは変化したものの、総合得点の中央値は変わらなかったことを実証している。最も最近の LMPG(糖尿
病)(23)(ガイドラインの作成において AGREE の使用を報告していた)が、最高点を記録したが、それはガイドラインが
16
Journal Club 2012.10
AGREE II におけるドメインに取り組んだ方法が改良されていることを反映している。人によっては、ガイドライン作成の計
画段階において AGREEII が使用された明白な結果としてこのガイドラインが良い得点を記録したと主張すると思うが、そ
れはもちろん正しい。しかし一方では、この評価は、少なくとも我々の意見では、バイアスがかかっていないと考えられる。
なぜなら CPG の質を改善するのに広範囲で利用できる唯一のものが AGREE II であるからだ。私たちが AGREE II によ
る推薦事項を実施する LMPG を見つけるのに成功したことは、実際に医学的検査の分野で AGREE II を使用することが
できるという強健な経験的実証である。
図 1. 項目 22、23 および最期の 2 つの質問が鍵であることを示す、ドメイン 6(編集の独立性)と全面的なガイドライン評
価に対する個別記録（1-7）の計算。
項目 23 は、全ガイドライン（ブラックバー）から一度と、補足ファイルも用いて(グレイバー)一度の計 2 回に渡り記録した。
この指標は、この項目がよく考慮されたものの LMPG のために報告されなかったことを実証する。y 軸は 20 の個別記録
に合わせた。項目は、11 の LMPG に対してそれぞれ 2 回記録（最大値 22）された。最終質問は、No、修正すれば Yes
（Yes-Mod）、 Yes の 3 つで記録した。
Fig. 2. Counts of individual scale (1–7) scores for Domain 3 (Rigor of Development) showing key items 7–14.項目 7-14
を示すドメイン 3（作成の正確性）に対する個別記録（1-7）の計算。
Y 軸は 10 の個別計算（最大値 22）に合わせた。各項目は 11 の LMPG に対して 2 回記録された。
17
Journal Club 2012.10
推薦事項
将来の LMPG については次の項目がより注意深く考慮されるべきである。なぜならこれらは取り組むことが可能であった
ものの評価において低得点を記録したものだからである。
1.ガイドライン（推奨事項）が適用できる対象の特異的な記述は LMPG を解釈するのに決定的である。
2.誰がガイドラインを作成したか、また誰が監修したかを正しく説明することは LMPG にとって重要である。専門家と一
般人の両方の意見が積極的に求められ報告されなければならない。LMPG に関与する資金源、個人と組織の潜在
的な衝突に関する詳細なリストは、LMPG に埋め込まれるかリンクされた付録として利用可能にするべきである。
3.すべての NACB LMPG が、透明で評価可能な外的妥当性と共に明示的なやり方でその作成方法を提示することを
保証できるようあらゆる努力がなされることが必要であり、その結果、臨床医と臨床検査室の両方がそれらによりア
クセスしやすくなる。ドメイン 3 は、将来の LMPG のために最も改良が必要なものである。証拠を得て査定するための
明瞭で反復可能な戦略が使用され記述されることが推奨される。
4.LMPG を更新するための戦略が資料に明瞭に記述されていなければならない。
5.LMPG の書き手は、項目 20 に述べられているようなガイドラインの推薦事項に関しての資源使用を関係させる要因
に取り組むべきである。これにより現場におけるガイドラインの解釈が容易になるだろう。さらに、LMPG は推薦事項
およびその推薦事項が実施されているかどうかモニターする方法を示唆するべきである。
6.LMPG のためにより的を絞った設問を用意することは、理解して実行に移すのが容易な資料の作成を促すかもしれ
ないが、このアプローチは、査定そのものの役割、およびヘルスケア全範囲において特定の診断的方法の価値を制
限するかもしれない。
■結論
NACB は医学検査に関連し、重要であるトピックを選択した。また、臨床検査室あるいは臨床診療で働く人々はこれらの
LMPG をよい情報源であると考えている。AGREE および AGREE II は、ガイドラインを評価するために他の臨床分野に広
範囲に採用されている。これらの評価結果は、ガイドラインを自分たちの臨床診療に適応させたい人々のために AGREE
トラストのオンライン・データベース上で利用可能にすることができる(13)。得られた得点の変わりやすさ、および作成過
程で AGREE を考慮したと報告された 4 つのガイドライン(23、25-27)によって実証されるように、私たちの発見は AGREE II
が LMPG を評価する目的において有益であることを示している。また今回の NACB LMPG の評価において、LMPG 作成
と報告のほとんどの場面において改良できる箇所が同定された。それらについては NACB ガイドライン・プロセスで考慮
に入れることができるかもしれない。
（訳者
18
平井孝明）
Journal Club 2012.10
Footnotes
5Nonstandard abbreviations:
NACB, National Academy of Clinical Biochemistry; LMPG, laboratory medicine practice guideline; CPG, clinical practice
guideline; AGREE, Appraisal of Guidelines for Research and Evaluation.
(see editorial on page 1392)
Author Contributions: All authors confirmed they have contributed to the intellectual content of this paper and have met
the following 3 requirements: (a) significant contributions to the conception and design, acquisition of data, or analysis
and interpretation of data; (b) drafting or revising the article for intellectual content; and (c) final approval of the published
article.
Authors' Disclosures or Potential Conflicts of Interest: No authors declared any potential conflicts of interest.
Role of Sponsor: No sponsor was declared.
Received for publication March 7, 2012.
Accepted for publication July 11, 2012.
© 2012 The American Association for Clinical Chemistry
References
1. SIGN 50 a guideline developer's handbook. First revision. Edinburgh: Scottish Intercollegiate Guidelines Network; 2011.
2. Brozek JL, Akl EA, Jaeschke R, Lang DM, Bossuyt P, Glasziou P, et al. Grading quality of evidence and strength of
recommendations in clinical practice guidelines: Part 2 of 3. The GRADE approach to grading quality of evidence about
diagnostic tests and strategies. Allergy 2009;64:1109–16.
3. Davis D, Goldman J, Palda VA. Handbook on clinical practice guidelines. Ottawa: Canadian Medical Association; 2007.
4. Methods Guide for Medical Test Review. Rockville (MD): Agency for Healthcare Research and Quality (US); 2010.
http://www.effectivehealthcare.ahrq.gov/index.cfm/search-for-guides-reviews-and-reports/?pageaction=displayprodu
ct&productid=558. (Accessed May 2012).
5. Higgins JPT, Green S, eds. Cochrane handbook for systematic reviews of interventions, version 5.1.0. The Cochrane
Collaboration; 2011. http://www.cochrane-handbook.org/. (Accessed July 2012).
6. National Guideline Clearing House. Rockville (MD): Agency for Healthcare Research and Quality (US).
http://www.guideline.gov. (Accessed May 2012).
7. Horvath AR, Kis E, Dobos E. Guidelines for the use of biomarkers: principles, processes and practical considerations.
Scand J Clin Lab Invest Suppl 2010;70(Suppl 242):109–16.
8. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. AGREE II: advancing guideline
development, reporting and evaluation in health care. CMAJ 2010;182:E839–42.
19
Journal Club 2012.10
9. AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of
clinical practice guidelines: the AGREE project. Qual Saf Health Care 2003;12:18–23.
10. Oosterhuis WP, Bruns DE, Watine J, Sandberg S, Horvath AR. Evidence-based guidelines in laboratory medicine:
principles and methods. Clin Chem 2004;50:806–18.
11. Horvath A, Nagy E, Watine J. Quality of guidelines for the laboratory management of diabetes mellitus. Scand J Clin
Lab Invest Suppl 2005;65(Suppl 240):41–50.
12. Nagy E, Watine J, Bunting PS, Onody R, Oosterhuis WP, Rogic D, et al. Do Guidelines for the Diagnosis and Monitoring
of Diabetes Mellitus Fulfill the Criteria of Evidence-Based Guideline Development? Clinical Chemistry 2008;54:1872–82.
13. AGREE Trust. http://www.agreetrust.org/ (Accessed February 2012).
14. Brozek J, Jankowski M, Placzkiewicz-Jankowska E, Jaeschke R. International Diabetes Federation document
concerning postmeal glycemic control: assessment of quality of clinical practice guidelines using AGREE instrument. Pol
Arch Med Wewn 2009;119:18–24.
15. De Weggheleire A, Bortolotti V, Zolfo M, Crowley S, Colebunders R, Riedner G, et al. Challenges in developing national
HIV guidelines: experience from the eastern Mediterranean. Bull World Health Organ. 2011;89:442–50.
16. van Diermen DE, Aartman IHA, Baart JA, Hoogstraten J, van der Waal I. Dental management of patients using
antithrombotic drugs: critical appraisal of existing guidelines. Oral Surg Oral Med Oral Pathol Oral Radiol Endod
2009;107:616–24.
17. Watine J, Friedberg B, Nagy E, Onody R, Oosterhuis W, Bunting P, et al. Conflict between guideline methodologic
quality and recommendation validity: a potential problem for practitioners. Clin Chem 2006;52:65–72.
18.
National
Academy
of
Clinical
Biochemistry
laboratory
medicine
practice
guidelines.
http://www.aacc.org/members/nacb/pages/default.aspx# (Accessed May 2012).
19. Bennett MJ, ed. National Academy of Clinical Biochemistry Laboratory Medicine Practice Guidelines: Follow-up
testing for metabolic diseases identified by expanded newborn screening using tandem mass spectrometry. Washington
(DC); AACC Press; 2009.
20. Christenson RH, ed. National Academy of Clinical Biochemistry Laboratory Medicine Practice Guidelines: biomarkers
of acute coronary syndromes and heart failure. Washington (DC): AACC Press; 2007.
21. Myers GL, ed. National Academy of Clinical Biochemistry Laboratory Medicine Practice Guidelines: emerging
biomarkers For primary prevention of cardiovascular disease and stroke. Washington (DC): AACC Press; 2009.
22. Nichols JH, ed. National Academy of Clinical Biochemistry Laboratory Medicine Practice Guidelines: evidence-based
practice for point-of-care testing. Washington (DC): AACC Press; 2006.
23. Sacks DB, ed. National Academy of Clinical Biochemistry Laboratory Medicine Practice Guidelines: guidelines and
recommendations for laboratory analysis in the diagnosis and management of diabetes mellitus. Washington (DC): AACC
Press; 2010.
24. Sherwin JE, Lockitch G, Rosenthal P, Ashwood ER, Geaghan S, Magee LA, et al. National Academy of Clinical
Biochemistry Laboratory Medicine Practice Guidelines: maternal-fetal risk assessment and reference values in
pregnancy. Washington (DC): AACC Press; 2006.
25. Sturgeon CM, Diamandis E, eds. National Academy of Clinical Biochemistry Laboratory Medicine Practice Guidelines:
use of tumor markers in testicular, prostate, colorectal, breast, and ovarian cancers. Washington (DC): AACC Press;
2009.
20
Journal Club 2012.10
26. Sturgeon CM, Diamandis E, eds. National Academy of Clinical Biochemistry Laboratory Medicine Practice Guidelines:
use of tumor markers in clinical practice: quality requirements. Washington (DC): AACC Press; 2009.
27. Sturgeon CM, Diamandis E, eds. National Academy of Clinical Biochemistry Laboratory Medicine Practice Guidelines:
use of tumor markers in liver, bladder, cervical, and gastric cancers. Washington (DC): AACC Press; 2010.
28. Valdes R, Payne D, Linder MW, eds. National Academy of Clinical Biochemistry Laboratory Medicine Practice
Guidelines: laboratory analysis and application of pharmacogenetics to clinical practice. Washington (DC): AACC Press;
2010.
29. Wu AHB, Broussard LA, Hoffman RS, Kwong TC, McKay C, Moyer TP, et al. National Academy of Clinical Biochemistry
Laboratory Medicine Practice Guidelines: recommendations for the use of laboratory tests to support the impaired and
overdosed patients from the emergency department. Clin Chem 2003;49:357–79.
21

Download Report