膵癌診療ガイドライン外部評価の結果

本ガイドライン作成過程の妥当性や臨床現場への適用可能性などを客観的に評価するために,本ガイドラインの作成後,作成に直接関わっていない膵癌専門医2 名(外科系,内科系),膵癌を専門としないが臨床ガイドラインに精通している医師1 名(非専門医),生物統計学専門家1 名,患者代表1 名の計5 名から構成される外部評価委員によって,独立した評価が行われた。評価は,診療ガイドラインを評価するツールとして世界的に用いられているAGREE Ⅱ(Appraisal of Guidelines for Research and Evaluation)プロジェクトによる評価法 1)を用いて行われた。結果の概要を以下に示す。なお,評価全体のサンプルサイズが5 名と少ないため,結果の解釈には十分注意する必要がある。外部評価委員の人数が少ないため,膵癌専門医,膵癌非専門医,患者代表3 者間での比較を今回は行わなかった。

AGREE Ⅱによる評価

AGREE Ⅱによる評価(表1)は6領域〔「対象と目的」(1-3),「利害関係者の参加」(4-6),「作成の厳密さ」(7-14),「提示の明確さ」(15-17),「適用可能性」(18-21),「編集の独立性」(22-23)〕23項目および全体評価1項目(24)の計24項目から成る。各項目について,7点:「強く合う」から1 点:「強く合わない」(1-23),7 点:「最も高い」から1 点:「最も低い」の7 段階で評価される。また,各項目にはコメントを記載するための欄が設けられている。

領域ごとの平均点(最低1 点〜最高7 点)および標準化スコア(最高評点に対するパーセンテージとして標準化したスコア,最低0%〜最高100%)は,「対象と目的」については94%,「利害関係者の参加」84%,「作成の厳密さ」91%,「提示の明確さ」83%,「適用可能性」74%,「編集の独立性」95% であり,「対象と目的」「作成の厳密さ」および「編集の独立性」については優れているものの,「適用可能性」については改善の余地があることが示唆された(図1)。

各項目に関しては,評価が高いものとしては,項目1:「ガイドライン全体の目的が具体的に記載されている」,項目3:「ガイドラインの適用が想定される対象(患者,一般など)が具体的に記載されている」,項目7:「エビデンスを検索するために系統的な方法が用いられている」,項目22:「資金源によりガイドラインの内容が影響されていない」などである。一方で,評価が低かった項目は,項目15:「推奨が具体的であり,曖昧でない」,項目21:「ガイドラインにモニタリング・監査のための基準が示されている」などであった。

全体評価については,項目25:「本ガイドラインを診療に用いることを推奨するか?」という質問に対し,4 人が「YES」と回答し,残り1 人のみ「YES(修正あり)」と回答していた。

表1 評価結果
NO. 1 〜 23 1:強く合わない, 2,3,4,5,6,7:強く合う
NO. 24 1:最も低い,2,3,4,5,6,7:最も高い
NO. 25 YES,YES(修正して),NO
領域 No. 日本語暫定訳 A B C D E 平均値
 1.
対象と
目的
1 ガイドライン全体の目的が具体的に記載されている 6 7 7 7 7 6.8
2 ガイドラインが取り扱う健康上の課題が具体的に記載されている 6 6 7 6 7 6.4
3 ガイドラインの適用が想定される対象(患者,一般など)が具体的に記載されている 7 7 7 6 7 6.8
2.
利害関係
者の参加
4 ガイドライン作成グループには,関係する全ての専門家グループの代表者が加わっている 6 7 5 7 6 6.2
5 対象集団(患者,一般など)の価値感や好みが十分に考慮されている 5 7 4 6 7 5.8
6 ガイドラインの利用者が明確に定義されている 6 7 5 7 6 6.2
3.
作成の
厳密さ
7 エビデンスを検索するために系統的な方法が用いられている 7 7 7 6 7 6.8
8 エビデンスの選択基準が明確に記載されている 6 7 7 6 7 6.6
9 エビデンス総体の強固さと限界が明確に記載されている 5 7 7 5 7 6.2
10 推奨を決定する方法が明確に記載されている 6 7 7 7 6 6.6
11 推奨の決定にあたって,健康上の利益,副作用,リスクが考慮されている 6 7 6 5 7 6.2
12 推奨とそれを支持するエビデンスとの対応関係が明確である 5 7 7 6 6 6.2
13 ガイドラインの公表に先立って,外部評価がなされている 5 7 7 7 7 6.6
14 ガイドラインの改訂手続きが示されている 5 7 7 7 7 6.6
4.
提示の
明確さ
15 推奨が具体的であり,曖昧でない 6 7 7 6 7 6.6
16 患者の状態や健康上の問題に応じて,可能な他の選択肢が明確に示されている 5 6 2 6 7 5.2
17 どれが重要な推奨か容易に見分けられる 6 7 7 7 5 6.4
5.
適用
可能性
18 ガイドラインの適用にあたっての促進要因と阻害要因を記述している

無回答

7 5 5 7 6
19 どのように推奨を適用するかについての助言・ツールを提供している 5 6 7 6 7 6.2
20 推奨の適用に伴う付加的な資源が考慮されている 5 7 6 6 6 6
21 ガイドラインにモニタリング・監査のための基準が示されている 4 7 1 5 7 4.8
6.
編集の
独立性
22 資金源によりガイドラインの内容が影響されていなる 6 7 7 7 7 6.8
23 ガイドライン作成グループメンバーの利益相反が記載され,適切な対応がなされている 7 7 5 7 7 6.6
全体評価 24 このガイドライン全体の質を評価してください 6 7 5 6 7 6.2
25 このガイドラインの使用を推奨する YES YES YES
(修正
あり)
YES YES  

A:膵癌専門外科医
B:膵癌専門内科医
C:膵癌非専門内科医
D:膵癌非専門内科医(基礎医学)
E:患者代表

図1 AGREE Ⅱ 6領域の領域別標準化スコア

図1 AGREE Ⅱ 6領域の領域別標準化スコア

コメントとしては推奨度C1 やC2 が多いためか,選ぶべき選択肢が明確でないとの意見があったが,膵癌では前向き臨床試験が少なく,現状では致し方ないかと考えられる。

考察

ガイドラインの対象や目的,作成の厳密さ,編集の独立性などについては,いずれの評価方法を用いても高い評価が得られていたものの,利害関係者の参加,提示の明確さ,適用可能性(実際の適用にあたっての考慮)などについては評価が低かった。ある程度予想された結果ではあるが,これらをどう考慮していくかは今後の課題と思われた。今回の作成には医師とともに患者も参加したが,コメディカルは参加していない。将来的にはこれらの方々にも参加してもらう必要があるようだ。評価者が5 名と限定されており,また,膵癌専門医,膵癌非専門医,患者代表の比較についての検討は行わなかった。今後は特に,本ガイドラインを実際の臨床現場で用いることにより,多くの医師,コメディカルあるいは患者などからの評価を受け,意見を求めることが重要である。また,どのような評価方法を用いるかについても,さらなる検討の余地があると思われる。

(産業医科大学医学部第1外科学 山口幸二)

引用文献など

1) Appraisal of Guideline for Research and Evaluation(AGREE)collaboration.
http://www.agreetrust.org/

2) Shaneyfelt TM, Mayo-Smith MF, Rothwangl J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer-reviewed medical literature. JAMA 1999;281:1900-1905

3) Shiffman RN, Shekelle P, Overhage JM, et al. Standardized reporting of clinical practice guideline:a proposal from the Conference on Guideline Standardization. Ann Intern Med 2003;139:493-498

4) 長谷川友紀ら訳.ガイドラインの研究・評価用チエックリスト Appraisal of Guidelines for Research and Evaluation(AGREE)instrument. AGREE共同計画,2001

5) Minds 診療ガイドライン選定部会監修,福井次矢,吉田雅博,山口直人編集.Minds 診療ガイドライン作成の手引き2007.医学書院,2007