蘇乃川　呂俊　李春潔等

[摘要] 目的 評價多系統(tǒng)評價評估問卷（AMSTAR）量表應用于口腔醫(yī)學領域中文系統(tǒng)評價中的一致性、信度和效度。方法 計算機檢索中國生物醫(yī)學文獻數據庫、維普中文科技期刊數據庫和中國期刊全文數據庫，截止日期為2011年3月1日。手工檢索19種中文口腔醫(yī)學雜志，檢索已發(fā)表的口腔醫(yī)學類系統(tǒng)評價。2名評價者分別用總體質量評估問卷（OQAQ）量表和AMSTAR量表對系統(tǒng)評價進行評價，計算觀察者間使用AMSTAR量表的Kappa值，AMSTAR量表重測信度的級內相關系數（ICC）以及AMSTAR和OQAQ量表得分的最大得分百分比的級內相關系數（結構效度）。結果 納入52篇系統(tǒng)評價文獻。評價者使用AMSTAR量表的Kappa值為0.81[95%CI（0.73，0.89）]，使用OQAQ量表的Kappa值為0.74[95%CI（0.66，0.83）]。重測信度的ICC為0.98[95%CI（0.97，0.99），P=0.000]。內部一致性信度

Cronbach α為0.69[95%CI（0.56，0.80），P=0.000]。AMSTAR和OQAQ量表最大得分百分比的ICC為0.94[95%CI（0.90，

0.97），P=0.000]。結論 AMSTAR量表在應用于口腔醫(yī)學領域系統(tǒng)評價時有很好的一致性、信度和效度。AMSTAR量表可很好的推廣至口腔醫(yī)學領域進行系統(tǒng)評價的方法學質量評價，為醫(yī)務工作者進行系統(tǒng)評價方法學質量評價時帶來了較大的便利。

[關鍵詞] 循證醫(yī)學； 系統(tǒng)評價； 方法學質量； 信度； 效度

[中圖分類號] R 78 [文獻標志碼] A [doi] 10.7518/hxkq.2013.01.013 系統(tǒng)評價是針對某一具體臨床問題系統(tǒng)全面地收集所有已（未）發(fā)表的相關臨床研究，嚴格篩選和評價文獻，對文獻定性或定量合成（Meta分析），得出綜合結論的一種研究手段[1]。系統(tǒng)評價可為臨床醫(yī)師、患者以及政府衛(wèi)生部門提供最新的醫(yī)學證據，在選擇治療方案、制定醫(yī)療政策方面起著十分重要的作用[2-3]。高質量的系統(tǒng)評價往往能給臨床醫(yī)師在個人領域的文獻查新節(jié)省大量的時間和精力，并予提供正確的指導。實踐中，針對同一問題的不同系統(tǒng)評價其質量參差不齊，因此在系統(tǒng)評價的結果應用臨床之前有必要對其進行質量評價。方法學質量即是研究的方法學特征，反映出系統(tǒng)評價能產生真實性結果的程度，包括選擇納入文獻、檢索、數據提取等。同時，方法學質量反映出系統(tǒng)評價報告的方法學和成果方面的好壞。因而系統(tǒng)評價在方法學方面報告不準確或是漏報均會造成不良后果。系統(tǒng)評價和Meta分析結果撰寫應符合系統(tǒng)評價和Meta分析方法學標準化的原則[4]。

關于系統(tǒng)評價方法學質量的評價方法較多，但往往操作繁瑣和復雜?？傮w質量評估問卷（overview quality assessment questionnaire，OQAQ）作為一種系統(tǒng)評價方法學質量的評價方法，在循證醫(yī)學實踐中得到成熟運用[4]。然而OQAQ量表的使用者常會在使用時自行制定評判規(guī)則，不能準確的反映出系統(tǒng)評價中存在的偏倚[5-7]。近年來基于先前成熟的評價方法和專家的意見發(fā)展產生了一種新的方法學質量評價方法——多系統(tǒng)評價評估問卷（assessment of mul-

tiple systematic reviews，AMSTAR），其對系統(tǒng)評價方法學質量的評價的有效性令人滿意，具有很好的發(fā)展前景[8]，AMSTAR量表在國外和國內部分學科領域應用時均獲得了較好的評價。然而，在中文口腔醫(yī)學領域尚無使用AMSTAR量表評價系統(tǒng)評價方法學質量的先例。本文通過對AMSTAR量表信度和效度的評價，以探索該量表是否能在中文口腔醫(yī)學領域推廣使用，是否能夠為醫(yī)務工作者進行系統(tǒng)評價方法學質量評價時帶來便利和提供準確的指導。

1 材料和方法

1.1 納入和排除標準

2011年3月1日前發(fā)表于國內各類醫(yī)學雜志上的中文口腔醫(yī)學系統(tǒng)評價均可納入，排除重復發(fā)表的文獻以及普通綜述文獻。

1.2 文獻檢索、納入及數據提取

計算機檢索中國生物醫(yī)學文獻數據庫、維普中文科技期刊數據庫和中國期刊全文數據庫，檢索時間截止于2011年3月1日，檢索詞包括“Meta分析”、

“系統(tǒng)評價”、“循證醫(yī)學”、“口腔”等。手工檢索四川大學醫(yī)學圖書館、四川大學華西口腔醫(yī)學院圖書館的19種中文口腔醫(yī)學雜志。2位研究者分別獨立閱讀檢索出的論文，確定該文獻是否納入，并提取數據（包括發(fā)表年份、學科類型、研究范圍、作者數

量、是否發(fā)表在循證醫(yī)學類雜志、文獻頁數等）。

1.3 評價標準

采用OQAQ量表作為參照標準，對AMSTAR量表評價系統(tǒng)評價的方法學質量進行信度和效度的評價。使用AMSTAR量表對納入文獻的方法學質量進行評價。每一條目根據文章是否報告判定，“是”則計1分，其余選項計0分，滿分11分[4]，每篇文獻計算總分。方法學質量由2位經循證醫(yī)學課程培訓合格的評價者獨立評價，交叉核對，用Kappa檢驗計算評價者間的一致性，有爭議處討論達成一致。

1.4 統(tǒng)計學分析

利用微軟Excel 2007錄入數據，使用SPSS 13.0和MedCalc 11.5.0進行統(tǒng)計分析。

1.4.1 觀察者之間一致性和信度的評價 計算AM-STAR和OQAQ量表每個條目觀察者之間的一致性，用Cohen Kappa值和Phi值表示，并繪制觀察者之間一致性的散點圖。Kappa≤0.40則一致性較差，Kappa≥0.75則一致性較好，Kappa介于之間時，認為是中等程度的一致性。利用AMSTAR量表前后2次測定的總分的級內相關系數（interclass correlation coefficient，

ICC）衡量重測信度，ICC>0.66則相關性較好。內部

一致性信度用Cronbach α表示。

1.4.2 多因素分析及效度的評價 運用多元線性回歸（進入法）分析影響Meta分析的方法學質量的因素。分別將AMSTAR和OQAQ量表的得分轉換成最大得分百分比，計算ICC（雙因素混合效應模型），檢驗

AMASTAR量表的結構效度。統(tǒng)計分析均為雙側檢驗，檢驗水準為α=0.05。

2 結果

2.1 檢索結果

通過電子及手工檢索得到文獻288篇。閱讀題目和文摘后，排除原始研究、一般綜述、非口腔醫(yī)學類系統(tǒng)評價以及英文系統(tǒng)評價等共231篇。余57篇均獲得全文，詳細閱讀后，排除非系統(tǒng)評價2篇、外文文獻翻譯稿2篇、重復報告1篇。最終納入52篇文獻。

2.2 納入系統(tǒng)評價文獻的一般特征

在納入的52篇系統(tǒng)評價的文獻中，以是否發(fā)表于專業(yè)口腔醫(yī)學期刊方面來看，有22（42%）篇發(fā)表于專業(yè)口腔醫(yī)學期刊；以是否發(fā)表于循證醫(yī)學雜志方面來看，有10（19%）篇發(fā)表于循證醫(yī)學雜志。8篇

文章發(fā)表于2004年以前，44篇文章發(fā)表于2004年以后。發(fā)表于核心期刊38篇，非核心期刊14篇。52篇文獻涉及口腔內科學、口腔頜面外科學、口腔修復學和口腔正畸學等領域。52篇系統(tǒng)評價中Meta分析37篇，均納入多因素分析。

2.3 統(tǒng)計描述

AMSTAR量表條目1～11的總分和報告百分比分別為：41（79%）、16（31%）、20（38%）、22（42%）、19（37%）、21（40%）、33（63%）、23（44%）、32（62%）、9（17%）、7（13%）。

OQAQ量表條目1～10的結果為：52（100%）（是否報告資料收集方法）、18（35%）（檢索策略是否全面）、

44（85%）（是否報告納入和排除標準）、30（58%）（如何避免資料選擇偏倚）、19（37%）（報告是否對納入

研究進行真實性的評價）、16（31%）（對納入研究的

質量是否全面恰當）、30（58%）（是否報告數據合并方法）、32（62%）（數據合并是否合適）、23（44%）（評價者結論是否基于研究的數據和具體情況），23（44%）

（你認為此系統(tǒng)評價質量如何）。

52篇文獻的AMSTAR得分（總分11分）為4.67±

4.95，其中≥8分的8篇，4～7分23篇，0～3分21篇。OQAQ得分（總分10分）為5.77±5.41。

2.4 觀察者之間的一致性和信度的評價

AMSTAR量表評價時，條目2、6、7、8為中等程度的一致性，其余7個條目均為較好的一致性，機遇獨立的一致性Phi值與Kappa值結果相似（表1）。OQAQ量表評價時，條目1～10的Kappa值分別為1.00、0.83、0.79、0.73、0.61、0.61、0.76、0.48、0.24、0.85，評價Kappa值為0.74[95%CI（0.66，0.83）]，一致性中等。對于AMSTAR量表的總分，2個評價者間分數平均差異為-0.3±1.7，顯示觀察者一致性較好。重測信度的ICC為0.98[95%CI（0.97，0.99），P=0.000]。內部一致性信度Cronbach α為0.69[95%CI（0.56，0.80），P=0.000]。顯示觀察者之間一致性較高，量表信度較好。

2.5 AMSTAR量表效度的評價

AMSTAR和OQAQ量表最大得分百分比的ICC為0.94[95%CI（0.90，0.97），P=0.000]，顯示AMSTAR量表有較好的效度。

2.6 影響Meta分析的報告質量的多因素分析

以Meta分析的AMSTAR得分為因變量，Meta分析的報告質量、Meta分析的作者數量、Meta分析的頁數、是否發(fā)表于口腔期刊、Meta分析類型、是否發(fā)表于循證醫(yī)學雜志、Meta分析發(fā)表年限以及是否發(fā)表在核心期刊為自變量（自變量入選水準0.05，剔除水準為0.10）進行多元線性回歸分析。有1個變量

進入了多元線性回歸方程，Meta分析的報告質量與Meta分析的方法學質量呈正相關（P=0.000）。而Meta分析的方法學質量與Meta分析的作者數量（P=0.462）、Meta分析的頁數（P=0.327）、是否發(fā)表于口腔期刊（P=0.280）、Meta分析類型（P=0.625）、是否發(fā)表于循證醫(yī)學雜志（P=0.124）、Meta分析發(fā)表年限（P=0.978）以及是否發(fā)表在核心期刊（P=0.971）無明顯的相關性。

3 討論

醫(yī)學領域的系統(tǒng)評價自20世紀70年代出現以來至今已有數千篇，遍及醫(yī)學的各個領域。Meta分析不僅是統(tǒng)計學分析方法，也是收集同種疾病同種治療方法的相關文獻，以求綜合療效估計值的二次文獻研究手段。方法學質量的評價對于系統(tǒng)評價的有效解釋和應用是極其必要的。然而對于系統(tǒng)評價質量的評價是一艱難的任務。臨床醫(yī)生、政策決策者等需要一個關于評價系統(tǒng)評價質量的指導[9]。系統(tǒng)評價的質量從某種程度講依賴于能夠使誤差和偏倚風險最小化的科學的評價方法[10]。方法學質量從某種

程度可定義為系統(tǒng)評價在設計上不產生偏倚結果[11]，方法學質量即是研究的方法學特征，反映出系統(tǒng)評價能產生真實性結果的程度[12]。

方法學質量對循證實踐和臨床實踐方面都具有極為重要的影響。目前較為成熟且有效的系統(tǒng)評價方法學評價量表為OQAQ量表，但是其評價條目較為復雜，評價者間一致性較低，并且其不能準確的反映出系統(tǒng)評價潛在的偏倚[8]。近年來，基于先前成

熟的評價方法和專家意見的基礎上發(fā)展產生了一種新的方法學質量評價方法AMSTAR量表。本文所采用的AMSTAR量表作為一種新的評價系統(tǒng)評價方法學質量的工具，在觀察者一致性方面、可靠性方面和效度等方面都表現出了令人滿意的結果[4]，在國外其他

領域的實踐應用中都取得了很好的結果[4，9]。AMSTAR

量表在評價系統(tǒng)評價方法學質量方面有效，可信且操作簡單[9]。和OQAQ量表相比，AMSTAR量表的優(yōu)勢在于其涉及到了系統(tǒng)評價中是否評價了發(fā)表偏倚的可能性，考慮到了系統(tǒng)評價中是否綜合采用了圖形輔助或是統(tǒng)計學方法評價發(fā)表偏倚，而發(fā)表偏倚是系統(tǒng)評價方法學質量優(yōu)劣方面極其重要的指標，然而OQAQ量表中未涉及此方面。其次，AMSTAR量表中考慮到了系統(tǒng)評價中是否聲明了利益沖突，即是否清楚說明了系統(tǒng)評價和納入研究中的潛在資助者，但是OQAQ量表并未涉及此方面內容。OQAQ量表中所涉及的內容均在AMSTAR量表中涉及。AMSTAR量表在評分方面也較簡便，國內外文獻均采用“是”1分，其余選項“0分”評分，為實驗者在評估和比較系統(tǒng)評價質量時帶來了極大的方便。所以，AMSTAR量表繼承了OQAQ量表成熟的評分規(guī)范，也具有創(chuàng)新、易于掌握的優(yōu)勢。

AMSTAR量表評價體系簡單，評價者間一致性高，且范圍更加全面科學，在國外很多領域以及國內部分領域使用中均取得了良好的評價[4，9，13]。本文證明了其信度和效度均處于較高水平，即AMSTAR量表在用于中文口腔醫(yī)學領域有著很高的價值，從而拓展了AMSTAR量表在中文系統(tǒng)評價中的應用；拓展了AMSTAR量表在病因學、預后研究、防治性研究的方法學質量的評價，提高了其外部推廣性。并且本文結合了李春潔等[14]關于中文口腔醫(yī)學領域系統(tǒng)評

價報告學質量的數據，并與本文數據進行分析，顯示國內中文口腔醫(yī)學系統(tǒng)評價報告學質量、方法學質量均處于較低水準，方法學質量和報告學質量具有相關性（P=0.000 0），即方法學質量較低的Meta分析報告學質量也相應較低，而方法學質量較高的Meta分析報告學質量也相應較高。Meta分析的方法學質量與報告學質量具有一定聯(lián)系。

綜上所述，AMSTAR量表是一種很有效的系統(tǒng)評價方法學質量評價量表，可很好的用于國內口腔醫(yī)學領域當中，由于該量表操作簡便，評價準確，可為醫(yī)務工作者在使用系統(tǒng)評價時帶了極大的便利。

[參考文獻]

[1] 王家良， 王濱有. 臨床流行病學[M]. 3版. 北京： 人民衛(wèi)生出版

社， 2008：66-100.

Wang Jialiang， Wang Binyou. Clinical epidemiology[M]. 3rd ed.

Beijing： Peoples Medical Publishing House， 2008：66-100.

[2] Higgins JPT， Green S. Cochrane handbook for systematic reviews

of interventions version 5.0.1[M]. Chichester： John Wiley & Sons

Ltd， 2008：27-50.

[3] 史宗道. 循證口腔醫(yī)學[M]. 2版. 北京： 人民衛(wèi)生出版社， 2008：

75-88.

Shi Zongdao. Evidence-based medicine on stomatology[M]. 2nd ed.

Beijing： Peoples Medical Publishing House， 2008：75-88.

[4] Shea BJ， Bouter LM， Peterson J， et al. External validation of a

measurement tool to assess systematic reviews（AMSTAR）[J]. PLoS

One， 2007， 2（12）：e1350.

[5] Barnes DE， Bero LA. Why review articles on the health effects of

passive smoking reach different conclusions[J]. JAMA， 1998， 279

（19）：1566-1570.

[6] Cho MK， Bero LA. The quality of drug studies published in sym-

posium proceedings[J]. Ann Intern Med， 1996， 124（5）：485-489.

[7] Lexchin J， Bero LA， Djulbegovic B， et al. Pharmaceutical industry

sponsorship and research outcome and quality： Systematic review

[J]. BMJ， 2003， 326（7400）：1167-1170.

[8] Shea BJ， Grimshaw JM， Wells GA， et al. Development of AMS-

TAR： A measurement tool to assess the methodological quality of

systematic reviews[J]. BMC Med Res Methodol， 2007， 7：10.

[9] Shea BJ， Hamel C， Wells GA， et al. AMSTAR is a reliable and

valid measurement tool to assess the methodological quality of sys-

tematic reviews[J]. J Clin Epidemiol， 2009， 62（10）：1013-1020.

[10] Mullen PD， Ramírez G. The promise and pitfalls of systematic re-

views[J]. Annu Rev Public Health， 2006， 27：81-102.

[11] Moher D， Jadad AR， Nichol G， et al. Assessing the quality of ran-

domized controlled trials： an annotated bibliography of scales and

checklists[J]. Control Clin Trials， 1995， 16（1）：62-73.

[12] 李幼平. 循證醫(yī)學[M]. 2版. 北京： 高等教育出版社， 2009：102-

133.

Li Youping. Evidence-based medicine[M]. 2nd ed. Beijing： Higher

Education Press， 2009：102-133.

[13] 袁金秋， 楊聲坪， 李婧媛， 等. 骨科專業(yè)中文系統(tǒng)評價/Meta分析

質量評價[J]. 甘肅科技， 2010， 26（3）：143-144， 188.

Yuan Jinqiu， Yang Shengping， Li Jingyuan， et al. Quality assess-

ment of Chinese systematic reviews/Meta-analysis on orthopedics

[J]. Gansu Science Technology， 2010， 26（3）：143-144， 188.

[14] 李春潔， 呂俊， 蘇乃川， 等. 用系統(tǒng)評價和Meta分析規(guī)范評價口腔

醫(yī)學領域中文Meta分析的報告質量[J]. 中華口腔醫(yī)學雜志， 2011，

46（5）：257-262.

Li Chunjie， Lü Jun， Su Naichuan， et al. Preferred reporting items

for systematic reviews and Meta-analysis for reporting quality of

Chinese Meta-analysis on stomatology[J]. Chin J Stomatol， 2011，

46（5）：257-262.

（本文編輯 杜冰）