曾憲濤,黃偉,田國祥
制作Meta分析的最終目的是為了使用,但因制作者的水平差距較大,故質(zhì)量也參差不齊。因此,使用Meta分析前一般是需要對其質(zhì)量進(jìn)行評價(jià)的;再者,有時(shí)還會針對某一疾病相關(guān)的系統(tǒng)評價(jià)/Meta分析進(jìn)行匯總評價(jià),制作時(shí)亦需要進(jìn)行質(zhì)量的評價(jià)。如同原始研究一樣[1-3],學(xué)者們研制了一些用于評價(jià)系統(tǒng)評價(jià)/Meta分析質(zhì)量的工具,本章將對目前常用及推薦使用的工具進(jìn)行簡介(本文介紹的量表中的系統(tǒng)評價(jià)均指廣義的系統(tǒng)評價(jià),即涵蓋了定性評價(jià)及Meta分析,因此,均可以用來評價(jià)Meta分析的質(zhì)量)。
AMSTAR(A measurement tool for the ‘a(chǎn)ssessment of multiple systematic reviews’)是用于評價(jià)系統(tǒng)評價(jià)/Meta分析方法學(xué)質(zhì)量的量表。2007年荷蘭Vrije Universiteit大學(xué)醫(yī)學(xué)研究中心和加拿大渥太華大學(xué)的臨床流行病學(xué)專家們在《BMC Med Res Methodol》上發(fā)表的名為“Development of AMSTAR:A Measurement Tool to Assess Systematic Reviews”的文章[4],AMSTAR因此而得名。
AMSTAR的條目形成基礎(chǔ)有OQAQ(Overview Quality Assessment Questionnaire)[5-6]的10個(gè)條目、SQAC(Sacks Quality Assessment Checklist)[7]的24個(gè)條目以及另外3個(gè)考慮文種偏倚、發(fā)表偏倚和灰色文獻(xiàn)的條目。AMSTAR研發(fā)組采用探索性因素分析和名義群體技術(shù)保證了量表的表面效度和內(nèi)容效度;在后續(xù)研究中,研發(fā)組進(jìn)一步考驗(yàn)了AMSTAR的可信度、結(jié)構(gòu)效度和實(shí)用性[8];還專門委托加拿大藥物衛(wèi)生技術(shù)評估中心評估其科學(xué)性,評估結(jié)果也十分令人滿意。基于此,研發(fā)組正式提出了AMSTAR的標(biāo)準(zhǔn)條目,共有11個(gè)條目(表1),并以補(bǔ)充材料的形式發(fā)表于biomedcentral官網(wǎng),且在參考文獻(xiàn)[4]后附有鏈接網(wǎng)址以下載AMSTAR的“.doc”格式,網(wǎng)址為http://www.biomedcentral.com/content/supplementary/1471-2288-7-10-S1.doc;亦可通過http://www.biomedcentral.com/1471-2288/7/10中的“Additional File 1”下載。每個(gè)條目均采用“是(Yes)”、“否(No)”、“不知道(Can’t answer)”和“不適用(Not applicable)”進(jìn)行判定。
英國牛津循證醫(yī)學(xué)中心文獻(xiàn)嚴(yán)格評價(jià)項(xiàng)目(critical appraisal skill program,CASP,2004)除了制定了前述介紹的針對隨機(jī)對照試驗(yàn)[1]、分析性研究[2]和診斷性實(shí)驗(yàn)[3]的質(zhì)量評價(jià)工具之外,還制定了針對系統(tǒng)評價(jià)/Meta分析的質(zhì)量評價(jià)清單(表2)[9],包括10個(gè)條目,其中前2條是篩選問題,3~10是細(xì)節(jié)問題;1~5和8~9條均用“是”、“否”及“不知道”判定。
OQAQ量表是由加拿大麥克馬斯特大學(xué)Oxman AD和Guyatt GH于1991年研制的用于評價(jià)系統(tǒng)評價(jià)真實(shí)性的最常用工具(表3)[5-6]。
OQAQ涉及9個(gè)方面共10個(gè)條目,前9個(gè)條目可以評為充分(報(bào)告并正確使用)和不充分(沒有報(bào)告或不正確),第十個(gè)條目則是對整個(gè)文獻(xiàn)質(zhì)量進(jìn)行打分。評價(jià)者對前9個(gè)問題的情況給予1~7分,1分代表該系統(tǒng)評價(jià)不符合標(biāo)準(zhǔn),7分則代表該系統(tǒng)評價(jià)完全符合。若前9項(xiàng)有1個(gè)以上條目回答為“不能確定”,則表明該系統(tǒng)評價(jià)存在“小的缺陷”;若條目2、4、6、8中有回答為“否”者,則說明存在“大的缺陷”。一般有明顯缺陷者,其綜合評分為1分;有大的缺陷者評為3分;有小的缺陷者評分為5分;缺陷可被忽略者為最高分7分。
SQAC量表[7]是Sacks HS等于1987年研制的用于評價(jià)隨機(jī)對照試驗(yàn)Meta分析質(zhì)量的工具。SQAC包括6個(gè)方面共23個(gè)條目(表4)。
如同原始研究的報(bào)告規(guī)范可以用來評價(jià)其質(zhì)量一樣,系統(tǒng)評價(jià)/Meta分析的報(bào)告規(guī)范亦可以用于評價(jià)系統(tǒng)評價(jià)/Meta分析的質(zhì)量。最早用于評價(jià)系統(tǒng)評價(jià)/Meta分析質(zhì)量的報(bào)告規(guī)范為QUOROM,在經(jīng)典專著《Systematic reviews in health care: Meta-analysis in context》[10]中,將QUOROM推薦為評價(jià)系統(tǒng)評價(jià)/Meta分析質(zhì)量的“金標(biāo)準(zhǔn)”。此后,QUOROM更新為PRISMA,另有觀察性研究的報(bào)告規(guī)范MOOSE等,此處不詳細(xì)列出,可參閱文獻(xiàn)[11]。
系統(tǒng)評價(jià)/Meta分析的質(zhì)量可以分為報(bào)告質(zhì)量和方法學(xué)質(zhì)量這兩個(gè)大方面,兩個(gè)方面存在一定的聯(lián)系,但也有差別。報(bào)告質(zhì)量好的研究不一定方法學(xué)正確,報(bào)告質(zhì)量不好的研究也可能具有較好的真實(shí)性,但是低下的報(bào)告質(zhì)量將影響結(jié)果的實(shí)用性;方法學(xué)質(zhì)量越高,研究的可重復(fù)性就越好,其論證強(qiáng)度越高,結(jié)果也越可靠。
AMSTAR的評價(jià)目的是評價(jià)系統(tǒng)評價(jià)/Meta分析的方法
學(xué)質(zhì)量,特別是對于匯總評價(jià)制作時(shí)。目前,AMSTAR運(yùn)用較多的領(lǐng)域有同類系統(tǒng)評價(jià)研究、測量工具方法學(xué)研究、衛(wèi)生技術(shù)評估以及被專業(yè)期刊編輯作為推薦工具等,在國內(nèi)外(特別是國外)得到了廣泛的應(yīng)用。國外一些醫(yī)學(xué)雜志,如臨床醫(yī)學(xué)六大頂級期刊之一的《Ann Intern Med》的編輯在“The science and art of deduction: complex systematic overviews”一文中闡述同類系統(tǒng)評價(jià)的現(xiàn)實(shí)意義和科學(xué)價(jià)值,明確肯定AMSTAR是匯總評價(jià)中系統(tǒng)評價(jià)有效的測量工具之一[12]。CASP清單不僅評價(jià)了方法學(xué)質(zhì)量,更考慮了研究的適用性,因此,更適合用于使用系統(tǒng)評價(jià)/Meta分析結(jié)果進(jìn)行實(shí)踐時(shí)的評價(jià)。OQAQ量表不涉及發(fā)表質(zhì)量和研究的重要性,主要針對系統(tǒng)評價(jià)中容易產(chǎn)生偏倚的幾個(gè)關(guān)鍵環(huán)節(jié),是目前較常用的工具之一。SQAC不僅包括了方法學(xué)質(zhì)量的評價(jià),還包括了一些適用性的評價(jià)內(nèi)容,但因描述不夠詳細(xì)而致使不易把握;此外,第3部分第4條提到資助情況,有許多專家認(rèn)為藥廠贊助的研究質(zhì)量較差,可信度低,爭論也較多;第6部分第2條,屬于經(jīng)濟(jì)學(xué)評價(jià)的內(nèi)容,治療性研究的系統(tǒng)評價(jià)中不一定會涉及。因此,SQAC早期應(yīng)用較為廣泛,現(xiàn)在雖然仍有應(yīng)用,但已不做推薦。報(bào)告規(guī)范主要用于評價(jià)制作的質(zhì)量,而無法用來評價(jià)方法學(xué)質(zhì)量。
表2 CASP清單
表3 OQAQ量表
表4 SQAC量表
綜上所述,我們建議在評價(jià)系統(tǒng)評價(jià)/Meta分析的質(zhì)量時(shí),最好能夠采用相應(yīng)的報(bào)告規(guī)范結(jié)合一種方法學(xué)質(zhì)量的評價(jià)工具進(jìn)行,以相互補(bǔ)充。
[1] 曾憲濤,包翠萍,曹世義,等. Meta分析系列之三:隨機(jī)對照試驗(yàn)的質(zhì)量評價(jià)工具[J]. 中國循證心血管醫(yī)學(xué)雜志, 2012,4(3): 183-5.
[2] 曾憲濤,劉慧,陳曦,等. Meta分析系列之四:觀察性研究的質(zhì)量評價(jià)工具[J]. 中國循證心血管醫(yī)學(xué)雜志, 2012, 4(4): 297-9.
[3] 曾憲濤,莊麗萍,楊宗國,等. Meta分析系列之七:非隨機(jī)實(shí)驗(yàn)性研究、診斷性試驗(yàn)及動物實(shí)驗(yàn)的質(zhì)量評價(jià)工具[J]. 中國循證心血管醫(yī)學(xué)雜志, 2012, 4(6): 496-9.
[4] Shea BJ,Grimshaw JM,Wells GA,et al. Development of AMSTAR:a measurement tool to assess the methodological quality of systematic reviews [J]. BMC Med Res Methodol, 2007,7:10.
[5] Oxman AD,Guyatt GH. Validation of an index of the quality of review articles [J]. J Clin Epidemiol, 1991, 44(11):1271-8.
[6] Oxman AD. Checklists for review articles [J]. BMJ,1994, 309(6955):648-51.
[7] Sacks HS,Berrier J,Reitman D,et al. Meta-analyses of randomized controlled trials[J]. N Engl J Med, 1987, 316(8):450-5.
[8] Shea BJ,Bouter LM,Peterson J,et al. External validation of a measurement tool to assess systematic reviews (AMSTAR)[J]. PLoS One, 2007, 2(12):e1350.
[9] CASP(Critical Skills Appraisal Programme)[EB/OL]. [2012-12-01]. http://www.casp-uk.net/wp-content/uploads/2011/11/CASP_System atic_Review_Appraisal_Checklist_14oct10.pdf.
[10] Egger M,Smith GD,Altman DG. Systematic reviews in health care: Meta-analysis in context[M]. 2ndedition. London: BMJ Publishing Group, BMA House, Tavistock Square, WC1H 9JR, 2001.
[11] 曾憲濤,李勝,馬鉆,等. Meta分析系列之八:Meta分析的報(bào)告規(guī)范[J]. 中國循證心血管醫(yī)學(xué)雜志, 2012, 4(6):500-3.
[12] Cornell JE,Laine C. The science and art of deduction: complex systematic overviews [J]. Ann Intern Med, 2008, 148(10):786-8.