陳 維,黃 梅,張進輔
(1.貴州師范大學 心理學院,貴州 貴陽 550001;2.西南大學 心理學部,重慶 北碚 400715)
系統(tǒng)評價,也稱系統(tǒng)綜述,它主要針對某一具體研究問題,全面地收集已發(fā)表或未發(fā)表的研究結果,運用減少偏倚的策略,逐個進行嚴格評價和分析,并通過比較篩選標準,選擇出符合要求的文獻資料,在此基礎上進行定性或定量的綜合分析,得出一個可靠有效的研究結果。一般地,若系統(tǒng)評價采用了以效應量(ES)為基礎,綜合研究結果為目進行統(tǒng)計推斷時,即元分析,可稱為定量型系統(tǒng)評價;而未使用元分析的系統(tǒng)評價,則稱為定性的系統(tǒng)評價。系統(tǒng)評價與元分析一樣,含有以下幾個步驟:確定研究問題;制定檢索策略;系統(tǒng)編碼;數(shù)據(jù)整理及分析;撰寫報告[1-5]。值得注意的是,其搜索策略與元分析、內(nèi)容分析以及文獻計量有相似的地方,但又不盡相同。
近年來,元分析雖作為一種重要的研究方法被廣泛應用于心理學研究,但其在研究設計、數(shù)據(jù)分析和研究報告等方面還存有較大差異現(xiàn)象,勢必會讓學者們對該方法產(chǎn)生質疑。鑒于此,筆者通過運用系統(tǒng)評價這一方法,統(tǒng)計、分析1990年至2012年期間心理學學科領域中有關元分析的文獻資料,以期為相關研究提供借鑒。
檢索時間 1990年1月1日—2012年12月31日。
檢索數(shù)據(jù)庫 以CNKI、萬方和維普為目標數(shù)據(jù)庫,同時,定位于心理學領域(屬于哲學領域,而關于心理學研究人員發(fā)表于其它刊物,但不屬于心理學學科刊物的文章不予以分析;其它有心理命名的期刊,但不屬于哲學領域的心理學學科期刊不予以分析)。
檢索詞 “元分析”、“再分析”、“薈萃分析”、“匯總分析”、“整合分析”、“二次分析”、“集成分析”和“meta analysis”的文獻。
文獻納入和排除標準 納入所有已發(fā)表期刊、會議論文和碩博學位論文;應用Endnote X7管理,排除重復資料。
表1 納入資料基本情況Tab.1 The basic status of collecting data
期刊基本資料 通過逐篇全文閱讀資料,提取有關文獻的題名、發(fā)表時間、發(fā)表期刊或碩博論文以及研究類型(分為基礎理論和實際應用)等信息。
元分析方法 依據(jù)元分析方法中涉及的內(nèi)容,主要針對ES類型、異質性檢驗、統(tǒng)計分析模型(固定效應分析模型,F(xiàn)EM;隨機效應分析模型,REM)、調(diào)節(jié)分析(MA)和發(fā)表偏倚(PB)等方面定性分類編碼(見表1)。
所有數(shù)據(jù)采用IBM SPSS 21.0軟件進行統(tǒng)計、分析,主要涉及描述統(tǒng)計及條形圖。
按以上檢索策略,排除重復的文獻資料,共計73篇相關資料全納入系統(tǒng)評價。其中發(fā)表期刊37篇(50.68%),社會心理科學2篇,心理學探新2篇,心理學報6篇,心理科學進展9篇,應用心理學1篇,心理科學11篇,心理研究1篇,心理發(fā)展與教育2篇,其它心理期刊3篇;碩博學位論文12(16.44%)篇,會議論文24(32.88%)篇,由于會議論文無法獲取全文文獻,只參與研究類型的統(tǒng)計分析。
由圖1可見,關于元分析的研究呈逐年上升趨勢,尤其是近幾年在實際應用方面的研究較多,但基礎理論研究較少(僅13篇),與實際應用研究不相匹配,若排除介紹型綜述和因子分析方面的研究,涉及元分析方法的基礎理論研究相對更少。
圖1 1990—2012年有關元分析研究的發(fā)展趨勢Fig.1 The development trend of meta-analysis from 1990 to 2012
由表2可知:有關ES的研究,僅4篇綜述型研究提及(d族和r族),其它9篇文獻主要是傳統(tǒng)綜述文章,針對元分析方法步驟的介紹,如搜集文獻,系統(tǒng)編碼,數(shù)據(jù)分析及撰寫報告;關于數(shù)據(jù)分析的細節(jié)方面,如異質性檢驗、合并模型、調(diào)節(jié)分析和發(fā)表偏倚等方面,幾乎沒有基礎理論研究關注。
表2 基礎理論研究基本情況Tab.2 The basic status of basic research
由表3可知:在ES上,主要集中于d族和r族,少數(shù)研究選擇腦區(qū)坐標和P值,但也有“元分析”研究沒有涉及ES,是否真正屬于元分析,值得探討;在異質性檢驗上,其研究數(shù)量各占約一半,但僅1篇研究涉及到I2值,其解釋可能有誤;在合并模型上,主要選用REM,其中有一半研究不清楚選用的分析模型,也有可能直接忽略異質性,選用REM進行分析;在調(diào)節(jié)分析方面,86%的研究均涉及到,但沒有一篇研究將其與調(diào)節(jié)效應分析區(qū)分開;在發(fā)表偏倚方面,僅39%的研究有所涉及,主要采用漏斗圖方法,而61%的研究沒有進行檢驗,其研究結論的推廣性可能有所夸大。
表3 實際應用研究基本情況Tab.3 The basic status of applied research
總的來說,元分析基礎理論研究相對滯后,以致于元分析實際應用研究質量呈現(xiàn)良莠不齊的現(xiàn)象。筆者曾以超星、當當、亞馬遜和Google圖書4個數(shù)據(jù)庫為書庫來源,以“元分析”和“meta-analysis”為檢索詞,發(fā)現(xiàn)國外有關元分析方法的專業(yè)書籍就達數(shù)本。而國內(nèi)心理學學科中,目前尚無專門介紹元分析方法的書籍,只有7本心理學研究方法書籍中的章節(jié)對元分析略有介紹,而對元分析方法中的異質性檢驗、合并模型、調(diào)節(jié)分析及發(fā)表偏倚均沒做詳細介紹??梢姡嘘P元分析方法的基礎理論研究有待進一步加強。
研究發(fā)現(xiàn),一些非元分析研究也命名為元分析,尚有必要再次審視元分析的本質。依據(jù)Glass等[1,3,6-9]關于元分析的理解,將元分析定義為將相同問題的各研究結果轉化為同一可比較的尺度(ES)上,進行定量的統(tǒng)計分析,應包括確定問題,檢索策略,文獻篩選,系統(tǒng)編碼,數(shù)據(jù)分析及撰寫報告等步驟??梢?,有研究雖含有元分析的所有步驟,但并沒有將結果轉化為ES進行統(tǒng)計推斷,因此該研究不能稱之為元分析,只能稱為定性的系統(tǒng)評價,這也是元分析與系統(tǒng)評價的最根本區(qū)別。因此,本研究所檢索到的一些文獻資料可能不是元分析。
縱觀元分析的應用研究,ES的概念和種類不再局限于Cohen的研究范疇,如腦區(qū)坐標。所以,元分析中的ES不再僅僅是一個與統(tǒng)計功效有關的統(tǒng)計量,只要是可比較的同一尺度均可稱為效應量,即是一個直接描述研究問題的效應大小指標,其內(nèi)涵可從以下2點理解:效應常指研究所關注的問題,即從哪個方面去描述效應;量可理解為測量和大小,測量即依據(jù)效應實施地可操作手段,而大小則為最后求得的數(shù)值[10-12]。
在實際研究中,多以漏斗圖和失安全數(shù)(Nfs)來檢驗發(fā)表偏倚,但嚴格地說,這2種方法并不是統(tǒng)計檢驗。漏斗圖是一種簡單的圖示方法,除了用于觀察ES的分布情況以外,最重要的用途是用于分析那些樣本容量小或者精度小的研究出現(xiàn)較大效應的現(xiàn)象,而不是僅作為診斷特定類型偏倚的工具[13-14];而Nfs只能作為對發(fā)表偏倚的一種粗略估計,同樣缺乏統(tǒng)計檢驗。有研究顯示:當未發(fā)表研究的平均效應與已發(fā)表研究的方向相反,Nfs則有可能得出誤導性的結果[14-15],所以該法不再推薦使用。目前,有關發(fā)表偏倚的檢驗方法已相對很成熟,并且統(tǒng)計功效也高于傳統(tǒng)方法,如:Begg相關、Egger回歸及剪補法。
目前,異質性檢驗主要基于HedgesQ檢驗[16],但Q服從χ2分布,易受納入研究數(shù)量的影響,并且沒有描述異質性的大小信息。較少有研究關注一些的統(tǒng)計量,如H和I2。
本研究發(fā)現(xiàn),大多應用研究都選用隨機效應模型進行分析,很少選用其它模型。究其原因:對于心理特質這種潛變量,不同工具的測量都會導致額外的誤差,使得其在ES的合并上,更傾向于選擇隨機效應模型而非固定效應模型;元分析方法收集的數(shù)據(jù)存有天然的層級結構,樣本嵌套于單個研究,單個研究又嵌套于元分析,勢必會影響統(tǒng)計模型的穩(wěn)定性。今后,傳統(tǒng)元分析與多水平模型融合形成的多水平元分析(亦稱混合效應元分析),能避免上述缺陷。但值得注意的是,上述模型都是基于傳統(tǒng)頻率論統(tǒng)計學,元分析的樣本量是否能滿足大樣本的穩(wěn)健性,是爭論的焦點。
元分析的調(diào)節(jié)分析與一般調(diào)節(jié)分析有相似之處,但更多的是不同,本研究發(fā)現(xiàn)了兩者在應用中存在著誤用和混淆等現(xiàn)象。因此,未來需要進一步比較兩者的差異。