郭春雪，沈 寧，胡良平,2*

(1.軍事醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)統(tǒng)計(jì)學(xué)咨詢中心，北京 100850；2.世界中醫(yī)藥學(xué)會(huì)聯(lián)合會(huì)臨床科研統(tǒng)計(jì)學(xué)專業(yè)委員會(huì)，北京 100029*通信作者：胡良平，E-mail：lphu812@sina.com)

?

整合科研設(shè)計(jì)與統(tǒng)計(jì)分析的方法：廣義綜合評(píng)價(jià)

郭春雪1，沈 寧1，胡良平1,2*

(1.軍事醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)統(tǒng)計(jì)學(xué)咨詢中心，北京 100850；2.世界中醫(yī)藥學(xué)會(huì)聯(lián)合會(huì)臨床科研統(tǒng)計(jì)學(xué)專業(yè)委員會(huì)，北京 100029*通信作者：胡良平，E-mail：lphu812@sina.com)

本文目的是介紹一種能將科研設(shè)計(jì)與統(tǒng)計(jì)分析整合在一起的方法，即廣義綜合評(píng)價(jià)。通過指出傳統(tǒng)綜合評(píng)價(jià)方法的局限性，并陳述了在實(shí)踐中人們對(duì)很多事情從設(shè)計(jì)、實(shí)施，到完成的質(zhì)量評(píng)價(jià)的廣泛需求，提出有必要將傳統(tǒng)綜合評(píng)價(jià)拓展為廣義綜合評(píng)價(jià)這一觀點(diǎn)。結(jié)合基本常識(shí)和有關(guān)專業(yè)知識(shí)，筆者提綱挈領(lǐng)地呈現(xiàn)了如何對(duì)科研設(shè)計(jì)的質(zhì)量、課題實(shí)施的質(zhì)量、系統(tǒng)評(píng)價(jià)的質(zhì)量和統(tǒng)計(jì)分析的質(zhì)量進(jìn)行綜合評(píng)價(jià)的思路和要領(lǐng)，言簡(jiǎn)意賅地闡釋了廣義綜合評(píng)價(jià)的概念、功能和基本做法。

科研設(shè)計(jì)；統(tǒng)計(jì)分析；系統(tǒng)評(píng)價(jià)；傳統(tǒng)綜合評(píng)價(jià)；廣義綜合評(píng)價(jià)

1 概 述

1.1 問題的提出

眾所周知，科研設(shè)計(jì)與統(tǒng)計(jì)分析是統(tǒng)計(jì)學(xué)全部?jī)?nèi)容中最重要的兩部分[1]。然而，綜合評(píng)價(jià)與這兩部分內(nèi)容之間是什么關(guān)系呢？翻閱統(tǒng)計(jì)學(xué)教科書，似乎可以感覺到：綜合評(píng)價(jià)方法[2-3]只是眾多統(tǒng)計(jì)分析方法中所占篇幅很少的一種，它往往被排除在“常用統(tǒng)計(jì)分析方法”之外。顯然，“綜合評(píng)價(jià)”的概念和功能顯得過分“狹窄”，似乎與這個(gè)“詞”本身根本不相符。由基本常識(shí)可知，“綜合評(píng)價(jià)”可以被用于很多方面，它包括“科研設(shè)計(jì)、課題實(shí)施和課題驗(yàn)收”全過程中所涉及到的各種內(nèi)容，甚至包括用于對(duì)除“科學(xué)研究”以外的很多其他事物或現(xiàn)象的評(píng)價(jià)。

人們不禁要問：“系統(tǒng)評(píng)價(jià)”又是什么呢？文獻(xiàn)[4]對(duì)系統(tǒng)評(píng)價(jià)的定義為：針對(duì)某一具體臨床問題，系統(tǒng)、全面地收集全世界所有已發(fā)表或未發(fā)表的臨床研究，采用臨床流行病學(xué)的原則和方法對(duì)研究進(jìn)行嚴(yán)格的評(píng)價(jià)，篩選出符合納入標(biāo)準(zhǔn)的研究，進(jìn)行定性或定量(Meta分析)合成，從而得出可靠的結(jié)論。從此定義不難得出這樣的結(jié)論：“系統(tǒng)評(píng)價(jià)”完全可以被收藏入“綜合評(píng)價(jià)”的錦囊之中。

簡(jiǎn)而言之，現(xiàn)今統(tǒng)計(jì)學(xué)教科書中的“綜合評(píng)價(jià)”的概念與功能需要拓展，使其更加名正言順、實(shí)至名歸。

1.2 傳統(tǒng)綜合評(píng)價(jià)的實(shí)質(zhì)是什么

在統(tǒng)計(jì)學(xué)教科書上所介紹的“綜合評(píng)價(jià)”，其有以下兩種定義：①對(duì)一個(gè)復(fù)雜系統(tǒng)的多個(gè)指標(biāo)進(jìn)行總評(píng)價(jià)的特殊方法[2]；②針對(duì)諸多評(píng)價(jià)對(duì)象的多指標(biāo)信息，應(yīng)用一定的數(shù)學(xué)原理與方法(包括數(shù)理統(tǒng)計(jì)方法)，對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)募庸ず吞釤?，以求得評(píng)價(jià)對(duì)象優(yōu)劣等級(jí)或順序的過程[3]。在講述“綜合評(píng)價(jià)的一般步驟”時(shí)，文獻(xiàn)[2]聲明：對(duì)某事件進(jìn)行多因素綜合評(píng)價(jià)的過程，實(shí)質(zhì)上就是一個(gè)科學(xué)研究與決策的過程，原則上應(yīng)當(dāng)包括設(shè)計(jì)、收集資料、整理資料和分析資料幾個(gè)基本階段。這里來自文獻(xiàn)[2]的兩種關(guān)于“綜合評(píng)價(jià)”的概念和功能的“界定”是大相徑庭的，第1種說法[2-3]似乎強(qiáng)調(diào)：綜合評(píng)價(jià)僅僅是基于“多個(gè)指標(biāo)”匯總后求得一個(gè)綜合指標(biāo)，進(jìn)而實(shí)現(xiàn)對(duì)無序樣品進(jìn)行排序與分檔的一類統(tǒng)計(jì)分析方法；而第2種說法[2]似乎強(qiáng)調(diào)：綜合評(píng)價(jià)是囊括對(duì)“科學(xué)研究與決策過程”進(jìn)行評(píng)價(jià)的全方位統(tǒng)計(jì)分析方法。

事實(shí)上，統(tǒng)計(jì)學(xué)教科書上所介紹的具體“綜合評(píng)價(jià)方法(例如：綜合評(píng)分法、綜合指數(shù)法、層次分析法、Topsis法、秩和比法等)”是針對(duì)“多個(gè)指標(biāo)”求取一個(gè)綜合指標(biāo)的“綜合評(píng)價(jià)方法”，故可以被稱為“傳統(tǒng)綜合評(píng)價(jià)”[2-3]；而真正意義上針對(duì)“科學(xué)研究與決策過程”的綜合評(píng)價(jià)方法，統(tǒng)計(jì)學(xué)教科書上好像沒有涉足，它似乎應(yīng)該被稱為“廣義綜合評(píng)價(jià)”。

然而，從傳統(tǒng)綜合評(píng)價(jià)方法表面上看，似乎確實(shí)是針對(duì)“多個(gè)指標(biāo)”的；但從其計(jì)算方法和得出的結(jié)論來看，實(shí)際上，應(yīng)屬于將“無序樣品轉(zhuǎn)化成有序樣品，進(jìn)而將它們劃分入優(yōu)劣等級(jí)中去”的一類統(tǒng)計(jì)分析方法。具體地說，應(yīng)屬于“基于多個(gè)指標(biāo)在n個(gè)個(gè)體(被評(píng)價(jià)對(duì)象)身上的取值，通過數(shù)學(xué)和統(tǒng)計(jì)分析技術(shù)得出一個(gè)“綜合指標(biāo)”，進(jìn)而，計(jì)算出每個(gè)個(gè)體在該綜合指標(biāo)上的得分值。然后，將得分值由小到大(或由大到小)排序后再進(jìn)行分檔，從而得出：在n個(gè)個(gè)體中，哪些個(gè)體應(yīng)歸類于優(yōu)、良、中、差(具體需要分幾檔，由研究者自行確定)不同等級(jí)的一種簡(jiǎn)單的評(píng)價(jià)結(jié)論”。

2 傳統(tǒng)綜合評(píng)價(jià)的概念與功能需要拓展

2.1 傳統(tǒng)綜合評(píng)價(jià)的局限性

從前面“1.2節(jié)”的最后一個(gè)自然段可以清楚地看出：傳統(tǒng)綜合評(píng)價(jià)的概念與功能具有很大的局限性。因?yàn)榭陀^世界中的事物和現(xiàn)象都是很復(fù)雜的，哪怕是一個(gè)很小的問題，要想真正全面、客觀、科學(xué)、嚴(yán)謹(jǐn)?shù)厝パ芯克氐装盐账?，期望得出的結(jié)果和結(jié)論經(jīng)得起時(shí)間和實(shí)踐的檢驗(yàn)，僅靠“傳統(tǒng)綜合評(píng)價(jià)方法”是無能為力的。

2.2 應(yīng)將傳統(tǒng)綜合評(píng)價(jià)拓展為廣義綜合評(píng)價(jià)

為了使“綜合評(píng)價(jià)”實(shí)至名歸，有必要將“傳統(tǒng)綜合評(píng)價(jià)”拓展為“廣義綜合評(píng)價(jià)”。筆者建議可從以下三個(gè)方面進(jìn)行拓展：

其一，從概念上拓展——廣義綜合評(píng)價(jià)不是一個(gè)或一類具體的方法，而是關(guān)于如何提出、解決和評(píng)價(jià)某實(shí)際問題的一個(gè)系統(tǒng)工程的評(píng)價(jià)。

其二，從內(nèi)容上拓展——廣義綜合評(píng)價(jià)的內(nèi)容包括：所提出的問題是否真正屬于一個(gè)科學(xué)的、有研究?jī)r(jià)值的問題；與研究問題對(duì)應(yīng)的研究目標(biāo)是否明確、具體；為實(shí)現(xiàn)研究目標(biāo)而制訂的研究設(shè)計(jì)方案是否科學(xué)完善、系統(tǒng)全面、精準(zhǔn)高效、經(jīng)濟(jì)可靠且具有可操作性；研究項(xiàng)目實(shí)施過程中是否具有可操作性的標(biāo)準(zhǔn)操作規(guī)程和實(shí)時(shí)精準(zhǔn)的質(zhì)量控制策略以及具體落實(shí)情況；研究項(xiàng)目驗(yàn)收階段是否獲得了值得分析的研究資料以及對(duì)研究資料的分析和挖掘是否全面徹底。

其三，從功能上拓展——廣義綜合評(píng)價(jià)應(yīng)包括科學(xué)研究以及非科學(xué)研究領(lǐng)域，特別是在科學(xué)研究領(lǐng)域內(nèi)，應(yīng)包括科研設(shè)計(jì)(含課題框架設(shè)計(jì)和課題技術(shù)設(shè)計(jì))、項(xiàng)目實(shí)施(含質(zhì)量控制、數(shù)據(jù)收集與管理)、項(xiàng)目驗(yàn)收(含研究過程的監(jiān)管、數(shù)據(jù)分析的核準(zhǔn)和結(jié)果及結(jié)論的驗(yàn)證)和成果推廣應(yīng)用(含社會(huì)與經(jīng)濟(jì)效益的評(píng)估、投入與產(chǎn)出比例的核算)。

3 廣義綜合評(píng)價(jià)的核心與要領(lǐng)

3.1 廣義綜合評(píng)價(jià)的概述

由前述“2.2節(jié)”的內(nèi)容可知，廣義綜合評(píng)價(jià)涵蓋面非常寬泛。事實(shí)上，除了前述提及的“與科研有關(guān)的內(nèi)容”外，還可以包括很多其他內(nèi)容，例如：對(duì)人類開發(fā)太空和海洋的利弊進(jìn)行綜合評(píng)價(jià)、對(duì)一個(gè)國家的某項(xiàng)大政方針實(shí)施效果的綜合評(píng)價(jià)，諸如此類的可以用上綜合評(píng)價(jià)的事物或現(xiàn)象不勝枚舉。本文僅把注意力局限于“對(duì)科研項(xiàng)目從科研設(shè)計(jì)到統(tǒng)計(jì)分析的質(zhì)量進(jìn)行綜合評(píng)價(jià)”，談一點(diǎn)筆者的膚淺認(rèn)識(shí)，以期達(dá)到拋磚引玉之目的。

3.2 對(duì)科研設(shè)計(jì)的質(zhì)量進(jìn)行綜合評(píng)價(jià)

3.2.1 對(duì)科研設(shè)計(jì)質(zhì)量進(jìn)行綜合評(píng)價(jià)的概述

科研設(shè)計(jì)的質(zhì)量體現(xiàn)在“科研設(shè)計(jì)方案”上，其應(yīng)由兩部分組成，即“課題框架設(shè)計(jì)方案”與“課題統(tǒng)計(jì)設(shè)計(jì)方案”[5]。前者為科研項(xiàng)目提供“物質(zhì)基礎(chǔ)”，后者(說明：宜將“課題統(tǒng)計(jì)設(shè)計(jì)方案”修改為“課題技術(shù)設(shè)計(jì)方案”，因?yàn)榻y(tǒng)計(jì)知識(shí)只有密切結(jié)合基本常識(shí)和各科專業(yè)知識(shí)，才能如虎添翼)為科研項(xiàng)目提供“技術(shù)支撐”。因此，科研設(shè)計(jì)的質(zhì)量高低完全取決于前述提及的兩種設(shè)計(jì)方案的質(zhì)量。

3.2.2 課題框架設(shè)計(jì)方案的核心內(nèi)容

在課題框架設(shè)計(jì)方案中，應(yīng)將“課題概況”“課題承擔(dān)情況”“課題技術(shù)問題”“課題進(jìn)度”和“課題經(jīng)費(fèi)預(yù)算”五個(gè)方面的核心內(nèi)容陳述清楚、到位。從這些內(nèi)容中可以清楚地體察到：課題研究單位和課題研究者在“人力、物力、財(cái)力、時(shí)間、硬件與軟件、技術(shù)”等方面具備堅(jiān)實(shí)和雄厚的“物質(zhì)基礎(chǔ)”，是對(duì)課題框架設(shè)計(jì)方案質(zhì)量進(jìn)行綜合評(píng)價(jià)的關(guān)鍵點(diǎn)。

3.2.3 課題技術(shù)設(shè)計(jì)方案的核心內(nèi)容

在課題技術(shù)設(shè)計(jì)方案中，應(yīng)將“基本常識(shí)”“研究問題涉及的各科專業(yè)知識(shí)”和“統(tǒng)計(jì)設(shè)計(jì)知識(shí)”三個(gè)方面的核心內(nèi)容陳述清楚、到位。從這些內(nèi)容中可以清楚地體察到：課題研究單位和課題研究者在“倫理道德、研究類型、三要素的把握、四原則的遵守、調(diào)查或試驗(yàn)設(shè)計(jì)類型的選定、比較類型的確定”等方面具備堅(jiān)實(shí)和牢固的“技術(shù)支撐”，是對(duì)課題技術(shù)設(shè)計(jì)方案質(zhì)量進(jìn)行綜合評(píng)價(jià)的關(guān)鍵點(diǎn)。

3.3 對(duì)課題實(shí)施的質(zhì)量進(jìn)行綜合評(píng)價(jià)

3.3.1 對(duì)課題實(shí)施質(zhì)量進(jìn)行綜合評(píng)價(jià)的概述

無論一個(gè)課題設(shè)計(jì)方案制訂得多么科學(xué)完善，它畢竟只是寫在紙上或電子文檔上的東西，必須通過研究人員將其落實(shí)到具體的課題實(shí)施之中去，才能發(fā)揮其應(yīng)有的價(jià)值。要想對(duì)課題實(shí)施的質(zhì)量進(jìn)行綜合評(píng)價(jià)，應(yīng)抓住以下四個(gè)重要方面：第一，落實(shí)研究設(shè)計(jì)方案的程度；第二，執(zhí)行標(biāo)準(zhǔn)操作規(guī)程的效果；第三，對(duì)實(shí)施過程的質(zhì)量控制力度；第四，研究結(jié)果的記錄質(zhì)量。

3.3.2 課題實(shí)施中的一盞指路明燈

在課題實(shí)施過程中，研究者和所有參與者必須在“課題設(shè)計(jì)方案”這盞指路明燈的指引下，有條不紊地開展課題研究。不應(yīng)隨便偏移或改變課題設(shè)計(jì)方案，萬一因客觀原因或隨機(jī)效應(yīng)產(chǎn)生了無法抗拒的偏移，應(yīng)將有關(guān)的原因和結(jié)果記錄在案，以便將來采取合適的方式進(jìn)行校正?？梢赃@樣說，認(rèn)真仔細(xì)檢查課題設(shè)計(jì)方案在課題實(shí)施中的具體落實(shí)情況，就是對(duì)課題實(shí)施質(zhì)量進(jìn)行綜合評(píng)價(jià)的第一個(gè)關(guān)鍵點(diǎn)。

3.3.3 課題實(shí)施中的一個(gè)重要依據(jù)

課題實(shí)施的全過程通常需要被分割成多個(gè)不同的階段，在每個(gè)階段上，往往是由一位或多位研究者和參與者同時(shí)發(fā)出一系列“動(dòng)作”并產(chǎn)生相應(yīng)的“半成品”或“局部結(jié)果”；將產(chǎn)生于多個(gè)階段的“半成品”或“局部結(jié)果”串起來，就形成了課題的最終結(jié)果。在這一漫長(zhǎng)且由多位實(shí)施者參與的過程中，每個(gè)階段上的“動(dòng)作”是否“標(biāo)準(zhǔn)”，必將影響最終結(jié)果的準(zhǔn)確性。因此，課題實(shí)施中的一個(gè)重要依據(jù)就是“標(biāo)準(zhǔn)操作規(guī)程”。顯而易見，考查“有無標(biāo)準(zhǔn)操作規(guī)程以及是否嚴(yán)格按其實(shí)施”，就是對(duì)課題實(shí)施質(zhì)量進(jìn)行綜合評(píng)價(jià)的第二個(gè)關(guān)鍵點(diǎn)。

3.3.4 課題實(shí)施中的一個(gè)有力舉措

由于不同的研究者或操作者的技術(shù)水平、熟練程度和責(zé)任心不盡相同，加之環(huán)境和條件的變化，即使有標(biāo)準(zhǔn)操作規(guī)程作為“動(dòng)作”的依據(jù)，也很難完全避免自始至終不會(huì)發(fā)生任何偏差的情況。在課題實(shí)施的任何時(shí)間節(jié)點(diǎn)上，如何能及時(shí)且精準(zhǔn)地發(fā)現(xiàn)已經(jīng)出現(xiàn)的“偏差”并及時(shí)采取有效措施予以糾正，就是保證研究結(jié)果精準(zhǔn)可靠的有力舉措，其實(shí)質(zhì)就是在課題實(shí)施過程中能夠?qū)崟r(shí)精準(zhǔn)進(jìn)行質(zhì)量控制?？刂频脑搭^可能來自下面的諸多方面：研究者、受試者(特別是受試者的心理因素)、環(huán)境與條件(儀器、試劑)等。因此，考查“有無質(zhì)量控制以及質(zhì)量控制的成效如何”，就是對(duì)課題實(shí)施質(zhì)量進(jìn)行綜合評(píng)價(jià)的第三個(gè)關(guān)鍵點(diǎn)。

3.3.5 課題實(shí)施中的一個(gè)對(duì)應(yīng)關(guān)系

以數(shù)據(jù)說話的試驗(yàn)性或調(diào)查性研究課題，得出結(jié)論的有力證據(jù)是科研數(shù)據(jù)。因此，科研數(shù)據(jù)的質(zhì)量是結(jié)論正確與否的重要根基。體現(xiàn)科研數(shù)據(jù)質(zhì)量的要素有以下幾點(diǎn)：原始性、實(shí)時(shí)性和精準(zhǔn)性。所謂原始性，就是所記錄下的科研數(shù)據(jù)未經(jīng)過任何修正或改動(dòng)；所謂實(shí)時(shí)性，就是所獲得的科研數(shù)據(jù)自其產(chǎn)生那一刻就被記錄在案了；所謂精準(zhǔn)性，就是采用了正確的測(cè)定方法在恰當(dāng)?shù)臅r(shí)間節(jié)點(diǎn)上客觀精準(zhǔn)地度量了被測(cè)事物或現(xiàn)象的特定指標(biāo)的數(shù)量大小。前述提及的所有要素都需要通過“試驗(yàn)記錄”全面、系統(tǒng)、完整地反映出來?！霸囼?yàn)記錄”通常包括以下幾種具體情況：“試驗(yàn)記錄本”或“病例報(bào)告表(簡(jiǎn)稱CRF)”或“某調(diào)查研究項(xiàng)目的調(diào)查表”或相應(yīng)的“電子記錄系統(tǒng)”。有一個(gè)簡(jiǎn)單的方法可用來評(píng)價(jià)某個(gè)研究課題所獲得的科研數(shù)據(jù)是否具有前述提及的三個(gè)基本要素，就是看“課題實(shí)施中是否存在一個(gè)對(duì)應(yīng)關(guān)系”，即“試驗(yàn)記錄”中所記載的內(nèi)容和數(shù)據(jù)是否都能從與其對(duì)應(yīng)的設(shè)計(jì)方案中找到“緣由和依據(jù)”。因此，找到“試驗(yàn)記錄”與“設(shè)計(jì)方案”之間的很好對(duì)應(yīng)關(guān)系，就是對(duì)課題實(shí)施質(zhì)量進(jìn)行綜合評(píng)價(jià)的第四個(gè)關(guān)鍵點(diǎn)。

3.4 對(duì)系統(tǒng)評(píng)價(jià)的質(zhì)量進(jìn)行綜合評(píng)價(jià)

3.4.1 對(duì)系統(tǒng)評(píng)價(jià)質(zhì)量進(jìn)行綜合評(píng)價(jià)的概述

可能有相當(dāng)多的人把“Meta分析”當(dāng)作“系統(tǒng)評(píng)價(jià)”的代名詞，這似乎是以點(diǎn)代面的真實(shí)寫照。不言而喻，“Meta分析”就如同傳統(tǒng)綜合評(píng)價(jià)方法一樣，只是眾多統(tǒng)計(jì)分析方法中的很小的一類，它常被排除在“常用統(tǒng)計(jì)分析方法”之外。而“系統(tǒng)評(píng)價(jià)”則不同，它是“在全面收集所有有關(guān)研究的基礎(chǔ)上，對(duì)所有納入的研究逐個(gè)進(jìn)行嚴(yán)格的評(píng)價(jià)，并聯(lián)合所有研究結(jié)果進(jìn)行綜合分析和評(píng)價(jià)，必要時(shí)進(jìn)行Meta分析，以得出盡量客觀、審慎的結(jié)論[4]?！?/p>

由此可知，要想對(duì)系統(tǒng)評(píng)價(jià)的質(zhì)量進(jìn)行綜合評(píng)價(jià)，應(yīng)抓住以下五個(gè)重要方面：第一，檢索文獻(xiàn)所來自數(shù)據(jù)庫的種類和質(zhì)量；第二，檢索文獻(xiàn)語種的數(shù)量、檢索范圍和檢索策略；第三，涉及到的所有同類研究本身的科研設(shè)計(jì)質(zhì)量；第四，涉及到的所有同類研究本身的課題實(shí)施和數(shù)據(jù)分析質(zhì)量；第五，作為“系統(tǒng)評(píng)價(jià)項(xiàng)目”本身涉及到的“條目、一覽表或清單、量表”和“相應(yīng)的質(zhì)量評(píng)估報(bào)告”的質(zhì)量。

3.4.2 用于系統(tǒng)評(píng)價(jià)的文獻(xiàn)來源種類與質(zhì)量

系統(tǒng)評(píng)價(jià)通常是基于眾多同類研究的“文獻(xiàn)研究”，而不是基于系統(tǒng)評(píng)價(jià)者親自開展的試驗(yàn)或調(diào)查或理論推導(dǎo)研究。不難想象，系統(tǒng)評(píng)價(jià)的質(zhì)量與文獻(xiàn)來源的種類與質(zhì)量是密切相關(guān)的。迄今為止，世界上的數(shù)據(jù)庫數(shù)目繁多，各數(shù)據(jù)庫所涉獵的內(nèi)容范圍不盡相同，數(shù)據(jù)庫本身的質(zhì)量也存在差異。所以，對(duì)一個(gè)特定的系統(tǒng)評(píng)價(jià)研究項(xiàng)目而言，其所采用的數(shù)據(jù)庫種類多少與質(zhì)量高低，是對(duì)該系統(tǒng)評(píng)價(jià)項(xiàng)目質(zhì)量的綜合評(píng)價(jià)的第一個(gè)關(guān)鍵點(diǎn)。

3.4.3 用于系統(tǒng)評(píng)價(jià)的具體文獻(xiàn)被提取的依據(jù)

在指定的數(shù)據(jù)庫中，用于進(jìn)行系統(tǒng)評(píng)價(jià)的具體文獻(xiàn)是如何被提取出來的呢？這個(gè)問題取決于檢索文獻(xiàn)的語種、檢索范圍和檢索策略。顯然，所提取的將被用于系統(tǒng)評(píng)價(jià)項(xiàng)目的文獻(xiàn)來自于“語種多、范圍廣和檢索策略的‘智商高’的數(shù)據(jù)庫”是一個(gè)極其重要的前提條件。因此，前述的這些方面就是對(duì)該系統(tǒng)評(píng)價(jià)項(xiàng)目質(zhì)量的綜合評(píng)價(jià)的第二個(gè)關(guān)鍵點(diǎn)。

3.4.4 用于系統(tǒng)評(píng)價(jià)的研究項(xiàng)目本身的設(shè)計(jì)質(zhì)量

不難想象：從所有被檢索出來的文獻(xiàn)中提取信息的質(zhì)量高低，在很大程度上取決于系統(tǒng)評(píng)價(jià)者為該系統(tǒng)評(píng)價(jià)項(xiàng)目所制訂的“設(shè)計(jì)方案”的質(zhì)量。這個(gè)“設(shè)計(jì)方案”不同于為一個(gè)具體的試驗(yàn)或調(diào)查研究項(xiàng)目所制訂的“設(shè)計(jì)方案”，前者的主要內(nèi)容是如何從所檢索到的文獻(xiàn)中提取出能系統(tǒng)全面深入反映源研究項(xiàng)目與“設(shè)計(jì)、實(shí)施、分析和結(jié)論”有關(guān)的重要信息或證據(jù)；而后者的主要內(nèi)容是關(guān)于如何更好地實(shí)現(xiàn)試驗(yàn)或調(diào)查目的所做的一切考慮和安排。所以，評(píng)估用于系統(tǒng)評(píng)價(jià)的研究項(xiàng)目本身的設(shè)計(jì)質(zhì)量(它必須能全面客觀真實(shí)地反映源文獻(xiàn)的科研設(shè)計(jì)質(zhì)量)，就是對(duì)該系統(tǒng)評(píng)價(jià)項(xiàng)目質(zhì)量的綜合評(píng)價(jià)的第三個(gè)關(guān)鍵點(diǎn)。

3.4.5 用于系統(tǒng)評(píng)價(jià)的研究項(xiàng)目本身的實(shí)施和分析質(zhì)量

在此標(biāo)題下需要陳述的很多內(nèi)容與本文“3.4.4節(jié)”類似，篇幅所限，不再贅述。所以，評(píng)估用于系統(tǒng)評(píng)價(jià)的研究項(xiàng)目本身的實(shí)施與分析質(zhì)量(同時(shí)，它還必須能全面客觀真實(shí)地反映源文獻(xiàn)的實(shí)施與分析質(zhì)量)，就是對(duì)該系統(tǒng)評(píng)價(jià)項(xiàng)目質(zhì)量的綜合評(píng)價(jià)的第四個(gè)關(guān)鍵點(diǎn)。

3.4.6 作為系統(tǒng)評(píng)價(jià)項(xiàng)目本身在核心要素上的質(zhì)量

作為一個(gè)系統(tǒng)評(píng)價(jià)研究項(xiàng)目，不可避免地會(huì)用到條目(由單個(gè)條目組成，可能是影響研究結(jié)果的偏倚因素，如分配方案的隱藏、盲法、隨訪結(jié)果及失訪病例的處理方法)、清單或量表(由多個(gè)評(píng)價(jià)研究質(zhì)量和偏倚風(fēng)險(xiǎn)的條目組成，給每個(gè)條目都評(píng)分，能定量地估計(jì)整個(gè)研究的質(zhì)量)。那么，條目或清單或量表在內(nèi)容上、范圍上和核心要素上考慮周到、做到“準(zhǔn)確、全面、簡(jiǎn)練”，就是對(duì)該系統(tǒng)評(píng)價(jià)項(xiàng)目質(zhì)量的綜合評(píng)價(jià)的第五個(gè)關(guān)鍵點(diǎn)。

3.5 如何對(duì)統(tǒng)計(jì)分析的質(zhì)量進(jìn)行綜合評(píng)價(jià)

3.5.1 對(duì)統(tǒng)計(jì)分析質(zhì)量進(jìn)行綜合評(píng)價(jià)的概述

一位有著一輩子豐富經(jīng)驗(yàn)和深厚統(tǒng)計(jì)功底的統(tǒng)計(jì)分析師與一個(gè)初出茅廬且僅學(xué)了一點(diǎn)統(tǒng)計(jì)學(xué)皮毛的統(tǒng)計(jì)分析者都可能會(huì)承擔(dān)十分艱巨和復(fù)雜的統(tǒng)計(jì)分析任務(wù)。那么問題在于：人們?nèi)绾稳ピu(píng)價(jià)一個(gè)研究項(xiàng)目中的統(tǒng)計(jì)分析質(zhì)量的好壞呢？

由一個(gè)研究項(xiàng)目所產(chǎn)生的科研資料，通常，其內(nèi)容是十分豐富的。簡(jiǎn)單地說，它一定是多因素多指標(biāo)的產(chǎn)物。要想對(duì)其進(jìn)行全面、深入的統(tǒng)計(jì)分析，關(guān)鍵要把握好以下幾點(diǎn)：第一，應(yīng)有充分的證據(jù)表明，待分析的科研資料是值得分析的；第二，應(yīng)能全面、系統(tǒng)地診斷出科研資料所具備的前提條件或存在的問題；第三，應(yīng)依據(jù)科研資料所對(duì)應(yīng)的以下諸多方面，合理地選擇一系列對(duì)應(yīng)的具體統(tǒng)計(jì)分析方法。前面提及的諸多方面概括如下：①每項(xiàng)具體統(tǒng)計(jì)分析的目的是什么；②科研資料來自的研究類型、設(shè)計(jì)類型和比較類型分別是什么；③原因變量與結(jié)果變量的性質(zhì)分別是什么；④同時(shí)參與某項(xiàng)具體統(tǒng)計(jì)分析的原因變量與結(jié)果變量的個(gè)數(shù)分別是多少；⑤希望統(tǒng)計(jì)分析結(jié)果的精確度是多高；⑥擬采用的統(tǒng)計(jì)分析軟件的可信度如何；⑦若采用自編統(tǒng)計(jì)軟件，其所依賴的算法本身是否科學(xué)嚴(yán)謹(jǐn)、軟件本身是否可靠。

3.5.2 必須有證據(jù)表明待分析的科研資料是值得分析的

一些人可能會(huì)認(rèn)為：科研資料只要經(jīng)過了統(tǒng)計(jì)分析，其結(jié)論就是可信的。顯然，這是過分夸大了統(tǒng)計(jì)分析的作用。事實(shí)上，正確合理地使用統(tǒng)計(jì)分析方法，只能將已經(jīng)存在于科研資料中的規(guī)律呈現(xiàn)出來，而它絕不可能在根本不存在規(guī)律的科研資料中創(chuàng)造出規(guī)律來。換句話說，只有確實(shí)包含了“客觀規(guī)律”的科研資料，才是值得進(jìn)行統(tǒng)計(jì)分析的，問題是事先如何進(jìn)行判斷呢？

判斷一個(gè)科研項(xiàng)目所產(chǎn)生出的科研資料是否值得進(jìn)行統(tǒng)計(jì)分析的方法是考察在以下幾個(gè)方面是否存在嚴(yán)重的“毛病或硬傷”：①科研設(shè)計(jì)方案中；②課題實(shí)施過程中；③產(chǎn)生和獲取科研資料過程中。在前述的三個(gè)方面，若存在嚴(yán)重的“毛病或硬傷”，其科研資料就是不值得分析的。最常見的不值得分析的科研資料有以下幾種情形[6]：①人為編造的科研資料；②在統(tǒng)計(jì)設(shè)計(jì)的三要素與四原則方面存在嚴(yán)重瑕疵的科研資料；③產(chǎn)生于質(zhì)量控制不嚴(yán)的科研資料；④經(jīng)過錯(cuò)誤方法加工整理后的科研資料；⑤不符合特定統(tǒng)計(jì)分析方法要求的科研資料；⑥缺失數(shù)據(jù)過多的科研資料。

3.5.3 必須有證據(jù)表明待分析的科研資料滿足所選用的統(tǒng)計(jì)分析方法的要求

若某研究項(xiàng)目在以下三個(gè)方面做得很好，有望保證所獲得的科研資料是值得分析的[6]：①制訂出了科學(xué)完善的科研設(shè)計(jì)方案；②按標(biāo)準(zhǔn)操作規(guī)程實(shí)施并嚴(yán)格控制了課題實(shí)施過程中的質(zhì)量；③有實(shí)時(shí)精準(zhǔn)記錄科研資料的規(guī)格化表格或方法。

盡管如此，還要看待分析的科研資料是否滿足所選用的統(tǒng)計(jì)分析方法的要求，因?yàn)楹芏嘟y(tǒng)計(jì)分析方法都是在特定的假設(shè)之下推導(dǎo)出來的。在這些假設(shè)之中，有些是在統(tǒng)計(jì)學(xué)教科書上明確寫出來的，還有一些是隱含的。例如，對(duì)于單因素兩水平設(shè)計(jì)一元定量資料而言，人們最常選用的差異性統(tǒng)計(jì)分析方法是t檢驗(yàn)。然而，t檢驗(yàn)的書面前提條件分別為：獨(dú)立性、正態(tài)性和方差齊性；隱含的兩個(gè)前提條件分別為：①兩組受試對(duì)象在一切非試驗(yàn)因素(包括研究者已觀測(cè)的和未觀測(cè)的)方面均衡可比；②所考查的試驗(yàn)因素與未考查的非試驗(yàn)因素之間的交互作用效應(yīng)不存在或可以忽略不計(jì)。事實(shí)上，在很多人所完成的t檢驗(yàn)中，能滿足前述提及的兩個(gè)隱含前提條件的并不多。

3.5.4 必須有證據(jù)表明所做的各種統(tǒng)計(jì)分析都是無懈可擊的

通常，一個(gè)研究項(xiàng)目對(duì)應(yīng)的全部科研資料(可被稱為全數(shù)據(jù)集)都是相當(dāng)復(fù)雜的，需要根據(jù)不同的分析目的將其進(jìn)行分解形成多個(gè)不同的子數(shù)據(jù)集，再根據(jù)各子數(shù)據(jù)集所對(duì)應(yīng)的具體情況，選擇不同的統(tǒng)計(jì)分析方法對(duì)其進(jìn)行處理。因此，就不可避免地會(huì)涉及到兩個(gè)方面的問題：其一，對(duì)全數(shù)據(jù)集的破分是否科學(xué)合理；其二，所做的全部統(tǒng)計(jì)分析是否系統(tǒng)全面。必須有證據(jù)表明所做的各種統(tǒng)計(jì)分析都是無懈可擊的，才表明對(duì)該研究項(xiàng)目的統(tǒng)計(jì)分析質(zhì)量是令人滿意的。

4 結(jié) 語

綜上所述，廣義綜合評(píng)價(jià)包括的內(nèi)容確實(shí)豐富多彩。從宏觀上來看，可以涵蓋對(duì)人類所做過的任何事或自然界中發(fā)生過的任何事的評(píng)價(jià)；從課題研究角度來看，可以囊括對(duì)科研設(shè)計(jì)、課題實(shí)施和課題驗(yàn)收等環(huán)節(jié)的質(zhì)量評(píng)價(jià)；僅從統(tǒng)計(jì)分析角度來看，綜合評(píng)價(jià)除了包含傳統(tǒng)綜合評(píng)價(jià)方法之外，幾乎可以包括其他所有的統(tǒng)計(jì)分析方法(如差異性分析、相關(guān)與回歸分析、聚類與分類分析等)。

事實(shí)表明，將傳統(tǒng)綜合評(píng)價(jià)拓展為廣義綜合評(píng)價(jià)，還“綜合評(píng)價(jià)”的真面目，至少可以把與統(tǒng)計(jì)學(xué)有關(guān)的所有內(nèi)容整合在一起，使其發(fā)揮“共鳴”“聯(lián)動(dòng)”和“整體”效應(yīng)，對(duì)人們客觀地認(rèn)識(shí)和評(píng)價(jià)事物或現(xiàn)象具有很大的現(xiàn)實(shí)意義。

[1] 胡良平. 科研設(shè)計(jì)與統(tǒng)計(jì)分析[M]. 北京: 軍事醫(yī)學(xué)科學(xué)出版社, 2012: 129-730.

[2] 孫振球. 醫(yī)學(xué)統(tǒng)計(jì)學(xué)[M]. 北京: 人民衛(wèi)生出版社, 2002: 373-396.

[3] 孫頎齡. 中國醫(yī)學(xué)統(tǒng)計(jì)百科全書: 統(tǒng)計(jì)管理與健康統(tǒng)計(jì)分冊(cè)[M]. 北京: 人民衛(wèi)生出版社, 2004: 30-94.

[4] 羅杰, 冷衛(wèi)東. 系統(tǒng)評(píng)價(jià)/Meta分析理論與實(shí)踐[M]. 北京: 軍事醫(yī)學(xué)科學(xué)出版社, 2013: 1-22.

[5] 胡良平. 課題設(shè)計(jì)與數(shù)據(jù)分析—關(guān)鍵技術(shù)與標(biāo)準(zhǔn)模板[M]. 北京: 軍事醫(yī)學(xué)科學(xué)出版社, 2014: 1-51.

[6] 胡良平, 胡純嚴(yán), 鮑曉蕾. 應(yīng)用數(shù)理統(tǒng)計(jì)[M]. 北京: 電子工業(yè)出版社, 2015: 1-36.

(本文編輯：吳俊林)

統(tǒng)計(jì)學(xué)培訓(xùn)通知

北京華斯泰生物醫(yī)學(xué)科技有限公司擬于2017年4月21日-23日在北京冠京飯店(北京市豐臺(tái)區(qū)豐臺(tái)北路79號(hào))舉辦“基于SAS和R軟件的廣義差異性分析實(shí)戰(zhàn)訓(xùn)練培訓(xùn)班”，將邀請(qǐng)具有三十多年統(tǒng)計(jì)學(xué)教學(xué)經(jīng)驗(yàn)的著名統(tǒng)計(jì)學(xué)專家全程授課。與此次統(tǒng)計(jì)學(xué)培訓(xùn)班有關(guān)的詳細(xì)情況和報(bào)名方式請(qǐng)通過下面的網(wǎng)址或郵箱或直接電話咨詢等方式獲取。網(wǎng)址：www.Huasitai.com；E-mail：Training@Huasitai.com；電 話：010-57699287，010-57699286；聯(lián)系人：李老師13366403928，章老師13121195178。

Integrate the study design with the statistical analysis: generalizing comprehensive evaluation

GuoChunxue1,ShenNing1,HuLiangping1,2*

(1.ConsultingCenterofBiomedicalStatistics,AcademyofMilitaryMedicalSciences,Beijing100850,China;2.SpecialtyCommitteeofClinicalScientificResearchStatisticsofWorldFederationofChineseMedicineSocieties,Beijing100029,China*Correspondingauthor:HuLiangping,E-mail:lphu812@sina.com)

This article aimed to introduce a method, entitled generalizing comprehensive evaluation, which integrated the study design with the statistical analysis. The necessity of being awared that the traditional comprehensive evaluation should be expanded to a more generalized level, which takes the following aspects into consideration: some limitations were found out in the traditional comprehensive evaluation method. While application and practice, an increase in demand was seen ranging from study designing, research implementing to quality evaluation of data analysis. Combining common sense with solid specialty background, the authors exemplified how to use this method in study design, implementation, systematic reviews, and the statistical analysis, while the essence of the method was also presented. Moreover, the authors briefly interpreted the concept of the method of generalizing comprehensive evaluation, and the functions and the procedures for practice of the method were further introduced.

Study design; Statistical analysis; Systematical review; Traditional comprehensive evaluation; Generalizing comprehensive evaluation

國家高技術(shù)研究發(fā)展計(jì)劃課題資助(2015AA020102)

R195.1

A

10.11886/j.issn.1007-3256.2017.01.004

2017-02-11)