□文/馬世猛 時(shí) 偉 陳 敏

（石家莊學(xué)院 河北·石家莊）

目前，科學(xué)研究活動(dòng)已成為各個(gè)國(guó)家、地區(qū)、組織以及個(gè)人的重要活動(dòng)，對(duì)科研績(jī)效如何進(jìn)行評(píng)價(jià)則成為大家關(guān)心的問(wèn)題。本文結(jié)合國(guó)內(nèi)外研究成果，對(duì)科研績(jī)效的評(píng)價(jià)方法進(jìn)行系統(tǒng)研究，探討各種方法的適用特點(diǎn)。

一、同行評(píng)議法

同行評(píng)議法，是通過(guò)同行業(yè)的專家進(jìn)行評(píng)價(jià)的定性的方法。它經(jīng)過(guò)不斷的發(fā)展和完善，已成為科研評(píng)價(jià)方法的主要方法之一。

（一）同行專家的選擇。在實(shí)際應(yīng)用時(shí)，最關(guān)鍵也最困難的一環(huán)是同行專家的選擇。隨著科學(xué)發(fā)展的深入和細(xì)化，科學(xué)研究的領(lǐng)域越來(lái)越專深，研究領(lǐng)域的劃分越來(lái)越細(xì)，真正的同行似乎越來(lái)越少；而另一方面，科學(xué)發(fā)展的綜合化趨勢(shì)也在加強(qiáng)，學(xué)科交叉和滲透越來(lái)越普遍。一項(xiàng)科學(xué)研究常常需要多學(xué)科的知識(shí)，要找出具有與研究課題相對(duì)應(yīng)的知識(shí)結(jié)構(gòu)的同行專家也很難。因此，在選擇同行專家時(shí)，應(yīng)考慮被評(píng)價(jià)對(duì)象所涉及的專業(yè)、研究領(lǐng)域等具體方面，要求同行專家人數(shù)要不低于五人，與被評(píng)價(jià)對(duì)象專業(yè)相同且研究領(lǐng)域相同或相近，在其科學(xué)技術(shù)領(lǐng)域和相關(guān)領(lǐng)域的研究發(fā)展態(tài)勢(shì)有相當(dāng)了解，對(duì)學(xué)科前沿有深刻的認(rèn)識(shí)，有較高的業(yè)務(wù)水平和思想素質(zhì)。

（二）同行專家評(píng)議形式與特點(diǎn)

1、通信評(píng)議。即評(píng)價(jià)機(jī)構(gòu)把評(píng)估材料通過(guò)信件或者網(wǎng)絡(luò)寄送給評(píng)議專家，專家獨(dú)立做出書(shū)面判斷，然后將評(píng)議意見(jiàn)反饋給評(píng)價(jià)機(jī)構(gòu)。其主要優(yōu)點(diǎn)是匿名性和保密性好，可以避免人情干擾；專家考慮時(shí)間充裕，意見(jiàn)表達(dá)充分，無(wú)從眾心理和權(quán)威主義的干擾；開(kāi)支少，成本低。主要缺點(diǎn)是不能對(duì)所有申請(qǐng)對(duì)象作比較；無(wú)法與申請(qǐng)人和其他同行交流；回收率無(wú)法保證；評(píng)審周期長(zhǎng)，不利于及時(shí)決策。因此，它適用于所有的科研項(xiàng)目評(píng)審，也適用于文獻(xiàn)形式的科研成果鑒定。

2、會(huì)議評(píng)議。即專家組評(píng)議，指評(píng)價(jià)機(jī)構(gòu)事先把相關(guān)材料寄送給評(píng)議專家，并請(qǐng)專家按指定的時(shí)間和地點(diǎn)參加專家評(píng)審會(huì)，通過(guò)討論和交流，形成集體評(píng)審意見(jiàn)。其主要優(yōu)點(diǎn)是專家意見(jiàn)可以得到充分交流和討論；同類的評(píng)議對(duì)象可以集中評(píng)議，效率高；必要時(shí)評(píng)議對(duì)象可以現(xiàn)場(chǎng)答辯和申訴；評(píng)審周期短，有利于及時(shí)決策。主要缺點(diǎn)是“從眾心理”和權(quán)威的壓力可能影響會(huì)議的民主；專家彼此見(jiàn)面，保密性相對(duì)減弱；評(píng)議費(fèi)用較高；有的專家可能不能在指定時(shí)間、地點(diǎn)出席，從而影響代表性。它較適用于項(xiàng)目的集中評(píng)審、重大項(xiàng)目和有爭(zhēng)議項(xiàng)目的評(píng)審。

3、調(diào)查評(píng)議。如果評(píng)價(jià)機(jī)構(gòu)組織專家到現(xiàn)場(chǎng)調(diào)查、了解，然后給出評(píng)價(jià)意見(jiàn)。其主要優(yōu)點(diǎn)是可以實(shí)地調(diào)查、現(xiàn)場(chǎng)評(píng)議，客觀性強(qiáng)；主要缺點(diǎn)是需要花費(fèi)較多時(shí)間和費(fèi)用，成本較高。它適用于研究機(jī)構(gòu)的評(píng)估和資金投入較大的重大研究項(xiàng)目的評(píng)審。

4、組合評(píng)議。就是根據(jù)評(píng)價(jià)工作的需要，將上述三種方法中的某幾種組合起來(lái)進(jìn)行評(píng)價(jià)的方法。

二、德?tīng)柗品?/h2>

德?tīng)柗品ㄊ窃u(píng)價(jià)機(jī)構(gòu)針對(duì)特定問(wèn)題，采用專家匿名發(fā)表意見(jiàn)的方式，專家之間不得互相討論，不發(fā)生橫向聯(lián)系，只能與調(diào)查人員發(fā)生關(guān)系，通過(guò)多輪次調(diào)查專家對(duì)問(wèn)卷所提問(wèn)題的看法，經(jīng)過(guò)反復(fù)征詢、反饋、修改和歸納，最后匯總成專家基本一致的看法，作為專家調(diào)查的結(jié)果。它作為一種主觀、定性的方法，可以有效地消除成員間的相互影響，可以充分發(fā)揮專家們的智慧、知識(shí)和經(jīng)驗(yàn)，在科研評(píng)價(jià)以及各種評(píng)價(jià)指標(biāo)體系指標(biāo)權(quán)重的設(shè)置等工作中有廣泛的應(yīng)用。

（一）德?tīng)柗品▎?wèn)卷設(shè)計(jì)。在第一輪調(diào)查開(kāi)始時(shí)，設(shè)計(jì)專家調(diào)查表是一件非常重要的事情。專家調(diào)查表設(shè)計(jì)的好壞，直接關(guān)系著調(diào)查結(jié)果的優(yōu)劣。在制定調(diào)查表時(shí)，應(yīng)該注意以下幾點(diǎn)：1、對(duì)德?tīng)柗品ㄗ龀龊?jiǎn)要說(shuō)明。在調(diào)查表的前面，應(yīng)該簡(jiǎn)要說(shuō)明調(diào)查背景和目的、專家在調(diào)查中所起的作用，以便使專家全面了解情況。此外，對(duì)德?tīng)柗品ǖ某绦蚝鸵?guī)則也應(yīng)作簡(jiǎn)要說(shuō)明；2、背景材料要全面而精煉。背景材料一般多是客觀事實(shí)，且應(yīng)該與問(wèn)題及目標(biāo)密切相關(guān)，以有利于專家做出判斷；3、問(wèn)題要有針對(duì)性，要由淺入深，從易到難，使專家容易接受；4、每個(gè)句子所含的問(wèn)題要單一，避免組合問(wèn)題；5、用詞要確切。所列問(wèn)題應(yīng)該明確，含義不能模糊；6、調(diào)查表要簡(jiǎn)潔明了。調(diào)查表應(yīng)有助于專家迅速理解問(wèn)題，做出評(píng)價(jià)；7、問(wèn)題數(shù)量不應(yīng)該太多。如果對(duì)問(wèn)題只要求做出簡(jiǎn)單回答，問(wèn)題的數(shù)量可適當(dāng)多些；如果問(wèn)題比較復(fù)雜，則數(shù)量可以少些。一般認(rèn)為，問(wèn)題的數(shù)量上限以25個(gè)為宜。

（二）德?tīng)柗品ǖ臄?shù)據(jù)處理。德?tīng)柗品ㄓ糜诳蒲性u(píng)價(jià)一般是請(qǐng)專家對(duì)不同指標(biāo)或者研究項(xiàng)目確定權(quán)重或者等級(jí)，相應(yīng)的量化方法也可以分為兩種：一種是量化打分，一種是等級(jí)打分。在對(duì)不同專家的數(shù)據(jù)進(jìn)行處理時(shí)，如果組織者對(duì)專家情況較為了解，可以根據(jù)專家對(duì)評(píng)價(jià)對(duì)象的了解情況對(duì)不同專家的數(shù)據(jù)人工確定不同權(quán)重；也可以在發(fā)送問(wèn)卷的同時(shí)發(fā)送專家調(diào)查表，根據(jù)返回的信息確定權(quán)重；也可以對(duì)所有專家采取相同權(quán)重。調(diào)查問(wèn)卷回收后常常需要用統(tǒng)計(jì)方法對(duì)專家的打分結(jié)果進(jìn)行處理。一般來(lái)說(shuō)，用來(lái)總結(jié)和描述專家意見(jiàn)的常用統(tǒng)計(jì)量有秩和、均值、眾數(shù)、中位數(shù)、上四分位數(shù)和下四分位數(shù)等。

（三）德?tīng)柗品ǖ倪m用范圍。由于德?tīng)柗品ň哂屑紡V益，發(fā)揮專家優(yōu)點(diǎn)，使專家既可吸取其他專家的意見(jiàn)，進(jìn)行修正，又不受權(quán)威影響，結(jié)果宜合理。同時(shí)，德?tīng)柗品ǖ闹饕秉c(diǎn)是過(guò)程比較復(fù)雜，征詢意見(jiàn)的時(shí)間較長(zhǎng)。因此，德?tīng)柗品ǜm合周期較長(zhǎng)的大型評(píng)價(jià)項(xiàng)目的咨詢，而很難滿足一些評(píng)價(jià)周期較短、需要較快得出判斷結(jié)論的科研評(píng)價(jià)活動(dòng)的要求。

三、文獻(xiàn)計(jì)量法

文獻(xiàn)計(jì)量方法是指利用出版物、專利、引文等科技績(jī)效指標(biāo)進(jìn)行科研評(píng)價(jià)的一種定量評(píng)價(jià)方法，主要包括論文、著作、學(xué)術(shù)報(bào)告、引文、課題、專利等。其中，論文和引文是較為常用的計(jì)量指標(biāo)，這兩項(xiàng)指標(biāo)易于統(tǒng)計(jì)和核實(shí)，因而受到了研究者和科研管理部門(mén)的普遍青睞。論文和引文指標(biāo)分析的常用數(shù)據(jù)源是：美國(guó)科學(xué)信息研究所的科學(xué)引文索引（SCI）數(shù)據(jù)庫(kù)、社會(huì)科學(xué)引文索引（SSCI）數(shù)據(jù)庫(kù)、科技會(huì)議錄索引（ISTP）數(shù)據(jù)庫(kù)與科學(xué)評(píng)論索引（ISR）。SCI主要針對(duì)基礎(chǔ)科學(xué)；SSCI主要針對(duì)不同國(guó)家和地區(qū)的社會(huì)科學(xué)期刊和論文；ISTP主要針對(duì)的是國(guó)際會(huì)議論文。美國(guó)工程信息公司的工程引文索引（EI）數(shù)據(jù)庫(kù)，主要針對(duì)的是機(jī)械、制造、土木、冶金、材料等工程技術(shù)領(lǐng)域。ISR主要針對(duì)的是綜述評(píng)論方面的論文。

我國(guó)國(guó)內(nèi)論文和引文的常用統(tǒng)計(jì)源有中國(guó)科技信息研究所研制的“中國(guó)科技論文統(tǒng)計(jì)與引文分析數(shù)據(jù)庫(kù)”（CSTPC）、中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心的中國(guó)科學(xué)引文數(shù)據(jù)庫(kù)（CSCD）、南京大學(xué)的中國(guó)社會(huì)科學(xué)引文索引（CSSCI）和中國(guó)社會(huì)科學(xué)院文獻(xiàn)情報(bào)中心研制的中國(guó)人文社會(huì)科學(xué)引文數(shù)據(jù)庫(kù)等。

在科研績(jī)效評(píng)價(jià)中，對(duì)文獻(xiàn)計(jì)量指標(biāo)的量化分析也是非常重要的，一些常用計(jì)量指標(biāo)有：1、引文量：指引用文獻(xiàn)所擁有的被引文獻(xiàn)的數(shù)量。它是研究文獻(xiàn)被利用的程度和廣度的重要參量；2、被引頻次：指特定文獻(xiàn)或者某評(píng)價(jià)對(duì)象（可以是科研人員、學(xué)術(shù)期刊、研究機(jī)構(gòu)甚至特定地區(qū)和國(guó)家）所生產(chǎn)的文獻(xiàn)在某一時(shí)間段的被引次數(shù)；3、即年指標(biāo)：是指文章發(fā)表當(dāng)年期刊的平均被引用數(shù)。它是衡量一種期刊被其他期刊引用速度的指標(biāo)；4、影響因子：是一種期刊論文的平均被引率；5、學(xué)科影響因子：學(xué)科影響因子與影響因子的計(jì)算方法類似，不同的是，影響因子是測(cè)度某一給定期刊中論文的平均被引次數(shù)，而學(xué)科影響因子則是測(cè)度某刊中論文被某一學(xué)科的核心期刊所引用的平均次數(shù)。

雖然文獻(xiàn)計(jì)量指標(biāo)的確可以用于科研評(píng)價(jià)的各個(gè)層次，但在不同層次、不同目的的評(píng)價(jià)中，對(duì)文獻(xiàn)計(jì)量指標(biāo)的使用方式應(yīng)該是有嚴(yán)格區(qū)分的。具體說(shuō)來(lái)，在國(guó)家、地區(qū)科研狀況評(píng)估等宏觀評(píng)價(jià)活動(dòng)中，文獻(xiàn)計(jì)量指標(biāo)和方法可以作為主要的評(píng)價(jià)手段，并輔之以專家的定性分析；在諸如科研人員評(píng)價(jià)等微觀評(píng)價(jià)中，文獻(xiàn)計(jì)量指標(biāo)和方法則只能作為輔助手段，而應(yīng)該以同行評(píng)議為主。

四、綜合評(píng)價(jià)法

綜合評(píng)價(jià)法又稱系統(tǒng)評(píng)價(jià)法，是將評(píng)價(jià)對(duì)象看作一個(gè)系統(tǒng)，對(duì)該對(duì)象的屬性的多個(gè)指標(biāo)進(jìn)行評(píng)價(jià)，從而得出該評(píng)價(jià)對(duì)象的整體結(jié)果。在科研績(jī)效評(píng)價(jià)中，由于評(píng)價(jià)對(duì)象的復(fù)雜性，層面的多樣性，單一的指標(biāo)很難體現(xiàn)評(píng)價(jià)對(duì)象的整體情況，因此綜合評(píng)價(jià)法更有其優(yōu)勢(shì)。

（一）層次分析法。它是把一個(gè)復(fù)雜問(wèn)題分解成若干組成因素，并按支配關(guān)系形成層次結(jié)構(gòu)，然后應(yīng)用兩兩比較的方法確定各因素（包括指標(biāo)和方案）的相對(duì)重要性，然后計(jì)算各因素的權(quán)重，并以此為基礎(chǔ)實(shí)現(xiàn)對(duì)不同決策方案的排序。層次分析法簡(jiǎn)便、靈活而又實(shí)用，是一種系統(tǒng)化、層次化的分析方法，它為復(fù)雜評(píng)價(jià)問(wèn)題的決策和排序提供了一種簡(jiǎn)潔實(shí)用的建模方法。

（二）模糊評(píng)價(jià)法。它是通過(guò)建立隸屬函數(shù)、模糊關(guān)系矩陣，可以較好地解決系統(tǒng)評(píng)價(jià)中由于對(duì)象概念本身不夠清晰引起的模糊性問(wèn)題（如事物類屬間的不清晰性，評(píng)價(jià)專家認(rèn)識(shí)上的模糊性等），是對(duì)涉及模糊因素的對(duì)象進(jìn)行系統(tǒng)評(píng)價(jià)的有力工具。它的基本思想是：應(yīng)用模糊關(guān)系合成的原理，根據(jù)多個(gè)因素對(duì)被評(píng)價(jià)對(duì)象本身存在的性態(tài)或類屬上的亦此亦彼性，從數(shù)量上對(duì)其所屬程度給予刻畫(huà)和描述。該方法適用于樣本數(shù)據(jù)中含大量模糊指標(biāo)的現(xiàn)象的評(píng)價(jià)，不足之處是評(píng)價(jià)過(guò)程本身不能解決評(píng)價(jià)指標(biāo)間相關(guān)造成的評(píng)價(jià)信息重復(fù)問(wèn)題。

（三）主成分分析法。它是利用多元統(tǒng)計(jì)分析及線性代數(shù)的知識(shí)，把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)的一種數(shù)理統(tǒng)計(jì)方法。其基本思想是用少數(shù)幾個(gè)彼此不相關(guān)的新指標(biāo)代替原來(lái)為數(shù)較多的彼此有一定相關(guān)關(guān)系的指標(biāo)。同時(shí)又盡可能多地反映原來(lái)指標(biāo)的信息量。作為一種定量分析方法，主成分分析克服了專家評(píng)價(jià)法、層次分析法等定性方法因受到人為因素的影響，夸大或降低某些指標(biāo)的作用的弊端；消除評(píng)價(jià)指標(biāo)之間的相關(guān)性；減少指標(biāo)選擇的工作量；采用信息量權(quán)數(shù)，有助于客觀地反映樣本間的現(xiàn)實(shí)關(guān)系。但由于同一被評(píng)價(jià)對(duì)象在不同樣本集合中的均值和離散程度不同，所以這種方法綜合評(píng)價(jià)結(jié)果不穩(wěn)定。

（四）數(shù)據(jù)包絡(luò)分析法。它是一種進(jìn)行多目標(biāo)決策的系統(tǒng)分析方法，特別適用于多輸入多輸出的復(fù)雜系統(tǒng)。DEA方法以相對(duì)效率概念為基礎(chǔ)，以凸分析和線形規(guī)劃為工具的一種評(píng)價(jià)方法，應(yīng)用數(shù)學(xué)規(guī)劃模型計(jì)算、比較決策單元之間的相對(duì)效率，對(duì)評(píng)價(jià)對(duì)象做出評(píng)價(jià)，它能充分考慮對(duì)于決策單元本身最優(yōu)的投入產(chǎn)出方案，因而能夠更理想地反映評(píng)價(jià)對(duì)象自身的信息和特點(diǎn)；同時(shí)對(duì)于評(píng)價(jià)復(fù)雜系統(tǒng)的多投入多產(chǎn)出分析具有獨(dú)到之處，適用于多輸出-多輸入的有效性綜合評(píng)價(jià)問(wèn)題，在處理多輸出-多輸入的有效性評(píng)價(jià)方面具有絕對(duì)優(yōu)勢(shì)。DEA方法并不直接對(duì)數(shù)據(jù)進(jìn)行綜合評(píng)價(jià)，因此決策單元的最優(yōu)效率指標(biāo)與投入指標(biāo)值及產(chǎn)出指標(biāo)值的量綱選取無(wú)關(guān)，應(yīng)用DEA方法建立模型前無(wú)須對(duì)數(shù)據(jù)進(jìn)行無(wú)量綱化處理。

［1］張蕾.高校科研績(jī)效評(píng)價(jià)方法研究與開(kāi)發(fā).南京理工大學(xué)，2010.

［2］劉莉.歐洲各國(guó)大學(xué)科研評(píng)價(jià)及其啟示.高教管理，2005.

［3］陳敬全.科研評(píng)價(jià)方法與實(shí)證研究.武漢大學(xué)博士學(xué)位論文，2004.