王鑫哲，王應(yīng)寬，肖振紅

(1. 哈爾濱工程大學(xué)經(jīng)濟(jì)管理學(xué)院，哈爾濱市，150001； 2. 農(nóng)業(yè)農(nóng)村部規(guī)劃設(shè)計研究院，北京市，100125； 3. 中國農(nóng)業(yè)工程學(xué)會，北京市，100125)

0 引言

2018年7月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于深化項目評審、人才評價、機(jī)構(gòu)評估改革的意見》(以下簡稱《意見》)[1]，要求各地區(qū)各部門結(jié)合實際認(rèn)真貫徹落實?！兑庖姟诽岢觯阂钊胪七M(jìn)“三評”改革，進(jìn)一步優(yōu)化科研項目評審管理機(jī)制、改進(jìn)科技人才評價方式、完善科研機(jī)構(gòu)評估制度、加強(qiáng)監(jiān)督評估和科研誠信體系建設(shè)?！兑庖姟分赋觯喝瞬旁u價指標(biāo)要突出品德、能力、業(yè)績導(dǎo)向，克服唯論文、唯職稱、唯學(xué)歷、唯獎項的“四唯”傾向。要求推行代表作評價制度，注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)與影響。《意見》要求，在科技評價中應(yīng)把學(xué)科領(lǐng)域活躍度和影響力、在重要學(xué)術(shù)組織或期刊任職、所研發(fā)成果的原創(chuàng)性、科研成果轉(zhuǎn)化的效益、科技服務(wù)的滿意度等作為重要評價指標(biāo)[1-2]。為更好地推進(jìn)中國科技評價制度改革，有必要學(xué)習(xí)借鑒國際上在科研評價方面的方法成果。研究借鑒國外科學(xué)合理的科研評價體系，為我國正在推進(jìn)的“三評價”改革提供參考依據(jù)，對推動中國的科技創(chuàng)新、提升科研質(zhì)量和國際影響力等具有重要的理論意義和應(yīng)用價值。

中國科研評價長期以來存在不少的弊病，如重數(shù)量輕質(zhì)量，評價指標(biāo)單一，評價簡單化，人情因素影響大，主觀性強(qiáng)，注重個人業(yè)績等。如何全面深化科技體制改革，特別是做好科研的評價和評估，以及科研經(jīng)費分配和監(jiān)管方面的工作，迫在眉睫。因此，如何借鑒國際經(jīng)驗，通過深化科研評估改革來加強(qiáng)科技創(chuàng)新，提升科研的質(zhì)量、影響和國際競爭力，成為當(dāng)前科研領(lǐng)域的重要問題[3-5]。經(jīng)過多次調(diào)整、改進(jìn)與優(yōu)化后的英國科研卓越框架(Research Excellence Framework，REF)已經(jīng)投入應(yīng)用，已經(jīng)并正在對英國高等院校的科研事業(yè)產(chǎn)生重大影響。但由于科研評估是一項涉及面很廣的較為復(fù)雜體系，是一項系統(tǒng)工程。并且，REF在目前以及將來的實際評估實踐中還可能會出現(xiàn)一些問題或不足，因此，我們在學(xué)習(xí)借鑒英國科研評估改革經(jīng)驗的時候，需要根據(jù)實際情況去粗取精，去偽存真，洋為中用，批判性的借鑒其科學(xué)合理的內(nèi)容，來探索推動我國高校與科研機(jī)構(gòu)科研評估工作的完善和發(fā)展，以此完善我國高?？蒲性u價與管理，激勵科技創(chuàng)新，增強(qiáng)科研質(zhì)量、實力與競爭力，以及提升將科研成果轉(zhuǎn)化為現(xiàn)實生產(chǎn)力的能力，進(jìn)而促進(jìn)我國科技、經(jīng)濟(jì)與社會又好又快的發(fā)展[3-7]。

由于英國在科技評價領(lǐng)域的探索和領(lǐng)先，給世界各國提供了參考，對其他國家的科技評價指標(biāo)體系建立影響巨大，可借鑒性多。因此，本研究選取科研評估考核(RAE評估)、科研卓越評估框架(REF評估)以及REF評估對RAE評估的繼承與發(fā)展作為研究對象，重點研究英國高?？蒲性u估的新進(jìn)展，即REF科研卓越評估框架的指標(biāo)體系與評估實施情況[3]。以往研究較多的仍是聚焦2008年之前(包括2008年)實行的RAE評估(科研評估檢查)，而對REF系統(tǒng)深入的研究較少，特別是對REF評估和RAE評估的比較研究較少，以及結(jié)合中國當(dāng)前科技評價實際提出針對性的政策建議的報道也不多。本文通過對英國高?？蒲性u估REF評估的特點、具體實施和對英國高等教育產(chǎn)生的影響，期望為我國當(dāng)前項目評審、人才評價和機(jī)構(gòu)評估，以及科研項目經(jīng)費的分配等提供參考借鑒。

1 英國科研質(zhì)量評估體系的演變

國外在學(xué)術(shù)評價方面起步較早，成果豐富，相繼提出了很多評價指標(biāo)，建立了很多評價模型。目前常用的評價方法，包括同行評審法，文獻(xiàn)計量法，科學(xué)計量學(xué)方法，經(jīng)濟(jì)分析法，引用法，效益分析法，案例分析法等，均出自國外科學(xué)家[8-10]。在此不去梳理這些評價方法的淵源，重點綜述近幾年國外在科技評價方面的新進(jìn)展。近幾十年，世界各國都非常重視科技發(fā)展，也都探索出了很多有關(guān)科技評價的方法。而大多數(shù)的評價方法均是基于科技文獻(xiàn)信息計量學(xué)的，相關(guān)的方法主要有[8, 11-12]：(1)科研成果計量；(2)科研發(fā)現(xiàn)計量；(3)信息計量學(xué)；(4)網(wǎng)絡(luò)計量學(xué)；(5)科學(xué)計量學(xué)2.0；(6)單篇論文計量評價；(7)替代計量學(xué):其興起是單篇論文計量評價、科研成果計量、科研發(fā)現(xiàn)計量、科學(xué)計量學(xué)2.0等眾多研究的綜合，與科學(xué)交流的網(wǎng)絡(luò)化密切相關(guān)；(8)期刊影響因子法；(9)總被引頻次法；(10)H指數(shù)法(ET指數(shù)法)；(11)綜合評價法；(12)其他評價法。

以上方法各有優(yōu)缺點，在實際的科研評價與考核中均有不同程度的采納。但本文要研究的是目前在國際上頗具影響力和廣為采納的評價方法——英國科研評估考核(Research Assessment Exercise，簡稱RAE)與科研卓越評估框架(Research Excellence Framework，簡稱REF)。

第二次世界大戰(zhàn)之后，英國政府充分認(rèn)識到科學(xué)技術(shù)的重要性，開始改革英國高等教育。英國政府加強(qiáng)了對高等教育的管理，加強(qiáng)大學(xué)與工商業(yè)界的合作，以更好地適應(yīng)社會需求。英國政府一直都很重視對高校的科研撥款，使得英國高校的科研水平一直處于世界前列，極大地促進(jìn)了英國科技、經(jīng)濟(jì)和社會的發(fā)展。英國經(jīng)濟(jì)的快速發(fā)展和科技的進(jìn)步，引起對高校科研的廣泛關(guān)注，特別關(guān)注高?？蒲谐晒a(chǎn)出的數(shù)量和質(zhì)量，同時也在探索如何更好地評判高校產(chǎn)出的科研成果。高等院校、政府機(jī)構(gòu)與市場主體三者的利益博弈及三者之間相互影響的新型關(guān)系，促使政府機(jī)構(gòu)改變了對高校科研評估的撥款方式，逐步建立和完善了英國高?？蒲性u估制度體系。為了提高政府科研撥款的透明度和科研資金的使用效率，英國高?？蒲性u估體系應(yīng)運(yùn)而生[3, 7, 13]。英國高?？蒲性u估工作在2008年之前統(tǒng)稱為科研評估考核[10, 14]。自2008年開始實施之后的十多年來取得了顯著成效，客觀上有力地推動了英國高?？蒲兴降奶岣?，高校之間的學(xué)術(shù)競爭加劇，但也暴露了評價方法存在的一些問題，例如評估機(jī)構(gòu)臃腫、評估成本過高等。英國政府不斷地改進(jìn)科研評估模式，并決定自2014年之后采用一套成本較低、程序精簡、高效易行的基于量化指標(biāo)的評估框架——科研卓越框架REF來取代RAE[15-16]。專家大都認(rèn)為，啟用改進(jìn)后的科研卓越框架法是英國政府對高等教育宏觀調(diào)控的重要舉措，也體現(xiàn)了英國科研評估的革新思想。REF現(xiàn)已成為評價英國高?？蒲匈|(zhì)量及高校獲取科研經(jīng)費的主要方法，同時也是英國高校獲取科研經(jīng)費的重要參考指標(biāo)[3-6, 17]。

1.1 英國高?？蒲性u估考核(RAE)

為了保證高?？蒲谢顒雍统晒|(zhì)量以及科研經(jīng)費的有效使用，英國1986年開始面向大學(xué)實施科研評估考核制度，在這個制度下，英國高等教育撥款委員會對英國高校科研活動的質(zhì)量進(jìn)行綜合評估和評價，每3～5年評估一次，評估的結(jié)果直接決定高?？蒲锌冃Э己撕驼畬Ω咝？蒲谢顒拥膿芸顢?shù)額[18-19]。這個制度是由英格蘭高等教育撥款委員會(Higher Education Funding Council for England, HEFCE)、蘇格蘭撥款委員會 (Scottish Funding Council, SFC)、威爾士高等教育撥款委員會 (Higher Ed (Higher Education Funding Council for Wales，HEFCW)和北愛爾蘭學(xué)習(xí)就業(yè)部 (Department of Employment and Learning，Northern Ireland，DEL)聯(lián)合組織實施的[20]。

每個學(xué)科領(lǐng)域提交給RAE的材料由其所在領(lǐng)域的專家同行評審小組給出等級，等級排名用于為每個高等教育機(jī)構(gòu)從其國家撥款委員會收到的質(zhì)量加權(quán)研究經(jīng)費(QR)的分配提供信息。2008年RAE評估采用4分法評價研究質(zhì)量，主要從研究產(chǎn)出(主要是期刊論文和會議論文)、科研環(huán)境與聲望指數(shù)三個方面進(jìn)行評價。研究質(zhì)量分為五個等級，分別為：世界領(lǐng)先(4)；國際優(yōu)秀(3)；國際認(rèn)可(2)；國內(nèi)認(rèn)可(1)；低于國內(nèi)認(rèn)可的質(zhì)量水平則不予評級或不合格[3, 7, 10]。

評估分別于1986年、1989年、1992年、1996年、2001年、2008年進(jìn)行并公布結(jié)果。評估結(jié)果如下(共分5個等級)：低于國內(nèi)認(rèn)可的質(zhì)量(等級1)、將近一半科研成果達(dá)到國內(nèi)認(rèn)可的質(zhì)量(等級2)、超過一半或者三分之二的成果達(dá)到國內(nèi)認(rèn)可的質(zhì)量甚至可能達(dá)到國際水平(等級3)、全部成果達(dá)到國內(nèi)認(rèn)可的質(zhì)量而且有一些達(dá)到國際水平(等級4)、一半或一半以上成果達(dá)到國際水平且其余內(nèi)容達(dá)到國內(nèi)認(rèn)可的水平(等級5)，即級別越高說明科研活動的質(zhì)量越高，相應(yīng)獲得的科研經(jīng)費額度也就越高[7,10]。

RAE制度的評估注重科研成果(主要是在學(xué)術(shù)期刊發(fā)表的論文和會議成果)的質(zhì)量、科研環(huán)境和認(rèn)可度(或聲譽(yù))[10, 21]。每個領(lǐng)域的專家評審小組在一個通用指南的指導(dǎo)下制定出確切的評審規(guī)則。

RAE制度也存在一些問題，例如該制度明顯忽視了許多兼職研究者的出版成果，這些兼職研究者基于固定期限合同而工作的；根據(jù)RAE 2008指南，大多數(shù)研究助理“沒有資格被列為研究活躍型人員”[10]；專家小組是否具備評估研究成果質(zhì)量的必要專業(yè)知識是值得懷疑的，因為專家們在其專業(yè)領(lǐng)域之外表現(xiàn)得不那么好[10]等。

鑒于之前RAE評估體系受到的批評以及就業(yè)法的發(fā)展，2008年RAE更多地考慮到兼職人員或那些剛剛獲得足夠資歷的人員參與這項評估[18, 22]。

1.2 英國科研卓越框架法(REF)

RAE評估體系對推動英國高?？蒲兴狡鸬搅酥匾淖饔?，但是其存在的一些問題推動英國政府對科研評估體系先后進(jìn)行了六次改革，2009年建立了“科研卓越框架”，一個評估英國高等教育機(jī)構(gòu)研究質(zhì)量的新系統(tǒng)[15, 23]。REF由位于HEFCE的REF團(tuán)隊代表四個英國高等教育資助機(jī)構(gòu)管理，并由REF指導(dǎo)小組監(jiān)督，該小組由四個資助機(jī)構(gòu)的代表組成[24-25]。2014年REF的實施標(biāo)志著REF體系正式取代了RAE體系。

2014年REF評價2008—2013年期間執(zhí)行的科研項目成果，主要目的是評估各機(jī)構(gòu)提交材料的研究質(zhì)量，并為各機(jī)構(gòu)提交的每份材料產(chǎn)生評估結(jié)果[15]：(1)四個高等教育資助機(jī)構(gòu)將利用評估結(jié)果，為其資助的機(jī)構(gòu)選擇性地分配研究經(jīng)費提供信息，從2015—2016年生效。(2)該評估為公共研究投資提供了問責(zé)制，并提供了這項投資所產(chǎn)生益處的證據(jù)。(3)評估結(jié)果提供基準(zhǔn)信息并建立聲譽(yù)標(biāo)準(zhǔn)，供高等教育部門和公共信息使用。

REF評價體系主要特點包括以下方面[15, 26-30]：(1)1個前提：成果數(shù)據(jù)充足。專家同行評審必須在這個前提下進(jìn)行。(2)2類評價方法：定性評價和定量評價相結(jié)合[29]。(3)3個原則：原創(chuàng)性、重要性和精確性。(4)3個質(zhì)量評價指標(biāo)：科研產(chǎn)出、科研影響和科研環(huán)境，三者的權(quán)重分別為65%、20%和15%。科研產(chǎn)出按照創(chuàng)新性、重要性和精確性評價(4星級和不合格不予評級)；科研影響，按照提交案例分析報告的普遍性和重要性進(jìn)行評分(顯著影響、非常可觀的影響、相當(dāng)大的影響、認(rèn)可但適度的影響，對于影響小與沒有重要性和普遍性的研究不予評級或不合格)?？蒲协h(huán)境，主要評價科研機(jī)構(gòu)的生命力和可持續(xù)性(能提供有利于產(chǎn)出“世界領(lǐng)先”研究成果的環(huán)境、能提供有利于產(chǎn)出國際優(yōu)秀科研成果的環(huán)境、有利于產(chǎn)出國際認(rèn)可科研成果的環(huán)境、有利于產(chǎn)出國內(nèi)認(rèn)可科研成果的環(huán)境、不能提供產(chǎn)出國內(nèi)認(rèn)可質(zhì)量科研成果環(huán)境的機(jī)構(gòu)則不予評級或不合格)。(5)5級評價層次：從1級到5級的層次分別為不合格不予評價、國內(nèi)認(rèn)可、國際認(rèn)可、科研水平國際優(yōu)秀、世界領(lǐng)先。

根據(jù)上述原則、指標(biāo)和權(quán)重，加權(quán)計算總分，再提交專家委員會進(jìn)行同行評審，根據(jù)結(jié)果對申請科研經(jīng)費的機(jī)構(gòu)和個人進(jìn)行排序。這種評價方法把定性與定量評價有機(jī)結(jié)合起來，兼顧主客觀因素，結(jié)果相對科學(xué)合理，值得學(xué)習(xí)借鑒。

英國現(xiàn)行高校科研評估體系具有凸顯高?？蒲凶吭叫院蜕鐣绊懥Α⒐膭顖F(tuán)隊合作研究、強(qiáng)化評估結(jié)果可信度和注重成果質(zhì)量評價等特點[20, 31-32]。

REF延續(xù)了RAE的可取之處，但是在形式上更簡化、效率更高[3, 7, 10, 15, 29]。

1) REF是基于指標(biāo)的系統(tǒng)評估。RAE的三項基本指標(biāo)分別是：科研成果、科研環(huán)境、科研聲譽(yù)。REF2014科研評估將基本指標(biāo)調(diào)整為“科研成果、科研影響、科研環(huán)境”，更強(qiáng)調(diào)科研的影響力。

2) 精簡評估單元。REF2014基于學(xué)科設(shè)置評估單元與專家小組，將RAE2008中67個次評估小組(sub-panel)和評估單元(Units of Assessment)整合為36個次評估小組及評估單元。將原來的15個主評估小組(main panel)調(diào)整為A、B、C、D四個主評估小組。主評估小組指導(dǎo)次評估小組開展工作。評估小組的專家經(jīng)過嚴(yán)格的程序公開評選確定，具有控制、管理、評估高質(zhì)量研究方面的經(jīng)驗，能夠從個人、公共部門和第三部門進(jìn)行研究影響力方面的評估。評估單元的精簡降低了科研的評估成本，簡化了科研評估的行政管理手續(xù)。

3) 評估方式的調(diào)整。REF評估采用同行專家評估為主、定量評估為輔的評估方式，比RAE更強(qiáng)調(diào)科研卓越性與創(chuàng)新性的評估標(biāo)準(zhǔn)。

4) 簡化參評人員類型。RAE2008將參評人員分為A、B、C、D四類，四類參評人員全部可以向科研評估機(jī)構(gòu)提交相關(guān)材料，但一些參評人員是否真正進(jìn)行了科研活動受到了質(zhì)疑，因而科研質(zhì)量的評價也受到了質(zhì)疑。REF2014將RAE中的四類參評人員簡化為兩類：一類是相關(guān)機(jī)構(gòu)的專職人員，他們與所在機(jī)構(gòu)簽署了正式聘用合同并在該機(jī)構(gòu)擁有人事檔案；一類是相關(guān)機(jī)構(gòu)的兼職人員，他們被受評機(jī)構(gòu)聘用從事研究活動，但是他們的人事資料不在受評機(jī)構(gòu)[4, 15]。

1.3 英國科研影響評分系統(tǒng)(RAISS)

英國的蘭德/關(guān)節(jié)炎研究運(yùn)動科研影響評分系統(tǒng)(RAND/ARC Impact Scoring System，RAISS)是世界上首個嘗試基于指標(biāo)評價的方法，采用問卷形式，由研究者回答150個潛在的研究影響。該方法屬于行業(yè)科研評價系統(tǒng)，用于關(guān)節(jié)炎研究基金項目的評審[17]。RAISS是基于誠信的自評價系統(tǒng)，在科研項目績效評價中被廣泛采用，由非盈利的研究機(jī)構(gòu)蘭德歐洲公司(RAND Europe)和英國的一個醫(yī)學(xué)研究慈善機(jī)構(gòu)——關(guān)節(jié)炎運(yùn)動組織(Arthritis Research Campaign，ARC)于2006年開始開發(fā)，于2008年使用以取代ARC的基金項目結(jié)題報告系統(tǒng)(ARC’s end-of-grant reporting system)。該方法特別強(qiáng)調(diào)更廣泛的影響，如提高研究能力、政策和衛(wèi)生干預(yù)的效果[33]。

1.3.1 RAISS的背景

RAISS產(chǎn)生的背景有以下幾個方面[17, 34]。

1) ARC的基金項目結(jié)題報告系統(tǒng)需要收集大量信息，而且信息收集是以一種相對非結(jié)構(gòu)化的方式進(jìn)行，因此很難進(jìn)行分析。ARC決定采用新的評價體系，新系統(tǒng)不比結(jié)題報告系統(tǒng)繁瑣且易于分析信息，只收集可分析的信息，并盡量減少收集和分析這些數(shù)據(jù)的負(fù)擔(dān)。

2) ARC希望建立一種適用于所有領(lǐng)域的科研評估方法。ARC的研究雖然僅限于醫(yī)學(xué)領(lǐng)域，但ARC的研究范圍非常廣泛，包括基礎(chǔ)實驗室研究、臨床研究、由物理治療師等相關(guān)健康專業(yè)人員進(jìn)行的研究等。

3) ARC希望改進(jìn)基金項目報告的結(jié)果和隨時跟蹤研究影響。

4) ARC希望新的系統(tǒng)可提供一個概況，有助于投資組合戰(zhàn)略和影響未來資助決策，并形成更詳細(xì)評價的基礎(chǔ)。

1.3.2 建立RAISS考慮的因素

過去很多科研評估工作強(qiáng)調(diào)了進(jìn)行研究評估時和在新的研究中考慮采用最佳方法時必須強(qiáng)調(diào)一系列問題[35]，但是，研究人員、醫(yī)生和患者對不同分支的研究價值和影響有其自己的看法和判斷。這就需要建立一個有彈性的評價系統(tǒng)，綜合考慮一些重要因素，以便獲得可聚合的響應(yīng)，為資助者提供信息反饋?？蒲性u價需要考慮的因素[35]如下。

1)盡可能地減小科研人員的負(fù)擔(dān)?？蒲性u價系統(tǒng)對于科研人員來說應(yīng)該簡單便捷，避免使科研人員需要收集一些無法分析或者沒有特定需要的信息。

2) 時效性。科研評估是一個很復(fù)雜的事情，有的科研項目的影響是在科研工作完成之后很長時間才發(fā)生的，這就需要評價體系能夠長時間的追蹤科研項目以對科研影響形成完整地評估。如果評估時間太短，許多影響還沒有顯現(xiàn)；如果評估時間太長，對研究項目影響的準(zhǔn)確性難以把握。ARC建立的新評估系統(tǒng)將評估時間確定為已完成的項目最終審核日期前的2～6年。

3) 準(zhǔn)確性和完整性。所有的評價系統(tǒng)不可能做到完全準(zhǔn)確和完整，科研評價系統(tǒng)允許存在略微的不準(zhǔn)確或者疏漏。整個評價系統(tǒng)依賴于研究人員的知識、準(zhǔn)確完整的回憶、誠實以及研究人員與評估系統(tǒng)設(shè)計者對問卷問題理解的一致性。

4) 量化因素。每項科研工作的每項成果或者不同形式的成果都有一系列的影響，將這些影響完全量化將是極具挑戰(zhàn)性的。例如，一種新的治療方法，將對改善健康和生活質(zhì)量產(chǎn)生影響，但也可能產(chǎn)生經(jīng)濟(jì)影響如一些失業(yè)人員重返工作崗位，也可能產(chǎn)生不太明顯的影響如改善親戚和護(hù)理者的生活質(zhì)量以及增加家屬和朋友的幸福感。因此，RAISS開發(fā)了不同層次的影響。

5) 成果歸因。由于科學(xué)的漸進(jìn)性和科研存在時間跨度，所以一項特定的科研成果是否歸功于某項特定的項目資助是科研評估中面臨的一項挑戰(zhàn)。有兩個方法來考慮這個問題(二者不是相互排斥的)：一項研究與一個特定影響之間的聯(lián)系強(qiáng)度；影響研究人員進(jìn)行的一系列研究的相關(guān)程度。為了簡單起見，RAISS略去了一些細(xì)節(jié)(一種精細(xì)的屬性方法)，使用了一個閾值貢獻(xiàn)水平——要求研究人員只指出科研成果的影響“實質(zhì)上”歸因于哪項資助。

根據(jù)上述因素，ARC設(shè)計、開發(fā)和測試了一些科研評價工具：首先調(diào)查是否已經(jīng)有合適的工具可用，然后開發(fā)出一些潛在的工具，并在進(jìn)一步開發(fā)性能最佳的工具之前與研究人員一起測試它們。2007年，一個全面的電子試點項目完成了最初的試點工作，該項目涵蓋了兩年的項目資助。最終，2008年實施了RAISS[35]。

1.3.3 RAISS的內(nèi)容

RAISS的問卷內(nèi)容有兩部分導(dǎo)言，明確地說明了該系統(tǒng)的目的并提供使用指南，研究人員不必回答每個問題，他們按照指引回答問題，完成問卷大約需要1 h而且可以分階段完成，提交問卷之前可以檢查所填問卷。RAISS問卷內(nèi)容包括：研究類型和研究途徑、與研究相關(guān)的其他步驟、未來的研究、研究成果的傳播、健康政策、培訓(xùn)、健康干預(yù)/產(chǎn)品以及對成果的評價。

1.3.4 RAISS的實施

最初的RAISS是紙質(zhì)版的，但是只有很少量的問卷發(fā)放出去，后來都發(fā)展為電子版的。RAISS的實施取決于找到一種既能讓ARC和RAND滿意又能盡可能滿足以下要求的媒介[35]：(1)數(shù)據(jù)預(yù)加載。為了幫助研究人員回憶他們項目資助的具體方面，問卷調(diào)查必須針對ARC項目組中的每一筆資助進(jìn)行個性化設(shè)置。(2)回答問卷次數(shù)的控制。個人項目主持人應(yīng)只對問卷做出一次回答。需要一個跟蹤系統(tǒng)來監(jiān)控誰在完成問卷。(3)低負(fù)擔(dān)。問卷必須盡量減少對項目主持人的時間和成本等方面的負(fù)擔(dān)，不適用的問題就跳過。(4)便于互動。對于需要插入圖片和視頻的問題，要設(shè)置便捷的插入鏈接。(5)易于提取數(shù)據(jù)。問卷數(shù)據(jù)的提取應(yīng)該快捷簡單，應(yīng)該做到數(shù)據(jù)一經(jīng)收集就能夠開始分析。

ARC于2008年實施RAISS，取代此前的基金項目結(jié)題報告。由于其具有便捷、低負(fù)擔(dān)、靈活、準(zhǔn)確、完整等優(yōu)勢，英國醫(yī)學(xué)研究理事會MRC，美國衛(wèi)生研究院NIH先后采用了此方法，加拿大骨骼健康與關(guān)節(jié)炎研究所等其他機(jī)構(gòu)也希望嘗試。然而，由于該評價體系專門為生物醫(yī)學(xué)研究領(lǐng)域開發(fā)，其他領(lǐng)域機(jī)構(gòu)采用還需要作相應(yīng)的調(diào)整以適應(yīng)學(xué)科特點。

2 REF和RAISS的啟示與借鑒及科研評估的發(fā)展趨勢

2.1 對中國科研評估啟示

從英國的RAE體系到REF體系以及從ARC的基金結(jié)題報告到RAISS的建立、實施、反饋和改革，在確定評估價值理念、建立評估指標(biāo)、實施評估過程、對評估體系的評價以及評估體系改革方面，都有可供中國科研評估借鑒的方面。

1) 正確的價值理念有助于科研活動質(zhì)量的提高。RAE體系和REF體系都堅持公正評估、按照學(xué)科體系組織評估專家和評估指標(biāo)、強(qiáng)調(diào)科研的質(zhì)量和影響力以及高校之間學(xué)科之間協(xié)同創(chuàng)新的理念[36]?；谛袠I(yè)特點，RAISS注重行業(yè)科研項目影響的真實性、廣泛性和持續(xù)性。

這些理念納入科研評估中有利于推動我國科研院所科研從量的擴(kuò)大轉(zhuǎn)向質(zhì)的提高，增強(qiáng)我國科研的國際競爭力以及科研成果的轉(zhuǎn)化力。

2) 合理的評估指標(biāo)體系能夠促進(jìn)科研人員注重科研質(zhì)量。評估內(nèi)容盡量覆蓋相關(guān)的知識鏈[37]，REF對科研活動評估的3個基本原則——原創(chuàng)性、重要性和精確性能夠促進(jìn)科研成果的創(chuàng)新性、科研的影響力和嚴(yán)謹(jǐn)性，要求科研人員不僅只是要完成科研活動，而且要力求科研成果的質(zhì)量和影響[38]。

REF和RAISS評估體系中的指標(biāo)體現(xiàn)了定量評價和定性評價的結(jié)合，這是對科研中無法定量衡量的成果和貢獻(xiàn)給予肯定，能夠有效地推動科研人員的積極性和創(chuàng)造性。

不同指標(biāo)賦予的權(quán)重不同，科研產(chǎn)出是科研活動的直接成果，因此REF體系賦予科研產(chǎn)出的權(quán)重較多一些，占65%；成果影響是衡量成果有用性的重要指標(biāo)，權(quán)重占20%；科研環(huán)境能夠衡量成果和科研機(jī)構(gòu)的生命力和可持續(xù)性，但不是科研活動直接的和顯性的成果，權(quán)重最小，占15%[15]。這樣的權(quán)重配置科學(xué)合理而且有利于科研的可持續(xù)發(fā)展，為中國科研評估指標(biāo)體系的建立提供參考借鑒，為中國科技創(chuàng)新和可持續(xù)發(fā)展提供良好的軟環(huán)境。

RAISS評估內(nèi)容比較廣泛，充分考慮了行業(yè)特點以及行業(yè)影響，因而評估體系所涉及的要素比較全面。這對很多類似行業(yè)科研的評估指標(biāo)體系的設(shè)置有借鑒作用。

3) 對評估過程和評估體系等做出客觀公正的評價、充分考慮了對科研人員的負(fù)擔(dān)等優(yōu)勢有利于對評估體系進(jìn)行正確的改革[39]。REA體系在實施的過程中逐漸顯現(xiàn)出的一些問題和弊端被充分的考慮，最終建立了REF體系取代REA體系，克服了REA體系的缺點。

借鑒英國REF和RAISS發(fā)展過程中的經(jīng)驗，對中國評價科技成果方面的建議主要有以下6方面[3, 15, 40]：(1)明確科學(xué)的學(xué)術(shù)評價功能定位和原則。(2)建立中國的評價指標(biāo)體系和優(yōu)化評價模型。(3)優(yōu)化評價程序和方法，建立良好評估操作規(guī)范(Good Assessment Practice)。(4)建立中國學(xué)術(shù)評價科技期刊庫和獎勵目錄。(5)改進(jìn)學(xué)術(shù)評價量化方法和改善同行評審質(zhì)量。(6)推動完善網(wǎng)絡(luò)評價模式，以節(jié)省科研人員和評估機(jī)構(gòu)的時間成本和資金成本。

2.2 對農(nóng)業(yè)科研機(jī)構(gòu)科研評估啟示

當(dāng)前，全國大部分農(nóng)業(yè)科研機(jī)構(gòu)采用的是以科研業(yè)績和科研工作量為核心的科技評價體系。評價指標(biāo)主要包括獲獎情況、項目數(shù)量、經(jīng)費體量、專利授權(quán)及申報數(shù)量和論文發(fā)表數(shù)量等。評價主體為各級行政管理部門，考核的具體工作一般由科研單位的科研管理部門、人事管理部門負(fù)責(zé)。主要評價方法有定量評價和定性評價。在定量評價中，科研機(jī)構(gòu)按照對評價指標(biāo)的重視程度量化規(guī)定研究成果的權(quán)重分值；在定性評價中，科研機(jī)構(gòu)多采用同行專家評議法。但當(dāng)前的農(nóng)業(yè)科研機(jī)構(gòu)科技評價體系中還存在一些問題，評價主體不夠規(guī)范；評價體系標(biāo)準(zhǔn)單一；評價體系重結(jié)果、輕過程，重數(shù)量、輕質(zhì)量；農(nóng)業(yè)科技成果轉(zhuǎn)化率低；考核周期短；科研立項評審程序不夠科學(xué)等問題[41]。

英國高校科研評估體系的經(jīng)驗和創(chuàng)新措施及其對中國農(nóng)業(yè)科研機(jī)構(gòu)科技評價的啟示主要包括：(1)官方的中介評估機(jī)構(gòu)作為評估主體，非官方的中介評估機(jī)構(gòu)的參與，能最大程度確保評估活動、經(jīng)費撥款等環(huán)節(jié)的公正、公平和透明；(2)建立基于學(xué)科單元的學(xué)科特色評估體系。針對項目類型、學(xué)科特點的不同，制定不同的評價指標(biāo)與方案。由于農(nóng)業(yè)涉及領(lǐng)域很廣，所以在自然科學(xué)和社會科學(xué)項目，基礎(chǔ)研究、基礎(chǔ)應(yīng)用研究和應(yīng)用研究項目等都需要區(qū)別對待；(3)堅持以成果質(zhì)量為導(dǎo)向的評估準(zhǔn)則。不單純的看待論文數(shù)量，而要提升發(fā)表論文的質(zhì)量與價值性。把社會效益、經(jīng)濟(jì)效益列為農(nóng)業(yè)科研重要的評價指標(biāo)，并重視對社會經(jīng)濟(jì)效益的后期評價，引導(dǎo)農(nóng)業(yè)科研與產(chǎn)業(yè)發(fā)展相結(jié)合。確立正確的價值導(dǎo)向，營造良好的學(xué)術(shù)氛圍，鼓勵科研人員投身具有較高社會、經(jīng)濟(jì)效益的科學(xué)研究，使科技創(chuàng)新能夠有效促進(jìn)農(nóng)業(yè)發(fā)展，促進(jìn)農(nóng)民增收；(4)確定合適的評價周期?，F(xiàn)有的農(nóng)業(yè)研究可能短期內(nèi)并不能立馬收效。所以適當(dāng)?shù)膶δ承┛茖W(xué)研究，基礎(chǔ)研究項目進(jìn)行跟蹤管理或者延長評價周期很有必要。(5)遵循跨學(xué)科合作與協(xié)同創(chuàng)新的研究導(dǎo)向。對于跨學(xué)科的項目立項與專家評估等需再合理優(yōu)化，互相融合，確保公正合理。

2.3 科研評估發(fā)展趨勢

基于同行評審、科學(xué)計量學(xué)與網(wǎng)絡(luò)計量學(xué)的“單篇論文的創(chuàng)新價值評價”是一種可行的方法。總體來看，定性與定量評價相結(jié)合的大趨勢：對于顯性的可計量成果采用定量分析，對于隱性的、不可計量的成果做出定性分析，定性分析可以根據(jù)程度排列秩序或者等級轉(zhuǎn)化為可比較指數(shù)，然后再做出更科學(xué)合理的評價。在評價指標(biāo)、評估專家的選擇、評價方法、評價模型等方面將會變得更科學(xué)、合理、精簡以及透明。

隨著人工智能、大數(shù)據(jù)和云計算等技術(shù)的發(fā)展和應(yīng)用，引入人工智能、大數(shù)據(jù)和云計算技術(shù)進(jìn)行科技評價，則將會大大提高科技成果評價的科學(xué)性、權(quán)威性、公正性。因此，構(gòu)建基于大數(shù)據(jù)定性與定量結(jié)合多維度多元化學(xué)術(shù)評價體系是未來科技成果評價的發(fā)展趨勢。

3 結(jié)論

1) 對英國科研質(zhì)量評估體系的發(fā)展過程進(jìn)行了梳理，著重介紹了英國高?？蒲性u估考核(RAE)與英國科研卓越框架法(REF)的具體評估內(nèi)容，標(biāo)準(zhǔn)與不同等。RAE的三項基本指標(biāo)分別是“科研成果、科研環(huán)境、科研聲譽(yù)”。REF2014科研評估將基本指標(biāo)調(diào)整為“科研成果、科研影響、科研環(huán)境”，更強(qiáng)調(diào)科研的影響力。繼而對英國科研影響評分系統(tǒng)的產(chǎn)生背景，內(nèi)容與具體實施進(jìn)行了梳理，由于該方法便捷，低負(fù)擔(dān)及便于提取數(shù)據(jù)進(jìn)行分析，具有很好的借鑒意義。

2) 通過對英國科研評估體系的研究，得到了對中國科技評價的啟示：明確科學(xué)的學(xué)術(shù)評價功能定位和原則；建立中國的評價指標(biāo)體系和優(yōu)化評價模型；優(yōu)化評價程序和方法，建立良好評估操作規(guī)范；建立中國學(xué)術(shù)評價科技期刊庫和獎勵目錄；改進(jìn)學(xué)術(shù)評價量化方法和改善同行評審質(zhì)量；推動完善網(wǎng)絡(luò)評價模式，以節(jié)省科研人員和評估機(jī)構(gòu)的時間成本和資金成本。進(jìn)而具體指出對對農(nóng)業(yè)科研機(jī)構(gòu)科研評估啟示：官方的中介評估機(jī)構(gòu)作為評估主體，非官方的中介評估機(jī)構(gòu)的參與；建立基于學(xué)科單元的學(xué)科特色評估體系；堅持以成果質(zhì)量為導(dǎo)向的評估準(zhǔn)則；確定合適的評價周期；遵循跨學(xué)科合作與協(xié)同創(chuàng)新的研究導(dǎo)向。

3) 本文提出了未來科技評價的發(fā)展趨勢?！皢纹撐牡膭?chuàng)新價值評價”是一種可行的方法；構(gòu)建基于大數(shù)據(jù)定性與定量結(jié)合多維度多元化學(xué)術(shù)評價體系是未來科技成果評價的發(fā)展趨勢。