鄭鵬 嚴會超 韓小騰 韓雨辰

摘 ? 要：英國高校新的科研評估體系——卓越研究框架（Research Excellence Framework，REF）在英國高校的科研管理過程中發(fā)揮重要作用。本文介紹了REF的主要概況，考察了REF的評估方法和評估過程存在的爭議，在此基礎上，比較分析我國高校科研評估體系與REF的異同。進而提出進一步完善我國高校科研評估制度的措施，包括科研評估體系以學科為單位，建立第三方評估機構，開展分類評價，加強質(zhì)量導向等。

關鍵詞：卓越研究框架 ?科研評估 ?英國 ?高校

中圖分類號：G644.4 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）02（a）-0250-05

英國高?？蒲谐删拖碜u全球，在科研評估方面積累了豐富的經(jīng)驗，較為成熟、規(guī)范的科研評估制度有效地加強了英國高校的科研管理，促進了高校科研創(chuàng)新，優(yōu)化了科研經(jīng)費配置。2014年，英國發(fā)布的科研卓越框架（Research Excellence Framework，REF）是在實施近30年的科研水平評估（Research Assessment Exercise，RAE）評價體系基礎上，進一步總結提出并啟用的新的高校科研評估機制?？蒲匈|(zhì)量、科研產(chǎn)出，以及科研成果產(chǎn)生的社會效益和社會影響都是REF評估的重點[1]。借鑒英國科研評估的先進經(jīng)驗，對于進一步完善我國高?？蒲性u估制度、促進“雙一流”建設等都具有重要的參考價值。

1 ?英國科研卓越框架概況

除了作為衡量英國高校研究水平和科研影響力的重要參考，英國政府還把REF作為向大學撥付科研經(jīng)費的主要依據(jù)[2]。由英格蘭高等教育基金委員會、蘇格蘭高等教育基金管理委員會、威爾士高等教育撥款委員會，以及北愛爾蘭就業(yè)與學習部等多部門組成了REF評估的組織架構。通過對高等教育機構學術產(chǎn)出的評估，既為政府后續(xù)的財政撥款和社會投資提供參考，又提供了標桿信息、建立了聲譽標準。REF評估采用專家評議，4個主評估小組指導36個評估單位下的專家，根據(jù)統(tǒng)一的評價標準和等級，評議高校提交資料的整體質(zhì)量。REF評估的評估參數(shù)主要分為“成果”、“影響力”、“環(huán)境”，其權重分別為65%、20%、15%[3]。與RAE相比，REF評估的變化在于：一是提高文獻計量的權重，減少同行評議評價權重;二是引進了非學術影響評估[4]。

2 ?英國科研卓越框架評估方法與爭議

下面將著重介紹REF三種評估參數(shù)的具體評估方法，以及其評估過程中存在的爭議。

2.1 研究成果

2.1.1 評估方法

研究成果以文獻計量為主，評價標準主要考察獨創(chuàng)性、重要性和嚴謹性[5]。REF要求[6]：高等教育機構應提供研究人員在2008～2013年期間的代表性科研成果（包括新材料、設備、影像、課本、教材等等），每個研究人員提交不超過4項代表性成果。成果提交后，通過Scopus數(shù)據(jù)庫搜索獲得專家評議參考用的引文數(shù)據(jù)。

2.1.2 爭議

將客觀文獻計量指標替代主觀同行評議，優(yōu)點是可以避免同行專家主觀造成偏見影響，提高科研評估效率，還能夠減少評估所花費的財力和時間。但是，采用文獻計量同樣存在質(zhì)疑。比如：在科研導向上，采用文獻計量指標可能引導研究人員傾向于短期的、易于量化的科研產(chǎn)出，對長期的特別是成果和影響難以提前估量的研究反而有所忽略[7]。在評估方法上，將被引用數(shù)列為評估的重要指標之一，這樣的后果是忽略了論文發(fā)表的期刊在學界影響力和排名等級[8]。采用文獻計量法和同行評議法這兩種不同的評估方法對同一學科進行評估，結果差異較大。

2.2 科研影響力

2.2.1 評估方法

“科研影響力”是指對高等教育機構科技知識影響力以外的外部社會的廣泛功能，并不包括對學生、教學或其他局限在提交案例高校內(nèi)的活動影響力，高等教育機構科技知識影響力則放在“產(chǎn)出”或“環(huán)境”來評估）[9]?！翱蒲杏绊懥Α钡脑u估方法是參評單位根據(jù)固定的格式與要求，提供案例分析（Case studies）和模版報告（Impact template），供專家評議[10]。

2.2.2 爭議

REF新增“影響力”這個評估指標，主要是為了加強高等教育機構與非學術界的廣泛聯(lián)系，激發(fā)科研人員的主動性和積極性[11]。“影響力”指標存在的爭議在于：一是其對同行評估專家團的界定，對學術自治會有一定影響;二是影響力話語的建構可能造成科學“邊界”特征削弱;三是影響力建立在科研之上，對知識的轉譯有所限制。英國大學聯(lián)合會（University and College Union）反對將影響力因素納入REF，其認為科學與社會或經(jīng)濟應用之間界限清晰，須“抵制粗糙的應用概念”，進而發(fā)起了“站出來力挺科研”（Stand Up for Research）的請愿活動 [12]。

2.3 科研環(huán)境

2.3.1 評估方法

科研環(huán)境以考察“活力”和“可持續(xù)性”為主，評價標準采用資源、管理和雇傭這三個指標[13]。該評估參數(shù)既具有評估科研單位所支持科研活動的廣泛性，還能夠有效利用和分布科研基礎設施建設，并且促進研究人員在相關領域開展卓越研究的可持續(xù)發(fā)展 [3]。

2.3.2 爭議

科學研究一般需要穩(wěn)定的研究環(huán)境，研究者出高質(zhì)量的科研成果也需要較長的時間，但是英國高?？蒲性u估周期一般為4～5年，導致研究者將較多的時間用在科研評估會的評價活動上，提前出版或者發(fā)表研究成果，減少與其他高校研究者的合作[14]。為了確保獲得穩(wěn)定的科研經(jīng)費，許多研究者集中在國家給予優(yōu)先權的領域進行研究，影響了研究者開拓其他新領域的積極性，在一定程度上阻礙了學術創(chuàng)新[15]。

3 ?英國科研卓越框架與我國科研評估制度的比較

總體上看，目前我國科研事業(yè)正在穩(wěn)步發(fā)展，在構建高效科研評估指標體系上也取得了一些成績。通過與英國REF比較科研評估體系的異同，發(fā)現(xiàn)不足，從而及時調(diào)整科研評估體系，探索適合我國實踐情況的科研評估體系和方法。

3.1 相同點

3.1.1 目標

我國科技評價管理系統(tǒng)是由國家和各省市自治區(qū)行政管理部門組成，以國家為主，實行統(tǒng)一領導、分級管理的原則?？萍疾渴俏覈萍荚u價活動的主管部門，對全國的科技評價活動進行總體的組織、管理、指導、協(xié)調(diào)和監(jiān)督[16]。我國政府也將科研評估工作作為財政支出科研機構和項目管理專業(yè)機構的重要依據(jù)。國務院印發(fā)的《“十三五”國家科技創(chuàng)新規(guī)劃》（國發(fā)〔2016〕43號）中明確規(guī)定第三方的評價結果是財政科技經(jīng)費支持的重要依據(jù)。

以卡迪夫大學為例，其《一路向前2012-2017》報告中指出，其目標是5年后卡迪夫大學穩(wěn)固躋身于世界百強大學和全英20強大學之列[17]。根據(jù)我國《統(tǒng)籌推進世界一流大學和一流學科建設總體方案》的要求，到2020年，我國大學和一批學科進入世界一流行列，若干學科進入世界一流學科前列。

3.1.2 評估主體

英國科研評估主體與中國科研評估主體類別基本相同，包括政府、高校、企業(yè)、中介機構、媒體和社會公眾等[18]。我國科研評估的流程大致為：提出評估的目的和要求;明確評估主體;評估主體進行評估設計;評估信息的采集;綜合分析和反饋;編寫評估報告[19]。

3.1.3 考核指標

跟英國REF相比而言，我國科研評估大體以研究成果為主要衡量指標。由于大學類別不同、學科特點的不同，我國科研評估的指標及權重沒有統(tǒng)一標準，評估指標主要包括：科研項目、論文、著作、專利、科技獎勵、創(chuàng)造價值等[19]。例如，我國中央教育科學研究所開展的高?？冃гu估中科研產(chǎn)出指標包括：發(fā)表論文數(shù)、出版專著數(shù)、科技獎數(shù)量、鑒定成果數(shù)、發(fā)明專利授權數(shù)、技術轉讓收入金額等[20]。中國科學評價研究中心對重點大學科學研究的評價指標包括：科研隊伍與基地、科研產(chǎn)出、成果質(zhì)量、科研項目與經(jīng)費、效率與效益[21]。

3.2 不同之處

3.2.1 學科發(fā)展布局

跟2008年RAE相比，REF評估學科單元從67個減少到了36個，主評估小組由15個減少到了4個。主要包括：醫(yī)學和生命科學、物理科學、社會科學、藝術與人文科學。減少評估單元和評估小組的目的在于鼓勵英國高校加強與世界一流大學合作，推進重要領域的跨學科研究，積極從學科交叉中尋找新的學科增長點，進而提高研究水平和實力[22]。

由于各學科的研究對象、方法、素材以及知識陳述的語言符號、方式、體系等有諸多不同，導致學科之間差異較大。同英國大學相比，我國許多高校學科發(fā)展缺乏總體規(guī)劃，片面追求“大而全”，實則學科規(guī)模小而分散，基礎學科力量薄弱。工科院校與文科院校、財經(jīng)院校、醫(yī)學院校合并，僅是有了比較齊全的學科門類，離學科交叉融合尚有很大差距[23]。

3.2.2 第三方評估機構

英國的科研評估工作主要交由第三方科技評估機構完成，第三方評估機構的中立特性能夠提供更加公正、客觀的評估結果?？蒲性u估結論基本公開，并以公開招標的方式來完成各項招標，中介機構使科技項目管理更加公正化、客觀化、公開化[18]。目前，我國仍是以政府為單一評估主體的科技評價體系，因而公眾利益和其他社會組織訴求未必能夠得到充分體現(xiàn)，削弱了對公共資源使用效率的監(jiān)督作用[24]。

3.2.3 科研成果評估方式

我國長期使用的科技成果評價方式是科技成果鑒定?？萍汲晒b定是由同行專家根據(jù)國內(nèi)外研究現(xiàn)狀，聽取成果報告、審閱相關材料后開展的評價活動。這種評價方式側重于對科技成果形式上的鑒定，僅估測了科技成果的經(jīng)濟價值和潛在收益，并由同行專家提出“國內(nèi)領先”、“國內(nèi)首創(chuàng)”、“達到國際領先水平”、“取得突破性進展”或“填補空白”等鑒定意見[24]。

3.2.4 科研成果質(zhì)量評估

我國一些高校的學術委員會出于工作程序的簡單化和可操作化考慮，以成果數(shù)量評價代替了質(zhì)量評價。對于科研成果是否有創(chuàng)新或突破，是否有社會經(jīng)濟效益等問題無從考核[25]。盡管現(xiàn)行高校的科研成果質(zhì)量意識有所提高，但由于科研質(zhì)量量化難、數(shù)量統(tǒng)計易，因此造成“數(shù)量是硬指標，質(zhì)量是軟指標”現(xiàn)象大量存在。

3.3 科研評估的成效

英國對高?？蒲泄ぷ鞯母叨戎匾曇约拜^為完善的科研評估體系鑄就了英國大學較高的科研成就。以卡迪夫大學為例，20世紀80年代，卡迪夫大學幾乎沒有什么有影響的聲音，90年代開始經(jīng)過10年的努力，到了2002年，卡迪夫大學便開始進入世界100位。卡迪夫大學生物醫(yī)學學科的崛起，是理科和工科的資源整合的結果，更是選擇優(yōu)勢項目，對新興學科和交叉學科重點突破的結果[23]。2017年ARWU世界大學排名，英國進入前500位的大學數(shù)量排名第三，其中，有9所大學進入前100位，6所大學進入前40位，卡迪夫大學則再次進入前100位[26]。

我國不斷努力的科研評估工作同樣促進了科研事業(yè)的發(fā)展，2009年以來連續(xù)四年我國發(fā)表SCI論文數(shù)量位居世界第二，2011年發(fā)表SCI論文總量占世界比例11%，但在Science、Nature和Cell等三大名刊的論文發(fā)表量僅占總數(shù)的2.4%，2002年至2012年這10年間被引頻次處于世界前1%的論文也僅占總數(shù)的7.3% [27]。2017年ARWU世界大學排名我國進入前500位的大學數(shù)量排名第二，但僅有2所大學進入前100位，其中，前40位0所[26]。由此可見，我國科研成果顯著增加，但科研質(zhì)量和科技強國相比仍然差距較大。我國應該立足于國情，借鑒國外先進經(jīng)驗，創(chuàng)新現(xiàn)行高?？蒲性u價機制，使科研評估體系匹配現(xiàn)有的科研創(chuàng)新模式，才能更好提升科研質(zhì)量、促進學科發(fā)展。

4 ?英國科研卓越框架的啟示

英國REF全面評估英國高校的科研成果，分析各高校的優(yōu)勢領域，極大促進了英國高校的世界一流化進程。REF是英國高校評估過程中不斷完善形成的新的科研評估機制，對于我國科研評估和“雙一流”建設戰(zhàn)略具有重要借鑒意義。

4.1 科研評估體系以學科為單位，突出特色學科優(yōu)勢

英國REF最大特色是以學科為單位，以評估引導學科發(fā)展，提升學科競爭力[28]。目前我國的科研評估是以高校或地區(qū)作為評估對象，無法從統(tǒng)計年鑒或評估調(diào)查結果中體現(xiàn)各學科在高?；虻貐^(qū)間的發(fā)展和差異。加上我國高等教育的撥款模式并非以學科為基礎，導致學科質(zhì)量和水平下降，失去了自身的特色。為此，應當構建以學科為評估對象的科研評估體系，從而直觀地了解學科發(fā)展情況，突出特色學科優(yōu)勢。同時，為避免高校內(nèi)部借評估之名干預財政撥款的分配情況，建議將財政撥款直接分配到學院或各學科研究機構。

4.2 建立第三方評估機構，保障科研評估客觀性

英國高?？蒲性u估體系的評估機構是高等教育基金委員會，屬于獨立的第三方中介評估機構，是銜接政府和高校的“緩沖器”[28]。選擇獨立的第三方評估機構既可以避免政府“既當運動員又當裁判員”的尷尬局面，使評估結果更加公平、公正和更具權威性。另一方面，改變“政府-高?！眴蜗蛟u估途徑，鼓勵社會團體參與評估過程，進而完善了利益相關者參與機制。

我國政府在科研評估中起主導地位，“行政命令”往往會影響科研評估的公正性與效績。我國應借鑒REF經(jīng)驗，轉變政府職能，下放科研評估權力，讓其它評價主體能夠自主地參與到評估過程，在寬松有序的評估環(huán)境中激發(fā)自身科研水平[29]。目前，我國第三方評估機構數(shù)量有限，市場發(fā)育還不健全，配套政策和制度建設尚不完善，仍需要不斷改進和發(fā)展，才能提升第三方評估結果的公信力[30]。

4.3 注重科研評估內(nèi)容多樣化、評估方法均衡性，開展分類評價

REF評估所提交的代表性成果可以是研究論文，也可以是新材料、設備、影像、課本、教材等[6]，既可以使論文以外的成果脫穎而出，又能夠展現(xiàn)不同學科、不同機構的特色。為增強評估的包容性，學科評估應當在充分調(diào)研的基礎上，擴大學術成果的種類。

在考慮科研評估內(nèi)容多樣化的同時，還需考慮評估方法的均衡性。REF評估的初衷是采用文獻計量的評估方法，而后在多方咨詢和衡量后改變?yōu)橐詫＜以u議為主、文獻計量為輔的評估方法[31]。我國學科評估同樣應該在實施過程中聽取不同學科、不同利益相關者的意見，尋找客觀與主觀評價的均衡點，構建更加合理的評估體系。

此外，由于學科的差別，還應考慮分類評價。對基礎研究應注重其長期科研活動產(chǎn)生的原創(chuàng)性成果;對應用研究則應重點關注技術突破和科技成果轉移轉化的效果;對軟科學研究需重點考察科研活動滿足決策支撐需求的情況;對人文藝術應用研究則著重考察其培養(yǎng)人才、社會服務的貢獻等[5]。

4.4 加強質(zhì)量導向，遵循協(xié)同創(chuàng)新，加大評估信息的透明度

REF需要每位參評科研人員提供不超過4篇代表作，評估周期4～6年[22]。與我國“每年一評”、“數(shù)文章+看級別”的科研評估方式相比較而言，REF更有利于激發(fā)科研工作者從事具有原創(chuàng)性、積累高水平的科研成果。在科研成果質(zhì)量審核和評定過程中，建議增加原創(chuàng)性成果權重，注重成果的科研價值和社會影響力，鼓勵原創(chuàng)與自主產(chǎn)權。

REF鼓勵不同高校和不同學科之間協(xié)作創(chuàng)新，同時也鼓勵跨學科交叉研究。對于不同參評單位重復提交聯(lián)合合作署名的成果，REF將給出合作成功的整體評分，各合作單位共同享有該合作成果的評分[5]。目前，我國科研成果評估時只認可第一單位或通訊單位。REF的做法激發(fā)了跨單位間科研協(xié)作、科研資源共享的動力，更容易獲得高水平科研產(chǎn)出。在我國的科研評估體系中，應引導不同高校和不同學科之間協(xié)同創(chuàng)新研究，強化團隊工作的認可機制和激勵機制。

英國高等教育基金每次評估之后都會形成相應的報告，并將評估材料向公眾開放，共享的材料包括：三種評估參數(shù)的評估報告的總評、評估會議記錄、提交的科研影響力和科研環(huán)境的材料等，被評估機構也有權隱去某些不愿公開的信息[32]。加大信息公開度和透明度，能夠確保同行評議者努力做到公平、公正，同時也能夠讓科研評估成為產(chǎn)生知識的源泉[33]。例如，英國REF有大量評估信息與原始資料向公眾開放，進而會產(chǎn)生許多有關科研評估、學科建設和高水平大學建設等方面的高質(zhì)量研究[4]。目前，我國的學科評估僅對公眾公開了不同高校學科的最終排名和得分情況，評估過程和評估結果的透明度有待提高，對評估過程和評估結果尚需進行更加深入的分析。

參考文獻

[1] 劉興凱，左小娟.科研卓越框架REF英國高?？蒲性u估的改革創(chuàng)新及其價值取向[J].學術論壇，2015，38（8）：85- 90.

[2] 胡小梵.英國科研卓越框架獨立評估報告出爐[J].世界教育信息，2016（21）：74-75.

[3] 黃小平，陳洋子.“雙一流”大學科技創(chuàng)新能力評價：國 際經(jīng)驗及啟示——基于對英、法、美、澳科研評價體系的考察[J].江蘇高教，2017（1）：1-5.

[4] 李鋒亮，黃倩殷.英國科研評估制度變化動向及其啟示[J].學位與研究生教育，2015（1）：74-77.

[5] 谷夢琴.英國高等教育機構科研評價體系的變革：啟示與借鑒[J].商，2016（2）：27，87.

[6] REF. 2014：Assessment framework and guidance on submissions[EB/OL].http：//www.ref.ac.uk/media/ref/content/pub/assessmentframeworkandguidanceonsubmissions/GOS%20including%20addendum.pdf. 2011 -02.

[7] 劉莉.英國大學科研評價改革： 從RAE到REF[J].科學學與科學技術管理，2014（2）：39-45.

[8] Rosenstreich Daniela，Wooliscroft Ben. Measuring the impact of accounting journals using Google Scholar and the gindex[J]. The British Accounting Review，2009， 41（4）： 227-239.

[9] 許甜.英國高?？蒲性u價體系的演變：從RAE到REF[J]. 北京教育（高教）， 2016（1）：74 -77.

[10]REF 2014：A brief guide for research users[EB/OL]. https：//www.st-andrews.ac.uk/media/research-policy-office/documents/REF%20guide.pdf. 2012-12-12.

[11]Brown Chris. Exploring the concepts of knowledge adoption and conceptual impact： implications for educational research submissions to the Research Excellence Framework（2014）[J].Education，Knowledge and Economy，2011，5（3）：137-154.

[12]Stand Up for Research of University and College Union. [EB/OL]http：//www.ucu.org.uk/events.

[13]田鋒.英國科學研究卓越框架研究[J].高教發(fā)展與評估， 2012，28（6）：17-20.

[14]Mcnay Ian. The impact of the 1992 Research Assessment Exercise in English university[J]. Higher Education Review， 1997（29）： 34.

[15]陸根書，楊兆芳.英國高?？蒲性u估的特點及啟示[J]. 大學：研究與評價，2008（1）：75-82.

[16]談毅，仝允桓.中國科技評價體系的特點、模式及發(fā)展[J].科學學與科學技術管理，2004，25（5）：15-18.

[17]The Way Forward 2012-2017-Cardiff University[EB/OL]. http：//www.cardiff.ac.uk/__data/assets/pdf_file/0015/10347/CU_TheWayForward_08.pdf.2014-09.

[18]楊飛，樊一陽.中外科技評估制度比較研究[J].科研管理， 2016（S1）：652-658.

[19]王軍.我國科研績效評估方法的比較分析[J].中小企業(yè)管理與科技旬刊，2014（7）：173-174.

[20]張男星.高等學校績效評價報告2012[J].大學：學術版， 2013（11）：10-29.

[21]邱均平.從高?？蒲懈偁幜υu價向綜合評價的發(fā)展——關于“中國高校綜合競爭力評價”的說明[J].評價與管理，2009（3）：55-58.

[22]李漫紅.英國大學科研評估的改革及其借鑒意義[J]. 東北大學學報：社會科學版，2013，15（1）：91-95.

[23]李娜.我國普通高等學校學科建設研究——英國卡迪夫大學的經(jīng)驗及借鑒意義[J].商品與質(zhì)量，2012（S6）： 200.

[24]李瑛，鄒立堯.科技評估國際經(jīng)驗與中國的政策優(yōu)化[J].天津商業(yè)大學學報，2015，35（3）：52-56.

[25]李輝，趙嘉仁.我國高?？萍荚u價的問題及對策研究[J].中國集體經(jīng)濟，2017（23）：109-110.

[26]2017年世界大學學術排名出爐！卡迪夫大學進入世界100強[EB/OL].https：//mp.weixin.qq.com/s？__biz=MzA4Mjk0NDEzMw==&mid=2650721825&idx=1&sn=be7e4ecd35b4dd358645c85d8ff7046d&chksm=87f467cbb083eeddc392909ce334113cb7b9409fdc54a869366982fc467bdb174d3bbadc4dd5&mpshare=1&scene=1&srcid=08161SEDdGO6BtZOTFUNrCff&pass_ticket=6Fxfhl8OEaOO0IMvA4VGbI1S5CBHYARujD6NkeJmQWmlhtoio9vukGMAkJfY6L%2BV#rd. 2017-08-16.

[27]李宇飛，胡光闊.對我國科研能力評價體系的探析[J]. 價值工程，2016，35（27）： 240-242.

[28]劉興凱，梁珣.英國高?？蒲性u估的制度改革、效應及其借鑒意義[J].清華大學教育研究，2015（3）： 82 - 88.

[29]陳楠楠.試論借鑒國外經(jīng)驗完善我國高?？蒲性u價體系[J].高教探索， 2017（1）：100-104.

[30]鄧軍.我國科研績效分類評價現(xiàn)狀研究及思考[J].重慶醫(yī)學， 2017， 46（15）： 2153，2159.

[31]姜亞洲. 英國國家創(chuàng)新戰(zhàn)略中的高?？蒲性u估制度改革[J].全球教育展望，2012（8）： 51-54.

[32]REF 2014： REF Data managemrnt[EB/OL]. http：//www.ref.ac.uk/subguide/datamanagement/. 2014-12-11.

[33]王兵， 黃紅富， 歸柯庭. 從國家重點學科評審看學科評估的機制設計[J]. 學位與研究生教育， 2008（5）： 65 - 69.