諶中偉

0 引言

評價體系是科研的指揮棒和風向標，建立合理的評價體系是營造良好科研生態(tài)的關(guān)鍵。近年，我國政府頒布多項政策以改革科研評價體系，印發(fā)了《關(guān)于破除科技評價中“唯論文”不良導向的若干措施(試行)》[1]《關(guān)于規(guī)范高等學校SCI論文相關(guān)指標使用樹立正確評價導向的若干意見》[2]《關(guān)于提升高等學校專利質(zhì)量促進轉(zhuǎn)化運用的若干意見》[3]等政策文件，要求破除“唯論文”“SCI至上”的頑瘴痼疾，探索建立科學的評價體系，營造高校、科研院所良好的創(chuàng)新環(huán)境，加快提升教育治理體系和治理能力現(xiàn)代化水平。本文根據(jù)歐洲大學協(xié)會發(fā)布的關(guān)于科研評價的報告《向開放科學過渡的科研評估》[4]，了解歐洲大學的科研評價方法現(xiàn)狀與概貌，總結(jié)歐洲大學科研評價的特點，并結(jié)合近期國家層面推行的政策，提出幾點啟示與思考，以期為國內(nèi)大學開展科研評價提供參考。

1 歐洲大學科研評價現(xiàn)狀

歐洲大學協(xié)會(European University Association，EUA)成立于2001年，代表了49個歐洲國家的850多所大學和全國校長會議平臺。在影響歐盟關(guān)于高等教育、研究和創(chuàng)新政策方面發(fā)揮著至關(guān)重要的作用[5]。

EUA通過大量調(diào)查，形成了《向開放科學過渡的科研評估——歐洲大學協(xié)會開放科學與開放獲取調(diào)查結(jié)果》(以下簡稱“EUA調(diào)查報告”)，該報告首次綜合性調(diào)查了歐洲大學開展科研評價的方法與現(xiàn)狀，以及歐洲大學為何及如何重新審視與評估其科研評價行為。此次調(diào)查的對象為歐洲大學，包括EUA成員及非EUA成員。

調(diào)查由歐洲大學協(xié)會科學2.0/開放科學專家組(EUA Expert Group Science 2.0/Open Science)根據(jù)以往開放獲取調(diào)查問卷設(shè)置，共20個問題，包括3個部分：(1)機構(gòu)基本情況，包括所在機構(gòu)名稱、機構(gòu)性質(zhì)、科研人員數(shù)量等；(2)歐洲大學科研評價方法的現(xiàn)狀。該部分根據(jù)大學科研評價的3個主要目的，從研究人員的招聘/晉升、學院/學部科研績效評估、機構(gòu)內(nèi)部科研經(jīng)費分配3個方面調(diào)查歐洲大學的科研評價方法；(3)歐洲大學對科研評價方法的未來計劃，調(diào)查歐洲大學對科研評價方法的重新審視與思考。一個機構(gòu)只收集一份問卷，共回收來自32個歐洲國家/地區(qū)的大學的260份有效問卷。通過提煉和總結(jié)報告關(guān)于科研評價的相關(guān)問題，能夠?qū)W洲大學的科研評價發(fā)展現(xiàn)狀有一個比較全面的了解。

1.1 歐洲大學的科研評價主體

調(diào)查顯示，58%的被調(diào)查機構(gòu)在學校層面開展科研評價，32%的機構(gòu)在院系層面開展科研評價，其余10%只在研究單位/部門開展與實施科研評價。但是，這些部門在開展科研評價的過程中并不是各自為政，而是相互合作與支持。

82%機構(gòu)是由學術(shù)帶頭人或機構(gòu)負責人制定與實施科研評價辦法，55%機構(gòu)由科研人員制定與實施科研評價辦法，44%機構(gòu)由研究部門的行政人員制定與實施科研評價辦法，而由圖書館員制定與實施科研評價辦法的機構(gòu)較少，僅占23%。

總體而言，歐洲大學積極開展科研評價體現(xiàn)在各個層面，不僅僅是學校與院系層面，還有學校內(nèi)部相關(guān)機構(gòu)或部門也積極參與科研評價，而校外機構(gòu)如政府及基金資助機構(gòu)對大學的科研評價也有影響。

調(diào)查顯示，大部分被調(diào)查者認為其在研究人員的招聘或晉升的科研評價中具有自主性(見表1)。針對學院/學部科研績效評估目的的科研評價具有明顯的高度自主性，44%的被調(diào)查者認為具有高度自主性，39%的被調(diào)查者認為大部分情況下具有自主性，只有14%的被調(diào)查者認為具有一些自主性，3%的被調(diào)查者認為自主性低。而在針對機構(gòu)內(nèi)部科研經(jīng)費分配的科研評價中，科研機構(gòu)表現(xiàn)出更高的自主性，55%的被調(diào)查者認為具有高度自主性，35%的被調(diào)查者認為大部分情況下具有自主性。

表1 制定與實施科研評價過程的自主性

問卷還調(diào)查了影響機構(gòu)制定與實施科研評價過程的外部因素。大多數(shù)機構(gòu)指出其在制定與實施科研評價的過程中密切關(guān)注政府及基金資助機構(gòu)的政策、大學排名等影響科研評價的外部因素。如英國很多大學的科研評價方法與行為就受到了政府發(fā)布的《卓越研究框架》的影響。

總體來看，盡管很多歐洲大學認為其在制定與實施科研評價過程中具有自主性，但其科研評價并不是孤立開展的，他們時刻關(guān)注政府及基金資助機構(gòu)的政策、大學排名、競爭與創(chuàng)新研究環(huán)境等外部因素對科研評價的影響。

1.2 歐洲大學的科研評價對象

該部分調(diào)查歐洲大學在評價科研人員及其科研產(chǎn)出時通常將哪些著作或研究成果作為科研評價的對象。發(fā)表學術(shù)出版物、獲得科研基金(項目)是歐洲大學在評估科研人員時最看重的兩項學術(shù)行為，兩者的選擇比例均超過75%。90%受訪者認為學術(shù)出版物“非常重要”(80%)或“重要”(10%)；81%認為所獲得的科研基金(項目)“非常重要”(57%)或“重要”(24%)。

選擇比例在50%-75%(認為“非常重要”或“重要”)的學術(shù)行為有：(1)科研影響力與知識轉(zhuǎn)化(如知識產(chǎn)權(quán)中的專利與許可)，占68%；(2)學術(shù)共同體內(nèi)的研究合作(如合作出版物、學科內(nèi)或跨學科研究、機構(gòu)間合作)，占63%；(3)科研管理活動，占63%；(4)教學行為，占62%；(5)跨界研究合作(如與私人企業(yè)、政府或其他非學術(shù)組織的合作)，占57%；(6)學術(shù)關(guān)系網(wǎng)(如組織或參與學術(shù)會議)，占57%。

選擇比例在50%以下(認為“非常重要”或“重要”)的學術(shù)行為包括：(1)其他研究成果(如數(shù)據(jù))，占48%；(2)導師行為，占47%；(3)社會推廣與學術(shù)成果轉(zhuǎn)化(如參與非學術(shù)團體、公民科學、科學交流等)，占45%；(4)開放科學與獲取，占38%。

1.3 歐洲大學的科研評價方法

(1)針對科研人員及其科研產(chǎn)出的評價方法。該部分調(diào)查歐洲大學評價科研人員及其科研產(chǎn)出時通常使用哪些評估方法。調(diào)查顯示，大部分機構(gòu)采取定性(如同行評議)與定量(如基于期刊及使用的指標、替代計量等)相結(jié)合的方法評估科研人員及其科研產(chǎn)出(見表2)。

表2 針對科研人員及其科研產(chǎn)出評價方法的重要性

(2)針對學院/學部科研績效的評價方法。調(diào)查顯示，歐洲大學采取定性與定量相結(jié)合的方法評估學院/學部科研績效。與評價科研人員及其科研產(chǎn)出時的方法相比，對學院/學部科研績效的評價方法更加廣泛，包括在讀博士的數(shù)量或畢業(yè)的博士數(shù)量等。此外，自我評估報告也是各大學針對學院/學部科研績效所通常采用的評價方法，通常由內(nèi)部委員會以大學的發(fā)展規(guī)劃為參照指標開展評估，而政府及基金資助機構(gòu)的資助等因素及指標也偶爾會被納入評價項目中。

(3)針對科研經(jīng)費分配的評價方法。歐洲大學對科研經(jīng)費分配的評價通常由特設(shè)專家委員會或常設(shè)機構(gòu)執(zhí)行，采取的評價方法通常與針對科研人員和學院/學部的評價方法緊密相關(guān)。

總體而言，歐洲大學在評價科研人員及其科研產(chǎn)出時采用的主要評價方法具有明顯的區(qū)分度，非常明確地區(qū)分出重要的及不重要的評價方法。大部分歐洲大學認為定量的出版物指標和定性的同行評議比較重要，而開放科學與開放獲取指標、替代計量指標、學術(shù)關(guān)注度與吸引力的指標是其不太采用的指標。

1.4 歐洲大學的科研評價指標

通過EUA的調(diào)查，可以看到針對出版物、學術(shù)共同體內(nèi)的研究合作、學術(shù)關(guān)注度與吸引力、替代計量指標等對象的不同評價指標，有著不同的選擇比例。

除表3所示的評價對象之外，針對開放科學與開放獲取的評價指標、科研影響力與學術(shù)成果轉(zhuǎn)化的評價指標在受訪者中還未得到廣泛的應(yīng)用。

表3 針對不同評價對象選擇相應(yīng)評價指標的比例

針對開放科學與開放獲取指標，目前歐洲大學主要關(guān)注學術(shù)出版物的開放獲取，較少關(guān)注科研數(shù)據(jù)。但總體來看，對開放科學與開放獲取的評價還未廣泛納入評價體系中。盡管有的機構(gòu)在自我評估報告或者在出版物評價中提及開放科學與開放獲取指標，但仍未在機構(gòu)層面監(jiān)督開放科學與開放獲取的程度。

針對科研影響力與學術(shù)成果轉(zhuǎn)化指標，受訪者反饋，通常由技術(shù)轉(zhuǎn)移部門來管理機構(gòu)的科研影響力與學術(shù)成果轉(zhuǎn)化。關(guān)于具體采用指標，大多回復通過學術(shù)出版物的影響力來評價科研影響力，如期刊影響因子、H指數(shù)。此外，也會考察專利數(shù)量、許可數(shù)量、對商業(yè)副產(chǎn)品和初創(chuàng)企業(yè)的投入、在社會與文化領(lǐng)域產(chǎn)生的效用等指標。不過，很多受訪者反饋稱不知如何在機構(gòu)層面監(jiān)管學術(shù)成果轉(zhuǎn)化，但在針對科研人員個人的科研評價中，仍會考慮學術(shù)成果轉(zhuǎn)化的相關(guān)指標。

總體來看，歐洲大學針對科研人員及其科研產(chǎn)出的評價都會選擇一定的指標，大部分仍主要基于學術(shù)出版物的定量評估，如期刊影響因子及H指數(shù)等；此外，定性的同行評議也是其采用的重要評價方法。其他評價方法與指標(如開放科學與開放獲取指標)的應(yīng)用并不普遍，或僅在整個機構(gòu)層面廣泛應(yīng)用，而并未在評價科研人員個人的層面上使用。

2 歐洲大學對現(xiàn)有科研評價的審視與變革

該部分調(diào)查針對歐洲大學為何及如何審視其現(xiàn)有的科研評價。首先調(diào)查了現(xiàn)有規(guī)范與指南對準確、透明、負責任的科研評價行為的影響；其次調(diào)查了科研評價的未來發(fā)展方向；最后分析了大學重新審視科研評價并進行變革的原因及存在的困難與挑戰(zhàn)等。

2.1 歐洲大學科研評價變革的動因

被調(diào)查者反饋，外部壓力與內(nèi)部因素是驅(qū)動科研評價變革的主要原因。很多歐洲大學意識到政府、資助機構(gòu)、大學所處的常規(guī)制度與資助框架、競爭性科研與創(chuàng)新等外部環(huán)境因素對大學科研評價的影響。而內(nèi)部的驅(qū)動力主要體現(xiàn)在為實現(xiàn)機構(gòu)的各種目標，如改善研究環(huán)境以吸引或支持科研人員、提高科研產(chǎn)出的社會影響力。而要實現(xiàn)這些目標，現(xiàn)有的主要依賴出版物評價指標的科研評價方法的缺陷開始突顯。這種矛盾成為大學、機構(gòu)推動科研評價方法變革的強大內(nèi)驅(qū)力。

調(diào)查中在“科研評價行為受什么現(xiàn)有原則和指南影響最深”的問題中設(shè)置了《舊金山科研評價宣言》(SanFranciscoDeclarationonResearch Assessment，DORA)[6]、《萊頓宣言》(The Leiden Manifesto for Research Metrics)[7]及《度量標準浪潮》(The Metric Tide)[8]等選項，但是選擇這些由科研學會/協(xié)會/團體倡議的原則與指南的比例較少，其中15%選擇《舊金山科研評價宣言》，15%選擇《萊頓宣言》，7%的被調(diào)查者選擇《度量標準浪潮》。大部分(39%)選擇的是“其他”原則與指南，其中接近一半的大學受到政府政策的影響。這與“制定與實施科研評價過程的自主性”部分的調(diào)查結(jié)果相一致。35%的被調(diào)查者使用其他大學的模式作為其科研評價方法，只有19%的被調(diào)查者認為其科研評價行為不受現(xiàn)有原則與指南的影響，而是根據(jù)自身需要制定與實施科研評價方法與過程。由此可見，政府或科研資助機構(gòu)的科研評價政策對歐洲大學的科研評價變革產(chǎn)生的影響力最大。

2.2 歐洲大學科研評價變革的挑戰(zhàn)

在上述調(diào)查中，46%的被調(diào)查者反饋科研評價改革的復雜性是科研評價方法變革存在的主要困難之一。這里所提到的復雜性包括不同國家的實際情況不同、不同學科的發(fā)展情況不同等各種復雜的因素。

選擇比例超過30%的困難與挑戰(zhàn)包括：機構(gòu)缺乏能力(如熟練的員工、組織機構(gòu)支持等，占38%)；來自科研人員對科研評價方法改革的阻礙(占33%)；改革帶來的成本增長(如對熟練員工的需求、組織結(jié)構(gòu)的調(diào)整等，占33%)；對科研評價方法改革意識的不足(占31%)。以上困難與挑戰(zhàn)大多來自機構(gòu)內(nèi)部。

選擇比例在20%~30%之間的困難與挑戰(zhàn)包括：缺乏外部的激勵政策或措施(如國家/地區(qū)政府、基金資助機構(gòu)的激勵，占29%)；與國家或國際主流的評價方法保持一致(占26%)；缺乏實際證據(jù)證明對科研評價方法進行變革能帶來實際的利益(占21%)。

選擇比例低于20%的困難與挑戰(zhàn)包括：機構(gòu)內(nèi)相關(guān)部門/人員缺乏合作(占19%)；受國家/地區(qū)規(guī)章制度限制而缺乏機構(gòu)自主性(占19%)；學術(shù)領(lǐng)導層對科研評價方法改革的阻礙(占10%)；受資助機構(gòu)規(guī)章制度限制而缺乏機構(gòu)自主性(占9%)。

2.3 歐洲大學科研評價的未來發(fā)展方向

大部分被調(diào)查者正在思考與重新審視科研評價的未來發(fā)展方向。很多歐洲大學指出其未來將考慮將更廣泛的學術(shù)行為納入評價體系中來。學術(shù)出版物及獲得外部科研資助仍是未來科研評價的重點評估領(lǐng)域，但很多在“大學在評價科研人員及其科研產(chǎn)出時最看重的學術(shù)行為”中所提及的學術(shù)行為也是未來的重點。學術(shù)影響力與學術(shù)成果轉(zhuǎn)化、開放科學與開放獲取程度也是未來的評價重點領(lǐng)域。

審視科研評價方法的未來發(fā)展方向，目的是充分利用定性與定量結(jié)合的評價方法，推動科研評價更加準確、透明、負責任。但是，各大學發(fā)展的方向并不一致，盡管大部分歐洲大學都在努力推動科研評價轉(zhuǎn)向更加準確、透明、負責任，部分被調(diào)查者仍舊表示未來在評估科研人員及其科研產(chǎn)出時將更注重出版物相關(guān)的評價指標(如期刊影響因子)，這似乎正朝著與更加準確、透明、負責任的科研評價的相反方向發(fā)展。

3 啟示

歐洲大學和國內(nèi)大學在科研評價方面都存在一定的問題，都需要通過改革來實現(xiàn)更為科學合理的科研評價。而EUA調(diào)查報告呈現(xiàn)的歐洲大學的科研評價現(xiàn)狀也反映出了改革需解決的痛點和需要面對的挑戰(zhàn)，歐洲大學也在努力探索科研評價方法的變革與創(chuàng)新，其存在的一些問題同樣值得國內(nèi)大學反思與總結(jié)。據(jù)此，筆者提出了關(guān)于國內(nèi)大學科研評價改革的建議。

3.1 自上而下推動

EUA調(diào)查報告顯示，雖然歐洲大學科研評價方法變革的阻礙因素更多來自機構(gòu)內(nèi)部，如機構(gòu)能力、研究人員對科研評價變革的阻礙、改革帶來的成本增長、對科研評價方法改革意識的不足等，但是缺乏外部的激勵政策或措施、與國家或國際主流的評價方法保持一致、缺乏實際證據(jù)證明對科研評價方法進行變革能帶來實際的利益這三大外因也成為阻礙改革的因素。雖然我們常說內(nèi)因起主導作用，但是試想如果外部環(huán)境一直不發(fā)生變化，那么那些原有的科研評價方式的既得利益者和那些并不確定“科研評價方法進行變革能帶來實際利益”的觀望者哪里有動力去從內(nèi)部推動變革？他們只會繼續(xù)待在舒適圈里，而不愿承擔改革的成本。

國內(nèi)大學的科研評價改革同樣存在以上問題，改革存在的內(nèi)部阻力是相同的，想指望自下而上式的自發(fā)改革是不現(xiàn)實的。要改革就必須依靠我們國家特有的制度優(yōu)勢，自上而下，全國一盤棋地依靠政策措施、經(jīng)濟措施來強力推動，改變?nèi)狈钫?、缺乏一致性、缺乏示范效?yīng)的外部環(huán)境。為改革制定全國一致的激勵措施，并盡可能樹立一些典型示范，讓觀望者能夠看到變革帶來的實際效益，再進一步推開實施。

國外實踐如資助機構(gòu)協(xié)會科學歐洲(Science Europe)在2018年9月啟動開放獲取S計劃，聯(lián)合各資助機構(gòu)探討科研評價與開放科學，簽署該計劃的組織將要求科研人員將其受益于國家資助的研究成果公開獲取，同時變革傳統(tǒng)基于期刊評價的導向，采用《舊金山科研評價宣言》鼓勵科研人員開放共享科研成果[9]。英國政府的大學與科學國務(wù)大臣David Willetts聯(lián)合各重要利益相關(guān)者重新審視計量指標在科研評價中的作用，最終形成《度量標準浪潮》并提出一系列參考措施。該項舉措最終匯集研究資助機構(gòu)、大學等利益相關(guān)者舉辦“負責任研究指標論壇”[10]，合作推動負責任的使用計量指標。而近期國內(nèi)推行的“破四唯”“破五唯”“破除SCI論文至上”等措施的出臺正是我國政府自上而下推動改革的結(jié)果。

3.2 擴大學術(shù)行為范圍與領(lǐng)域

研究出版物及獲得外部科研基金(項目)仍是目前歐洲大學在評估科研人員時最看重的兩項學術(shù)行為與領(lǐng)域，其次是學術(shù)影響與學術(shù)成果轉(zhuǎn)化、研究合作，而其他一些學術(shù)行為，如其他研究成果(如數(shù)據(jù))、社會關(guān)系與學術(shù)成果轉(zhuǎn)化、開放科學與開放獲取等領(lǐng)域則應(yīng)用不多，并未普遍納入科研評價的范疇。這也是國內(nèi)科研評價改革需要重視的行為和領(lǐng)域。

吸取歐洲的經(jīng)驗，國內(nèi)未來亟需擴大學術(shù)行為范圍與領(lǐng)域。除將研究出版物及獲得外部科研基金(項目)作為主要評價對象外，隨著科研產(chǎn)出成果的多元化，國內(nèi)大學需要探索建立多元化的科研成果評價體系，將研究數(shù)據(jù)、專利、軟件與工具、視頻、學術(shù)博客文章等各類研究成果納入科研評價范疇，并根據(jù)不同成果類型的特點設(shè)置合理的評價指標。近年來，我國政府發(fā)布的國家標準《科學數(shù)據(jù)引用》《科學數(shù)據(jù)管理辦法》《關(guān)于破除科技評價中“唯論文”不良導向的若干措施(試行)》《關(guān)于規(guī)范高等學校SCI論文相關(guān)指標使用樹立正確評價導向的若干意見》《關(guān)于提升高等學校專利質(zhì)量促進轉(zhuǎn)化運用的若干意見》等政策文件倡導建立包含論文、專利、研究數(shù)據(jù)等多元化科研成果在內(nèi)的評價體系，承認研究成果的多樣化及其價值，以建立全面客觀的評價體系，避免過度依賴以論文及其期刊載體為主要評價的方法。未來，針對論文，需要摒棄“以刊評文”，重點評價論文的創(chuàng)新水平和科學價值、社會影響力與學術(shù)成果轉(zhuǎn)化；針對專利，需要重點考察其知識轉(zhuǎn)化力度；針對開放數(shù)據(jù)與開放出版物，考察其開放獲取程度等方面，最終實現(xiàn)對科研人員的全方位綜合評價。

3.3 實行定性與定量相結(jié)合的綜合評價方式

定性與定量相結(jié)合的綜合評價方式是未來科學評價的發(fā)展方向。當前不僅是國內(nèi)大學，歐洲大學同樣存在以出版物數(shù)量及引用次數(shù)為主的定量評價、以刊代文評價所帶來的問題，因此其也在尋求變革，探索定量評價和定性評價相結(jié)合的綜合評價方法。其中具有代表性的是以各研究協(xié)會/組織為主體提出的倡議，如《舊金山科研評價宣言》《萊頓宣言》等。不少大學也開始提出一些創(chuàng)新的做法，如英國巴斯大學在發(fā)布了《科研評估與管理原則》[11]，致力于將定性的同行評議與定量評價方法相結(jié)合。比利時根特大學發(fā)布《科研評價愿景聲明》，提出八項原則指導科研人員招聘與職業(yè)晉升評價，改變以往僅注重定量評價的模式，開始注重人才培養(yǎng)與發(fā)展，從更廣泛角度評價科研人員[12]。

國內(nèi)也看到了單純依賴定量評價的弊端，開始越來越重視定性與定量相結(jié)合的綜合評價方式。近期我國政府發(fā)布的多項政策目的也是規(guī)范各類評價工作中論文相關(guān)定量指標的使用，鼓勵定性與定量相結(jié)合的綜合評價方式，探索建立科學的評價體系。為進一步規(guī)范各類評價工作中以論文為基礎(chǔ)的簡單量化評價，需要建立健全分類評價體系，根據(jù)不同層次、不同類型科研的特點，確定不同的評價目標、內(nèi)容和標準，分類指導、分類考評，如針對基礎(chǔ)研究、應(yīng)用研究、科技產(chǎn)業(yè)化等不同類型科研活動的特點，明確相應(yīng)的評價標準。同時需要完善學術(shù)同行評價，同行評議是由從事該領(lǐng)域或接近該領(lǐng)域的專家來評定一項研究工作的學術(shù)水平或重要性的一種方法，是國內(nèi)外公認的較為合理的科研評價制度。但同行評議的功能、程序、環(huán)節(jié)還存在諸多亟待完善之處，需要規(guī)范評價流程，嚴格把關(guān)同行評價專家信譽度，明確專家責任，消除評價過程中的不公平因素。

4 結(jié)語

EUA調(diào)查報告非常詳盡地為我們展示了歐洲大學科研評價的現(xiàn)狀、概貌與特點。通過對報告的分析，有助于我國大學機構(gòu)重新審視科研評價方法，支撐科研人員重新思考其學術(shù)出版與傳播行為，并引發(fā)圖書館對其科研評價服務(wù)的思考。相信未來在政府、科研資助機構(gòu)、大學、研究人員及圖書館等多方共同合作下，國內(nèi)大學科研評價工作將不斷改進和完善，崇尚學術(shù)、追求卓越的學術(shù)生態(tài)環(huán)境將指日可待。