王 楠，羅珺文

（1.首都師范大學教育學院，北京 100048；2.新疆大學研究生院，新疆維吾爾自治區(qū)烏魯木齊 830046；3.都柏林大學公共政策研究所，愛爾蘭都柏林 999015）

人類社會發(fā)展的歷史證明，依托知識創(chuàng)新推動的科技進步是人類生存和可持續(xù)發(fā)展的重要基礎(chǔ)，也是現(xiàn)代人類社會進步的重要支柱。作為人類發(fā)展史上的重要里程碑，幾次工業(yè)革命都源于將研究成果推向創(chuàng)新的工業(yè)市場而徹底改變了人類發(fā)展與文明進程。知識經(jīng)濟時代的到來對知識生產(chǎn)提出更加多元的訴求：既要肩負知識創(chuàng)新的使命，也要兼顧其對外部社會的責任。這引發(fā)各國在不斷增加科學研究經(jīng)費的同時，開始了對科研評估價值導向的反思。近年來，包括美國、英國、荷蘭在內(nèi)的科研投入和產(chǎn)出大國都紛紛扭轉(zhuǎn)了評估導向，從單純地關(guān)注科研成果的學術(shù)影響，轉(zhuǎn)向兼顧其非學術(shù)影響，即關(guān)注科研成果對學術(shù)界以外的更寬泛的社會、經(jīng)濟、文化、公共政策、醫(yī)療、教育、環(huán)境以及公民生活質(zhì)量所產(chǎn)生的影響和推動作用，并在科研評估制度中引入了“非學術(shù)影響”這一全新的維度。雖然在不同的社會語境下，各國使用了不同的表達方式：美國稱之為社會影響（societal impact），英國將其定義為非學術(shù)影響（impact of research beyond academia），荷蘭則使用社會相關(guān)性（relevance of society）的表述，但就其內(nèi)涵而言，都共同指向科研成果為外部社會帶來的貢獻與收益。評估范式的轉(zhuǎn)型被認為有可能完全改變知識創(chuàng)新活動的走向、國家的科研戰(zhàn)略選擇和高校的學科發(fā)展路徑，引發(fā)各國學界和社會的高度關(guān)注和熱議。

我國近年來也頒布了一系列科研評估改革方案，包括2018 年教育部發(fā)布《關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學歷、唯獎項”專項行動的通知》，國務(wù)院印發(fā)《關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知》；2020 年教育部、科技部印發(fā)《關(guān)于規(guī)范高等學校SCI 論文相關(guān)指標使用 樹立正確評價導向的若干意見》，中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》等，其中均突出強調(diào)衡量科研成果對社會的實際影響與貢獻，以期扭轉(zhuǎn)不科學的評價導向，引導科學研究更多地面向國家重大需求和社會經(jīng)濟發(fā)展。但是在傳統(tǒng)的評估范式之下，改革依舊面臨破局之艱，比如仍未針對科研成果非學術(shù)影響的特點設(shè)計專門的評價指標、強調(diào)數(shù)量至上的評價方法難以有效衡量高校與社會互動的多維關(guān)系等，這使得評估方案的社會價值導向功能發(fā)揮不足，亟待進一步探索破局之道。

本研究對美、英、荷開展的科研成果非學術(shù)影響評估進行了系統(tǒng)考察，力圖更加深入地理解這一全新評估維度的價值追求，把握各國評估實施中的創(chuàng)新與亮點，并以此為基礎(chǔ)對照和反思我國科研評估制度存在的不足，以期對當前由于價值偏離導致的評價異化現(xiàn)象進行糾偏，為我國高校探索科研評估制度的改革與創(chuàng)新提供可資借鑒的國際經(jīng)驗。

1 美英荷開展非學術(shù)影響評估的實踐考察

1.1 美國：開發(fā)了專門指向“社會影響力”的STAR METRICS 評估項目

美國于2005 年開發(fā)實施了一項專門針對科研成果社會影響力的評估項目：美國再投資中的科學與技術(shù)：測量研究工作在創(chuàng)新、競爭力與科學上的影響（Science and Technology for America's Reinvestment:Measuring the Effects of Research on Innovation,Competitiveness and Science，STAR METRICS）。該項目由美國國家衛(wèi)生研究院和國家科學基金會聯(lián)合發(fā)起，旨在建立一個基于計量指標的數(shù)據(jù)分析模型，通過計算投入指標和產(chǎn)出指標的比率，追蹤聯(lián)邦研發(fā)經(jīng)費使用效率，進而評估由聯(lián)邦研發(fā)經(jīng)費所支持的科研產(chǎn)出為社會帶來的積極影響（societal impact）［1］。項目希望依托評價結(jié)果進一步明確聯(lián)邦政府在科研投入方面的責任；提升科技政策決策的科學化水平；保證并增強公眾對于研發(fā)經(jīng)費流向與使用的知情權(quán)。

項目分兩個階段展開。第一階段的目標是利用聯(lián)邦政府和全美高校的數(shù)據(jù)，評測研發(fā)經(jīng)費對勞動力市場產(chǎn)生的影響［2］。項目涉及的投入指標主要包括科研經(jīng)費信息、資金流向等；產(chǎn)出指標主要包括項目人員信息、供應(yīng)商信息等［3］。因聯(lián)邦政府撥付的每一筆科研經(jīng)費都有唯一的資金編號，當一筆經(jīng)費由聯(lián)邦政府下?lián)芎螅瑢苑纸獾娜舾晒P子資金的形式撥付給項目供應(yīng)單位（高?；蜓芯繄F隊），因此通過追蹤科研資金的走向和用途，便可以獲知科研經(jīng)費投入對增加院校中的就業(yè)崗位做出的間接貢獻。

項目第二階段聚焦美國聯(lián)邦政府的科研投入對科學知識、社會產(chǎn)出、勞動力產(chǎn)出以及經(jīng)濟增長四個維度產(chǎn)生的影響［4］。投入指標主要包括個人或機構(gòu)層面的研發(fā)經(jīng)費流向。產(chǎn)出指標方面，在四個不同維度分別面向大學、科研機構(gòu)、項目負責人設(shè)計了有針對性的指標［4］。在科學知識維度，面向大學和科研機構(gòu)設(shè)計的指標主要涉及教師和研究人員的知識生產(chǎn)與創(chuàng)新成果在社會中被傳播和使用的效果。面向項目負責人的指標則更多關(guān)注科研成果如何通過社會參與的方式被公眾所認知與理解。社會產(chǎn)出維度面向三方主體設(shè)計的指標均關(guān)注科研成果對健康、環(huán)境、公平、安全、治安、基礎(chǔ)設(shè)施這6 方面的影響。勞動力產(chǎn)出維度，面向大學與科研機構(gòu)的指標主要關(guān)注本科生和研究生規(guī)模及其職業(yè)生涯發(fā)展軌跡。而面向項目負責人的指標則關(guān)注本科生與研究生參與科研項目的工作時長。經(jīng)濟增長維度，面向大學與科研機構(gòu)的指標一致聚焦于機構(gòu)內(nèi)部就業(yè)崗位的增減情況，以及專利創(chuàng)新、新公司上市等影響經(jīng)濟發(fā)展的若干指標［5］。項目通過將上述投入指標與產(chǎn)出指標進行關(guān)聯(lián)，以投入產(chǎn)出比作為評價標準測度科研成果的社會影響力。

STAR METRICS 項目會在政府公開數(shù)據(jù)庫data.gov 和項目官網(wǎng)上實時更新項目的各項過程性指標數(shù)據(jù)以及評估報告［5-6］，以增加公眾的參與度，保障公民的知情權(quán)。同時，不同機構(gòu)也根據(jù)不同目的對該項目開展了多維度的元評估。如美國國家科學院［7］由聯(lián)邦政府授權(quán)，與國家科學基金會、信息技術(shù)與創(chuàng)新基金會等多部門合作完成了元評估報告《STAR METRICS 項目評估》，就該項目的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)價值、數(shù)據(jù)質(zhì)量管理進行了充分的論證。美國醫(yī)學院協(xié)會也委托獨立咨詢機構(gòu)歐洲蘭德公司（RAND Europe）對項目的評估方法、數(shù)據(jù)收集和處理過程等開展了元評估［4］。

1.2 英國：在REF2014 中首次設(shè)立“非學術(shù)影響”評估維度

英國于20 世紀80 年代就建立了比較系統(tǒng)的高等學?？蒲性u估制度。2008 年英格蘭高等教育基金委員會（Higher Education Funding Council for England，HEFCE）制定并頒布了新一輪高等學?？蒲性u估體系——“科研卓越框架（Research Excellence Framework，REF）”。REF 評估主要指向3 個目標：第一，以評估結(jié)果作為重要參考依據(jù)，指導英國政府更加合理地分配科研經(jīng)費，推動英國的科研產(chǎn)出保持世界領(lǐng)先水平，并持續(xù)以高水平的研究推動英國社會與經(jīng)濟的發(fā)展［8］。第二，以評估結(jié)果作為有力的證據(jù)，為國家科研投入的收益和影響提供問責保障。第三，以評估結(jié)果作為參照，為院校之間進行比對、開展合作提供基準比較信息，并建立衡量院校聲譽的標尺［9］。

REF 在2014 年開展的首輪評估中開創(chuàng)性地將科研成果的“非學術(shù)影響（impact of research beyond academia）”列為一個獨立的評估維度，將其定義為“研究成果在學術(shù)界以外所產(chǎn)生的輻射影響，包括對社會經(jīng)濟、文化、公共政策、醫(yī)療、環(huán)境以及公民生活質(zhì)量所帶來的改變和作出的積極貢獻”［9］，將其權(quán)重設(shè)定為20%，希望引入這一全新的評價維度以引導高校更好地利用和轉(zhuǎn)化科研成果，為社會帶來更多的改變和貢獻［10］。在2021 年開展的第二輪REF 評估中，不僅延續(xù)了非學術(shù)影響評估，還將其權(quán)重提升為25%，可見英國對科研成果社會影響的關(guān)注和重視。

REF 中的非學術(shù)影響評估采取專家評議的方式進行，參評高校及院系依據(jù)其研究所屬的主要學科領(lǐng)域，選擇相應(yīng)的單元提交材料。4 個學科大組及其下的36 個二級學科評估單元1）均由一位專家領(lǐng)銜、由多位科研人員及來自工業(yè)或其他社會各界的終端用戶代表（約23%）擔任組員，共同組成評估小組。

參評單位需要提交以下兩份評估材料：第一，影響力案例。通過結(jié)構(gòu)化敘事詳細闡述某一項研究成果在評估周期內(nèi)為社會帶來的積極影響，包括影響輻射的范圍、程度，涉及領(lǐng)域，受益人群，持續(xù)性等，并需同時提供這一社會影響得以形成的支撐研究材料，包括科研成果的核心結(jié)論、成果類型、依托基金、發(fā)表和轉(zhuǎn)化情況。第二，戰(zhàn)略措施信息。按照規(guī)定模板闡釋高校為促進科研成果的非學術(shù)影響采取的戰(zhàn)略措施和戰(zhàn)略行動，以輔助對影響力案例的評估［11］。

評估小組將通過影響力的輻射范圍（Reach）和重要意義（Significance）兩個標準對案例進行評估，以4*、3*、2*、1*、U（未評級）5 個等級進行打分，分別代表科研成果的社會影響卓越、可觀、較大、一般、較?。?2］，隨后乘以權(quán)重與其他維度的得分一起計入評估總分。由于評估結(jié)果將對院校的資源配置產(chǎn)生直接的影響，因此評估單元在競爭壓力下將非常認真地組織和收集支撐材料，評估小組也將審慎地為評估單元進行打分。

REF2014 評估結(jié)束后，為回應(yīng)英國各界對評估透明度的關(guān)注，項目組在官網(wǎng)上公開了參評專家和代表的選擇標準及最終名單，評估單元提交的6 679份2）影響力案例及評估結(jié)果［13］，鼓勵學界和第三方開展進一步的分析。同時，委托歐洲蘭德公司對新增加的非學術(shù)影響評估展開了多維度的元評估。第一項元評估主要面向高校及研究人員，針對他們準備和提交影響力案例材料的過程進行評估。結(jié)果表明，在REF2014 中開展非學術(shù)影響評估帶來了一系列可喜的變化：研究者對科研影響的認知和理解能力普遍增強；科研人員與外部利益相關(guān)者的溝通渠道變得更加暢通；有利于激發(fā)學者和院校對科研外部影響進行更廣泛的戰(zhàn)略思考。但是與此同時，也認為評估為撰寫案例的研究人員、參與評估的學校部門在工作時間和強度上帶來了一定的負荷［14］。第二項元評估面向包括學術(shù)委員會和終端用戶組成的評估小組，針對非學術(shù)影響評估方法的優(yōu)勢與不足、評估結(jié)果的可信度及公平性展開評估?？傮w而言，評估主體的反饋比較積極，認為影響力案例的提交和評審過程能夠得到公平、可信且具有一定說服力的評價結(jié)果；評估為知識的創(chuàng)造者和使用者搭建了平臺，具有很高的價值。但同時也提出了改進建議，希望在下一輪評估中更加細化區(qū)分不同類型的影響力案例；允許評審專家在打分的同時給出更多具體的、有針對性的建議；進一步完善評估指南以更有效地指導影響力案例的準備與撰寫工作［15］。這些元評估的結(jié)論都對REF2021 的改革提供了基于證據(jù)的啟示。

1.3 荷蘭：在SEP2015 中增加“社會相關(guān)性”獨立指標

荷蘭從20 世紀90 年代起建立了國家層面的科研評估制度，設(shè)計了《標準化評估指南》（Standard Evaluation Protocol，SEP），規(guī)定了在荷蘭所有高校和公立科研機構(gòu)開展評估的目標、維度、方法和流程［16］，并達成遵照SEP 框架定期開展評估的協(xié)定和共識?！稑藴驶u估指南2015—2021》（以下簡稱“SEP2015”）是最新版本的在荷蘭開展科研評估的制度框架，其實施的核心目標是以評估結(jié)果為參照，理解并提升科研工作的質(zhì)量；促進科研工作對社會的貢獻和影響；指導和服務(wù)研究人員開展科研工作、院校董事會改進戰(zhàn)略、政府進行科學決策［17］?？傮w而言，SEP2015 的目的在于“改進”而非“考核”,強調(diào)實施指向未來的“戰(zhàn)略可行性”評估，側(cè)重考量評估單元是否有能力采取相應(yīng)的戰(zhàn)略措施和手段實現(xiàn)預(yù)先擬定的戰(zhàn)略目標［16］。

SEP2015 首次在科研綜合實力維度下單獨設(shè)立了科研成果的“社會相關(guān)性（relevance to society）”這一指標，重點考量科研成果與社會的互動及其產(chǎn)生的外部社會影響，例如科研成果對經(jīng)濟、社會、文化的貢獻，對政策的建議，對公共事務(wù)的推動等［18］。荷蘭近年來的科研評估尤為強調(diào)科研成果對社會產(chǎn)生的影響，將這一過程稱為“價值創(chuàng)造（valorisation）”［19］，即通過知識創(chuàng)造更大經(jīng)濟社會和文化價值的過程，在SEP 的指標中也有充分體現(xiàn)。社會相關(guān)性指標下包括3 個考察點：（1）標志性成果，指面向特定群體、服務(wù)社會大眾的科研產(chǎn)出，如政策咨詢報告、面向非學術(shù)群體的文章、為大眾提供的講座或展覽等成果推廣活動；（2）標志性成果的利用率，指科研成果服務(wù)特定目標群體的情況，如專利、與社會各界合作的項目、橫向課題等；（3）標志性成果的認可度，指科研成果獲得的社會認可和獎勵，如公共獎項、社會投資、在社會公共咨詢機構(gòu)任職的人數(shù)等［17］。

社會相關(guān)性評估在SEP 框架之下采取自我評估和外部同行評估并行的模式實施。評估單元需在自評報告中根據(jù)自身的戰(zhàn)略定位，選取最能反映自身特色、績效和未來發(fā)展目標的素材，通過敘事呈現(xiàn)一個最具代表性的、由科研成果形成廣泛社會影響的案例，來反映科研工作與社會的互動、產(chǎn)生的影響及其帶來的社會價值［19］。研究機構(gòu)的董事會全權(quán)負責設(shè)立由同行專家組成的評估委員會，并以評估單元的戰(zhàn)略目標實現(xiàn)度作為核心標準，依據(jù)自評報告和實地考察進行知情判斷，給出等級制的評估結(jié)果（包括：卓越、優(yōu)秀、良好、欠佳）和個性化的建議［17］。

荷蘭在開展SEP 評估的過程中同樣非常重視評估工作的透明度。高校和研究機構(gòu)的董事會需要在其官方網(wǎng)站全程公示評估的各項組織工作，包括評估委員會的人員構(gòu)成、評估流程、評估進度等，并在評估結(jié)束后的6 個月內(nèi)發(fā)布最終的評估報告及其過程性支撐材料，公布高?；蜓芯繖C構(gòu)所采取的持續(xù)改進措施［17］，使公眾通過開放的渠道了解評估方案與結(jié)果，并接受公眾質(zhì)疑與問責。

2 比較與啟示

2.1 引入非學術(shù)影響評估，構(gòu)建充滿活力的科研生態(tài)體系

基于上述來源于實踐的考察，我們不難發(fā)現(xiàn)，自21 世紀初以來不同國家都先后在科研評估的制度框架中加入了非學術(shù)影響這一全新的維度。美國于2005 年啟動STAR METRICS 項目，英國自2011 年在REF 中加入非學術(shù)影響維度，荷蘭于2014 年首次引入社會相關(guān)性指標。此外，澳大利亞、挪威、芬蘭、意大利等國家也在2010 年前后陸續(xù)開始關(guān)注并提出在科研評估體系中增加非學術(shù)影響評估維度。同時，由于非學術(shù)影響主要關(guān)注科學研究與外部社會的互動，因此格外強調(diào)不同國家和地區(qū)社會的經(jīng)濟、文化、政治等語境（Context）。雖然在不同的語境下，各國使用了不同的表達方式來指代非學術(shù)影響，但就其內(nèi)涵而言，它們實際上都在關(guān)注科研成果為外部社會帶來的貢獻與收益，并且這些評估項目都采用了不同于傳統(tǒng)學術(shù)評估的新模式和新方法開展評估工作，希望通過引入非學術(shù)影響來引導和加強高校和研究機構(gòu)更好地思考和理解科研工作對于社會發(fā)展的改變和價值，進一步擴大和延伸科研成果利用和轉(zhuǎn)化的范圍。這些實踐探索凸顯了科學研究服務(wù)社會的價值導向。

目前我國的科研評估框架中還未設(shè)置非學術(shù)影響評價維度。盡管部分評估方案已經(jīng)開始關(guān)注和強調(diào)科研成果對外部社會的貢獻，并增設(shè)了社會服務(wù)評價指標［20］，但是社會服務(wù)指標與非學術(shù)影響指標在內(nèi)涵上仍然存在一定的差異：社會服務(wù)是一個由來已久的概念，一直被公認為高校的第三使命，與高校的人才培養(yǎng)和科學研究職能并行，更多地指向高校對社會單向度的智力輸出。而非學術(shù)影響是近年來在知識生產(chǎn)模式轉(zhuǎn)型的背景下提出的新概念，被看作是科學研究與社會服務(wù)軟邊界下的交集，強調(diào)在知識生產(chǎn)過程中，通過大學、產(chǎn)業(yè)、政府和公民組織等多元主體的互動參與及其對科學的協(xié)同治理，共同解決社會關(guān)切的現(xiàn)實問題。顯然，傳統(tǒng)的社會服務(wù)指標已經(jīng)不足以涵蓋當前高校與經(jīng)濟社會發(fā)展互動的豐富、多維關(guān)系，更無法回應(yīng)高校治理能力現(xiàn)代化的要求。

在當前我國高校提出破“五唯”和研究扎根中國大地的科研評價導向下，我們有必要在準確地理解和界定非學術(shù)影響內(nèi)涵的基礎(chǔ)上，適時引入這一全新的評價維度，聚焦高校與經(jīng)濟社會發(fā)展的緊密聯(lián)系，強調(diào)知識生產(chǎn)對服務(wù)國家和地區(qū)發(fā)展的實際貢獻和影響。樹立這樣的評估風向標有利于強化研究者的社會責任與價值，促進知識創(chuàng)造者和使用者之間的互動和理解，推動研究者有意識地去關(guān)注和回應(yīng)潛在用戶對科研成果的訴求，進而主動、有針對性地推動和促進研究的社會影響，使科研工作面向服務(wù)國家重大需求和解決社會發(fā)展實際問題；同時，也有利于提升高?？蒲畜w系的多樣性，在學術(shù)影響與非學術(shù)影響的互動與平衡中構(gòu)建充滿活力的科研生態(tài)體系。

2.2 進一步優(yōu)化評估方案，強化非學術(shù)影響評估的社會價值導向功能

美、英、荷三國的非學術(shù)影響評估因其目標不同，評估的方法、標準、結(jié)果及其帶來的影響與效應(yīng)也都不同，呈現(xiàn)出多樣的評估模式與特色，有很多創(chuàng)新經(jīng)驗可資借鑒。例如，美國STAR METRICS 項目表現(xiàn)為突出量化評估的績效模式，其評估方法可操作性較強、評價結(jié)果相對直接、客觀，橫向可比性更強。在指標設(shè)置上，STAR METRICS 項目搭建了一套與傳統(tǒng)評價指標觀測點完全不同的、凸顯社會影響的計量指標體系。英國REF 中的非學術(shù)影響評估則呈現(xiàn)很明顯的競爭模式特點，院校審慎地收集和提交資料，評估結(jié)果最終計入總分，并對院校的資源配置產(chǎn)生重要且直接的影響。在評價方法上，REF 是首個采用影響力案例敘事開展非學術(shù)影響評估的體系，允許研究者以自由、開放的方式描述不同情境下的影響力故事，充分尊重了學科差異和研究活動的多樣性。荷蘭SEP 評估則表現(xiàn)為反思共建模式，指向改進與發(fā)展，競爭意味相對淡化，因此其社會相關(guān)性評估中多元主體評價反思、價值共建的特色尤為明顯。

我國當前的科研評估制度也在力圖扭轉(zhuǎn)片面追求科研成果學術(shù)影響的導向，嘗試引入鼓勵社會貢獻與擴大社會影響的評價維度，但是現(xiàn)有的評估方案仍有待進一步優(yōu)化。比如，從第四輪學科評估開始增設(shè)社會服務(wù)與學科聲譽一級指標，希望推動高校重視與社會發(fā)展的緊密聯(lián)系，具有一定的正向指導意義，但在具體的指標設(shè)計上，社會服務(wù)旨在引導學科建設(shè)關(guān)注國家和地區(qū)經(jīng)濟社會發(fā)展的現(xiàn)實需求，而學科聲譽則強調(diào)關(guān)注參評單位的在學術(shù)領(lǐng)域的影響力及其學術(shù)道德情況。將兩個發(fā)揮著不同導向作用的指標進行捆綁，且前者在整個評估框架中所占權(quán)重比較單薄，這樣的指標設(shè)置方式將弱化評估的社會價值導向。

非學術(shù)影響評估是科研評估體系中一個全新的評價維度，要保證評估的信效度，使其切實發(fā)揮社會價值導向功能，需要突破傳統(tǒng)評價方式的慣習，優(yōu)化創(chuàng)新評估方案，包括進一步明確評估的價值選擇、構(gòu)建凸顯社會影響特點的指標體系、選取不同于傳統(tǒng)學術(shù)評價的創(chuàng)新方法等。在新時代深化教育評價改革的背景下，需要有突破頑瘴痼疾的魄力，同時更要妥善處理破與立的辯證關(guān)系，多措并舉，形成富有時代特征、彰顯中國特色的科研評估體系，并在其中真正發(fā)揮非學術(shù)影響評估應(yīng)有之功能。

2.3 開展多維度的元評估，營造并形成良好的評估文化

美、英、荷三國在引入非學術(shù)影響這一新興評估維度的過程中，都非常重視評估過程和結(jié)果的透明度，抱著開放的態(tài)度公開發(fā)布了過程性信息數(shù)據(jù)和影響力案例支撐材料，并通過積極開展不同類型的元評估提升其可信度和專業(yè)性，營造和建設(shè)良好的評估文化。

近年來我國各級各類科研評估框架都在指標設(shè)計、數(shù)據(jù)采集、評價模式、結(jié)果發(fā)布與應(yīng)用等方面進行了諸多制度創(chuàng)新，但是在上述評估實施的全流程中，仍普遍缺少元評估環(huán)節(jié)的設(shè)置，且由于評估方法與流程透明度不足，支撐數(shù)據(jù)和材料公開性不夠，也鮮見第三方機構(gòu)開展系統(tǒng)、專業(yè)的元評估，明顯缺少多元主體參與和多元價值共建環(huán)節(jié)，也缺少了社會公眾對評估方案表達理性訴求的制度化渠道，難免造成了一系列相應(yīng)的問題，包括評估的信效度無法得到證明，評估的方法與過程無法得到充分理解，評估的結(jié)果無法得到公認，學界也無法為評估實踐活動提供有證可循的政策建議，甚至有些非理性的評價和批評完全是因為未能充分了解而產(chǎn)生的誤解所致。

我們應(yīng)該認識到開展元評估的必要性及其積極意義：通過向公眾公開資料，有利于增加評估過程的透明度和合法性；通過針對評估結(jié)果的元評估，對原始數(shù)據(jù)和資料進行二次分析，有利于檢驗評估的可靠性和可重復性；通過對評估方法與流程的元評估，有利于獲得基于證據(jù)的專業(yè)化建議，從而不斷改進與提升評估實效。同時，來自多元主體的討論與質(zhì)疑是社會高度關(guān)注的體現(xiàn)，也是對評估有效性的理想期待，更是學科評估文化走向良性的證明［21］。在我國未來的評估實踐中，特別是在引入非學術(shù)影響評估維度的過程中，有必要適度公開過程性資料，增加評估透明度和可驗證性，并從評估目的、評估指標、評價標準、評估實施、評估影響等方面鼓勵和開展系統(tǒng)多維的元評估，以幫助我們了解該指標的引入是否切實有效加強了高校科研與社會發(fā)展的緊密聯(lián)系，同時規(guī)避這一新興的評估維度可能帶來的潛在風險。這將為評估本身提供質(zhì)量保障機制，改進評估實踐、提升評估專業(yè)性、更有利于促進營造和形成良好的評估文化。

3 結(jié)論

科研成果的非學術(shù)影響評估是近年來各國科研評估框架中的重要維度，也是我國科研評估改革破除“唯論文”“SCI 至上”等不良評價導向、建立多元評價標準的重要抓手。本研究從評估目標、評估方法、評估標準、評估流程等維度對美英荷三國近年來開展的非學術(shù)影響評估進行了系統(tǒng)考察，以期為我國科研評估制度的改革與創(chuàng)新提供可資借鑒的經(jīng)驗，助力中國特色學術(shù)規(guī)范和評價體系建設(shè)。

研究發(fā)現(xiàn)，近年來美英荷等國家都紛紛扭轉(zhuǎn)了評估導向，從單純地關(guān)注科研成果的學術(shù)影響，轉(zhuǎn)向兼顧其非學術(shù)影響，即關(guān)注科研成果對學術(shù)界以外的更寬泛的社會、經(jīng)濟、文化、公共政策、醫(yī)療、教育、環(huán)境以及公民生活質(zhì)量所產(chǎn)生的影響和推動作用，并在科研評估制度中引入了非學術(shù)影響這一全新的維度，希望發(fā)揮其社會價值導向功能，引導院校和學者通過知識生產(chǎn)活動為社會作出更多積極的貢獻。各國在探索非學術(shù)影響評估的實踐過程中形成了多樣的評估模式與特色：美國開發(fā)了專門指向社會影響力的STAR METRICS 評估項目，運用基于計量指標的數(shù)據(jù)分析模型來評估由聯(lián)邦研發(fā)經(jīng)費所支持的科研產(chǎn)出為社會帶來的積極影響，形成了突出量化評估的績效模式；英國在REF2014 中首次設(shè)立非學術(shù)影響評估維度，采取專家評議的方式對科研成果的社會影響輻射范圍和重要意義進行評估，并將評價結(jié)果以25%的權(quán)重計入總分，作為指導政府合理分配科研經(jīng)費的重要參考依據(jù)，形成了比較鮮明的競爭模式；荷蘭在SEP2015 中增加了社會相關(guān)性獨立指標，以評估結(jié)果為參照來指導和促進科研工作為社會做出更多有益的貢獻，其多元主體評價反思、價值共建的特色尤為明顯，形成了 反思共建模式。基于從國際比較中獲得的啟示，本研究為我國科研評價體系改革提出三點建議：第一，引入非學術(shù)影響評估，構(gòu)建充滿活力的科研生態(tài)體系；第二，進一步優(yōu)化評估方案，強化非學術(shù)影響評估的社會價值導向功能；第三，開展多維度的元評估，營造并形成良好的評估文化。

注釋：

1）REF 以學科為單位開展評估，設(shè)立了生命科學學科（學科A組）、工程與物理科學學科（學科B 組）、社會科學學科（學科C 組）、藝術(shù)與人文學科（學科D 組）四個學科大組，并在各學科大組下根據(jù)學科分類進行了細分，分設(shè)共計36 個二級學科小組，其中每一個二級學科小組都成為一個獨立的評估單元（unit of assessment，UoA），各自開展評估。

2）REF2014 一共收到來自高校和科研院所的6 975 份影響力案例，其中296 份影響力案例由于涉密等原因未完全公開，其余6 679份影響力案例均公開。