文/宋艷輝 朱李 邱均平
2020年,教育部、科技部印發(fā)了《關于規(guī)范高等學校SCI論文相關指標使用樹立正確評價導向的若干意見》(以下簡稱《意見》),致力于破除“唯論文”“SCI至上”等盲目的學術崇拜之風。該《意見》的制定與實施推動了科技創(chuàng)新活動向高質(zhì)量發(fā)展,對公正化、科學化、規(guī)范化的科研評價體系構建進行宏觀引導,有利于打造優(yōu)良的學術生態(tài)環(huán)境。目前,我國尚未完全建立具有科學權威、公開透明的科研評價體系。鑒于科研評價的復雜性,以及政策驅(qū)動改革的重要性,本文擬從評價政策、評價主體、評價指標體系三個維度梳理我國科研評價制度的演變與變遷,探討其在建立科學的科研評價體系中的地位和作用,分析過度使用SCI指標來進行科研評價存在的弊端和“破五唯”背景下多元化科研評價體系構建的一些思考方向。
新中國成立以來,我國的科研評價制度先后經(jīng)歷了制度的創(chuàng)立、變更以及被打破的過程。根據(jù)重大歷史事件的轉折影響作用,可將我國科研評價政策制度70年的演變大致分為四個階段。(1)發(fā)展階段(1949—1976年)。以政治評價為中心,以行政力量為主導,由相關部門推動科研評價的制度變遷。(2)調(diào)整階段(1977—1989年)。十一屆三中全會之后,我國全面進入改革開放時期,有關科研評價的研究工作逐漸走向正軌。(3)變革階段(1990—2001年)。國家開始實施“科教興國”戰(zhàn)略,積極探索具有中國特色的科研評價制度。(4)完善階段(2002年至今)??蒲性u價制度的發(fā)展更加快速與規(guī)范,為了與國際標準接軌,我國對科研評價政策進行了更加深入的改革,將關注點重新拉回“科研”本身,試圖建立一套以多元化創(chuàng)新為主的分類評價指標體系。
評價主體作為科研評價制度的組成要素之一,是指從不同的評價視角對學術研究成果進行價值判斷的行為主體,主要由期刊編輯、學術共同體、科研管理部門、評價中介機構以及社會公眾媒體等構成。其中,以學術共同體為主導的科研評價制度,其評價標準和評價結果相比其他評價主體更具權威性。評價主體目前的發(fā)展趨勢是:行政管理與學術管理間的界限變得更為清晰明確,科研評價的主體趨于多元化,且由政府主導評價慢慢向?qū)W界主導評價過渡,或是政府、同行評議和第三方評價機構組成的共同評價,以減少單一的評價主體所帶來的學術問題。
科研評價大致分為學科評價(學科專業(yè)排名等)、機構評價(中國大學排名等)和學術論文評價(論文引用、期刊質(zhì)量等)。
(1)學科評價指標體系。一般認為,正式開展高等教育評估工作始于20世紀80年代。隨著本科生和研究生教育規(guī)模的不斷擴大,作為第三方非行政性機構的教育部學位與研究生教育發(fā)展中心加入專業(yè)評估行列中,其指標體系也不斷調(diào)整優(yōu)化。區(qū)別于中央和地方政府、高校,學位中心作為評價主體,其評估特性具有非約束性,且重點關注學科建設的固有內(nèi)涵。從2002年到2017年,其逐漸弱化“學術隊伍”指標,穩(wěn)定“科學研究”指標,加強“學術聲譽”“人才培養(yǎng)”指標。推動學術評估走向國際化,提倡引進國際同行評議。
(2)大學評價指標體系。我國大學評價指標體系的發(fā)展演變大體可分為三個階段:①起步階段(1985—1992年),評價對象以國內(nèi)重點大學為主,且偏重于理工類重點大學,評價指標數(shù)量較少;②發(fā)展階段(1993—1998年),評價對象新增了非重點大學,評價內(nèi)容更為豐富,評價指標趨于多元化且有所偏重;③繁榮階段(1999年至今),第三方排名評價機構不斷涌現(xiàn),出現(xiàn)了目前頗有影響力的幾個大學排行榜,如網(wǎng)大榜、校友會榜、中評榜、ARWU等,評價對象更全,指標分類更細,指標體系設置有很多共同之處,普遍是在教育投入、過程、產(chǎn)出這三個指標所組成的大框架下進行調(diào)整,形成各自獨具特色的指標體系。
(3)學術論文評價指標體系。1991年發(fā)布的《科學技術期刊管理辦法》,標志著我國建立期刊評價指標體系的發(fā)端。論文評價指標體系呈現(xiàn)以下特點與趨勢:①大部分評價機構設置的學術期刊評價指標,其內(nèi)核是被引頻次、影響因子等,偏重于以引文為主導的核心期刊影響力評價,其數(shù)據(jù)來源為SCI、EI以及國內(nèi)的CSCD、北大核心期刊目錄等;②多指標綜合評價方法克服了單指標評價結果的片面性;③中國知網(wǎng)發(fā)布的綜合影響因子和復合影響因子兩個新指標,促進了我國學術期刊評價體系研究的多元化發(fā)展。從論文評價指標來看,傳統(tǒng)的科研評價指標包括“論文數(shù)量”“總被引頻次”“篇均被引頻次”“期刊影響因子”等,已經(jīng)無法滿足如今的科研需求,從而涌現(xiàn)出了一些新興的評價指標,如h指數(shù)、i10指數(shù)、RG因子、成功論文數(shù)量、Altmetric指數(shù)等。
最早,南京大學創(chuàng)新性地將SCI收錄的期刊作為科研水平的量化考核標準。之后,其他高校與科研院所紛紛效仿,也取得了一定的成效。但近十年來,在“唯SCI”背景下,科研評價體系遭到扭曲,表現(xiàn)出SCI標準的濫用和誤用,對我國科研工作的良性發(fā)展產(chǎn)生了負面影響。
國家自然科學基金(NSFC)作為提高科研創(chuàng)新水平的主要推動力,其基金的投入幅度也在不斷增長,而SCI論文作為衡量科研人員學術水平和科研能力的重要指標,它的產(chǎn)出及國際影響力同樣成為了NSFC資助效益的重要評價指標,甚至沒有SCI論文,國家自然科學基金就很難順利結題,SCI越多,基金結題就越容易獲得優(yōu)秀。我們比較分析了2005—2019年我國科研人員發(fā)表NSFCSCI論文和非NSFC-SCI論文的數(shù)量后發(fā)現(xiàn):2005年(341篇)、2006年(253篇)和2007年(320篇)NSFC-SCI論文數(shù)量偏少的原因在于Web of Science數(shù)據(jù)庫(WOS)正式標注論文的基金資助始于2008年,此后的十年間,NSFC-SCI論文數(shù)量逐年增加,高水平的科研產(chǎn)出占比也在逐漸提升。同時,受到國家自然科學基金委的制度改革以及建設高水平大學的潛在影響,與非NSFC-SCI發(fā)文量的差距逐漸拉大。但僅以論文作為唯一評價指標很難全面反映自然科學基金的資助效益。
通過對2005—2019年NSFC-SCI與非NSFC-SCI的人均論文數(shù)進行統(tǒng)計后發(fā)現(xiàn),非NSFC-SCI人均論文數(shù)的波動幅度相對較大,NSFC-SCI論文除了2005年、2006年、2007年WOS基金資助的作者人數(shù)不完整,與后續(xù)年份相差較大外,基本呈現(xiàn)出穩(wěn)步上升的趨勢,說明獲得NSFC資助對人均SCI論文數(shù)量驅(qū)動并不明顯。進一步對結果進行Wilcoxon signed-rank檢驗,可判斷科研人員在是否受到NSFC資助的情況下,兩類SCI論文之間的發(fā)表差異。經(jīng)檢驗,二者之間無顯著性差異。雖然基金資助在人才培養(yǎng)、高校發(fā)展、科技創(chuàng)新成果等方面發(fā)揮了巨大作用,但單從人均SCI發(fā)文量來看,NSFC的資助效益并不是很高。
本文還比較分析了2016—2019年國家重點研發(fā)計劃——“納米科技”重點專項資助產(chǎn)出情況,結果顯示,91.98%的項目論文發(fā)表在了SCI所收錄的期刊上,國內(nèi)發(fā)表的論文僅占8.02%,而由“納米科技”重點專項資助的SCI論文數(shù)量在2018年達到高峰(59.81%),造成如此不平衡現(xiàn)象的原因正是“唯SCI”導向。
本文統(tǒng)計了中國SCI論文數(shù)量年代分布以及年增長率。2005—2019年間,我國學者共發(fā)表了3,153,470篇SCI論文,數(shù)量從緩慢增長(2005—2010年)轉向快速增長(2011—2019年)。
從年增長率的統(tǒng)計結果來看,SCI論文數(shù)量由2010年的13.4萬篇增長到2019年的46.5萬篇,增幅達3.47倍。相比之下,美國的論文產(chǎn)出增長速度相當緩慢,由2010年的28.3萬增長到2019年的36.8萬,增長了30%。然而,中國SCI論文的這種野蠻增長并不是良性的,需要自上而下的政策加以引導。2013年以前,每年SCI論文的增長速率并不穩(wěn)定,一般在15%~20%之間波動。2013年,五部委修正并頒布了《關于加強基礎研究工作的若干意見》,提出了科研評價工作的改革方向。同年5月,教育部、科技部聯(lián)合發(fā)文,不再以SCI作為評價大學排名和科研水平高低的依據(jù)。2017年,教育部、財政部、國家發(fā)展改革委制定了《統(tǒng)籌推進世界一流大學和一流學科建設實施辦法(暫行)》。這些政策因素對SCI論文的增長有很大的影響,2013年開始,年增長率開始出現(xiàn)下滑,一直到2017年,年增長率又開始出現(xiàn)迅猛增長,這跟2013年與2017年的重要政策關系很大。同時根據(jù)近幾年的增長勢頭,如果不加以引導,SCI論文增長很可能陷入一種失控的局面。
而國內(nèi)SCI論文分布年增長率逐年下滑。2005—2019年,SCI發(fā)文總數(shù)共335,859篇,歷史最高發(fā)文量(25,786篇)出現(xiàn)在2014年。據(jù)統(tǒng)計,2010—2014年,我國發(fā)表的SCI高被引論文共8,172篇;2015—2019年,我國發(fā)表的SCI高被引論文數(shù)量增長了153%,而在國內(nèi)期刊發(fā)表的僅占幾十篇。從年代-數(shù)量分布來看,國際論文被引用次數(shù)排名世界第二,但國內(nèi)SCI期刊發(fā)表的高被引論文數(shù)量與之相差懸殊。雖然將論文發(fā)表在國際頂尖學術期刊上,可以讓更多的國際同行更快地了解到我國的最新科研成果,但“本土”SCI期刊發(fā)表的高被引論文數(shù)量卻寥寥無幾,甚至出現(xiàn)了負年均增長率,使得國內(nèi)期刊的論文質(zhì)量提升緩慢。
本文總結了我國每5年的SCI論文被引次數(shù)的世界排名情況。自2011年起,中國SCI論文被引頻次的排名一路攀升。2005年至2019年,科研人員發(fā)表的335,859篇SCI國際論文共被引用了366.57萬次,被引頻次目前僅次于美國,國際排名第二??偙灰螖?shù)與SCI論文數(shù)量呈現(xiàn)正相關關系。以篇均被引率大于10作為篩選條件,2016年,我國SCI論文的篇均被引率為8.68,之后雖然處于不斷上升階段,但仍舊落后于其他國家,在世界排名中是偏低的,在22個SCI論文的主要產(chǎn)出國中,我國僅排在第16位。至2020年,我國論文的篇均被引率(10.92)與世界平均值(12.68)相比,還是有很大差距的。
將SCI引入科研評價體系,尤其是一定程度上存在的“唯SCI”評價導向,對中國科研環(huán)境產(chǎn)生了較大影響:SCI發(fā)文量與被引量的增長,或許正是由于一系列獎勵機制發(fā)揮了潛在作用。以南京大學為例,2005—2019年,南京大學在SCI期刊中的總發(fā)文量為118,775篇,在國內(nèi)各大高校中排名第一,其中高被引論文占比0.44%。2012—2019年屬于南京大學SCI論文發(fā)表的高產(chǎn)階段,部分原因可能是在此期間試行的新SCI獎勵政策引導和激勵了科研人員多發(fā)SCI論文。
2012年以后,SCI論文數(shù)量的增長較為明顯,高被引論文的數(shù)量增長也更為明顯;但從篇均被引率來看,2010年以來篇均被引率逐年變低。在數(shù)量逐年攀升的同時,篇均被引率逐年變低,只能說明其在過度追求數(shù)量而忽視質(zhì)量,這恐怕跟“唯數(shù)量”而忽略質(zhì)量的評價體系關系莫大。
本研究依據(jù)科學網(wǎng)重要博主武夷山、劉立等學者發(fā)布在“科學網(wǎng)”上關于科研評價指標的在線評論信息,運用網(wǎng)絡分析法對“破五唯”背景下的評價改革方向進行量化測度。從文本熱詞的權重分析結果,可以看出眾多學者關于“唯SCI”,如何達到“破SCI”這一過渡階段的想法眾多,其中“指標”“人才”“制度”“期刊”“論文”“SCI”“創(chuàng)新”等詞匯在這些評論文本中出現(xiàn)頻率較高。本文針對這些高頻詞匯進行分析研究,在此基礎上,結合上文的分析結論,提出了一些促進構建高效科學評價體系的建議。
第一,打破“以刊評文”“獎勵驅(qū)動”的現(xiàn)狀。從上文的評價制度梳理情況來看,在自然科學領域,目前我國的學術共同體、科研管理部門、第三方評價機構大多把SCI作為重要甚至唯一的評價標準。不僅如此,在學科評價指標體系、大學評價指標體系以及學術論文評價指標體系中,只有在SCI、CSSCI、SSCI、A&H等數(shù)據(jù)庫所收錄的期刊上發(fā)表過一篇以上的論文,才算基本完成了科研績效的指標,不在其中發(fā)表的論文都不能被納入評價績效,這種“以刊論文”的情況使得國內(nèi)高校的評價體系有著很大的弊端。而且,國際頂尖期刊的論文版面費往往非常高,一些期刊出版商會因為自身利益的沖突,而去降低其收錄標準。要想打破這種不利的狀況,必須改變目前“以刊評文”的現(xiàn)狀,期刊評價的內(nèi)核依舊是其刊載論文的質(zhì)量,需以此來反映學術期刊真正的辦刊水平,并對期刊采取一些改革措施來提高其吸引更多高水平論文的能力。
第二,引入多元化的評價指標。為了改變不合理的學術評價制度,力戒學術浮躁之風,一系列政策相繼出臺,引導調(diào)整各個評價指標,如不能過分依賴影響因子。同時,“破五唯”并不意味著全盤否定論文、專利、獎勵、項目等評價科研工作的主要維度,如可以在SCI數(shù)據(jù)庫已有指標的基礎上,增加一些重要的輔助性指標,如期刊影響因子四分位數(shù)和不包括自引的引文數(shù)。還可以引入其他的評估方式:專家學者在新時代的社交媒體做出貢獻的信息數(shù)據(jù);科研人員所著的數(shù)字化書籍對普通人群的影響力;專家學者工作中的教學部分以及資深科學家對青年科學家的監(jiān)督和指導等。
第三,完善科研評價制度。如何從行政性評價轉變?yōu)樯鐣栽u價,如何促進學術創(chuàng)新,這將是我國未來科學評價體系的改革重心。與其重新探索、建立讓學術界認同的評價制度,專家評審/同行評議制度還是存在一定改進空間的,比如在評審過程中,新增論文內(nèi)容分享和雙向互動討論環(huán)節(jié),將研究成果有效地展示出來。破而后立,破除“唯SCI”不代表完全否定SCI指標的價值,相反地,要符合中國的科研特點,將SCI指標與同行評議相結合起來,適時開展綜合評價,這樣既削弱了SCI在科研評價制度中的地位,又能夠很好地把握我國未來的科研評價方向。