俞立平,張礦偉,蔣長兵
(1.浙江工商大學(xué)統(tǒng)計(jì)與數(shù)學(xué)學(xué)院,杭州310018;2.浙江工商大學(xué)管理工程與電子商務(wù)學(xué)院,杭州310018)
在科技評價(jià)中,代表作制度越來越受到重視。在創(chuàng)新型國家建設(shè)背景下,提高科研成果質(zhì)量已經(jīng)成為首要任務(wù)。2018年7月,中共中央辦公廳、國務(wù)院辦公廳印發(fā)了《關(guān)于深化項(xiàng)目評審、人才評價(jià)、機(jī)構(gòu)評估改革的意見》①http://www.gov.cn/zhengce/2018-07/03/content_5303251.htm,明確突出品德、能力、業(yè)績導(dǎo)向,克服“四唯”傾向,推行代表作評價(jià)制度,注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響。2018年10月,科技部、教育部、人力資源社會(huì)保障部、中科院和工程院聯(lián)合發(fā)布《關(guān)于開展清理“唯論文、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知》②http://www.most.gov.cn/tztg/201810/t20181023_142389.htm,要求開展清理“四唯”專項(xiàng)行動(dòng)。2019年6月,中共中央辦公廳、國務(wù)院辦公廳發(fā)布了《關(guān)于進(jìn)一步弘揚(yáng)科學(xué)家精神加強(qiáng)作風(fēng)和學(xué)風(fēng)建設(shè)的意見》③http://www.gov.cn/zhengce/2019-06/11/content_5399239.htm,提出大力弘揚(yáng)科學(xué)家精神,營造風(fēng)清氣正的科研環(huán)境。2020年2月,科技部印發(fā)《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》的通知④http://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html,提出在科技項(xiàng)目、科研基地、基礎(chǔ)研究機(jī)構(gòu)、國家獎(jiǎng)勵(lì)和人才評估等方面全面推行代表作制度。對各種科技評價(jià)中實(shí)行代表作制度提出了具體的要求。
代表作制度的推廣與實(shí)施已經(jīng)成為一種必然趨勢,對其存在的問題進(jìn)行深度分析具有重要意義。首先,對代表作制度存在問題的分析有利于推進(jìn)科技評價(jià)理論;其次,有利于發(fā)現(xiàn)其中存在的問題,從而有利于采取必要的政策措施,進(jìn)一步優(yōu)化代表作制度;最后,從長遠(yuǎn)的角度,有利于保證學(xué)術(shù)公平,調(diào)動(dòng)廣大科技人員的積極性,為建設(shè)創(chuàng)新型國家服務(wù)。
代表作制度日漸成為世界上學(xué)術(shù)界一種重要的學(xué)術(shù)評價(jià)制度。葉繼元[1]認(rèn)為,代表作是指能夠體現(xiàn)和衡量科研人員學(xué)術(shù)水平的代表性成果,作品的數(shù)量不再做硬性要求,數(shù)量再多也不加分。英國的科研評價(jià)體系逐漸從RAE(Research Assessment Ex‐ercise)過渡到RAF(Research Assessment Framework)的過程中,對高校教師進(jìn)行業(yè)績考評和晉升審查時(shí)要求提交高質(zhì)量出版物[2]。荷蘭大學(xué)協(xié)會(huì)的科研評價(jià)則要求科研人員提供5份有代表性的出版物及其質(zhì)量和聲譽(yù)的其他材料[3]。
關(guān)于代表作制度的應(yīng)用,學(xué)術(shù)界存在一些爭議。有些學(xué)者總體上肯定代表作制度,俞吾金[4]指出,代表作制度主要是在文科教師職稱晉升中,對只重視論文數(shù)量這一做法的糾正。宋敏等[5]研究發(fā)現(xiàn),高等學(xué)校自然科學(xué)獎(jiǎng)評選的同行評議結(jié)果與科學(xué)計(jì)量學(xué)指標(biāo)呈正相關(guān),可作為高校代表作評價(jià)制度開展的模式參考。臧峰宇[6]認(rèn)為,實(shí)施代表作評價(jià)有助于從源頭上遏制學(xué)術(shù)浮躁之風(fēng),擠破粗制濫造的學(xué)術(shù)泡沫,打破核心期刊的神話和迷信。
也有些學(xué)者指出代表作制度存在的一些問題。姜春林等[7]認(rèn)為,由于人文社會(huì)科學(xué)研究自身的復(fù)雜性、評審專家的認(rèn)知偏差、學(xué)科劃分、同行選擇和人情關(guān)系等因素的共同影響,導(dǎo)致代表作制度評價(jià)目前水平一般。田賢鵬[8]指出,由于評價(jià)過程中的程序公平難以保障,代表作的質(zhì)量評判標(biāo)準(zhǔn)無法統(tǒng)一,學(xué)術(shù)共同體的評價(jià)機(jī)制尚未健全,量化評價(jià)形成的制度利益破除困難等,導(dǎo)致代表作制評價(jià)的實(shí)踐探索陷入重重困境。符征[9]指出,實(shí)行代表作制度時(shí),評審人也存在著能否讀懂論文問題。李濤[10]認(rèn)為,代表作制會(huì)導(dǎo)致職稱晉升的不可預(yù)期性,可能破壞高校學(xué)術(shù)梯隊(duì)的穩(wěn)定性,并加劇學(xué)術(shù)腐敗,誘發(fā)諸多新的學(xué)術(shù)危機(jī)。
代表作的評審主要依靠同行評議,但同行評議本身也存在一些問題。Wenner?s等[11]在Nature上撰文指出,同行評議容易造成裙帶關(guān)系和性別歧視。Marsh等[12]認(rèn)為,作為學(xué)術(shù)成果評價(jià)的守門員和仲裁者的同行評審專家,在對論文的評審過程中,存在著夸大事實(shí)和容易偏見等問題。Bornmann等[13]通過分析兩本期刊在不同季節(jié)來稿數(shù)量和評審標(biāo)準(zhǔn),發(fā)現(xiàn)同行專家的評審存在不公平現(xiàn)象。Bohannon[14]曾以一篇存在明顯科學(xué)問題的研究論文進(jìn)行了大型投稿調(diào)查,發(fā)現(xiàn)304種開放存取期刊中退稿量僅占32.2%,即同行評議存在嚴(yán)重的有效性問題。姜春林等[15]認(rèn)為,在中國特定文化背景下,強(qiáng)大的關(guān)系社會(huì)帶來了非學(xué)術(shù)性干擾,很難使同行專家保持學(xué)術(shù)中立。
有學(xué)者針對代表作制度提出了改進(jìn)建議。姜春林等[16]在探討代表作制在實(shí)施過程中可能存在的潛在問題的同時(shí),提出科學(xué)合理的學(xué)術(shù)評價(jià)制度應(yīng)當(dāng)是基于同行評議的代表作制度與科學(xué)計(jì)量評價(jià)方法二者的有效結(jié)合。張積玉[17]提出,實(shí)行以量化為基礎(chǔ)代表作為主的綜合化評價(jià)制度,不失為保證學(xué)術(shù)評價(jià)科學(xué)合理、公平、公正且具可操作性的正確選擇。楊興林[18]認(rèn)為,有效減少學(xué)術(shù)代表作評價(jià)誤差,不僅需要評審專家確實(shí)學(xué)有專長和具有較好的學(xué)術(shù)良知,而且需要有相應(yīng)的制約機(jī)制為保障。杜學(xué)亮[19]認(rèn)為,代表作制度的關(guān)鍵在于兩個(gè)方面:一是建立公開透明的公示制度;二是建立配套的申訴復(fù)議制度。
從現(xiàn)有的研究來看,關(guān)于代表作制度的優(yōu)劣學(xué)術(shù)界還存在爭議,有研究者肯定代表作制度,也有研究者認(rèn)為代表作制度存在不少問題,包括代表作制度自身存在的問題以及引申出來的同行評議的相關(guān)問題。對于代表作制度的改進(jìn),學(xué)術(shù)界提出了眾多改進(jìn)建議。總體上在以下三方面有待進(jìn)一步深入研究。
第一,對代表作制度存在的問題分析,缺乏一個(gè)系統(tǒng)的分析框架,這樣導(dǎo)致分析問題不夠全面和系統(tǒng)。
第二,從分析問題的方法來看,主要采用純理論邏輯分析,缺乏必要的數(shù)學(xué)分析和證明,國內(nèi)的實(shí)證研究也較少。
第三,由于上述兩個(gè)問題,導(dǎo)致政策建議也不夠全面,而且一些政策建議缺乏操作性。
本文首先建立代表作制度的分析框架,然后逐一對問題進(jìn)行深度分析,并對代表作的可靠性和通過率進(jìn)行證明,最后提出相關(guān)解決路徑與政策建議。
代表作評價(jià)對象如圖1所示。采用代表作評價(jià)主要有宏觀評價(jià)和微觀評價(jià)兩個(gè)層面,宏觀評價(jià)主要包括機(jī)構(gòu)評價(jià)、學(xué)科團(tuán)隊(duì)評價(jià)、研究基地和實(shí)驗(yàn)室評價(jià),等等,其特點(diǎn)是評價(jià)對象是團(tuán)隊(duì)總體為主,成果不是以單個(gè)學(xué)者為主,代表作數(shù)量一般也較多。微觀評價(jià)包括獎(jiǎng)勵(lì)評價(jià)、項(xiàng)目評價(jià)、職稱評審和人才評價(jià)等,其特點(diǎn)是評價(jià)對象以單個(gè)學(xué)者為主,代表作數(shù)量一般也較少。關(guān)于代表作數(shù)量,科技部在《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》指出,對于宏觀評價(jià),代表作數(shù)量為10篇、20篇和40篇;對于微觀評價(jià),代表作一般是5篇。
圖1 代表作評價(jià)對象
與同行論文評議一樣,代表作評價(jià)實(shí)質(zhì)是在進(jìn)行內(nèi)容評價(jià),而文獻(xiàn)計(jì)量評價(jià)實(shí)質(zhì)是在進(jìn)行形式評價(jià),雖然文獻(xiàn)計(jì)量評價(jià)在意內(nèi)容質(zhì)量,但其產(chǎn)生發(fā)展的動(dòng)因只是在于能夠在某種程度上通過形式評價(jià)來幫助解決外行進(jìn)行內(nèi)容質(zhì)量評價(jià)時(shí)所面臨的認(rèn)知困惑。因此,基于科研管理關(guān)切,兩種評價(jià)關(guān)注的終極目標(biāo)是一致的,但是在操作要求上有所不同,執(zhí)行效果亦各有千秋。對于微觀學(xué)者評價(jià)而言,基于代表作的評價(jià)方法是有意義的;而對于宏觀評價(jià),由于評價(jià)工作量巨大往往采用形式評價(jià)。無論是代表作評價(jià)、同行評議評價(jià),還是文獻(xiàn)計(jì)量評價(jià),必須考慮評價(jià)方法的可執(zhí)行性、可操作性和評價(jià)結(jié)果的可接受性。
代表作制度的分析框架如圖2所示。從評價(jià)目的、評價(jià)對象、同行評議和評價(jià)技術(shù)四個(gè)方面展開。關(guān)于評價(jià)目的,主要從數(shù)量質(zhì)量與學(xué)科比較視角展開分析;關(guān)于評價(jià)對象,主要從論文選擇和學(xué)科異質(zhì)性兩個(gè)角度進(jìn)行分析;關(guān)于同行評議,主要從環(huán)境背景、評審專家和操作程序三個(gè)方面開展分析;關(guān)于評價(jià)技術(shù),主要從可靠性與通過率角度開展分析。
圖2 分析框架
1)代表作制度缺乏規(guī)模評價(jià)視角
代表作評價(jià)本質(zhì)上是一種質(zhì)量評價(jià),并非數(shù)量評價(jià),在進(jìn)行微觀評價(jià)包括獎(jiǎng)勵(lì)評價(jià)、項(xiàng)目相關(guān)評價(jià)、職稱評審、人才評價(jià)等時(shí),這是沒有問題的,本著質(zhì)量至上的原則。但是在進(jìn)行一些宏觀評價(jià)如學(xué)科團(tuán)隊(duì)、大學(xué)、實(shí)驗(yàn)室、研究基地等評價(jià)時(shí),一方面需要關(guān)注這些機(jī)構(gòu)的一流科研成果即科研質(zhì)量,另一方面也需要兼顧一定的數(shù)量,否則的話,一些上百人甚至更大機(jī)構(gòu)的科研質(zhì)量或許5~10位高水平科研人員的高質(zhì)量成果就能代表,存在“一美遮百丑”現(xiàn)象。不兼顧數(shù)量評價(jià)難以評價(jià)機(jī)構(gòu)的貢獻(xiàn),進(jìn)而可能也會(huì)帶來科技資源分配的不公。我國目前的宏觀評價(jià)需求較多,評價(jià)工作量巨大,這個(gè)問題必須引起足夠的重視。
2)代表作無法進(jìn)行跨學(xué)科比較
跨學(xué)科比較雖然是一個(gè)難題,但是采用文獻(xiàn)計(jì)量學(xué)進(jìn)行跨學(xué)科比較已經(jīng)取得了較大的進(jìn)展,并且有些方法已經(jīng)運(yùn)用到具體的應(yīng)用。然而,采用代表作制度根本無法進(jìn)行跨學(xué)科比較,代表作的評審主要采用同行評議,而同行評議專家往往是學(xué)科內(nèi)部的。目前,關(guān)于跨學(xué)科比較的評價(jià)需求又是比較旺盛的,例如,自然科學(xué)獎(jiǎng)勵(lì)評審時(shí)不同學(xué)科的指標(biāo)分配,不同學(xué)科團(tuán)隊(duì)的資源分配,等等。
1)作者選擇代表作面臨諸多困惑
第一,作者難以選擇代表作。采用代表作評價(jià)無疑是評價(jià)論文質(zhì)量,假設(shè)共選擇5篇代表作,如果作者有5篇中科院SCI一區(qū)論文、5篇SCI二區(qū)論文,一共10篇論文。一區(qū)論文中有2篇相對弱一些,而二區(qū)論文中有2篇質(zhì)量不錯(cuò)。代表作的選取假設(shè)有兩種方案,第一種是用5篇一區(qū)論文,第二種是用3篇一區(qū)論文和2篇二區(qū)論文。論質(zhì)量的話能否采用第二種方案?由于歷史原因,以刊評文影響很大,如果評審專家更加關(guān)注發(fā)表的期刊,那么代表作制度也會(huì)受到影響。在代表作評審中,是難以實(shí)現(xiàn)真正盲審的,即使是匿名,通過搜索論文標(biāo)題也很容易查到作者是誰。
需要說明的是,嚴(yán)格意義上的代表作評價(jià)與學(xué)術(shù)期刊等級無關(guān),只要公開發(fā)表即可。但實(shí)際操作過程中,這一點(diǎn)難以做到,如在職稱評審、學(xué)科評價(jià)中,往往強(qiáng)調(diào)在“重要期刊”“核心期刊”“有影響力期刊”等期刊上發(fā)表若干篇論文,因此在一定程度上,作者或機(jī)構(gòu)在選取代表作的時(shí)候,一般會(huì)比較重視期刊級別。
2)代表作選取中的中國期刊論文問題
科技部明確規(guī)定了代表作中中國期刊論文的數(shù)量原則上不少于1/3,這需要一段過渡時(shí)間。由于歷史原因,最好的自然科學(xué)論文往往以英文形式發(fā)表在國外期刊上,中國主辦的英文期刊數(shù)量較少、載文量有限、質(zhì)量有待提高,許多作者沒有中國期刊論文,即使有中國期刊論文,質(zhì)量也達(dá)不到“代表作”的水平。故在報(bào)送代表作的時(shí)候,對于中國期刊論文的選擇也是一個(gè)難以抉擇的問題。
3)同一學(xué)科不同研究類型學(xué)者代表作難以比較問題
即使在同一學(xué)科,如果一位學(xué)者側(cè)重基礎(chǔ)理論研究,而另一位學(xué)者還兼顧應(yīng)用研究,在評職稱報(bào)送代表作時(shí),前者報(bào)送5篇論文,后者報(bào)送2篇論文外加3份研究報(bào)告或是專利轉(zhuǎn)讓成果。由于這兩位學(xué)者無法或不能采取分類評價(jià),代表作類型又不一樣,此時(shí),對兩位作者進(jìn)行代表作比較是非常困難的。解決辦法是進(jìn)一步細(xì)分進(jìn)行分類評價(jià),但是評價(jià)往往和廣義的資源分配有關(guān),過細(xì)的分類評價(jià)不利于資源的合理分配,如職稱指標(biāo)、學(xué)科點(diǎn)的申報(bào),等等。不同類型之間的資源分配是一個(gè)新的問題。
4)學(xué)科異質(zhì)性影響代表作的評價(jià)效果
第一,不同學(xué)科代表作的代表性不同。自然科學(xué)代表作更具有代表性,哲學(xué)社科的代表性相對較弱。由于人文社會(huì)科學(xué)研究具有研究周期長、社會(huì)影響見效慢、學(xué)術(shù)觀點(diǎn)無完全的對錯(cuò)之分、評價(jià)中評審者的主觀性多于客觀性、社會(huì)科學(xué)研究具有時(shí)代性等特點(diǎn),因此,對人文科學(xué)研究采用“代表作制度”仍需辯證地加以認(rèn)識[20]。此外,人文社科還可能存在研究學(xué)派問題,不同的研究學(xué)派觀點(diǎn)有所差異。
第二,學(xué)科發(fā)展速度影響代表作的代表性。有些學(xué)科發(fā)展較快,知識增長快,優(yōu)秀的科研成果會(huì)引領(lǐng)學(xué)科發(fā)展,代表作就擁有較好的代表性,而另外一些學(xué)科相對成熟,知識增長慢,代表作就難以起到代表作用。例如,互聯(lián)網(wǎng)高速發(fā)展時(shí),計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域的論文代表作就擁有較好的代表性,而目前相對成熟的數(shù)學(xué)學(xué)科,代表作代表性就相對較弱,畢竟重大成果很少,小成果較多,不同代表作水平之間的區(qū)分度相對不大。
5)代表作對不同水平學(xué)者的適用問題
對于水平較高的學(xué)者,代表作制度可以反映其水平,但是對于水平相對較低的學(xué)者,盡管代表作可以反映其水平,但有些大材小用。畢竟采用代表作制度涉及大量人力物力和財(cái)力的投入,對于明顯低水平的研究采用代表作進(jìn)行評審,會(huì)浪費(fèi)許多公共財(cái)政資源。尤其在科技獎(jiǎng)勵(lì)評選時(shí),對于低水平研究,完全沒有必要全部送審,可以先初選一批。
1)我國同行評議制度還有待完善
學(xué)術(shù)代表作制評價(jià)的核心問題在于按照學(xué)科的內(nèi)在邏輯,建立學(xué)術(shù)共同體內(nèi)在的價(jià)值標(biāo)準(zhǔn)[21]。中國還沒有形成真正意義上的學(xué)派,還不完全具備形成學(xué)術(shù)共同體的條件和群體意識[22]。由于缺乏深厚的評價(jià)文化底蘊(yùn),我國學(xué)術(shù)共同體學(xué)術(shù)評價(jià)的制度規(guī)范還不夠完善,并且東方文化比較重視人際關(guān)系,導(dǎo)致在學(xué)術(shù)評價(jià)中人情關(guān)系對代表作評價(jià)的干擾較大。當(dāng)然,這個(gè)問題也并非我國所獨(dú)有,西方發(fā)達(dá)國家也或多或少存在類似的現(xiàn)象,只不過我國的問題比較嚴(yán)重而已。
2)評審專家的學(xué)識局限
受評審專家主觀局限性和思維慣性的影響,加上評價(jià)情境的復(fù)雜性,可能會(huì)使同行評議失效。每位專家都有自己的思維定勢,這將導(dǎo)致評價(jià)產(chǎn)生認(rèn)知偏差,從而影響評價(jià)的客觀性和穩(wěn)定性。雖然可以通過延長評審時(shí)間,以及盡可能進(jìn)行匿名評審的方法降低認(rèn)知偏差,但這種影響是難以消除的。
3)評審工作量加大專家難以滿足需求
一旦代表作制度全面鋪開,評審工作量將呈幾何級數(shù)上升,評審專家將難以滿足需求。畢竟大量的評審專家均是學(xué)科領(lǐng)域內(nèi)杰出學(xué)者,是最權(quán)威、最稱職的同行評議專家,然而,這些學(xué)者的工作和科研任務(wù)繁重,根本無暇進(jìn)行大量的評審。代表作評價(jià)需要大規(guī)模擴(kuò)大評審專家的數(shù)量,其結(jié)果必然導(dǎo)致評審專家的平均水平下降,難以對代表作進(jìn)行客觀公正的評價(jià),同時(shí)增加了尋租風(fēng)險(xiǎn)。
4)全面型評審專家無法滿足要求
在進(jìn)行宏觀評價(jià)時(shí),代表作就是團(tuán)隊(duì)或機(jī)構(gòu)的代表作,如進(jìn)行學(xué)科評價(jià)時(shí),一個(gè)單位就有20篇代表作,可能涉及學(xué)科中3~5個(gè)研究方向,而評審專家同時(shí)評審的學(xué)科可能會(huì)有10多個(gè),那么涉及的研究方向可能會(huì)有20~30個(gè)。很少有專家擁有如此寬闊的知識廣度和知識深度,如何找到合適的評審專家首先是個(gè)難題,在宏觀評價(jià)中,這個(gè)問題是非常普遍的。即使是微觀評價(jià),如果一位專家同時(shí)評審10個(gè)學(xué)者的50篇代表作,那么依舊存在評審專家的知識面不夠問題。
5)同行評議不同分組難以比較問題
對于有些宏觀機(jī)構(gòu)評價(jià),每家機(jī)構(gòu)代表作數(shù)量會(huì)達(dá)到40篇,一篇論文短的可能是七八頁,長的有幾十頁。而參評機(jī)構(gòu)可能有50家,這對評審專家絕對是巨大的工作量。如果不認(rèn)真閱讀論文,那么評價(jià)效果會(huì)很差;如果認(rèn)真閱讀論文,一位評審專家也難以評審50家機(jī)構(gòu)的2000篇論文。可行的解決方法是分組評價(jià),即將2000篇論文進(jìn)行分組,每組請若干位專家進(jìn)行同行評議,雖然是定性評價(jià),也打分,但不同組別的評審結(jié)果是難以進(jìn)行比較的。
6)評審專家以刊評文問題
由于代表作評審專家在評審時(shí)面臨巨大的挑戰(zhàn),如知識面不夠、評審工作量大、時(shí)間不足等問題,最直接的方式是看代表作發(fā)表的期刊,根據(jù)發(fā)表期刊的級別來大致對作者的研究質(zhì)量進(jìn)行判斷,即“以刊評文”,而教育部、科技部在相關(guān)文件中明確提出擯棄“以刊評文”。本文暫不討論以刊評文的利弊,但是在代表作評審過程中,以刊評文其實(shí)是一種常見現(xiàn)象,如果評審專家由于思維定勢的影響繼續(xù)以刊評文,那么代表作制度就會(huì)大打折扣。
7)同行評議的規(guī)范性有待提高
代表作的同行評議是個(gè)系統(tǒng)工程,涉及方方面面。一類是程序性問題,如專家數(shù)量、專家是否異地、抽簽方式、通訊還是會(huì)議、打分區(qū)分度、表決方式,是否允許申訴、程序是否公開、保障機(jī)制;另一類是具體操作問題,如代表作的判斷標(biāo)準(zhǔn),打分?jǐn)?shù)據(jù)分布,評審意見要求,等等。這方面許多工作需要細(xì)化,目前的同行評議的規(guī)范性亟須提高。
8)代表作無法實(shí)現(xiàn)真正的匿名評審
學(xué)者的科學(xué)研究從論文投稿到代表作評審過程如圖3所示。作者在進(jìn)行論文投稿時(shí),需要采用同行評議進(jìn)行首輪評審,目前國際上通行的做法是嚴(yán)格進(jìn)行雙盲評審,即作者不知道評審專家,評審專家不知道作者。首輪評審時(shí),期刊一般至少請2個(gè)評審專家進(jìn)行同行評議,如果論文被接受,那么投稿完成;如果論文被退稿,那么作者還要改投其他期刊。在論文接受之前,意味著投稿會(huì)有多次評審,1篇論文在發(fā)表前可能有10個(gè)不同期刊的專家匿名評審。
圖3 從論文投稿到代表作評審
在采用代表作進(jìn)行評價(jià)時(shí),本質(zhì)上是第二輪評審,評審方法同樣采用同行評議,但是需要注意的是,代表作同行評議一般只有1次,并且無法做到雙盲,實(shí)際上只能做到單盲,這是因?yàn)榧词共扇‰p盲措施,根據(jù)論文題目和其中的相關(guān)語句還是可以查到作者是誰。
對比以上兩輪評審,可以非常明顯看出第一輪評審的公平性遠(yuǎn)超過代表作第二輪評審。論文的發(fā)表過程就是一個(gè)經(jīng)受同行評議專家質(zhì)詢的過程,作者論文數(shù)量越多,這種質(zhì)詢次數(shù)也越多,因此,論文數(shù)量一定程度上反映了這種考驗(yàn)的次數(shù),進(jìn)一步地,傳統(tǒng)根據(jù)論文數(shù)量的評價(jià)有一定的合理性。
9)代表作評價(jià)的成本問題
采用代表作進(jìn)行評價(jià)是需要成本的,包括組織成本、同行評議成本、會(huì)議成本、爭端解決成本等經(jīng)濟(jì)成本,此外還有時(shí)間成本等。隨著代表作制度的全線鋪開,評價(jià)工作量增加較大,評價(jià)成本會(huì)增加更多,根據(jù)我國科研體制的現(xiàn)狀,這些成本往往采用公共財(cái)政資源支出,這也增加了納稅人的負(fù)擔(dān)。
10)代表作評價(jià)無法防止科研投機(jī)
科研投機(jī)者往往并不是真正的學(xué)者,其會(huì)發(fā)表一定數(shù)量的核心期刊論文,然后謀求個(gè)人利益。在傳統(tǒng)的科技評價(jià)體系下,盡管也存在一些學(xué)術(shù)不端以及科研投機(jī)現(xiàn)象,但總體上是可控的。然而,如果廣泛采用代表作,這些投機(jī)現(xiàn)象防范可能比較困難。畢竟科研投機(jī)者造出5篇代表作還是相對容易的,這些人一旦到達(dá)比較重要的崗位又沒有真才實(shí)學(xué),造成的損失和負(fù)面效應(yīng)會(huì)更大。
1)代表作評審專家較少時(shí)誤差較大問題
根據(jù)前文分析,論文發(fā)表時(shí)的評審專家總體會(huì)比代表作二次評審時(shí)的同行評議專家數(shù)量要多,這可能會(huì)導(dǎo)致代表作評審時(shí)的打分誤差較大,設(shè)不同專家對某篇論文評分的分值為
其中,xi為專家給出的評分值;μ為該論文真實(shí)水平所對應(yīng)的真實(shí)值;εi為單次評分與真實(shí)水平的隨機(jī)誤差。則n位專家給出的評分為
采用算術(shù)平均法來綜合n位專家評分,得到專家評分平均值:
單次評分與真實(shí)水平存在隨機(jī)誤差ε,當(dāng)單次評分高于真實(shí)水平時(shí),隨機(jī)誤差ε為正值;當(dāng)單次評分低于真實(shí)水平時(shí),隨機(jī)誤差ε為負(fù)值。由于隨機(jī)誤差ε服從正態(tài)分布,因此當(dāng)n越大,即評審專家人數(shù)越多時(shí),隨機(jī)誤差和逐漸趨向于0,即多人評分的均值逐漸接近真實(shí)值的近似值。
在微觀評價(jià)時(shí),代表作的數(shù)量可能就是5篇或10篇,如果評審專家的數(shù)量也就是5~10人,在這種情況下,不能稱為大樣本,此時(shí)ε就不會(huì)服從正態(tài)分布,從而會(huì)產(chǎn)生較大的評價(jià)誤差。
在代表作評價(jià)時(shí),如果評審專家達(dá)到30,此時(shí)從概率與數(shù)理統(tǒng)計(jì)的角度可以稱為大樣本,隨機(jī)誤差會(huì)服從正態(tài)分布,隨機(jī)誤差項(xiàng)會(huì)趨近于0,此時(shí)誤差較小,打分會(huì)比較精確,但這也意味著評價(jià)成本成倍增加。
由于在代表作評審過程中無法實(shí)現(xiàn)雙盲,那么在評價(jià)中除了隨機(jī)誤差,還會(huì)存在系統(tǒng)誤差,系統(tǒng)誤差是無法消除的。
綜上所述,造成代表作評審誤差有兩個(gè)方面:一是評審專家較少時(shí)的偶然誤差;二是不管評審專家人數(shù)多少時(shí),由于無法絕對進(jìn)行雙盲評審而造成的系統(tǒng)誤差。
2)二輪評審?fù)ㄟ^概率大于論文錄用首輪評審
代表作評審的可靠性還可以從另一個(gè)視角進(jìn)行分析比較。在一些選拔型的評審中,如職稱評審、獎(jiǎng)勵(lì)評審中,假設(shè)用代表作或論文的通過概率作為其難度的一種指標(biāo),通過概率大說明難度不高。不妨做如下假設(shè):
第一,論文審稿人、代表作同行評議專家能力和水平一樣;
第二,論文審稿人、代表作同行評議專家打分服從正態(tài)分布N(μ,σ2);
第三,論文審稿人、代表作同行評議專家打分獨(dú)立且同分布;
第四,論文審稿人數(shù)量是代表作同行評議專家的2倍(根據(jù)前文分析,這容易滿足);
第五,論文審稿人、代表作同行評議專家打分采用雙盲評審。
在論文審稿時(shí),多人審稿制度下,假設(shè)被評人有已錄用的稿件n篇,在期刊的投稿過程中,每一篇稿件需經(jīng)兩個(gè)審稿人同意后才能錄用,n篇稿件審稿人總數(shù)至少為2n。設(shè)xi、yi分別為第一審稿人、第二審稿人打分,則該被評人的i篇稿件概率密度函數(shù)為
對其標(biāo)準(zhǔn)化后進(jìn)一步處理得
由于xi+yi=Ti~N(2μ,2σ2),可得
則作者稿件通過的概率密度函數(shù)為
最后得稿件的通過概率為
在代表作同行評議時(shí),假設(shè)同行評議專家人數(shù)為n,zi為第i個(gè)專家的打分結(jié)果,代表作打分同樣服從正態(tài)分布N(μ,σ2),則代表作通過的概率密度函數(shù)為
同樣地,對其標(biāo)準(zhǔn)化得
最后,得其稿件通過概率為
對比式(6)和式(10)得
也就是說,PA<PB。由此可知,代表作同行評議的通過率高于論文投稿的通過率,作者期刊論文錄用的難度要大于代表作同行評議。這也說明另外一個(gè)問題,在代表作進(jìn)行同行評議時(shí),評審專家較少篩選效率不高。
在科技評價(jià)中會(huì)面臨各種評價(jià)需求:在微觀評價(jià)以及科研質(zhì)量評價(jià)中,代表作制度可以嘗試并逐步進(jìn)行改進(jìn);但是在進(jìn)行宏觀評價(jià)時(shí),一定要反復(fù)思考這個(gè)問題,真的對機(jī)構(gòu)評價(jià)就沒有規(guī)模和數(shù)量的要求嗎?現(xiàn)在國家對一些科研機(jī)構(gòu)的投入,多的每年高達(dá)數(shù)億元,如果這個(gè)機(jī)構(gòu)恰恰是從事基礎(chǔ)研究的,如果評價(jià)時(shí)只看10篇代表作,那么有沒有問題?
對于不同學(xué)科之間的比較也超越了代表作評價(jià)的能力,凡是涉及資源在不同學(xué)科之間分配,以及不同學(xué)科之間的比較問題,此時(shí)已經(jīng)超越了代表作可以評價(jià)的范圍,要采用新的規(guī)則。
對于一些重要的微觀評價(jià),要反思一下評價(jià)目的。例如,提拔科研管理工作重要崗位上的學(xué)者,這些學(xué)者即將擁有更大的權(quán)力,對單位的科研影響會(huì)很大,建議應(yīng)該適當(dāng)兼顧論文數(shù)量,防止科研投機(jī)現(xiàn)象。
對于作者代表作的選取一定要明確質(zhì)量,并且評價(jià)機(jī)構(gòu)要承諾嚴(yán)格執(zhí)行。嚴(yán)格意義上,即使是非核心期刊論文也應(yīng)該可以選為代表作,但是在《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》中提出鼓勵(lì)發(fā)表高質(zhì)量論文,包括發(fā)表在具有國際影響力的國內(nèi)科技期刊、業(yè)界公認(rèn)的國際頂級或重要科技期刊的論文,以及在國內(nèi)外頂級學(xué)術(shù)會(huì)議上進(jìn)行報(bào)告的論文,某種程度上這是一種新的“以刊評文”現(xiàn)象。除非下決心不采用任何核心期刊目錄,否則代表作選取時(shí)還是要兼顧發(fā)表的期刊級別。
“以刊評文”的評價(jià)方式并不能被完全否定,其存在一定合理的評價(jià)邏輯。在沒有特別有效的方式的前提下,以刊評文仍將是現(xiàn)在科研評價(jià)制度中非常重要的一種方式。“代表作”評價(jià)的核心是讓研究者樹立質(zhì)量意識,同時(shí)在一定程度上可以降低評價(jià)成本?!按碜鳌痹u價(jià)與“以刊評文”不是對立的,不能強(qiáng)調(diào)代表作評價(jià),就要把文獻(xiàn)領(lǐng)域的一些方法和成果完全放棄掉。
學(xué)者的分類評價(jià),國家已經(jīng)提出了許多明確要求,但仍需要進(jìn)一步細(xì)化。如教學(xué)型、教學(xué)科研并重、科研型的分類,基礎(chǔ)研究、應(yīng)用基礎(chǔ)研究、應(yīng)用研究的分類,等等。對于不同類型的代表作評審要求是不一樣的,相互之間不可比較,進(jìn)一步細(xì)化有利于代表作制度的推進(jìn)。但又帶來一個(gè)新的問題,即不同類型評價(jià)之間如何分配資源,如職稱指標(biāo)、科研經(jīng)費(fèi)等。
由于代表作評審全面推開會(huì)大幅度加大評價(jià)工作量,提高評價(jià)成本,代表作評審的公平程度也有可改進(jìn)空間。因此,對于一些初中級評審,可以適當(dāng)采取以刊評文的做法,如講師評審、一般高校的副教授評審等,以刊評文仍然是一種成本較低相對公平的有效手段。
建立量化考核與代表作制度兼顧的評審制度,能夠淘汰掉一批質(zhì)量相對較低評審對象,提高評審門檻,從而節(jié)省評價(jià)成本,另外也有利于保證評價(jià)公平。具體的量化考核基本要求各高校和科研機(jī)構(gòu)可以根據(jù)自身情況制定具體的細(xì)則。實(shí)際上,目前國內(nèi)許多高校在職稱評審中都提出了一定的量化考核要求,這是代表作制度推廣的良好基礎(chǔ)。
即使在這種情況下,對于量化考核成果相差較大的,也不需要采用代表作評價(jià);對于量化考核成果相近的,代表作制度可作為一種必要的補(bǔ)充。
第一,要規(guī)范同行評審程序,細(xì)化同行評審細(xì)節(jié),提高同行評審的規(guī)范性,盡量做到公開透明。第二,適當(dāng)保證評審專家的規(guī)模。當(dāng)評審專家規(guī)模較小時(shí),會(huì)增加評價(jià)的隨機(jī)誤差,從而影響評審結(jié)果,當(dāng)評審專家人數(shù)較多時(shí),又容易增加成本,必須在兩者之間保持一個(gè)合理的平衡,建議對于一些重大評審,評審專家數(shù)量為25~30人,或者略多。
關(guān)于代表作的推廣,教育部重點(diǎn)考核的是各“雙一流”建設(shè)高校以及教育部直屬高校。建議區(qū)分不同評價(jià)目的、不同高校、不同學(xué)科推廣代表作制度,賦予高校一定的自主權(quán)。對于一流大學(xué)、一流學(xué)科大學(xué)的一流學(xué)科、教育部直屬高校的優(yōu)勢學(xué)科,在微觀評價(jià)時(shí)采用代表作制度是沒有問題的。對于其他情況,建議賦予高校一定的自主權(quán),兼顧量化考核與代表作制度進(jìn)行評價(jià)。
傳統(tǒng)的以SCI論文數(shù)量為主的科技評價(jià)方法存在不少弊端,從而催生了代表作制度產(chǎn)生,但是代表作制度也并非十全十美,其完善適用還有很長的路要走。造成這種現(xiàn)象的根源是長期以來文獻(xiàn)計(jì)量學(xué)與科學(xué)計(jì)量學(xué)得不到應(yīng)有的重視,有許多不錯(cuò)的文獻(xiàn)計(jì)量指標(biāo),如h指數(shù)家族、特征因子、z指數(shù)等,如果早一點(diǎn)采用這些指標(biāo)進(jìn)行評價(jià),而不是簡單地統(tǒng)計(jì)論文數(shù)量和影響因子,科技評價(jià)質(zhì)量會(huì)提高很多。
我國的科技評價(jià)機(jī)制還有待改善。第一,科技評價(jià)體制取決于科研管理體系,要全面系統(tǒng)地進(jìn)行頂層設(shè)計(jì),包括科研管理體系;第二,要全面系統(tǒng)地設(shè)計(jì)我國的科技評價(jià)機(jī)制,確定評價(jià)戰(zhàn)略、目標(biāo)、原則、機(jī)制等宏觀框架;第三,加強(qiáng)管理的科學(xué)性與制度化,及時(shí)吸收最新評價(jià)方法和手段,充分發(fā)揮評價(jià)專家在科技評價(jià)中的作用;第四,發(fā)揮高校與科研院所的自主權(quán),國家層面只做宏觀引導(dǎo)。