俞立平，張礦偉，蔣長兵

（1.浙江工商大學(xué)統(tǒng)計(jì)與數(shù)學(xué)學(xué)院，杭州310018；2.浙江工商大學(xué)管理工程與電子商務(wù)學(xué)院，杭州310018）

1 引言

在科技評價(jià)中，代表作制度越來越受到重視。在創(chuàng)新型國家建設(shè)背景下，提高科研成果質(zhì)量已經(jīng)成為首要任務(wù)。2018年7月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)了《關(guān)于深化項(xiàng)目評審、人才評價(jià)、機(jī)構(gòu)評估改革的意見》①http://www.gov.cn/zhengce/2018-07/03/content_5303251.htm，明確突出品德、能力、業(yè)績導(dǎo)向，克服“四唯”傾向，推行代表作評價(jià)制度，注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響。2018年10月，科技部、教育部、人力資源社會(huì)保障部、中科院和工程院聯(lián)合發(fā)布《關(guān)于開展清理“唯論文、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知》②http://www.most.gov.cn/tztg/201810/t20181023_142389.htm，要求開展清理“四唯”專項(xiàng)行動(dòng)。2019年6月，中共中央辦公廳、國務(wù)院辦公廳發(fā)布了《關(guān)于進(jìn)一步弘揚(yáng)科學(xué)家精神加強(qiáng)作風(fēng)和學(xué)風(fēng)建設(shè)的意見》③http://www.gov.cn/zhengce/2019-06/11/content_5399239.htm，提出大力弘揚(yáng)科學(xué)家精神，營造風(fēng)清氣正的科研環(huán)境。2020年2月，科技部印發(fā)《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施（試行）》的通知④http://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html，提出在科技項(xiàng)目、科研基地、基礎(chǔ)研究機(jī)構(gòu)、國家獎(jiǎng)勵(lì)和人才評估等方面全面推行代表作制度。對各種科技評價(jià)中實(shí)行代表作制度提出了具體的要求。

代表作制度的推廣與實(shí)施已經(jīng)成為一種必然趨勢，對其存在的問題進(jìn)行深度分析具有重要意義。首先，對代表作制度存在問題的分析有利于推進(jìn)科技評價(jià)理論；其次，有利于發(fā)現(xiàn)其中存在的問題，從而有利于采取必要的政策措施，進(jìn)一步優(yōu)化代表作制度；最后，從長遠(yuǎn)的角度，有利于保證學(xué)術(shù)公平，調(diào)動(dòng)廣大科技人員的積極性，為建設(shè)創(chuàng)新型國家服務(wù)。

代表作制度日漸成為世界上學(xué)術(shù)界一種重要的學(xué)術(shù)評價(jià)制度。葉繼元[1]認(rèn)為，代表作是指能夠體現(xiàn)和衡量科研人員學(xué)術(shù)水平的代表性成果，作品的數(shù)量不再做硬性要求，數(shù)量再多也不加分。英國的科研評價(jià)體系逐漸從RAE（Research Assessment Ex‐ercise）過渡到RAF（Research Assessment Framework）的過程中，對高校教師進(jìn)行業(yè)績考評和晉升審查時(shí)要求提交高質(zhì)量出版物[2]。荷蘭大學(xué)協(xié)會(huì)的科研評價(jià)則要求科研人員提供5份有代表性的出版物及其質(zhì)量和聲譽(yù)的其他材料[3]。

關(guān)于代表作制度的應(yīng)用，學(xué)術(shù)界存在一些爭議。有些學(xué)者總體上肯定代表作制度，俞吾金[4]指出，代表作制度主要是在文科教師職稱晉升中，對只重視論文數(shù)量這一做法的糾正。宋敏等[5]研究發(fā)現(xiàn)，高等學(xué)校自然科學(xué)獎(jiǎng)評選的同行評議結(jié)果與科學(xué)計(jì)量學(xué)指標(biāo)呈正相關(guān)，可作為高校代表作評價(jià)制度開展的模式參考。臧峰宇[6]認(rèn)為，實(shí)施代表作評價(jià)有助于從源頭上遏制學(xué)術(shù)浮躁之風(fēng)，擠破粗制濫造的學(xué)術(shù)泡沫，打破核心期刊的神話和迷信。

也有些學(xué)者指出代表作制度存在的一些問題。姜春林等[7]認(rèn)為，由于人文社會(huì)科學(xué)研究自身的復(fù)雜性、評審專家的認(rèn)知偏差、學(xué)科劃分、同行選擇和人情關(guān)系等因素的共同影響，導(dǎo)致代表作制度評價(jià)目前水平一般。田賢鵬[8]指出，由于評價(jià)過程中的程序公平難以保障，代表作的質(zhì)量評判標(biāo)準(zhǔn)無法統(tǒng)一，學(xué)術(shù)共同體的評價(jià)機(jī)制尚未健全，量化評價(jià)形成的制度利益破除困難等，導(dǎo)致代表作制評價(jià)的實(shí)踐探索陷入重重困境。符征[9]指出，實(shí)行代表作制度時(shí)，評審人也存在著能否讀懂論文問題。李濤[10]認(rèn)為，代表作制會(huì)導(dǎo)致職稱晉升的不可預(yù)期性，可能破壞高校學(xué)術(shù)梯隊(duì)的穩(wěn)定性，并加劇學(xué)術(shù)腐敗，誘發(fā)諸多新的學(xué)術(shù)危機(jī)。

代表作的評審主要依靠同行評議，但同行評議本身也存在一些問題。Wenner?s等[11]在Nature上撰文指出，同行評議容易造成裙帶關(guān)系和性別歧視。Marsh等[12]認(rèn)為，作為學(xué)術(shù)成果評價(jià)的守門員和仲裁者的同行評審專家，在對論文的評審過程中，存在著夸大事實(shí)和容易偏見等問題。Bornmann等[13]通過分析兩本期刊在不同季節(jié)來稿數(shù)量和評審標(biāo)準(zhǔn)，發(fā)現(xiàn)同行專家的評審存在不公平現(xiàn)象。Bohannon[14]曾以一篇存在明顯科學(xué)問題的研究論文進(jìn)行了大型投稿調(diào)查，發(fā)現(xiàn)304種開放存取期刊中退稿量僅占32.2%，即同行評議存在嚴(yán)重的有效性問題。姜春林等[15]認(rèn)為，在中國特定文化背景下，強(qiáng)大的關(guān)系社會(huì)帶來了非學(xué)術(shù)性干擾，很難使同行專家保持學(xué)術(shù)中立。

有學(xué)者針對代表作制度提出了改進(jìn)建議。姜春林等[16]在探討代表作制在實(shí)施過程中可能存在的潛在問題的同時(shí)，提出科學(xué)合理的學(xué)術(shù)評價(jià)制度應(yīng)當(dāng)是基于同行評議的代表作制度與科學(xué)計(jì)量評價(jià)方法二者的有效結(jié)合。張積玉[17]提出，實(shí)行以量化為基礎(chǔ)代表作為主的綜合化評價(jià)制度，不失為保證學(xué)術(shù)評價(jià)科學(xué)合理、公平、公正且具可操作性的正確選擇。楊興林[18]認(rèn)為，有效減少學(xué)術(shù)代表作評價(jià)誤差，不僅需要評審專家確實(shí)學(xué)有專長和具有較好的學(xué)術(shù)良知，而且需要有相應(yīng)的制約機(jī)制為保障。杜學(xué)亮[19]認(rèn)為，代表作制度的關(guān)鍵在于兩個(gè)方面：一是建立公開透明的公示制度；二是建立配套的申訴復(fù)議制度。

從現(xiàn)有的研究來看，關(guān)于代表作制度的優(yōu)劣學(xué)術(shù)界還存在爭議，有研究者肯定代表作制度，也有研究者認(rèn)為代表作制度存在不少問題，包括代表作制度自身存在的問題以及引申出來的同行評議的相關(guān)問題。對于代表作制度的改進(jìn)，學(xué)術(shù)界提出了眾多改進(jìn)建議。總體上在以下三方面有待進(jìn)一步深入研究。

第一，對代表作制度存在的問題分析，缺乏一個(gè)系統(tǒng)的分析框架，這樣導(dǎo)致分析問題不夠全面和系統(tǒng)。

第二，從分析問題的方法來看，主要采用純理論邏輯分析，缺乏必要的數(shù)學(xué)分析和證明，國內(nèi)的實(shí)證研究也較少。

第三，由于上述兩個(gè)問題，導(dǎo)致政策建議也不夠全面，而且一些政策建議缺乏操作性。

本文首先建立代表作制度的分析框架，然后逐一對問題進(jìn)行深度分析，并對代表作的可靠性和通過率進(jìn)行證明，最后提出相關(guān)解決路徑與政策建議。

2 代表作制度的分析框架

2.1 代表作的評價(jià)對象

代表作評價(jià)對象如圖1所示。采用代表作評價(jià)主要有宏觀評價(jià)和微觀評價(jià)兩個(gè)層面，宏觀評價(jià)主要包括機(jī)構(gòu)評價(jià)、學(xué)科團(tuán)隊(duì)評價(jià)、研究基地和實(shí)驗(yàn)室評價(jià)，等等，其特點(diǎn)是評價(jià)對象是團(tuán)隊(duì)總體為主，成果不是以單個(gè)學(xué)者為主，代表作數(shù)量一般也較多。微觀評價(jià)包括獎(jiǎng)勵(lì)評價(jià)、項(xiàng)目評價(jià)、職稱評審和人才評價(jià)等，其特點(diǎn)是評價(jià)對象以單個(gè)學(xué)者為主，代表作數(shù)量一般也較少。關(guān)于代表作數(shù)量，科技部在《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施（試行）》指出，對于宏觀評價(jià)，代表作數(shù)量為10篇、20篇和40篇；對于微觀評價(jià)，代表作一般是5篇。

圖1 代表作評價(jià)對象

2.2 代表作評價(jià)與文獻(xiàn)計(jì)量評價(jià)的關(guān)系

與同行論文評議一樣，代表作評價(jià)實(shí)質(zhì)是在進(jìn)行內(nèi)容評價(jià)，而文獻(xiàn)計(jì)量評價(jià)實(shí)質(zhì)是在進(jìn)行形式評價(jià)，雖然文獻(xiàn)計(jì)量評價(jià)在意內(nèi)容質(zhì)量，但其產(chǎn)生發(fā)展的動(dòng)因只是在于能夠在某種程度上通過形式評價(jià)來幫助解決外行進(jìn)行內(nèi)容質(zhì)量評價(jià)時(shí)所面臨的認(rèn)知困惑。因此，基于科研管理關(guān)切，兩種評價(jià)關(guān)注的終極目標(biāo)是一致的，但是在操作要求上有所不同，執(zhí)行效果亦各有千秋。對于微觀學(xué)者評價(jià)而言，基于代表作的評價(jià)方法是有意義的；而對于宏觀評價(jià)，由于評價(jià)工作量巨大往往采用形式評價(jià)。無論是代表作評價(jià)、同行評議評價(jià)，還是文獻(xiàn)計(jì)量評價(jià)，必須考慮評價(jià)方法的可執(zhí)行性、可操作性和評價(jià)結(jié)果的可接受性。

2.3 分析框架

代表作制度的分析框架如圖2所示。從評價(jià)目的、評價(jià)對象、同行評議和評價(jià)技術(shù)四個(gè)方面展開。關(guān)于評價(jià)目的，主要從數(shù)量質(zhì)量與學(xué)科比較視角展開分析；關(guān)于評價(jià)對象，主要從論文選擇和學(xué)科異質(zhì)性兩個(gè)角度進(jìn)行分析；關(guān)于同行評議，主要從環(huán)境背景、評審專家和操作程序三個(gè)方面開展分析；關(guān)于評價(jià)技術(shù)，主要從可靠性與通過率角度開展分析。

圖2 分析框架

3 代表作制度存在問題分析

3.1 評價(jià)目的分析

1）代表作制度缺乏規(guī)模評價(jià)視角

代表作評價(jià)本質(zhì)上是一種質(zhì)量評價(jià)，并非數(shù)量評價(jià)，在進(jìn)行微觀評價(jià)包括獎(jiǎng)勵(lì)評價(jià)、項(xiàng)目相關(guān)評價(jià)、職稱評審、人才評價(jià)等時(shí)，這是沒有問題的，本著質(zhì)量至上的原則。但是在進(jìn)行一些宏觀評價(jià)如學(xué)科團(tuán)隊(duì)、大學(xué)、實(shí)驗(yàn)室、研究基地等評價(jià)時(shí)，一方面需要關(guān)注這些機(jī)構(gòu)的一流科研成果即科研質(zhì)量，另一方面也需要兼顧一定的數(shù)量，否則的話，一些上百人甚至更大機(jī)構(gòu)的科研質(zhì)量或許5～10位高水平科研人員的高質(zhì)量成果就能代表，存在“一美遮百丑”現(xiàn)象。不兼顧數(shù)量評價(jià)難以評價(jià)機(jī)構(gòu)的貢獻(xiàn)，進(jìn)而可能也會(huì)帶來科技資源分配的不公。我國目前的宏觀評價(jià)需求較多，評價(jià)工作量巨大，這個(gè)問題必須引起足夠的重視。

2）代表作無法進(jìn)行跨學(xué)科比較

跨學(xué)科比較雖然是一個(gè)難題，但是采用文獻(xiàn)計(jì)量學(xué)進(jìn)行跨學(xué)科比較已經(jīng)取得了較大的進(jìn)展，并且有些方法已經(jīng)運(yùn)用到具體的應(yīng)用。然而，采用代表作制度根本無法進(jìn)行跨學(xué)科比較，代表作的評審主要采用同行評議，而同行評議專家往往是學(xué)科內(nèi)部的。目前，關(guān)于跨學(xué)科比較的評價(jià)需求又是比較旺盛的，例如，自然科學(xué)獎(jiǎng)勵(lì)評審時(shí)不同學(xué)科的指標(biāo)分配，不同學(xué)科團(tuán)隊(duì)的資源分配，等等。

3.2 評價(jià)對象分析

1）作者選擇代表作面臨諸多困惑

第一，作者難以選擇代表作。采用代表作評價(jià)無疑是評價(jià)論文質(zhì)量，假設(shè)共選擇5篇代表作，如果作者有5篇中科院SCI一區(qū)論文、5篇SCI二區(qū)論文，一共10篇論文。一區(qū)論文中有2篇相對弱一些，而二區(qū)論文中有2篇質(zhì)量不錯(cuò)。代表作的選取假設(shè)有兩種方案，第一種是用5篇一區(qū)論文，第二種是用3篇一區(qū)論文和2篇二區(qū)論文。論質(zhì)量的話能否采用第二種方案？由于歷史原因，以刊評文影響很大，如果評審專家更加關(guān)注發(fā)表的期刊，那么代表作制度也會(huì)受到影響。在代表作評審中，是難以實(shí)現(xiàn)真正盲審的，即使是匿名，通過搜索論文標(biāo)題也很容易查到作者是誰。

需要說明的是，嚴(yán)格意義上的代表作評價(jià)與學(xué)術(shù)期刊等級無關(guān)，只要公開發(fā)表即可。但實(shí)際操作過程中，這一點(diǎn)難以做到，如在職稱評審、學(xué)科評價(jià)中，往往強(qiáng)調(diào)在“重要期刊”“核心期刊”“有影響力期刊”等期刊上發(fā)表若干篇論文，因此在一定程度上，作者或機(jī)構(gòu)在選取代表作的時(shí)候，一般會(huì)比較重視期刊級別。

2）代表作選取中的中國期刊論文問題

科技部明確規(guī)定了代表作中中國期刊論文的數(shù)量原則上不少于1/3，這需要一段過渡時(shí)間。由于歷史原因，最好的自然科學(xué)論文往往以英文形式發(fā)表在國外期刊上，中國主辦的英文期刊數(shù)量較少、載文量有限、質(zhì)量有待提高，許多作者沒有中國期刊論文，即使有中國期刊論文，質(zhì)量也達(dá)不到“代表作”的水平。故在報(bào)送代表作的時(shí)候，對于中國期刊論文的選擇也是一個(gè)難以抉擇的問題。

3）同一學(xué)科不同研究類型學(xué)者代表作難以比較問題

即使在同一學(xué)科，如果一位學(xué)者側(cè)重基礎(chǔ)理論研究，而另一位學(xué)者還兼顧應(yīng)用研究，在評職稱報(bào)送代表作時(shí)，前者報(bào)送5篇論文，后者報(bào)送2篇論文外加3份研究報(bào)告或是專利轉(zhuǎn)讓成果。由于這兩位學(xué)者無法或不能采取分類評價(jià)，代表作類型又不一樣，此時(shí)，對兩位作者進(jìn)行代表作比較是非常困難的。解決辦法是進(jìn)一步細(xì)分進(jìn)行分類評價(jià)，但是評價(jià)往往和廣義的資源分配有關(guān)，過細(xì)的分類評價(jià)不利于資源的合理分配，如職稱指標(biāo)、學(xué)科點(diǎn)的申報(bào)，等等。不同類型之間的資源分配是一個(gè)新的問題。

4）學(xué)科異質(zhì)性影響代表作的評價(jià)效果

第一，不同學(xué)科代表作的代表性不同。自然科學(xué)代表作更具有代表性，哲學(xué)社科的代表性相對較弱。由于人文社會(huì)科學(xué)研究具有研究周期長、社會(huì)影響見效慢、學(xué)術(shù)觀點(diǎn)無完全的對錯(cuò)之分、評價(jià)中評審者的主觀性多于客觀性、社會(huì)科學(xué)研究具有時(shí)代性等特點(diǎn)，因此，對人文科學(xué)研究采用“代表作制度”仍需辯證地加以認(rèn)識[20]。此外，人文社科還可能存在研究學(xué)派問題，不同的研究學(xué)派觀點(diǎn)有所差異。

第二，學(xué)科發(fā)展速度影響代表作的代表性。有些學(xué)科發(fā)展較快，知識增長快，優(yōu)秀的科研成果會(huì)引領(lǐng)學(xué)科發(fā)展，代表作就擁有較好的代表性，而另外一些學(xué)科相對成熟，知識增長慢，代表作就難以起到代表作用。例如，互聯(lián)網(wǎng)高速發(fā)展時(shí)，計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域的論文代表作就擁有較好的代表性，而目前相對成熟的數(shù)學(xué)學(xué)科，代表作代表性就相對較弱，畢竟重大成果很少，小成果較多，不同代表作水平之間的區(qū)分度相對不大。

5）代表作對不同水平學(xué)者的適用問題

對于水平較高的學(xué)者，代表作制度可以反映其水平，但是對于水平相對較低的學(xué)者，盡管代表作可以反映其水平，但有些大材小用。畢竟采用代表作制度涉及大量人力物力和財(cái)力的投入，對于明顯低水平的研究采用代表作進(jìn)行評審，會(huì)浪費(fèi)許多公共財(cái)政資源。尤其在科技獎(jiǎng)勵(lì)評選時(shí)，對于低水平研究，完全沒有必要全部送審，可以先初選一批。

3.3 同行評議分析

1）我國同行評議制度還有待完善

學(xué)術(shù)代表作制評價(jià)的核心問題在于按照學(xué)科的內(nèi)在邏輯，建立學(xué)術(shù)共同體內(nèi)在的價(jià)值標(biāo)準(zhǔn)[21]。中國還沒有形成真正意義上的學(xué)派，還不完全具備形成學(xué)術(shù)共同體的條件和群體意識[22]。由于缺乏深厚的評價(jià)文化底蘊(yùn)，我國學(xué)術(shù)共同體學(xué)術(shù)評價(jià)的制度規(guī)范還不夠完善，并且東方文化比較重視人際關(guān)系，導(dǎo)致在學(xué)術(shù)評價(jià)中人情關(guān)系對代表作評價(jià)的干擾較大。當(dāng)然，這個(gè)問題也并非我國所獨(dú)有，西方發(fā)達(dá)國家也或多或少存在類似的現(xiàn)象，只不過我國的問題比較嚴(yán)重而已。

2）評審專家的學(xué)識局限

受評審專家主觀局限性和思維慣性的影響，加上評價(jià)情境的復(fù)雜性，可能會(huì)使同行評議失效。每位專家都有自己的思維定勢，這將導(dǎo)致評價(jià)產(chǎn)生認(rèn)知偏差，從而影響評價(jià)的客觀性和穩(wěn)定性。雖然可以通過延長評審時(shí)間，以及盡可能進(jìn)行匿名評審的方法降低認(rèn)知偏差，但這種影響是難以消除的。

3）評審工作量加大專家難以滿足需求

一旦代表作制度全面鋪開，評審工作量將呈幾何級數(shù)上升，評審專家將難以滿足需求。畢竟大量的評審專家均是學(xué)科領(lǐng)域內(nèi)杰出學(xué)者，是最權(quán)威、最稱職的同行評議專家，然而，這些學(xué)者的工作和科研任務(wù)繁重，根本無暇進(jìn)行大量的評審。代表作評價(jià)需要大規(guī)模擴(kuò)大評審專家的數(shù)量，其結(jié)果必然導(dǎo)致評審專家的平均水平下降，難以對代表作進(jìn)行客觀公正的評價(jià)，同時(shí)增加了尋租風(fēng)險(xiǎn)。

4）全面型評審專家無法滿足要求

在進(jìn)行宏觀評價(jià)時(shí)，代表作就是團(tuán)隊(duì)或機(jī)構(gòu)的代表作，如進(jìn)行學(xué)科評價(jià)時(shí)，一個(gè)單位就有20篇代表作，可能涉及學(xué)科中3～5個(gè)研究方向，而評審專家同時(shí)評審的學(xué)科可能會(huì)有10多個(gè)，那么涉及的研究方向可能會(huì)有20～30個(gè)。很少有專家擁有如此寬闊的知識廣度和知識深度，如何找到合適的評審專家首先是個(gè)難題，在宏觀評價(jià)中，這個(gè)問題是非常普遍的。即使是微觀評價(jià)，如果一位專家同時(shí)評審10個(gè)學(xué)者的50篇代表作，那么依舊存在評審專家的知識面不夠問題。

5）同行評議不同分組難以比較問題

對于有些宏觀機(jī)構(gòu)評價(jià)，每家機(jī)構(gòu)代表作數(shù)量會(huì)達(dá)到40篇，一篇論文短的可能是七八頁，長的有幾十頁。而參評機(jī)構(gòu)可能有50家，這對評審專家絕對是巨大的工作量。如果不認(rèn)真閱讀論文，那么評價(jià)效果會(huì)很差；如果認(rèn)真閱讀論文，一位評審專家也難以評審50家機(jī)構(gòu)的2000篇論文。可行的解決方法是分組評價(jià)，即將2000篇論文進(jìn)行分組，每組請若干位專家進(jìn)行同行評議，雖然是定性評價(jià)，也打分，但不同組別的評審結(jié)果是難以進(jìn)行比較的。

6）評審專家以刊評文問題

由于代表作評審專家在評審時(shí)面臨巨大的挑戰(zhàn)，如知識面不夠、評審工作量大、時(shí)間不足等問題，最直接的方式是看代表作發(fā)表的期刊，根據(jù)發(fā)表期刊的級別來大致對作者的研究質(zhì)量進(jìn)行判斷，即“以刊評文”，而教育部、科技部在相關(guān)文件中明確提出擯棄“以刊評文”。本文暫不討論以刊評文的利弊，但是在代表作評審過程中，以刊評文其實(shí)是一種常見現(xiàn)象，如果評審專家由于思維定勢的影響繼續(xù)以刊評文，那么代表作制度就會(huì)大打折扣。

7）同行評議的規(guī)范性有待提高

代表作的同行評議是個(gè)系統(tǒng)工程，涉及方方面面。一類是程序性問題，如專家數(shù)量、專家是否異地、抽簽方式、通訊還是會(huì)議、打分區(qū)分度、表決方式，是否允許申訴、程序是否公開、保障機(jī)制；另一類是具體操作問題，如代表作的判斷標(biāo)準(zhǔn)，打分?jǐn)?shù)據(jù)分布，評審意見要求，等等。這方面許多工作需要細(xì)化，目前的同行評議的規(guī)范性亟須提高。

8）代表作無法實(shí)現(xiàn)真正的匿名評審

學(xué)者的科學(xué)研究從論文投稿到代表作評審過程如圖3所示。作者在進(jìn)行論文投稿時(shí)，需要采用同行評議進(jìn)行首輪評審，目前國際上通行的做法是嚴(yán)格進(jìn)行雙盲評審，即作者不知道評審專家，評審專家不知道作者。首輪評審時(shí)，期刊一般至少請2個(gè)評審專家進(jìn)行同行評議，如果論文被接受，那么投稿完成；如果論文被退稿，那么作者還要改投其他期刊。在論文接受之前，意味著投稿會(huì)有多次評審，1篇論文在發(fā)表前可能有10個(gè)不同期刊的專家匿名評審。

圖3 從論文投稿到代表作評審

在采用代表作進(jìn)行評價(jià)時(shí)，本質(zhì)上是第二輪評審，評審方法同樣采用同行評議，但是需要注意的是，代表作同行評議一般只有1次，并且無法做到雙盲，實(shí)際上只能做到單盲，這是因?yàn)榧词共扇‰p盲措施，根據(jù)論文題目和其中的相關(guān)語句還是可以查到作者是誰。

對比以上兩輪評審，可以非常明顯看出第一輪評審的公平性遠(yuǎn)超過代表作第二輪評審。論文的發(fā)表過程就是一個(gè)經(jīng)受同行評議專家質(zhì)詢的過程，作者論文數(shù)量越多，這種質(zhì)詢次數(shù)也越多，因此，論文數(shù)量一定程度上反映了這種考驗(yàn)的次數(shù)，進(jìn)一步地，傳統(tǒng)根據(jù)論文數(shù)量的評價(jià)有一定的合理性。

9）代表作評價(jià)的成本問題

采用代表作進(jìn)行評價(jià)是需要成本的，包括組織成本、同行評議成本、會(huì)議成本、爭端解決成本等經(jīng)濟(jì)成本，此外還有時(shí)間成本等。隨著代表作制度的全線鋪開，評價(jià)工作量增加較大，評價(jià)成本會(huì)增加更多，根據(jù)我國科研體制的現(xiàn)狀，這些成本往往采用公共財(cái)政資源支出，這也增加了納稅人的負(fù)擔(dān)。

10）代表作評價(jià)無法防止科研投機(jī)

科研投機(jī)者往往并不是真正的學(xué)者，其會(huì)發(fā)表一定數(shù)量的核心期刊論文，然后謀求個(gè)人利益。在傳統(tǒng)的科技評價(jià)體系下，盡管也存在一些學(xué)術(shù)不端以及科研投機(jī)現(xiàn)象，但總體上是可控的。然而，如果廣泛采用代表作，這些投機(jī)現(xiàn)象防范可能比較困難。畢竟科研投機(jī)者造出5篇代表作還是相對容易的，這些人一旦到達(dá)比較重要的崗位又沒有真才實(shí)學(xué)，造成的損失和負(fù)面效應(yīng)會(huì)更大。

3.4 代表作的技術(shù)問題

1）代表作評審專家較少時(shí)誤差較大問題

根據(jù)前文分析，論文發(fā)表時(shí)的評審專家總體會(huì)比代表作二次評審時(shí)的同行評議專家數(shù)量要多，這可能會(huì)導(dǎo)致代表作評審時(shí)的打分誤差較大，設(shè)不同專家對某篇論文評分的分值為

其中，xi為專家給出的評分值；μ為該論文真實(shí)水平所對應(yīng)的真實(shí)值；εi為單次評分與真實(shí)水平的隨機(jī)誤差。則n位專家給出的評分為

采用算術(shù)平均法來綜合n位專家評分，得到專家評分平均值：

單次評分與真實(shí)水平存在隨機(jī)誤差ε，當(dāng)單次評分高于真實(shí)水平時(shí)，隨機(jī)誤差ε為正值；當(dāng)單次評分低于真實(shí)水平時(shí)，隨機(jī)誤差ε為負(fù)值。由于隨機(jī)誤差ε服從正態(tài)分布，因此當(dāng)n越大，即評審專家人數(shù)越多時(shí)，隨機(jī)誤差和逐漸趨向于0，即多人評分的均值逐漸接近真實(shí)值的近似值。

在微觀評價(jià)時(shí)，代表作的數(shù)量可能就是5篇或10篇，如果評審專家的數(shù)量也就是5～10人，在這種情況下，不能稱為大樣本，此時(shí)ε就不會(huì)服從正態(tài)分布，從而會(huì)產(chǎn)生較大的評價(jià)誤差。

在代表作評價(jià)時(shí)，如果評審專家達(dá)到30，此時(shí)從概率與數(shù)理統(tǒng)計(jì)的角度可以稱為大樣本，隨機(jī)誤差會(huì)服從正態(tài)分布，隨機(jī)誤差項(xiàng)會(huì)趨近于0，此時(shí)誤差較小，打分會(huì)比較精確，但這也意味著評價(jià)成本成倍增加。

由于在代表作評審過程中無法實(shí)現(xiàn)雙盲，那么在評價(jià)中除了隨機(jī)誤差，還會(huì)存在系統(tǒng)誤差，系統(tǒng)誤差是無法消除的。

綜上所述，造成代表作評審誤差有兩個(gè)方面：一是評審專家較少時(shí)的偶然誤差；二是不管評審專家人數(shù)多少時(shí)，由于無法絕對進(jìn)行雙盲評審而造成的系統(tǒng)誤差。

2）二輪評審?fù)ㄟ^概率大于論文錄用首輪評審

代表作評審的可靠性還可以從另一個(gè)視角進(jìn)行分析比較。在一些選拔型的評審中，如職稱評審、獎(jiǎng)勵(lì)評審中，假設(shè)用代表作或論文的通過概率作為其難度的一種指標(biāo)，通過概率大說明難度不高。不妨做如下假設(shè)：

第一，論文審稿人、代表作同行評議專家能力和水平一樣；

第二，論文審稿人、代表作同行評議專家打分服從正態(tài)分布N(μ,σ2)；

第三，論文審稿人、代表作同行評議專家打分獨(dú)立且同分布；

第四，論文審稿人數(shù)量是代表作同行評議專家的2倍（根據(jù)前文分析，這容易滿足）；

第五，論文審稿人、代表作同行評議專家打分采用雙盲評審。

在論文審稿時(shí)，多人審稿制度下，假設(shè)被評人有已錄用的稿件n篇，在期刊的投稿過程中，每一篇稿件需經(jīng)兩個(gè)審稿人同意后才能錄用，n篇稿件審稿人總數(shù)至少為2n。設(shè)xi、yi分別為第一審稿人、第二審稿人打分，則該被評人的i篇稿件概率密度函數(shù)為

對其標(biāo)準(zhǔn)化后進(jìn)一步處理得

由于xi+yi=Ti～N(2μ,2σ2)，可得

則作者稿件通過的概率密度函數(shù)為

最后得稿件的通過概率為

在代表作同行評議時(shí)，假設(shè)同行評議專家人數(shù)為n，zi為第i個(gè)專家的打分結(jié)果，代表作打分同樣服從正態(tài)分布N(μ,σ2)，則代表作通過的概率密度函數(shù)為

同樣地，對其標(biāo)準(zhǔn)化得

最后，得其稿件通過概率為

對比式(6)和式(10)得

也就是說，PA＜PB。由此可知，代表作同行評議的通過率高于論文投稿的通過率，作者期刊論文錄用的難度要大于代表作同行評議。這也說明另外一個(gè)問題，在代表作進(jìn)行同行評議時(shí)，評審專家較少篩選效率不高。

4 代表作制度的優(yōu)化改進(jìn)路徑

4.1 不宜擴(kuò)大代表作的適用范圍

在科技評價(jià)中會(huì)面臨各種評價(jià)需求：在微觀評價(jià)以及科研質(zhì)量評價(jià)中，代表作制度可以嘗試并逐步進(jìn)行改進(jìn)；但是在進(jìn)行宏觀評價(jià)時(shí)，一定要反復(fù)思考這個(gè)問題，真的對機(jī)構(gòu)評價(jià)就沒有規(guī)模和數(shù)量的要求嗎？現(xiàn)在國家對一些科研機(jī)構(gòu)的投入，多的每年高達(dá)數(shù)億元，如果這個(gè)機(jī)構(gòu)恰恰是從事基礎(chǔ)研究的，如果評價(jià)時(shí)只看10篇代表作，那么有沒有問題？

對于不同學(xué)科之間的比較也超越了代表作評價(jià)的能力，凡是涉及資源在不同學(xué)科之間分配，以及不同學(xué)科之間的比較問題，此時(shí)已經(jīng)超越了代表作可以評價(jià)的范圍，要采用新的規(guī)則。

對于一些重要的微觀評價(jià)，要反思一下評價(jià)目的。例如，提拔科研管理工作重要崗位上的學(xué)者，這些學(xué)者即將擁有更大的權(quán)力，對單位的科研影響會(huì)很大，建議應(yīng)該適當(dāng)兼顧論文數(shù)量，防止科研投機(jī)現(xiàn)象。

4.2 代表作的選取一定要明確要求

對于作者代表作的選取一定要明確質(zhì)量，并且評價(jià)機(jī)構(gòu)要承諾嚴(yán)格執(zhí)行。嚴(yán)格意義上，即使是非核心期刊論文也應(yīng)該可以選為代表作，但是在《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施（試行）》中提出鼓勵(lì)發(fā)表高質(zhì)量論文，包括發(fā)表在具有國際影響力的國內(nèi)科技期刊、業(yè)界公認(rèn)的國際頂級或重要科技期刊的論文，以及在國內(nèi)外頂級學(xué)術(shù)會(huì)議上進(jìn)行報(bào)告的論文，某種程度上這是一種新的“以刊評文”現(xiàn)象。除非下決心不采用任何核心期刊目錄，否則代表作選取時(shí)還是要兼顧發(fā)表的期刊級別。

“以刊評文”的評價(jià)方式并不能被完全否定，其存在一定合理的評價(jià)邏輯。在沒有特別有效的方式的前提下，以刊評文仍將是現(xiàn)在科研評價(jià)制度中非常重要的一種方式。“代表作”評價(jià)的核心是讓研究者樹立質(zhì)量意識，同時(shí)在一定程度上可以降低評價(jià)成本?！按碜鳌痹u價(jià)與“以刊評文”不是對立的，不能強(qiáng)調(diào)代表作評價(jià)，就要把文獻(xiàn)領(lǐng)域的一些方法和成果完全放棄掉。

4.3 分類評價(jià)要進(jìn)一步細(xì)化

學(xué)者的分類評價(jià)，國家已經(jīng)提出了許多明確要求，但仍需要進(jìn)一步細(xì)化。如教學(xué)型、教學(xué)科研并重、科研型的分類，基礎(chǔ)研究、應(yīng)用基礎(chǔ)研究、應(yīng)用研究的分類，等等。對于不同類型的代表作評審要求是不一樣的，相互之間不可比較，進(jìn)一步細(xì)化有利于代表作制度的推進(jìn)。但又帶來一個(gè)新的問題，即不同類型評價(jià)之間如何分配資源，如職稱指標(biāo)、科研經(jīng)費(fèi)等。

4.4 對初中級評審可以適當(dāng)采取以刊評文

由于代表作評審全面推開會(huì)大幅度加大評價(jià)工作量，提高評價(jià)成本，代表作評審的公平程度也有可改進(jìn)空間。因此，對于一些初中級評審，可以適當(dāng)采取以刊評文的做法，如講師評審、一般高校的副教授評審等，以刊評文仍然是一種成本較低相對公平的有效手段。

4.5 建立量化考核與代表作制度兼顧的評審制度

建立量化考核與代表作制度兼顧的評審制度，能夠淘汰掉一批質(zhì)量相對較低評審對象，提高評審門檻，從而節(jié)省評價(jià)成本，另外也有利于保證評價(jià)公平。具體的量化考核基本要求各高校和科研機(jī)構(gòu)可以根據(jù)自身情況制定具體的細(xì)則。實(shí)際上，目前國內(nèi)許多高校在職稱評審中都提出了一定的量化考核要求，這是代表作制度推廣的良好基礎(chǔ)。

即使在這種情況下，對于量化考核成果相差較大的，也不需要采用代表作評價(jià)；對于量化考核成果相近的，代表作制度可作為一種必要的補(bǔ)充。

4.6 提高代表作同行評審的規(guī)范性與質(zhì)量

第一，要規(guī)范同行評審程序，細(xì)化同行評審細(xì)節(jié)，提高同行評審的規(guī)范性，盡量做到公開透明。第二，適當(dāng)保證評審專家的規(guī)模。當(dāng)評審專家規(guī)模較小時(shí)，會(huì)增加評價(jià)的隨機(jī)誤差，從而影響評審結(jié)果，當(dāng)評審專家人數(shù)較多時(shí)，又容易增加成本，必須在兩者之間保持一個(gè)合理的平衡，建議對于一些重大評審，評審專家數(shù)量為25～30人，或者略多。

4.7 代表作制度的推廣應(yīng)給高校一定的自主權(quán)

關(guān)于代表作的推廣，教育部重點(diǎn)考核的是各“雙一流”建設(shè)高校以及教育部直屬高校。建議區(qū)分不同評價(jià)目的、不同高校、不同學(xué)科推廣代表作制度，賦予高校一定的自主權(quán)。對于一流大學(xué)、一流學(xué)科大學(xué)的一流學(xué)科、教育部直屬高校的優(yōu)勢學(xué)科，在微觀評價(jià)時(shí)采用代表作制度是沒有問題的。對于其他情況，建議賦予高校一定的自主權(quán)，兼顧量化考核與代表作制度進(jìn)行評價(jià)。

4.8 建議推廣一些新的文獻(xiàn)計(jì)量指標(biāo)

傳統(tǒng)的以SCI論文數(shù)量為主的科技評價(jià)方法存在不少弊端，從而催生了代表作制度產(chǎn)生，但是代表作制度也并非十全十美，其完善適用還有很長的路要走。造成這種現(xiàn)象的根源是長期以來文獻(xiàn)計(jì)量學(xué)與科學(xué)計(jì)量學(xué)得不到應(yīng)有的重視，有許多不錯(cuò)的文獻(xiàn)計(jì)量指標(biāo)，如h指數(shù)家族、特征因子、z指數(shù)等，如果早一點(diǎn)采用這些指標(biāo)進(jìn)行評價(jià)，而不是簡單地統(tǒng)計(jì)論文數(shù)量和影響因子，科技評價(jià)質(zhì)量會(huì)提高很多。

4.9 完善科技評價(jià)機(jī)制

我國的科技評價(jià)機(jī)制還有待改善。第一，科技評價(jià)體制取決于科研管理體系，要全面系統(tǒng)地進(jìn)行頂層設(shè)計(jì)，包括科研管理體系；第二，要全面系統(tǒng)地設(shè)計(jì)我國的科技評價(jià)機(jī)制，確定評價(jià)戰(zhàn)略、目標(biāo)、原則、機(jī)制等宏觀框架；第三，加強(qiáng)管理的科學(xué)性與制度化，及時(shí)吸收最新評價(jià)方法和手段，充分發(fā)揮評價(jià)專家在科技評價(jià)中的作用；第四，發(fā)揮高校與科研院所的自主權(quán)，國家層面只做宏觀引導(dǎo)。