樓 雯 蔡 蓁

(華東師范大學(xué)經(jīng)濟(jì)與管理學(xué)部信息管理系 上海 200062)

2020年2月，國家教育部、科技部接連下發(fā)了《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用樹立正確評價(jià)導(dǎo)向的若干意見》與《關(guān)于破除科技評價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》(后稱《措施》)兩個文件，要求各“雙一流”建設(shè)高校落實(shí)相關(guān)意見，達(dá)到破除唯分?jǐn)?shù)、唯升學(xué)、唯文憑、唯論文、唯帽子的“五唯”現(xiàn)狀?！捌扑奈ā?、“破五唯”、“破除SCI至上”等一系列討論一并而來。這些討論并非近兩年才出現(xiàn)在學(xué)術(shù)界。前兩年提出的《關(guān)于深化項(xiàng)目評審、人才評價(jià)、機(jī)構(gòu)評估改革的意見》和《關(guān)于進(jìn)一步弘揚(yáng)科學(xué)家精神加強(qiáng)作風(fēng)和學(xué)風(fēng)建設(shè)的意見》都在強(qiáng)化分類考核的評價(jià)導(dǎo)向，指出了科學(xué)研究的評價(jià)重點(diǎn)，避免科學(xué)研究和科學(xué)論文簡單地與利益相掛鉤。對科學(xué)論文的評價(jià)研究可以對未來科學(xué)發(fā)展的重大學(xué)術(shù)成果起到預(yù)見作用，我們利用文獻(xiàn)調(diào)研，在厘清科學(xué)論文評價(jià)的本質(zhì)與其他概念的關(guān)系基礎(chǔ)上，對科學(xué)論文評價(jià)方式和方法進(jìn)行梳理和總結(jié)，以期為今后科學(xué)論文評價(jià)，尤其是單篇科學(xué)論文的評價(jià)方式和方法提供前人經(jīng)驗(yàn)的依據(jù)。

1 科學(xué)論文評價(jià)的內(nèi)涵與外延

1.1科學(xué)論文評價(jià)的涵義與內(nèi)容學(xué)界有多種對于科學(xué)論文的稱呼，如科技論文、科研論文、學(xué)術(shù)論文、科研文獻(xiàn)等，由于科研習(xí)慣和學(xué)者理解的不同，并未有多數(shù)研究糾結(jié)于此，本文將用“科學(xué)論文”一詞統(tǒng)稱?！禛B7713-87國家標(biāo)準(zhǔn)》中對學(xué)術(shù)論文的定義為“是某一學(xué)術(shù)課題在實(shí)驗(yàn)性、理論性或觀測性上具有新的科學(xué)研究成果或創(chuàng)新見解和知識的科學(xué)記錄；或是某種已知原理應(yīng)用于實(shí)際中取得新進(jìn)展的科學(xué)總結(jié)，用以提供學(xué)術(shù)會議上宣讀、交流或討論；或在學(xué)術(shù)刊物上發(fā)表；或作其他用途的書面文件”。

該定義主要體現(xiàn)了科學(xué)論文的四個特征，一是創(chuàng)新性，定義中提到了三個“新”字；二是科學(xué)性，如需從實(shí)驗(yàn)中獲得；三是應(yīng)用性，需要應(yīng)用于實(shí)踐；四是表現(xiàn)性，論文最終是用來進(jìn)行科學(xué)交流。該定義的四個特征充分體現(xiàn)了學(xué)者們在進(jìn)行科學(xué)活動過程中體現(xiàn)的兩件事，即解讀自然和解決實(shí)際問題[1]。創(chuàng)新性和科學(xué)性有利于人類理解自然現(xiàn)象，應(yīng)用性體現(xiàn)出人類解決實(shí)際問題的欲望。表現(xiàn)性集中體現(xiàn)了科學(xué)社會學(xué)家默頓的思想，認(rèn)為科學(xué)論文的意義在于其對科學(xué)知識的承載能力，它是科學(xué)知識的存儲和傳播方式，同時也代表了科學(xué)家在科學(xué)資源分配所處地位[2]，比如現(xiàn)今所說的數(shù)據(jù)可獲得性、科學(xué)地位等。其后的科學(xué)社會學(xué)家對科學(xué)論文有了更深入的解讀，認(rèn)為在新時代，科學(xué)論文的作用不再僅僅是科學(xué)交流的方式，從論文內(nèi)容的解讀和全社會知識的角度來看，科學(xué)論文更體現(xiàn)了社會中科學(xué)知識的積累[3]。

我們認(rèn)為，科學(xué)論文不僅是科學(xué)交流的工具，更是體現(xiàn)科學(xué)家們學(xué)術(shù)思想的文字表現(xiàn)，是科學(xué)家們在追求科學(xué)真理、解決實(shí)際問題過程中產(chǎn)生的文化和知識。那么評價(jià)科學(xué)論文的本質(zhì)是：評價(jià)科學(xué)論文帶來的文化和知識，包括這些文化和知識為何而來、如何而來、向何而去；評價(jià)對象是科學(xué)家們追求科學(xué)真理和解決實(shí)際問題的來源、過程、方法、技術(shù)、結(jié)果，甚至精神。

科學(xué)論文帶來的文化和知識“為何而來”指的是科學(xué)活動的目的，“如何而來”指的是科學(xué)活動的過程，這些文化和知識將帶來哪些學(xué)術(shù)價(jià)值(能否更好地理解自然)和應(yīng)用價(jià)值(能否更好地解決現(xiàn)實(shí)問題)，“向何而去”指的是利用科學(xué)活動能否帶來社會效應(yīng)(如經(jīng)濟(jì)價(jià)值和社會價(jià)值)。在科學(xué)界熱議的科學(xué)論文意義的議題下，帶來了科學(xué)活動應(yīng)該更回歸理性應(yīng)用還是更向往科學(xué)精神的爭議。索傳軍等認(rèn)為科學(xué)論文是科學(xué)交流的工具，其價(jià)值首先體現(xiàn)在其帶給學(xué)術(shù)界哪些價(jià)值，而后才是經(jīng)濟(jì)價(jià)值和社會價(jià)值[4]。而近些年國民科學(xué)素養(yǎng)問題的突現(xiàn)，讓學(xué)界意識到科學(xué)回歸現(xiàn)實(shí)生活的重要性，出現(xiàn)了“讓科學(xué)回歸生活”、“科學(xué)家應(yīng)放下身段”的聲音[5,6]，實(shí)質(zhì)上體現(xiàn)了科學(xué)活動應(yīng)具有社會價(jià)值和表現(xiàn)性的特征。

1.2 科學(xué)論文評價(jià)在科學(xué)評價(jià)中的位置

1.2.1 科學(xué)評價(jià)的概念 國外的科學(xué)評價(jià)在20世紀(jì)初在美國、法國、德國等國家啟動，我國在80年代開始實(shí)行科學(xué)技術(shù)體制改革，科學(xué)評價(jià)事業(yè)和科學(xué)評價(jià)研究才走進(jìn)人們的視野中。我國的科技人才、科技成果評價(jià)雖然時間較短，但卻經(jīng)歷過相當(dāng)豐富的路程，快速走過了行政評價(jià)、同行評價(jià)、指標(biāo)量化評價(jià)和國際科學(xué)計(jì)量評價(jià)四個階段[7]。其中，前兩者是典型的定性評價(jià)，后兩者被普遍認(rèn)為定量評價(jià)。定量評價(jià)中，各大高校和科研機(jī)構(gòu)將SCI論文的收錄數(shù)量、引用情況等數(shù)據(jù)作為衡量科研績效的指標(biāo)，產(chǎn)生了一些過猶不及的負(fù)面影響。國家政策下發(fā)后，各大高校正在陸續(xù)制定出臺新的政策。其中，西北工業(yè)大學(xué)與清華大學(xué)已經(jīng)制定并發(fā)布了新的科學(xué)評價(jià)標(biāo)準(zhǔn)，將改革之處體現(xiàn)在“突出師德考核”“加大教學(xué)業(yè)績考量”和“改變科研評價(jià)方式”等三個方面，代表作評價(jià)、分類評價(jià)、同行評審等新鮮的概念也出現(xiàn)在文件中[8]。南京大學(xué)呂建校長認(rèn)為新的評價(jià)方式應(yīng)該強(qiáng)調(diào)結(jié)果與過程相結(jié)合，用模式、機(jī)制、方法、效率、績效、層次等綜合評價(jià)人才[9]；大連理工大學(xué)郭東明校長認(rèn)為應(yīng)該從知識、時間、價(jià)值三個維度構(gòu)建新的科學(xué)評價(jià)體系，要考慮到學(xué)術(shù)成果差異性、成果與時間變化的差異性、不同價(jià)值角度的差異性三個方面[10]。事實(shí)上，國家政策和各高校領(lǐng)導(dǎo)提到了很多層面的科學(xué)評價(jià)內(nèi)容，包括了人才評價(jià)、成果評價(jià)、政策評價(jià)、評價(jià)體系建設(shè)，學(xué)者們常用的科學(xué)評價(jià)、學(xué)術(shù)評價(jià)、科技評價(jià)、科研評價(jià)這些概念表達(dá)的常常不是同一種意義，因此，厘清科學(xué)評價(jià)與科技評價(jià)、學(xué)術(shù)評價(jià)、科研評價(jià)等相關(guān)概念的關(guān)系，是明確科學(xué)論文評價(jià)研究的第一步。

上述稱呼的目標(biāo)均是為了合理擇優(yōu)分配公共資源[11]；看似相似，實(shí)則有異，評價(jià)對象不盡相同?，F(xiàn)代科學(xué)起源于西方，科學(xué)評價(jià)亦如此，各種稱呼在英文的表述中同樣有細(xì)微差別?？茖W(xué)評價(jià)(Scientific Evaluation)是國內(nèi)外最通用的說法，也是包含范圍最廣的說法，可以理解為對科學(xué)的評價(jià)、科學(xué)地評價(jià)兩種意義，對科學(xué)的評價(jià)指的是評價(jià)各類科學(xué)活動，包括政策評價(jià)、機(jī)構(gòu)評價(jià)、人才評價(jià)、期刊評價(jià)、論文評價(jià)等；科學(xué)地評價(jià)指的是建立科學(xué)評價(jià)體系的過程應(yīng)遵循科學(xué)原則，執(zhí)行科學(xué)評價(jià)過程應(yīng)遵守科學(xué)規(guī)定等[12]?？萍荚u價(jià)(Evaluation of Science and Technology)的稱呼在我國較為普遍，如期刊評價(jià)和企業(yè)評價(jià)被納入科技評價(jià)的范疇，在西方更多指的是科研項(xiàng)目、課題的評價(jià)[13]。學(xué)術(shù)評價(jià)(Academic Performance Evaluation)和科研評價(jià)(Scientific Research Evaluation)兩者較為相似，均重點(diǎn)指的是評價(jià)科學(xué)研究本身和科學(xué)研究人員，尤其是評價(jià)科研人員的科研表現(xiàn)(Research Performance Evaluation)[14]，而學(xué)術(shù)評價(jià)還常常表示評價(jià)學(xué)生的學(xué)年綜合表現(xiàn)[15]。

1.2.2 科學(xué)論文評價(jià)與其他相關(guān)概念的關(guān)系 無論是哪種稱呼的評價(jià)，從廣義上說，都是對人類的科學(xué)活動進(jìn)行評價(jià)，評價(jià)對象可以大到國家政策、小到數(shù)據(jù)單元，正如《措施》中特別指出的七類評價(jià)對象：研究課題、研究基地、科研單位、科研獎勵、人才、期刊、論文，把論文放在最后的位置，實(shí)際上是突出了科學(xué)論文評價(jià)是評價(jià)基礎(chǔ)層的地位?，F(xiàn)行的國內(nèi)外科學(xué)評價(jià)體系和資金分配制度里，上述七類評價(jià)對象是環(huán)環(huán)相扣的關(guān)系(如圖1)。

圖1 科學(xué)論文評價(jià)與其他相關(guān)概念的關(guān)系

總的來說，科學(xué)論文評價(jià)是所有其他評價(jià)的支撐，但期刊評價(jià)的結(jié)果也會直接影響對論文質(zhì)量的印象，人才評價(jià)的結(jié)果則會影響其論文質(zhì)量的口碑，而研究課題和研究基地一方面會促進(jìn)論文的形成，另一方面會影響讀者對論文作者的可信度；評價(jià)人才時，該人才的論文、課題、所發(fā)期刊級別都可能作為評價(jià)依據(jù)，人才評價(jià)的結(jié)果會直接關(guān)系到學(xué)科評價(jià)、科研單位、研究基地的評價(jià)結(jié)果，申報(bào)課題時又有可能依據(jù)人才評價(jià)的結(jié)果給予傾斜；評價(jià)期刊時，論文和期刊獲獎是重要內(nèi)容，同時，期刊的評價(jià)結(jié)果是評價(jià)其他五項(xiàng)內(nèi)容的重要指標(biāo)；科研獎勵評價(jià)與課題評審相似，均重點(diǎn)依賴于論文和期刊評價(jià)的結(jié)果，并影響其他評價(jià)過程；科研單位(如學(xué)科評估)和研究基地評價(jià)更依賴于底層評價(jià)的結(jié)果。因此，科學(xué)評價(jià)應(yīng)始于科研成果評價(jià)，更精細(xì)地說是科學(xué)論文評價(jià)，服務(wù)于科學(xué)技術(shù)政策制定。

2 科學(xué)論文評價(jià)的方式

2.1 定量評價(jià)方式

2.1.1 基于學(xué)術(shù)創(chuàng)新力的定量評價(jià)方法

a.基于學(xué)術(shù)全文本的學(xué)術(shù)創(chuàng)新力測評。科學(xué)論文的評價(jià)本質(zhì)之一是對論文內(nèi)容的評價(jià)，對全文本的內(nèi)容分析有助于理解論文的學(xué)術(shù)創(chuàng)新力[16]?；诳茖W(xué)論文全文的評價(jià)方式，指的是從全文中抽出具有創(chuàng)新研究的評價(jià)句，分析評價(jià)句的分布特征及規(guī)律，章成志等[17]提出了一種基于全文內(nèi)容的自動分類研究，利用算法構(gòu)建不同的分類模型，對科學(xué)論文中使用的研究方法進(jìn)行自動分類；周海晨等[18]也提出了一個自動識別模型，該模型基于深度學(xué)習(xí)與規(guī)則結(jié)合的學(xué)術(shù)創(chuàng)新貢獻(xiàn)識別方法，從學(xué)術(shù)全文本中自動識別并抽取出能夠體現(xiàn)學(xué)術(shù)創(chuàng)新與貢獻(xiàn)的價(jià)值點(diǎn)，為科學(xué)評價(jià)提供方法支撐。

b.基于知識元的學(xué)術(shù)創(chuàng)新力測評?？茖W(xué)論文是傳播知識的交流方式，其承載內(nèi)容是科學(xué)知識流。如果把科學(xué)知識流拆分成知識段、知識元，那科學(xué)論文評價(jià)就可以從這些細(xì)粒度入手。同樣是對論文內(nèi)容進(jìn)行評價(jià)，楊京等[19]提出一種基于研究水平的單篇科學(xué)論文創(chuàng)新力評價(jià)方法。他們選擇從論文中抽取具有研究水平的句子，通過構(gòu)建正則表達(dá)式從這些句子中抽取能夠代表單篇科學(xué)論文價(jià)值的數(shù)值信息，再通過這些數(shù)值信息判斷科學(xué)論文的創(chuàng)新力。他們認(rèn)為科學(xué)論文的研究主題與其期刊影響因子和Altmetrics指標(biāo)應(yīng)該合并，設(shè)計(jì)了Keygraph算法提取代表論文研究主題的關(guān)鍵詞，并計(jì)算論文研究主題與科研前沿主題的相似度，進(jìn)行綜合評價(jià)[20]。李賀等[21]雖然也將評價(jià)角度定位于科學(xué)論文的內(nèi)容層面，但與其他學(xué)者對全文內(nèi)容進(jìn)行評價(jià)有所不同，他們深入至知識元這一科學(xué)論文的組成單元，利用知識元理論和機(jī)器學(xué)習(xí)的方式從論文細(xì)節(jié)角度對科學(xué)論文的創(chuàng)新性進(jìn)行研究。

2.1.2 基于學(xué)術(shù)影響力的定量評價(jià)方法 科學(xué)評價(jià)學(xué)術(shù)影響力的方法重心落在計(jì)量學(xué)測度上，尤其是以利用近年興起的Altmetrics指標(biāo)與多維度分析結(jié)合的方法為主[22-23]，盡管學(xué)者們嘗試從不同維度來測度計(jì)量指標(biāo)，如科學(xué)交流過程、文化資本、異質(zhì)時間等角度評價(jià)論文學(xué)術(shù)影響力[24-25]，比如耿樹青等[26]在發(fā)現(xiàn)被引次數(shù)會忽視引用內(nèi)容的差異性后，提出了引用情感的評價(jià)方法，通過確定引用情感的權(quán)重，結(jié)合被引頻次，提出了一種基于“被引次數(shù)——引用情感”的綜合指標(biāo)，但根本上還是基于引用頻次和基于使用頻次的方法。

a.基于引用頻次的學(xué)術(shù)影響力測評。引用頻次是用來測量被引成果的影響或質(zhì)量的主要指標(biāo)，也是界定論文質(zhì)量的主要角度[27]。通常情況下，人們會認(rèn)為一篇文章被引量高，文章價(jià)值就高。引用頻次被過度使用后，不少學(xué)者嘗試修正引用指標(biāo)來降低引用頻次這種純量化指標(biāo)的不良影響。比如對論文不同時間的被引頻次賦予不同權(quán)重并對其加權(quán)，同時結(jié)合論文期刊的影響力指標(biāo)，提出了評價(jià)論文學(xué)術(shù)影響力的新指標(biāo)，減少了被引時間的異質(zhì)性對科學(xué)論文影響力的影響[28]。Waltman等[29]對同行評議的結(jié)果和引用頻次間的關(guān)系做過實(shí)證研究，證明了引用頻次在文獻(xiàn)評價(jià)中的價(jià)值。雖然高被引論文相較于其他論文可能具有更高的價(jià)值，但這并不代表與之相反的零被引論文就沒有潛力[30]。此外，一篇科學(xué)論文的引用頻次涉及到其他對象的質(zhì)量評價(jià)特征，比如在計(jì)算期刊影響因子時，雖然涉及了論文被引頻次這一指標(biāo)，但因此就將評價(jià)期刊的影響因子用來評價(jià)單篇論文有失偏頗[31]。同理，期刊影響因子的高低并不代表其所刊載的論文質(zhì)量高低，期刊影響因子與刊載的每篇論文的被引量間沒有正相關(guān)關(guān)系[32]。因此，單獨(dú)使用引用頻次指標(biāo)進(jìn)行評價(jià)存在不合理性，對其的改進(jìn)與完善也是科研學(xué)者一直在研究的方向。

b.基于使用頻次的學(xué)術(shù)影響力測評。作為新興的科學(xué)影響力計(jì)量方法，Altmetrics的出現(xiàn)緩解了基于引用指標(biāo)的傳統(tǒng)科學(xué)評價(jià)體系在自媒體時代遭遇的尷尬處境。Haustein等[33]指出，當(dāng)前社交媒體活動產(chǎn)生的數(shù)據(jù)可以產(chǎn)生廣泛的影響，將以Twitter為首的社交媒體平臺收集到的數(shù)據(jù)作為新的指標(biāo)與傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)進(jìn)行結(jié)合，可以在當(dāng)前信息技術(shù)發(fā)展的情況下更全面科學(xué)地對科學(xué)知識做出評價(jià)。翟珊珊等[34]在現(xiàn)有的評價(jià)指標(biāo)之上提出了將Altmetrics與引文分析相融合的評價(jià)方式對數(shù)據(jù)論文進(jìn)行評價(jià)，并提出了結(jié)合論文被引對象頻次、當(dāng)年影響因子和下載量的評價(jià)模型，為數(shù)據(jù)論文這一新型學(xué)術(shù)資源的評價(jià)提供了思路；有學(xué)者分析了科學(xué)論文的社交媒體指標(biāo)及引文指標(biāo)的相關(guān)性，提出了次生影響力系數(shù)，對科學(xué)論文的次生影響力進(jìn)行測度[35]。但是，Altmetrics作為傳統(tǒng)計(jì)量方式的一種補(bǔ)充，其概念的提出基于傳統(tǒng)計(jì)量的知識，因此存在著內(nèi)涵不夠清晰，概念缺乏獨(dú)立的缺陷。其次，以人文學(xué)科為例，該學(xué)科的研究成果半衰期普遍較長，Altmetrics的實(shí)際覆蓋率較低。再次，Altmetrics是一組指標(biāo)的統(tǒng)稱，包含了不同性質(zhì)的單個指標(biāo)，Altmetrics還具有異質(zhì)性[36]。因此，即使Altmetrics提供了很多適應(yīng)新環(huán)境的指標(biāo)，在實(shí)際應(yīng)用中還是面臨著許多挑戰(zhàn)。

2.1.3 數(shù)據(jù)密集型的定量評價(jià)方法

a.基于網(wǎng)絡(luò)測度的論文重要性分析。網(wǎng)絡(luò)分析中的一些指標(biāo)可被用來測量網(wǎng)絡(luò)中節(jié)點(diǎn)的重要性，合著網(wǎng)絡(luò)、引文網(wǎng)絡(luò)、社交網(wǎng)絡(luò)等就是將科學(xué)論文作為網(wǎng)絡(luò)節(jié)點(diǎn)，來觀察科學(xué)的發(fā)展，同時也利用量化指標(biāo)觀察單篇論文在網(wǎng)絡(luò)中的地位。比如巴拉巴西等人通過構(gòu)建Nature期刊的共被引網(wǎng)絡(luò)，發(fā)現(xiàn)了具有重大發(fā)現(xiàn)的論文與其他論文的聚集效果的不同，有些論文只與本領(lǐng)域內(nèi)知識聚集，有些則與更多的科學(xué)相關(guān)[37]，從而判斷目標(biāo)論文的重要程度和分布。又如利用中介中心性和結(jié)構(gòu)洞約束系數(shù)等指標(biāo)可以觀察某節(jié)點(diǎn)在網(wǎng)絡(luò)中知識流量控制能力來判斷節(jié)點(diǎn)的重要性[38]。另外，借用一些科學(xué)知識圖譜工具可以繪制出反映科學(xué)網(wǎng)絡(luò)結(jié)構(gòu)及其演化的知識圖譜，解讀圖譜得到特定文獻(xiàn)的學(xué)科領(lǐng)域貢獻(xiàn)度。利用科學(xué)知識圖譜來評價(jià)學(xué)科發(fā)展、判斷重要文獻(xiàn)的這一方法，現(xiàn)在不僅僅只在圖情學(xué)科中，更多其他的學(xué)科領(lǐng)域在應(yīng)用科學(xué)知識圖譜，其應(yīng)用覆蓋面遠(yuǎn)多于圖情學(xué)科之預(yù)想[39]。

b.基于認(rèn)知計(jì)算的定量指標(biāo)綜合評價(jià)。認(rèn)知計(jì)算是一項(xiàng)使人類能夠和機(jī)器合作的方式，借助認(rèn)知科學(xué)與人工智能的理論與算法，模擬人的客觀認(rèn)知和心理認(rèn)知過程，使其具備“類腦”的認(rèn)知智能。索傳軍等[40]將認(rèn)知計(jì)算引入科學(xué)評價(jià)時提到，“基于認(rèn)知計(jì)算的學(xué)術(shù)論文評價(jià)需要針對學(xué)術(shù)論文自身特征，以及論文評價(jià)本質(zhì)，基于語料庫、知識庫和相關(guān)數(shù)據(jù)集，利用自然語言處理、大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)等新技術(shù)，構(gòu)建學(xué)術(shù)論文認(rèn)知計(jì)算系統(tǒng)”。將認(rèn)知計(jì)算的思想和方法引入單篇論文的評價(jià)，本質(zhì)上是將評價(jià)方式帶到了文本語義化的層面，是利用大數(shù)據(jù)思維對科學(xué)論文的評價(jià)方法進(jìn)行完善。

2.2定性評價(jià)方式同行評議(Peer Review)是國際學(xué)術(shù)界中最通用評價(jià)手段，也是評價(jià)科學(xué)論文的基本方法。2002年頒布的《國家自然科學(xué)基金項(xiàng)目管理規(guī)定(試行)》中將同行評議定義為“同行評議專家對申請項(xiàng)目的創(chuàng)新性、研究價(jià)值、研究目標(biāo)、研究方案做出獨(dú)立的判斷和評價(jià)”[41]，可以說同行評議是最理想最被認(rèn)可的方法。隨著科學(xué)的發(fā)展以及人們對科學(xué)知識領(lǐng)域的探索，同行評議逐漸成為了科學(xué)評價(jià)的首選方法。根據(jù)葉繼元[42]所言，一個完整合理的同行評議體系由評價(jià)主體、評價(jià)客體、評價(jià)目的、評價(jià)方法、評價(jià)標(biāo)準(zhǔn)及指標(biāo)和評價(jià)制度六大要素組成。在過去幾十年不斷的發(fā)展中，我國的同行評議也形成了一套基本的制度。同行評議可以分為以下幾種主要形式。第一是匿名制，匿名制主要涉及單盲評審和雙盲評審。單盲評審指作者姓名對審稿人公開，但審稿人姓名不對作者公開；雙盲評審指作者姓名和審稿人姓名互不公開。我國現(xiàn)行的科學(xué)基金評審更多使用雙盲評審，論文評審則是不同期刊不同做法。第二是專家評審，即選取少數(shù)同行“專家”進(jìn)行評審，并假定這些專家的評議標(biāo)準(zhǔn)和結(jié)果近似于整個行業(yè)的整體看法。第三種是評議人表決制，這一制度的結(jié)果取決于評審專家的意見對比，是民主制度的體現(xiàn)。通常情況下會出現(xiàn)意見分歧，最終的結(jié)果取決于支持者和反對者的數(shù)量對比[43]。

雖然不同國家會因?yàn)闅v史背景、學(xué)術(shù)發(fā)展?fàn)顩r、學(xué)術(shù)制度等差異導(dǎo)致在進(jìn)行科學(xué)評價(jià)時對評價(jià)的目標(biāo)、主體和量化方式都存在不同，但是同行評議依舊是各國在進(jìn)行定性科學(xué)評價(jià)時的重要手段。國外同行評議在發(fā)展過程中產(chǎn)生的與國內(nèi)同行評議最大的差別在于，政府部門及第三方機(jī)構(gòu)參與評議過程。例如，瑞典斯德哥爾摩環(huán)境研究所在2013年的時候建立了研究評估系統(tǒng)，該評估系統(tǒng)能夠?qū)崿F(xiàn)對機(jī)構(gòu)研究成果質(zhì)量及影響的系統(tǒng)化評估[44]，這種評議方式很大程度上提高了評議的客觀性和公正性。美國的科研評估機(jī)構(gòu)分為國家政府層面和社會學(xué)術(shù)團(tuán)體兩個層次。國家層面涉及如美國國會技術(shù)評價(jià)辦公室等部門，由美國政府出資，對項(xiàng)目進(jìn)行各個環(huán)節(jié)的評估，為國會的預(yù)算安排提供參考；社會團(tuán)體層面則以美國科學(xué)管理開放咨詢公司、國家科學(xué)理事會等為代表，即構(gòu)建第三方評價(jià)機(jī)構(gòu)，以獨(dú)立機(jī)構(gòu)的形式出資與評價(jià)[45]。此外，國外的同行評議將定性分析與定量分析相結(jié)合，加強(qiáng)評議專家數(shù)據(jù)庫，從根本上拒絕外行評內(nèi)行的現(xiàn)象。綜合來看，國外學(xué)術(shù)領(lǐng)域?qū)ν性u議的研究正在從傳統(tǒng)的對評價(jià)的可靠性、質(zhì)量、公正和道德倫理等問題轉(zhuǎn)向如何充分利用定量技術(shù)和計(jì)量指標(biāo)，公平公正、開放有效地進(jìn)行評議，使得同行評議在數(shù)字時代發(fā)展的幫助下扮演更積極、有效、公正的角色。

然而，同行評議使用頻率較高，其自身存在的諸多爭議使得在同行評議后的評價(jià)結(jié)果并不能為學(xué)界所有人信服。第一，同行評議缺乏客觀性與公正性，評價(jià)結(jié)果極易受到個人因素的影響，造成了評審專家在遇到和自己觀點(diǎn)不同的文章時不自主地帶入主觀色彩，可能在學(xué)術(shù)交流中產(chǎn)生排他性[46]。此外，一些評議者可能會因?yàn)槔鏇_突給出不公正的評價(jià)，或者故意拖延評議時間，使得科研成果不能夠及時發(fā)表[47]。同行評議還面臨道德挑戰(zhàn)，如出現(xiàn)過評議者剽竊作者的觀點(diǎn)和成果的情況。這種競爭關(guān)系也使得同行評議的公正性受到質(zhì)疑；第二，同行評議常常會耗費(fèi)大量的經(jīng)費(fèi)和評議者的精力；第三，當(dāng)前學(xué)者雖然從不同的角度定義了各種定性評價(jià)的標(biāo)準(zhǔn)，但在同行評議時，至今為止并沒有一個標(biāo)準(zhǔn)是為學(xué)界通用的。不統(tǒng)一的評價(jià)標(biāo)準(zhǔn)使得評議專家對評價(jià)的“度”難以掌握[48]。因此，模糊的評議標(biāo)準(zhǔn)成為同行評價(jià)的爭論點(diǎn)。同行評議雖然是當(dāng)前科學(xué)評價(jià)最常用的評價(jià)方式，但是其存在的多方面問題使其不能成為科學(xué)評價(jià)的唯一手段。

3 科學(xué)論文評價(jià)方式的制度與體系研究

科學(xué)論文評價(jià)的實(shí)施過程由來已久，近年來引發(fā)的討論源于新時代我國科技體制改革，代表作制度的實(shí)施和盛行牽動了整體科學(xué)評價(jià)體制的變遷，依上文分析，作為科學(xué)評價(jià)的基層內(nèi)容，同時科學(xué)論文又是最常用的代表作類型，科學(xué)論文評價(jià)是典型的代表作評價(jià)。我國最早在20世紀(jì)90年代提出代表作制度，早年除了一些借鑒性研究，如借鑒英國、德國、澳大利亞的高?？蒲性u價(jià)體系外[49]，曾引起過代表作制度必要性的爭議，有認(rèn)為我國學(xué)界應(yīng)立即建立健全代表作評價(jià)制度[50]，已經(jīng)有支持者將代表作制度的實(shí)施可行性落地到高校教師科研評價(jià)、職稱晉升、自然科學(xué)獎評審的分析上[51-54]；亦有認(rèn)為代表作評價(jià)不可作為唯一主導(dǎo)手段[55]；還有持代表作評價(jià)較難實(shí)施的觀點(diǎn)[56]。這就帶來了代表作制度實(shí)現(xiàn)機(jī)制與實(shí)施方式研究。學(xué)者們從宏觀、中觀、微觀各視角構(gòu)建了代表作評價(jià)體系，研究建議宏觀上應(yīng)建立健全代表作評價(jià)的配套改革體制、學(xué)術(shù)申訴和監(jiān)督機(jī)制、專家遴選機(jī)制等，中觀上應(yīng)把握評價(jià)方法與評價(jià)維度的傳承與創(chuàng)新，尤其是傳統(tǒng)計(jì)量學(xué)方法和同行評議的結(jié)合，微觀上應(yīng)該研究代表作的內(nèi)部特征、評價(jià)指標(biāo)的選取、權(quán)重的計(jì)算等[57-59]。

代表作評價(jià)時代勢必要厘清定量評價(jià)與定性評價(jià)的關(guān)系[60]，認(rèn)清同行評議制度、引文行為的本質(zhì)[61]，葉繼元明確表示科學(xué)評價(jià)實(shí)踐應(yīng)重返同行評議制度[62]，還有學(xué)者對比了國際科學(xué)評價(jià)實(shí)踐與中國場景的現(xiàn)實(shí)后，認(rèn)為科學(xué)評價(jià)中結(jié)合科學(xué)計(jì)量與同行評議才是可行之道[63,64]。在科學(xué)評價(jià)體系設(shè)計(jì)的層面上，首先是要有科學(xué)性和先進(jìn)性。其次，需要能系統(tǒng)地反映被評價(jià)對象的綜合情況，即需要有整體性。再次，所設(shè)計(jì)的指標(biāo)需要具有可操作性。設(shè)計(jì)的指標(biāo)需要有層次性，并且盡量避免存在明顯的包含關(guān)系。除此之外，體系評價(jià)應(yīng)該更要注意綜合性，即需要將定性分析與定量分析相結(jié)合，使得評價(jià)更具可信度[65]。一些國外的評價(jià)體系認(rèn)為學(xué)科性質(zhì)的不同導(dǎo)致了評價(jià)體系應(yīng)分學(xué)科設(shè)計(jì)，注重構(gòu)建多維價(jià)值主導(dǎo)的評價(jià)準(zhǔn)則體系。同時也注重根據(jù)不同的學(xué)科采用適合特定學(xué)科的評價(jià)標(biāo)準(zhǔn)。最后，科學(xué)評價(jià)應(yīng)該要重視科研產(chǎn)出，不僅要關(guān)注研究成果的數(shù)量、質(zhì)量和對學(xué)科領(lǐng)域的長遠(yuǎn)影響，也要關(guān)注研究成果所產(chǎn)生的社會效應(yīng)和經(jīng)濟(jì)價(jià)值，實(shí)現(xiàn)科研成果的高效利用[66]。整體來看，科學(xué)評價(jià)政策的制定將向著多層面、多維度、多指標(biāo)、多變量的綜合評價(jià)設(shè)計(jì)的方向發(fā)展[67,68]。

科學(xué)論文評價(jià)在經(jīng)歷了定量分析與定性分析的時期后，現(xiàn)在逐漸轉(zhuǎn)向定量與定性分析相結(jié)合的評價(jià)方式。對于單篇科學(xué)論文而言，本質(zhì)上，其科學(xué)價(jià)值體現(xiàn)應(yīng)在論文內(nèi)容本身，我們應(yīng)該根據(jù)科學(xué)論文的內(nèi)容所涉及的創(chuàng)新性、重要性、應(yīng)用性、表現(xiàn)性來判定文章的價(jià)值。因此，今后的科學(xué)論文評價(jià)應(yīng)從這些方面綜合入手，尤其是趨向于對文本內(nèi)容的評價(jià)，通過對內(nèi)容的分析與計(jì)量指標(biāo)的結(jié)合，可以實(shí)現(xiàn)從定性到定量，定量中包含定性特點(diǎn)的科學(xué)論文評價(jià)方式，這也符合代表作評價(jià)作為今后主要評價(jià)方式的趨勢的理念。