俞立平 張?jiān)俳?肖成華

(1.浙江工商大學(xué) 統(tǒng)計(jì)與數(shù)學(xué)學(xué)院 杭州 310018;2.貴州財(cái)經(jīng)大學(xué) 貴州綠色發(fā)展戰(zhàn)略高端智庫(kù) 貴陽(yáng) 550025;3.上海浦東發(fā)展銀行股份有限公司 寧波分行 寧波 315000)

Research on the Limitation, Essence and Dialectical Application of "Evaluating Papers by Journals"

Yu Liping1,2Zhang Zaijie2Xiao Chenghua3

(1.School of Statistics and Mathematics, Zhejiang Gongshang University, Hangzhou 310018; 2.Guizhou Green Development Strategy High End Think Tank, Guizhou University of Finance and Economics, Guiyang 550025; 3.Ningbo Branch, Shanghai Pudong Development Bank, Ningbo 315000)

Abstract:[Purpose/Significance]The phenomenon of "Evaluating papers by journals" has been rooted in China's scientific and technological evaluation for a long time, it is of great significance to study its limitations and essence and to treat it objectively under the background of breaking away from the "four only" and returning to the origin of scientific research.[Method/Process]Based on the analysis of the existing problems and the causes of "Evaluating papers by journals", this paper establishes the user portraits of journal level and research level, demonstrates the essence of it and establishes the comparative framework of paper evaluation. This paper also discusses the comparison of small-sample papers, large-sample papers of the same level, small-sample and large-sample papers of the same level and cross level comparison of large-sample papers.[Result/Conclusion]The results show that the average quality of the journals of the papers can represent the author's level in the case of large-sample. The evaluation of institutions should be based mainly on the evaluation of journals and supplemented by peer review. The personnel evaluation should be based mainly on peer review and supplemented by journal review. "Evaluating papers by journals" could evaluate the scale of scientific research, while the representative evaluation can only evaluate the quality of scientific research.

Keywords: valuating papers by journals； academic evaluation； peer review； bibliometrics

0 引 言

科研研究的本源屬性是學(xué)術(shù)創(chuàng)新和科研質(zhì)量，科技評(píng)價(jià)工作應(yīng)突出這種導(dǎo)向。學(xué)術(shù)創(chuàng)新與科研質(zhì)量緊密關(guān)聯(lián)，創(chuàng)新是科研質(zhì)量的靈魂，從具體表現(xiàn)形勢(shì)看，科研質(zhì)量較高意味著原創(chuàng)性強(qiáng)、具有較大的經(jīng)濟(jì)和社會(huì)效益，或者取得重要的基礎(chǔ)研究突破。近兩年來(lái)，國(guó)家相關(guān)部門(mén)密集出臺(tái)了一系列文件，以凈化科研空氣，規(guī)范學(xué)術(shù)評(píng)價(jià)行為。2018年7月，兩辦印發(fā)《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見(jiàn)》，推行代表作評(píng)價(jià)制度，明確突出品德、能力、業(yè)績(jī)導(dǎo)向，克服“四唯”傾向，注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)、影響。2018年10月，科技部、教育部等5部門(mén)聯(lián)合發(fā)布《關(guān)于開(kāi)展清理“唯論文、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知》，要求開(kāi)展清理“四唯”專項(xiàng)行動(dòng)。2020年2月，教育部、科技部發(fā)布《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用 樹(shù)立正確評(píng)價(jià)導(dǎo)向的若干意見(jiàn)》的通知，提出破除論文“SCI至上”，探索建立科學(xué)的評(píng)價(jià)體系，營(yíng)造高校良好創(chuàng)新環(huán)境。2020年2月科技部印發(fā)《關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》的通知，強(qiáng)調(diào)采用代表作進(jìn)行評(píng)價(jià)。

長(zhǎng)期以來(lái)“以刊評(píng)文”現(xiàn)象飽受詬病。所謂“以刊評(píng)文”，就是指在人才評(píng)價(jià)和機(jī)構(gòu)評(píng)價(jià)等過(guò)程中，簡(jiǎn)單采用論文發(fā)表期刊的級(jí)別和數(shù)量來(lái)判斷被評(píng)價(jià)對(duì)象的研究水平和貢獻(xiàn)，而根本不注重論文研究?jī)?nèi)容和質(zhì)量的一種現(xiàn)象。這種情況20世紀(jì)90年代開(kāi)始萌芽，隨著核心期刊的產(chǎn)生和應(yīng)用日益嚴(yán)重，尤其是進(jìn)入21世紀(jì)以來(lái)，已經(jīng)成為一種采用非常廣泛的評(píng)價(jià)行為，對(duì)學(xué)術(shù)評(píng)價(jià)產(chǎn)生了深遠(yuǎn)的影響，其實(shí)“以刊評(píng)文”只是“唯論文”的工具，因其簡(jiǎn)單易行而被廣泛采用，又因其不具備微觀精細(xì)評(píng)價(jià)每篇論文的功能而遭詬病。

對(duì)“以刊評(píng)文”的問(wèn)題和局限進(jìn)行分析，探討“以刊評(píng)文”的本質(zhì)，用辯證的觀點(diǎn)來(lái)評(píng)價(jià)“以刊評(píng)文”具有重要意義。第一，分析“以刊評(píng)文”的問(wèn)題和局限，對(duì)其生存土壤和環(huán)境進(jìn)行分析，有利于進(jìn)行改進(jìn)，從而進(jìn)一步提高科技評(píng)價(jià)工作的質(zhì)量；第二，分析“以刊評(píng)文“的本質(zhì)，有利于豐富文獻(xiàn)計(jì)量學(xué)與科學(xué)計(jì)量學(xué)理論；第三，辯證對(duì)待”以刊評(píng)文“，將其與代表作制度和同行評(píng)議緊密結(jié)合，可以進(jìn)一步完善我國(guó)的科技評(píng)價(jià)工作，降低評(píng)價(jià)成本，提高評(píng)價(jià)效率，保證評(píng)價(jià)公平，提高評(píng)價(jià)質(zhì)量。

對(duì)“以刊評(píng)文”的看法，一些研究對(duì)其總體上持否定態(tài)度。周興旺[1]指出在科技評(píng)價(jià)中，由刊物影響力的高低來(lái)推斷論文影響力的高低，把期刊影響力等同于論文影響力，這種推理在邏輯上是有問(wèn)題的。梁帥、高繼平[2]提出論文質(zhì)量的評(píng)價(jià)主要基于論文的被引頻次和發(fā)表期刊共兩種方式，被引頻次統(tǒng)計(jì)的滯后性和“以刊評(píng)文”的片面性，都影響了單篇論文質(zhì)量評(píng)價(jià)中的科學(xué)性和準(zhǔn)確性。曹駿、宋麗萍[3]總結(jié)了“以刊評(píng)文”存在的問(wèn)題，包括 “重外在、輕內(nèi)在”，有違確定核心期刊的初衷；核心期刊不是優(yōu)秀論文?？?，不能保證刊出的每篇文章都是精品；核心期刊是動(dòng)態(tài)概念，時(shí)效上的不一致性增大了操作的困難。林娜[4]認(rèn)為“以刊評(píng)文”實(shí)際上是一種“懶惰行為”，評(píng)價(jià)雖然變得簡(jiǎn)單易行，但結(jié)果卻是評(píng)價(jià)的錯(cuò)位，由對(duì)論文學(xué)術(shù)價(jià)值的判斷演變?yōu)閷?duì)論文出身的追究。袁培國(guó)[5]提出以期刊評(píng)價(jià)替代論文評(píng)價(jià)，更加劇了期刊評(píng)價(jià)的難度和對(duì)期刊編輯不應(yīng)有的壓力。周楊[6]認(rèn)為當(dāng)“以刊評(píng)文”作為行政權(quán)力部門(mén)分配學(xué)術(shù)資源和利益的重要一環(huán)時(shí)，其作為學(xué)術(shù)評(píng)工具的功能異化所帶來(lái)的負(fù)面影響就進(jìn)一步放大了。

還有一些研究認(rèn)為“以刊評(píng)文”有一定的合理因素。Gibson et al.[7]指出國(guó)際上在本學(xué)科高排名的期刊上發(fā)表文章，對(duì)學(xué)者學(xué)術(shù)聲望的提升、職位的晉升和薪資的增長(zhǎng)同樣有著重要作用。程郁綴、劉曙光[8]認(rèn)為有關(guān)期刊管理部門(mén)推行的現(xiàn)行期刊評(píng)價(jià)體系，包括有關(guān)高校、科研單位采用的“以刊評(píng)文”的做法，既有其合理的一面，也有其不合理的一面。程偉、劉海峰[9]認(rèn)為高校決定刊物級(jí)別的主要因素是刊物質(zhì)量，高?！耙钥u(píng)文”的方式有其合理性。

關(guān)于“以刊評(píng)文”現(xiàn)象的改進(jìn)，學(xué)術(shù)界也進(jìn)行了一些探索。劉慶昌[10]指出高校和研究機(jī)構(gòu)也許難以擺脫 “以刊評(píng)文”的局面，但必須對(duì)個(gè)別研究者的申訴進(jìn)行專業(yè)的、謹(jǐn)慎的處理。鄭美鶯、梁飛豹等[11]借鑒Google網(wǎng)頁(yè)排名的Page Rank算法，采用數(shù)理統(tǒng)計(jì)研究方法，提出單篇論文的Paper Rank算法，用此方法可以克服傳統(tǒng)引文分析中“以刊評(píng)文”所存在的缺陷。邱香華、韓云波[12]提出為避免走入“以刊評(píng)文”的誤區(qū)，選取論文下載量、SCI 分區(qū)、影響因子、學(xué)術(shù)影響力等四個(gè)指標(biāo)，建立模糊綜合評(píng)判模型，實(shí)現(xiàn)SCI期刊論文的可量化評(píng)價(jià)。李頻[12]認(rèn)為“以刊評(píng)文”的媒介基礎(chǔ)是期刊與論文的同步傳播，數(shù)據(jù)庫(kù)傳播形態(tài)否定了“以刊評(píng)文”的媒介基礎(chǔ)，未來(lái)的期刊評(píng)價(jià)應(yīng)該“以文評(píng)刊”，廢除“以刊評(píng)文”。黃筱玲、吳星溪[13]分析了現(xiàn)行學(xué)術(shù)評(píng)價(jià)機(jī)制中“以刊評(píng)文”的困境，提出完善學(xué)術(shù)評(píng)價(jià)制度的新向度，即改變“以刊評(píng)文”，建立“以文評(píng)文”的評(píng)價(jià)機(jī)制。

從現(xiàn)有的研究看，關(guān)于“以刊評(píng)文”的局限和問(wèn)題，學(xué)術(shù)界總體上持否定態(tài)度，但也有部分學(xué)者認(rèn)為這種現(xiàn)象有一定的合理性。關(guān)于“以刊評(píng)文”的改進(jìn)，學(xué)術(shù)界從完善評(píng)價(jià)機(jī)制、改進(jìn)評(píng)價(jià)技術(shù)、推廣“以文評(píng)文”等方面提出了一些建議，總體上在以下方面有待深化：

第一，“以刊評(píng)文”的本質(zhì)特征是什么，或者“以刊評(píng)文”的理論依據(jù)是什么，這是要首先分析的問(wèn)題。如果其沒(méi)有一定的理論基礎(chǔ)，是不可能造成如此廣泛的影響的。

第二，對(duì)“以刊評(píng)文”存在的問(wèn)題，應(yīng)全面系統(tǒng)動(dòng)態(tài)地進(jìn)行分析，改進(jìn)“以刊評(píng)文”的一些措施，也要分析其可能產(chǎn)生的新的問(wèn)題，同時(shí)要分析這些政策措施是否方便操作。

第三，對(duì)“以刊評(píng)文”的態(tài)度，應(yīng)該采取系統(tǒng)的和辯證的思維，客觀分析其不足和可借鑒之處。

1 以刊評(píng)文的問(wèn)題分析

1.1以刊評(píng)文的局限

1.1.1 “以刊評(píng)文”與“唯論文”有相通之處 “以刊評(píng)文”是“唯論文”現(xiàn)象的一種重要體現(xiàn)，兩者的共同點(diǎn)是只看論文發(fā)表的期刊和論文數(shù)量，而不看論文的內(nèi)容，不看論文質(zhì)量以及產(chǎn)生的社會(huì)應(yīng)用，從而導(dǎo)致只追求論文數(shù)量和期刊級(jí)別，甚至產(chǎn)生大量的學(xué)術(shù)造假和學(xué)術(shù)不端現(xiàn)象，這樣就弱化了科技活動(dòng)本身，論文就異化為追求個(gè)人利益的工具?！耙钥u(píng)文”、不論論文質(zhì)量的評(píng)估方式，導(dǎo)致一部分研究者成為了論文制造機(jī)器，想盡一切辦法在這些期刊上發(fā)文，由此產(chǎn)生了大量學(xué)術(shù)不端行為[15]。

1.1.2 造成科技評(píng)價(jià)簡(jiǎn)單化 “以刊評(píng)文”在橫向上視同一期刊發(fā)表的所有論文質(zhì)量上無(wú)差異，在縱向上視期刊的過(guò)去與現(xiàn)時(shí)無(wú)差異，這種在縱橫兩個(gè)方向上的簡(jiǎn)單化有可能使論文評(píng)價(jià)和期刊評(píng)價(jià)同時(shí)陷入荒謬的境地，終將使學(xué)術(shù)評(píng)價(jià)走入死胡同[16]。其實(shí)文獻(xiàn)計(jì)量學(xué)和科學(xué)計(jì)量學(xué)發(fā)展很快，已經(jīng)涌現(xiàn)出許多不錯(cuò)的評(píng)價(jià)指標(biāo)，如h指數(shù)家族、特征因子、z指數(shù)等等，大大降低了“以刊評(píng)文”的負(fù)面效應(yīng)，并且已經(jīng)有不少文獻(xiàn)計(jì)量學(xué)與科學(xué)計(jì)量學(xué)的最新研究開(kāi)始關(guān)注論文質(zhì)量的評(píng)價(jià)問(wèn)題。但“以刊評(píng)文”一旦形成某種傳統(tǒng)和思維定勢(shì)，就會(huì)對(duì)文獻(xiàn)計(jì)量學(xué)與科學(xué)計(jì)量學(xué)的發(fā)展形成阻礙，以簡(jiǎn)單化的方法來(lái)操作科技評(píng)價(jià)。

1.1.3 不利于學(xué)術(shù)期刊良性發(fā)展 第一，“以刊評(píng)文”強(qiáng)化了核心期刊的地位和作用，容易使核心期刊受到更多的干擾，關(guān)系稿、人情稿現(xiàn)象會(huì)有所上升。第二，分散學(xué)術(shù)期刊的注意力，一方面要保證辦刊質(zhì)量，另一方面還要將注意力放在提高期刊影響因子，以保住核心期刊地位，這樣就會(huì)弱化期刊的學(xué)術(shù)功能。第三，學(xué)術(shù)期刊可能會(huì)操縱影響因子，產(chǎn)生不正當(dāng)引用。第四，學(xué)術(shù)期刊為了提高影響因子，不得已降低載文量，以減小影響因子計(jì)算的分母，從而降低了學(xué)術(shù)期刊的知識(shí)和信息量[17]。

1.1.4 論文的大量外流 應(yīng)該說(shuō)，“以刊評(píng)文”不是論文大量外流的主要原因，畢竟國(guó)內(nèi)高水平SCI期刊數(shù)量太少，自然科學(xué)論文發(fā)表的載體不足。由于自然科學(xué)的優(yōu)秀論文主要發(fā)表在SCI期刊上，這樣高級(jí)別的SCI期刊就成為考核科研水平的一項(xiàng)重要指標(biāo)，國(guó)內(nèi)學(xué)者會(huì)將優(yōu)秀論文首先投稿到國(guó)外高級(jí)別SCI期刊，這就是“以刊評(píng)文”得以滋生的溫床。

1.2“以刊評(píng)文”產(chǎn)生的原因

1.2.1 同行評(píng)議制度有待完善 如果不“以刊評(píng)文”，那么評(píng)價(jià)方法之一就是采用同行評(píng)議進(jìn)行評(píng)價(jià)，評(píng)價(jià)一般是采用代表作進(jìn)行評(píng)價(jià)。但是采用同行評(píng)議也存在一些問(wèn)題：第一，我國(guó)同行評(píng)議制度機(jī)制還有待完善，其規(guī)范性有待提高。第二，大規(guī)模推廣代表作必然導(dǎo)致同行評(píng)議專家數(shù)量增加很多、水平不夠、評(píng)審工作量大。第三，代表作無(wú)法實(shí)行真正的匿名評(píng)審，容易導(dǎo)致評(píng)價(jià)不公平。第四，即使采用同行評(píng)議，評(píng)審專家實(shí)際評(píng)審時(shí)也容易“以刊評(píng)文”。

1.2.2 同行評(píng)議成本高效率低 同行評(píng)議流程復(fù)雜，涉及到許多問(wèn)題，比如專家數(shù)量、是否異地、通訊還是會(huì)議、抽簽方式、打分區(qū)分度、表決方式，能否申訴、評(píng)審程序、保障機(jī)制等等諸多方面，這樣會(huì)帶來(lái)三個(gè)問(wèn)題，第一是評(píng)審成本較高，畢竟如果代表作制度一旦推開(kāi)，我國(guó)的各種科技評(píng)價(jià)工作量會(huì)成倍增加，這樣就會(huì)增加很多成本；第二是加重了管理部門(mén)的負(fù)擔(dān)，面對(duì)日益增加的評(píng)價(jià)工作量，窮于應(yīng)付；第三是評(píng)審時(shí)間長(zhǎng)，評(píng)審效率低下。

1.2.3 “以刊評(píng)文”可以適當(dāng)減輕評(píng)價(jià)工作量 同行評(píng)議一般采取代表作送審制度，比如對(duì)于職稱評(píng)審而言，會(huì)送審3篇代表作，這種要求相對(duì)比較容易滿足，因此評(píng)審參加者數(shù)量眾多。而“以刊評(píng)文”可以人為設(shè)定一些門(mén)檻，通過(guò)抬高門(mén)檻首先淘汰掉一批水平不高的評(píng)價(jià)對(duì)象，這樣會(huì)減輕評(píng)價(jià)工作量?！耙钥u(píng)文”減輕工作量的主要手段就是規(guī)定論文數(shù)量和被引次數(shù)的最低參評(píng)標(biāo)準(zhǔn)，只要制定一個(gè)評(píng)價(jià)規(guī)則，可以將一些條件沒(méi)有達(dá)到的評(píng)價(jià)對(duì)象淘汰，在實(shí)際操作層面就比較容易，一般也容易達(dá)成共識(shí)，會(huì)大大降低評(píng)審工作量。

1.2.4 “以刊評(píng)文”具有形式公平性 在同行評(píng)議不能有效發(fā)揮作用的情況下，“以刊評(píng)文”就變成一種形式上相對(duì)公平的做法。在人才評(píng)價(jià)與機(jī)構(gòu)評(píng)價(jià)時(shí)，往往簡(jiǎn)單根據(jù)一定級(jí)別的論文數(shù)量來(lái)評(píng)價(jià)其水平，這種處理方法雖然不科學(xué)，但矛盾少，至少表面上比較公平。

1.2.5 “以刊評(píng)文”可以評(píng)價(jià)規(guī)模 學(xué)術(shù)評(píng)價(jià)是指針對(duì)學(xué)術(shù)成果的學(xué)術(shù)貢獻(xiàn)、學(xué)術(shù)創(chuàng)新、學(xué)術(shù)價(jià)值、學(xué)術(shù)影響以及社會(huì)影響、應(yīng)用價(jià)值、經(jīng)濟(jì)效益等方面的評(píng)估[15]。學(xué)術(shù)評(píng)價(jià)的視角是多方面的，作為基礎(chǔ)研究重要標(biāo)志的學(xué)術(shù)論文，其主要標(biāo)志是創(chuàng)新和影響力，對(duì)于機(jī)構(gòu)的學(xué)術(shù)論文，更反映了機(jī)構(gòu)的研究水平和規(guī)模貢獻(xiàn)，“以刊評(píng)文”雖然處理方式簡(jiǎn)單，但機(jī)構(gòu)一定質(zhì)量的論文數(shù)量還是能夠很好地反映機(jī)構(gòu)的規(guī)模。

2 “以刊評(píng)文”的本質(zhì)分析

2.1“以刊評(píng)文”是研究水平的用戶畫(huà)像無(wú)論是作者還是機(jī)構(gòu)評(píng)價(jià)，總要涉及到水平高低問(wèn)題，這是進(jìn)一步比較的基礎(chǔ)。一般而言，如果能夠大致將水平劃分為幾類，先將不同評(píng)價(jià)對(duì)象進(jìn)行分類，然后對(duì)于同一級(jí)別的評(píng)價(jià)對(duì)象，再比較其水平差異，這樣更加有利于進(jìn)行相對(duì)細(xì)致的比較。簡(jiǎn)單根據(jù)分?jǐn)?shù)分類還是相對(duì)比較粗糙的做法，比如一般學(xué)者與頂級(jí)學(xué)者的水平相差太大，分級(jí)比較更加合適。

假設(shè)將研究水平分為頂級(jí)水平、專家水平、一般水平、初級(jí)水平4大類，這種水平的劃分是無(wú)形的，沒(méi)有感性認(rèn)識(shí)。如果能將研究水平可視化，建立一種有形的標(biāo)準(zhǔn)，那么就會(huì)一定程度上解決這個(gè)問(wèn)題。這不僅是對(duì)于公眾，而且對(duì)于學(xué)者和機(jī)構(gòu)也具有重要意義。

圖1 研究水平與期刊分級(jí)的對(duì)應(yīng)關(guān)系

如圖1所示，在學(xué)術(shù)期刊評(píng)價(jià)與分級(jí)過(guò)程中，恰恰有這么一個(gè)可見(jiàn)的標(biāo)準(zhǔn)。目前國(guó)內(nèi)許多高校均建立了各自的期刊分類考核體系，用來(lái)計(jì)算科研績(jī)效和進(jìn)行科研獎(jiǎng)勵(lì)。期刊一般分為頂級(jí)期刊、權(quán)威期刊、核心期刊和普通期刊，分別對(duì)應(yīng)學(xué)者研究的頂級(jí)水平、專家水平、一般水平和初級(jí)水平。說(shuō)穿了，期刊級(jí)別類似學(xué)者或機(jī)構(gòu)的“畫(huà)像”，從而將其水平以一種可視化的方式展現(xiàn)出來(lái)，或許這就是“以刊評(píng)文”的根源。這里涉及幾個(gè)隱含問(wèn)題：

第一，不同級(jí)別的期刊的平均水平有顯著差異。注意這是一個(gè)總體的概念，而不是個(gè)別期刊的概念，并不是說(shuō)A期刊是權(quán)威期刊，B期刊是核心期刊，發(fā)表在A期刊的論文一定比B期刊的水平高，甚至也不能說(shuō)A期刊所有論文的平均水平比B期刊高，這些都是片面的，但所有權(quán)威期刊的所有論文的平均一定比所有核心期刊的所有論文的平均水平高。

實(shí)際操作過(guò)程中，經(jīng)常會(huì)出現(xiàn)同一期刊有些高校將其列為權(quán)威期刊，但另一些高校將其列為核心期刊的情況，這并不影響以上結(jié)論。另外對(duì)于學(xué)科領(lǐng)域內(nèi)的期刊分級(jí)，其實(shí)學(xué)術(shù)界容易達(dá)成共識(shí)，比如經(jīng)濟(jì)管理領(lǐng)域24本UTD頂級(jí)國(guó)際期刊，國(guó)內(nèi)的《經(jīng)濟(jì)研究》《管理世界》《中國(guó)社會(huì)科學(xué)》等一般也被列為頂級(jí)期刊。鑒于頂級(jí)期刊發(fā)文量較少，所以盡管水平有所差異，但爭(zhēng)議并不大。

最近科技部發(fā)文鼓勵(lì)發(fā)表高質(zhì)量論文，包括發(fā)表在具有國(guó)際影響力的國(guó)內(nèi)科技期刊、業(yè)界公認(rèn)的國(guó)際頂級(jí)或重要科技期刊的論文，以及在國(guó)內(nèi)外頂級(jí)學(xué)術(shù)會(huì)議上進(jìn)行報(bào)告的論文，其中具有國(guó)際影響力的國(guó)內(nèi)科技期刊參照中國(guó)科技期刊卓越行動(dòng)計(jì)劃入選期刊目錄確定，該分類中將期刊分為領(lǐng)軍期刊、重點(diǎn)期刊、梯隊(duì)期刊、高起點(diǎn)期刊，這也是一種分類標(biāo)準(zhǔn)。

第二，不同級(jí)別研究水平內(nèi)部差距不一樣，對(duì)評(píng)價(jià)會(huì)產(chǎn)生影響。在大樣本情況下，學(xué)者或機(jī)構(gòu)水平的分布一般呈正態(tài)分布，也就是呈現(xiàn)“中間多，兩頭小”的分布特征。在這種情況下，不同級(jí)別期刊所代表的研究水平之間的差距也是不一樣的。一般而言，初級(jí)水平、一般水平各自內(nèi)部差距較大，而專家水平、頂級(jí)水平各自內(nèi)部的差距較小。其評(píng)價(jià)含義就是，對(duì)于頂級(jí)水平之間的比較，或者專家水平之間的比較，區(qū)分度相對(duì)小一些，比較相對(duì)困難。對(duì)于一般水平之間的比較，或者初級(jí)水平之間的比較，區(qū)分度相對(duì)較大，區(qū)分比較容易。

第三，學(xué)者研究的寬度與深度問(wèn)題。由于學(xué)科特點(diǎn)、專家異質(zhì)性等問(wèn)題，有些學(xué)者比較擅長(zhǎng)某個(gè)比較窄的領(lǐng)域的深度研究，有些學(xué)者比較擅長(zhǎng)相對(duì)寬泛的研究。用論文來(lái)反映，前者可能論文發(fā)表的較窄領(lǐng)域的少數(shù)期刊，后者論文發(fā)表在更多不同期刊。大多數(shù)學(xué)科還是可以根據(jù)論文內(nèi)容和質(zhì)量來(lái)判斷學(xué)者的水平，但不同學(xué)科會(huì)有所差異，有些情況下，以上兩者之一可能難以反映作者的水平，需要注意這個(gè)問(wèn)題。

2.2大樣本下“以刊評(píng)文”可以反映研究質(zhì)量換一種思路來(lái)看待作者的論文審稿過(guò)程，如果將論文審稿也看成是審稿專家對(duì)論文質(zhì)量或作者水平的一種評(píng)價(jià)。不妨做如下假設(shè)：

第一，在一定時(shí)間范圍內(nèi)，作者的科研水平保持不變，不同論文質(zhì)量和水平是同質(zhì)的。

第二，每篇論文有1位審稿專家。

第三，每位審稿專家水平相同，均是客觀公正的。

第四，每位專家打分60分以上視同論文錄用，專家打分越高，說(shuō)明論文水平越高。

假設(shè)作者共有n篇論文，有n位專家給論文打分，實(shí)際上專家審稿就是對(duì)作者研究水平的一種“抽檢”，每位專家打分為：

xi=μ+εi+δi(i=1,2,3,…,n)

(1)

式(1)中，xi為專家打分值，μ為論文水平的真實(shí)值，εi為打分與真實(shí)水平的隨機(jī)誤差，δi為系統(tǒng)誤差。隨機(jī)誤差是難免的，系統(tǒng)誤差可以通過(guò)雙盲評(píng)審、提高評(píng)審專家質(zhì)量和責(zé)任心加以解決。n位專家給出的評(píng)分為：

(2)

采用算術(shù)平均值代表作者的學(xué)術(shù)水平：

(3)

在大樣本情況下，隨機(jī)誤差ε一般服從正態(tài)分布，其均值隨著樣本容量的增大而趨向于0。只要保證論文評(píng)審的規(guī)范性，系統(tǒng)誤差δ可以大大縮小，其均值可以視同為0。一般認(rèn)為樣本數(shù)量大于30時(shí)為大樣本，所以只要有30位評(píng)審專家，那么作者的水平打分是沒(méi)有問(wèn)題的。如果評(píng)審專家較少時(shí)，就會(huì)有較大的測(cè)量誤差。

實(shí)際期刊論文評(píng)審中，一篇論文往往至少會(huì)請(qǐng)2位評(píng)審專家，也就是說(shuō)，只要作者能擁有15篇論文，就足以證明其具備某種水平。

另外需要指出的是，采用同行評(píng)議對(duì)代表作進(jìn)行評(píng)價(jià)，由于受各種因素的干擾，尤其是代表作同行評(píng)議難以實(shí)現(xiàn)真正的雙盲評(píng)審，評(píng)議專家非常容易查到論文作者是誰(shuí)，這樣評(píng)審中的系統(tǒng)誤差δ是無(wú)法消除的，此外由于評(píng)審專家人數(shù)的限制，往往也難以做到大樣本，這樣打分的可靠性就得不到保障。

3 “以刊評(píng)文”的辯證應(yīng)用分析

3.1論文評(píng)價(jià)的比較框架下面區(qū)分以下幾種情況分別研究論文樣本不同情況下，“以刊評(píng)文”的辯證應(yīng)用問(wèn)題(見(jiàn)圖2)。第一種情況是小樣本論文之間的比較，包括同級(jí)別小樣本論文之間的比較，以及跨級(jí)別小樣本之間論文之間的比較。第二種情況是同級(jí)別大樣本論文與小樣本論文之間的比較。第三種情況是大樣本論文之間的比較，包括同級(jí)別大樣本論文以及跨級(jí)別大樣本論文之間的比較。

需要說(shuō)明的是，在討論以上問(wèn)題時(shí)，暫且不考慮代表作制度，假設(shè)作者或機(jī)構(gòu)可以提供更多論文用于評(píng)價(jià)。另外，對(duì)于大樣本論文數(shù)量的界定，我們假設(shè)論文數(shù)量至少為15篇，因?yàn)檎撐匿浻脮r(shí)已經(jīng)有30位審稿專家參與審稿并通過(guò)了。

圖2 以刊評(píng)文比較框架

3.2小樣本論文的比較問(wèn)題在小樣本情況下，學(xué)者評(píng)價(jià)應(yīng)以同行評(píng)議為主，兼顧“以刊評(píng)文”。

首先，同級(jí)別小樣本論文的比較。在論文小樣本情況下，同行評(píng)議的效果是相對(duì)的。這是因?yàn)?，第一，論文?shù)量很少時(shí)難以評(píng)價(jià)作者的知識(shí)面和研究水平，某些高校以發(fā)表一兩篇國(guó)際頂級(jí)期刊論文評(píng)教授引起了較大的爭(zhēng)議就是這個(gè)原因。即使有更多的同行評(píng)議專家參與評(píng)審，即論文為小樣本、同行評(píng)議專家為大樣本，也難以評(píng)價(jià)作者的水平；第二，小樣本論文作者的貢獻(xiàn)有時(shí)難以認(rèn)定，比如第一作者與通訊作者的貢獻(xiàn)大小難以區(qū)分，在這種情況下，對(duì)于論文數(shù)量較多的作者，應(yīng)該給予一定的傾斜。

其次，跨級(jí)別小樣本論文的比較。在論文數(shù)量相當(dāng)?shù)那闆r下，A的論文包括核心期刊和權(quán)威期刊，B的論文只有核心期刊，那么此時(shí)應(yīng)該充分肯定A的水平。如果A、B均有權(quán)威期刊論文，應(yīng)該重點(diǎn)考慮誰(shuí)權(quán)威期刊論文數(shù)量更多。畢竟在小樣本情況下，多數(shù)情況是一般水平和初級(jí)水平的比較，論文數(shù)量不夠多，水平之間相差比較大，相對(duì)容易區(qū)分。

3.3同級(jí)別大樣本論文的比較如果作者的15篇論文均為權(quán)威期刊，這些論文已經(jīng)得到30位審稿專家的肯定，證明該論文具備了“權(quán)威”水平，其平均值為μ，這個(gè)結(jié)論是可靠的，隨機(jī)誤差和系統(tǒng)誤差均趨近于0。因此可以得出如下結(jié)論：

結(jié)論一：對(duì)于一定級(jí)別論文數(shù)量大于15篇的作者或機(jī)構(gòu)，作者科研水平可以用該級(jí)別期刊論文的平均質(zhì)量表示。

如果有多個(gè)機(jī)構(gòu)或作者一定級(jí)別期刊論文數(shù)量均大于15篇，根據(jù)前文分析，只能證明其水平或質(zhì)量相當(dāng)，數(shù)量越多說(shuō)明是在同一水平上的重復(fù)。但是換個(gè)思路，在同一水平上重復(fù)有沒(méi)有意義？其實(shí)人類社會(huì)的基本運(yùn)轉(zhuǎn)包括科研工作的開(kāi)展，有很多是日常事務(wù)性的工作，工作做得越多說(shuō)明貢獻(xiàn)越大。從另一個(gè)角度，隨著研究能力達(dá)到一定的水平，成果數(shù)量越多，其中少數(shù)一流成果的概率就越大，因此可以繼續(xù)得到如下結(jié)論：

結(jié)論二：對(duì)于同一級(jí)別論文數(shù)量均大于15篇的作者或機(jī)構(gòu)，他們的研究水平相同，但論文數(shù)量越多，他們的貢獻(xiàn)越大。

結(jié)論三：一旦某種級(jí)別期刊論文超過(guò)15篇，隨著論文數(shù)量越多，一流研究的概率越大。

所以對(duì)于同一級(jí)別大樣本論文的比較，“以刊評(píng)文”未嘗不是一種有效的方法。

3.4同級(jí)別小樣本論文與大樣本論文比較如果用一定級(jí)別期刊的平均水平作為作者學(xué)術(shù)水平的基準(zhǔn)值，在小樣本情況下，同行評(píng)議的任務(wù)就是評(píng)價(jià)作者或機(jī)構(gòu)水平有沒(méi)有達(dá)到該基準(zhǔn)值。如果達(dá)到，說(shuō)明其研究已經(jīng)具備某種水平，如果沒(méi)有達(dá)到，那自然就需要淘汰。即使小樣本論文的研究水平達(dá)到一定級(jí)別期刊的平均水平，其貢獻(xiàn)也是小于大樣本論文。因此可以得出以下結(jié)論：

結(jié)論四：同一級(jí)別論文較少的作者或機(jī)構(gòu)的平均水平需要采用同行評(píng)議加以判定，但其水平最高不宜超過(guò)該級(jí)別論文15篇以上的作者或機(jī)構(gòu)，并且其貢獻(xiàn)也小于他們。

這樣同級(jí)別小樣本與大樣本的比較也相對(duì)簡(jiǎn)單了，可以采用“以刊評(píng)文”。

3.5大樣本論文下跨級(jí)別比較問(wèn)題在大樣本情況下，即作者或機(jī)構(gòu)論文數(shù)量均超過(guò)15篇，并且論文級(jí)別橫跨兩個(gè)級(jí)別，比如A團(tuán)隊(duì)有30篇論文，頂級(jí)期刊4篇，權(quán)威期刊26篇，B團(tuán)隊(duì)有40篇論文，頂級(jí)期刊2篇，權(quán)威期刊38篇，在這種情況下，如何進(jìn)行比較？

在頂級(jí)期刊論文數(shù)量沒(méi)有達(dá)到大樣本情況下，沒(méi)有理由說(shuō)明團(tuán)隊(duì)的水平達(dá)到了頂級(jí)水平。此時(shí)應(yīng)該以權(quán)威期刊論文水平為主，對(duì)不同團(tuán)隊(duì)之間進(jìn)行比較。比較視角可以從研究水平、研究影響、研究貢獻(xiàn)三個(gè)視角展開(kāi)(見(jiàn)圖3)。

圖3 大樣本跨級(jí)別比較

對(duì)于研究水平，可以采用頂級(jí)成果同行評(píng)議的方法進(jìn)行，畢竟團(tuán)隊(duì)已經(jīng)達(dá)到專家水平，這得到了大樣本權(quán)威期刊的檢驗(yàn)，此時(shí)沒(méi)有必要再浪費(fèi)更多的人力、物力和財(cái)力做大規(guī)模的同行評(píng)議，只要評(píng)審少數(shù)頂級(jí)期刊即可。

研究影響是非常重要的研究水平輔助評(píng)價(jià)指標(biāo)，包括論文被重要的數(shù)據(jù)庫(kù)收錄、論文被引以及其他學(xué)術(shù)影響等等。

研究貢獻(xiàn)采用折合論文數(shù)量表示，一種相對(duì)可行的做法是這樣處理，一篇頂級(jí)期刊論文視同2篇權(quán)威期刊論文，1篇權(quán)威期刊論文視同2篇核心期刊論文，1篇核心期刊論文視同2篇一般期刊論文，或者根據(jù)不同學(xué)科情況制定細(xì)則，這樣可以得到論文的總體貢獻(xiàn)大小。

因?yàn)樯贁?shù)頂級(jí)期刊論文不是大樣本，不能可靠地代表研究水平，因此研究水平評(píng)價(jià)與研究影響評(píng)價(jià)的權(quán)重應(yīng)小于0.3，而經(jīng)過(guò)穩(wěn)健性檢驗(yàn)的研究貢獻(xiàn)的權(quán)重應(yīng)該大于0.7。這樣就可以進(jìn)行大樣本論文下跨級(jí)別進(jìn)行比較。

4 結(jié)論與思考

4.1研究結(jié)論

4.1.1 大樣本情況下論文發(fā)表期刊的平均質(zhì)量可以代表研究水平 本文研究發(fā)現(xiàn)，在大樣本情況下，即當(dāng)論文數(shù)量達(dá)到15篇時(shí)，就可以用這15篇論文發(fā)表期刊的平均水平代表的學(xué)者或機(jī)構(gòu)的學(xué)術(shù)水平。本文通過(guò)將學(xué)術(shù)水平與學(xué)術(shù)期刊質(zhì)量的平均水平關(guān)聯(lián)的方式建立學(xué)術(shù)水平的學(xué)術(shù)期刊畫(huà)像，將研究水平分為頂級(jí)水平、專家水平、一般水平和初級(jí)水平四大類，分別用頂級(jí)期刊、權(quán)威期刊、核心期刊和一般期刊的平均水平表示。在大樣本情況下，論文發(fā)表時(shí)審稿專家已經(jīng)對(duì)論文質(zhì)量進(jìn)行了評(píng)審，其結(jié)果是可靠的，這就是“以刊評(píng)文”的本質(zhì)。當(dāng)然，論文審稿與發(fā)表后評(píng)審還有一些差異，審稿要考慮達(dá)到發(fā)表期刊的質(zhì)量要求，而發(fā)表后質(zhì)量評(píng)價(jià)則完全評(píng)價(jià)論文本身質(zhì)量。

4.1.2 機(jī)構(gòu)評(píng)價(jià)時(shí)應(yīng)該“以刊評(píng)文”為主、同行評(píng)議為輔 機(jī)構(gòu)評(píng)價(jià)應(yīng)該秉持質(zhì)量?jī)?yōu)先，質(zhì)量相當(dāng)比貢獻(xiàn)的原則。在機(jī)構(gòu)評(píng)價(jià)時(shí)，很多情況下論文數(shù)量已經(jīng)達(dá)到了大樣本的要求，在這種情況下，為了降低評(píng)價(jià)成本，保證評(píng)價(jià)公平，首先應(yīng)該采用“以刊評(píng)文”的方式進(jìn)行評(píng)價(jià)，只有當(dāng)兩家機(jī)構(gòu)成果比較接近時(shí)，再輔以同行評(píng)議進(jìn)行評(píng)價(jià)。所以機(jī)構(gòu)評(píng)價(jià)時(shí)，既要提供所有論文數(shù)據(jù)，也要提供代表作論文。

當(dāng)然，對(duì)機(jī)構(gòu)評(píng)價(jià)“以刊評(píng)文”為主仍會(huì)導(dǎo)致機(jī)構(gòu)追求論文數(shù)量，如國(guó)內(nèi)外各種大學(xué)排名榜、學(xué)科評(píng)價(jià)等。需要對(duì)期刊進(jìn)行科學(xué)合理的分級(jí)，另外要從加強(qiáng)學(xué)風(fēng)建設(shè)，減少不合理、不必要的評(píng)價(jià)，微觀層面取消論文任務(wù)分解等多方面加以解決。

4.1.3 人才評(píng)價(jià)應(yīng)該以同行評(píng)議為主、“以刊評(píng)文”為輔 在進(jìn)行人才評(píng)價(jià)時(shí)，由于評(píng)價(jià)對(duì)象是學(xué)者個(gè)體，論文數(shù)量往往不多，如果都達(dá)不到大樣本數(shù)量，應(yīng)該以同行評(píng)議為主。但是這并不意味著個(gè)體評(píng)價(jià)中就不會(huì)出現(xiàn)大樣本現(xiàn)象，如果學(xué)者個(gè)體論文數(shù)量達(dá)到了15篇，那么也應(yīng)該參照大樣本評(píng)價(jià)方法進(jìn)行。當(dāng)學(xué)者發(fā)表論文期刊檔次相同時(shí)，擁有大樣本數(shù)量的學(xué)者理應(yīng)優(yōu)先。另外平均水平為低級(jí)別期刊的學(xué)者不宜超越平均水平為高級(jí)別期刊的學(xué)者，比如即使進(jìn)行同行評(píng)議，發(fā)表一般期刊的學(xué)者也不宜超越發(fā)表核心期刊的學(xué)者。

4.1.4 “以刊評(píng)文“能夠評(píng)價(jià)科研規(guī)模而代表作評(píng)價(jià)只能評(píng)價(jià)科研質(zhì)量 在理想情況下，基于代表作的同行評(píng)議能夠評(píng)價(jià)科研質(zhì)量，無(wú)論是小樣本還是大樣本，這是同行評(píng)議的最大優(yōu)點(diǎn)?！耙钥u(píng)文”只有在大樣本的情況下才能評(píng)價(jià)科研質(zhì)量，但是它還有一個(gè)功能就是在大樣本下可以評(píng)價(jià)科研成果的規(guī)模，這是代表作同行評(píng)議難以替代的。作為兩種主流的評(píng)價(jià)方法，兩者應(yīng)該互相補(bǔ)充，不可偏廢。

4.1.5 高級(jí)別的評(píng)價(jià)應(yīng)該以同行評(píng)議為主 在精細(xì)、重要的質(zhì)量評(píng)價(jià)中必須以同行評(píng)議為主，比如國(guó)家重點(diǎn)實(shí)驗(yàn)室和重點(diǎn)學(xué)科評(píng)價(jià)、院士和長(zhǎng)江學(xué)者等國(guó)家級(jí)人才評(píng)價(jià)等。在評(píng)價(jià)時(shí)要以評(píng)價(jià)目的為龍頭，制約評(píng)價(jià)方法、指標(biāo)即權(quán)重的確定?！耙钥u(píng)文”說(shuō)穿了還是一種評(píng)價(jià)手段，所有的評(píng)價(jià)手段要服務(wù)于評(píng)價(jià)目的。

4.2幾點(diǎn)思考

4.2.1 加強(qiáng)文獻(xiàn)計(jì)量指標(biāo)的應(yīng)用 無(wú)論是論文代表作制度還是“以刊評(píng)文”，均有各自的優(yōu)點(diǎn)和不足?！耙钥u(píng)文”雖然有其合理性的一面，但畢竟屬于相對(duì)簡(jiǎn)單的數(shù)論文數(shù)量的評(píng)價(jià)，因此飽受學(xué)術(shù)界批評(píng)。其實(shí)多年來(lái)，隨著文獻(xiàn)計(jì)量學(xué)與科學(xué)計(jì)量學(xué)的發(fā)展，對(duì)機(jī)構(gòu)已經(jīng)有很好的評(píng)價(jià)指標(biāo)，如h指數(shù)家族、z指數(shù)、特征因子等等，這些指標(biāo)往往擁有較好的評(píng)價(jià)效力，但在我國(guó)的科技評(píng)價(jià)實(shí)踐中應(yīng)用卻比較少，主要原因是管理與決策科學(xué)化不夠所致，建議根據(jù)一定的評(píng)價(jià)目的，選取不同的文獻(xiàn)計(jì)量指標(biāo)或采取綜合評(píng)價(jià)。

文獻(xiàn)計(jì)量指標(biāo)應(yīng)用也要注意，許多指標(biāo)是在宏觀大樣本下才有意義，比如期刊的h指數(shù)是若干篇論文大樣本計(jì)算的結(jié)果，具有較好的穩(wěn)定性，而對(duì)作者進(jìn)行評(píng)價(jià)，如果作者論文太少，h指數(shù)的應(yīng)用其實(shí)是不合適的。

4.2.2 鼓勵(lì)大樣本下的精細(xì)評(píng)價(jià) 為了防止片面追求論文數(shù)量忽視論文質(zhì)量，造成科研工作異化問(wèn)題，這種情況在機(jī)構(gòu)評(píng)價(jià)中出現(xiàn)較多。首先應(yīng)該進(jìn)行分類評(píng)價(jià)，主要是按照學(xué)科和科研工作的特點(diǎn)進(jìn)行分類；其次是將頂級(jí)期刊和權(quán)威期刊的分類標(biāo)準(zhǔn)進(jìn)一步細(xì)化，在各學(xué)科內(nèi)部，這還是容易達(dá)到共識(shí)的；第三是鼓勵(lì)采用大樣本進(jìn)行評(píng)價(jià)，而不是少數(shù)幾篇論文。最后再結(jié)合采用同行評(píng)議，可以全方位評(píng)價(jià)機(jī)構(gòu)水平。

4.2.3 公平是科技評(píng)價(jià)的第一準(zhǔn)則 科技評(píng)價(jià)工作好壞的評(píng)價(jià)標(biāo)準(zhǔn)方方面面，效率和公平是一對(duì)矛盾，我國(guó)目前的科研水平和創(chuàng)新能力雖然已經(jīng)位于世界前列，但與美國(guó)和西方發(fā)達(dá)國(guó)家仍然有很大差距。在這種情況下，調(diào)動(dòng)廣大科研工作者的積極性是第一要?jiǎng)?wù)，另外要采取措施防止出現(xiàn)科研異化現(xiàn)象，畢竟這種現(xiàn)象在特定階段是難免的。千萬(wàn)不能為了消除科研異化現(xiàn)象而影響廣大科研工作者的創(chuàng)新熱情。必須進(jìn)一步完善同行評(píng)議制度，加強(qiáng)同行評(píng)議的公平性，合理采用同行評(píng)議與“以刊評(píng)文”相結(jié)合做好科技評(píng)價(jià)工作。