耿 嶼 郭毓晗 方 燕 張光耀 田文燦 王賢文

(1.大連理工大學(xué)人文與社會(huì)科學(xué)學(xué)部WISE實(shí)驗(yàn)室 大連 116024；2.大連理工大學(xué)經(jīng)濟(jì)管理學(xué)院 大連 116024)

0 引 言

在學(xué)術(shù)評(píng)價(jià)中，評(píng)審意見分歧是一個(gè)由來已久的話題。例如，英國的科研質(zhì)量評(píng)價(jià)體系RAE (Research Assessment Exercise)和研究卓越框架REF (Research Excellence Framework)就是一個(gè)典型的案例，作為全球最悠久的科研評(píng)價(jià)體系之一，其以代表作為核心的評(píng)價(jià)制度，在促進(jìn)一流院校和優(yōu)勢學(xué)科獲取科研項(xiàng)目及鼓勵(lì)科研人員發(fā)表高質(zhì)量成果方面都有著明顯的效果，但其精英評(píng)價(jià)思想，即由同行專家挑選文章的主觀性也一直飽受爭議，導(dǎo)致評(píng)審?fù)鶅A向于著名機(jī)構(gòu)，過于關(guān)注傳統(tǒng)研究領(lǐng)域，也有看重知名學(xué)者而輕視年輕學(xué)者的缺點(diǎn)[1]。這也導(dǎo)致了其向REF的過渡[2]，在評(píng)價(jià)單元和評(píng)價(jià)內(nèi)容等方面都有了大幅度的改變。在人文領(lǐng)域，美國國家藝術(shù)基金會(huì)(NEA)即使有著民主、公平、專業(yè)的專家評(píng)審體系，在決定何為“卓越”藝術(shù)的獎(jiǎng)助實(shí)踐上，也曾飽受質(zhì)疑，促使NEA試圖采用兼顧“精英主義”與“大眾主義”的立場以求明哲保身[3]。

在我國的人文社科中，精英與大眾的“意見”是否存在分歧？本研究聚焦于精英與大眾在評(píng)價(jià)中的分歧的探討，同時(shí)無意討論兩種評(píng)價(jià)方式究竟孰優(yōu)孰劣。在如何定義“精英遴選”與“大眾投票”這一點(diǎn)上，本研究以《復(fù)印報(bào)刊資料》轉(zhuǎn)載論文作為評(píng)價(jià)中“精英遴選”的代表，以轉(zhuǎn)載論文原發(fā)刊中未被轉(zhuǎn)載的論文作為對照組；與“精英”相對，此處的“大眾”指的是除了人大復(fù)印資料的評(píng)議專家之外的學(xué)術(shù)界所有研究者、學(xué)者、讀者和用戶[4]，因此以兩種論文的下載頻次和被引頻次作為檢驗(yàn)的量化指標(biāo)，是為“大眾投票”。

1 文獻(xiàn)綜述

在學(xué)術(shù)研究領(lǐng)域，學(xué)術(shù)評(píng)價(jià)是對科研成果的學(xué)術(shù)價(jià)值進(jìn)行評(píng)估和判斷的活動(dòng)，在擴(kuò)大優(yōu)秀成果的傳播和影響力度，促進(jìn)學(xué)術(shù)交流，維護(hù)學(xué)術(shù)系統(tǒng)的健康運(yùn)行方面有著重要作用，其結(jié)果也會(huì)對學(xué)者的職業(yè)考核、學(xué)術(shù)影響力產(chǎn)生重要影響[5-7]。學(xué)術(shù)評(píng)價(jià)分為主觀評(píng)價(jià)和客觀評(píng)價(jià)兩種形式，主觀評(píng)價(jià)包括期刊論文評(píng)審、項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估等，客觀評(píng)價(jià)以可量化的文獻(xiàn)計(jì)量指標(biāo)為主，例如論文的下載次數(shù)、被引次數(shù)、Altmetrics指標(biāo)等。學(xué)術(shù)評(píng)價(jià)在不同的層面中有不同的表現(xiàn)形式，包括期刊論文評(píng)審、項(xiàng)目評(píng)審、優(yōu)秀論文遴選、人才評(píng)價(jià)、代表作制度等。在我國，評(píng)價(jià)社科類學(xué)術(shù)研究成果的評(píng)價(jià)方式有兩類，分為直接評(píng)價(jià)和間接評(píng)價(jià)。相比于自然科學(xué)，人文社會(huì)科學(xué)的評(píng)價(jià)更為復(fù)雜[8]。包括同行評(píng)價(jià)、科研成果評(píng)獎(jiǎng)、文獻(xiàn)計(jì)量指標(biāo)評(píng)獎(jiǎng)等直接評(píng)價(jià)方式，以及根據(jù)期刊級(jí)別和被權(quán)威社科文獻(xiàn)機(jī)構(gòu)收錄或轉(zhuǎn)載的間接評(píng)價(jià)方式[6]，更能體現(xiàn)出精英同行評(píng)價(jià)與大眾同行評(píng)價(jià)的分野。前者以同行評(píng)議為代表，后者則以學(xué)術(shù)界廣泛的被引和下載為代表。

精英評(píng)價(jià)即傳統(tǒng)意義上的同行評(píng)議，指具有相同或相近學(xué)術(shù)背景或能力的研究人員對研究或?qū)W術(shù)交流進(jìn)行評(píng)估和審核，旨在保證科研活動(dòng)的質(zhì)量、績效以及可信度[9-10]，自1731年問世以來，距今已有將近300年的歷史[11-12]?，F(xiàn)行國際科研評(píng)價(jià)體系仍是以精英同行評(píng)審為主導(dǎo)，該制度已發(fā)展成為目前最為成熟的科研評(píng)價(jià)機(jī)制，肩負(fù)著科學(xué)“看門人”的職責(zé)[13-15]。精英同行評(píng)價(jià)典型應(yīng)用就是論文投稿后的同行評(píng)審。此外，論文發(fā)表后的二次評(píng)價(jià)更能體現(xiàn)出評(píng)價(jià)中的“精英傾向”，例如國外的F1000 Prime推薦，以及在我國人文社會(huì)科學(xué)領(lǐng)域被廣泛采用的“四大學(xué)術(shù)文摘”：《新華文摘》《中國社會(huì)科學(xué)文摘》《高等學(xué)校文科學(xué)術(shù)文摘》和人大《復(fù)印報(bào)刊資料》[16-17]。文摘編輯根據(jù)論文的主題和內(nèi)容特征進(jìn)行初步評(píng)選，再由各個(gè)領(lǐng)域的精英同行和專家進(jìn)一步甄選，二次篩選的過程有效保證學(xué)術(shù)文章的權(quán)威性，并使文摘具備學(xué)術(shù)評(píng)價(jià)的功能[18]。大眾同行評(píng)價(jià)意味著以文獻(xiàn)計(jì)量指標(biāo)為標(biāo)準(zhǔn)的學(xué)術(shù)評(píng)價(jià)，計(jì)量指標(biāo)種類繁多，包括被訪頻次、被引頻次、下載頻次、被轉(zhuǎn)載頻次、引文數(shù)量等[19]，其中以被引頻次是最常被使用的一項(xiàng)指標(biāo)[20-21]。引用行為在科學(xué)社會(huì)學(xué)上有著重要意義，科學(xué)社會(huì)學(xué)奠基人默頓[22]和科學(xué)知識(shí)社會(huì)學(xué)家吉爾伯特[23]分別從規(guī)范性理論和建構(gòu)主義理論的角度對引用行為的動(dòng)機(jī)進(jìn)行了闡釋，默頓認(rèn)為引用意味著對前人研究的肯定，是一種信譽(yù)加分，體現(xiàn)了一種所有權(quán)；而吉爾伯特則認(rèn)為引用是為了支持作者自己的結(jié)論，體現(xiàn)了說服力。雖然兩種理論一直在相互競爭，但在后人的引用體現(xiàn)了對前人的“投票”這一點(diǎn)上，二者是有共通之處的。此外，下載閱讀作為使用數(shù)據(jù)的一部分，是引用行為的必經(jīng)之路，對彌補(bǔ)引用數(shù)據(jù)的滯后性與片面性有著重要意義，更能體現(xiàn)出學(xué)術(shù)界中的“大眾傾向性”[24]。

就作為研究對象的《復(fù)印報(bào)刊資料》來看，有兩個(gè)重要的事實(shí)背景與本文密切相關(guān)。首先，《復(fù)印報(bào)刊資料》由中國人民大學(xué)書報(bào)資料中心于20世紀(jì)60年代創(chuàng)立，中心設(shè)立專業(yè)機(jī)構(gòu)，聘請專家選取論文，以“內(nèi)容有較高的學(xué)術(shù)價(jià)值、應(yīng)用價(jià)值，能反映學(xué)術(shù)研究或?qū)嶋H工作部門的現(xiàn)狀、成就及其新發(fā)展”作為篩選原則，以“精選千家報(bào)刊，薈萃中華學(xué)術(shù)”為轉(zhuǎn)載理念，來甄選論文[18]。被轉(zhuǎn)載的論文以科學(xué)性、學(xué)術(shù)性和創(chuàng)新性而著稱，因此這些優(yōu)質(zhì)文獻(xiàn)能夠體現(xiàn)出精英專家心目中該研究領(lǐng)域較高的學(xué)術(shù)水平[25]。其次，盡管《復(fù)印報(bào)刊資料》以嚴(yán)格的學(xué)術(shù)標(biāo)準(zhǔn)和高學(xué)術(shù)品味成為人文社會(huì)科學(xué)領(lǐng)域的學(xué)術(shù)評(píng)價(jià)權(quán)威，但是隨著時(shí)代的發(fā)展，《復(fù)印報(bào)刊資料》也開始面臨諸多挑戰(zhàn)，并且局限性日益凸顯[6]?！稄?fù)印報(bào)刊資料》是非網(wǎng)絡(luò)環(huán)境下的產(chǎn)物，從創(chuàng)刊至今已將近60年。在20世紀(jì)末期，期刊數(shù)量和論文總數(shù)量較少，因此能夠通過人工來實(shí)現(xiàn)甄選優(yōu)秀論文。進(jìn)入20世紀(jì)以來，互聯(lián)網(wǎng)期刊全文數(shù)據(jù)庫開始構(gòu)建，并得到飛速發(fā)展。社科學(xué)術(shù)期刊已有4 000余種，期刊發(fā)表周期變短，每年學(xué)術(shù)論文數(shù)量呈指數(shù)級(jí)增長。面對海量文獻(xiàn)數(shù)據(jù)，期刊編輯與同行專家人數(shù)、時(shí)間和精力有限，因此甄選工作也變得相對困難。加之轉(zhuǎn)載數(shù)量有限，無法容納所有學(xué)術(shù)精品，遺漏和不當(dāng)轉(zhuǎn)載的情況時(shí)有發(fā)生[6,17]。《復(fù)印報(bào)刊資料》的施引期刊主要集中于專業(yè)核心期刊，雖能受到一些專業(yè)人士關(guān)注，但是總體對于同行影響力較弱[26]。另外其評(píng)價(jià)標(biāo)準(zhǔn)具有模糊性的特點(diǎn)，甄選結(jié)果反映出的是正向的定性評(píng)價(jià)，甄選過程受到編輯和精英同行、評(píng)審專家的個(gè)人偏好、認(rèn)知水平、學(xué)術(shù)鑒別能力、理論功底、學(xué)術(shù)積累等因素的影響，因此評(píng)價(jià)結(jié)果并不是絕對的。有時(shí)“暈輪效應(yīng)”——高學(xué)術(shù)影響力的作者帶有學(xué)術(shù)光環(huán)——也會(huì)對學(xué)術(shù)論文的遴選造成干擾，這對文摘期刊的學(xué)術(shù)評(píng)價(jià)結(jié)果造成了負(fù)面影響[6,16]。

2 數(shù)據(jù)收集和處理

2.1 精英同行評(píng)價(jià)(人大復(fù)印轉(zhuǎn)載論文)數(shù)據(jù)的收集

在本研究中，我們以中國人民大學(xué)《復(fù)印報(bào)刊資料》作為精英同行評(píng)價(jià)的數(shù)據(jù)來源，在中國人民大學(xué)復(fù)印報(bào)刊資料數(shù)據(jù)庫(http://ipub.exuezhe.com/index.html)中選擇經(jīng)濟(jì)學(xué)與經(jīng)濟(jì)管理類的《企業(yè)管理研究》和文化信息傳播類的《圖書館學(xué)情報(bào)學(xué)》作為研究對象學(xué)科。《企業(yè)管理研究》是經(jīng)濟(jì)管理領(lǐng)域刊登高水平企業(yè)管理理論研究的專業(yè)期刊，《圖書館學(xué)情報(bào)學(xué)》是圖情領(lǐng)域精選圖書館學(xué)、信息資源建設(shè)和情報(bào)工作的重要期刊。在社會(huì)科學(xué)中，圖書情報(bào)學(xué)與管理科學(xué)在學(xué)科間互相滲透，不僅具有一定的關(guān)聯(lián)性，還具有一定的代表性[27]，選擇兩類不同學(xué)科的期刊有助于更全面的分析和比較，并且研究結(jié)論具有更高的可信度。選取2010—2015年時(shí)間段作為研究窗口進(jìn)行檢索，收集數(shù)據(jù)。共獲取72期、1 325篇研究性論文的元數(shù)據(jù)，數(shù)據(jù)字段包括論文標(biāo)題、發(fā)表年份、發(fā)表期號(hào)、作者、原發(fā)期刊、原發(fā)年份和原發(fā)期號(hào)等。

2.2 大眾同行評(píng)價(jià)與對照論文數(shù)據(jù)的收集

根據(jù)已獲取的人大《復(fù)印報(bào)刊資料》論文的元數(shù)據(jù)，追溯轉(zhuǎn)載論文所在原期刊，收集原發(fā)期刊發(fā)表的所有論文數(shù)據(jù)作為對照數(shù)據(jù)。具體是利用中國知網(wǎng)(https://www.cnki.net/)的高級(jí)檢索功能，按照原發(fā)期刊和發(fā)表時(shí)間進(jìn)行檢索。檢索結(jié)果可以分為兩類：一類是被人大《復(fù)印報(bào)刊資料》轉(zhuǎn)載的論文，另一類是同一期未被轉(zhuǎn)載的論文，即對照組論文。得到檢索結(jié)果后進(jìn)行元數(shù)據(jù)和文獻(xiàn)計(jì)量指標(biāo)數(shù)據(jù)的收集。元數(shù)據(jù)字段包括論文標(biāo)題、作者、期刊名稱、發(fā)表年份期號(hào)、論文類型(只選擇期刊類型，忽略其他類型)，計(jì)量數(shù)據(jù)包括下載頻次和被引頻次，作為大眾同行評(píng)價(jià)結(jié)果。

去除無效、不可檢索數(shù)據(jù)和異常數(shù)據(jù)，最終獲取到文獻(xiàn)數(shù)據(jù)共計(jì)18 609篇。其中人大復(fù)印《企業(yè)管理研究》涉及的原發(fā)期刊總共有97種(每種期刊每年發(fā)行12期，少數(shù)期刊會(huì)額外發(fā)表合刊增刊、特刊或?qū)？?，被人大復(fù)印資料轉(zhuǎn)載的期刊總計(jì)143期(包括可被CNKI檢索到的人大《復(fù)印報(bào)刊資料》轉(zhuǎn)載文獻(xiàn)1 151篇，轉(zhuǎn)載文獻(xiàn)同期文獻(xiàn)數(shù)據(jù)13 811篇)；《圖書館學(xué)情報(bào)學(xué)》涉及的原發(fā)期刊總共有17種，被人大復(fù)印資料轉(zhuǎn)載的期刊總計(jì)137期(包括可被CNKI檢索到的人大《復(fù)印報(bào)刊資料》轉(zhuǎn)載文獻(xiàn)174篇，轉(zhuǎn)載文獻(xiàn)同期文獻(xiàn)數(shù)據(jù)3 473篇)。

在數(shù)據(jù)集中，轉(zhuǎn)載論文原發(fā)年份最早為2004年第9期，最晚為2015年第11期。2004—2008年期間的轉(zhuǎn)載期刊和同期期刊僅有194篇，遠(yuǎn)少于2009—2015年的文獻(xiàn)數(shù)量。為了便于觀察與分析，選取時(shí)間窗口2009—2015年的18 415篇文獻(xiàn)數(shù)據(jù)進(jìn)行分析，占全部收集到的18 609篇論文的98.96%。并且，2015年的論文至今已經(jīng)發(fā)表4年，超過了論文發(fā)表后2～3年的被引高峰，有足夠的時(shí)間窗口可以比較論文的被引情況。

3 結(jié) 果

3.1 精英同行評(píng)價(jià)與大眾同行評(píng)價(jià)的差異分析

圖1以散點(diǎn)圖的形式，展示了整個(gè)數(shù)據(jù)集的分布。橫軸是論文的下載次數(shù)，縱軸是論文的被引次數(shù)。黑色點(diǎn)代表被人大復(fù)印轉(zhuǎn)載的論文，灰色點(diǎn)代表人大復(fù)印轉(zhuǎn)載論文的同期論文(即與轉(zhuǎn)載論文在同一期刊的同一期發(fā)表但未被轉(zhuǎn)載的論文)。從圖1(a)和圖1(c)中觀察到，黑色點(diǎn)和灰色點(diǎn)多數(shù)集中在靠近原點(diǎn)的范圍內(nèi)，但是黑色點(diǎn)相比灰色點(diǎn)更靠近原點(diǎn)。從數(shù)據(jù)集的整體分布來看，黑色點(diǎn)代表的轉(zhuǎn)載論文在下載次數(shù)與被引次數(shù)方面并不占優(yōu)勢。在圖1(b)和圖1(d)中，在雙對數(shù)坐標(biāo)系中，黑色點(diǎn)分布較為集中，灰色點(diǎn)分布在黑色點(diǎn)四周。這反映出黑色點(diǎn)的分布在所有數(shù)據(jù)中大致居于平均水平，表明精英同行的評(píng)價(jià)過程確實(shí)起到了甄別出較差成果的作用，即轉(zhuǎn)載論文中沒有大眾同行評(píng)價(jià)結(jié)果表現(xiàn)很差的論文。

圖1 論文數(shù)據(jù)分布

為了更好地比較同一期中轉(zhuǎn)載與未轉(zhuǎn)載論文的下載和被引次數(shù)的差異，我們以氣泡圖的形式，按年份對論文數(shù)據(jù)分布進(jìn)行可視化呈現(xiàn)，如圖2所示。圖2按照發(fā)表學(xué)科和發(fā)表年份從2009到2015年共分為14個(gè)子圖，每一個(gè)子圖下面標(biāo)有該子圖所代表的年份。橫軸代表期刊發(fā)表的期號(hào)，縱軸代表論文的下載數(shù)量，氣泡的大小代表論文的被引次數(shù)，實(shí)心深色氣泡代表轉(zhuǎn)載論文，空心氣泡代表同期發(fā)表論文。

從圖2中觀察到，在《企業(yè)管理研究》期刊中，圖2(a)(e)(g)中有一些深色氣泡的位置較高，直徑也較大，較為明顯與突出。圖2(b)(c)(d)中的深色氣泡位置位于中等偏上，直徑也較大。這些數(shù)據(jù)分別位于2009年第10期和第12期、2010年第1期、2011年第4期、2012年第5期、2013年第1期和第5期、2015年第3期；在《圖書館學(xué)情報(bào)學(xué)》期刊中，圖2(h)(i)(k)(l)中有一些深色氣泡也較為明顯突出，分別位于2009年第6期和第9期、2010年第15期、2012年第5期和第14期、2013年第7期。雖然少數(shù)深色氣泡處于中上的位置，但是更多的深色氣泡是處于底層位置，這些氣泡的直徑也非常小，無法與其他氣泡進(jìn)行有效的區(qū)分。這一現(xiàn)象說明了大多數(shù)轉(zhuǎn)載論文與同期論文相比，并不具備明顯的計(jì)量指標(biāo)優(yōu)勢。

進(jìn)一步，為了統(tǒng)計(jì)轉(zhuǎn)載論文的下載排名與被引排名，我們按照不同期刊和期號(hào)對數(shù)據(jù)進(jìn)行分類，并定義了排名指數(shù)P，目的是計(jì)算轉(zhuǎn)載論文位于原期刊該期發(fā)表所有論文中的百分比排名。PiD代表轉(zhuǎn)載論文下載排名百分比，定義如下：

(1)

PiC代表轉(zhuǎn)載論文被引排名，定義如下：

(2)

在式中，對于轉(zhuǎn)載論文i，其下載數(shù)量在同一期論文的下載數(shù)量中排名為RD，被引數(shù)量在同一期論文的被引數(shù)量中排名為RC，同一期論文的總數(shù)量為N。

圖2 人大復(fù)印轉(zhuǎn)載論文與同期論文的下載次數(shù)與被引次數(shù)：分年分期不分期刊的比較

圖3 人大復(fù)印資料轉(zhuǎn)載論文的排名指數(shù)

我們計(jì)算出每一篇轉(zhuǎn)載論文的排名指數(shù)，如圖3所示，該圖按照學(xué)科分成兩組以及4個(gè)子圖，圖3(a)和(c)按照每5%的步長，統(tǒng)計(jì)對應(yīng)范圍內(nèi)的論文數(shù)量，以直方圖的形式呈現(xiàn)，并擬合出正態(tài)分布曲線。從圖3(a)和(c)中觀察到，在正態(tài)分布曲線頂峰大致位于0.4左右位置。圖3(b)和(d)以箱式圖的形式展示排名指數(shù)分布的分散程度。下載和被引的排名指數(shù)范圍是0%～100%，《企業(yè)管理研究》期刊的下載排名指數(shù)平均值為42.56%，中位數(shù)為38.64%。被引排名指數(shù)平均值為45.34%，中位數(shù)為42.86%?！秷D書館學(xué)情報(bào)學(xué)》期刊的下載排名指數(shù)平均值為38.57%，中位數(shù)為33.91%。被引排名指數(shù)平均值為37.46%，中位數(shù)為33.33%。兩個(gè)學(xué)科的下載和被引的排名指數(shù)較低，且均值低于50%，結(jié)果表明與同期論文相比，轉(zhuǎn)載論文的下載和被引情況表現(xiàn)并不具備優(yōu)勢，甚至略低于平均水平。

3.2 單因素方差分析：驗(yàn)證差異顯著性

單因素方差分析用來研究一個(gè)控制變量的不同水平對于觀測變量是否造成顯著差異和變動(dòng)[28]。為了研究人大《復(fù)印報(bào)刊資料》轉(zhuǎn)載的論文與同期論文是否有顯著差異，我們采用單因素方差分析方法進(jìn)行檢驗(yàn)。

首先，將論文數(shù)據(jù)分為A、B兩組，A組代表人大《復(fù)印報(bào)刊資料》轉(zhuǎn)載的論文，B組代表同期論文。將組別作為控制變量，論文的下載次數(shù)和被引次數(shù)作為因變量。研究發(fā)現(xiàn)，如表1所示，對于《企業(yè)管理研究》期刊的下載，F(xiàn)(1, 14962)= 116.34，p=0.00；對于被引，F(xiàn)(1,14962)=77.43，p=0.00；對于《圖書館學(xué)情報(bào)學(xué)》期刊的下載，F(xiàn)(1,3647)=31.41，p=0.00；對于被引，F(xiàn)(1,3467)=38.68，p=0.00。研究結(jié)果表明，在數(shù)據(jù)集的整體層面，AB兩組的下載次數(shù)和被引次數(shù)在《企業(yè)管理研究》和《圖書館學(xué)情報(bào)學(xué)》的差異均顯著。

表1 One-way Anova分析結(jié)果

為了避免不同時(shí)間對論文的下載次數(shù)和被引次數(shù)造成的差異影響，按照年份對數(shù)據(jù)集分層，研究2009—2015年間每一年的AB兩組論文數(shù)據(jù)是否具有顯著差異。研究發(fā)現(xiàn)：《企業(yè)管理研究》在2009—2013年間以及2015年，AB兩組的下載次數(shù)和被引次數(shù)差異顯著，表明AB兩組論文數(shù)據(jù)不屬于同一群體，并且A組論文數(shù)據(jù)的下載和被引水平較低，B組論文數(shù)據(jù)的表現(xiàn)更好。在2014年，AB兩組的下載次數(shù)和被引次數(shù)無顯著差異，AB兩組論文數(shù)據(jù)的下載和被引屬于同一水平；《圖書館學(xué)情報(bào)學(xué)》在2009—2010年間、2012—2013年間AB兩組的下載次數(shù)和被引次數(shù)差異顯著。在2011年及2014—2015年間AB兩組的下載次數(shù)和被引次數(shù)無顯著差異。

4 結(jié)論與討論

在本研究中，為了驗(yàn)證精英同行評(píng)價(jià)與大眾同行評(píng)價(jià)是否一致，我們將人大復(fù)印轉(zhuǎn)載論文與原發(fā)期刊的同期其他論文進(jìn)行計(jì)量指標(biāo)的比較分析與統(tǒng)計(jì)檢驗(yàn)。研究結(jié)果發(fā)現(xiàn)，相比未被轉(zhuǎn)載的論文，人大復(fù)印轉(zhuǎn)載論文在論文下載和被引這兩方面都不具備更好的表現(xiàn)。精英同行遴選出的優(yōu)秀論文在計(jì)量指標(biāo)上的表現(xiàn)并不比普通論文更優(yōu)秀。

具體來說，不論是從整體表現(xiàn)還是分年表現(xiàn)，人大復(fù)印轉(zhuǎn)載論文的下載和被引在全部數(shù)據(jù)集中都不具備優(yōu)勢。從分年表現(xiàn)來看，雖然每年都有少數(shù)人大復(fù)印轉(zhuǎn)載論文具有較高的下載和被引表現(xiàn)，但是屬于個(gè)例情況，更多的人大復(fù)印轉(zhuǎn)載論文依然處于一般水平，甚至還有一些轉(zhuǎn)載論文在同期論文中處于較低的下載和被引水平。為了量化人大復(fù)印轉(zhuǎn)載論文在同一期論文中的排名，基于排名指數(shù)P進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)人大復(fù)印轉(zhuǎn)載論文的下載平均排名與被引平均排名均低于50%水平，進(jìn)一步證明人大復(fù)印轉(zhuǎn)載論文的下載和被引表現(xiàn)低于平均水平。通過單因素方差分析，證明人大復(fù)印轉(zhuǎn)載論文與同期論文在下載和被引上具有顯著差距。精英同行專家評(píng)價(jià)的體系雖然在一定程度上保障學(xué)術(shù)評(píng)價(jià)的質(zhì)量，能夠甄別出質(zhì)量較差的研究，但是卻無法保證篩選出最優(yōu)秀的學(xué)術(shù)成果。

精英同行評(píng)價(jià)與大眾同行評(píng)價(jià)結(jié)果差異較大，精英同行遴選的優(yōu)秀論文無論是下載還是被引，均略低于同期論文的平均水平。這種現(xiàn)象可能由以下原因造成：

a.同行評(píng)價(jià)存在很大的主觀性。同行評(píng)價(jià)很容易受到論文作者知名度、選題的影響，也會(huì)受到評(píng)審專家的學(xué)術(shù)水平及研究領(lǐng)域的影響。評(píng)價(jià)內(nèi)容所覆蓋的主題往往非常多樣，但是精英專家可能只選擇自己熟悉領(lǐng)域的研究成為優(yōu)秀論文，而忽視其他領(lǐng)域的優(yōu)秀論文。

b.同行評(píng)價(jià)的異質(zhì)性。不同專家的評(píng)價(jià)標(biāo)準(zhǔn)多樣，評(píng)價(jià)認(rèn)識(shí)可能存在很大差別，尤其對于社會(huì)科學(xué)的論文。

c.評(píng)價(jià)結(jié)果的魯棒性。由于實(shí)行精英同行評(píng)價(jià)的成本較高，因此評(píng)價(jià)人數(shù)往往不多，造成評(píng)價(jià)結(jié)果的魯棒性不高，不同評(píng)審專家的意見很難達(dá)成一致。

d.評(píng)價(jià)結(jié)果的準(zhǔn)確性。選擇評(píng)審專家時(shí)往往過于注重專家的職稱、資歷，甚至行政職務(wù)，但是這些專家因?yàn)槭聞?wù)繁忙，或者可能已經(jīng)脫離科研一線，無法對成果作出準(zhǔn)確判斷，尤其是那些具有較大創(chuàng)新性的研究成果。

近年來，《復(fù)印報(bào)刊資料》的品牌影響力不斷得到學(xué)術(shù)界認(rèn)可，也逐漸被應(yīng)用于人文社會(huì)科學(xué)評(píng)價(jià)中，在教育部和科技部破除“唯SCI”不良導(dǎo)向，優(yōu)化生態(tài)環(huán)境的決心之下，代表作制在人文社會(huì)科學(xué)領(lǐng)域的重要性不斷提高，而《復(fù)印報(bào)刊資料》因其專家背書的特征，或?qū)⒃谠u(píng)價(jià)體制中占據(jù)更受矚目的優(yōu)良位置。在這一大環(huán)境下，那么應(yīng)當(dāng)如何看待精英同行專家在學(xué)術(shù)評(píng)價(jià)中的功能和作用？如何保證“精英遴選”的公正？將是我們不得不面對的問題。為了完善精英同行專家評(píng)價(jià)體系，我們認(rèn)為在以下幾點(diǎn)或許有改進(jìn)之處。

①建立完善的文獻(xiàn)推薦平臺(tái)。目前各機(jī)構(gòu)已推出豐富的文獻(xiàn)索引數(shù)據(jù)庫，利用協(xié)同過濾推薦算法，結(jié)合PageRank等算法，建立能夠有效衡量論文質(zhì)量的推薦指標(biāo)，構(gòu)建文獻(xiàn)自動(dòng)推薦平臺(tái)[29]，結(jié)合評(píng)審專家的興趣、研究領(lǐng)域和研究方向等特征，將質(zhì)量好、權(quán)威性高的文獻(xiàn)推薦給同領(lǐng)域的精英同行專家進(jìn)行評(píng)審。

②適當(dāng)增加評(píng)審專家人數(shù)。邀請近年一直活躍在科研第一線的學(xué)者，利用文獻(xiàn)推薦平臺(tái)將潛在的優(yōu)秀學(xué)術(shù)成果推介給精英專家們來進(jìn)行評(píng)閱，精英專家結(jié)合自身的認(rèn)知水平、學(xué)術(shù)鑒別能力、對學(xué)術(shù)前沿把握情況等因素，遵循相關(guān)科研倫理和學(xué)術(shù)道德，進(jìn)行負(fù)責(zé)任的同行評(píng)價(jià)。

③倡導(dǎo)負(fù)責(zé)任評(píng)審。負(fù)責(zé)人評(píng)審制在于激發(fā)和提升評(píng)審專家的責(zé)任心，通過長期記錄評(píng)審專家的評(píng)審工作，從公正性、科學(xué)性和建設(shè)性等方面進(jìn)行考察，并且將評(píng)審專家的評(píng)審工作記入其學(xué)術(shù)貢獻(xiàn)，鼓勵(lì)評(píng)審專家積累長期信譽(yù)[30]。

④提升評(píng)審?fù)该鞫扰c公信力，實(shí)行開放評(píng)價(jià)制度。包括公開身份、公開評(píng)價(jià)流程、公開評(píng)價(jià)意見、公眾參與評(píng)價(jià)過程等[31]，通過外界監(jiān)督，使評(píng)審專家更加負(fù)責(zé)。

⑤認(rèn)可評(píng)審專家的貢獻(xiàn)。期刊論文數(shù)量每年都在大幅增長，而審稿人數(shù)量有限，審稿工作需要評(píng)審專家付出較多的時(shí)間和精力，因此已不可避免地產(chǎn)生審稿質(zhì)量下降的現(xiàn)象。在當(dāng)前環(huán)境下，審稿人的貢獻(xiàn)并未受到充分認(rèn)可，審稿人往往出于學(xué)術(shù)理想擔(dān)任審稿人，缺乏充足的正向激勵(lì)。認(rèn)可審稿人的學(xué)術(shù)貢獻(xiàn)，也許是解決該問題的有效措施?？梢酝ㄟ^公開論文同行評(píng)議審稿記錄、使學(xué)術(shù)共同體認(rèn)可審稿人學(xué)術(shù)貢獻(xiàn)等手段，緩解當(dāng)前的同行評(píng)議危機(jī)[32]。

⑥文獻(xiàn)計(jì)量指標(biāo)和同行評(píng)價(jià)結(jié)果相結(jié)合，基于文獻(xiàn)計(jì)量指標(biāo)進(jìn)行大規(guī)模篩選的基礎(chǔ)上，精英同行專家再進(jìn)行精細(xì)化的評(píng)價(jià)。

本研究也存在局限之處：首先，本研究的研究對象為人大復(fù)印資料，人大復(fù)印資料期刊的同行評(píng)審機(jī)制是專家從已發(fā)表的論文中挑選出最有價(jià)值的進(jìn)行二次發(fā)表，比較對象是被轉(zhuǎn)載的論文與原發(fā)期刊的其他同期論文，這與普通學(xué)術(shù)期刊從大量投稿中評(píng)審出值得發(fā)表的評(píng)審機(jī)制是不一樣的，因此本文研究結(jié)論僅局限于人大復(fù)印資料的精英同行遴選機(jī)制，如果進(jìn)行結(jié)論外推時(shí)需謹(jǐn)慎對待。其次，本研究將論文被引次數(shù)作為判斷論文價(jià)值的唯一指標(biāo)，可能會(huì)忽視成果在學(xué)術(shù)之外。但是要測度及證明人大復(fù)印資料轉(zhuǎn)載的論文在經(jīng)濟(jì)、社會(huì)、政策方面具有更高的價(jià)值很難用指標(biāo)測度。