■俞立平 孫建紅

寧波大學(xué)商學(xué)院管理工程系，寧波市江北區(qū)風(fēng)華路818 315211，E-mail：yuliping@nbu.edu.cn

1 引言

科技評(píng)價(jià)包括科研機(jī)構(gòu)評(píng)價(jià)、科研人員評(píng)價(jià)、科技政策評(píng)價(jià)、學(xué)術(shù)期刊評(píng)價(jià)等諸多方面。在科技評(píng)價(jià)中，學(xué)術(shù)期刊評(píng)價(jià)是其中非常重要的一個(gè)環(huán)節(jié)，基于學(xué)術(shù)論文影響力的總被引頻次指標(biāo)在其中得到了非常廣泛的應(yīng)用。自影響因子從1972年起成為期刊評(píng)價(jià)指標(biāo)以來(lái)，總被引頻次幾乎與之同時(shí)出現(xiàn)[1]。在迄今大多數(shù)科技評(píng)價(jià)中，總被引頻次指標(biāo)成為選取頻度最高、權(quán)重較大的重要指標(biāo)之一。

總被引頻次是期刊自創(chuàng)刊以來(lái)所登載的全部論文在統(tǒng)計(jì)當(dāng)年被引用的總次數(shù)，當(dāng)然從評(píng)價(jià)機(jī)構(gòu)或?qū)W者的角度，總被引頻次也可以借用，但主要應(yīng)用在期刊評(píng)價(jià)中。從總被引頻次的概念可以看出，在同等情況下，創(chuàng)刊早的期刊，由于其發(fā)表論文較多，總被引頻次值一般也較高，而新創(chuàng)刊的期刊，其影響力的提高也需要讀者和學(xué)術(shù)界一個(gè)認(rèn)識(shí)的過(guò)程，即使學(xué)術(shù)質(zhì)量較高，但總被引頻次可能也處于相對(duì)不利的地位?？偙灰l次的這個(gè)問(wèn)題，本質(zhì)上是期刊評(píng)價(jià)時(shí)的時(shí)間特性問(wèn)題，必須深入分析這個(gè)問(wèn)題，并提出相應(yīng)的解決思路，以提高科技評(píng)價(jià)的科學(xué)性與可信度。

關(guān)于總被引頻次的特點(diǎn)與局限研究，李曉紅、于善清[2]認(rèn)為，總被引頻次的大小與期刊的創(chuàng)刊年限有直接關(guān)系，創(chuàng)刊早的期刊，其總被引頻次一定比創(chuàng)刊晚的期刊要高，因此在使用總被引頻次評(píng)價(jià)期刊時(shí)一定要考慮這一因素，不能一概用總被引頻次的大小來(lái)評(píng)價(jià)期刊的學(xué)術(shù)水平。李曉萍、姜瑾秋等[3]認(rèn)為總被引頻次主要反映科技期刊包括近期狀況在內(nèi)的歷史狀況，彌補(bǔ)了因載文量過(guò)多而導(dǎo)致影響因子偏低的問(wèn)題。胡興戎、王晴[4]發(fā)現(xiàn)在2009年累計(jì)總被引頻次居前10位的口腔醫(yī)學(xué)期刊中，既有影響因子居前10位的期刊（4種），也有影響因子排位較低的期刊。王群英、林耀明[5]選取資源、生態(tài)、地理三個(gè)相近學(xué)科的8個(gè)期刊，通過(guò)分析它們的影響因子、總被引頻次與載文量之間的關(guān)系發(fā)現(xiàn)，發(fā)現(xiàn)載文量與各刊影響因子的相關(guān)程度不一，而與總被引頻次有較強(qiáng)相關(guān)。

總被引頻次由于界定比較清楚，對(duì)其優(yōu)點(diǎn)與不足學(xué)術(shù)界并沒(méi)有太多的爭(zhēng)論?？偙灰l次用于科技評(píng)價(jià)，既可以作為單個(gè)指標(biāo)使用，即直接比較不同評(píng)價(jià)對(duì)象總被引頻次的大小，也可以在多屬性評(píng)價(jià)時(shí)作為評(píng)價(jià)指標(biāo)選用，但在期刊評(píng)價(jià)中究竟應(yīng)該如何利用總被引頻次指標(biāo)并沒(méi)有公認(rèn)的結(jié)論，甚至對(duì)此進(jìn)行的深度研究也不多。本文以湯森·路透JCR2011為基礎(chǔ)，選取光學(xué)、土壤、化學(xué)三個(gè)學(xué)科，對(duì)總被引頻次的特點(diǎn)及與影響因子的關(guān)系進(jìn)行深入分析，然后對(duì)總被引頻次用于期刊評(píng)價(jià)的范圍進(jìn)行系統(tǒng)總結(jié)。

2 總被引頻次與科技評(píng)價(jià)時(shí)間特性的關(guān)系

所謂科技評(píng)價(jià)的時(shí)間特性，就是科技評(píng)價(jià)的周期或頻率，以及流量評(píng)價(jià)或存量評(píng)價(jià)的特點(diǎn)。科技評(píng)價(jià)的時(shí)間特性隱含的科技評(píng)價(jià)中，并沒(méi)有引起足夠的關(guān)注。

任何評(píng)價(jià)都有一定的周期或頻率。有的評(píng)價(jià)具有一定的周期性，比如CSSCI核心期刊的遴選，每年做一次；有的周期長(zhǎng)一些，比如北京大學(xué)《中文核心期刊要目總覽》，已于 1992、1996、2000、2004 年、2008年、2011年出版過(guò)六版，基本上以3-4年為一個(gè)周期。有的評(píng)價(jià)不具有周期性，可能是政府部門(mén)或相關(guān)機(jī)構(gòu)不定期做一些評(píng)價(jià)。

評(píng)價(jià)周期和評(píng)價(jià)目的與評(píng)價(jià)的管理功能是緊密關(guān)聯(lián)的。比如優(yōu)選100名科技人員沖刺諾貝爾獎(jiǎng)，重點(diǎn)對(duì)其較長(zhǎng)時(shí)間的成果做評(píng)價(jià)，雖然最重要的也許是最近3-5年的成果，但評(píng)價(jià)是長(zhǎng)周期的，甚至是累計(jì)水平的評(píng)價(jià)。再如國(guó)家社科基金資助期刊遴選，則是每年一次。一些評(píng)價(jià)機(jī)構(gòu)之所以會(huì)相隔3-4年做一次評(píng)價(jià)，有一個(gè)潛在的前提條件就是，本次評(píng)價(jià)的是自上次評(píng)價(jià)結(jié)束到本次評(píng)價(jià)之間的情況，盡管可能以評(píng)價(jià)當(dāng)年的數(shù)據(jù)為主，根本原因可能是周期過(guò)短的評(píng)價(jià)沒(méi)有太大的意義，因?yàn)樘讨芷诘脑u(píng)價(jià)由于指標(biāo)數(shù)據(jù)波動(dòng)較大，導(dǎo)致每次評(píng)價(jià)結(jié)果相差較大，其實(shí)是沒(méi)有意義的。如果想進(jìn)行定期管理的話(huà)，太長(zhǎng)周期的評(píng)價(jià)也失去了穩(wěn)定的管理功能。

從評(píng)價(jià)指標(biāo)角度，必須注意流量指標(biāo)與存量指標(biāo)的區(qū)別。所謂流量指標(biāo)，就是當(dāng)年數(shù)據(jù)的統(tǒng)計(jì)指標(biāo)，所謂存量指標(biāo)，就是累計(jì)數(shù)據(jù)的統(tǒng)計(jì)指標(biāo)。從評(píng)價(jià)本身來(lái)說(shuō)，科技評(píng)價(jià)同樣也有流量評(píng)價(jià)和存量評(píng)價(jià)，遴選100名科技人才沖刺諾貝爾獎(jiǎng)，這是對(duì)科研人員的存量加以評(píng)價(jià)，而年度CSSCI期刊遴選，則是典型的流量評(píng)價(jià)。在科技評(píng)價(jià)中，存量評(píng)價(jià)其實(shí)是不多的，更多的是進(jìn)行流量評(píng)價(jià)。

對(duì)于流量評(píng)價(jià)應(yīng)該采用流量指標(biāo)，對(duì)于存量評(píng)價(jià)應(yīng)該采取存量指標(biāo)，否則就不具備可比性。在科技評(píng)價(jià)中，更多是流量評(píng)價(jià)，所選取的一些評(píng)價(jià)指標(biāo)，比如影響因子、即年指標(biāo)、學(xué)科影響指標(biāo)、特征因子、H指數(shù)、被引半衰期等等都是流量指標(biāo)，只有總被引頻次是存量指標(biāo)，這明顯是不合適的，最終會(huì)導(dǎo)致辦刊歷史比較悠久的期刊在評(píng)價(jià)中得分偏高。總被引頻次作為每年公布的存量指標(biāo)，按道理只能用在存量評(píng)價(jià)中，根本就不能應(yīng)用在流量評(píng)價(jià)中，然而實(shí)際情況是，目前國(guó)內(nèi)的主流期刊評(píng)價(jià)，均將總被引頻次這個(gè)存量指標(biāo)作為重要指標(biāo)引入，學(xué)術(shù)界對(duì)這種情況熟視無(wú)睹，實(shí)在是一件非常奇怪的現(xiàn)象。

那么，是不是在存量評(píng)價(jià)中，總被引頻次就可以無(wú)條件引入呢？其實(shí)也并非如此，以遴選百名科技人員沖刺諾貝爾獎(jiǎng)為例，學(xué)者A年齡較大，從1971年開(kāi)始發(fā)表論文，學(xué)者B年輕一些，從1985年開(kāi)始發(fā)表論文，2012年A的總被引頻次為800次，B的總被引頻次為600次，很明顯這是不可比的，因?yàn)椴煌瑢W(xué)者、不同學(xué)科創(chuàng)新的最佳年齡是不同的。對(duì)于期刊評(píng)價(jià)，不同年度創(chuàng)刊的期刊，總被引頻次一般也不可比，或者說(shuō)由于時(shí)間跨度的不可比導(dǎo)致總被引頻次不可比。本質(zhì)上，這里存在一個(gè)歷史唯物主義的認(rèn)識(shí)問(wèn)題，要做到可比，也必須對(duì)總被引頻次進(jìn)行一定的轉(zhuǎn)換處理。

是不是總被引頻次就一無(wú)是處，沒(méi)有利用價(jià)值呢？也不能這樣講，只要時(shí)間相差不大，還是有一定的應(yīng)用價(jià)值的。比如對(duì)于一些辦刊歷史比較悠久的期刊之間的比較，X期刊辦刊90年，Y期刊辦刊80年，雖然相差10年，但總體上這種差別可以忽略。

另外一個(gè)問(wèn)題是，能否將總被引頻次這個(gè)指標(biāo)通過(guò)某種方法折算成可比性指標(biāo)呢？比如目前應(yīng)用較多的地區(qū)固定資產(chǎn)存量，可以通過(guò)一定的方法折算到某年存量，然后再進(jìn)行比較或?qū)嵶C研究，這樣能做到同一年度的存量可比，但總被引頻次并不具備這種特性，比如M期刊1980年創(chuàng)刊，10年后1990年的總被引頻次是1500次，N期刊2002年創(chuàng)刊，同樣10年后2012年的總被引頻次是1300次，能否說(shuō)M期刊優(yōu)于N期刊呢？也不能，因?yàn)橐弥挥性谕晗啾炔啪哂锌杀刃?，不同年度的學(xué)術(shù)熱點(diǎn)不同，所以不同年度的總被引頻次相比就沒(méi)有任何意義。

當(dāng)然，創(chuàng)刊歷史越長(zhǎng)的期刊總被引頻次越高只是一種平均現(xiàn)象，即對(duì)同等水平的期刊而言是如此，總被引頻次受期刊的學(xué)術(shù)影響力、發(fā)文量、文獻(xiàn)老化因素等影響，但這些并不影響總被引頻次是存量指標(biāo)的本質(zhì)。

3 總被引頻次與期刊影響力關(guān)系的實(shí)證研究

3.1 總被引頻次與期刊影響力關(guān)系分析的原理

在科技評(píng)價(jià)中，學(xué)術(shù)成果影響力評(píng)價(jià)是其中非常重要的一個(gè)環(huán)節(jié)，關(guān)于影響力評(píng)價(jià)的指標(biāo)，比較重要的幾個(gè)是：總被引頻次、影響因子、5年影響因子、即年指標(biāo)、特征因子等，要分析總被引頻次的內(nèi)涵特征，必須將其與其他反映期刊影響力的指標(biāo)進(jìn)行對(duì)比分析，思路如下：

第一，總被引頻次與期刊影響力指標(biāo)的排序分析。比較總被引頻次的排序與其他期刊影響力指標(biāo)的排序情況，檢驗(yàn)他們是否具有某種一致性，這是典型的非參數(shù)檢驗(yàn)，因?yàn)槠诳墨I(xiàn)計(jì)量學(xué)指標(biāo)一般不服從正態(tài)分布。

Friedman檢驗(yàn)是1937年Friedman提出的檢驗(yàn)方法，也稱(chēng)為Friedman卡方檢驗(yàn)，是檢驗(yàn)K個(gè)總體的分布中心是否有差異的一種方法。其統(tǒng)計(jì)量計(jì)算公式如下：

公式（1）中，n為評(píng)價(jià)對(duì)象數(shù)，k為評(píng)價(jià)方法序號(hào)，R為秩序。

第二，總被引頻次與期刊影響力指標(biāo)的回歸分析。分析總被引頻次與其他期刊影響力指標(biāo)的相關(guān)情況，比較擬合優(yōu)度大小。

通過(guò)上述比較，如果發(fā)現(xiàn)其與某個(gè)指標(biāo)具有較高的一致性，那么總被引頻次的性質(zhì)可以和該指標(biāo)歸于一類(lèi)，否則的話(huà)，結(jié)合總被引頻次的定義，對(duì)其應(yīng)用范圍要進(jìn)行深入討論。

3.2 總被引頻次與期刊影響力指標(biāo)的非參數(shù)檢驗(yàn)

本文采用湯森路透JCR 2011年光學(xué)、土壤學(xué)、有機(jī)化學(xué)三個(gè)學(xué)科期刊評(píng)價(jià)數(shù)據(jù)為例來(lái)進(jìn)行研究，這樣可以提高研究的穩(wěn)健性。增強(qiáng)版JCR從2007年開(kāi)始公布，公布的期刊影響力指標(biāo)共有6個(gè)，分別是：總被引頻次（Total Cites，X1）、影響因子（Impact Factor，X2）、5 年影響因子（5-Year Impact Factor，X3）、即年指標(biāo)（Immediacy Index，X4）、特征因子分值（Eigenfactor Score，X5）、論文影響分值（Article Influence Score，X6）。JCR公布的2011年光學(xué)期刊77種、土壤學(xué)種33種、有機(jī)化學(xué)56種，由于部分期刊部分指標(biāo)數(shù)據(jù)為0，比如有些期刊辦刊歷史不長(zhǎng)，還沒(méi)有5年影響因子數(shù)據(jù)，將這些帶有缺失數(shù)據(jù)的期刊刪除，最終光學(xué)期刊剩下66種，土壤學(xué)期刊30種，有機(jī)化學(xué)期刊54種。

表1 總被引頻次的非參數(shù)檢驗(yàn)

分別對(duì)總被引頻次排序與影響因子、5年影響因子、即年指標(biāo)、特征因子分值、論文影響分值的排序進(jìn)行Friedman檢驗(yàn)，其結(jié)果如表1所示。

除了光學(xué)期刊總被引頻次與即年指標(biāo)在10%的水平上通過(guò)了統(tǒng)計(jì)檢驗(yàn)外，其他都沒(méi)有通過(guò)統(tǒng)計(jì)檢驗(yàn)，總體上不能拒絕總被引頻次與期刊影響力指標(biāo)排序沒(méi)有顯著不同的原假設(shè)，說(shuō)明總被引頻次指標(biāo)在反映期刊影響力水平上與其他文獻(xiàn)計(jì)量指標(biāo)有某種程度的一致性。

總體上，非參數(shù)檢驗(yàn)是一種相對(duì)粗糙的檢驗(yàn)，以光學(xué)學(xué)科總被引頻次排名前20的期刊為例（見(jiàn)表2），總被引排名第一的期刊，影響因子和5年影響因子排名第8；總被引頻次排名第20的期刊，影響因子排名第4；影響因子、5年影響因子、即年指標(biāo)、論文影響分值均為第1的期刊，總被引頻次排名為11?？傮w上，從排序的非參數(shù)檢驗(yàn)來(lái)分析總被引頻次與期刊影響力的關(guān)系特點(diǎn)比較粗糙，需要進(jìn)一步進(jìn)行深入分析。

3.3 總被引頻次與期刊影響力指標(biāo)的回歸分析

對(duì)三類(lèi)學(xué)科的期刊，分別以總被引頻次作為因變量，影響因子、5年影響因子、即年指標(biāo)、特征因子、論文影響分值作為自變量進(jìn)行回歸，擬合優(yōu)度如表3所示。對(duì)光學(xué)期刊而言，總被引頻次除了和特征因子相關(guān)系數(shù)較高外（0.872），和其他期刊影響力指標(biāo)相關(guān)系數(shù)均不高，擬合優(yōu)度都在0.5以下；土壤學(xué)期刊類(lèi)似，除了和特征因子相關(guān)系數(shù)較高外（0.814），其他擬合優(yōu)度均在0.5以下；化學(xué)期刊總被引頻次和其他影響力指標(biāo)的擬合優(yōu)度均在0.5以下。

從平均值看，光學(xué)期刊的擬合優(yōu)度均值為0.193，土壤學(xué)期刊的擬合優(yōu)度為0.446，化學(xué)期刊的擬合優(yōu)度為0.088，均在0.5以下，可見(jiàn)總被引頻次與其他期刊影響力指標(biāo)之間從數(shù)據(jù)關(guān)系的角度也不具備較高的相關(guān)性，難以作為期刊影響力指標(biāo)。

表2 總被引頻次前20種光學(xué)期刊

表3 總被引頻次與期刊影響力指標(biāo)的擬合優(yōu)度

4 結(jié)論

4.1 總被引頻次不能很好地反映年度期刊影響力

總被引頻次指標(biāo)構(gòu)成總體比較簡(jiǎn)單，而且還沒(méi)有除去自引因素。通過(guò)JCR2011光學(xué)、土壤學(xué)、化學(xué)學(xué)科期刊的實(shí)證研究表明，總被引頻次與期刊其他影響力指標(biāo)的相關(guān)性很弱，并沒(méi)有反映出期刊影響力的某種獨(dú)特的規(guī)律或新的內(nèi)涵。如果將總被引頻次中有限的期刊影響力因素去除，那么總被引頻次還能代表什么呢？可能只剩下反映期刊辦刊歷史的某種因素，問(wèn)題是如果對(duì)期刊辦刊歷史進(jìn)行某種考察，直接根據(jù)辦刊時(shí)間判斷即可，也用不到總被引頻次指標(biāo)。

4.2 總被引頻次難以和科技評(píng)價(jià)的時(shí)間同步

在科技評(píng)價(jià)中，一般都是流量評(píng)價(jià)，很少用到存量評(píng)價(jià)。在存量評(píng)價(jià)中，應(yīng)該采用存量指標(biāo)，同樣在流量評(píng)價(jià)中，也應(yīng)該采用流量指標(biāo)?？偙灰l次作為存量指標(biāo)，被廣泛應(yīng)用在流量評(píng)價(jià)中，從邏輯上是存在問(wèn)題的，在時(shí)間上不能做到同步，因此本質(zhì)上是不可比的。

4.3 總被引頻次的適用范圍較窄

在單指標(biāo)評(píng)價(jià)中，對(duì)于一些辦刊歷史相近的期刊，或者從事科研工作時(shí)間差不多的學(xué)者，總被引頻次是有一定意義的，可以大致反映期刊或?qū)W者的影響力。在指標(biāo)體系綜合評(píng)價(jià)中，總被引頻次只有在以存量為目的的評(píng)價(jià)中才具有意義，當(dāng)然存量評(píng)價(jià)必須以存量指標(biāo)作為基礎(chǔ)，比如專(zhuān)利數(shù)必須是累計(jì)專(zhuān)利數(shù)，研發(fā)經(jīng)費(fèi)投入必須是累計(jì)研發(fā)經(jīng)費(fèi)投入，從目前的實(shí)踐看，這方面的評(píng)價(jià)并不多。

1 Rousseau R，Yang L，Yue T.A discussion of Prathap’s h2-index for institutional evaluation with an application in the field of HIV infection and therapy.Journal of Informetrics，2010，4（2）：175-184

2 李曉紅，于善清.慎重使用“影響因子”評(píng)價(jià)科技期刊.情報(bào)科學(xué)，2005，（1）：75-77

3 李曉萍，姜瑾秋，邢寶山等.影響因子和總被引頻次在期刊評(píng)價(jià)中的作用.深圳中西醫(yī)結(jié)合雜志，2006，（4）：270-272

4 胡興戎，王晴.SCI-E收錄口腔醫(yī)學(xué)類(lèi)期刊情況及引文評(píng)價(jià)參數(shù)分析.中國(guó)科技期刊研究，2010，21（4）：545-548

5 王群英，林耀明.影響因子、總被引頻次與期刊載文量的關(guān)系研究——以資源、生態(tài)、地理方面的8個(gè)期刊為例.中國(guó)科技期刊研究，2012，23（1）：76-79