■俞立平 宋夏云

1 引言

學(xué)術(shù)期刊的質(zhì)量和水平是一個國家或地區(qū)科技創(chuàng)新實(shí)力的綜合體現(xiàn)，期刊評價對于提高辦刊質(zhì)量，調(diào)動廣大科技工作者的積極性，促進(jìn)學(xué)術(shù)公平具有十分重要的意義。由于單指標(biāo)評價提供的信息量畢竟有限，因此指標(biāo)體系評價在學(xué)術(shù)期刊評價中得到了廣泛的應(yīng)用。迄今為止，指標(biāo)體系綜合評價方法已經(jīng)有幾十種，由于不同評價方法的原理不同，評價結(jié)果也不相同，因而評價方法的選取成為學(xué)術(shù)期刊評價的首要問題。

期刊多屬性評價方法大致上可以分為兩類，一類是加權(quán)匯總類評價方法，其原理是通過不同的方法得到權(quán)重，然后將評價指標(biāo)標(biāo)準(zhǔn)化后進(jìn)行加權(quán)匯總，典型的有層次分析法、熵權(quán)法、離散系數(shù)法等。另一類是非線性評價方法，評價結(jié)果與評價指標(biāo)并不是精確的線性關(guān)系，而是相關(guān)關(guān)系。該類方法數(shù)量更多，典型的有主成分分析、因子分析、TOPSIS、數(shù)據(jù)包絡(luò)分析、粗糙集等。非線性評價方法眾多，在學(xué)術(shù)期刊評價中得到了廣泛的應(yīng)用，但是對于如何選取非線性評價方法，以及對非線性評價方法的評價結(jié)果如何檢驗(yàn)卻缺乏深入的研究。

在采用多屬性評價方法對期刊進(jìn)行評價領(lǐng)域，國外學(xué)者M(jìn)cCabe等[1]從作者、讀者、期刊三方面構(gòu)建期刊評價模型，將投稿作者獲益度、論文隨機(jī)質(zhì)量、編輯審稿能力幾個指標(biāo)應(yīng)用于OA期刊質(zhì)量評價。Cho[2]利用Citabase上的元數(shù)據(jù)和網(wǎng)絡(luò)計(jì)量數(shù)據(jù)來分析，構(gòu)建了一個以被引頻次和點(diǎn)擊率為主要指標(biāo)的新型復(fù)合指標(biāo)體系，用來評價OA論文質(zhì)量和作者學(xué)術(shù)成就。Farrokh等[3]認(rèn)為影響因子應(yīng)該給予不同權(quán)重，被引用的期刊與引用期刊屬于同一檔次權(quán)重為1，被引用的期刊低于引用期刊檔次的權(quán)重大于1，被引用的期刊高于引用期刊檔次的權(quán)重小于1。國內(nèi)學(xué)者的研究相對較多，主要集中在采用不同的方法對不同學(xué)科的期刊進(jìn)行評價。

學(xué)術(shù)界在評價方法的特點(diǎn)與選擇領(lǐng)域的研究并不多。趙星等[4]根據(jù)不同人文社科期刊h指數(shù)與CSSCI排名的Spearman等級相關(guān)分析結(jié)果，發(fā)現(xiàn)13個學(xué)科相關(guān)，但在馬克思主義和民族學(xué)沒有得到證實(shí)。俞立平[5]將標(biāo)準(zhǔn)TOPSIS的2次冪推廣到其他冪次并分別進(jìn)行評價，同時比較了不同評價結(jié)果的一致性、區(qū)分度、打分傾向、數(shù)據(jù)分布特點(diǎn)等。辛督強(qiáng)[6]認(rèn)為采用主成分分析法不僅可以解決期刊綜合評價中指標(biāo)的相關(guān)性和權(quán)重選取問題，還可以有效消除自引過高導(dǎo)致的影響力評價失真問題。

總體上，國外研究側(cè)重采用單指標(biāo)和一些復(fù)合指標(biāo)對期刊進(jìn)行評價，采用指標(biāo)體系進(jìn)行評價的不多，國內(nèi)學(xué)者則采用各種多屬性評價方法對期刊進(jìn)行評價，涉及的評價方法有主成分分析、因子分析、TOPSIS、模糊數(shù)學(xué)、灰色關(guān)聯(lián)分析、秩和比、層次分析法等等。由于評價方法眾多，在評價方法的選擇上，往往僅僅強(qiáng)調(diào)作者自己所采用評價方法的優(yōu)點(diǎn)，缺乏對評價方法進(jìn)行檢驗(yàn)的研究。

本文提出一種非線性評價方法選取的檢驗(yàn)思路，其原理是首先進(jìn)行評價，然后將評價結(jié)果作為因變量，標(biāo)準(zhǔn)化后的評價指標(biāo)作為自變量進(jìn)行回歸，如果全部回歸系數(shù)為正，說明評價方法總體沒有問題，如果回歸系數(shù)存在負(fù)數(shù)，則進(jìn)一步采用偏最小二乘法進(jìn)行回歸，一旦發(fā)現(xiàn)關(guān)鍵指標(biāo)的回歸系數(shù)仍然為負(fù)，說明存在“正向指標(biāo)增加，評價結(jié)果減少”的現(xiàn)象，則必須淘汰該評價方法。由于非線性評價方法眾多，本文以期刊評價中應(yīng)用較多的主成分分析為例加以說明。

2 研究方法

2.1 期刊評價方法選取的影響因素

在期刊評價中，評價指標(biāo)體系的一些特點(diǎn)決定了評價方法的選擇和檢驗(yàn)，主要體現(xiàn)在以下幾個方面:

第一，評價指標(biāo)眾多。比如總被引頻次、影響因子、即年指標(biāo)、被引半衰期、引用半衰期、學(xué)科影響指標(biāo)、學(xué)科擴(kuò)散因子、基金論文比、地區(qū)分布數(shù)、海外論文比、特征因子、H指數(shù)、ACIF等等，數(shù)量有幾十種。由于每個指標(biāo)的側(cè)重點(diǎn)和特點(diǎn)不同，這樣，采用指標(biāo)體系進(jìn)行評價成為一種能夠全面反映期刊水平的有效方法。

第二，評價指標(biāo)相關(guān)度較高。比如總被引頻次與影響因子、5年影響因子、即年指標(biāo)之間由于均是被引性質(zhì)的指標(biāo)，往往存在較高程度的相關(guān)；期刊的學(xué)術(shù)質(zhì)量越高，被引水平也越高，這樣h指數(shù)、特征因子與期刊的被引指標(biāo)之間相關(guān)度也比較高。由于評價指標(biāo)相關(guān)程度較高現(xiàn)象的存在，導(dǎo)致非線性評價方法在進(jìn)行評價結(jié)果與評價指標(biāo)回歸時，由于多重共線性而產(chǎn)生回歸系數(shù)估計(jì)值偏誤、t檢驗(yàn)值偏小、回歸符號出錯等現(xiàn)象。

第三，多屬性評價方法眾多。雖然每種評價方法均有其優(yōu)點(diǎn)和不足，但總體上，多屬性評價方法中絕大多數(shù)均可用于期刊評價，因而會存在評價方法的選擇問題，即采用什么樣的標(biāo)準(zhǔn)對多屬性評價方法進(jìn)行選取。

2.2 非線性評價方法選取的檢驗(yàn)原理

通常情況下，在對評價指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理后，所有的反向指標(biāo)已經(jīng)正向化，這樣對所有指標(biāo)而言，評價指標(biāo)與評價結(jié)果應(yīng)該正相關(guān)。若評價結(jié)果為Y，評價指標(biāo)為Xi，則他們的關(guān)系是:

公式（1）中，c1、c2…cn分別為X1、X2…Xn的回歸系數(shù)，c1、c2…cn均大于0，或者說，c1、c2…cn某種程度上相當(dāng)于非線性評價方法中各指標(biāo)的權(quán)重，反映了不同指標(biāo)的重要性。

然而，由于多重共線性的存在，c1、c2…cn的回歸系數(shù)可能存在小于0的情況，并且出現(xiàn)t檢驗(yàn)值偏小，回歸系數(shù)估計(jì)不準(zhǔn)的現(xiàn)象，所以采用傳統(tǒng)回歸作為判斷非線性評價方法選取的標(biāo)準(zhǔn)是不合適的。

那么如何克服多重共線性問題呢？傳統(tǒng)的方法主要有兩種，一種是采用嶺回歸，另一種是采用偏最小二乘法。

嶺回歸在數(shù)據(jù)量較少的情況下是不適用的，在期刊評價中，經(jīng)常存在期刊數(shù)量少于評價指標(biāo)的情況，比如一些期刊數(shù)量較少的學(xué)科。此外，嶺回歸是一種有偏的估計(jì)方法，通過放棄最小二乘法的無偏性，以損失部分信息，降低精度為代價來解決多重共線性問題。而偏最小二乘法在數(shù)據(jù)量較少、數(shù)據(jù)分布有偏、多重共線性比較嚴(yán)重的情況下?lián)碛休^大的優(yōu)勢。

偏最小二乘法（Partial Least Squares，PLS）是Wold等[7]提出的一種新型的多元統(tǒng)計(jì)數(shù)據(jù)分析方法，它結(jié)合了傳統(tǒng)多元回歸、典型相關(guān)分析、主成分分析法的優(yōu)點(diǎn)，在回歸建模中采用了信息綜合與篩選技術(shù)，在解釋變量多重相關(guān)性及變量個數(shù)多于觀察個體時，是一種較好的新型數(shù)據(jù)分析方法。

對于自變量向量X和因變量向量Y，根據(jù)主成分分析的原理，首先從X中提取成分t1，從Y中提取成分u1，同時t1和u1的變異方差達(dá)到最大，即

考慮到回歸建模的需要，又需要t1對u1有最大解釋能力，根據(jù)典型相關(guān)分析的原理，要求t1和u1的相關(guān)系數(shù)最大，即:

在考慮以上兩方面因素的同時，偏最小二乘法以t1和u1協(xié)方差最大作為提取條件，即:

t1和u1提取后，分別進(jìn)行X對t1和Y對t1進(jìn)行回歸，如果回歸方程達(dá)到PRESS精度要求，則算法終止，否則將從X提取t1后的殘余數(shù)據(jù)以及Y提取u1后的殘余數(shù)據(jù)中繼續(xù)提取t2和u2，直到達(dá)到PRESS精度為止。由于t和u是彼此正交的，因而較好地解決了多重共線性問題。

如果最終從X中提取了m個成分t1、t2…tm，從Y中提取了q個成分u1、u2…um，則進(jìn)行Yk對于t1、t2…tm的回歸，最后再將其轉(zhuǎn)換為Yk對于x1、x2…xm的方程。

對于非線性評價方法選取的檢驗(yàn)方法如下:

第一步，根據(jù)期刊評價目的，慎重選取期刊評價指標(biāo)。

第二步，對評價指標(biāo)進(jìn)行標(biāo)準(zhǔn)化，包括對反向指標(biāo)進(jìn)行正向化處理，然后選取某種非線性評價方法進(jìn)行評價，得到評價結(jié)果。

第三步，用評價結(jié)果作為因變量，標(biāo)準(zhǔn)化后的評價指標(biāo)作為自變量進(jìn)行回歸，如果回歸系數(shù)均為正值，則檢驗(yàn)結(jié)束，說明評價方法選取沒有問題。

第四步，如果回歸系數(shù)存在負(fù)數(shù)，則采用偏最小二乘法進(jìn)行估計(jì)，繼續(xù)檢查回歸系數(shù)的符號，如果全部為正，檢驗(yàn)結(jié)束。

第五步，如果回歸系數(shù)存在負(fù)數(shù)，則對回歸系數(shù)為負(fù)的評價指標(biāo)進(jìn)行深入分析，質(zhì)疑選取該評價指標(biāo)的合理性，如果指標(biāo)選取沒有問題，則說明該非線性評價方法不能采用，必須更換評價方法。

第六步，如果評價指標(biāo)有問題，則刪除或更換成其他指標(biāo)，重復(fù)第一步到第五步。

3 數(shù)據(jù)

本文采用湯森路透JCR 2011年光學(xué)期刊評價數(shù)據(jù)為例來進(jìn)行研究，增強(qiáng)版JCR從2007年開始公布，共有7個指標(biāo)，分別是:總被引頻次（Total Cites，X1）、影響因子（Impact Factor，X2）、5年影響因子（5-Year Impact Factor，X3）、即年指標(biāo)（Immediacy Index，X4）、被引半衰期（Cited Half-Life，X5）、特征因子分值（Eigenfactor Score，X6）、論文影響分值（Article Influence Score，X7）。這些指標(biāo)中，除了被引半衰期是反向指標(biāo)外，其他指標(biāo)均是正向指標(biāo)，在評價的時候需要對這些指標(biāo)統(tǒng)一進(jìn)行標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化后所有指標(biāo)均為正向指標(biāo)，并且所有指標(biāo)的極大值均為100。

2011年JCR光學(xué)期刊共有77種，由于部分期刊部分指標(biāo)數(shù)據(jù)為0，主要原因是有的期刊剛剛新辦，還沒有數(shù)據(jù)，因此將其刪除，最終剩下66種期刊。

表1 標(biāo)準(zhǔn)化評價指標(biāo)的相關(guān)系數(shù)

標(biāo)準(zhǔn)化后變量間的相關(guān)系數(shù)如表1所示。相關(guān)系數(shù)最高的是影響因子與5年影響因子，相關(guān)系數(shù)高達(dá)0.997，此外5年影響因子與論文影響分值相關(guān)系數(shù)為0.995，影響因子與論文影響分值相關(guān)系數(shù)為0.991，總被引頻次與特征因子相關(guān)系數(shù)為0.934，均處于較高水平，期刊評價指標(biāo)的相關(guān)性比較高。

4 實(shí)證結(jié)果

4.1 主成分分析評價

主成分分析是一種比較有代表性的多屬性評價方法，它能較好地處理評價指標(biāo)的相關(guān)性問題，在期刊評價中得到了廣泛的應(yīng)用，因此本文選取主成分分析法作為非線性評價方法的代表來進(jìn)行研究。

采用主成分分析首先必須進(jìn)行KMO檢驗(yàn)和Bartlett的檢驗(yàn)，用來檢驗(yàn)選取主成分分析方法的合理性，結(jié)果KMO檢驗(yàn)值為0.663，大于0.5的經(jīng)驗(yàn)值，Bartlett卡方檢驗(yàn)值為803.163，相伴概率為0.000，說明從主成分分析法適用的角度，選取該方法沒有問題。

采用主成分進(jìn)行評價，方差貢獻(xiàn)率大于1的主成分共有3個，第一主成分占49.90%，第二主成分占16.09%，第三主成分占14.61%，3個主成分累計(jì)占90.59%，因此選取3個主成分進(jìn)行評價，由于評價結(jié)果存在負(fù)值，因此采用全部結(jié)果加上極差的方法進(jìn)行正數(shù)轉(zhuǎn)換，然后再除以極大值后乘以100進(jìn)行標(biāo)準(zhǔn)化，由于篇幅所限，前30種期刊的評價結(jié)果如表2所示。

表2 主成分評價前30種期刊

4.2 主成分法選取的檢驗(yàn)

首先采用傳統(tǒng)回歸對主成分分析進(jìn)行初步檢驗(yàn)，自變量為標(biāo)準(zhǔn)化以后的指標(biāo)值，因變量為主成分評價結(jié)果標(biāo)準(zhǔn)化后的值，結(jié)果如下:

所有變量均通過了統(tǒng)計(jì)檢驗(yàn)，擬合優(yōu)度R2較高，為0.999，接近1，但是標(biāo)準(zhǔn)化后的被引半衰期的回歸系數(shù)為負(fù)數(shù)，也就是說，光學(xué)期刊被引用論文越新，期刊質(zhì)量越差，明顯不符常理，主要原因是多重共線性引起的。進(jìn)一步進(jìn)行多重共線性檢驗(yàn)，結(jié)果如表3所示。影響因子、5年影響因子、論文影響分值的方差膨脹系數(shù)均遠(yuǎn)遠(yuǎn)大于10。

表3 共線性檢驗(yàn)

在這種情況下，進(jìn)一步采用偏最小二乘法進(jìn)行估計(jì)，當(dāng)自變量選取3個主成分時，PRESS檢驗(yàn)值達(dá)到最小，此時，7個評價指標(biāo)的回歸系數(shù)依次為1.058、1.096、1.088、0.945、0.594、1.148、1.064，均大于0，說明偏最小二乘法很好地解決了多重共線性導(dǎo)致回歸系數(shù)為負(fù)這個問題，也就是說采用主成分分析進(jìn)行期刊評價在方法選取上是并沒有問題的。

表4為選取1～5個主成分時偏最小二乘法的回歸結(jié)果，總體上回歸結(jié)果比較穩(wěn)健，說明了偏最小二乘法的優(yōu)越性。

表4 1-5個主成分下的偏最小二乘法估計(jì)

5 結(jié)論

5.1 PLS是篩選非線性評價方法的一種有效手段

期刊評價方法以非線性評價法為主，長期以來，對期刊非線性評價方法的選取沒有客觀公認(rèn)的方法，一般只要符合評價方法本身的前提條件即可，而這相對容易達(dá)到，很多非線性評價方法甚至沒有嚴(yán)格的使用前提條件，這其實(shí)是遠(yuǎn)遠(yuǎn)不夠的。偏最小二乘法本著正向評價指標(biāo)值增加、評價結(jié)果一定增加的標(biāo)準(zhǔn)對評價方法進(jìn)行檢驗(yàn)，開辟了一種新的思路。此外，偏最小二乘法完全克服了評價指標(biāo)之間的相關(guān)性導(dǎo)致的多重共線性的影響，在評價期刊數(shù)量較少、評價指標(biāo)較多的情況下一樣適用，其應(yīng)用具有相當(dāng)?shù)膹V泛性。

正向評價指標(biāo)值增加，評價結(jié)果增加是一個隱性公理，只有在極少數(shù)情況下才會出現(xiàn)異常，何況不采用偏最小二乘法進(jìn)行檢驗(yàn)根本無法發(fā)現(xiàn)，因而容易被忽視，從而導(dǎo)致非線性評價方法的誤用，這是需要值得重視和改進(jìn)的。

5.2 PLS同樣可以作為指標(biāo)篩選的方法

凡事都是相對的，在采用偏最小二乘法進(jìn)行檢驗(yàn)時，如果發(fā)現(xiàn)某個期刊正向指標(biāo)回歸系數(shù)為負(fù)數(shù)，一方面可能是評價方法選取有問題，另一方面也有可能是指標(biāo)選取有問題。對于傳統(tǒng)的期刊影響力指標(biāo)，一般不會有這個現(xiàn)象，更多的是一些與期刊質(zhì)量關(guān)聯(lián)度不太好的指標(biāo)，比如海外論文比、地區(qū)分布數(shù)等，在這種情況下，如果回歸系數(shù)出現(xiàn)負(fù)數(shù)，還要考慮到評價指標(biāo)自身不能很好地反映期刊質(zhì)量，此時就要刪除該指標(biāo)，并不一定是評價方法的選取問題，要具體問題具體分析。

5.3 PLS可以推廣到所有非線性評價方法的篩選

本文選取主成分分析法為例進(jìn)行說明，其實(shí)用偏最小二乘法來進(jìn)行評價方法的選取可以推廣到所有非線性評價方法，具有十分廣闊的應(yīng)用前景。主要原因是，線性評價方法評價指標(biāo)與評價結(jié)果是相等關(guān)系，而非線性評價方法評價指標(biāo)與評價結(jié)果是相關(guān)關(guān)系。從統(tǒng)計(jì)學(xué)回歸的角度，本文回歸仍然是一種“線性”回歸，當(dāng)然線性評價與線性回歸并不是一回事。需要說明的是，加權(quán)匯總類線性評價方法是不能采用本文的方法進(jìn)行檢驗(yàn)的，需要探索其他的方法。

1 Mark JMccabe，Christopher M Snyder.Amodal of academic journal quality with applications to Open access journals.[2011-06-11].http://citeseerx.ist.psu.edu/viewdoc/download？doi=10.1.1.116.7562&rep=repl&type=pdf

2 Cho SR.New evaluation indexes for articles and authors academic achievements based on Open Access Resources.Scientometrics，2008，77（1）:91-112

3 Farrokh Habibzadeh，Mahboobeh Yadollahie.Journal weighted impact factor:A proposal.JournalofInformetrics，2008，2（2）:164-172

4 趙星，高小強(qiáng)，周春雷.h指數(shù)在人文社會學(xué)科中的評價表征能力:期刊視角的實(shí)證.情報(bào)學(xué)報(bào)，2010，29（6）:1125-1130

5 俞立平，潘云濤，武夷山.TOPSIS在期刊評價中的應(yīng)用及在高次冪下的推廣.統(tǒng)計(jì)研究，2012，29（12）:96-100

6 辛督強(qiáng).基于主成分分析的13種力學(xué)類中文期刊綜合評價.中國科技期刊研究，2012，23（2）:224-227

7 Wold S，Martens H，Wold H.Themultivariate calibration problem in chemistry solved By the PLSmethod.Heidelberg:Springer-Verlag，1983:286-293