俞立平

(浙江工商大學 管理工程與電子商務學院，浙江 杭州 310018)

一、引言

在科技評價中，即使是在等權(quán)重的情況下，由于標準化后評價指標的均值并不相等，導致評價得分中不同指標的重要性也不相同，即評價指標具有“自然權(quán)重”。計算自然權(quán)重的方法是，在不賦權(quán)評價的情況下，分別計算各指標均值占評價結(jié)果均值的比重。以學術期刊評價為例，JCR 2015經(jīng)濟學期刊中，指標經(jīng)過標準化處理后，影響因子的均值為18.91，總被引頻次的均值為5.82，假設就采用這2個指標進行等權(quán)重評價，即直接相加，那么評價結(jié)果的均值就是24.73，影響因子均值占總得分的76.47%，而總被引頻次均值僅占23.53%。也就是說，由于評價指標的自然權(quán)重問題，導致影響因子與總被引頻次的權(quán)重分別為0.765、0.235，而不是人們認為的0.5、0.5，影響因子的權(quán)重會高很多(表1)。

在科技評價中，自然權(quán)重問題普遍存在，尤其在學術期刊評價中這個問題更為突出，但并沒有引起足夠的重視。主要原因是學術期刊評價指標數(shù)據(jù)絕大多數(shù)并不服從正態(tài)分布。Vinkler證明影響因子并不是論文的真實被引量，僅僅可作為被引幾率的測度指標，認為引文分布具有右偏性[1]。Seglen發(fā)現(xiàn)引文分析數(shù)據(jù)具有冪律分布特征，屬于典型的偏態(tài)分布[2]。Adler也發(fā)現(xiàn)引用數(shù)據(jù)分布是右偏的，服從冪律法則[3]。在學術期刊不服從正態(tài)分布的情況下，為了評價進行的指標數(shù)據(jù)標準化處理，無論是正向指標還是反向指標，大多數(shù)情況下會采用線性標準化方法，標準化指標的數(shù)據(jù)分布依然不會改變，即標準化指標同樣不服從正態(tài)分布，這樣標準化指標均值相等的可能性極小，自然權(quán)重問題就會很突出。

在JCR2015經(jīng)濟學期刊中，根據(jù)Jarque-Bera正態(tài)分布檢驗結(jié)果，所有的評價指標均不服從正態(tài)分布。根據(jù)標準化數(shù)據(jù)計算的自然權(quán)重，最大的是影響因子百分位，權(quán)重高達0.288，而最小的為總被引頻次，權(quán)重僅為0.030。也就是說，影響因子百分位由于均值為55.059，在評價中的實際重要性自然很大，而總被引頻次的均值僅為5.824，在評價結(jié)果中幾乎忽略不計。

表1 JCR 2015經(jīng)濟學期刊自然權(quán)重與數(shù)據(jù)特點

自然權(quán)重問題是個隱含問題，會嚴重影響科技評價的主觀或客觀賦權(quán)工作，導致科技評價賦權(quán)混亂，嚴重降低科技評價質(zhì)量。自然權(quán)重問題是科技評價中的基礎理論問題，分析其產(chǎn)生的原因以及對評價結(jié)果的影響，進而提出改進措施，不僅有利于豐富評價理論，而且對于科技評價實踐具有重要的應用價值，可以降低評價系統(tǒng)誤差，提高評價質(zhì)量，因而具有重要的意義。

二、文獻綜述

在評價中，權(quán)重的確定方法一直是研究熱點，也是評價工作的首要問題。第一類是主觀賦權(quán)方法，Dalkey等創(chuàng)立了德爾菲法，從而避免集體討論存在的屈從于權(quán)威或盲目服從多數(shù)的缺陷，在新產(chǎn)品市場需求和技術預測等領域得到了普遍應用[4]。Saaty應用網(wǎng)絡系統(tǒng)理論和多目標綜合評價方法，創(chuàng)立了層次分析法(AHP)，從而為多準則、多目標或無結(jié)構(gòu)特性的復雜決策和評價問題提供了相對簡便的方法[5]。Ramanathan等在假設專家之間相互熟識的基礎上，通過專家之間的互評來確定專家權(quán)重[6]。陸海琴、舒立認為專家權(quán)重應該由權(quán)威性權(quán)重、熟悉度權(quán)重和公正性權(quán)重等三部分構(gòu)成，并且詳細討論了這三類權(quán)重的設計思路及總權(quán)重的計算模式[7]。鐘生艷、魏巍等運用層次分析法確定權(quán)重，對醫(yī)院科技能力進行評價[8]。許海云等依據(jù)序關系轉(zhuǎn)換權(quán)重的原理和算法，結(jié)合專家建議得出各文獻類型的相對序關系，并進一步轉(zhuǎn)換為相應的權(quán)重值，最終形成基于期刊文獻類型的序關系轉(zhuǎn)換權(quán)重的影響因子[9]。何育靜、夏永祥采用主觀賦權(quán)進行產(chǎn)城融合評價[10]。

第二類是客觀賦權(quán)方法。Kahneman等認為決策者概率權(quán)重函數(shù)遵循非線性的形式，給出了一種概率權(quán)重函數(shù)表達式，并對其中的參數(shù)取值進行了估計[11]。Meymandpour等基于信息論計算關聯(lián)數(shù)據(jù)網(wǎng)絡中資源(節(jié)點和關系)的信息量，以此來衡量資源在領域內(nèi)的重要性[12]。Gennert等構(gòu)造了一個凸性損失函數(shù)，依據(jù)能避免極端大或極端小權(quán)重的最小化最大值原則，通過求極值得出一個特殊的最優(yōu)權(quán)重向量[13]。張立軍、鄒琦以路徑分析方法為基礎建立指標權(quán)重，構(gòu)建基于路徑系數(shù)權(quán)重體系的科技成果獎勵評價模型[14]。周志遠、沈固朝基于粗糙集理論確定權(quán)重，認為該方法不需要任何先驗信息，即可完成權(quán)重計算，可使情報分析結(jié)果更加客觀、有效[15]。熊文濤、齊歡等針對兩類利用離差計算屬性客觀權(quán)重的不足，提出了一種新的基于離差最大化的客觀權(quán)重確定模型[16]。

第三類是主觀與客觀相結(jié)合的賦權(quán)方法。賴敏、王廣生采用專家調(diào)研法和層次分析法相結(jié)合確定電力企業(yè)科技項目后評估指標權(quán)重系數(shù)[17]。張立軍、袁能文在分析專家權(quán)威性和可信度測量方法的基礎上，提出一種同時考慮變異系數(shù)權(quán)重與專家權(quán)重的科技成果綜合評價模型[18]。何倩等采用主觀賦權(quán)(專家打分法、對比排序法、層次分析法)和客觀賦權(quán)(標準離差法、熵權(quán)法、CRITIC 法)相結(jié)合的方法制定科技實力指標權(quán)重[19]。王瑛、李菲采用聚類分析法將專家的動態(tài)綜合評價轉(zhuǎn)換為靜態(tài)綜合評價，引入橫向拉開檔次法對各指標客觀賦權(quán)，結(jié)合指標主觀權(quán)重，運用數(shù)學規(guī)劃法得到指標的集成權(quán)重[20]。鐘賽香等對7種指標權(quán)重客觀賦值方法，采用“異同比較”，分析不同方法在不同參數(shù)設置下和聚類與否情況下的權(quán)重值、評價值和評價序的變化特征與分布規(guī)律，對JCR 中 70 種人文地理期刊進行排序分析[21]。夏維力、丁珮琪使用主、客觀方法對指標賦權(quán)，主觀方法選用專家德爾菲法和層次分析法，客觀方法選用標準離差法、熵權(quán)法和 CRITIC法[22]。

關于權(quán)重沖突與本源問題研究，傅蓉認為受考核指標的統(tǒng)計特征、計分方式等影響，平衡計分卡考核指標的結(jié)果權(quán)重與初始設定權(quán)重相比出現(xiàn)明顯的標準差和均值權(quán)重不一致，這種不一致影響考評排名和分數(shù)，從而扭曲考核的激勵效果[23]。俞立平等以CSTPC數(shù)據(jù)庫醫(yī)學學術期刊為例，首先應用客觀評價方法進行評價，然后通過回歸分析或排序選擇模型估算出部分非直接賦權(quán)的客觀評價法的權(quán)重，發(fā)現(xiàn)不同客觀評價方法對相同指標的權(quán)重差異，單純采用客觀評價法進行評價結(jié)果是不可靠的[24]。俞立平、劉愛軍采用傳統(tǒng)回歸和嶺回歸計算模擬權(quán)重進而對TOPSIS權(quán)重的單調(diào)性進行檢驗，發(fā)現(xiàn)TOPSIS并不具有權(quán)重單調(diào)性[25]。

從目前的研究看，學術界在權(quán)重的分類、權(quán)重的賦值方法、現(xiàn)有評價方法的權(quán)重優(yōu)化等領域研究成果極為豐富，主觀賦權(quán)方法較少，客觀賦權(quán)方法領域的成果較多。近年來，在評價應用中，主觀與客觀賦權(quán)方法相結(jié)合得到了廣泛的應用，因為它能綜合主觀與客觀賦權(quán)評價的優(yōu)點。但是關于評價指標自然權(quán)重問題的研究，學術界關注較少，主要原因有以下幾個方面：

第一，現(xiàn)實生活中，盡管一些領域數(shù)據(jù)不服從正態(tài)分布，但是很多領域評價指標往往服從正態(tài)分布，所以大多數(shù)評價指標的均值往往比較接近，所以自然權(quán)重問題不嚴重，但只要存在這個問題，也要進行糾正，這是統(tǒng)計學方法不夠優(yōu)化的體現(xiàn)。

第二，在評價對象較少的情況下，由于區(qū)分度較大，即使不考慮自然權(quán)重導致最終的實際權(quán)重發(fā)生了扭曲，但對評價結(jié)果排序的影響不至于太大，從而掩蓋了這個問題。

第三，一些需要賦權(quán)的非線性評價方法，其方法本身就存在權(quán)重扭曲問題，即由于采用非線性數(shù)學方法進行評價，導致權(quán)重也是非線性的，發(fā)生了變化，同樣掩蓋了自然權(quán)重問題。

第四，自然權(quán)重問題是個隱含問題，容易被熟視無睹。

本文在對自然權(quán)重進行深入分析的基礎上，提出自然權(quán)重、實際權(quán)重的概念以及測度方法，并采用一種新的均值標準化方法來解決這個問題，論文以JCR2015經(jīng)濟學期刊為例，舉例說明其原理與解決方法。

三、設計權(quán)重、自然權(quán)重與實際權(quán)重

(一)幾個權(quán)重的關系

以線性加權(quán)匯總評價為例，其計算公式為：

Ci=ω1X1+ω2X2+…+ωnXn

(1)

其中，ωj表示權(quán)重，Xj是標準化后的評價指標，Ci表示評價得分。ωj可以是主觀賦權(quán)，也可以是客觀賦權(quán)，或者主觀與客觀相結(jié)合賦權(quán)，這是傳統(tǒng)意義上的權(quán)重，為了以示區(qū)別，將該權(quán)重稱為設計權(quán)重，傅榮將該權(quán)重稱為初始權(quán)重[23]，這里將其用ωD表示。

自然權(quán)重ωS是假設設計權(quán)重相等的情況下，各指標的相對重要性，可以用各指標的均值或匯總值所占比重表示：

(2)

實際權(quán)重是在評價結(jié)果中，各指標實際均值或者匯總值所占的比重，傅榮稱其為結(jié)果權(quán)重[23]，這里用ωR表示：

(3)

很明顯，設計權(quán)重ωD、自然權(quán)重ωS、實際權(quán)重ωR并不相等。

(二)自然權(quán)重的修正

在線性評價中，只有保證實際權(quán)重與設計權(quán)重相等，才能真正發(fā)揮權(quán)重在評價中的作用。由于自然權(quán)重的存在，或者說由于評價指標數(shù)據(jù)的差異性，導致這種情況是一種理想狀況，很難在現(xiàn)實生活中實現(xiàn)。為了做到設計權(quán)重與實際權(quán)重相等，必須徹底消除自然權(quán)重問題，一種最為簡捷的方法就是通過標準化方法，使得所有評價指標的均值相等，這樣其匯總值也相等，即：

(4)

則式(3)變?yōu)椋?/p>

(5)

均值標準化有兩個前提條件必須處理好：第一，指標標準化后均值必須相等；第二，指標標準化后極大值相等，即極大值必須仍然是1或者100(以100為例)。第一個前提條件可以理解，第二個前提的根本原因是，在特殊情況下，不能使某個評價對象的評價值大于100，如果某個評價對象每項指標都是最高，就有可能出現(xiàn)這種情況，不符合常理。為此，本文提出一種“動態(tài)最大均值逼近標準化”方法，其步驟是見圖1。

圖1 標準化過程圖

第一，計算所有指標標準化后的均值，找到最大的均值K。

第二，除了均值極大值指標外，其他指標需要繼續(xù)處理。對于指標Xj，加上所有指標中最大均值K與Xj均值的差，這樣雖然均值相等，但極大值超過100。

第三，對Xj進行二次標準化，所有指標除以極大值，這樣極大值雖然為100，但均值又減小了，所以還要第二步，以提高均值。

第四，如此循環(huán)，直到第二步極大值在許可范圍內(nèi)，比如極大值超過范圍在1%以內(nèi)，即小于101。

因為這種數(shù)據(jù)標準化是動態(tài)的，需要循環(huán)多次，所以將這種標準化方法稱為“動態(tài)最大均值逼近標準化”，由于這種標準化方法是一種線性變換，所以可以保持原始指標中的大量信息，不會破壞原始指標的數(shù)據(jù)分布。一般而言，只要保證標準化方法的線性變化，不會增加新的誤差，也不會使標準化后的數(shù)據(jù)信息量降低。

下面對該標準化方法的均值逼近原理進行證明。假設評價指標中均值最大的指標均值為K，第二次標準化時首先將所有的指標加上均值差，即：

(6)

下面進行二次標準化：

(7)

只要證明Xj''的均值遞增即可，也就是說要證明Xj''的均值減去Xj的均值大于0，即：

(8)

由于K是所有指標中均值極大值的指標，而Xj的均值肯定小于標準化的極大值100，所以式(8)一定是大于0的，也就是說，動態(tài)最大均值逼近標準化方法是單調(diào)遞增的，理論上均值可以無限逼近K。

四、實證結(jié)果

(一)數(shù)據(jù)來源

本文以JCR2015經(jīng)濟學期刊為例，為了精簡起見，以總被引頻次、影響因子、特征指標3個指標評價為例，進行相關說明。JCR2015經(jīng)濟學期刊共有333種，刪除了部分缺失數(shù)據(jù)期刊，最終還有278種。

(二)線性加權(quán)評價的自然權(quán)重

首先是設計權(quán)重，也就是評價時通過主觀與客觀方法確定的權(quán)重，作為一個算例，假定總被引頻次的權(quán)重為0.3、影響因子的權(quán)重為0.5、特征因子的權(quán)重為0.2。在計算自然權(quán)重時，對所有指標標準化后計算其匯總值和均值，然后再計算每個指標匯總值或均值占所有指標的比重，這就是自然權(quán)重，結(jié)果如表2所示。

表2 自然權(quán)重

自然權(quán)重之間相差較大，影響因子的自然權(quán)重最大，為0.636，總被引頻次的自然權(quán)重為0.196，特征因子的自然權(quán)重為0.168，影響因子的自然權(quán)重超過總被引頻次和特征因子的總和?？梢姡诳萍荚u價中，自然權(quán)重對評價產(chǎn)生了非常重要的影響，但是這種影響是隱含的、間接的。

(三)動態(tài)最大均值逼近標準化

1.總被引頻次的標準化

影響因子標準化結(jié)果如表3所示(部分期刊)。3個指標中，均值極大值是影響因子為18.911，總被引頻次為5.824，對總被引頻次進行標準化時，首先加上均值差13.087，這樣雖然均值相等了，但極大值為113.087。超過100，所以進行2次標準化，這樣導致均值又減小到16.723，所以繼續(xù)加上均值差2.188，此時極大值又超過100，變?yōu)?02.188，超過閾值1%，所以還需要進行3次標準化，再加上均值差0.405，此時均值和最大的影響因子均值相等，極大值為100.405，在1%范圍以內(nèi)，此時標準化結(jié)束。也就是說，通過3次標準化，3次加均值差以后，總被引頻次標準化后均值和影響因子相等，從而消除了自然權(quán)重。

表3 總被引頻次標準化(部分)

2.特征因子標準化

根據(jù)同樣原理進行特征因子的標準化，同樣經(jīng)過3輪標準化和3輪加均值差，最終特征因子的極大值為100.427，也在1%范圍內(nèi)，至此數(shù)據(jù)標準化結(jié)束。

(四)消除自然權(quán)重后評價結(jié)果比較

傳統(tǒng)線性加權(quán)匯總評價，是不考慮自然權(quán)重的，為了比較采用“動態(tài)最大均值逼近標準化”消除自然權(quán)重后評價結(jié)果的差異，首先采用傳統(tǒng)方法進行加權(quán)匯總評價，然后消除自然權(quán)重后進行加權(quán)匯總評價，結(jié)果如表4所示，由于篇幅所限，本文只公布了排名前30的期刊。

消除自然權(quán)重前后評價結(jié)果還是有差異的，首先是排名第1的期刊就發(fā)生了變化，排名2～15的期刊變化不大，但15名之間的期刊排名變化較大。兩種評價結(jié)果的相關系數(shù)高達0.999 5，盡管如此，涉及到具體排名，還是有差異的，也就是說，消除自然權(quán)重與否對總體評價影響不大，但是對個體評價影響較大。因此，在進行小組、區(qū)域等具有總體性質(zhì)的評價中，可以不消除自然權(quán)重，但在進行個體評價以及評優(yōu)時，還是要消除自然權(quán)重的。

(五)三種權(quán)重的比較

最后，計算出自然權(quán)重和實際權(quán)重，并與設計權(quán)重進行比較，結(jié)果如表5所示。如果采用傳統(tǒng)的線性加權(quán)匯總，那么設計權(quán)重、自然權(quán)重和實際權(quán)重均不一樣。本例中，由于影響因子的自然權(quán)重和設計權(quán)重均最大，因此其實際權(quán)重也最大，達到0.775，而特征因子的自然權(quán)重和設計權(quán)重均最小，因此其實際權(quán)重更小，只有0.082。

表4 消除自然權(quán)重前后評價結(jié)果比較

表5 修正前三種權(quán)重比較

如果采用“動態(tài)最大均值逼近標準化”方法進行原始指標的標準化處理，那么這3種權(quán)重結(jié)果如表6所示，也就是說，實際權(quán)重等于設計權(quán)重，而自然權(quán)重相等，這樣使得評價賦權(quán)的意義更為清晰，使得評價賦權(quán)真正發(fā)揮賦權(quán)的作用。

表6 修正后三種權(quán)重比較

五、結(jié)論與討論

(一)自然權(quán)重對科技評價結(jié)果會造成干擾

在科技評價中，自然權(quán)重問題是普遍存在的現(xiàn)象，它是隱藏在評價指標數(shù)據(jù)中的一種權(quán)重，根本原因是評價指標不服從正態(tài)分布、評價指標均值不相等所致。在加權(quán)線性評價中，如果認識不到自然權(quán)重問題，將造成實際權(quán)重的嚴重扭曲，從而對評價結(jié)果產(chǎn)生影響，降低評價質(zhì)量，尤其是在個體評價中。

(二)動態(tài)最大均值逼近標準化能消除自然權(quán)重

為了消除評價指標的自然權(quán)重問題，基于標準化指標均值相等、極大值相等原則，本文提出了動態(tài)最大均值逼近標準化方法。其原理是，首先采用傳統(tǒng)的正向指標除以極大值方法進行標準化，然后全部指標加上該指標均值與均值極大值的差，這樣處理后雖然均值相等，但極大值變大了；再次進行標準化處理，這樣會導致均值降低，所以需再加上該指標均值與均值極大值的差。如此循環(huán)，直到極大值超過范圍在1%以內(nèi)。理論證明，每循環(huán)1次，指標均值就遞增1次，具有單調(diào)性。實踐證明，經(jīng)過3次左右循環(huán)就能取得比較滿意的效果，并且徹底消除了自然權(quán)重問題。

(三)反向指標可采用類似方法消除自然權(quán)重

反向指標也可以采用類似方法進行處理。首先要進行正向化處理，在第一次標準化時進行；然后就可以采用動態(tài)最大均值逼近標準化方法進行消除自然權(quán)重處理，然后再進行評價。

(四)自然權(quán)重問題具有一定的普遍性

自然權(quán)重的存在扭曲評價結(jié)果，具有一定的普遍性，是統(tǒng)計學和多屬性評價中的基本問題，在科技評價中這個問題更加嚴重而已。所以重視自然權(quán)重現(xiàn)象，通過動態(tài)最大均值逼近標準化方法將其消除，有利于保證設計權(quán)重的初衷，使得評價更加公平合理。