俞立平 潘偉波

(1.浙江工商大學(xué) 統(tǒng)計(jì)與數(shù)學(xué)學(xué)院 杭州 310018;2.浙江工商大學(xué) 統(tǒng)計(jì)數(shù)據(jù)工程技術(shù)與應(yīng)用協(xié)同創(chuàng)新中心 杭州 310018)

0 引 言

在學(xué)術(shù)評(píng)價(jià)中，采用指標(biāo)體系多屬性評(píng)價(jià)已經(jīng)成為重要的研究方法。目前的一些主流評(píng)價(jià)，如泰晤士報(bào)世界大學(xué)排名、軟科世界大學(xué)學(xué)術(shù)排名、北京大學(xué)核心期刊評(píng)價(jià)、南京大學(xué)CSSCI期刊評(píng)價(jià)、教育部學(xué)科排名等等，均廣泛采用指標(biāo)體系評(píng)價(jià)方法。采用指標(biāo)體系評(píng)價(jià)，具有評(píng)價(jià)內(nèi)容全面、信息量大、更加貼近管理需要的優(yōu)點(diǎn)，即使在破“五唯”背景下，采用指標(biāo)體系進(jìn)行多屬性評(píng)價(jià)仍然是非常重要的研究方法。

指標(biāo)體系多屬性評(píng)價(jià)方法包括線性評(píng)價(jià)方法與非線性評(píng)價(jià)方法。所謂線性評(píng)價(jià)方法，就是評(píng)價(jià)得分與評(píng)價(jià)指標(biāo)是嚴(yán)格的線性相等關(guān)系。計(jì)算時(shí)首先采用某種方法確定評(píng)價(jià)指標(biāo)權(quán)重，然后將評(píng)價(jià)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化，最后再進(jìn)行加權(quán)匯總得到評(píng)價(jià)結(jié)果。所謂非線性評(píng)價(jià)方法，就是指評(píng)價(jià)得分與評(píng)價(jià)指標(biāo)之間是非線性關(guān)系。評(píng)價(jià)方法包括主成分分析、因子分析、灰色關(guān)聯(lián)分析、DEA數(shù)據(jù)包絡(luò)分析、TOPSIS、VIKOR、康拓對(duì)角線等等。在實(shí)際應(yīng)用的學(xué)術(shù)評(píng)價(jià)體系中，大部分采用的是線性評(píng)價(jià)方法。

權(quán)重問題是學(xué)術(shù)評(píng)價(jià)中非常重要的基礎(chǔ)問題。在線性評(píng)價(jià)中，所有的評(píng)價(jià)方法均離不開權(quán)重，在非線性評(píng)價(jià)中，許多評(píng)價(jià)方法也用到權(quán)重。由于實(shí)際的學(xué)術(shù)評(píng)價(jià)應(yīng)用以線性評(píng)價(jià)方法為主，這樣權(quán)重問題就變成一個(gè)非常突出的問題。

分析整體權(quán)重與個(gè)體權(quán)重是個(gè)全新的視角。所謂整體權(quán)重，就是作為評(píng)價(jià)對(duì)象總體而言，其指標(biāo)總體的相對(duì)重要性問題，這也是傳統(tǒng)研究中較多得到關(guān)注的。個(gè)體權(quán)重是個(gè)新的概念，所謂個(gè)體權(quán)重，就是指在線性評(píng)價(jià)中，針對(duì)某個(gè)具體的評(píng)價(jià)對(duì)象，其評(píng)價(jià)指標(biāo)在評(píng)價(jià)得分中的相對(duì)重要性。對(duì)于個(gè)體權(quán)重，學(xué)術(shù)界較少關(guān)注。相關(guān)問題包括，整體權(quán)重與個(gè)體權(quán)重的計(jì)算方法？它們與設(shè)計(jì)權(quán)重即專家權(quán)重的關(guān)系？實(shí)際權(quán)重與設(shè)計(jì)權(quán)重一致嗎？如果不一致，其產(chǎn)生的原因是什么？設(shè)計(jì)權(quán)重與實(shí)際權(quán)重不一致的偽權(quán)重問題能否消除以及如何消除？偽權(quán)重對(duì)整體權(quán)重與個(gè)體權(quán)重的影響如何？整體權(quán)重、個(gè)體權(quán)重中的偽權(quán)重問題對(duì)學(xué)術(shù)評(píng)價(jià)具有什么影響？

整體權(quán)重、個(gè)體權(quán)重的計(jì)算及與設(shè)計(jì)權(quán)重的關(guān)系研究是學(xué)術(shù)評(píng)價(jià)的基礎(chǔ)問題，對(duì)于推進(jìn)科技評(píng)價(jià)理論與多屬性評(píng)價(jià)方法具有重要意義。鑒于研究的基礎(chǔ)性，以JCR經(jīng)濟(jì)學(xué)期刊為例，針對(duì)線性評(píng)價(jià)方法開展相關(guān)研究，但是其涉及的個(gè)體權(quán)重與整體權(quán)重問題其實(shí)廣泛存在于大學(xué)評(píng)價(jià)、學(xué)術(shù)期刊評(píng)價(jià)、學(xué)科評(píng)價(jià)、團(tuán)隊(duì)評(píng)價(jià)等應(yīng)用中。研究主要?jiǎng)?chuàng)新體現(xiàn)在，首次提出個(gè)體權(quán)重問題，并與整體權(quán)重放在一個(gè)框架下開展研究，分析整體權(quán)重、個(gè)體權(quán)重對(duì)設(shè)計(jì)權(quán)重與實(shí)際權(quán)重的影響，從而豐富了科技評(píng)價(jià)權(quán)重理論。

1 文獻(xiàn)綜述

權(quán)重問題是學(xué)術(shù)評(píng)價(jià)的基礎(chǔ)問題，廣泛應(yīng)用在評(píng)價(jià)指標(biāo)設(shè)計(jì)、專家權(quán)重分配、指標(biāo)體系評(píng)價(jià)方法、指標(biāo)體系權(quán)重應(yīng)用、科技評(píng)價(jià)指標(biāo)關(guān)系的分析中。

在學(xué)術(shù)評(píng)價(jià)指標(biāo)設(shè)計(jì)的相關(guān)權(quán)重研究中，Hagen[1]認(rèn)為在進(jìn)行學(xué)者影響力學(xué)術(shù)跡評(píng)估時(shí)，采用合作者等權(quán)重會(huì)造成平均或夸大影響力偏差。Abbas[2]指出對(duì)于合作論文，第一作者權(quán)重應(yīng)大于第二作者，第二作者權(quán)重應(yīng)大于第三作者，總權(quán)重為1。唐璞妮等[3]為平衡論文合著者的貢獻(xiàn)，在學(xué)術(shù)跡的基礎(chǔ)上引入作者貢獻(xiàn)率，以更準(zhǔn)確地評(píng)價(jià)不同學(xué)者學(xué)術(shù)影響力及其貢獻(xiàn)。鄭美鶯等[4]提出基于期刊質(zhì)量權(quán)重的影響因子計(jì)算方法，采用期刊影響因子占所有期刊影響因子的比重作為該刊質(zhì)量的權(quán)重。許海云等[6]對(duì)計(jì)算影響因子時(shí)期刊文獻(xiàn)類型等同進(jìn)行改進(jìn)，結(jié)合專家建議和序關(guān)系轉(zhuǎn)換權(quán)重原理，得到基于期刊文獻(xiàn)類型的序關(guān)系轉(zhuǎn)換權(quán)重的影響因子。

在同行評(píng)議不同專家的權(quán)重賦值研究中，Ganesh[6]在假設(shè)專家之間相互熟悉的前提下，通過專家之間的互評(píng)來確定專家權(quán)重。張立軍等[7]在學(xué)術(shù)評(píng)價(jià)中運(yùn)用信度系數(shù)建立專家權(quán)重，在模糊綜合評(píng)價(jià)模型的專家評(píng)分環(huán)節(jié)考慮評(píng)審專家的水平差異。林強(qiáng)[8]按知識(shí)結(jié)構(gòu)、課題熟悉度、社會(huì)知名度、學(xué)術(shù)地位建立專家綜合水平模型，以確定專家權(quán)重。

在指標(biāo)體系評(píng)價(jià)方法的權(quán)重研究中，Hagerty等[9]區(qū)分評(píng)價(jià)主體存在與否，證明算術(shù)平均賦權(quán)是能夠減少分歧的最佳賦權(quán)方法。Edwards等[10]指出序和法對(duì)重要屬性權(quán)重賦值偏低，提出秩重心權(quán)重法，通過序數(shù)的倒數(shù)計(jì)算權(quán)重。張愛琴等[11]在學(xué)術(shù)期刊評(píng)價(jià)研究中，發(fā)現(xiàn)加權(quán)TOPSIS法不具有權(quán)重單調(diào)性，提出了分子加權(quán)TOPSIS方法，解決了權(quán)重單調(diào)性問題。熊國(guó)經(jīng)等[12]以圖情類期刊為例，構(gòu)建PLS路徑模型得到各指標(biāo)外部權(quán)重，然后采用熵權(quán)法的差異系數(shù)對(duì)外部權(quán)重進(jìn)行修正，得到各指標(biāo)的權(quán)重，最后用加權(quán)TOPSIS法進(jìn)行評(píng)價(jià)。王瑛等[13]采用CRITIC法和理想解法構(gòu)建了基于復(fù)合權(quán)重科技成果立體綜合評(píng)價(jià)模型。此外還有大量的研究集中在權(quán)重賦值方法與權(quán)重優(yōu)化的研究中。

在指標(biāo)體系評(píng)價(jià)的權(quán)重應(yīng)用研究中，俞立平[15]將權(quán)重分為設(shè)計(jì)權(quán)重、自然權(quán)重、實(shí)際權(quán)重，從理論上分析了三者之間的關(guān)系，并提出了動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法，徹底消除了自然權(quán)重問題。郭曉晶等[15]采用專家層次分析法、對(duì)比排序法、直接評(píng)分法作為主觀賦權(quán)法代表，采用CRITIC、熵權(quán)法、標(biāo)準(zhǔn)離差法作為客觀賦權(quán)法代表，綜合確定科技評(píng)價(jià)指標(biāo)體系權(quán)重。杜向民等[16]在同行評(píng)議評(píng)價(jià)中，提出學(xué)術(shù)規(guī)范、科學(xué)性、研究?jī)r(jià)值、創(chuàng)新度、難易度的指標(biāo)體系，并采用AHP方法確定指標(biāo)權(quán)重。該領(lǐng)域的權(quán)重研究成果眾多，絕大多數(shù)指標(biāo)體系評(píng)價(jià)均涉及到權(quán)重相關(guān)問題研究。

在評(píng)價(jià)指標(biāo)關(guān)系的相關(guān)權(quán)重研究中，李亮等[17]以《情報(bào)學(xué)報(bào)》為例，基于社會(huì)網(wǎng)絡(luò)分析法，對(duì)國(guó)內(nèi)情報(bào)學(xué)領(lǐng)域的合著網(wǎng)絡(luò)進(jìn)行系統(tǒng)分析，得到核心作者網(wǎng)絡(luò)。孫桂娟等[18]采用DANP方法分析高校智庫國(guó)際影響力、決策影響力、網(wǎng)絡(luò)影響力、學(xué)術(shù)影響力之間的網(wǎng)絡(luò)關(guān)系和權(quán)重。劉洋等[19]引入論文權(quán)重因子表示論文質(zhì)量，提出一種帶權(quán)重的社會(huì)網(wǎng)絡(luò)模型來表示合著網(wǎng)絡(luò)。需要特別說明的是，評(píng)價(jià)指標(biāo)的篩選是整個(gè)評(píng)價(jià)的基礎(chǔ)[20]。

從現(xiàn)有的研究看，權(quán)重已經(jīng)進(jìn)入學(xué)術(shù)評(píng)價(jià)的方方面面，在評(píng)價(jià)指標(biāo)角度，包括不同作者權(quán)重、不同單位權(quán)重、不同引用關(guān)系權(quán)重、不同文獻(xiàn)類型權(quán)重等等；在不同專家權(quán)重的研究中，涉及根據(jù)不同專家的學(xué)術(shù)水平與影響力來設(shè)置不同的權(quán)重進(jìn)行評(píng)價(jià)；在多屬性評(píng)價(jià)方法中，權(quán)重與評(píng)價(jià)方法密切相關(guān)；在多屬性評(píng)價(jià)方法的應(yīng)用中，涉及采用不同的權(quán)重賦值方法；在指標(biāo)體系涉及的變量關(guān)系研究中，基于社會(huì)網(wǎng)絡(luò)分析、回歸分析的許多研究也離不開權(quán)重?？傮w上，在以下方面有待進(jìn)一步深入：

第一，在學(xué)術(shù)評(píng)價(jià)中，整體權(quán)重涉及的自然權(quán)重、設(shè)計(jì)權(quán)重、實(shí)際權(quán)重問題已經(jīng)得到討論，至于其解決方法，有待進(jìn)一步拓展。

第二，關(guān)于個(gè)體權(quán)重的研究尚處于探索之中，現(xiàn)有的研究中，有一些研究談及權(quán)重對(duì)評(píng)價(jià)個(gè)體的影響，但個(gè)體權(quán)重的計(jì)算方法、包括對(duì)其進(jìn)行的全面系統(tǒng)分析缺乏，有待進(jìn)一步深入。

第三，關(guān)于個(gè)體權(quán)重的影響因素，該領(lǐng)域相關(guān)研究缺乏，需要進(jìn)行全面的分析。

第四，關(guān)于個(gè)體權(quán)重與整體權(quán)重的關(guān)系，以及在整體權(quán)重視角下如何看待個(gè)體權(quán)重，包括評(píng)價(jià)對(duì)象個(gè)體如何應(yīng)對(duì)評(píng)價(jià)的權(quán)重導(dǎo)向，這方面也需要進(jìn)一步研究。

2 整體權(quán)重與個(gè)體權(quán)重的理論分析

在傳統(tǒng)的學(xué)術(shù)評(píng)價(jià)中，權(quán)重相關(guān)問題一般都是缺省指向整體權(quán)重的，因此首先對(duì)整體權(quán)重進(jìn)行分析，然后再分析個(gè)體權(quán)重的相關(guān)問題。

2.1 整體權(quán)重的相關(guān)問題分析

a.線性評(píng)價(jià)中整體權(quán)重的計(jì)算及與實(shí)際權(quán)重的關(guān)系。通常情況下，線性學(xué)術(shù)評(píng)價(jià)的計(jì)算公式如下：

Cij=ω1Xi1+ω2Xi2+…+ωnXin

(1)

式(1)中，ωj表示權(quán)重，Xij表示標(biāo)準(zhǔn)化后的評(píng)價(jià)指標(biāo)值，n為評(píng)價(jià)指標(biāo)數(shù)量，此外設(shè)定評(píng)價(jià)對(duì)象即總體數(shù)量為m。ωj的確定方式可以是主觀賦權(quán)，也可以是客觀賦權(quán)，或者主客觀結(jié)合賦權(quán)，不過在主流的學(xué)術(shù)評(píng)價(jià)應(yīng)用中，ωj的確定方式一般采用專家賦權(quán)。俞立平[14]將ωj稱為設(shè)計(jì)權(quán)重，即在學(xué)術(shù)評(píng)價(jià)時(shí)根據(jù)評(píng)價(jià)目的確定的權(quán)重。

在線性評(píng)價(jià)中，其實(shí)還有另外一個(gè)概念即實(shí)際權(quán)重，傅榮[21]稱其為結(jié)果權(quán)重，用該指標(biāo)的加權(quán)匯總值占評(píng)價(jià)得分的匯總值表示：

式(2)中Wj表示實(shí)際權(quán)重，很明顯，通常情況下設(shè)計(jì)權(quán)重與實(shí)際權(quán)重并不相等，除非標(biāo)準(zhǔn)化后各學(xué)術(shù)評(píng)價(jià)指標(biāo)的均值相等。俞立平將指標(biāo)標(biāo)準(zhǔn)化后由于均值不等產(chǎn)生的權(quán)重稱為自然權(quán)重。

b.整體權(quán)重的偽權(quán)重問題及其修正。從以上分析可以看出，設(shè)計(jì)權(quán)重普遍存在與實(shí)際權(quán)重不相等現(xiàn)象，將其稱為偽權(quán)重問題，因此必須找到一種標(biāo)準(zhǔn)化處理方法，使得各指標(biāo)標(biāo)準(zhǔn)化后均值相等。為此俞立平提出動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法，其基本原理如圖1所示。

圖1 標(biāo)準(zhǔn)化過程

標(biāo)準(zhǔn)化步驟如下：

第一，首先按照極大值法標(biāo)準(zhǔn)化，找到所有指標(biāo)標(biāo)準(zhǔn)化后的最大均值K，假設(shè)該指標(biāo)為X’。

第二，除了指標(biāo)X’以外，對(duì)于其他指標(biāo)Xj，加上K與Xj均值的差，此時(shí)極大值為大于1。

第三，對(duì)Xj采用極大值法進(jìn)行二次標(biāo)準(zhǔn)化，以解決極大值大于1問題，由于均值又縮小，所以繼續(xù)回到第二步。如此反復(fù)循環(huán)，直到第二步極大值可接受，比如極大值小于1.01，即在1%的誤差范圍內(nèi)。注意這種標(biāo)準(zhǔn)化方法可以無限逼近最大均值，但總會(huì)存在一定的誤差。

需要說明的是，鑒于動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法中，最大均值的指標(biāo)對(duì)評(píng)價(jià)會(huì)產(chǎn)生較大影響，因此對(duì)于一些數(shù)據(jù)分布異常的指標(biāo)，應(yīng)考慮采用其他非線性標(biāo)準(zhǔn)化方法進(jìn)行標(biāo)準(zhǔn)化。

除了以上提到的方法外，基于sigmoid函數(shù)進(jìn)行標(biāo)準(zhǔn)化也具有一定的縮小指標(biāo)標(biāo)準(zhǔn)化值均值差異的效果。俞立平等[22]在分析多屬性評(píng)價(jià)值評(píng)價(jià)功能的影響機(jī)制的基礎(chǔ)上，提出基于Sigmoid函數(shù)進(jìn)行無量綱處理，可以在一定程度上減少自然權(quán)重帶來的影響。

Sigmoid函數(shù)圖像如圖2所示。它具有成長(zhǎng)曲線的特征，有明顯的拐點(diǎn)，并且標(biāo)準(zhǔn)化值相對(duì)百分制評(píng)價(jià)具有直接優(yōu)劣判斷功能，不過其是一種非線性評(píng)價(jià)方法。

圖2 sigmoid函數(shù)

采用sigmoid函數(shù)對(duì)評(píng)價(jià)指標(biāo)標(biāo)準(zhǔn)化處理，第一步是計(jì)算指標(biāo)z值，即：

(3)

式(3)中，zij值為z值，Xij為學(xué)術(shù)評(píng)價(jià)指標(biāo)原始指標(biāo)，μj為該指標(biāo)均值，σj為該指標(biāo)的標(biāo)準(zhǔn)差。

將zij代入sigmoid函數(shù)，就得到標(biāo)準(zhǔn)化后的學(xué)術(shù)評(píng)價(jià)指標(biāo)Y，即：

(4)

c.兩種偽權(quán)重修正方法的比較。動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法與sigmoid函數(shù)標(biāo)準(zhǔn)化比較如表1所示。動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法的場(chǎng)景模擬沒有任何限制，適用范圍較廣，它是一種線性變換，計(jì)算過程由于要進(jìn)行循環(huán)，所以略顯繁瑣，對(duì)整體評(píng)價(jià)的偽權(quán)重問題消除效果較好，應(yīng)用范圍適用于一切多屬性評(píng)價(jià)。而sigmoid函數(shù)標(biāo)準(zhǔn)的場(chǎng)景模擬最好是成長(zhǎng)曲線，即處于成長(zhǎng)的評(píng)價(jià)對(duì)象，它是一種非線性變換，頗具特色，標(biāo)準(zhǔn)化方法簡(jiǎn)捷，對(duì)偽權(quán)重的消除效果較好，一般應(yīng)用在時(shí)間序列數(shù)據(jù)的學(xué)術(shù)評(píng)價(jià)中，當(dāng)然也可以兼顧截面數(shù)據(jù)評(píng)價(jià)。

表1 偽權(quán)重修正方法比較

2.2 個(gè)體權(quán)重的相關(guān)問題分析

a.個(gè)體權(quán)重的計(jì)算及其與實(shí)際權(quán)重的關(guān)系。 對(duì)于評(píng)價(jià)個(gè)體Ci而言，其評(píng)價(jià)得分為：

Ci=ω1Xi1+ω2Xi2+...+ωnXin

(5)

對(duì)于指標(biāo)Xij，其實(shí)際權(quán)重為：

(6)

從式(6)可以看出，個(gè)體權(quán)重對(duì)于個(gè)體的每個(gè)評(píng)價(jià)指標(biāo)而言均不一樣，這是其和整體權(quán)重的最大區(qū)別。

對(duì)于單個(gè)指標(biāo)而言，要使得設(shè)計(jì)權(quán)重ωj與實(shí)際權(quán)重Wj相等，即：

(7)

也就是說，除非該指標(biāo)標(biāo)準(zhǔn)化得分恰好等于評(píng)價(jià)值，設(shè)計(jì)權(quán)重和實(shí)際權(quán)重才會(huì)相等，這是小概率偶然事件，沒有意義。當(dāng)然，有一種極端情況個(gè)體評(píng)價(jià)時(shí)設(shè)計(jì)權(quán)重與實(shí)際權(quán)重相等，那就是等權(quán)重評(píng)價(jià)。

公式(6)還可以進(jìn)一步改成如下形式：

(8)

即實(shí)際權(quán)重與設(shè)計(jì)權(quán)重之比等于該指標(biāo)標(biāo)準(zhǔn)化值與評(píng)價(jià)值之比，也就是說，在個(gè)體評(píng)價(jià)中，標(biāo)準(zhǔn)化指標(biāo)值越接近評(píng)價(jià)值，其實(shí)際權(quán)重與設(shè)計(jì)權(quán)重越接近。

對(duì)于任何一個(gè)個(gè)體評(píng)價(jià)，可以分別計(jì)算其權(quán)重偏離系數(shù)，即實(shí)際權(quán)重與設(shè)計(jì)權(quán)重的偏離程度。個(gè)體所有權(quán)重的偏離程度通過每個(gè)指標(biāo)權(quán)重偏離程度的加權(quán)匯總值表示。

b.個(gè)體實(shí)際權(quán)重的影響因素。從以上分析可以看出，個(gè)體實(shí)際權(quán)重的大小取決于設(shè)計(jì)權(quán)重、評(píng)價(jià)指標(biāo)值、標(biāo)準(zhǔn)化方法、評(píng)價(jià)值等因素。設(shè)計(jì)權(quán)重體現(xiàn)了管理者的意圖與指標(biāo)的重要性，這是無法修改的；個(gè)體各指標(biāo)的發(fā)展特征不同，個(gè)體評(píng)價(jià)值受個(gè)體各評(píng)價(jià)指標(biāo)的發(fā)展水平、權(quán)重、標(biāo)準(zhǔn)化方法的影響；指標(biāo)標(biāo)準(zhǔn)化方法會(huì)影響個(gè)體評(píng)價(jià)指標(biāo)值，因而對(duì)個(gè)體實(shí)際權(quán)重也會(huì)產(chǎn)生影響。

鑒于討論個(gè)體權(quán)重的前提是整體的設(shè)計(jì)權(quán)重與實(shí)際權(quán)重必須相等，因此后續(xù)會(huì)在實(shí)證研究中比較最大均值逼近標(biāo)準(zhǔn)化方法與sigmoid函數(shù)標(biāo)準(zhǔn)化方法對(duì)個(gè)體權(quán)重及其偏離程度的影響。

c.個(gè)體權(quán)重的進(jìn)一步討論。第一，對(duì)于個(gè)體評(píng)價(jià)而言，設(shè)計(jì)權(quán)重難以等于實(shí)際權(quán)重，偽權(quán)重問題非常普遍，但這是正?，F(xiàn)象，其產(chǎn)生的根本原因是個(gè)體發(fā)展中的不均衡性。關(guān)于不均衡性也要辯證看待，有些不均衡性可能是負(fù)面的，要加以修正，而有些不均衡性恰恰是個(gè)體發(fā)展的優(yōu)勢(shì)和特色。比如對(duì)于學(xué)者而言，有的學(xué)者更加側(cè)重基礎(chǔ)研究，有的學(xué)者更加側(cè)重應(yīng)用研究，而有的學(xué)者更加側(cè)重社會(huì)服務(wù)，這樣就導(dǎo)致大多數(shù)學(xué)者是不均衡發(fā)展的，這其實(shí)是值得肯定的。

第二，設(shè)計(jì)權(quán)重在個(gè)體評(píng)價(jià)時(shí)只能得到部分反映。在個(gè)體評(píng)價(jià)中，設(shè)計(jì)權(quán)重與實(shí)際權(quán)重永遠(yuǎn)存在偏差，這種偏差是無法消除的。所以個(gè)體評(píng)價(jià)得分會(huì)部分反映管理者的意圖，即部分實(shí)際權(quán)重，但永遠(yuǎn)無法反映全部實(shí)際權(quán)重，這在理論上是不可行的。

第三，評(píng)價(jià)導(dǎo)向會(huì)影響個(gè)體發(fā)展態(tài)勢(shì)。評(píng)價(jià)導(dǎo)向主要包括兩個(gè)方面，一是評(píng)價(jià)指標(biāo)導(dǎo)向，即可能增加或刪除部分指標(biāo)，二是各評(píng)價(jià)指標(biāo)的權(quán)重(即設(shè)計(jì)權(quán)重)。如果評(píng)價(jià)與資源分配掛鉤，通常情況下這會(huì)影響個(gè)體的發(fā)展，即評(píng)價(jià)個(gè)體會(huì)不得不重視關(guān)鍵指標(biāo)。這有利有弊，優(yōu)點(diǎn)是可以促進(jìn)關(guān)鍵總體指標(biāo)增長(zhǎng)，缺點(diǎn)是犧牲了個(gè)體的發(fā)展個(gè)性。

第四，分類評(píng)價(jià)的本質(zhì)就是減小個(gè)體評(píng)價(jià)的權(quán)重偏倚。個(gè)體評(píng)價(jià)的設(shè)計(jì)權(quán)重與實(shí)際權(quán)重是無法完全一致的，但如果分類評(píng)價(jià)，就會(huì)有效提高個(gè)體評(píng)價(jià)的設(shè)計(jì)權(quán)重與實(shí)際權(quán)重的一致程度。比如科技人才如果統(tǒng)一評(píng)價(jià)，那么從事基礎(chǔ)研究、應(yīng)用研究、社會(huì)服務(wù)的科技人員個(gè)體實(shí)際權(quán)重與設(shè)計(jì)權(quán)重必然相差較大，而單獨(dú)評(píng)價(jià)基礎(chǔ)研究、單獨(dú)評(píng)價(jià)應(yīng)用研究、單獨(dú)評(píng)價(jià)社會(huì)服務(wù)的科技人員，細(xì)分后的評(píng)價(jià)對(duì)象會(huì)擁有更多共性特征，從而使得設(shè)計(jì)權(quán)重與科技人員的發(fā)展個(gè)性擁有更好的一致性。

第五，個(gè)體權(quán)重屬于管理問題，而整體權(quán)重屬于技術(shù)問題。而對(duì)于整體而言，可以通過優(yōu)化標(biāo)準(zhǔn)化方法來解決設(shè)計(jì)權(quán)重與實(shí)際權(quán)重不一致問題，因此，這是個(gè)技術(shù)問題。當(dāng)然，必須首先解決整體權(quán)重問題再來討論個(gè)體權(quán)重問題，否則沒有意義。對(duì)于個(gè)體而言，雖然設(shè)計(jì)權(quán)重與實(shí)際權(quán)重難以一致，但可以從管理角度適當(dāng)加以優(yōu)化，比如分類評(píng)價(jià)。

2.3 實(shí)證研究設(shè)計(jì)

以JCR經(jīng)濟(jì)學(xué)期刊為例，采用專家會(huì)議法確定各指標(biāo)權(quán)重。然后先進(jìn)行整體權(quán)重研究，首先采用傳統(tǒng)的極大值標(biāo)準(zhǔn)化方法進(jìn)行評(píng)價(jià)，再分別采用最大均值逼近標(biāo)準(zhǔn)化方法、sigmoid函數(shù)標(biāo)準(zhǔn)化方法進(jìn)行標(biāo)準(zhǔn)化，并分別計(jì)算不同標(biāo)準(zhǔn)化方法的實(shí)際權(quán)重以及設(shè)計(jì)權(quán)重與實(shí)際權(quán)重的偏離度，以比較整體評(píng)價(jià)中實(shí)際權(quán)重修正效果。

在以上討論基礎(chǔ)上，選擇不同標(biāo)準(zhǔn)化方法，再計(jì)算個(gè)體實(shí)際權(quán)重，以及個(gè)體設(shè)計(jì)權(quán)重與實(shí)際權(quán)重的偏離度，分析相關(guān)問題對(duì)個(gè)體評(píng)價(jià)的影響。

3 研究數(shù)據(jù)與實(shí)證結(jié)果

3.1 研究數(shù)據(jù)

以JCR2019經(jīng)濟(jì)學(xué)期刊為例進(jìn)行相關(guān)研究，選取的評(píng)價(jià)指標(biāo)以及專家確定的初始權(quán)重如表2所示。

表2 評(píng)價(jià)指標(biāo)及權(quán)重

一級(jí)指標(biāo)包括3個(gè)，分別是知識(shí)信息量、影響力、時(shí)效性。第一，知識(shí)信息量指標(biāo)主要是載文量，一般而言，載文量越大，期刊的知識(shí)信息量越大，期刊知識(shí)信息量也是后續(xù)影響力和時(shí)效性的基礎(chǔ)。第二，期刊影響力，包括總被引頻次、影響因子、他引影響因子、5年影響因子、即年指標(biāo)、特征因子、論文影響分值7個(gè)指標(biāo)，總被引頻次是期刊創(chuàng)刊以來的所有論文在統(tǒng)計(jì)當(dāng)年的被引次數(shù)，時(shí)效性略差一些，另外對(duì)辦刊時(shí)間較短的期刊不利，因此權(quán)重略低。即年指標(biāo)由于尚未到達(dá)被引峰值，因此權(quán)重也略低一些，特征因子是根據(jù)期刊被引網(wǎng)絡(luò)以及被引期刊水平綜合計(jì)算，因此權(quán)重略高，其他評(píng)價(jià)指標(biāo)的權(quán)重大致相當(dāng)。第三，期刊時(shí)效性，包括被引半衰期和引用半衰期兩個(gè)指標(biāo)，權(quán)重相等。

需要說明的是，為了提高指標(biāo)分類的穩(wěn)健性，還采用聚類分析輔助分類，結(jié)果如圖3所示。聚類分析將評(píng)價(jià)指標(biāo)分為兩類，一類是被引半衰期和引用半衰期，另一類是其他所有指標(biāo)。一般認(rèn)為，引用半衰期短的，說明論文寫作時(shí)參考最新論文較多，這樣論文的新穎性和時(shí)效性也得到一定的保障，而被引半衰期較短本來就說明論文的時(shí)效性較好。還有一個(gè)指標(biāo)是即年指標(biāo)，該指標(biāo)同時(shí)兼具影響力和時(shí)效性的特點(diǎn)，聚類分析將其分在影響力大類下，說明其更側(cè)重影響力。其實(shí)載文量大本身也能夠帶來更大的影響力，將載文量作為期刊信息量的指標(biāo)單獨(dú)列出，主要原因是這是唯一的一個(gè)期刊來源指標(biāo)，載文量信息也比較重要。

圖3 指標(biāo)聚類分析結(jié)果

JCR2019經(jīng)濟(jì)學(xué)期刊共有373種，由于部分期刊存在數(shù)據(jù)缺失，主要是期刊辦刊年限較短引起的，經(jīng)過清洗后還有期刊337種。

3.2 整體權(quán)重的計(jì)算

分別采用極大值標(biāo)準(zhǔn)化、sigmoid函數(shù)標(biāo)準(zhǔn)化和動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法進(jìn)行標(biāo)準(zhǔn)化，然后基于專家給出的設(shè)計(jì)權(quán)重進(jìn)行線性加權(quán)匯總，并分別計(jì)算不同標(biāo)準(zhǔn)化方法各指標(biāo)的整體權(quán)重，結(jié)果如表3所示。

表3 不同標(biāo)準(zhǔn)化方法及整體權(quán)重的計(jì)算結(jié)果

采用極大值標(biāo)準(zhǔn)化，各指標(biāo)的實(shí)際權(quán)重與設(shè)計(jì)權(quán)重相差較大，平均偏離度高達(dá)94.41%，也就是說，在學(xué)術(shù)評(píng)價(jià)中常用的極大值標(biāo)準(zhǔn)化方法會(huì)嚴(yán)重扭曲設(shè)計(jì)權(quán)重，使得實(shí)際權(quán)重產(chǎn)生較大的偏差，難以發(fā)揮權(quán)重的導(dǎo)向和評(píng)價(jià)功能。

采用sigmoid函數(shù)標(biāo)準(zhǔn)化，實(shí)際權(quán)重與設(shè)計(jì)權(quán)重偏離程度總體較低，除了被引半衰期和引用半衰期偏離度分別為6.20%、6.60%外，其他指標(biāo)的偏離度均較低，平均偏離度為1.61%，這說明采用sigmoid函數(shù)標(biāo)準(zhǔn)化，能充分尊重設(shè)計(jì)權(quán)重。

采用動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法，實(shí)際權(quán)重與設(shè)計(jì)權(quán)重偏離度最低，除了特征因子的偏離度為6.15%以外，其他指標(biāo)的偏離度幾乎為0，平均偏離度僅為0.62%。

綜上可以看出，無論采用sigmoid函數(shù)標(biāo)準(zhǔn)化，還是采用動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法，均能大幅降低設(shè)計(jì)權(quán)重與實(shí)際權(quán)重的不一致程度，有效解決偽權(quán)重問題。

3.3 個(gè)體權(quán)重的計(jì)算

由于個(gè)體權(quán)重是每個(gè)期刊的實(shí)際權(quán)重，受設(shè)計(jì)權(quán)重、評(píng)價(jià)指標(biāo)值、標(biāo)準(zhǔn)化方法的綜合影響，從而導(dǎo)致每個(gè)期刊、每個(gè)指標(biāo)的實(shí)際權(quán)重均存在較大差異，因此以《經(jīng)濟(jì)展望雜志》(JournalofEconomicPerspectives)為例，同樣分別采用極大值標(biāo)準(zhǔn)化、sigmoid函數(shù)標(biāo)準(zhǔn)化、動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化三種方法進(jìn)行標(biāo)準(zhǔn)化，并分別計(jì)算該期刊各指標(biāo)的實(shí)際權(quán)重，以供進(jìn)一步分析。選取該期刊為例的另外一個(gè)原因是，該期刊每個(gè)指標(biāo)均不是極大值，這樣在計(jì)算實(shí)際權(quán)重的時(shí)候更具有區(qū)分度。

采用極大值標(biāo)準(zhǔn)化方法，《經(jīng)濟(jì)展望雜志》的實(shí)際權(quán)重及其偏離度如表4所示。實(shí)際權(quán)重與設(shè)計(jì)權(quán)重排序幾乎沒有任何關(guān)系，實(shí)際權(quán)重與設(shè)計(jì)權(quán)重的平均偏離度為62.42%，處于較高水平。

表4 《經(jīng)濟(jì)展望雜志》極大值標(biāo)準(zhǔn)化個(gè)體權(quán)重

采用sigmoid函數(shù)標(biāo)準(zhǔn)化方法，《經(jīng)濟(jì)展望雜志》的實(shí)際權(quán)重及其偏離度如表5所示。實(shí)際權(quán)重與設(shè)計(jì)權(quán)重排序同樣沒有太大關(guān)系，實(shí)際權(quán)重與設(shè)計(jì)權(quán)重的平均偏離度為28.13%，低于極大值標(biāo)準(zhǔn)化，主要原因這是一種非線性標(biāo)準(zhǔn)化方法，降低了不同期刊評(píng)價(jià)指標(biāo)之間的差距。

采用最大均值逼近標(biāo)準(zhǔn)化方法，《經(jīng)濟(jì)展望雜志》的實(shí)際權(quán)重及其偏離度如表6所示。實(shí)際權(quán)重與設(shè)計(jì)權(quán)重排序同樣相差較大，實(shí)際權(quán)重與設(shè)計(jì)權(quán)重的平均偏離度為41.39%，處于中等水平。其內(nèi)在原因是采用最大均值作為參照標(biāo)準(zhǔn)標(biāo)準(zhǔn)化，同樣會(huì)適當(dāng)縮小期刊評(píng)價(jià)指標(biāo)之間的差距。

表5 《經(jīng)濟(jì)展望雜志》sigmoid函數(shù)標(biāo)準(zhǔn)化個(gè)體權(quán)重

表6 《經(jīng)濟(jì)展望雜志》最大均值逼近標(biāo)準(zhǔn)化個(gè)體權(quán)重

4 結(jié)論與討論

a.對(duì)于整體線性評(píng)價(jià)而言存在設(shè)計(jì)權(quán)重與實(shí)際權(quán)重不相等問題。在學(xué)術(shù)評(píng)價(jià)中，由于標(biāo)準(zhǔn)化后指標(biāo)的均值不相等會(huì)產(chǎn)生實(shí)際權(quán)重與設(shè)計(jì)權(quán)重(專家權(quán)重)的偏離，也稱為偽權(quán)重問題，從而導(dǎo)致專家權(quán)重失效，這是線性評(píng)價(jià)的基礎(chǔ)問題，其嚴(yán)重性并沒有得到有效的重視，如果不加以解決，會(huì)產(chǎn)生較大的系統(tǒng)誤差。研究數(shù)據(jù)表明，實(shí)際權(quán)重對(duì)設(shè)計(jì)權(quán)重的偏離度達(dá)到94.41%，這會(huì)嚴(yán)重影響評(píng)價(jià)結(jié)果。

b.sigmoid函數(shù)標(biāo)準(zhǔn)化與動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法均可以有效解決偽權(quán)重問題。研究比較了sigmoid標(biāo)準(zhǔn)化方法與動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法對(duì)偽權(quán)重的影響，研究發(fā)現(xiàn)，這兩種方法均可以有效克服偽權(quán)重問題，使得實(shí)際權(quán)重與設(shè)計(jì)權(quán)重接近。實(shí)證研究結(jié)果表明，其有效率高達(dá)98%以上，這為消除線性學(xué)術(shù)評(píng)價(jià)中的偽權(quán)重問題開辟了新的道路。

研究發(fā)現(xiàn)，應(yīng)根據(jù)不同情況選擇不同的標(biāo)準(zhǔn)化方法以克服偽權(quán)重問題。對(duì)于時(shí)間序列數(shù)據(jù)評(píng)價(jià)，以及評(píng)價(jià)指標(biāo)數(shù)據(jù)分布異常情況下，宜采用sigmoid函數(shù)標(biāo)準(zhǔn)化，對(duì)于截面數(shù)據(jù)評(píng)價(jià)以及評(píng)價(jià)指標(biāo)數(shù)據(jù)接近正態(tài)分布的情況，宜采用動(dòng)態(tài)最大均值逼近標(biāo)準(zhǔn)化方法。另外評(píng)價(jià)指標(biāo)發(fā)展規(guī)律接近成長(zhǎng)曲線的評(píng)價(jià)也首選采用sigmoid函數(shù)進(jìn)行標(biāo)準(zhǔn)化。

c.個(gè)體評(píng)價(jià)中廣泛存在偽權(quán)重問題并且理論上不可能消除。個(gè)體評(píng)價(jià)的影響因素比較復(fù)雜，受設(shè)計(jì)權(quán)重、指標(biāo)標(biāo)準(zhǔn)化方法、評(píng)價(jià)值等因素的綜合影響。對(duì)于個(gè)體而言，實(shí)際權(quán)重與設(shè)計(jì)權(quán)重之比等于標(biāo)準(zhǔn)化指標(biāo)值與評(píng)價(jià)得分之比。在個(gè)體評(píng)價(jià)中，設(shè)計(jì)權(quán)重與實(shí)際權(quán)重基本不可能相等，并且從技術(shù)上無法消除，實(shí)證研究結(jié)果也驗(yàn)證了這種情況。在這種情況下，設(shè)計(jì)權(quán)重的評(píng)價(jià)導(dǎo)向會(huì)適當(dāng)影響到個(gè)體的發(fā)展，分類評(píng)價(jià)一定程度上可以減小個(gè)體評(píng)價(jià)的偽權(quán)重問題。

d.解決整體評(píng)價(jià)的偽權(quán)重問題是討論個(gè)體評(píng)價(jià)權(quán)重問題的基礎(chǔ)。整體評(píng)價(jià)的權(quán)重是討論個(gè)體評(píng)價(jià)權(quán)重的基礎(chǔ)，只有首先解決好整體評(píng)價(jià)的權(quán)重問題，才能使個(gè)體評(píng)價(jià)中的設(shè)計(jì)權(quán)重與實(shí)際權(quán)重問題討論有意義，并且使得個(gè)體評(píng)價(jià)的實(shí)際權(quán)重計(jì)算正確，如果整體權(quán)重問題不解決，計(jì)算的個(gè)體實(shí)際權(quán)重也是錯(cuò)誤的。

e.要辯證看待評(píng)價(jià)的權(quán)重導(dǎo)向作用。對(duì)于個(gè)體而言，權(quán)重的導(dǎo)向作用固然會(huì)產(chǎn)生影響，尤其是涉及到資源分配的評(píng)價(jià)，會(huì)使個(gè)體更加關(guān)注權(quán)重較大指標(biāo)的發(fā)展。但本質(zhì)上，個(gè)體的實(shí)際權(quán)重與導(dǎo)向權(quán)重往往相差較大，因此即使從提高評(píng)價(jià)得分角度，個(gè)體也沒必要太關(guān)注評(píng)價(jià)的權(quán)重導(dǎo)向，做好特色指標(biāo)，形成競(jìng)爭(zhēng)優(yōu)勢(shì)，才是個(gè)體發(fā)展真正應(yīng)該關(guān)注的方向。