俞立平 張?jiān)俳?/p>

摘 要：[目的/意義]本文提出多屬性學(xué)術(shù)評(píng)價(jià)方法魯棒性問(wèn)題，即盡管評(píng)價(jià)方法不同，但評(píng)價(jià)結(jié)果排序卻大致不變，評(píng)價(jià)方法選擇似乎變得不那么重要，研究其產(chǎn)生機(jī)制具有重要意義。[方法/過(guò)程]本文在理論分析的基礎(chǔ)上，以JCR2019管理學(xué)期刊評(píng)價(jià)和線性評(píng)價(jià)、TOPSIS、因子分析3種評(píng)價(jià)方法為例，通過(guò)計(jì)算不同評(píng)價(jià)方法的實(shí)際權(quán)重，將其放在同一框架下進(jìn)行比較。[結(jié)果/結(jié)論]研究發(fā)現(xiàn)，指標(biāo)高度相關(guān)是多屬性評(píng)價(jià)方法魯棒性的根本原因，本質(zhì)上是不同評(píng)價(jià)方法的實(shí)際權(quán)重組合對(duì)高相關(guān)指標(biāo)評(píng)價(jià)不敏感;評(píng)價(jià)指標(biāo)相關(guān)度越高，評(píng)價(jià)方法魯棒性越嚴(yán)重;評(píng)價(jià)方法魯棒性還受高相關(guān)指標(biāo)數(shù)量、評(píng)價(jià)對(duì)象數(shù)量的影響;實(shí)際權(quán)重對(duì)于評(píng)價(jià)方法的選擇具有重要的指導(dǎo)意義;一定要重視多屬性學(xué)術(shù)評(píng)價(jià)方法魯棒性現(xiàn)象。

關(guān)鍵詞：學(xué)術(shù)評(píng)價(jià);權(quán)重魯棒性;評(píng)價(jià)方法魯棒性;學(xué)術(shù)期刊

DOI：10.3969/j.issn.1008-0821.2022.02.014

〔中圖分類號(hào)〕G302 〔文獻(xiàn)標(biāo)識(shí)碼〕A 〔文章編號(hào)〕1008-0821（2022）02-0152-11

Research on the Failure of Multi-attribute Academic

Evaluation Method and Its Generation Mechanism

Yu Liping1，2 Zhang Zaijie3

（1.School of Statistics and Mathematics，Zhejiang Gongshang University，Hangzhou 310018，China;

2.Collaborative Innovation Center of Statistical Data Engineering，Technology & Application，

Zhejiang Gongshang University，Hangzhou 310018，China;

3.Guizhou Green Development Strategy High End Think Tank，Guizhou University of Finance and

Economics，Guiyang 550025，China）

Abstract：[Purpose/Significance]This paper proposes the failure of multi-attribute academic evaluation methods，that is，although the evaluation methods are different，the ranking of evaluation results has a certain degree of acceptability.The choice of evaluation methods seems to become less important.It is of great significance to study its generation mechanism.[Method/Process]Based on theoretical analysis，JCR2019 management journal evaluation was taken as example and linear evaluation，TOPSIS，and factor analysis were used.By calculating the actual weights of different evaluation methods，they were compared under the same framework.[Result/Conclusion]The study found that the high correlation of indicators is the root cause of the failure of the multi-attribute evaluation method.In essence，the actual weight combination of different evaluation methods is not sensitive to the evaluation of high correlation indicators;the higher the correlation of the evaluation indicators，the more serious the failure of the evaluation method;the failure of the evaluation method is also affected by the number of high correlation indicators and the number of evaluation objects;actual weights have important guiding significance for the choice of evaluation methods;we must pay attention to the failure of multi-attribute academic evaluation methods.

Key words：academic evaluation;weight failure;evaluation method failure;academic journals

在科技評(píng)價(jià)中，針對(duì)同一評(píng)價(jià)對(duì)象的評(píng)價(jià)結(jié)果必然存在差異。以世界大學(xué)評(píng)價(jià)為例，目前主流的世界大學(xué)排名包括英國(guó)泰晤士報(bào)、英國(guó)QS、美國(guó)新聞與世界報(bào)道、中國(guó)軟科等，由于評(píng)價(jià)機(jī)構(gòu)不同、評(píng)價(jià)數(shù)據(jù)不同、評(píng)價(jià)方法不同等原因，評(píng)價(jià)結(jié)果存在較大差異，導(dǎo)致同一所高校在不同的大學(xué)評(píng)價(jià)中排序并不一致。盡管對(duì)于不同評(píng)價(jià)機(jī)構(gòu)的評(píng)價(jià)方法抱有不同看法，爭(zhēng)鳴一直存在，但對(duì)于這種現(xiàn)象的存在，無(wú)論是學(xué)術(shù)界還是公眾，均采取容忍態(tài)度。

一種現(xiàn)象是，對(duì)同一評(píng)價(jià)對(duì)象采用不同評(píng)價(jià)方法已經(jīng)越來(lái)越普遍。為了更加全面地進(jìn)行學(xué)術(shù)評(píng)價(jià)，采用指標(biāo)體系進(jìn)行多屬性評(píng)價(jià)已經(jīng)成為主流的方法。以學(xué)術(shù)期刊評(píng)價(jià)為例，目前采用的多屬性評(píng)價(jià)方法包括因子—BP人工神經(jīng)網(wǎng)絡(luò)[1]、灰色關(guān)聯(lián)分析[2]、主成分分析[3]、套索方法[4]、自由處置殼（FDH）[5]、結(jié)構(gòu)方程模型[6]等。關(guān)于多屬性評(píng)價(jià)方法的選擇依據(jù)目前尚沒(méi)有形成共識(shí)，這樣就產(chǎn)生了不同評(píng)價(jià)方法不同評(píng)價(jià)結(jié)果問(wèn)題，這似乎并沒(méi)有影響學(xué)術(shù)評(píng)價(jià)的發(fā)展。

另一種現(xiàn)象是，不同評(píng)價(jià)方法評(píng)價(jià)結(jié)果存在高度相關(guān)。以大學(xué)評(píng)價(jià)為例，雖然評(píng)價(jià)體系和評(píng)價(jià)方法不同，但排在各大排行榜前列的中國(guó)大學(xué)基本上是一致的。此外，有研究表明，不同評(píng)價(jià)方法的大學(xué)評(píng)價(jià)結(jié)果之間存在高度的相關(guān)性[7]。這就促成人們思考一個(gè)問(wèn)題，從宏觀視角出發(fā)，評(píng)價(jià)體系與評(píng)價(jià)方法的重要性似乎也沒(méi)有那么大，任何一種評(píng)價(jià)方法的結(jié)果似乎總體上可以接受，只要是不太挑剔。

兩種現(xiàn)象說(shuō)明不同評(píng)價(jià)方法之間存在著某種穩(wěn)定機(jī)制。本文將這種現(xiàn)象稱為評(píng)價(jià)方法魯棒性，其表現(xiàn)主要體現(xiàn)在兩個(gè)方面，第一是不同評(píng)價(jià)方法的評(píng)價(jià)結(jié)果存在一定的共識(shí)，使得評(píng)價(jià)方法的選擇變得不那么重要了。第二是從多屬性評(píng)價(jià)方法角度，沒(méi)有一種方法有充分依據(jù)證明其是唯一合理的，也沒(méi)有一種評(píng)價(jià)方法得到公認(rèn)是學(xué)術(shù)評(píng)價(jià)中不宜采用的。如果借用靈敏度分析的視角，這其實(shí)也是評(píng)價(jià)方法某種情況下失靈的一種體現(xiàn)，即評(píng)價(jià)方法不同對(duì)評(píng)價(jià)結(jié)果表現(xiàn)出某種不敏感。

研究學(xué)術(shù)評(píng)價(jià)方法魯棒性問(wèn)題具有重要意義。首先，從理論上分析學(xué)術(shù)評(píng)價(jià)中多屬性評(píng)價(jià)方法魯棒性的原因和形成機(jī)制，有利于豐富情報(bào)學(xué)與科學(xué)計(jì)量學(xué)理論;其次，從應(yīng)用角度，也為多屬性評(píng)價(jià)方法的選擇、提高學(xué)術(shù)評(píng)價(jià)的質(zhì)量提供重要參考，從而降低學(xué)術(shù)評(píng)價(jià)的系統(tǒng)誤差，提高學(xué)術(shù)評(píng)價(jià)的公信力與公平性。

1 文獻(xiàn)綜述

評(píng)價(jià)方法魯棒性是本文提出的新的現(xiàn)象，相關(guān)領(lǐng)域缺乏研究。關(guān)于不同評(píng)價(jià)方法的穩(wěn)定性、魯棒性或靈敏度研究，李星明等[8]從評(píng)價(jià)指標(biāo)角度分析了投資環(huán)境評(píng)價(jià)的靈敏度。張立軍等[9]從無(wú)量綱化方法和樣本容量?jī)蓚€(gè)方面分析度量綜合評(píng)價(jià)模型的魯棒性。李偉偉等[10]引入異常數(shù)據(jù)，比較不同賦權(quán)評(píng)價(jià)方法排序結(jié)果的變化程度。高曉紅等[11]從信息提取視角對(duì)多屬性評(píng)價(jià)方法進(jìn)行分析，發(fā)現(xiàn)可組合出若干新的多屬性評(píng)價(jià)方法，可用系統(tǒng)方差度量其穩(wěn)定性，當(dāng)無(wú)量綱化處理恰當(dāng)時(shí)，復(fù)合信息提取有助于提高結(jié)果的穩(wěn)定性。

關(guān)于不同多屬性評(píng)價(jià)方法的比較研究，劉建昌等[12]比較了高?？萍紕?chuàng)新能力評(píng)價(jià)的幾種方法，包括主成分分析、DEA、因子分析、層次分析、模糊綜合評(píng)價(jià)、灰色關(guān)聯(lián)等。吳忠謙[13]選取4個(gè)國(guó)際典型的國(guó)家科技競(jìng)爭(zhēng)力評(píng)價(jià)方法，比較其理論基礎(chǔ)、評(píng)價(jià)對(duì)象和具體指標(biāo)。楊瑞仙等[14]從評(píng)價(jià)機(jī)構(gòu)、評(píng)價(jià)目的、評(píng)價(jià)指標(biāo)、評(píng)價(jià)角度等方面對(duì)國(guó)內(nèi)外主要大學(xué)排名方法進(jìn)行了比較。雷佳麗等[15]則比較了國(guó)內(nèi)外智庫(kù)評(píng)價(jià)方法，發(fā)現(xiàn)國(guó)內(nèi)智庫(kù)與國(guó)外智庫(kù)評(píng)價(jià)相差較大。俞立平等[16]對(duì)科技評(píng)價(jià)中的加法合成、乘法合成、對(duì)數(shù)合成、代換合成方法進(jìn)行比較，發(fā)現(xiàn)評(píng)價(jià)結(jié)果差距較大。俞立平等[17]還研究發(fā)現(xiàn)，除了線性評(píng)價(jià)方法，非線性評(píng)價(jià)方法之間難以進(jìn)行比較。

從現(xiàn)有的研究看，關(guān)于多屬性評(píng)價(jià)方法的穩(wěn)定性研究有一些進(jìn)展，研究視角包括評(píng)價(jià)指標(biāo)、無(wú)量綱化方法、樣本容量、異常數(shù)據(jù)、信息提取等。關(guān)于多屬性評(píng)價(jià)方法比較研究，視角包括多屬性評(píng)價(jià)方法、理論基礎(chǔ)、指標(biāo)體系、評(píng)價(jià)對(duì)象、可比性等?？傮w上，關(guān)于多屬性評(píng)價(jià)方法魯棒性的相關(guān)研究，在以下方面有待進(jìn)一步深入：

第一，缺乏從多屬性評(píng)價(jià)方法本身視角出發(fā)研究其魯棒性，這方面的研究極為缺乏。多屬性評(píng)價(jià)方法有幾十種，找到一個(gè)分析框架比較困難，迫切需要從理論上加以推進(jìn)。

第二，關(guān)于評(píng)價(jià)方法魯棒性的表現(xiàn)、測(cè)度、產(chǎn)生機(jī)理缺乏深入系統(tǒng)的研究，加上學(xué)術(shù)評(píng)價(jià)目的不同、對(duì)象不同、指標(biāo)體系不同、評(píng)價(jià)方法不同，這一切增加了研究的復(fù)雜性。

本文在理論分析的基礎(chǔ)上，提出通過(guò)實(shí)際權(quán)重建立線性學(xué)術(shù)評(píng)價(jià)與非線性學(xué)術(shù)評(píng)價(jià)的比較框架，并以JCR2019管理學(xué)期刊為例，評(píng)價(jià)方法以線性評(píng)價(jià)、TOPSIS、因子分析3種有代表性的方法為例，通過(guò)嶺回歸與偏最小二乘法計(jì)算實(shí)際權(quán)重，并提出評(píng)價(jià)方法魯棒性的測(cè)度方法，對(duì)高相關(guān)指標(biāo)與全部指標(biāo)評(píng)價(jià)方法魯棒性程度進(jìn)行比較，以分析學(xué)術(shù)評(píng)價(jià)方法魯棒性的產(chǎn)生機(jī)制，最終得出結(jié)論。

2 理論分析與研究方法

2.1 多屬性評(píng)價(jià)方法魯棒性的理論分析

1）多屬性學(xué)術(shù)評(píng)價(jià)方法的分類

從指標(biāo)體系合并為評(píng)價(jià)得分的方法角度，多屬性學(xué)術(shù)評(píng)價(jià)可以分為兩大類，一類是線性評(píng)價(jià)方法，即通過(guò)一定方法賦權(quán)，然后對(duì)指標(biāo)體系標(biāo)準(zhǔn)化后進(jìn)行加權(quán)匯總，得到評(píng)價(jià)得分。另一類是采用某種數(shù)學(xué)原理進(jìn)行合成，得到評(píng)價(jià)值，稱為非線性評(píng)價(jià)方法，如圖1所示。對(duì)于線性評(píng)價(jià)方法，普遍涉及權(quán)重，賦權(quán)方法包括主觀賦權(quán)、客觀賦權(quán)，或者結(jié)合主客觀進(jìn)行賦權(quán)，而對(duì)于非線性評(píng)價(jià)方法，有的涉及權(quán)重，如加權(quán)TOPSIS、灰色關(guān)聯(lián)評(píng)價(jià)等，有的則不涉及權(quán)重，如主成分分析、因子分析等。

2）不同多屬性評(píng)價(jià)方法的比較框架——實(shí)際權(quán)重

多屬性評(píng)價(jià)方法目前已經(jīng)有幾十種，之所以存在評(píng)價(jià)方法魯棒性，是因?yàn)檫@些評(píng)價(jià)方法之間可能存在某種潛在的共性。權(quán)重其實(shí)正是多屬性評(píng)價(jià)方法共性的具體體現(xiàn)，對(duì)于線性評(píng)價(jià)方法與部分非線性評(píng)價(jià)方法，它們直接與權(quán)重相關(guān)，對(duì)于不涉及權(quán)重的非線性評(píng)價(jià)方法，其實(shí)也可以通過(guò)一定的方法得到模擬權(quán)重或?qū)嶋H權(quán)重，這樣就建立了不同多屬性評(píng)價(jià)方法的比較機(jī)制。

對(duì)于線性多屬性評(píng)價(jià)方法，俞立平[18]提出評(píng)價(jià)賦權(quán)并不是真正的權(quán)重，因?yàn)椴煌u(píng)價(jià)指標(biāo)標(biāo)準(zhǔn)化后均值并不相等，應(yīng)該用評(píng)價(jià)賦權(quán)乘以標(biāo)準(zhǔn)化后指標(biāo)的均值占整個(gè)評(píng)價(jià)值的比重表示權(quán)重，這就是線性評(píng)價(jià)方法的實(shí)際權(quán)重。

對(duì)于大多數(shù)非線性評(píng)價(jià)方法，俞立平等[19]提出可以通過(guò)對(duì)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸，然后根據(jù)回歸系數(shù)大小進(jìn)行歸一化處理，得到各評(píng)價(jià)指標(biāo)的模擬權(quán)重，或者實(shí)際權(quán)重。為了防止多重共線性，回歸方法可以采用嶺回歸或偏最小二乘法。但是對(duì)于評(píng)價(jià)結(jié)果是排序的評(píng)價(jià)方法不能直接回歸，需要經(jīng)過(guò)特定的處理，如采用排序因變量模型進(jìn)行回歸。

通過(guò)以上兩種方法的預(yù)處理，使得所有的多屬性評(píng)價(jià)方法之間可以橫向進(jìn)行某種比較，或者說(shuō)由于模擬權(quán)重或?qū)嶋H權(quán)重概念的引入，將所有非線性評(píng)價(jià)方法已經(jīng)轉(zhuǎn)換成線性評(píng)價(jià)方法，即評(píng)價(jià)值基本上可以視為評(píng)價(jià)指標(biāo)按實(shí)際權(quán)重進(jìn)行加權(quán)匯總的結(jié)果。

3）權(quán)重魯棒性與評(píng)價(jià)方法魯棒性的關(guān)系

權(quán)重魯棒性是指不同評(píng)價(jià)指標(biāo)大小排序如果基本一致時(shí)，即不同指標(biāo)表現(xiàn)為“同增同減”時(shí)，無(wú)論權(quán)重組合如何變化，評(píng)價(jià)值的排序也會(huì)保持不變的一種現(xiàn)象，其根源主要是評(píng)價(jià)指標(biāo)之間高度相關(guān)。

下面以k個(gè)高相關(guān)指標(biāo)為例進(jìn)行進(jìn)一步說(shuō)明，假設(shè)兩個(gè)評(píng)價(jià)對(duì)象標(biāo)準(zhǔn)化后的評(píng)價(jià)指標(biāo)值分別為P1，P2，…，Pk和Q1，Q2，…，Qk，指標(biāo)權(quán)重為ω1，ω2，…，ωk，k為“同增同減”指標(biāo)個(gè)數(shù)，則C為評(píng)價(jià)值，P和Q的評(píng)價(jià)結(jié)果為：

CP=ω1P1+ω2P2+…+ωkPk

CQ=ω1Q1+ω2Q2+…+ωkQk（1）

P和Q評(píng)價(jià)值之差為：

CP-CQ=ω1（P1-Q1）+ω2（P2-Q2）+…+ωk（Pk-Qk）（2）

假設(shè)P比Q優(yōu)秀，由于評(píng)價(jià)指標(biāo)存在“同增同減”現(xiàn)象，則有Pi′-Qi>0，此時(shí)權(quán)重組合ω?zé)o論如何變化，CP永遠(yuǎn)大于CQ。即權(quán)重組合對(duì)評(píng)價(jià)結(jié)果沒(méi)有任何影響，這就是權(quán)重魯棒性。

在多屬性評(píng)價(jià)中，無(wú)論是線性評(píng)價(jià)還是非線性評(píng)價(jià)，均已經(jīng)計(jì)算得到模擬權(quán)重即實(shí)際權(quán)重，那么權(quán)重魯棒性在線性與非線性評(píng)價(jià)中同樣存在。也就是說(shuō)，當(dāng)評(píng)價(jià)指標(biāo)高度相關(guān)時(shí)，盡管多屬性評(píng)價(jià)方法不同，即評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重組合不同，但對(duì)多屬性評(píng)價(jià)方法的評(píng)價(jià)結(jié)果排序也不會(huì)產(chǎn)生太大影響，這就是多屬性評(píng)價(jià)方法魯棒性的根源，如圖2所示。

4）評(píng)價(jià)方法魯棒性的進(jìn)一步分析

第一，高相關(guān)指標(biāo)產(chǎn)生的權(quán)重魯棒性是一種局部魯棒性。即這種權(quán)重魯棒性只會(huì)發(fā)生在高相關(guān)指標(biāo)之間，當(dāng)這些指標(biāo)的實(shí)際權(quán)重總計(jì)較大時(shí)，容易造成評(píng)價(jià)方法魯棒性。而當(dāng)這些指標(biāo)的實(shí)際權(quán)重總計(jì)較小時(shí)，不一定會(huì)產(chǎn)生評(píng)價(jià)方法魯棒性。根本原因是其他低相關(guān)指標(biāo)對(duì)整個(gè)評(píng)價(jià)值也會(huì)產(chǎn)生影響，這種影響大小在不同的多屬性評(píng)價(jià)中相差較大。

第二，同一多屬性評(píng)價(jià)可能存在多組互不相關(guān)的局部權(quán)重魯棒性現(xiàn)象。比如X1、X2、X3指標(biāo)之間高度相關(guān)，X7、X8之間也高度相關(guān)，但X1、X2、X3與X7、X8之間相關(guān)度較低。在這種情況下，評(píng)價(jià)方法魯棒性與否取決于兩組評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重總和，其越接近1，越可能存在評(píng)價(jià)方法魯棒性。

第三，評(píng)價(jià)對(duì)象數(shù)量多少會(huì)影響評(píng)價(jià)方法魯棒性。當(dāng)評(píng)價(jià)對(duì)象較少時(shí)，由于各評(píng)價(jià)指標(biāo)區(qū)分度較大，因此可能不管采用什么評(píng)價(jià)方法，評(píng)價(jià)結(jié)果的排序基本一致。但是這并沒(méi)有破壞評(píng)價(jià)方法魯棒性的理論基礎(chǔ)，本質(zhì)上還是評(píng)價(jià)指標(biāo)之間高度相關(guān)。由于多屬性決策方案往往只有幾種，從這個(gè)角度，在多屬性決策中，更容易出現(xiàn)評(píng)價(jià)（決策）方法魯棒性。

第四，評(píng)價(jià)方法魯棒性是一把雙刃劍。一方面，評(píng)價(jià)方法魯棒性使得采用高相關(guān)指標(biāo)評(píng)價(jià)時(shí)，評(píng)價(jià)結(jié)果對(duì)評(píng)價(jià)方法的選擇不太敏感，表面看似乎降低了評(píng)價(jià)的科學(xué)性、嚴(yán)肅性。但是另一方面，正因?yàn)樵u(píng)價(jià)方法的不敏感，也使得評(píng)價(jià)結(jié)果容易得到公眾的承認(rèn)。所以必須加強(qiáng)對(duì)評(píng)價(jià)方法魯棒性的研究，評(píng)估其影響，讓其從黑箱走向白箱。

2.2 研究方法

1）線性評(píng)價(jià)實(shí)際權(quán)重的計(jì)算

Wj=∑mi=1ωjXij∑mi=1∑nj=1C′ij=∑mi=1ωjXij∑mi=1∑mj=1ωjXij=ωjXijC′ij（3）

式（3）中C′為線性評(píng)價(jià)結(jié)果，Xij為標(biāo)準(zhǔn)化后的評(píng)價(jià)指標(biāo)，ωj為評(píng)價(jià)賦權(quán)，Wj表示模擬權(quán)重或?qū)嶋H權(quán)重，傅蓉[20]稱其為結(jié)果權(quán)重。實(shí)際權(quán)重是指標(biāo)加權(quán)匯總值占所有指標(biāo)評(píng)價(jià)得分總值的比重，也可以用該指標(biāo)加權(quán)均值占評(píng)價(jià)得分均值的比重表示。

2）非線性評(píng)價(jià)實(shí)際權(quán)重的計(jì)算

對(duì)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸，此時(shí)的回歸系數(shù)大小本質(zhì)上就是評(píng)價(jià)指標(biāo)重要性的體現(xiàn)，將其歸一化處理就是權(quán)重。需要注意的是，所有變量必須取對(duì)數(shù)，否則不同評(píng)價(jià)指標(biāo)的回歸系數(shù)之間是不可比的。

由于學(xué)術(shù)評(píng)價(jià)指標(biāo)之間往往高度相關(guān)，存在多重共線性，此時(shí)傳統(tǒng)的回歸方法會(huì)失效，為了克服這個(gè)問(wèn)題，可以采用嶺回歸與偏最小二乘法回歸，它們均具有一定的克服多重共線性的功效。本文從提高研究的穩(wěn)健性出發(fā)，同時(shí)采用這兩種方法估計(jì)非線性評(píng)價(jià)方法的實(shí)際權(quán)重，取兩種方法的平均值作為最終結(jié)果。

嶺回歸由Hoerl A E等[21]提出，是一種改進(jìn)的最小二乘法回歸，主要應(yīng)用在自變量高度相關(guān)容易出現(xiàn)多重共線性的回歸中。嶺回歸過(guò)放棄OLS的無(wú)偏性，以降低部分精度和犧牲部分信息為代價(jià)，從而獲得更好的回歸效果。

偏最小二乘法由Wold S等[22]提出，它綜合主成分分析、典型相關(guān)分析、多元回歸3種方法，在存在多重共線性、樣本數(shù)量較少、數(shù)據(jù)分布偏倚的情況下，估計(jì)效果較好。

3）權(quán)重魯棒性測(cè)度

多屬性評(píng)價(jià)方法魯棒性的產(chǎn)生的主要原因是評(píng)價(jià)指標(biāo)之間高度相關(guān)，因此，首先通過(guò)指標(biāo)之間的相關(guān)性大小來(lái)測(cè)度評(píng)價(jià)指標(biāo)的魯棒性度，稱為相關(guān)系數(shù)法。對(duì)于k個(gè)相關(guān)度較高的評(píng)價(jià)指標(biāo)而言，指標(biāo)之間的兩兩相關(guān)系數(shù)Rij共有C2k個(gè)，用1減去相關(guān)系數(shù)的均值就得到評(píng)價(jià)指標(biāo)相關(guān)系數(shù)權(quán)重魯棒性度WR：

WR=1-∑RijC2k（4）

相關(guān)系數(shù)權(quán)重魯棒性度WR越小，說(shuō)明其權(quán)重魯棒性度越大。在統(tǒng)計(jì)學(xué)中，根據(jù)相關(guān)系數(shù)高低大致可以判斷相關(guān)性大小，WR是1減去相關(guān)系數(shù)的均值，因此相應(yīng)地可以將權(quán)重魯棒性等級(jí)分為高度魯棒性（WR<0.1）、中度魯棒性（0.1

4）多屬性評(píng)價(jià)方法魯棒性測(cè)度

對(duì)于給定的評(píng)價(jià)指標(biāo)體系，采用不同的多屬性評(píng)價(jià)方法評(píng)價(jià)，可以得到不同的評(píng)價(jià)結(jié)果排序，計(jì)算不同多屬性評(píng)價(jià)方法評(píng)價(jià)結(jié)果的排序差異，就是多屬性評(píng)價(jià)方法魯棒性度。對(duì)于不同的多屬性評(píng)價(jià)方法，本質(zhì)上相當(dāng)于實(shí)際權(quán)重組合不同，分別進(jìn)行評(píng)價(jià)，然后比較不同評(píng)價(jià)方法的平均排序變化程度，假設(shè)評(píng)價(jià)方法A的評(píng)價(jià)值排序?yàn)镽A，評(píng)價(jià)方法B的評(píng)價(jià)值排序?yàn)镽B，m為評(píng)價(jià)對(duì)象數(shù)量，則評(píng)價(jià)方法排序魯棒性度VR為：

VR=∑mi=1RBi-RAim（5）

評(píng)價(jià)方法排序魯棒性度VR越小，說(shuō)明評(píng)價(jià)方法魯棒性度越高。對(duì)于k種評(píng)價(jià)方法而言，評(píng)價(jià)方法的兩兩魯棒性度共有C2k個(gè)，取其平均值，就可以得到不同評(píng)價(jià)方法的排序魯棒性度：

RR=∑VRC2k（6）

2.3 研究框架

本文的研究框架如圖3所示。以JCR2019管理學(xué)期刊為例開展相關(guān)研究，研究目的主要包括3個(gè)部分：

第一，在管理學(xué)期刊評(píng)價(jià)指標(biāo)體系中，篩選其中相關(guān)系數(shù)較高的評(píng)價(jià)指標(biāo)組合，以此來(lái)檢驗(yàn)高相關(guān)指標(biāo)的權(quán)重魯棒性度，以及權(quán)重魯棒性對(duì)線性評(píng)價(jià)、TOPSIS評(píng)價(jià)、因子分析評(píng)價(jià)的方法魯棒性度的影響。

選取線性評(píng)價(jià)、TOPSIS、因子分析3種方法的理由是，線性評(píng)價(jià)作為一大類代表性的方法在學(xué)術(shù)評(píng)價(jià)中應(yīng)用很廣，TOPSIS與因子分析都是非線性評(píng)價(jià)方法，TOPSIS涉及評(píng)價(jià)指標(biāo)權(quán)重，而因子分析不涉及評(píng)價(jià)指標(biāo)權(quán)重，這樣所有多屬性評(píng)價(jià)方法的種類均大致涉及。由于這3種方法相對(duì)成熟，為節(jié)省篇幅，其技術(shù)細(xì)節(jié)不再一一贅述。

第二，選取管理學(xué)期刊的全部評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)，并測(cè)度其權(quán)重魯棒性度，以及權(quán)重魯棒性對(duì)線性評(píng)價(jià)、TOPSIS評(píng)價(jià)、因子分析評(píng)價(jià)的方法魯棒性度的影響。由于全部指標(biāo)之間的相關(guān)系數(shù)相對(duì)較低，因此評(píng)價(jià)方法魯棒性度相對(duì)較小，這樣可以和高相關(guān)指標(biāo)評(píng)價(jià)進(jìn)行鮮明的對(duì)照。

第三，在以上過(guò)程中計(jì)算每種評(píng)價(jià)方法的實(shí)際權(quán)重，并比較實(shí)際權(quán)重組合，從而進(jìn)一步闡述將所有評(píng)價(jià)方法放在同一權(quán)重框架下進(jìn)行比較的意義。如果沒(méi)有這個(gè)框架，就無(wú)法進(jìn)行權(quán)重魯棒性與評(píng)價(jià)方法魯棒性的進(jìn)一步分析。

3 研究數(shù)據(jù)與實(shí)證結(jié)果

3.1 研究數(shù)據(jù)

本文以管理學(xué)期刊影響力評(píng)價(jià)為例進(jìn)行相關(guān)實(shí)證研究，作為一種算例，本文的研究重點(diǎn)是評(píng)價(jià)方法魯棒性的形成機(jī)制，并不是具體的學(xué)術(shù)期刊影響力評(píng)價(jià)。研究對(duì)象和數(shù)據(jù)選擇JCR2019管理學(xué)期刊，選取的評(píng)價(jià)指標(biāo)包括影響因子JIF、5年影響因子IF5、他引影響因子IFW、即年指標(biāo)II、總被引頻次TC、特征因子ES、論文影響分值A(chǔ)IS共7個(gè)指標(biāo)。本文并沒(méi)有選取被引半衰期與引用半衰期兩個(gè)表現(xiàn)學(xué)術(shù)期刊時(shí)效性的指標(biāo)。JCR2019共有管理學(xué)期刊225種，由于存在數(shù)據(jù)缺失，清洗后還有193種期刊。

本文采用線性評(píng)價(jià)、TOPSIS、因子分析3種方法進(jìn)行評(píng)價(jià)，以分析評(píng)價(jià)方法魯棒性的形成機(jī)制。在線性評(píng)價(jià)與TOPSIS評(píng)價(jià)中，均涉及權(quán)重，因此采用專家賦權(quán)法確定權(quán)重，邀請(qǐng)學(xué)術(shù)期刊評(píng)價(jià)領(lǐng)域7位知名專家，評(píng)價(jià)指標(biāo)和權(quán)重賦值如表1所示。需要說(shuō)明的是，本文重點(diǎn)研究評(píng)價(jià)方法魯棒性，相關(guān)方法選取及權(quán)重賦值僅僅作為算例，主要是為了說(shuō)明問(wèn)題。

3.2 評(píng)價(jià)指標(biāo)相關(guān)系數(shù)

為了篩選出幾個(gè)高相關(guān)指標(biāo)組合研究其評(píng)價(jià)方法魯棒性問(wèn)題，首先計(jì)算7個(gè)評(píng)價(jià)指標(biāo)的相關(guān)系數(shù)，結(jié)果如表2所示。影響因子、5年影響因子、他引影響因子之間的相關(guān)系數(shù)較高，影響因子與他引影響因子的相關(guān)系數(shù)為0.987，5年影響因子與他引影響因子的相關(guān)系數(shù)為0.951，影響因子與5年影響因子的相關(guān)系數(shù)為0.948。3個(gè)指標(biāo)組合的評(píng)價(jià)指標(biāo)魯棒性度WR為0.038，小于0.1，處于高權(quán)重魯棒性水平。

由于還要對(duì)所有7個(gè)評(píng)價(jià)指標(biāo)組合研究其評(píng)價(jià)方法魯棒性問(wèn)題，進(jìn)一步計(jì)算7個(gè)評(píng)價(jià)指標(biāo)組合的權(quán)重魯棒性水平，計(jì)算結(jié)果WR為0.337，說(shuō)明基本不存在權(quán)重魯棒性。

3.3 高相關(guān)指標(biāo)評(píng)價(jià)分析

1）不同評(píng)價(jià)方法高相關(guān)指標(biāo)評(píng)價(jià)結(jié)果比較及評(píng)價(jià)方法魯棒性測(cè)度

首先基于影響因子、5年影響因子、他引影響因子3個(gè)指標(biāo)組合，分別采用線性、TOPSIS、因子分析3種方法進(jìn)行評(píng)價(jià)。在線性評(píng)價(jià)中，這3個(gè)指標(biāo)的權(quán)重仍然采取專家權(quán)重的歸一化處理結(jié)果，即權(quán)重由原來(lái)的0.11、0.20、0.15轉(zhuǎn)換為0.24、0.44、0.32，目的是在保證權(quán)重比例不變的情況下使得權(quán)重之和為1。

采用TOPSIS評(píng)價(jià)時(shí)，影響因子、5年影響因子、他引影響因子的權(quán)重同樣分別是0.24、0.44、0.32。

采用因子分析評(píng)價(jià)，KMO檢驗(yàn)值為0.759，Bartlett檢驗(yàn)值為1 146.544，p值為0.000，符合采用因子分析法的前提條件。結(jié)果發(fā)現(xiàn)只有1個(gè)公共因子，方差貢獻(xiàn)率高達(dá)97.45%，因此采用單因子分析進(jìn)行評(píng)價(jià)。

以上3種評(píng)價(jià)方法的評(píng)價(jià)結(jié)果如表3所示，由于篇幅所限，這里僅公布按線性評(píng)價(jià)排名前30位的期刊評(píng)價(jià)結(jié)果。

從前30名的評(píng)價(jià)結(jié)果看，盡管評(píng)價(jià)方法不同，但評(píng)價(jià)結(jié)果排序總體上一致。進(jìn)一步計(jì)算評(píng)價(jià)方法排序魯棒性度，線性評(píng)價(jià)與TOPSIS之間的排序魯棒性度為0.383，線性評(píng)價(jià)與因子分析的排序魯棒性度為1.358，TOPSIS與因子分析的排序魯棒性度為1.161，三者平均的總體排序魯棒性度RR為0.967，也就是說(shuō)，盡管評(píng)價(jià)方法不同，但評(píng)價(jià)結(jié)果的排序差異僅有0.967個(gè)位次，這種差異應(yīng)該說(shuō)很小，說(shuō)明對(duì)于高相關(guān)指標(biāo)而言，評(píng)價(jià)方法存在魯棒性現(xiàn)象。

2）不同評(píng)價(jià)方法高相關(guān)指標(biāo)實(shí)際權(quán)重計(jì)算結(jié)果

下面同時(shí)采用嶺回歸與偏最小二乘法，對(duì)TOPSIS和因子分析的評(píng)價(jià)值與評(píng)價(jià)指標(biāo)分別進(jìn)行回歸，將回歸系數(shù)進(jìn)行歸一化處理得到模擬權(quán)重，然后將嶺回歸模擬權(quán)重與偏最小二乘法模擬權(quán)重進(jìn)行平均，得到實(shí)際權(quán)重，以進(jìn)一步分析評(píng)價(jià)方法魯棒性的形成機(jī)制。

首先計(jì)算TOPSIS評(píng)價(jià)的實(shí)際權(quán)重，在進(jìn)行嶺回歸時(shí)，發(fā)現(xiàn)標(biāo)準(zhǔn)系數(shù)之和為0.6時(shí)，模型趨于穩(wěn)定，因此取此時(shí)的回歸系數(shù)組合作為最終結(jié)果，影響因子、5年影響因子、他引影響因子的回歸系數(shù)分別為0.274、0.289、0.272。

繼續(xù)采用偏最小二乘法進(jìn)行回歸，當(dāng)隱含成分為1時(shí)，擬合優(yōu)度為0.999，具有極高的擬合度，因此取隱含成分為1的回歸系數(shù)組合作為最終評(píng)價(jià)結(jié)果，回歸系數(shù)分別為1.000、0.997、1.003。

高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)的實(shí)際權(quán)重如表4所示，最終影響因子的實(shí)際權(quán)重為0.331，5年影響因子的實(shí)際權(quán)重為0.339，他引影響因子的實(shí)際權(quán)重為0.330。

繼續(xù)計(jì)算高相關(guān)指標(biāo)因子分析的實(shí)際權(quán)重，在嶺回歸時(shí)發(fā)現(xiàn)當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.6時(shí)，模型趨于穩(wěn)定，影響因子、5年影響因子、他引影響因子的回歸系數(shù)分別為0.278、0.280、0.278。

繼續(xù)采用偏最小二乘法進(jìn)行回歸，當(dāng)隱含成分為1時(shí)，擬合優(yōu)度為1，回歸系數(shù)分別為1.004、0.991、1.005。

高相關(guān)指標(biāo)因子評(píng)價(jià)的實(shí)際權(quán)重如表5所示，最終影響因子的實(shí)際權(quán)重為0.334，5年影響因子的實(shí)際權(quán)重為0.332，他引影響因子的實(shí)際權(quán)重為0.334。

3）不同評(píng)價(jià)方法高相關(guān)指標(biāo)實(shí)際權(quán)重比較

對(duì)于線性評(píng)價(jià)，基于式（3）計(jì)算出實(shí)際權(quán)重，這樣，3種評(píng)價(jià)方法的實(shí)際權(quán)重均已經(jīng)計(jì)算出來(lái)，連同專家權(quán)重如表6所示。

專家權(quán)重以及不同評(píng)價(jià)方法實(shí)際權(quán)重的對(duì)照說(shuō)明如下幾個(gè)問(wèn)題：

第一，不同評(píng)價(jià)方法之間的實(shí)際權(quán)重也存在較大差距，權(quán)重大小排序相差較大，并無(wú)規(guī)律可循。

第二，高相關(guān)指標(biāo)之所以存在評(píng)價(jià)方法魯棒性現(xiàn)象，原因是評(píng)價(jià)指標(biāo)高度相關(guān)，使得盡管評(píng)價(jià)方法的實(shí)際權(quán)重組合不同，但對(duì)評(píng)價(jià)結(jié)果的影響較小。

3.4 全部指標(biāo)評(píng)價(jià)對(duì)比分析

1）不同評(píng)價(jià)方法全部指標(biāo)評(píng)價(jià)結(jié)果比較及評(píng)價(jià)方法魯棒性測(cè)度

選取全部7個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。在線性評(píng)價(jià)中，采用表1中的專家賦權(quán)，對(duì)評(píng)價(jià)指標(biāo)采用極大值標(biāo)準(zhǔn)化，然后進(jìn)行加權(quán)匯總。

采用TOPSIS評(píng)價(jià)時(shí)，對(duì)于評(píng)價(jià)指標(biāo)同樣按照表1的專家賦權(quán)進(jìn)行加權(quán)匯總。

采用因子分析評(píng)價(jià)，KMO檢驗(yàn)值為0.803，Bartlett檢驗(yàn)值為1 974.141，p值為0.000，符合采用因子分析法的前提條件。其旋轉(zhuǎn)成分矩陣如表7所示，共有兩個(gè)公共因子，因子1相關(guān)指標(biāo)為影響因子、5年影響因子、他引影響因子、即年指標(biāo)、論文影響分值，因子2的相關(guān)指標(biāo)為總被引頻次、特征因子。因子1的方差貢獻(xiàn)率為52.93%，因子2的方差貢獻(xiàn)率為33.90%，兩者合計(jì)86.83%，具有較高的解釋水平。

以上3種評(píng)價(jià)方法的評(píng)價(jià)結(jié)果如表8所示，由于篇幅所限，這里僅公布按線性評(píng)價(jià)排名前30位的期刊評(píng)價(jià)結(jié)果。從前30名的評(píng)價(jià)結(jié)果看，盡管評(píng)價(jià)方法不同，但評(píng)價(jià)結(jié)果排序差異相對(duì)高相關(guān)指標(biāo)要大很多。進(jìn)一步計(jì)算評(píng)價(jià)方法排序魯棒性度，線性評(píng)價(jià)與TOPSIS之間的排序魯棒性度為3.793，線性評(píng)價(jià)與因子分析的排序魯棒性度為4.104，TOPSIS與因子分析的排序魯棒性度為3.161，三者平均的總體排序魯棒性度RR為3.686，也就是說(shuō)，由于評(píng)價(jià)方法不同，導(dǎo)致評(píng)價(jià)結(jié)果的排序差異為3.686個(gè)位次，應(yīng)該說(shuō)排序變化較大，是高相關(guān)指標(biāo)評(píng)價(jià)總體排序魯棒性度0.967的差不多4倍，說(shuō)明在評(píng)價(jià)指標(biāo)相關(guān)度較低的情況下，評(píng)價(jià)方法魯棒性現(xiàn)象并不嚴(yán)重。

2）不同評(píng)價(jià)方法全部指標(biāo)模擬權(quán)重計(jì)算結(jié)果

首先計(jì)算TOPSIS評(píng)價(jià)的實(shí)際權(quán)重，在進(jìn)行嶺回歸時(shí)，發(fā)現(xiàn)標(biāo)準(zhǔn)系數(shù)之和為0.7時(shí)，模型趨于穩(wěn)定，因此取此時(shí)的回歸系數(shù)組合作為最終結(jié)果。采用偏最小二乘法進(jìn)行回歸時(shí)，當(dāng)隱藏成分為3時(shí)，擬合優(yōu)度為0.995，并且不再提高，因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

TOPSIS評(píng)價(jià)的嶺回歸系數(shù)和偏最小二乘法回歸系數(shù)如表9所示，分別將回歸系數(shù)進(jìn)行標(biāo)準(zhǔn)化得到模擬權(quán)重，再將模擬權(quán)重進(jìn)行平均，得到實(shí)際權(quán)重。5年影響因子、影響因子、他引影響因子的實(shí)際權(quán)重相對(duì)較高，即年指標(biāo)的實(shí)際權(quán)重最低。

繼續(xù)計(jì)算因子分析評(píng)價(jià)的實(shí)際權(quán)重，在進(jìn)行嶺回歸時(shí)，發(fā)現(xiàn)標(biāo)準(zhǔn)系數(shù)之和為0.7時(shí)，模型趨于穩(wěn)定，因此取此時(shí)的回歸系數(shù)組合作為最終結(jié)果。采用偏最小二乘法進(jìn)行回歸時(shí)，當(dāng)隱藏成分為2時(shí)，擬合優(yōu)度為1.000，因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

因子分析評(píng)價(jià)的嶺回歸系數(shù)和偏最小二乘法回歸系數(shù)如表10所示，分別將回歸系數(shù)進(jìn)行標(biāo)準(zhǔn)化得到模擬權(quán)重，再將模擬權(quán)重進(jìn)行平均，得到實(shí)際權(quán)重。影響因子、5年影響因子、他引影響因子的實(shí)際權(quán)重相對(duì)較高，特征因子的實(shí)際權(quán)重最低。

3）不同評(píng)價(jià)方法全部指標(biāo)實(shí)際權(quán)重比較

對(duì)于全部指標(biāo)的線性評(píng)價(jià)，基于式（3）計(jì)算出實(shí)際權(quán)重，這樣，3種評(píng)價(jià)方法的實(shí)際權(quán)重均已經(jīng)計(jì)算出來(lái)，連同專家權(quán)重如表11所示。

專家權(quán)重以及不同評(píng)價(jià)方法實(shí)際權(quán)重的對(duì)照說(shuō)明如下幾個(gè)問(wèn)題：

第一，無(wú)論是線性評(píng)價(jià)方法還是非線性評(píng)價(jià)方法，實(shí)際權(quán)重與專家權(quán)重相去甚遠(yuǎn)。

第二，不同評(píng)價(jià)方法之間的實(shí)際權(quán)重也存在較大差距，而且權(quán)重大小相差較大，并無(wú)規(guī)律可循。

第三，影響因子、5年影響因子、他引影響因子3個(gè)指標(biāo)的實(shí)際權(quán)重均處于較高水平，原因有待進(jìn)一步探索。

第四，就全部指標(biāo)評(píng)價(jià)而言，總體上并不存在評(píng)價(jià)方法魯棒性，原因是評(píng)價(jià)指標(biāo)相關(guān)度較低，使得不同評(píng)價(jià)方法實(shí)際權(quán)重組合不同，對(duì)評(píng)價(jià)結(jié)果的排序影響較大。

4 研究結(jié)論

1）本文發(fā)現(xiàn)了多屬性評(píng)價(jià)方法魯棒性的產(chǎn)生機(jī)制

本文針對(duì)多屬性評(píng)價(jià)方法魯棒性現(xiàn)象，通過(guò)在線性評(píng)價(jià)中直接計(jì)算實(shí)際權(quán)重，在非線性評(píng)價(jià)中通過(guò)嶺回歸和偏最小二乘法間接得到實(shí)際權(quán)重，將所有多屬性評(píng)價(jià)方法視為實(shí)際權(quán)重加權(quán)線性評(píng)價(jià)方法，從而構(gòu)建了統(tǒng)一的對(duì)比分析框架。

在此基礎(chǔ)上，無(wú)論選擇什么評(píng)價(jià)方法，每種評(píng)價(jià)方法均對(duì)應(yīng)一套實(shí)際權(quán)重組合，評(píng)價(jià)方法變化僅僅相當(dāng)于實(shí)際權(quán)重組合不同，但由于評(píng)價(jià)指標(biāo)高度相關(guān)，評(píng)價(jià)結(jié)果的排序基本維持不變，這就是評(píng)價(jià)方法魯棒性的形成機(jī)制。

2）評(píng)價(jià)指標(biāo)相關(guān)度越高，評(píng)價(jià)方法魯棒性越嚴(yán)重

本文的實(shí)證研究結(jié)果表明，當(dāng)評(píng)價(jià)指標(biāo)高度相關(guān)時(shí)，評(píng)價(jià)方法魯棒性現(xiàn)象越嚴(yán)重。當(dāng)選用影響因子、5年影響因子、他引影響因子3個(gè)高相關(guān)指標(biāo)進(jìn)行分析時(shí)，其平均相關(guān)系數(shù)為0.962，平均排序位次變化僅為0.967;當(dāng)選用7個(gè)評(píng)價(jià)指標(biāo)進(jìn)行分析時(shí)，其平均相關(guān)系數(shù)為0.663，平均排序位次變化為3.686。

3）評(píng)價(jià)方法魯棒性還受高相關(guān)指標(biāo)數(shù)量、評(píng)價(jià)對(duì)象數(shù)量的影響

在同一評(píng)價(jià)中，由于可能存在多組高相關(guān)指標(biāo)，各組指標(biāo)內(nèi)部均呈高度相關(guān)，各組高相關(guān)指標(biāo)的實(shí)際權(quán)重有一個(gè)總和，所有各組高相關(guān)指標(biāo)實(shí)際權(quán)重的總和越大，評(píng)價(jià)方法魯棒性越嚴(yán)重。當(dāng)評(píng)價(jià)對(duì)象較少時(shí)，會(huì)加劇評(píng)價(jià)方法魯棒性，因?yàn)榇藭r(shí)評(píng)價(jià)對(duì)象的區(qū)分度較大，容易出現(xiàn)不管評(píng)價(jià)方法如何變化，評(píng)價(jià)結(jié)果的排序大致不變的現(xiàn)象，但這并沒(méi)有改變?cè)u(píng)價(jià)方法魯棒性的產(chǎn)生機(jī)制。由于多屬性決策方案一般較少，因此多屬性決策方法魯棒性現(xiàn)象更加常見。

4）實(shí)際權(quán)重對(duì)于評(píng)價(jià)方法的選擇具有重要的指導(dǎo)意義

無(wú)論是線性學(xué)術(shù)評(píng)價(jià)還是非線性學(xué)術(shù)評(píng)價(jià)，均可以通過(guò)一定的方法計(jì)算出實(shí)際權(quán)重，即在學(xué)術(shù)評(píng)價(jià)中各指標(biāo)真實(shí)的相對(duì)重要性，這顛覆了對(duì)傳統(tǒng)專家權(quán)重的認(rèn)識(shí)，因?yàn)閷＜覚?quán)重往往并不等于實(shí)際權(quán)重。可根據(jù)實(shí)際權(quán)重進(jìn)行評(píng)價(jià)方法的選擇，使得評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重更加符合評(píng)價(jià)管理要求。

5）一定要重視多屬性學(xué)術(shù)評(píng)價(jià)方法魯棒性現(xiàn)象

在多屬性學(xué)術(shù)評(píng)價(jià)中，評(píng)價(jià)結(jié)果往往是應(yīng)用于管理的，許多評(píng)價(jià)對(duì)個(gè)體會(huì)產(chǎn)生較大影響，因?yàn)樯婕捌渎曌u(yù)、工作績(jī)效、資源分配等，評(píng)價(jià)方法魯棒性固然有利于保證起碼的評(píng)價(jià)公平，防止評(píng)價(jià)方法不同帶來(lái)的誤差，但評(píng)價(jià)方法魯棒性畢竟只存在于高相關(guān)指標(biāo)中，對(duì)整個(gè)評(píng)價(jià)指標(biāo)總體而言，評(píng)價(jià)方法魯棒性并不嚴(yán)重，因此一定要注意評(píng)價(jià)指標(biāo)賦權(quán)和評(píng)價(jià)方法選擇，以提高整個(gè)評(píng)價(jià)的水平。

需要說(shuō)明的是，本文討論的是定量學(xué)術(shù)評(píng)價(jià)中的權(quán)重魯棒性與評(píng)價(jià)方法的魯棒性問(wèn)題，至于定性評(píng)價(jià)中的相關(guān)問(wèn)題，本文暫不討論。

參考文獻(xiàn)

[1]俞立平，阮先鵬，陳一濤，等.基于因子—BP人工神經(jīng)網(wǎng)絡(luò)的期刊評(píng)價(jià)方法選擇研究[J].現(xiàn)代情報(bào)，2020，40（11）：128-135，153.

[2]邱殿明，張連峰.科技期刊影響因子與其相關(guān)評(píng)價(jià)指標(biāo)關(guān)系研究——灰色關(guān)聯(lián)分析視角[J].情報(bào)科學(xué)，2020，38（9）：116-120.

[3]李躍艷，熊回香，李曉敏.基于主成分分析法的期刊評(píng)價(jià)模型構(gòu)建[J].情報(bào)雜志，2019，38（7）：199-207.

[4]江永眾，陶虹琳，杜彥璞.套索方法在期刊評(píng)價(jià)指標(biāo)選擇中的應(yīng)用[J].統(tǒng)計(jì)與決策，2018，34（17）：86-88.

[5]趙蓉英，王建品.基于FDH模型的學(xué)術(shù)期刊評(píng)價(jià)新方法[J].圖書情報(bào)工作，2018，62（8）：100-106.

[6]熊國(guó)經(jīng)，熊玲玲，陳小山.基于PLS結(jié)構(gòu)方程模型進(jìn)行學(xué)術(shù)期刊評(píng)價(jià)的實(shí)證研究[J].情報(bào)理論與實(shí)踐，2017，40（8）：117-121.

[7]曾強(qiáng)，趙公民，俞立平.世界大學(xué)評(píng)價(jià)比較及對(duì)中國(guó)“雙一流”大學(xué)評(píng)價(jià)的啟示[J].情報(bào)雜志，2019，38（3）：61-66.

[8]李星明，吳國(guó)蔚.投資環(huán)境評(píng)價(jià)體系的指標(biāo)靈敏度分析[J].世界經(jīng)濟(jì)與政治論壇，2007，（3）：15-23.

[9]張立軍，陶璐.多指標(biāo)綜合評(píng)價(jià)模型魯棒性度量方法研究[J].統(tǒng)計(jì)與信息論壇，2011，26（5）：16-20.

[10]李偉偉，易平濤，郭亞軍.差異驅(qū)動(dòng)型評(píng)價(jià)方法的穩(wěn)定性及差異凸顯能力比較[J].運(yùn)籌與管理，2015，24（1）：216-221.

[11]高曉紅，李興奇.基于信息提取的綜合性評(píng)價(jià)方法比較[J].統(tǒng)計(jì)與決策，2020，36（22）：27-31.

[12]劉建昌，石秀，江燕.高?？萍紕?chuàng)新能力評(píng)價(jià)方法比較研究[J].中國(guó)高?？萍迹?014，（6）：51-53.

[13]吳忠謙.國(guó)家科技競(jìng)爭(zhēng)力評(píng)價(jià)方法比較——基于國(guó)際典型案例的分析[J].科技管理研究，2019，39（19）：50-56.

[14]楊瑞仙，梁艷平.國(guó)內(nèi)外高?？蒲性u(píng)價(jià)方法比較研究[J].情報(bào)雜志，2015，34（9）：107-110.

[15]雷佳麗，鄭軍衛(wèi).國(guó)內(nèi)外智庫(kù)評(píng)價(jià)方法比較分析[J].情報(bào)理論與實(shí)踐，2019，42（4）：166-171.

[16]俞立平，潘云濤，武夷山.科技評(píng)價(jià)中效用函數(shù)合成方法的比較研究[J].科技進(jìn)步與對(duì)策，2010，27（1）：106-110.

[17]俞立平，潘云濤，武夷山.學(xué)術(shù)期刊多屬性評(píng)價(jià)方法的可比性研究[J].編輯學(xué)報(bào)，2010，22（5）：381-384.

[18]俞立平.線性科技評(píng)價(jià)中自然權(quán)重問(wèn)題及修正研究——?jiǎng)討B(tài)最大均值逼近標(biāo)準(zhǔn)化方法[J].統(tǒng)計(jì)與信息論壇，2018，33（10）：27-33.

[19]俞立平，潘云濤，武夷山.學(xué)術(shù)期刊非線性評(píng)價(jià)模擬權(quán)重的動(dòng)態(tài)變化研究[J].軟科學(xué)，2011，25（4）：135-140.

[20]傅蓉.平衡計(jì)分卡指標(biāo)權(quán)重前后不一致現(xiàn)象研究[J].金融論壇，2011，16（9）：71-74.

[21]Hoerl A E，Kennard R W.Ridge Regression：Biased Estimation for Nonorthogonal Problems[J].Technometrics，2012，12（1）：55-67.

[22]Wold S，Martens H，Wold H.The Multivariate Calibration Problem in Chemistry Solved By the PLS Method[M].Edited by A Rule and B Kagstron，Springer-Verlag，Heidelberg，1983.

（責(zé)任編輯：陳 媛）

收稿日期：2021-05-13

基金項(xiàng)目：浙江省自然科學(xué)基金重點(diǎn)項(xiàng)目“制造業(yè)從數(shù)量型創(chuàng)新向質(zhì)量型創(chuàng)新轉(zhuǎn)型機(jī)制研究”（項(xiàng)目編號(hào)：Z21G030004）;浙江省一流學(xué)科A類項(xiàng)目（浙江工商大學(xué)統(tǒng)計(jì)學(xué)，管理科學(xué)與工程）;國(guó)家社會(huì)科學(xué)基金“學(xué)術(shù)期刊評(píng)價(jià)——指標(biāo)創(chuàng)新與方法研究”（項(xiàng)目編號(hào)：21FTQB016）。

作者簡(jiǎn)介：俞立平（1967-），男，教授，博士，博士生導(dǎo)師，研究方向：技術(shù)經(jīng)濟(jì)、科技評(píng)價(jià)。張?jiān)俳埽?969-），男，研究員，研究方向：區(qū)域經(jīng)濟(jì)、績(jī)效評(píng)價(jià)。