賀曉宇

（浙江省科技信息研究院/浙江省科技發(fā)展戰(zhàn)略研究院；“智江南”智庫，浙江杭州 310006）

隨著我國創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略的實(shí)施，科研項(xiàng)目管理被擺在了科研體制改革的重要位置。為提高科學(xué)決策能力，確?？萍假Y源有效、公正地分配，在科技項(xiàng)目評(píng)審中引入同行評(píng)議已經(jīng)是程序化、制度化的工作，其中，進(jìn)行同行評(píng)議的專家的學(xué)術(shù)水平、學(xué)術(shù)道德直接影響到科研立項(xiàng)的擇優(yōu)性和公平公正性[1]。因此，評(píng)審專家的能力水平、權(quán)威性及其信用就成為關(guān)注的重點(diǎn)，如何確保評(píng)審專家客觀公正地評(píng)價(jià)項(xiàng)目，如何評(píng)價(jià)評(píng)審專家的信用，給科研項(xiàng)目管理提出了新的課題。

近年來，在市場經(jīng)濟(jì)某些不正當(dāng)行為的影響下，有的評(píng)審專家在實(shí)際項(xiàng)目評(píng)審中存在違背信用的行為，在科技計(jì)劃制定、項(xiàng)目評(píng)審、成果鑒定等方面放松評(píng)價(jià)標(biāo)準(zhǔn)，造成科技投入風(fēng)險(xiǎn)加大，交易成本增加[1]。為預(yù)防這些不良行為的發(fā)生，加強(qiáng)評(píng)審專家信用評(píng)價(jià)管理至關(guān)重要。

目前，我國理論界已針對(duì)評(píng)審專家信用評(píng)價(jià)指標(biāo)體系的建設(shè)與評(píng)價(jià)模型的構(gòu)建開展了許多研究。徐華[1]從品格、能力和評(píng)估能力3方面評(píng)審構(gòu)建專家評(píng)價(jià)指標(biāo)體系；鄭磊等[2]構(gòu)建了以誠信基礎(chǔ)、評(píng)標(biāo)誠信和誠信環(huán)境為指標(biāo)的評(píng)價(jià)指標(biāo)體系；丁雪偉等[3]以創(chuàng)新基金項(xiàng)目為例，從基本信息、評(píng)審活動(dòng)記錄、不良行為信息和獎(jiǎng)勵(lì)及榮譽(yù)記錄4方面構(gòu)建評(píng)審專家評(píng)價(jià)指標(biāo)體系；陳媛等[4]從科研活動(dòng)程度、評(píng)審業(yè)績和工作態(tài)度3方面構(gòu)建評(píng)審專家評(píng)價(jià)體系；在信用評(píng)價(jià)方法方面，于宏國[5]提出了TOPSIS的方法評(píng)價(jià)專家水平；於翼等[6]采用AHP和德爾菲法對(duì)專家信用進(jìn)行評(píng)價(jià)；游慶根等[7]通過熵權(quán)法確定指標(biāo)權(quán)重,并構(gòu)建了評(píng)審專家的遴選模型；徐錦英等[8]運(yùn)用層次分析法與熵權(quán)法相結(jié)合的方法評(píng)價(jià)評(píng)審專家信用。國內(nèi)學(xué)者的研究文獻(xiàn)為評(píng)審專家信用評(píng)價(jià)模型的構(gòu)建提供了良好的基礎(chǔ)，但總的來看，專家信用評(píng)價(jià)模型構(gòu)建還需在指標(biāo)設(shè)定、方法選擇、結(jié)果應(yīng)用等細(xì)節(jié)方面不斷完善。

本文在梳理現(xiàn)有信用評(píng)價(jià)理論和方法文獻(xiàn)的基礎(chǔ)上，從科技項(xiàng)目評(píng)審專家的視角出發(fā)，圍繞同行評(píng)議公正性的影響因素進(jìn)行分析，結(jié)合評(píng)價(jià)指標(biāo)體系的構(gòu)建思路及原則，構(gòu)建了一套以資質(zhì)能力、行為規(guī)范、評(píng)審表現(xiàn)為一級(jí)指標(biāo)的評(píng)審專家信用評(píng)價(jià)指標(biāo)體系。在此基礎(chǔ)上，本文首先通過AHP（層次分析法）和熵權(quán)法確定主、客觀指標(biāo)權(quán)重，采用組合賦權(quán)的方法得到總和全總，并根據(jù)TOPSIS(逼近理想解排序法)，最終建立評(píng)審專家信用評(píng)價(jià)模型，以期實(shí)現(xiàn)對(duì)評(píng)審專家信用的客觀、公平、公正的評(píng)價(jià)。

1 評(píng)審專家信用評(píng)價(jià)指標(biāo)體系的構(gòu)建

同行評(píng)議指的是，由科學(xué)系統(tǒng)的同行組成的群體，根據(jù)一定的標(biāo)準(zhǔn)對(duì)某些人提交的項(xiàng)目申請(qǐng)進(jìn)行評(píng)議。這樣評(píng)議出的結(jié)果是有關(guān)部門確定項(xiàng)目（科學(xué)資源的分配）的重要依據(jù)[9]。

由于同行評(píng)議具有一定的主觀色彩，其結(jié)果不僅受到諸如評(píng)審專家本身研究領(lǐng)域、評(píng)審能力等內(nèi)部因素干擾，也受到多重外界環(huán)境因素干擾，因此，針對(duì)評(píng)審專家的信用評(píng)價(jià)指標(biāo)體系是一個(gè)多維度全方面的評(píng)價(jià)指標(biāo)體系。

1.1 影響同行評(píng)議公正性的因素

龔旭[10]指出，影響同行評(píng)議公正性的因素包括內(nèi)部因素和外部因素，內(nèi)部因素對(duì)評(píng)議公正性產(chǎn)生直接影響；與此同時(shí)，同行評(píng)議作為科技資源配置的重要手段，必然受到經(jīng)濟(jì)社會(huì)環(huán)境、科技政策等外部因素的影響。在此基礎(chǔ)上，本文從評(píng)審專家的視角出發(fā)，將影響同行評(píng)議結(jié)果公正性的因素分為兩大類：主觀因素和客觀因素。主觀因素是指評(píng)審專家個(gè)體性特征影響評(píng)審結(jié)果的因素，客觀因素是指評(píng)議過程中評(píng)審專家之外的外部環(huán)境等影響評(píng)審結(jié)果的因素。主觀因素主要包括評(píng)審專家的道德水平、個(gè)人偏好、知識(shí)能力、人際關(guān)系、對(duì)評(píng)審準(zhǔn)則的理解以及評(píng)審中的利益沖突等。客觀因素主要包括評(píng)審制度、政策導(dǎo)向、科研環(huán)境以及同行評(píng)議制度的固有缺陷等。其中，客觀因素是客觀存在的，由于受到一系列外部環(huán)境的制約很難消除其影響；而主觀因素則可通過事前預(yù)防、事中事后監(jiān)管等措施加以防范和解決，因而本文主要基于主觀因素，構(gòu)建評(píng)審專家信用評(píng)價(jià)指標(biāo)體系（見圖1）。

圖1 同行評(píng)議公正性的影響因素

1.2 評(píng)審專家信用評(píng)價(jià)指標(biāo)體系的構(gòu)建思路與原則

評(píng)審專家信用評(píng)價(jià)指標(biāo)體系的構(gòu)建思路是，從科技項(xiàng)目評(píng)審實(shí)際情況出發(fā)，堅(jiān)持目的性、科學(xué)性、實(shí)用性原則，以確保評(píng)審結(jié)果的公正性為出發(fā)點(diǎn)，圍繞評(píng)審專家的資質(zhì)能力、行為規(guī)范，評(píng)審表現(xiàn)3方面建立定量與定性相結(jié)合、全面反映評(píng)審專家信用狀況的信用評(píng)價(jià)指標(biāo)體系。

評(píng)審專家信用評(píng)價(jià)指標(biāo)體系的構(gòu)建原則是：

（1）目的性原則。評(píng)審專家信用評(píng)價(jià)指標(biāo)體系的構(gòu)建目的是提高科學(xué)決策能力，更加公正有效地進(jìn)行科技資源分配，加強(qiáng)對(duì)科技工作者的信用意識(shí)的培養(yǎng)，實(shí)現(xiàn)科技管理的客觀公正。

（2）科學(xué)性原則。要充分尊重評(píng)審活動(dòng)自身的規(guī)律，使用的評(píng)價(jià)方法、程序、指標(biāo)體系、標(biāo)準(zhǔn)等必須符合評(píng)審專家的特點(diǎn)。

（3）實(shí)用性原則。評(píng)價(jià)指標(biāo)的設(shè)計(jì)要符合客觀實(shí)際，盡量利用可收集到各項(xiàng)信息設(shè)計(jì)指標(biāo)，做到數(shù)據(jù)收集方便、計(jì)算簡單、易于操作。

1.3 評(píng)審專家信用評(píng)價(jià)指標(biāo)體系的建立

本文參考徐錦英等[8]設(shè)置的指標(biāo)體系與度量方法，結(jié)合影響同行評(píng)議公正性的主觀因素以及評(píng)價(jià)指標(biāo)體系的構(gòu)建思路和原則，最終確定了包含三級(jí)指標(biāo)的評(píng)價(jià)指標(biāo)體系?？萍柬?xiàng)目評(píng)審專家信用評(píng)價(jià)指標(biāo)體系分為三級(jí)指標(biāo)，其中一級(jí)指標(biāo)3項(xiàng)、二級(jí)指標(biāo)7項(xiàng)、三級(jí)指標(biāo)23項(xiàng)。本文選用資質(zhì)能力、行為規(guī)范、評(píng)審表現(xiàn)等3個(gè)指標(biāo)作為一級(jí)指標(biāo)，選用基本特征、工作態(tài)度、評(píng)審經(jīng)歷等7個(gè)指標(biāo)作為二級(jí)指標(biāo)，選用職稱、承擔(dān)項(xiàng)目情況、參與評(píng)審項(xiàng)目累計(jì)數(shù)等23個(gè)指標(biāo)作為三級(jí)指標(biāo)（見表1）。

（1）資質(zhì)能力包括基本信息、學(xué)術(shù)成就、資質(zhì)特長三部分?？萍柬?xiàng)目支持創(chuàng)新，鼓勵(lì)創(chuàng)新，不僅要求專家具有一定的知識(shí)能力可以對(duì)項(xiàng)目的技術(shù)水平做出判斷，更需要專家對(duì)項(xiàng)目的創(chuàng)新性、產(chǎn)業(yè)化以及發(fā)展?jié)摿ψ龀鲈u(píng)價(jià)。因此，對(duì)專家資質(zhì)能力的評(píng)價(jià)不僅包括其基本信息和學(xué)術(shù)成就如職稱、承擔(dān)項(xiàng)目情況、學(xué)術(shù)論著等指標(biāo)，更包括其資質(zhì)特長如近期發(fā)表相關(guān)論著的情況，對(duì)前沿問題把握程度等指標(biāo)。

（2）行為規(guī)范包括工作態(tài)度、信用記錄兩部分。由于項(xiàng)目評(píng)審是一項(xiàng)具有主觀性色彩的工作，因此專家的行為規(guī)范應(yīng)作為重點(diǎn)內(nèi)容來考察。其中，工作態(tài)度是指專家在評(píng)審過程中的工作態(tài)度，以評(píng)審及時(shí)性、評(píng)語字?jǐn)?shù)、評(píng)語態(tài)度、評(píng)審時(shí)間等指標(biāo)來考察，信用記錄是指專家的信用記錄情況，通過考察是否有被投訴或其他不良記錄等指標(biāo)來確定。

（3）評(píng)審表現(xiàn)包括評(píng)審經(jīng)歷、評(píng)審質(zhì)量兩部分。評(píng)審表現(xiàn)是評(píng)審專家不同于其他科技人員的特質(zhì)，評(píng)審專家既需要擁有優(yōu)秀的品質(zhì)和良好的資質(zhì)能力，更要理解評(píng)審準(zhǔn)則，掌握評(píng)審方法，具備評(píng)審經(jīng)驗(yàn)，以此保證評(píng)審建議的權(quán)威性以及評(píng)審的公正性。

表1 評(píng)審專家信用評(píng)價(jià)指標(biāo)體系

2 基于TOPSIS方法構(gòu)建評(píng)審專家信用評(píng)價(jià)模型

為充分反映專家信用評(píng)價(jià)的主客觀因素，提出更優(yōu)化的專家信用評(píng)價(jià)機(jī)制，本文采用TOPSIS方法構(gòu)建評(píng)審專家信用評(píng)價(jià)模型。首先利用AHP和熵權(quán)法得出主、客觀權(quán)重，然后通過組合權(quán)重的方法得到綜合權(quán)重，最后根據(jù)TOPSIS方法得到綜合排序結(jié)果，形成評(píng)審專家信用評(píng)價(jià)模型（如圖2所示），并應(yīng)用于項(xiàng)目管理專家評(píng)價(jià)中。

圖2 基于TOPSIS的評(píng)審專家信用評(píng)價(jià)模型

2.1 評(píng)價(jià)指標(biāo)體系中權(quán)重值確定

2.1.1 AHP法主觀指標(biāo)權(quán)重確定

AHP方法（層次分析法）是綜合定性與定量分析，對(duì)多目標(biāo)多準(zhǔn)則的系統(tǒng)進(jìn)行分析評(píng)價(jià)的一種方法[11]。它首先構(gòu)造兩兩比較的判斷矩陣，通過計(jì)算判斷矩陣的最大特征根與特征向量，進(jìn)而得到層次單排序與總排序指標(biāo)權(quán)重，最終確定主觀指標(biāo)權(quán)重，其步驟如下所示：

第一，構(gòu)造兩兩比較判斷矩陣。假設(shè)每一層的決策目標(biāo)為P，根據(jù)每一層的評(píng)價(jià)指標(biāo)集構(gòu)建兩兩判斷矩陣A。通過上述判斷矩陣的構(gòu)建來實(shí)現(xiàn)每層層內(nèi)評(píng)價(jià)指標(biāo)的兩兩比較，以此確定每個(gè)層內(nèi)指標(biāo)相對(duì)于上層指標(biāo)的重要程度。本文采用1—9來判斷矩陣標(biāo)度，1表示同等重要，數(shù)值越大表示重要程度越大。

第二，權(quán)重計(jì)算。利用方根法確定權(quán)重并通過一致性系數(shù)CR=CI/RI（RI查表可得）進(jìn)行一致性檢驗(yàn)。

（2）對(duì)每行的幾何平均值做歸一化處理，確定層次單排中各因素在上層評(píng)價(jià)因素中所占的比重

（3）一致性檢驗(yàn)。當(dāng)CR＜0.1,則認(rèn)為矩陣通過一致性檢驗(yàn)；否則調(diào)整判斷矩陣。

第三，層次總排序及其一致性檢驗(yàn)。計(jì)算同一層次所有決策因素相對(duì)于總目標(biāo)的排序權(quán)值，同時(shí)進(jìn)行一致性檢驗(yàn)。

2.1.2 熵權(quán)法客觀指標(biāo)權(quán)重確定

熵權(quán)法首先對(duì)原始數(shù)據(jù)進(jìn)行無量綱化和標(biāo)準(zhǔn)化，通過計(jì)算熵值來確定客觀指標(biāo)權(quán)重，其中熵值越大，指標(biāo)權(quán)重越高，其步驟如下所示：

第二，確定熵值。

第三，確定指標(biāo)權(quán)重。

2.1.3 組合權(quán)重(CW)確定

無論是主觀指標(biāo)權(quán)重還是客觀指標(biāo)權(quán)重，都有其自身的局限性，為了更加合理地確定指標(biāo)權(quán)重，充分體現(xiàn)信用評(píng)價(jià)指標(biāo)的主觀意識(shí)和客觀實(shí)際，本文采用組合賦權(quán)的方法來確定綜合權(quán)重。在主、客觀權(quán)重基礎(chǔ)上，通過拉格朗日函數(shù)，確定綜合權(quán)重；利用歐式距離函數(shù)計(jì)算主、客觀權(quán)重的偏好系數(shù)，從而得到更加合理的綜合權(quán)重。其步驟如下所示：

2.2 TOPSIS評(píng)價(jià)模型

TOPSIS（逼近理想解排序法）是一種逼近于理想解的排序法，其基本原理是通過有限個(gè)評(píng)價(jià)對(duì)象與最優(yōu)解、最劣解之間的距離來進(jìn)行排序[12]，具體步驟如下所示：

第二，數(shù)據(jù)標(biāo)準(zhǔn)化處理：

第三，構(gòu)建加權(quán)決策矩陣。依據(jù)式（1）至式(10)確定綜合權(quán)重后帶入Y,構(gòu)建加權(quán)決策矩陣

第五，計(jì)算各指標(biāo)與理想值的歐氏距離：

3 模型應(yīng)用

本文選取浙江省科技計(jì)劃項(xiàng)目管理系統(tǒng)專家?guī)熘械?0位專家作為分析對(duì)象，以說明TOPSIS評(píng)價(jià)模型在評(píng)審專家信用評(píng)價(jià)中的應(yīng)用步驟。

第一，通過AHP法計(jì)算主觀指標(biāo)權(quán)重。通過式（1）—式（4），構(gòu)造判斷矩陣，并計(jì)算最大特征根，最終得到各層次的權(quán)重值，如表2所示。

表2 AHP法主觀指標(biāo)權(quán)重

第二，通過熵權(quán)法計(jì)算客觀指標(biāo)權(quán)重。在原始數(shù)據(jù)的基礎(chǔ)上，通過式(5)至式(8)，計(jì)算客觀指標(biāo)權(quán)重，如表3所示。

表3 熵權(quán)法客觀指標(biāo)權(quán)重

第三，結(jié)合前兩步計(jì)算得到的主觀指標(biāo)權(quán)重和客觀指標(biāo)權(quán)重，進(jìn)行組合賦權(quán)，根據(jù)式(9)、式(10)確定主觀權(quán)重、客觀權(quán)重的偏好系數(shù)(0.646,0.354)，獲得更接近實(shí)際的綜合權(quán)重，如表4所示。

表4 指標(biāo)體系綜合權(quán)重匯總

第四，通過TOPSIS方法結(jié)合綜合權(quán)重，利用式(11)至式(17)計(jì)算相對(duì)貼近度并對(duì)10位專家進(jìn)行排序，相對(duì)貼近度越大，專家的信用評(píng)價(jià)結(jié)果越好，反之越差，排序結(jié)果如表5所示。

表5 TOPSIS評(píng)價(jià)模型排序結(jié)果

由表5可知，根據(jù)TOPSIS評(píng)價(jià)模型的排序結(jié)果，第7位專家在科技項(xiàng)目評(píng)審工作中的履職能力和可行性較差，而第5位專家的信用評(píng)價(jià)結(jié)果最佳。此評(píng)價(jià)結(jié)果與科技項(xiàng)目管理部門對(duì)10位專家的績效評(píng)價(jià)結(jié)果較一致。因此，基于TOPSIS方法的科技項(xiàng)目評(píng)審專家信用評(píng)價(jià)模型符合應(yīng)用實(shí)際，評(píng)價(jià)方法科學(xué)，所設(shè)置的評(píng)價(jià)指標(biāo)體系合理，具有借鑒意義，并可為科研誠信庫建設(shè)與專家管理工作提供參考依據(jù)。

4 結(jié)語

評(píng)審專家信用評(píng)價(jià)是我國科技管理體制改革的一項(xiàng)重要內(nèi)容，建立科學(xué)、可行的評(píng)審專家信用評(píng)價(jià)模型是建立健全科研誠信庫、科技計(jì)劃健康發(fā)展的關(guān)鍵。本文在總結(jié)國內(nèi)關(guān)于評(píng)審專家信用評(píng)價(jià)研究和實(shí)踐的基礎(chǔ)上，從主觀因素和客觀因素2方面剖析了制約同行評(píng)議公正性的影響因素，構(gòu)建了以資質(zhì)能力、行為規(guī)范、評(píng)審表現(xiàn)為一級(jí)指標(biāo)的評(píng)價(jià)指標(biāo)體系。在構(gòu)建評(píng)價(jià)模型方面，本文提出一種基于TOPSIS的評(píng)價(jià)方法。TOPSIS評(píng)價(jià)模型運(yùn)用AHP和熵權(quán)法組合賦權(quán)的方法計(jì)算綜合權(quán)重，兼顧了主觀性和客觀性，并通過TOPSIS方法對(duì)評(píng)審專家進(jìn)行相對(duì)貼近度排序，實(shí)現(xiàn)對(duì)評(píng)審專家信用客觀、公正的評(píng)價(jià)。