楊曉秋，李旭彥

(科學(xué)技術(shù)部　基礎(chǔ)研究管理中心，北京　100862)

?

同行評(píng)議中的異常數(shù)據(jù)檢測方法研究
——以科研項(xiàng)目評(píng)審為例

楊曉秋，李旭彥

(科學(xué)技術(shù)部基礎(chǔ)研究管理中心，北京100862)

同行評(píng)議是對(duì)科學(xué)技術(shù)活動(dòng)及其產(chǎn)出進(jìn)行科學(xué)評(píng)價(jià)的主要方式之一，然而評(píng)議過程中存在的異常評(píng)審數(shù)據(jù)可能會(huì)對(duì)科研項(xiàng)目評(píng)審結(jié)果的公平、公正性產(chǎn)生影響。為此，本文提出了一種用于識(shí)別專家評(píng)議異常數(shù)據(jù)的檢測方法，該方法首先利用云模型中的逆向云算法計(jì)算專家評(píng)審數(shù)據(jù)的異常程度，并進(jìn)行檢測；然后，根據(jù)檢測結(jié)果，采用基于協(xié)同過濾的異常評(píng)議數(shù)據(jù)修正算法，對(duì)專家異常評(píng)議數(shù)據(jù)進(jìn)行修正；最后，設(shè)計(jì)了一種專家評(píng)議能力計(jì)算算法，為后續(xù)科研項(xiàng)目評(píng)審中的專家選擇提供決策依據(jù)?；谕性u(píng)議真實(shí)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，本文提出的檢測方法能夠有效識(shí)別出專家評(píng)議的異常數(shù)據(jù)。

科研項(xiàng)目評(píng)審；同行評(píng)議；云模型；協(xié)同過濾；異常檢測；信譽(yù)計(jì)算

一、引言

隨著我國各類科技計(jì)劃項(xiàng)目(如973計(jì)劃、863計(jì)劃、國家自然科學(xué)基金等)、科技成果(如國家科學(xué)技術(shù)獎(jiǎng)勵(lì)等)、科研基地(如國家重點(diǎn)實(shí)驗(yàn)室評(píng)估等[1])的評(píng)審評(píng)價(jià)越來越多，如何保證這些評(píng)審客觀、公平、公正的進(jìn)行，是科技評(píng)價(jià)研究中的重要課題之一。同行評(píng)議是科技管理工作的重要組成部分，也是對(duì)科學(xué)技術(shù)活動(dòng)及其產(chǎn)出進(jìn)行科學(xué)評(píng)價(jià)的重要方式，是推動(dòng)國家科技事業(yè)持續(xù)健康發(fā)展，促進(jìn)科技資源優(yōu)化配置，提高科技管理水平的重要手段和保障。然而，在同行評(píng)議中，個(gè)別專家對(duì)評(píng)審對(duì)象的惡意評(píng)議，偏好評(píng)議，評(píng)議中的“馬太效應(yīng)”、利益沖突、受隨機(jī)因素干擾等[2-3]現(xiàn)象導(dǎo)致當(dāng)前科研項(xiàng)目評(píng)審中常用的方法失效(如去除最高、最低分，求平均值，加權(quán)平均、校正補(bǔ)償?shù)?，不僅干擾了評(píng)審工作的客觀性與公正性，也嚴(yán)重影響了評(píng)價(jià)結(jié)果的科學(xué)性和客觀性。

為了防止同行評(píng)審中出現(xiàn)的問題影響科研項(xiàng)目評(píng)審的公平公正，許多研究者提出了初步的解決方案。文獻(xiàn)[2-3]討論了評(píng)審制度的固有缺陷，如專家遴選和監(jiān)督制度的缺位、學(xué)術(shù)評(píng)審制度缺乏公正合理的程序、學(xué)術(shù)評(píng)審指標(biāo)存在缺陷等，并提出了相應(yīng)的改革措施，具有長遠(yuǎn)意義，但是對(duì)于眼下亟待解決的問題并不能起到立竿見影的效果，也沒有可具體操作的方法。文獻(xiàn)[4-5]提出了評(píng)審專家的評(píng)審信譽(yù)的概念，提出引入專家評(píng)審信譽(yù)評(píng)估機(jī)制來反映專家在同行評(píng)議過程中的公正性情況，并據(jù)此建立評(píng)審專家的評(píng)審信譽(yù)機(jī)制，以對(duì)評(píng)審專家的評(píng)審過程進(jìn)行監(jiān)督，但是并沒有給出具體的執(zhí)行辦法，不具有實(shí)用性。文獻(xiàn)[6]發(fā)現(xiàn)同行評(píng)議專家和普通人一樣，受到偏見、歧視及其友誼關(guān)系的影響，并提出要開發(fā)一個(gè)新的同行評(píng)議系統(tǒng)，目的是在這個(gè)新系統(tǒng)中植入人類本性弱點(diǎn)的抗體，但是該系統(tǒng)沒有解決女性研究者在同行評(píng)議中受到嚴(yán)厲評(píng)價(jià)是否由女性同行評(píng)議人不足引起的。文獻(xiàn)[7]分析了人文社會(huì)科學(xué)評(píng)議中同行評(píng)議專家容易出現(xiàn)的問題，提出了一個(gè)新的方法——“讀者系統(tǒng)”，用來提高同行評(píng)議的可靠性和公正性，但是該系統(tǒng)沒有完全合適的標(biāo)準(zhǔn)來驗(yàn)證同行評(píng)議的結(jié)果。文獻(xiàn)[8]對(duì)比了傳統(tǒng)同行評(píng)議和開放同行評(píng)議的異同，指出傳統(tǒng)同行評(píng)議的可信度較低，而且存在可靠性問題，提出了新的評(píng)估方法ACP系統(tǒng)，但是在該系統(tǒng)中同行評(píng)議過程的質(zhì)量不高。文獻(xiàn)[9]提出了評(píng)分偏差模型，計(jì)算異常評(píng)分偏差、科研項(xiàng)目爭議性和專家評(píng)分慣性，對(duì)異常評(píng)分進(jìn)行預(yù)測，模型過于復(fù)雜，其提出的“爭議臨界度”范圍難以確定，導(dǎo)致其可操作性較差。文獻(xiàn)[10]從項(xiàng)目的爭議性和專家評(píng)審的偏移性兩個(gè)角度，通過小樣本穩(wěn)健性異常數(shù)據(jù)檢測，來進(jìn)行專家評(píng)審異常數(shù)據(jù)的處理，但其采用的熵值并不能準(zhǔn)確反映出異常數(shù)據(jù)穩(wěn)定程度，難以保證修正結(jié)果的客觀性。另外，也有一些用于異常數(shù)據(jù)檢測的數(shù)理統(tǒng)計(jì)方法如屬性相關(guān)分析、基于混沌的異常數(shù)據(jù)的動(dòng)態(tài)識(shí)別、基于知識(shí)粒度的挖掘等方法被提出[11]，其主要面向大規(guī)模海量數(shù)據(jù)，對(duì)小樣本數(shù)據(jù)的處理效率較低，且具體操作對(duì)于科技管理人員較為復(fù)雜，可用性較差。

云模型[12]作為一種不確定性轉(zhuǎn)換模型能夠綜合考慮模糊性和隨機(jī)性，可以應(yīng)用到異常數(shù)據(jù)檢測中，提高檢測結(jié)果的質(zhì)量。如文獻(xiàn)[13]提出利用云模型檢測諧波電流的異常閾值，確定出的異常閾值數(shù)據(jù)更加符合客觀實(shí)際。文獻(xiàn)[14]提出利用云模型檢測網(wǎng)絡(luò)異常數(shù)據(jù)，降低了入侵檢測算法的誤報(bào)率。文獻(xiàn)[15]提出利用云模型處理圖像閾值，提高了圖像變換的性能。文獻(xiàn)[16]提出利用云模型計(jì)算服務(wù)質(zhì)量的不確定值，可以為用戶提供可靠有效的最佳服務(wù)選擇。文獻(xiàn)[17]利用云模型改進(jìn)果蠅優(yōu)化算法，提高了算法的全局搜索能力和解的精度?，F(xiàn)行的科技項(xiàng)目評(píng)審多數(shù)是采用同行專家打分的方式確定評(píng)審結(jié)果，所以要保證評(píng)審的客觀公正，首要前提就是要能夠準(zhǔn)確的找出評(píng)審中存在的異常數(shù)據(jù)。同時(shí)科學(xué)研究是對(duì)未知世界的探索，評(píng)審專家對(duì)科學(xué)問題的評(píng)判是一個(gè)基于自身知識(shí)背景的獨(dú)立判斷過程，所以專家打分(評(píng)審數(shù)據(jù))就具有了模糊性和隨機(jī)性等不確定性特征。本文利用云模型在表達(dá)定性概念與定量數(shù)據(jù)轉(zhuǎn)換關(guān)系上的優(yōu)勢，提出了一種基于云模型的專家評(píng)審異常數(shù)據(jù)的檢測方法，通過熵和超熵來評(píng)估專家評(píng)審數(shù)據(jù)的異常程度，然后通過協(xié)同過濾對(duì)異常數(shù)據(jù)進(jìn)行修正，最后通過構(gòu)建專家評(píng)審能力計(jì)算模型，為后續(xù)評(píng)審的專家的選擇提供參考依據(jù)。為了驗(yàn)證本文方法的有效性，本文采用某科研項(xiàng)目評(píng)審中真實(shí)專家評(píng)審數(shù)據(jù)對(duì)該方法進(jìn)行了驗(yàn)證，結(jié)果表明，該方法不僅能夠有效識(shí)別出評(píng)審專家的異常數(shù)據(jù)，而且還能對(duì)異常數(shù)據(jù)進(jìn)行有效修正，從而為保證科研項(xiàng)目評(píng)審的科學(xué)性和公平性提供技術(shù)支撐。

本文第2節(jié)介紹提出的異常數(shù)據(jù)檢測方法，包括異常數(shù)據(jù)檢測，異常數(shù)據(jù)修正，專家評(píng)審能力計(jì)算等；第3節(jié)通過真實(shí)的數(shù)據(jù)驗(yàn)證了本文方法的有效性；第4節(jié)總結(jié)全文提出下一步研究方向。

二、專家評(píng)審中異常數(shù)據(jù)的檢測方法

如圖1所示，我們提出的專家評(píng)審中異常數(shù)據(jù)的檢測方法主要包含三個(gè)模塊(部分)。模塊1即異常數(shù)據(jù)檢測，其目的是發(fā)現(xiàn)專家評(píng)審數(shù)據(jù)中的異常數(shù)據(jù)，其原理是采用云模型對(duì)所有專家的評(píng)審數(shù)據(jù)進(jìn)行熵和超熵計(jì)算，然后根據(jù)管理人員設(shè)置的評(píng)審可信度進(jìn)行檢測。模塊2即異常數(shù)據(jù)修正，其目的是屏蔽異常評(píng)審數(shù)據(jù)對(duì)評(píng)審公平性的負(fù)面影響，其原理是依據(jù)專家評(píng)審相似性，采用協(xié)同過濾中的余弦相似度，對(duì)該專家的異常評(píng)審數(shù)據(jù)進(jìn)行合理修正。模塊3即專家評(píng)審能力計(jì)算，其目的是為后續(xù)評(píng)審中的專家選擇提供參考，其原理是根據(jù)評(píng)審專家在歷次評(píng)審過程中的表現(xiàn)，采用加權(quán)平均對(duì)專家評(píng)審能力進(jìn)行計(jì)算。

圖1　異常數(shù)據(jù)檢測方法框架

(一)異常數(shù)據(jù)檢測

本文采用云模型對(duì)專家評(píng)審數(shù)據(jù)進(jìn)行檢測，通過對(duì)專家評(píng)審數(shù)據(jù)定量到定性概念的轉(zhuǎn)換，確定評(píng)審數(shù)據(jù)的異常性。首先有針對(duì)性的給出云模型的部分相關(guān)概念和定義。

1．云模型

云模型[12]是我國學(xué)者李德毅院士在概率理論和模糊集合理論基礎(chǔ)上，重點(diǎn)考慮隨機(jī)性和模糊性的關(guān)聯(lián)性而發(fā)展起來的定性知識(shí)描述和定性概念與其定量數(shù)值表示之間的不確定性轉(zhuǎn)換模型，已經(jīng)在智能控制、模糊評(píng)測、進(jìn)化計(jì)算等多個(gè)領(lǐng)域得到應(yīng)用[18-20]。

如圖2所示，云模型所表達(dá)的概念的整體特性可以用云的數(shù)字特征來反映。云用期望Ex(expected value)、熵En(entropy)、超熵He(hyper entropy)這3個(gè)數(shù)字特征來整體表征一個(gè)概念。

期望(expected value)：云滴在論域空間分布的期望，記為Ex。

熵(entropy)：不確定性程度，由概念的模糊性和隨機(jī)性共同決定，記為En。

超熵(hyper entropy)：熵的不確定性度量，即熵的熵，由熵的模糊性和隨機(jī)性共同決定，記為He。

圖2　云模型數(shù)字特征[12]

圖2中，橫坐標(biāo)x是數(shù)據(jù)的取值，縱坐標(biāo)μ是該數(shù)據(jù)對(duì)云模型的隸屬度。圖中Ex為期望，En為熵，度量樣本不確定程度，He為超熵，指熵的熵。

算法1:逆向云算法[12]:

輸入:某個(gè)專家對(duì)n個(gè)科研項(xiàng)目的評(píng)審數(shù)據(jù),即n個(gè)云滴x1,x2,…,xn{};輸出:這n個(gè)云滴表示該專家的期望值Ex、熵En和超熵He; 1.根據(jù)xi計(jì)算該組評(píng)分的樣本均值X-=1n∑ni=1xi,樣本方差S2=1n-1xi-X-()2;2.Ex的估計(jì)值為Ex^=X-;3.En的估計(jì)值為Ee^=π/2N∑Ni=1xi-Ex^;4.He的估計(jì)值為He^=S2-Ee^2。

2．基于云模型的異常數(shù)據(jù)檢測

云模型中，當(dāng)超熵He=0時(shí)，此時(shí)所有的云滴都分布在正態(tài)曲線上；隨著超熵He逐漸增大，云滴開始分散。如圖3所示，當(dāng)He在一定范圍內(nèi)變化時(shí)，幾乎全部的云滴落在內(nèi)、外隸屬曲線μ1,μ2內(nèi)，呈現(xiàn)圖中所示的正態(tài)云[12]。其中μ1,μ2的表達(dá)式依次為

(1)

(2)

圖3中，橫坐標(biāo)x是數(shù)據(jù)的取值，縱坐標(biāo)μ是該數(shù)據(jù)對(duì)云模型的隸屬度。μ1,μ2分別為其內(nèi)、外隸屬曲線，大約99.74%的云滴分布在二者之間的區(qū)域。

圖3　正態(tài)云的內(nèi)、外隸屬曲線及其3S邊界

當(dāng)選取m個(gè)專家對(duì)n個(gè)科研項(xiàng)目進(jìn)行評(píng)審時(shí)，易知可以得到m×n個(gè)評(píng)審數(shù)據(jù)?？萍脊芾砣藛T可以設(shè)置評(píng)審的可信度為Δ(由于專家評(píng)審數(shù)據(jù)基本都是可信的，因此Δ取值一般不小于90%)，此時(shí)，通過K=(1-Δ)×m×n可以得到需要檢測出的異常數(shù)據(jù)的個(gè)數(shù)。對(duì)上面所得到的異常程度值進(jìn)行排名，選取取值最大的K個(gè)，即獲得topK個(gè)異常評(píng)審數(shù)據(jù)。在此基礎(chǔ)上可以計(jì)算某位專家所有評(píng)分的異常程度值的均值，或者topK個(gè)異常評(píng)審數(shù)據(jù)中該專家所占的個(gè)數(shù)等等。計(jì)算評(píng)審數(shù)據(jù)的異常程度值的具體實(shí)現(xiàn)如算法2所示。

算法2：基于異常程度排序的topK算法

輸入:m個(gè)專家,n個(gè)科研項(xiàng)目的評(píng)審數(shù)據(jù)矩陣;輸出:K個(gè)異常程度最高的評(píng)審數(shù)據(jù);

1.對(duì)評(píng)審數(shù)據(jù)矩陣進(jìn)行歸一化處理,并運(yùn)用云模型,計(jì)算每個(gè)科研項(xiàng)目的云模型特征值,分別是期望Ex,熵En和超熵He;2.對(duì)每個(gè)科研項(xiàng)目,計(jì)算其外邊界L=3(En+3He);3.計(jì)算所有科研項(xiàng)目的外邊界的均值LM=mean(L);4.對(duì)每個(gè)評(píng)審數(shù)據(jù)d,計(jì)算其異常程度|d-Ex|LM,其中Ex是該d所屬科研項(xiàng)目的評(píng)分期望值,由此得到異常程度矩陣(該矩陣和評(píng)審數(shù)據(jù)矩陣的元素是一一對(duì)應(yīng));5.求解出異常程度矩陣中的K個(gè)最大元素對(duì)應(yīng)的評(píng)審數(shù)據(jù)即為異常評(píng)審數(shù)據(jù)。

(二)基于協(xié)同過濾的異常數(shù)據(jù)修正

算法3中計(jì)算向量相似度的方法有歐氏距離、皮爾遜相似度、余弦相似度等。通過大量驗(yàn)證，使用這幾種計(jì)算相似度的方法對(duì)異常數(shù)據(jù)檢測的最終結(jié)果沒有明顯的影響，因此，本文采用余弦相似度即兩個(gè)向量夾角的余弦值來進(jìn)行修正。

算法3:基于協(xié)同過濾的異常數(shù)據(jù)修正算法

輸入:m個(gè)專家對(duì)n個(gè)科研項(xiàng)目的評(píng)審數(shù)據(jù)矩陣;輸出:第i個(gè)專家對(duì)第j個(gè)科研項(xiàng)目的評(píng)審數(shù)據(jù)的修正值scoreij。

1.由評(píng)審數(shù)據(jù)矩陣得到專家m對(duì)科研項(xiàng)目n的評(píng)分組成的向量,表示為Vmn;2.由評(píng)審數(shù)據(jù)矩陣得到專家m對(duì)科研項(xiàng)目j的評(píng)分score1j,score2j,…,scoremj;3.計(jì)算向量Vi與其他剩余向量的相似度,標(biāo)記為Si1,Si2,…,Sin-1;4.計(jì)算修正值scoreij=1m-1∑nj=1Sij·scoreij。

(三)專家評(píng)審能力計(jì)算模型

本文提出的專家評(píng)審能力計(jì)算模型，能夠根據(jù)評(píng)審專家在歷次評(píng)審過程中的表現(xiàn)，基于logsig函數(shù)，實(shí)現(xiàn)對(duì)專家評(píng)審能力值的準(zhǔn)確計(jì)算。

logsig函數(shù)是關(guān)于原點(diǎn)中央對(duì)稱的單調(diào)遞增函數(shù)，其一階導(dǎo)數(shù)圖像為倒掛的鐘形曲線，對(duì)于任意輸入，logsig函數(shù)都能將其轉(zhuǎn)換成(0,1)區(qū)間的輸出值。由于其優(yōu)異的函數(shù)性能，logsig函數(shù)作為傳輸函數(shù)在神經(jīng)網(wǎng)絡(luò)算法中發(fā)揮了重要作用。

在logsig函數(shù)的基礎(chǔ)上，本文提出了專家評(píng)審能力計(jì)算模型，其中λ是可調(diào)參數(shù)，用于調(diào)整函數(shù)曲線的陡峭程度，n 是輸入?yún)?shù)，函數(shù)曲線及可調(diào)參數(shù)λ的作用如圖4所示。

(3)

由圖4可知，當(dāng)輸入n值為負(fù)數(shù)且絕對(duì)值較大時(shí)，函數(shù)值接近于0；當(dāng)n值為正數(shù)且絕對(duì)值較大時(shí)，函數(shù)值接近于1；n在0附近時(shí)函數(shù)值變化劇烈。

函數(shù)表達(dá)式中n為自變量，λ為可調(diào)參數(shù)，用于控制函數(shù)值的變化強(qiáng)度和作用區(qū)域。從圖4可以看出，當(dāng)可調(diào)參數(shù)λ值較大時(shí)，函數(shù)曲線比較陡，有效的變化區(qū)間較??；當(dāng)λ值較小時(shí)，函數(shù)曲線較為平緩，有效的變化區(qū)間較大。用于專家評(píng)審能力計(jì)算動(dòng)態(tài)模型的logsig函數(shù)需要設(shè)置合適的λ參數(shù)值。

圖4　經(jīng)修改的logsig函數(shù)示意圖

本文對(duì)每一個(gè)評(píng)審專家Oi，給其附加一個(gè)變量ni，初始值設(shè)置為0，由圖4可以看出，所有評(píng)審專家的初始評(píng)審能力值相等，其評(píng)分可信度相同。以后每次評(píng)審后，如果該專家表現(xiàn)良好，將ni值增加1，所以其評(píng)審能力值增加；如果該專家有不合理評(píng)審的嫌疑，則將ni值減1，所以其評(píng)審能力值降低，具體實(shí)現(xiàn)見算法4所示。

算法4:專家評(píng)審能力計(jì)算

輸入:專家的歷史評(píng)審數(shù)據(jù)的列表LC及計(jì)數(shù)值n的上界Nmax和下界Nmin;輸出:專家當(dāng)前的評(píng)審能力R。 1.初始化n=0;2.對(duì)LC每一個(gè)元素,也就是該評(píng)審專家在對(duì)應(yīng)的評(píng)審中的表現(xiàn)值,如果表現(xiàn)正常,n值加1,否則n值減1。如果n>Nmax或者n

計(jì)算出該專家的評(píng)審能力后，將專家的評(píng)審能力作為權(quán)重對(duì)評(píng)審數(shù)據(jù)進(jìn)行加權(quán)求和求均值，將所得到的結(jié)果作為最終評(píng)分，將更加科學(xué)和公平。通過這種方式，評(píng)審能力高的專家評(píng)分的影響力大，評(píng)審能力低的專家評(píng)分的影響力小，符合公正性的基本要求。假設(shè)某個(gè)科研項(xiàng)目由n個(gè)專家評(píng)審，第i個(gè)專家的評(píng)審能力值為Ri，評(píng)分為Scorei，則其最終得分Score可由如下公式獲得：

(4)

對(duì)評(píng)審專家進(jìn)行評(píng)審能力的計(jì)算還可以用于專家評(píng)審能力的排名。根據(jù)每次的評(píng)審數(shù)據(jù)，可以更新專家的評(píng)審能力，基于該值，可以對(duì)評(píng)審專家進(jìn)行評(píng)審能力排名，并為后續(xù)科研項(xiàng)目評(píng)審過程中的專家選擇提供參考。

三、實(shí)驗(yàn)分析

本實(shí)驗(yàn)基于某類科研項(xiàng)目評(píng)審時(shí)的真實(shí)專家評(píng)審數(shù)據(jù)對(duì)本文提出的異常數(shù)據(jù)檢測、異常數(shù)據(jù)修正及專家評(píng)審能力計(jì)算等方法進(jìn)行驗(yàn)證分析，根據(jù)科研項(xiàng)目管理要求，我們對(duì)數(shù)據(jù)進(jìn)行了歸一化處理。

(一)異常數(shù)據(jù)檢測結(jié)果

如表1所示，本實(shí)驗(yàn)所采用的數(shù)據(jù)源于真實(shí)的(歸一化處理后)科研項(xiàng)目的評(píng)審數(shù)據(jù)，表格中的列表示26個(gè)科研項(xiàng)目，分別用符號(hào)L1，L2…L26表示；行表示32個(gè)評(píng)審專家，分別用符號(hào)P1，P2…P32表示；表格中的數(shù)據(jù)表示某評(píng)審專家對(duì)某科研項(xiàng)目的評(píng)分。

圖5給出了基于云模型的異常數(shù)據(jù)檢測結(jié)果。圖5(a)是用歸一化后的評(píng)審數(shù)據(jù)做出的灰度圖，橫軸表示26個(gè)科研項(xiàng)目，縱軸表示32個(gè)評(píng)審專家，每個(gè)格子表示某評(píng)審專家對(duì)某科研項(xiàng)目的評(píng)分，格子的灰度表示評(píng)分的大小，灰度越深，評(píng)分越高，灰度越淺，評(píng)分越低。圖5(b)、圖5(c)和圖5(d)在圖5(a)的灰度圖上分別標(biāo)出了不同的topK所檢測出的異常值，并在異常值的位置標(biāo)上圓點(diǎn)。通過選取不同的Δ值，被判為異常數(shù)據(jù)的數(shù)目也將不同。例如，圖5(d)給出了topK=8情況下的異常數(shù)據(jù)。表2是對(duì)應(yīng)的異常程度最大的8個(gè)評(píng)審數(shù)據(jù)，每個(gè)數(shù)據(jù)有其排名、位置和異常程度量化值。圖5和表2表明本文提出的方法能夠有效地進(jìn)行異常數(shù)據(jù)檢測。

表1歸一化后的原始評(píng)審數(shù)據(jù)

圖5　基于云模型的異常檢測模型測試示意圖

排名位置異常程度1P18,L912P10,L140.9753P30,L230.9534P30,L130.9345P30,L240.8626P26,L10.8397P26,L160.8228P17,L210.821

基于上述實(shí)驗(yàn)結(jié)果可以看出，在未對(duì)異常數(shù)據(jù)檢測之前，科研項(xiàng)目評(píng)審排序?yàn)椋?, 9, 6, 14, 15, 25, 7, 16, 23, 13, 22, 5, 19, 2, 10, 20, 24, 4, 1, 26, 8, 12, 18, 11, 21, 17。采用本文提出的方法后，刪除異常數(shù)據(jù)P18后，科研項(xiàng)目的排序變?yōu)椋?, 9, 6, 14, 15, 25, 7, 16, 13, 23, 22, 5, 19, 2, 10, 24, 4, 20, 26, 1, 8, 12, 11, 18, 21, 17。

(二)數(shù)據(jù)修正

本實(shí)驗(yàn)將對(duì)異常程度最高的評(píng)審數(shù)據(jù)進(jìn)行修正，即將異常值位置(P18，L9)中第18號(hào)評(píng)審專家對(duì)第9號(hào)科研項(xiàng)目的評(píng)分進(jìn)行修正，首先依次計(jì)算評(píng)審專家P18與其他31位評(píng)審專家的相似度，即

0.99890.99920.99870.99820.99900.99910.99940.99880.99820.99860.99870.99920.99930.99920.99860.99850.99870.99880.99850.99900.99920.99910.99880.99900.99790.99890.99860.99810.99860.99880.9983

然后，從表1中得到其他31位評(píng)審專家對(duì)9號(hào)科研項(xiàng)目的評(píng)分是

0.98951.00001.00000.97950.98961.00000.98951.00001.00000.86590.97930.97891.00001.00000.98960.97891.00001.00000.98960.95911.00001.00000.95831.00001.00001.00001.00001.00000.93871.00000.9896

最后，對(duì)31位評(píng)審專家的評(píng)分關(guān)于相似度求加權(quán)平均值得0.9852，即用該值替換異常數(shù)據(jù)0.82。

(三)專家評(píng)審能力計(jì)算結(jié)果

實(shí)驗(yàn)結(jié)果如圖6所示，顯示了某個(gè)評(píng)審專家在50次評(píng)審過程中的表現(xiàn)及其評(píng)審能力值變化情況。圖6(a)中橫軸為評(píng)審次數(shù)，縱軸為該專家在歷次評(píng)審中的表現(xiàn)情況，有“1/-1”兩個(gè)取值，取值“1”表示該專家表現(xiàn)正常，提高其評(píng)審能力值；取值“-1”表示該專家有不合理評(píng)分嫌疑，要降低其評(píng)審能力值。圖6(b)與圖6(a)對(duì)應(yīng)，表示其評(píng)審能力值隨其在歷次評(píng)審中的表現(xiàn)情況的動(dòng)態(tài)變化，橫軸也為評(píng)審次數(shù)，縱軸為其評(píng)審能力值。

由圖6可以看出，依據(jù)本文提出的專家評(píng)審能力值計(jì)算模型計(jì)算出的評(píng)審能力值能夠反映評(píng)審專家在評(píng)審歷史中的表現(xiàn)情況，具有較好的效果。

圖6　某評(píng)審專家評(píng)審能力值的動(dòng)態(tài)計(jì)算

四、總結(jié)

本文提出了一種基于云模型的異常數(shù)據(jù)檢測方法，并通過軟件編程實(shí)現(xiàn)了異常數(shù)據(jù)檢測、數(shù)據(jù)修正及專家評(píng)審能力計(jì)算等一系列功能，為科研管理人員高效、準(zhǔn)確地找出并修正不合理評(píng)審數(shù)據(jù)提供了方法和技術(shù)的支撐，為評(píng)審專家的遴選提供參考，從而提高科研項(xiàng)目評(píng)審的科學(xué)性和公正性。該方法也適用于其他具有同行評(píng)議性質(zhì)的項(xiàng)目評(píng)審，具有較好的普適性和可擴(kuò)展性，不但可以用來處理定量的評(píng)分?jǐn)?shù)據(jù)(如本文實(shí)驗(yàn)部分所采用的數(shù)據(jù)類型)，還能夠處理定性的評(píng)分?jǐn)?shù)據(jù)(在預(yù)處理過程中將定性數(shù)據(jù)進(jìn)行量化)。但是需要說明的是，并不是本文方法檢測出所有的異常數(shù)據(jù)都是影響科研項(xiàng)目評(píng)審公正性的不合理數(shù)據(jù)，科研管理人員需要結(jié)合評(píng)審實(shí)際情況對(duì)異常數(shù)據(jù)進(jìn)行具體分析判斷。比如某位專家由于自身的學(xué)科或?qū)I(yè)背景所限，導(dǎo)致其評(píng)審意見和大部分專家不一致，可能說明該專家對(duì)所參加評(píng)審的領(lǐng)域不熟悉，不適合此類科研項(xiàng)目評(píng)審；再比如某位評(píng)審專家的看法很獨(dú)特，而事實(shí)又證明這位專家恰恰是“掌握真理的少數(shù)”，則說明這位專家對(duì)相關(guān)學(xué)科有前瞻性的認(rèn)識(shí)，科研管理部門應(yīng)對(duì)其觀點(diǎn)應(yīng)該予以尊重和重點(diǎn)采納。本文構(gòu)建的模型可以作為對(duì)同行評(píng)議過程再評(píng)估的一種方法，為科研管理部門的決策和監(jiān)督提供參考。

就本文方法的適用范圍而言，如果評(píng)審專家和項(xiàng)目數(shù)量較少時(shí)，該方法的性能優(yōu)勢并不明顯，因此本文方法更適合于評(píng)審專家數(shù)量較多的重點(diǎn)或重大科研項(xiàng)目的評(píng)審。另外，由于算法中涉及到某些參數(shù)的設(shè)置，因此如何基于大量的歷史評(píng)審數(shù)據(jù)和管理反饋數(shù)據(jù)，運(yùn)用大數(shù)據(jù)技術(shù)(如神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)挖掘等)獲得準(zhǔn)確的參數(shù)設(shè)置或參數(shù)的自適應(yīng)動(dòng)態(tài)設(shè)置將是本文未來的研究重點(diǎn)。

致謝

感謝北京郵電大學(xué)的許金良博士，王尚廣副教授對(duì)本文的技術(shù)支持。

[1] 彭以祺，楊曉秋．實(shí)驗(yàn)室評(píng)估的現(xiàn)狀作用和若干建議[J]．中國基礎(chǔ)科學(xué)，2000 (7) ：29-32.

[2]龔旭.同行評(píng)議公正性的影響因素分析[J].科學(xué)學(xué)研究，2005，22(6) ：613-618.

[3]江新華.論我國學(xué)術(shù)評(píng)審制度的缺陷與創(chuàng)新[J].科學(xué)學(xué)研究，2006，23(5) ：618-622.

[4] 程梅珍.建立科技咨詢機(jī)構(gòu)信譽(yù)評(píng)審體系的原則及實(shí)施步驟[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2000，21(5)：54-55.

[5] 黃進(jìn).科學(xué)基金項(xiàng)目評(píng)審專家科研信譽(yù)綜合評(píng)價(jià)體系研究: 基于 “能力-行為-績效” 的視角[J].中國科學(xué)基金，2012，(1)：57-60.

[6]Wenneras C, Wold A.Nepotism and sexism in peer-review [J].Nature， 1997，(387) ：341-343.

[7]Marsh H，Jayasinghe U，Bond N.Improving the peer-review process for grant applications：Reliability, validity, bias, and generalizability [J].American Psychologist，2008，63(3) ：160-168.

[8]Bornmann L，Daniel, H.Reliability of reviewers’ ratings when using public peer review：A case study [J].Learned Publishing，2010，23(2) ：124-131.

[9] 唐光杰.科技評(píng)審中評(píng)分偏差模型的研究與應(yīng)用[D].中南大學(xué)，2012.

[10] 張金煥.科技評(píng)價(jià)中專家評(píng)審粗差數(shù)據(jù)的處理及仿真[J].計(jì)算機(jī)仿真，2013，30(7) ：214-217.

[11] Li D，Meng H，Shi X.Membership clouds and membership cloud generators [J].Journal of Computer Research and Development，1995，32(6) ：15-20.

[12]王國胤，李德毅，姚一豫，等.云模型與粒計(jì)算[M].科學(xué)出版社，2012.

[13]余南華，李蘭芳，王玲，等.基于云模型的諧波電流異常檢測[J].中國電機(jī)工程學(xué)報(bào)，2014，25：4395-4401.

[14]黨倩，駱嘉偉，王東.一種基于云理論的異常檢測算法研究[J].計(jì)算機(jī)應(yīng)用研究，2009，10：3724-3726.

[15]Wu T，Xiao J，Qin K，Chen Y.Cloud model-based method for range-constrained thresholding [J]. Computers and Electrical Engineering，2015，42：33-48.

[16] Wang S，Zheng Z，Sun Q，Zou H，Yang F. Cloud model for service selection.Proceedings of the 30th IEEE Conference on Computer Communications Workshops， 2011.pp.666-671.

[17]Wu L，Zuo C，Zhang H.A cloud model based fruit fly optimization algorithm [J].Knowledge-Based Systems，2015，89：603-617.

[18]李德毅，劉常昱，杜鹢，等.不確定性人工智能[J].軟件學(xué)報(bào)，2004，15(11)：1583-1594.

[19] Zhang G， He R，Liu Y，Li D.An evolutionary algorithm based on cloud model [J].Chinese Journal of Computers，2008，07：1082-1091.

[20]王尚廣，孫其博，張光衛(wèi)，楊放春.基于云模型的不確定性QoS感知的Skyline服務(wù)選擇[J].軟件學(xué)報(bào)，2012，06：1397-1412.

(本文責(zé)編：海洋)

Research on Abnormal Data Detection in Peer Review——An Example of Scientific Project Evaluation

YANG Xiao-qiu， LI Xu-yan

(BasicResearchServiceMinistryofScienceandTechnologyofthePeople’sRepublicofChina,Beijing,100862,China)

Currently peer review is one of the main effective methods to evaluate the scientific projects.However, existing abnormal data seriously affects the fairness and justice of the final evaluation results. In this paper, we propose a detection method for identifying experts’ abnormal review data. Firstly, based on backward cloud algorithm we compute the scalar quantity representing the abnormal level of every review data; then, according to detection result, we adjust the abnormal data with a new one given by the collaborative filtering algorithm; and finally, we designed an algorithm to quantize the review ability of every expert concerned, which will serve well in the next peer review process.Experiments using real dataset show the effectiveness of the proposed methods.

scientific project evaluation; peer review; cloudmodel; collaborative filtering; abnormal detection; reputation calculation.

2015-10-14

2016-04-10

國家軟科學(xué)研究計(jì)劃項(xiàng)目“科技計(jì)劃管理改革實(shí)施效果與優(yōu)化策略研究”(2013GXS6K206)。

楊曉秋(1964-),女,河北遵化人，高級(jí)工程師,碩士研究生，主要研究方向?yàn)榭萍颊吲c科研管理等。

G311,N031,TP18

A

1002-9753(2016)05-0133-10