王瑛　王娜　肖薇

摘要：針對(duì)科技獎(jiǎng)勵(lì)評(píng)價(jià)中各指標(biāo)權(quán)重的不確定性問(wèn)題，提出隨機(jī)森林賦權(quán)法，利用可靠性分析計(jì)算專家評(píng)分?jǐn)?shù)據(jù)的泛化誤差，根據(jù)最小錯(cuò)誤率得到各評(píng)價(jià)項(xiàng)目的各評(píng)價(jià)指標(biāo)權(quán)重，減少主觀賦權(quán)的影響；引入一致可信度、非一致可信度和凈可信度信息，提出改進(jìn)的ELECTREⅢ方法，將某一評(píng)價(jià)項(xiàng)目?jī)?yōu)于其他評(píng)價(jià)項(xiàng)目的程度具體量化，解決專家評(píng)分?jǐn)?shù)據(jù)為次序變量的問(wèn)題.實(shí)證表明：隨機(jī)森林賦權(quán)法和改進(jìn)后的ELECTREⅢ方法相結(jié)合，既提高了權(quán)重估計(jì)的精確度和可信度，又解決了難以給定門檻值和不能完全排序的問(wèn)題，使評(píng)價(jià)結(jié)果更加科學(xué)、客觀、合理.

關(guān)鍵詞：可靠性分析；隨機(jī)森林賦權(quán)；改進(jìn)的ELECTREⅢ；科技獎(jiǎng)勵(lì)評(píng)價(jià)

中圖分類號(hào)：G311 文獻(xiàn)標(biāo)識(shí)碼：A

科技獎(jiǎng)勵(lì)是科技創(chuàng)新的重要推動(dòng)力.迄今為止，大量學(xué)者就科技獎(jiǎng)勵(lì)評(píng)價(jià)技術(shù)進(jìn)行研究，提出了許多有效的評(píng)價(jià)方法，然而大多數(shù)方法受主觀影響大，評(píng)價(jià)結(jié)果不夠科學(xué)合理.為此，進(jìn)一步創(chuàng)新科技獎(jiǎng)勵(lì)評(píng)價(jià)方法具有十分重要的理論意義和現(xiàn)實(shí)意義.

自20世紀(jì)80年代中期以來(lái)，中國(guó)的科技獎(jiǎng)勵(lì)評(píng)價(jià)方法得到不斷的發(fā)展和完善，許多專家學(xué)者做了大量研究.王瑛、田煜明＼[1＼]等引入改進(jìn)的未知測(cè)度模型計(jì)算指標(biāo)權(quán)重，并利用綜合得分公式進(jìn)行綜合評(píng)價(jià)，有效地解決了評(píng)審過(guò)程中出現(xiàn)的信息失真問(wèn)題.金聰、彭嘉雄＼[2＼]等運(yùn)用模糊神經(jīng)網(wǎng)絡(luò)的方法構(gòu)建了科技獎(jiǎng)勵(lì)的智能評(píng)審模型，既考慮了專家建議，又有效地減少了由專家決策所帶來(lái)的主觀人為因素的影響.王瑛、曹瑋＼[3＼]等人引入“鄰差矩陣”，并結(jié)合CRITIC法和因子分析方法，建立了考慮專家信度的立體式科技成果綜合評(píng)價(jià)模型.張立軍 ＼[4-5＼]等分別就科技獎(jiǎng)勵(lì)指標(biāo)權(quán)重和專家權(quán)重問(wèn)題進(jìn)行了研究，提出了減少人為操縱因素影響的權(quán)重確定方法.王瑛＼[6＼]等采用改進(jìn)的CRITIC法提高樣本數(shù)據(jù)的代表性，并利用逆向云模型降低了專家評(píng)分的主觀因素影響.

科技獎(jiǎng)勵(lì)評(píng)價(jià)是一個(gè)多項(xiàng)目、多專家、多指標(biāo)的多屬性群決策問(wèn)題.目前科技獎(jiǎng)勵(lì)評(píng)價(jià)指標(biāo)權(quán)重多以主觀賦權(quán)法為主，受專家主觀因素影響較大；且專家評(píng)分?jǐn)?shù)據(jù)通常為次序變量，使得被評(píng)項(xiàng)目難以得到客觀的評(píng)價(jià)結(jié)果.本文根據(jù)科技獎(jiǎng)勵(lì)評(píng)價(jià)的特點(diǎn)引入隨機(jī)森林賦權(quán)法，對(duì)評(píng)價(jià)指標(biāo)進(jìn)行客觀賦權(quán)；并提出改進(jìn)的ELECTREⅢ方法，處理次序變量的排序問(wèn)題，使評(píng)價(jià)結(jié)果更加客觀、科學(xué).

1模型的基本原理

1.1隨機(jī)森林賦權(quán)法的基本原理

隨機(jī)森林賦權(quán)法（RF）＼[7＼]是一種由多個(gè)分類樹組成分類器的方法，主要采用Bagging算法，從原始的N個(gè)樣本中有放回隨機(jī)抽取約1/3的數(shù)據(jù)組成一個(gè)新的訓(xùn)練集，剩余的數(shù)據(jù)成為袋外數(shù)據(jù)（outofbag，簡(jiǎn)稱OOB數(shù)據(jù)），這部分?jǐn)?shù)據(jù)主要用于OOB估計(jì)計(jì)算泛化誤差和各輸入特征向量的權(quán)重.

利用RF的Bagging算法中OOB數(shù)據(jù)進(jìn)行特征向量的權(quán)重估計(jì)，即隨機(jī)改變OOB數(shù)據(jù)中某個(gè)特征向量X的值（稱之為特征向量X的噪聲干擾），得到一個(gè)OOB數(shù)據(jù)的準(zhǔn)確率；然后將原始OOB數(shù)據(jù)的準(zhǔn)確率與加入噪聲之后的OOB數(shù)據(jù)的準(zhǔn)確率相減，得到的結(jié)果作為特征向量X在該組分類樹上的重要性度量值.照此方法計(jì)算出所有分類樹中特征向量X的重要性度量值，然后取平均數(shù)并歸一化，即得到該特征向量X的權(quán)重.

假設(shè)一個(gè)由一系列樹h1（X）， h2（X）， …， hk（X）和兩個(gè)隨機(jī)向量X（輸入向量）、Y（輸出向量）組成的隨機(jī)森林.I=（h（X）=Y）表示對(duì)特征向量X正確分類的Y的得票數(shù)，特征向量的權(quán)重估計(jì)步驟如下.

步驟1 特征向量權(quán)重估計(jì)的可靠性分析.

1）隨機(jī)森林分類樹收斂性估計(jì)：

定義mg（X，Y）為樣本點(diǎn)（x， y）的邊緣函數(shù).

mg（X，Y）=avkI（hk（X）=Y）-

max j≠Y avkI（hk（X）=j）. （1）

式中：Y表示正確的分類向量；I（·）表示指示器函數(shù)；avk（）表示對(duì)函數(shù)值取平均值.該邊緣函數(shù)表示的是對(duì)于向量X正確分類的Y的平均票數(shù)超過(guò)其他同類型票數(shù)的程度.因此，邊緣函數(shù)越大，正確分類的置信度就越高，算法中分類器的效果越出色.

2）特征向量權(quán)重估計(jì)的錯(cuò)誤率：

設(shè)PE*為隨機(jī)森林算法中分類器的泛化誤差，它反映的是分類器的分類效果.則

PE=PX，Y（mg（X，Y）<0）. （2）

其用來(lái)衡量OOB權(quán)重估計(jì)的錯(cuò)誤率.對(duì)于隨機(jī)森林模型hk（X）=h（X，Θ），若森林中樹的數(shù)目足夠多，上式會(huì)滿足大數(shù)定律：

lim k→

SymboleB@ PE=PX，Y（PΘ（h（X，Θk）=Y）-

maxj≠YPΘ（h（X，Θ）=j）<0）.（3）

式中：k表示森林中樹的數(shù)量.

步驟2 特征向量的權(quán)重估計(jì).

設(shè)隨機(jī)森林中OOB估計(jì)的公式為

PK=∑（xi，y）∈OkI（hk（xi）=y）∑（xi，y）∈OkI（hk（xi））. （4）

PK作為P（hk（X）=Y）的OOB數(shù)據(jù)權(quán)重估計(jì)，根據(jù)式（2）得到的最小錯(cuò)誤率選取特征向量的權(quán)重.

1.2改進(jìn)的ELECTREⅢ的基本原理

法國(guó)人Roy提出了ELECTREⅢ法[8]，該方法構(gòu)造了賦值的級(jí)別高于關(guān)系.級(jí)別高于關(guān)系是一種定性的二元關(guān)系，而賦值的級(jí)別高于關(guān)系則是定量化的二元關(guān)系.它是解決有限個(gè)備選方案的多屬性群決策問(wèn)題十分有效的方法.其內(nèi)容如下.

1.2.1構(gòu)造優(yōu)先關(guān)系

設(shè)面臨的決策問(wèn)題A={K，C，W，G，U}，其中令備選方案集K={kj，j=1，2，…，m}；評(píng)價(jià)指標(biāo)集C={ci，i=1，2，…，n}；評(píng)價(jià)指標(biāo)權(quán)重集W={wi，i=1，2，…，n}；評(píng)價(jià)指標(biāo)函數(shù)集G={gi，i=1，2，…，n}，對(duì)于任意aK，gi（a）表示方案a在評(píng)價(jià)指標(biāo)ci下的評(píng)價(jià)值；決策者的偏好結(jié)構(gòu)U={ut，t=1，2，…，r}，r表示決策者的個(gè)數(shù)；各指標(biāo)無(wú)差異閾值函數(shù)集Q={qi，i=1，2，…，n}，qi（gi（aj））是無(wú)差異門檻值，表示方案aj與ak的屬性i值之差小于qi時(shí)，這兩個(gè)方案在屬性i上是無(wú)差異的；各指標(biāo)偏好閾值函數(shù)集P={pi，i=1，2，…，n}，pi（gi（aj））是偏好門檻值，表示方案aj與ak的屬性i值之差大于pi時(shí)，方案aj嚴(yán)格優(yōu)于方案ak；各指標(biāo)的否決閾值函數(shù)集V={vi，i=1，2，…，n}，vi（gi（aj））表示方案ak與aj的屬性i值之差小于vi時(shí)，方案ak嚴(yán)格優(yōu)于方案aj；其中qi（gi（aj））≤pi（gi（aj））≤vi（gi（aj））；顯然，對(duì)于任意的屬性i都應(yīng)該滿足：0≤qi（gi）≤pi（gi）≤vj（gj）.

1.2.2定義和諧性指數(shù)和不和諧性指數(shù)

定義1和諧性指數(shù)C（aj，ak）是指在屬性i上aj優(yōu)于ak的程度.

C（aj，ak）=∑mi=1wici（aj，ak）/∑mi=1wi.（5）

式中：

ci（aj，ak）=

0，1，gi（aj）-gi（ak）-qi[gi（aj）]pi[gi（aj）]-qi[gi（aj）]，若gi（aj）-gi（ak）≤qi[gi（aj）]；若gi（aj）-gi（ak）≥pi[gi（aj）]；其他. （6）

定義2不和諧性指數(shù)di（aj，ak）是指在屬性i上拒絕“aj級(jí)別高于ak”，即指方案aj劣于方案ak的程度.

di（aj，ak）=

0，1，gi（ak）-gi（aj）+qi[gi（aj）]vi[gi（aj）]-qi[gi（aj）]， 若gi（ak）-gi（aj）≤-qi[gi（aj）]；若gi（ak）-gi（aj）≥vi[gi（aj）]；其他.（7）

1.2.3定義賦值的級(jí)別高于關(guān)系

定義3賦值的級(jí)別高于關(guān)系.可用可信度s（aj，ak）來(lái)測(cè)量，它表示的是“aj級(jí)別高于ak”的可信程度.

s（aj，ak）=

c（aj，ak），若idi（aj，ak）≤c（aj，ak）；

c（aj，ak）∏i∈I（aj，ak）1-di（aj，ak）1-c（aj，ak），其他.（8）

式中：I（aj，ak）表示所有di（aj，ak）>c（aj，ak）的屬性的集合.

1.2.4排序

①令λ=max aj，ak∈AS（aj，ak），設(shè)定一個(gè)門檻值δ；

②只確定S（aj，ak）≥λ-σ時(shí)的級(jí)別高于關(guān)系，此時(shí)：Q（aj）=流出aj的有向弧數(shù)量總和-流入aj的有向弧數(shù)量總和.

根據(jù)Q（aj）的大小比較方案優(yōu)劣，進(jìn)而進(jìn)行各個(gè)方案的排序.通過(guò)以上方法進(jìn)行排序，需要人工確定δ 值，且只能針對(duì)S（aj，ak）≥λ-σ的部分方案進(jìn)行排序.

針對(duì)上述1.2.4的排序過(guò)程中存在難以給定門檻值、計(jì)算難度大和不能完全排序等局限性進(jìn)行改進(jìn)，引入一致可信度Φ+，非一致可信度Φ-和凈可信度Φ＼[9＼]，將方案優(yōu)于其他方案的程度具體量化，簡(jiǎn)化了計(jì)算，提高了可信度，實(shí)現(xiàn)了完全排序.改進(jìn)的內(nèi)容如下.

1.2.5定義一致可信度

定義4一致可信度Φ+（aj）是指方案aj優(yōu)于其他所有方案的可靠程度.

Φ+（aj）=∑ak∈Ks（aj，ak），aj∈K. （9）

1.2.6定義非一致可信度

定義5非一致可信度Φ-（aj）是指方案aj劣于其他所有方案的可靠程度.

Φ-（aj）=∑ak∈Ks（ak，aj），aj∈K.（10）

1.2.7定義凈可信度

定義6凈可信度Φ（aj）是指方案aj優(yōu)于其他方案的程度，是一致可信度與非一致可信度的差值.

Φ（aj）=Φ+（aj）+Φ-（aj），aj∈K. （11）

1.2.8實(shí)現(xiàn)完全排序

按照方案的凈可信度Φ（aj）大小，對(duì)所有的備選方案進(jìn)行排序.

2實(shí)證分析

本文選用國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)（技術(shù)開(kāi)發(fā)項(xiàng)目）評(píng)選中25位專家對(duì)24項(xiàng)科技成果的評(píng)分?jǐn)?shù)據(jù)（資料來(lái)源于科技部國(guó)家科技獎(jiǎng)勵(lì)辦公室，原始數(shù)據(jù)略），采用Matlab2012a軟件編程＼[10＼]，實(shí)證分析步驟如下.

步驟1確定評(píng)價(jià)項(xiàng)目集K.

根據(jù)被評(píng)對(duì)象為24個(gè)項(xiàng)目，定義評(píng)價(jià)項(xiàng)目集，K={kj，j=1，2，…，m}={k1，k2，…，k24}.

步驟2確定評(píng)價(jià)指標(biāo)集C.

現(xiàn)有的國(guó)家技術(shù)進(jìn)步獎(jiǎng)中技術(shù)開(kāi)發(fā)項(xiàng)目的評(píng)價(jià)指標(biāo)體系主要由“技術(shù)創(chuàng)新程度”“技術(shù)經(jīng)濟(jì)指標(biāo)的先進(jìn)程度”“技術(shù)創(chuàng)新對(duì)提高市場(chǎng)競(jìng)爭(zhēng)能力的作用”“已獲經(jīng)濟(jì)效益”“推動(dòng)科技進(jìn)步的作用”5個(gè)定量指標(biāo)構(gòu)成.其中，技術(shù)創(chuàng)新程度是指項(xiàng)目的技術(shù)自主創(chuàng)新和解決關(guān)鍵難題的程度；技術(shù)經(jīng)濟(jì)指標(biāo)的先進(jìn)程度是指總體技術(shù)水平、經(jīng)濟(jì)、環(huán)境等指標(biāo)與同類技術(shù)水平相比的優(yōu)劣程度；技術(shù)創(chuàng)新對(duì)提高市場(chǎng)競(jìng)爭(zhēng)能力的作用是指市場(chǎng)的需求度和國(guó)際市場(chǎng)的競(jìng)爭(zhēng)優(yōu)勢(shì)程度；已獲經(jīng)濟(jì)效益是指使用該技術(shù)而產(chǎn)生的直接或間接的經(jīng)濟(jì)效益程度；推動(dòng)科技進(jìn)步的作用是指是否實(shí)現(xiàn)技術(shù)水平提高的幅度，對(duì)行業(yè)科技進(jìn)步的促進(jìn)作用.該指標(biāo)體系以國(guó)家科技獎(jiǎng)勵(lì)條例精神、獎(jiǎng)勵(lì)要求和目的為依據(jù)，符合社會(huì)學(xué)、統(tǒng)計(jì)學(xué)等關(guān)于指標(biāo)體系構(gòu)建的理論和我國(guó)的法律法規(guī)要求，滿足科學(xué)性、客觀性、可測(cè)性、相關(guān)性、系統(tǒng)性、簡(jiǎn)捷性等原則，是一套較為公正、合理的評(píng)價(jià)指標(biāo)體系＼[11＼].因此，本文在進(jìn)行實(shí)證分析時(shí)，仍采用科技部國(guó)家科學(xué)技術(shù)工作獎(jiǎng)勵(lì)辦公室現(xiàn)行的評(píng)價(jià)指標(biāo)體系.

根據(jù)該評(píng)價(jià)指標(biāo)體系，定義評(píng)價(jià)指標(biāo)集C={c1，c2，c3，c4，c5}={技術(shù)創(chuàng)新程度，技術(shù)經(jīng)濟(jì)指標(biāo)的先進(jìn)程度，技術(shù)創(chuàng)新對(duì)提高市場(chǎng)競(jìng)爭(zhēng)能力的作用，已獲經(jīng)濟(jì)效益，推動(dòng)科技進(jìn)步的作用}.

步驟3確定各評(píng)價(jià)指標(biāo)權(quán)重集W.

運(yùn)用隨機(jī)森林算法測(cè)定科技獎(jiǎng)勵(lì)評(píng)價(jià)中評(píng)價(jià)指標(biāo)的權(quán)重時(shí)，將24個(gè)項(xiàng)目作為24棵樹，25位專家的評(píng)分作為25個(gè)獨(dú)立同分布的隨機(jī)向量ΘK，5個(gè)評(píng)價(jià)指標(biāo)作為特征向量X，分別記為h1（x1，Θk）， h2（x2，Θk）， …，h24（x24，Θk）（其中k=1，2， …， 25）.通過(guò)bagging算法，用OOB數(shù)據(jù)對(duì)5個(gè)評(píng)價(jià)指標(biāo)的重要性進(jìn)行估計(jì)，得到權(quán)重.

以科技獎(jiǎng)勵(lì)中的技術(shù)開(kāi)發(fā)項(xiàng)目為例，將24個(gè)項(xiàng)目的所有評(píng)價(jià)指標(biāo)數(shù)據(jù)分別輸入隨機(jī)森林算法程序中，得到各評(píng)價(jià)項(xiàng)目的各項(xiàng)指標(biāo)權(quán)重和OOB錯(cuò)誤率，根據(jù)最小錯(cuò)誤率得到各評(píng)價(jià)項(xiàng)目的各項(xiàng)指標(biāo)權(quán)重，歸一化后的加權(quán)平均數(shù)作為每個(gè)指標(biāo)的權(quán)重.計(jì)算結(jié)果見(jiàn)表1.

由表1可得，W={w1，w2，w3，w4，w5}=

{0.17，0.22，0.25，0.15，0.21}.

步驟4確定各專家對(duì)各項(xiàng)目的各指標(biāo)評(píng)分的平均結(jié)果集G.

根據(jù)技術(shù)開(kāi)發(fā)項(xiàng)目原始數(shù)據(jù)和項(xiàng)目特點(diǎn)，評(píng)價(jià)指標(biāo)值gi（aj），aj∈K為專家對(duì)各個(gè)項(xiàng)目及指標(biāo)打分的平均值＼[12＼]，其結(jié)果見(jiàn)表2.

3結(jié)論

1）針對(duì)科技獎(jiǎng)勵(lì)評(píng)價(jià)中各指標(biāo)權(quán)重的不確定性，提出隨機(jī)森林賦權(quán)法，利用可靠性分析，計(jì)算專家評(píng)分?jǐn)?shù)據(jù)的泛化誤差，根據(jù)最小錯(cuò)誤率得到各評(píng)價(jià)項(xiàng)目的各評(píng)價(jià)指標(biāo)的重要性度量值，經(jīng)歸一化處理后得到各評(píng)價(jià)項(xiàng)目的各評(píng)價(jià)指標(biāo)的權(quán)重，提高賦權(quán)結(jié)果的精確度和可靠性，減少人為給定指標(biāo)權(quán)重的主觀影響，使賦權(quán)方法更加客觀.

2）針對(duì)專家評(píng)分?jǐn)?shù)據(jù)為次序變量的模糊性問(wèn)題，引入一致可信度、非一致可信度、凈可信度信息，提出改進(jìn)的ELECTREⅢ方法，將某一評(píng)價(jià)項(xiàng)目?jī)?yōu)于其他評(píng)價(jià)項(xiàng)目的程度具體量化，有效解決了難以給定門檻值和不能完全排序的問(wèn)題，使評(píng)價(jià)方法更加科學(xué).

3）隨機(jī)森林賦權(quán)法和改進(jìn)后的ELECTREⅢ方法相結(jié)合對(duì)科技獎(jiǎng)勵(lì)進(jìn)行綜合評(píng)價(jià)，得出各參評(píng)項(xiàng)目的評(píng)價(jià)結(jié)果并排序，實(shí)現(xiàn)了次序變量與定量數(shù)據(jù)之間的轉(zhuǎn)換，評(píng)價(jià)結(jié)果更科學(xué)、客觀、合理，為多屬性群決策綜合評(píng)價(jià)提供了有效參考.

參考文獻(xiàn)

[1]王瑛， 田煜明. 基于未確知測(cè)度評(píng)分模型的科技獎(jiǎng)勵(lì)評(píng)價(jià)研究 ＼[J＼]. 科技管理研究， 2009（9）：106-110.

WANG Ying， TIAN Yuming.Based on the unascertained measurement grading model of science and technology reward evaluation research＼[J＼].Science and Technology Management Research， 2009（9） ：106-110.（In Chinese）

＼[2＼]金聰， 彭嘉雄. 科技獎(jiǎng)勵(lì)的智能評(píng)審模型 ＼[J＼]. 軟科學(xué)， 2002， 16（5）： 6-9.

JIN Cong， PENG Jiaxiong. An intelligent evaluation model for the science and technology reward ＼[J＼].Soft Science，2002，16（5）：6-9.（In Chinese）

＼[3＼]王瑛， 曹瑋，羅珍. 考慮專家信度的科技成果立體式綜合評(píng)價(jià)模型＼[J＼]. 軟科學(xué)，2008， 22（6）：6-10.

WANG Ying， CAO Wei， LUO Zhen. The threedimensional comprehensive evaluation model in science and technological achievements considered the expert reliability＼[J＼]. Soft Science， 2008，22（6）：6-10.（In Chinese）

＼[4＼]張立軍， 鄒琦. 基于路徑系數(shù)權(quán)重的科技成果獎(jiǎng)勵(lì)評(píng)價(jià)模型 ＼[J＼]. 科技管理研究， 2008（5）：102-103.

ZHANG Lijun， ZOU Qi. The rewards of scientific and technological achievements evaluation model based on the path coefficient of weight＼[J＼]. Science and Technology Management Research， 2008（5）： 102-103.（In Chinese）

＼[5＼]張立軍， 楊娟. 考慮專家權(quán)重的科技成果模糊綜合評(píng)價(jià)＼[J＼]. 科技與經(jīng)濟(jì)，2011（24）：1-5.

ZHANG Lijun， YANG Juan. The fuzzy comprehensive evaluation of science and technological achievements with considered expert weight＼[J＼].Science & Technology and Economy， 2011（24）：1-5.（In Chinese）

＼[6＼]王瑛，蔣曉東，張璐. 基于改進(jìn)的CRITIC法和云模型的科技獎(jiǎng)勵(lì)評(píng)價(jià)研究 ＼[J＼]. 湖南大學(xué)學(xué)報(bào)：自然科學(xué)版，2014，41（4）：118-124.

WANG Ying， JIANG Xiaodong， ZHANG Lu. Research on the evaluation of science and technological awards based on improved CRITIC method and cloud model＼[J＼]. Journal of Hunan University： Natural Sciences， 2014，41（4）：118-124.（In Chinese）

＼[7＼]BREIMAN L. Random forests＼[J＼]. Machine Leaning， 2001，45（1）： 5-32.

＼[8＼]岳超源. 決策理論與方法 ＼[M＼]. 科學(xué)出版社，2003：226-228.

YUE Chaoyuan. Decision theory and method＼[M＼]. Beijing： Science Press， 2003：226-228.（In Chinese）

＼[9＼]王建軍， 楊德禮.ELECTRE Ⅲ的一種排序新方法 ＼[J＼]. 系統(tǒng)工程， 2005，23（12）：95-98.

WANG Jianjun，YANG Deli. A new ranking method for ELECTRE Ⅲ＼[J＼]. System Engineering， 2005，23（12）：95-98.（In Chinese）

＼[10＼]王小川， 史峰. MATLAB神經(jīng)網(wǎng)絡(luò)43個(gè)案例分析 ＼[M＼]. 北京：北京航空航天大學(xué)出版社， 2013：256-264.

WANG Xiaochuan， SHI Feng. MATLAB neural network 43 case analysis＼[M＼]. Beijing： Beihang University Press， 2013： 256-264. （In Chinese）

＼[11＼]郝國(guó)杰. 科技成果獎(jiǎng)勵(lì)評(píng)價(jià)指標(biāo)體系及方法研究＼[D＼].長(zhǎng)沙：湖南大學(xué)，2009：11-19.

HAO Guojie. Science and technological achievements reward evaluation index system and method＼[D＼]. Changsha： Hunan University， 2009：11-19.（In Chinese）

＼[12＼]張立軍， 林鵬. 基于序關(guān)系法的科技成果評(píng)價(jià)模型及應(yīng)用 ＼[J＼]. 軟科學(xué)，2012，26（2）：10-12.

ZHANG Lijun， LIN Peng. The evaluation model and application of scientific and technological achievements based on ordering relation＼[J＼]. Soft Science， 2012，26（2）：10-12.（In Chinese）

＼[13＼]龔俊華. 集成的ELECTRE方法研究 ＼[D＼]. 成都：四川大學(xué)， 2006： 23-24.

GONG Junhua. Research of integrative ELECTRE method＼[D＼]. Chengdu： Sichuan University，2006：23-24.（In Chinese）