李 紅，朱建平

（廈門大學 經濟學院統計系，福建 廈門 361005）

1 綜合評價方法

綜合評價是指人們確定評價目的后，根據影響評價對象的因素或者指標的個性數據，選擇恰當的評價方法，將影響因素或指標的共同信息提取出來，綜合反映評價對象的總體特征的過程。不同的研究領域都會涉及到評價問題，針對具體的問題和研究背景，評價方法也迥然相異。

1.1 單一評價方法

1.1.1 基于灰色系統理論的評價方法

灰色系統理論[1]最早由鄧聚龍（1982）提出，是一種研究“少數據、貧信息”不確定性問題的方法論，主要用來解決包含未知因素的“灰色地帶”的問題。綜合評價尤其是多目標綜合評價問題，通常涉及的指標非常多，一般來說兼有定性和定量指標，各指標之間關系并不明確，可以認為處于“灰色地帶”。很多學者便使用以灰色系統理論為基礎的數據分析方法來處理這一類處于“灰色地帶”的指標之間關系的問題。

這類灰色方法可以避免要求大樣本以及樣本需要有較好的分布規(guī)律、計算的工作量大、評價結果與定性分析的結果不符等問題，數據也不必進行歸一化處理。比較有代表性的評價分析方法是灰色關聯分析[2]和灰色聚類分析，其主要原理是將統計數據用曲線表示，各曲線的形狀約相近，走勢越平行，就認為其相似性大、關聯度高。因此可以評價各個方案與最優(yōu)方案之間的距離來判斷方案的優(yōu)劣。

在評價過程中，面對權重的確定問題，目前研究中常見的是將層次分析法或者熵權法與灰色關聯分析或者灰色聚類分析進行組合的綜合評價方法。但是這類方法在應用時，仍要考慮確定評價指標的權重，權重確定方法的科學與否對基于灰色理論的評價結果也會造成很大的影響。為了解決這個問題，很多學者將灰色理論與模糊數學及粗糙集理論相結合，力求發(fā)揮三者的優(yōu)勢，得到更優(yōu)的綜合評價方法。

灰色關聯方法有一個較明顯的缺點，就是其關聯度的取值不可為負，表示因素之間的關系均為正向，這與現實不相符，因為現實中很多事物之間的關系是反向變化。而且僅僅通過曲線形狀是否平行或者相似來評價因素的之間的相關性的方法是否正確。當因素之間是反向關系時，曲線間的形狀和趨勢也會呈現巨大的變化，交叉、背道而馳都有可能，通過灰色關聯度得到的結果已經無法表現因素間真實的關系，因此就這個問題學者也可以進一步進行探究。

1.1.2 基于模糊數學與粗糙集理論的評價方法

模糊的概念是1965年美國加利福尼亞大學的一位控制論專家L.A.Zadeh教授在他的一篇題為《Fuzzy Sets》的論文中首次提出地，文章第一次用精確的數學方法描述了模糊概念，宣告了模糊數學的誕生。從此開始，眾多學者開始借助模糊數學的工具進行綜合評價方面的研究，產生了模糊綜合評價（Fuzzy Comprehensive Evaluation）——FCE方法。這一類方法以模糊數學為基礎，其突出的能力是可以通過隸屬度函數和一些模糊統計方法，將界定模糊或者難以量化的指標或者因素量化。然而隸屬度函數是憑經驗或者由專家給出的，具有一定的主觀性，并且在多目標評價時，要確定多個隸屬度函數，過程比較繁瑣。

粗糙集理論是波蘭科學家Z.Pawlak于20世紀80年代初提出來的一種數學工具，主要用來研究不完整數據以及模糊和不確定性知識，分析、推理和挖掘數據之間的關系，發(fā)現隱含的知識，探尋數據間潛在的規(guī)律。建立在粗糙集理論上的綜合評價模型，重點仍然是對于權重的確定，主要將評價模型中的權重問題轉化成為了粗糙集中屬性重要性評價問題，利用粗糙集理論中的知識依賴性和屬性重要性評價方法計算權重，從而進行綜合評估。這種方法是一種純數據基礎的方法，無須建立數學模型，也不需要提供研究對象的任何先驗信息，因此避開了傳統的綜合評價中的主觀因素，使得評價過程和結果更加客觀。

正因為粗糙集理論有以上優(yōu)點，很多學者以其為基礎進行綜合評價方法的研究，多次嘗試與模糊數學理論、灰色系統理論以及人工神經網絡理論相結合[3][4][5]，產生了如粗糙集模糊聚類[6]、粗糙集灰色聚類等更有效的評價方法，簡化了使用人工神經網絡方法進行綜合評價時的訓練集，在不影響數據信息量的前提下刪除多余的數據，提高了訓練速度，增強了神經網絡由于綜合評價的執(zhí)行力。

1.1.3 基于數據包絡分析（DEA）的評價方法

數據包絡分析是美國著名運籌學家查恩斯和庫伯教授在“相對效率評價”概念的基礎上發(fā)展起來的一種數學規(guī)劃模型，主要以凸分析和線性規(guī)劃為工具，計算比較決策單元之間的效果和效率，進而對評估對象進行評價，從統計角度可以將其看做是一種非參數統計估計方法，它能充分考慮對決策單元本身最優(yōu)的方案，尤其適用于多輸入-多輸出的有效性綜合評價問題。因為DEA模型不是直接對數據進行綜合，而是根據輸入輸出數據，將決策單元分為有效單元和無效單元兩類，因而不僅無須將數據進行事前的無量綱化處理，也不必進行任何的權重假設，因此可以理想、客觀地反映評價對象自身的信息和特點。很多學者因為認識到DEA模型這種自身最優(yōu)化的特點，使用其進行綜合評價[7][8][9]。

可是，也正是因為DEA模型這種極度“利己”的方式，對于指標單元之間的關系較少關注，會導致當決策單元的數量相對于指標總數偏少時，無法正確的區(qū)分有效、無效單元。有學者為了解決這個問題，在DEA的基礎上進行了多種方法的改進和綜合，如可以反映偏好的錐比率CCWH模型[10]，在模型中加入虛擬單元[11]，結合灰色理論中的灰色關聯約束錐建立了改進的DEA模型[12]。這些方法增強了DEA模型進行正確評價的效果。另外也有學者將DEA理論與模糊理論結合，提出了很多評價方法[13]，將模糊數據引入DEA模型中[14]。

但是，即使區(qū)分了有效、無效單元，單純的DEA模型對其單元各自優(yōu)劣的程度也無法進一步去區(qū)分，如有學者使用AHP作為DEA模型中權重的確定方法，構建DEA/AHP模型；以網絡層次分析法ANP確定權重建立ANP-DEA模型；以CCR模型為基礎，建立超效率DEA（SE-DEA）模型、交叉評價模型[15]、可變權重模型；使用動態(tài)DEA模型等方法進行有效、無效單元的進一步區(qū)分。除此之外，DEA模型通常只能對短期效果及內部效果進行評估，無法考慮模型中的長期因素及外部，學者們就此提出了DEA-Tobit兩步法、DEA兩階段法以及DEA與Malmquist指數[16]相結合的方法來分析不同時期決策單元的效率演化狀況，擴大了DEA模型的利用面。

1.1.4 基于結構方程模型（SEM）的評價方法

結構方程模型是一類處理多變量之間因果關系的模型，主要基于變量的協方差矩陣來分析變量間的關系，它既能夠考慮模型中因子的內部結構，又能夠體現因子之間的因果關系，這恰好適合用來解決復雜的綜合評價的問題。現實生活中需要研究的問題的影響因素，有一些是無法用指標直接進行度量的，這類問題的解決就需要依靠結構方程模型，結構方程模型將此類無法直接度量的抽象的變量稱為隱變量，并且可以通過一些方法，如偏最小二乘法對隱變量之間、隱變量和顯變量之間的關系進行研究。結構方程模型最常用來處理社會學、心理學、行為組織學中的評價問題，如對城市、地區(qū)或者行業(yè)、企業(yè)創(chuàng)新能力、因素或影響方面的機制研究。

目前用于綜合評價的結構方程模型較以往的模型無論從評價對象的層次還是結構上都發(fā)生了變化，分層結構方程模型、群組結構方程模型及的出現，解決了許多大型機構層次結構復雜，無法系統進行評價的問題，如通過銀行支行的客戶滿意程度推斷分行乃至總行的客戶滿意程度等。

1.1.5 基于統計學習理論（SLT）的評價方法

統計學習理論是在傳統統計學基礎上發(fā)展起來的機器學習方法，這類方法的產生原因是傳統的統計學研究的是樣本數目趨于無窮大時的漸進理論，而現實生活中有很多問題的樣本數目有限，使用傳統的統計方法處理就會產生誤差，20世紀60年代起Vapnik開始致力于基于小樣本情況的研究，至90年代統計學習理論逐步發(fā)展成熟，可以從小樣本的原始數據出發(fā)通過訓練集找到規(guī)律，并利用這些規(guī)律對未知的數據進行預測。這類機器學習方法有嚴格的理論基礎，能夠很好的解決小樣本、非線性、高維數和局部最小點等問題，因此有學者將其應用在綜合評價方法的探討中，如利用神經網絡進行結構選擇、找尋局部最小點、支持向量機等方法對現實問題建立模型并進行評估。

近年來，系統科學理論的加入，壯大了統計學習理論的研究技術力量，數據挖掘技術的成熟以及系統模擬和仿真等計算機技術的使用，拓展了綜合評價的應用范圍。過去由于高階次、非線性等復雜特點而無法使用一般的統計評價方法進行評價的高速公路、水利工程等大型工程建設的領域，如今都可以通過這些方法技術進行研究和測評。

1.2 組合評價法

組合評價實際上是將兩種或兩種以上評價方法或評價思想集成在一起進行評價的技術。事實上，很多學者在評價中實際上已經不知不覺使用了這種方法，如模糊灰色系列方法、模糊多元統計方法等。

組合評價是多種評價方法取長補短結合起來進行評價，既要求方法之間有差別，又要求方法可以相容。傅榮林等（1999）在此基礎上提出了基于“兼容度”與“差異度”概念的優(yōu)化模型。隨后學者們將注意力集中到如何確定方法組合的權重問題上，毛定祥[17]（2002）利用線性規(guī)劃求解方法，以最小二乘思想為基礎，提出組合模型的權重要與各種主客觀賦權評價所得權重的偏差平方和最小的方法。彭猛業(yè)等（2004）拓展了上述思想，提出了加權平均組合方法，其權重由各評價結果與平均評價值的相關系數來確定。劉麗等（2004）使用遺傳算法確定組合評價方法的權重，郭亞軍等（2006）提出了一種基于整體差異的客觀組合評價法，即存在一種評價結果（最佳組合），各評價方法投影到該評價結果后方差最大，體現了少數服從多數的思想。陳國宏、李美娟等（2003，2004，2009）[18]等相繼探討了組合評價中的一些相容方法以及多方法賦權問題，提出了以粗糙集確定的相容方法集為基礎的可能組合評價集，從而建立評價集化模型；運用合作博弈的原理，應用多種單一評價方法所得結論的偏差相對于組合評價結論總偏差的貢獻對單一方法進行賦權，進而進行評價。陳國宏（2011）結合云理論，提出了一種針對定性數據的組合評價方法，將問卷調查中模糊性評價以及隨機性評價轉換成具有解釋意義的具體數值。

通過排序進行方法的組合是組合評價的一種思想，基于這方面的研究發(fā)展較快。常用的組合方法有均值法、Borda法、Copeland法，這些方法的主要區(qū)別是其排序方法的差異，其中如何衡量子方法的優(yōu)劣仍是值得討論的一個課題。另外，以一種理論為基礎，不同方法與之結合產生新的方法組合，如模糊Borda法、改進型模糊Borda法等。

組合評價目的是取各種方法的優(yōu)點，結合在一起摒除其缺點，相互補充相互協助，更好的進行評價。蘇為華[19]（2007）詳細的總結歸納了各種國內外綜合評價集成方法的原理、特點與具體操作方法，并且提出仍有一些基于區(qū)間變量、粗糙集理論、可拓學理論及ANN方法的評價問題尚未解決，為方法的組合提供了理論積淀。

值得注意的是，組合評價方法的應用有幾個前提。首先，各評價方法獨自使用時結果要有差異，這樣在組合評價時才能發(fā)揮各自的特點；其次，組合的過程要注意各方法的兼容性；再次，各方法獨自評價時其結論要具有可比性，比如都是排序問題的評價，或者都是指數問題的評價等。要注意的是并不是所有方法都可以進行組合。具體什么樣的方法可以組合，用什么樣的方法進行組合，需要進一步探討。

2 綜合評價中權重問題的研究進展

權重問題是綜合評價中十分關鍵的一個環(huán)節(jié)，很多學者就此問題進行廣泛的討論。以下通過文獻梳理，比較了綜合評價中權重確定技術的利弊及最新進展。

2.1 主觀賦權法

主觀賦權法主要包括專家評分法、Delphi法，相鄰指標比較法等。其中，層次分析法（Analytic Hierarchy Process，AHP）是應用較為普遍的一種。AHP主要用于結構比較復雜、決策準則層較多的決策與評價問題，主要是將評價對象分為多個層次和指標，然后綜合決策者的主觀判斷和客觀推理，依照不同的權重，將評價過程進行量化的描述，避免因為單純依靠決策者主觀判斷造成的邏輯錯誤等問題。

由于使用AHP決定權重時需要滿足一定的前提，可是對一些現實問題進行綜合評價時通常無法滿足其條件，因此很多學者對AHP方法進行了改進。

首先，AHP的實施前提是指標體系內部具有獨立的遞階層次結構，可是一般的綜合評價構建的指標體系中，各指標之間難免具有相互依存的關系，并非獨立，從而不能簡單的使用AHP法。1996年，美國匹茲堡大學的T.L.Saaty教授提出網絡層次分析法（ANP）[20]，這種方法有效的解決了綜合評價指標之間具有非獨立遞階層次結構的決策問題。

其次，AHP在應用時關鍵是構造、檢驗和修正判斷矩陣的一致性，以及計算判斷矩陣中各要素的權重。可是目前對于判斷矩陣的修正多比較主觀，沒有客觀、統一的修正標準。針對這一問題，有學者將判斷矩陣的一致性問題歸結為非線性優(yōu)化問題，提出了使用遺傳算法（GA）以及加速遺傳算法（AGA）[21]，對判斷矩陣進行檢驗和判斷，模糊綜合評價模型。

此外也有學者針對層次分析法進行評價時判斷矩陣的排序問題進行了深入研究，提出了梯度特征向量排序法、區(qū)間數廣義χ2法、廣義最小平方法（GLSM）等方法。以上方法的提出與改進，都充實了以AHP為權重確定方法的綜合評價模型，完善了評價過程，提高了評價的正確性。

2.2 客觀賦權法

主觀賦權法使評價結果波動性較大，可比性與研究持續(xù)性較差。因此，近年來學者們將注意力轉向尋找更加客觀、科學、簡便的權重確定方法，主要有以下幾類。

2.2.1 神經網絡法

綜合評價是一個復雜的過程，指標或者因素之間通常不獨立，具有一定的相關性，且這種相關性往往不是簡單的線性關系，而是復雜的非線性關系。處理這種非線性關系問題，人工神經網絡是一個很好的工具。ANN是一種非線性科學，無須建立數學模型，而是通過網絡訓練從數據中概括出知識，并將其存儲于神經元中，構成網絡知識進一步對相似的對象進行評價或者預測。這一類評價方法能夠模擬人腦的一些思維模式，具有自學習、自組織、自適應等特點。它的出現結合了專家學者的經驗和客觀判斷模式，降低了評價過程中主觀偏誤的可能性，克服了一般綜合評價方法無法反映評價指標的動態(tài)變化過程的問題，同時提高了問題解決的效率。

以ANN為基礎衍生出來的綜合評價中權重的確定方法，如三層BP神經網絡法[22]、Hamming神經網絡法[23]，可以解決以往評價指標體系不夠全面、設定權重不夠客觀以及無法動態(tài)反應指標變化的問題，弱化權重確定過程中的人為因素。但是，這一類方法受限于神經網絡本身無法客觀確定隱含層的數目的弊端，從而不能完全的避免主觀因素。同時，當評估對象數目多、評價規(guī)模比較大的時候，神經網絡節(jié)點的個數通常會比較多，龐大的網絡結構會降低其推廣能力，評估時間也會很長，并且經常會陷入局部最小的困境。學者針對這些問題的出現提出了重置變結構神經網絡方法[24]，GA-ANN方法加快了網絡收斂速度，避免了陷入局部最小的困境。除此之外，雖然神經網絡方法確定權重比較客觀，但是其訓練集的選擇是一個難點。并且目前沒有好的解決辦法。

2.2.2 TOPSIS法

按與理想解的相似性定序偏好的方法（technique for order preference by similarity to ideal solution，TOPSIS）主要用于有限方案的多目標決策分析。TOPSIS賦權法的思路是先在歸一化的原始數據矩陣中找到最優(yōu)方案，然后以評價對象與最優(yōu)方案的距離評價其優(yōu)劣程度。這種方法對樣本的分布及樣本量沒有嚴格的要求，計算過程不復雜，因此受到很多學者的鐘愛。但是，由于最優(yōu)方案是在原始數據的歸一化之后，根據矩陣中的無量綱數據，通過主觀設定權重求得，權重具有一定的隨意性，導致結果不夠客觀；另外隨著數據的變化，最優(yōu)方案也會發(fā)生變化，最終的評價結果不具有穩(wěn)定性和唯一性；余雁（2003，2004）以上述基本理論為基礎，提出了雙基點法，建立靠近理想解和遠離負理想解兩個基準改善了TOPSIS法。錢吳永等（2009）[25]在雙基點法的基礎上給出了加權TOPSIS方法，并通過實例驗證其有效性。

2.3 組合賦權法

主觀和客觀賦權法在確定權重時有不同的側重點，各有利弊，為了能夠兼顧決策者的主觀判斷和評價對象的客觀特點，眾多學者將主觀、客觀兩類賦權法有機結合，產生了一類新的權重確定方法——組合賦權法。王先甲（2011）在灰色系統理論基礎上，將AHP和DEA兩種方法有機結合[26]，共同確定方案的綜合指標權重向量，進而得出方案之間的關聯度，對方案進行有效、合理的評價。程啟月（2010）在熵理論的基礎上，將專家意見法與模糊分析法相結合，給出了結構熵權法[27]，通過“典型排序”及“盲度”分析，對潛在的偏差數據進行統計分析，從而確定權重系數結構。蘇為華（2004，2010）[28]]研究了Delphi-AHP組合賦權過程中專家意見分歧的度量，在此基礎上進一步探討了專家一致性的統計檢驗問題，建立P階對稱指標來度量專家意見一致性，通過極差法和蒙特卡洛模擬法給出了兩種確定闕值的方法。余雁（2004）[29]以模糊理論為基礎，通過模糊偏好與現行TOPSIS賦權法的結合，提出了一種改進的TOPSIS-FP新模型。錢吳永等（2009）將加權TOPSIS法與灰色關聯度結合，建立有效的評價模型。

3 結論與啟示

3.1 數據與方法匹配問題

離散數據與連續(xù)數據采用的統計方法不同，處理低頻數據與高頻數據的方法亦有別，而目前很多研究疏于對各種方法應用條件的考慮，特別是對不同數據類型的要求，從而造成評價結果的不準確甚至錯誤。一般來說在評價之前要結合方法的應用條件考慮數據以下幾個方面：

（1）數據的形式。選取的方法可以處理定性數據還是定量數據或者二種皆可；尤其近些年來高頻數據、超高頻數據的出現，對研究及評價的方法提出了新的挑戰(zhàn)。

（2）樣本量的大小。樣本量大小直接影響著評價方法的正確性，很多方法的應用前提是要求大樣本條件；否則結果會出現極大的偏差甚至錯誤。隨著人們對數據信息的重視，很多行業(yè)建立了自身的數據庫，擁有了大量甚至海量的數據，數據挖掘技術的成熟為這類數據的評價提供了新的契機。但是，如何挑選其中正確的方法進行評價，也是學者需要提前考慮的。

（3）數據的量綱。有些方法要求數據無量綱，或者要求量綱統一，這就需要學者在收集到數據之后仔細查看數據量綱的形式，按照方法的要求選擇是否要進行歸一化或者無量綱處理。

3.2 檢驗標準不統一

綜合評價與生活聯系緊密，因此評價的對象很多，宏觀層面上有整個國家甚至全球經濟或某方面的評估；中觀層面有區(qū)域性或者城市之間某方面能力或者特點的比較；微觀層面有某行業(yè)、某企業(yè)各自或者彼此之間的評估或排名，評價也分為單目標或者多目標決策等等。因為評價對象的多樣性，就需要我們根據方法的適用性及研究對象的特點選取適合的方法進行評價，并不能一個方法放之四海而皆準。就方法的挑選問題，目前還沒有一個較為客觀、準確的標準進行參考，學者通常都是根據自己的主觀判斷進行方法的選擇，或者直接利用一些新穎的方法進行評價，沒有考慮其是否適合研究對象的特點。

組合評價雖然結合了多種評價方法，能起到揚長避短的作用，但是就組合方法集中各方法的挑選問題，仍然依靠學者的主觀判斷，沒有統一的選入標準，相信這也是無論單一評價法還是組合評價法都無法避免和解決的問題。

3.3 評價過程操作性較差

綜合評價的最終目的是對研究對象或者研究的問題進行客觀、準確的評估，所使用的方法只是手段。方法確定之后，很多學者會面臨一個問題就是指標數據難以搜集。通常，每個學者研究的問題都有一定的特殊性，所需用到的指標也有其各自的特點，傳統的通過上網查找統計數據、年鑒的方式已經難以滿足研究的需要，而很多問題因為其數據涉及到一些企業(yè)或者地區(qū)的“隱私”，通過調查也未必得到滿意的結果，即使問卷收集回來，缺失值等現象的存在也是不可避免。這給綜合評價研究增添了困難，是急需解決的問題。

近幾年統計學界很多理論如空間計量理論、數據挖掘理論的交叉應用，許多新的統計分析方法如分位數回歸、函數型全信息回歸、面板數據聚類、HHT方法及數據挖掘方法等不斷涌現，評價對象的指標數據形式由傳統的定性數據、時間序列數據、截面數據，擴展到面板數據、高頻數據、超高頻數據等；研究對象的數據數目從大樣本、小樣本也發(fā)展到了擁有超大規(guī)模的數據量。無論是數據形式的改變，還是數據量的擴大，研究問題的多樣化均要求我們的評價方法要更加準確并且有針對性，這便給學者們提出了新的挑戰(zhàn)；另外，目前流行的云理論也漸漸廣泛的應用于統計評價中，這一領域值得學者進一步探討。

[1]鄧聚龍.灰理論基礎[M].武漢：華中科技大學出版社，2002.

[2]唐萬梅.基于灰色關聯分析的多層次綜合評價研究——風險投資項目綜合評價模型[J].系統工程理論與實踐，2006，（6）.

[3]Jelonek J,et al.Rough Set Reduction for Attributes and their Domains for Neural Networks[J].Computational Intelligence，1995，11(2).

[4]Peng C,et al.Multi-valued Neural Network and the Knowledge Acqui?sition Method by the Rough Sets for Ambiguous Recognition Problem[C].Proc.of the IEEE International Conference on Systems,Man and Cybernetics,Beijing，1996.

[5]Yasdi R.Combining Rough Sets Learning and Neural Learning-meth?od to Deal with Uncertain and Imprecise Information[J].Neurocomput?ing，1995，7（1）.

[6]黃定軒等.基于屬性重要性的多屬性客觀權重分配方法[J].系統工程理論方法應用，2004，（6）.

[7]曲文毓等.工業(yè)經濟效益綜合評價的DEA方法[J].系統工程與電子技術，1998，（10）.

[8]杜棟.企業(yè)技術創(chuàng)新評價的DEA方法[J].系統工程理論方法應用，2001,10（1）.

[9]王應明，傅國偉.一種用于工業(yè)經濟效益綜合評價的模型和方法[J].系統工程和電子技術，1993，15（3）.

[10]魏權齡.評價相對有效性的DEA方法[M].北京：中國人民大學出版社，1998.

[11]劉英平等.有效區(qū)分決策單元的數據包絡分析方法[J].系統工程理論與實踐，2006，（3）.

[12]許祥鵬.基于改進的DEA模型在效率評價中的應用[J].財金研究，2011，（6）.

[13]李志亮等.基于模糊數變換的DEA模型與應用[J].模糊系統與數學，2004，（4）.

[14]柳順，杜樹新.基于數據包絡分析的模糊綜合評價方法[J].模糊系統與數學，2010，（4）.

[15]史成東等.物流公司績效的DEA交叉評價[J].系統工程，2010，（1）.

[16]徐小欽等.基于DEA與Malmquist指數法的區(qū)域科技創(chuàng)新效率評價——以重慶市為例[J].數據統計與管理，2009，（11）.

[17]毛定祥.一種最小二乘意義下主客觀評價一致的組合評價方法[J].中國管理科學，2002，（5）.

[18]陳國宏等.基于方法集的綜合評價方法集化研究[J].中國管理科學，2004，（1）.

[19]蘇為華等.綜合評價技術的擴展與集成問題研究[M].北京：中國統計出版社，2007.

[20]趙國杰，邢小強.ANP法評價區(qū)域科技實力的理論與實證分析[J].系統工程理論與實踐，2004，（5）.

[21]金菊良等.計算層次分析法中排序權值的加速遺傳算法[J].系統工程理論與實踐，2002，（11）.

[22]戴文戰(zhàn).基于三層BP網絡的多指標綜合評估方法及應用[J].系統工程理論與實踐，1999，（5）.

[23]金聰.基于Hamming神經網絡的經濟效益綜合評價模型[J].系統工程理論與實踐，2001，（2）.

[24]徐晉，彭娟.重置變結構神經網絡及其在風險投資項目評估中的應用[J].系統工程理論方法應用，2005，（2）.

[25]錢吳永等.基于灰色關聯定權TOPSIS法及其應用[J].系統工程，2009，（8）.

[26]王先甲，張熠.基于AHP和DEA的非均一化灰色關聯方法[J].系統工程理論與實踐，2011，（7）.

[27]程啟月.評測指標權重確定的結構熵權法[J].系統工程理論與實踐，2010，（7）.

[28]蘇為華，吳鑒洪.Delphi-AHP構權過程中專家意見一致性的統計檢驗問題研究[J].統計研究，2010，（7）.

[29]余雁等.一種新的基于模糊偏好的TOPSIS方法[J].系統工程，2004，（8）.