甄峰

（中國人民大學應用統(tǒng)計科學研究中心，北京100872）

綜合評價方法與應用的統(tǒng)計學內涵

甄峰

（中國人民大學應用統(tǒng)計科學研究中心，北京100872）

文章針對綜合評價活動在實際工作中的廣泛應用，特別是在政府統(tǒng)計中的應用，討論了綜合評價方法和其應用過程所反映的統(tǒng)計學思想。提出了綜合評價的金字塔模型其概括為理論演繹和統(tǒng)計計算、統(tǒng)計檢驗和理論升級，以及提煉問題和統(tǒng)計應用研究三個過程，構建統(tǒng)計信息系統(tǒng)，經濟管理監(jiān)測系統(tǒng)和應用研究系統(tǒng)。

綜合評價；統(tǒng)計學；內涵；金字塔模型

0　引言

綜合評價研究是統(tǒng)計學應用中的一類非常實用的研究方法，特別是對于復雜現實問題的系統(tǒng)把握，對于經濟社會新概念和新問題的闡釋上有廣泛的應用。該方法要求對統(tǒng)計知識有深入的了解，對數據信息有敏感的反映，同時對經濟社會理論和現實問題有較好的把握，是一個既要求理論方法功底，又需要科學靈活應對的應用研究方向，需要不同學科知識，不同專長研究人員的緊密配合，因此在應用過程中有廣闊的空間，也產生了多樣的爭論，特別是在統(tǒng)計科學性上的爭論。多數研究從評價問題或評價方法出發(fā)，主要是對評價合理性和方法展開研究，還未從統(tǒng)計學學科內涵方面進行思考。

本文以國內外有影響的相關實證研究為基礎，提出了綜合評價的金字塔模型，討論綜合評價方法及其應用反映的統(tǒng)計學內涵，以及該方法作為一套完整的信息處理和統(tǒng)計應用研究系統(tǒng)應獲得的全面認識。

1　文獻描述與特點

伴隨經濟社會問題的復雜化和多樣化，要求人們對事物的認識越來越精細和準確，與之相伴的信息多樣性和數字化發(fā)展，為綜合評價研究的發(fā)展提供了主客觀條件，使得綜合評價問題和應用廣受關注，評價方法本身也日益完善。以CSSCI期刊刊出的文章為例，1998—2014年就有3.32萬篇文章從題目看即與綜合評價有關，圖1給出了與綜合評價密切相關的兩組關鍵詞檢索結果，論文題目有“綜合評價”或“指標體系”字樣的平均每年354篇，自2005年起近10年來平均每年496篇；擴大檢索范圍，論文題目有“評價”或“指標”字樣的平均每年1953篇，2005年以來平均每年2678篇，科技類刊物和學位論文的相關發(fā)表也是數以萬計，蘇為華對相關刊載做了詳細描述和分類統(tǒng)計[1]。

圖1　1998—2014年CSSCI刊物刊載相關文章數量變動

綜合評價研究在國際上也有豐富的案例和積極的探討，至少在以下方向為人們所孰知：如聯合國發(fā)展計劃署（UNDP）推出的人文發(fā)展指數刻畫了公平共享的人類發(fā)展方向；達沃斯世界經濟論壇（WEF）背后是其對國際競爭力的深入研究和評價；世界銀行國際比較項目（WB-ICP）希望將各國和地區(qū)放在一個可比的平臺上討論發(fā)展問題；歐盟創(chuàng)新指數（EUR0STAT）則結合創(chuàng)新調查的結果研究了主要發(fā)達國家的創(chuàng)新發(fā)展問題。國際的相關研究集中在兩方面：一是各國政府或國際組織的官方統(tǒng)計活動，二是信息綜合提取方法的學術研究。

從這些文章的研究方向來看，可分為如下幾類：

一是對經濟社會重大問題的綜合評價與分析。二是對經濟社會專題問題的綜合評價與分析。三是對綜合評價中具體方法的研究，以及不同評價方法的比較。四是對綜合評價方法應用和適應性的討論。

綜合來看，國內外的相關研究至少在以下方面體現了綜合評價研究的共同特點：一是時事性，針對時政或經濟社會熱點問題，將抽象概念具體化，數量化和系統(tǒng)化；二是實用性，對具體工作給出標準和方向，提高工作目標的可操作性；三是靈活性，評價方法和指標體系設定靈活，量化可比方法較多，且二者均能與時俱進；四是一致性，好的評價體系在其結果和應用上與主觀認識基本相同，能夠揭示一般規(guī)律。另一方面，由于指標選擇的靈活性，評估方法的多樣性，以及主觀意識的較強能動性，使得人們亦質疑綜合評價的科學性，或除了統(tǒng)計指標和指數構建，它是否能體現現代統(tǒng)計學的方法論和意義。

這些特點表明，綜合評價研究的實踐既是挑戰(zhàn)和爭議所在，又有發(fā)展與完善空間，在這個空間內，統(tǒng)計學思想和方法大有可為。那么，這些評價活動在現代統(tǒng)計學的引入和發(fā)展中，是否是統(tǒng)計學，又體現了什么樣的統(tǒng)計思想和內涵？

2　統(tǒng)計學內涵

綜合評價研究的過程，包括方法選擇、體系構建、指標框架、應用研究等，體現了統(tǒng)計學研究問題的基本思路，即計算、檢驗與分析應用，三個過程又分別可以概括為統(tǒng)計信息構建系統(tǒng)、經濟管理監(jiān)測系統(tǒng)和應用統(tǒng)計研究系統(tǒng)，用圖2的金字塔模型予以概括。

圖2　綜合評價研究的統(tǒng)計學內涵金字塔

2.1理論演繹和統(tǒng)計計算

從研究過程來看，首先是構建統(tǒng)計信息系統(tǒng)，即明確研究主題，依照評價問題的相關理論對主題進行不同層級的要素分解和指標解釋，從不同方面闡釋理論涵義，并爭取用統(tǒng)計指標量化。構建評價體系和框架的同時，也要考慮如何將基礎指標標準化、可比化，或構建不同層級指標和綜合層的指數，來量化評估主題。

從現有實證研究來看，這一過程是大多數研究所討論的重點和主要內容，即如何將研究主題指標化、指數化。這一過程體現了對理論問題的演繹過程和統(tǒng)計計算過程，從統(tǒng)計學角度來看，即用什么樣的統(tǒng)計指標來描述研究主題，用什么樣的統(tǒng)計計算方法來處理不同量綱、不同方向、不同數據特征的統(tǒng)計指標，如何獲得對描述主題有概括性的指數、指數體系或評價標準。圖2由上及下的指標體系構建過程體現了這一維度的統(tǒng)計思想。

2.2統(tǒng)計檢驗和理論升級

其次是構建經濟管理監(jiān)測系統(tǒng)。建立評價體系和指數體系后，評價的結果和指數的情況是否能夠客觀反映和如實描述評價主題，即在由上而下的體系構建和運算后，結果能否用統(tǒng)計方法檢驗，并且能夠經受研究主題所在領域的專業(yè)檢驗，進而用于經濟管理等實務的監(jiān)測。

檢驗也無非有兩種可能，要么方法有效，誤差可控，結果與初始預期一致或基本一致；要么誤差不易衡量或結果與初始預期差異較大，進而調整體系方法，或糾正初始認識。這些都是推動評價方法和指標體系進一步完善的動力，也是數據支持下評價活動的理論升級過程，或概括為經濟管理監(jiān)測系統(tǒng)，即由下而上的通過恰當統(tǒng)計指標監(jiān)控和測量測研究主題。

2.3應用研究

第三個維度是應用統(tǒng)計研究系統(tǒng)，旨在指標和數據層面重新組合，開發(fā)新問題和展開深入分析的統(tǒng)計應用過程。這是最容易被忽略的一個過程。從研究的角度來看前兩個維度為系統(tǒng)和概覽性認識問題提供了依據，統(tǒng)計應用過程的展開則是深入分析和認識研究主題的重要步驟，也是綜合評價方法發(fā)展的重要方向。

綜合評價體系的構建本身是以評價主題為核心的信息平臺搭建過程，信息平臺上的指標和數據，不僅支持評價過程的計算和檢驗，同時更是不可多得的統(tǒng)計分析數據信息平臺。在這些數據和指標的基礎上，可以重新定義問題，組合指標，選擇方法，在不同要素和指標間建立專題分析，對以研究主題為核心的問題的內在關系，關鍵指標和要素間的關聯與變動進行探索性研究，乃至于發(fā)揮預警和預測功能。

在這三個維度中，前兩個維度評價性更強，第三個維度研究性更強；前兩個維度實用性更強，第三個維度探索性更強；前兩個維度系統(tǒng)性更強，第三個維度專題性更強。它們的恰當結合，體現了實證研究中，統(tǒng)計數據與實際問題相結合，統(tǒng)計方法與研究過程相結合，統(tǒng)計研究與數據發(fā)掘相結合的統(tǒng)計學內涵。

3　一般過程

在理論方法和實證研究的基礎上，我們提出綜合評價研究的一般過程供討論。這些步驟的科學開展可以保證綜合評價研究客觀真實性，也是體現統(tǒng)計學方法在不同專業(yè)領域應用的系統(tǒng)范例。

綜合評價研究從問題分解開始，到研究成果的獲得，可分為如圖3的四個步驟：

第一步，體系構建與指標檢驗，即在研究問題主體所涉及的理論支持下，對研究的問題進行不同層級的分解，初步建立評價框架和指標體系。這是一個循環(huán)往復的過程，需要檢驗指標的代表性，數據的差異性，指標的評估方向，以及驗證評價體系對參評單元的區(qū)分度，且整個體系具有可比性，進而得到初步可用的評價指標體系。

第二步，綜合評價，即選擇恰當的信息匯總方法，構建評價指數體系或評估標準，得到初步結果。由于統(tǒng)計方法選擇的靈活性，使得輸出結果也是多樣的，不存在絕對最優(yōu)。哪種方法相對更優(yōu)，需要下一步的檢驗，但這并不影響盡量多的使用不同的信息匯總方法，在背景信息，統(tǒng)計方法、信息損失和評價結果的對照中進行選擇。

第三步，檢驗評價結果。對結果的檢驗應從不同角度著手，首先是直觀判斷，結果與初始主觀判斷是否一致，有何差異，差異的來源是主觀認識的偏差，還是評價體系的偏差。其次是先驗信息對照，即評價結果與經驗結論是否一致，是否需要修訂其一。再次是不同統(tǒng)計方法得到不同結果的比較，結合方法、結果、背景條件來選擇更好的評估方法和結果。這一步也需要在綜合評價，甚至指標選擇上不斷往復，以期達到最優(yōu)。

第四步，研究與應用。通過以上三步，可獲得直觀的綜合評價結果，也構建了評價主題的綜合統(tǒng)計信息平臺。在此基礎上，首先是展開綜合評價活動，對研究主題在綜合層次，要素層次和指標層次進行評價和分析；此外還可以在指標層次或要素層次重新組合，設立新的專題問題進行統(tǒng)計研究，分析評價體系內部的深層關系；進而可以形成對評價主題的新的科學認識，指導實踐和推動相關理論升級。

圖3　綜合評價研究的一般過程

4　問題與挑戰(zhàn)

系統(tǒng)的綜合評價研究過程是一個科學的統(tǒng)計實證研究過程，實踐中存在諸多統(tǒng)計學和非統(tǒng)計學的問題與挑戰(zhàn)，影響該方法的認可程度，也創(chuàng)造了該方法發(fā)展和完善的機遇。

一是指標體系構建問題，即指標選擇與框架搭建問題。綜合評價體系的靈活性和主觀能動性，使得不同研究者對同一評價主題可能選擇不同的指標和框架。什么樣的指標或框架更合理，并沒有統(tǒng)一的標準。這個問題的優(yōu)化一方面要求對評價主題專業(yè)知識的掌握，另一方面要求對統(tǒng)計指標和統(tǒng)計數據的熟悉。一個值得推薦的思路是對評價主題的“多維密集測度”，即在要素方面和指標選擇上力求完善，在體系設計上力求均衡與對稱，以均衡的設計減小權重的差異和影響，如國家統(tǒng)計局課題組的和諧社會統(tǒng)計監(jiān)測指標體系[2]，趙彥云、甄峰的創(chuàng)新指數設計都實踐和體現了這一思想[3]。

二是數據信息的綜合方法，即評價標準的建立和綜合指數的計算。評價結果的獲得主要有兩類：一類是指數化方法，通過對標準化指標的逐級等權或不等權匯總，獲得要素指數和綜合指數，如楊新洪對文化軟實力的量化評價[4]；另一類是針對每個指標提出目標標準，將數據與固定標準對照得出評價結論，如農村社會經濟調查司對我國糧食安全的評價[5]。這一大類問題還包括權重的設定，權數的獲得，指數體系的設計，對照標準的設定，與標準的距離評判等等，本文不能一一論及，但信息綜合的原則應當是：最大化的應用數據所反映出的統(tǒng)計特征，客觀反映指標內的差異信息；全面體現指標間的差異信息，特別是關鍵指標的信息；綜合后的結果可以在統(tǒng)計學范疇和評價主題專業(yè)領域內檢驗并得到認可。

三是輸出結果的檢驗，即輸出結果如何進行統(tǒng)計學和專業(yè)領域的檢驗。統(tǒng)計學的檢驗是一個博弈過程，多元統(tǒng)計方法中對多指標的處理是在多維度下尋找非重疊信息，并特別關注能夠代表信息最大化的方向。綜合評價研究則強調在體系構建過程中盡可能全面的考慮評價方向，即一開始就是發(fā)散性思維，引入的指標必然有重疊信息。如何均衡兩個相反的方向，在統(tǒng)計上和專業(yè)上均能檢驗結果的有效性是綜合評價方法面臨的挑戰(zhàn)。

四是統(tǒng)計開發(fā)和應用，即如何開發(fā)指標體系所搭建起來的統(tǒng)計學數據和信息“富礦”。評價體系的構建考慮了評價主題的方方面面，在對主體問題的研究上提供了豐富的指標和數據信息，如何對這些數據進行深入開發(fā)研究是綜合評價研究的重要延續(xù)性工作。在評價體系的科學性和評價結果的有效性之外，基于指標體系的問題選擇和數據挖掘是綜合評價研究的重要步驟，是深入理解所研究主題的絕好機會，也是檢驗評價結果和要素關系，正確指導實踐的重要參考。

總之，綜合評價方法與應用研究體現了統(tǒng)計學在統(tǒng)計計算、統(tǒng)計檢驗和統(tǒng)計應用的思想和內涵，是統(tǒng)計學結合其他學科的重要應用研究領域。理想的綜合評價體系可以構建統(tǒng)計信息系統(tǒng)，經濟管理監(jiān)測系統(tǒng)和應用統(tǒng)計研究系統(tǒng)。統(tǒng)計學的發(fā)展和統(tǒng)計方法的應用將有助于解決綜合評價中存在的問題和面臨的挑戰(zhàn)，統(tǒng)計學方法在評價活動中的深入也是保障綜合評價活動科學性的重要步驟。

[1]蘇為華.我國多指標綜合評價技術與應用研究的回顧與認識[J].統(tǒng)計研究，2012,(8).

[2]國家統(tǒng)計局課題組.和諧社會統(tǒng)計監(jiān)測指標體系研究[J].統(tǒng)計研究，2006,(5).

[3]趙彥云,甄峰.我國區(qū)域自主創(chuàng)新和網絡創(chuàng)新能力評價與分析[J].中國人民大學學報，2007,(4).

[4]楊新洪.關于文化軟實力量化指標評價問題研究[J].統(tǒng)計研究，2008,(9).

[5]農村社會經濟調查司.我國糧食安全評價指標體系研究[J].統(tǒng)計研究，2005,(8).

（責任編輯/亦民）

C829.2

A

1002-6487（2016）19-0081-03

國家社會科學基金資助項目（15BTJ013）；國家統(tǒng)計局設計管理司委托課題；北京高等學校青年英才計劃項目（YETP0226）

甄峰（1979—），男，河北藁城人，博士，副教授，研究方向：應用統(tǒng)計、國際金融。