■馮淑娟/文

綜合評價方法的應用及評價結果效果損失因素淺析

■馮淑娟/文

綜合評價方法在政府考核評價工作中發(fā)揮著重要的作用，可以幫助政府形成對經(jīng)濟社會發(fā)展各方面工作較為準確的綜合判斷，為政府決策提供參考。由于政府考核評價具有自身的特殊性，在選擇具體綜合評價方案的過程中，會產生影響綜合評價結果可靠性和有效性的因素，造成政府考核評價結果一定程度的效果損失。

一、綜合評價方法在政府考核評價中的應用及特點

（一）綜合評價法

綜合評價法，是運用多個指標對評價對象進行評價的方法，又稱為多變量綜合評價方法，其基本思路是將多個指標通過一定的方法處理轉化為一個能夠綜合反映情況的指標來進行評價。評價者、評價對象、評價指標、權重系數(shù)和評價模型是構成綜合評價的5個核心要素。在錯綜復雜的信息社會，綜合評價法是一個實用有效的工具，可以幫助評價者厘清頭緒，形成對評價對象較為準確的綜合判斷，既可用于觀察同一評價對象在不同時期的縱向發(fā)展變化情況，也可用于同一時期多個評價客體之間某一評價對象的橫向比較，因而被廣泛應用于經(jīng)濟社會等各方面。

（二）綜合評價方法在政府考核評價中的應用及作用

在政府考核評價工作實踐中，綜合評價方法是政府評估各方面工作總體成果和考察工作開展進程的重要手段，考核評價結果表現(xiàn)為綜合指數(shù)或得分。從考核評價工作的性質分，有單純對某一經(jīng)濟社會發(fā)展現(xiàn)象的評價也有針對具體工作的考核；從評價對象的范圍大小分，有綜合性也有專項性。用于評價某一經(jīng)濟社會發(fā)展總體狀況的如全面建成小康社會進程監(jiān)測評價、統(tǒng)籌城鄉(xiāng)一體化發(fā)展水平評價、科技進步統(tǒng)計監(jiān)測評價、生態(tài)文明建設綜合評價、現(xiàn)代農業(yè)化發(fā)展水平評價、工業(yè)強縣建設綜合評價、海洋文化產業(yè)發(fā)展績效評價等；直接用于對政府部門工作考核的如黨政領導班子實績分析評價、創(chuàng)建法治縣（市、區(qū)）考核等。綜合性和專項性是相對的，如現(xiàn)代農業(yè)化水平是針對農業(yè)現(xiàn)代化發(fā)展的一個綜合性評價，但相對于黨政領導班子實績分析評價則是農業(yè)方面的專項性評價。

采用綜合評價方法進行政府考核評價，有利于幫助更好地樹立正確的政績觀，形成全面、統(tǒng)籌、協(xié)調的科學發(fā)展理念；有利于政府對工作開展情況與成效有一個全面且直觀的掌握，做到“心中有數(shù)”，特別是通過連續(xù)年份的縱向變化比較和多個評價客體的橫向綜合比較，可為政府決策提供重要的參考依據(jù)；也有利于分解任務，促使職能部門對照檢查工作情況，更好地調整工作方式方法，落實好決策部署，真正起到推動工作開展的目的。

（三）政府綜合考核評價的特點

政府綜合考核評價，即政府利用綜合評價方法對評價對象形成總體評判的過程。政府綜合考核評價具有自身的特點。

一是自我評價性。綜合考核評價工作的組織者是政府部門，被評價的客體絕大多數(shù)情況也是政府部門。即使有一些評價對象看似反映經(jīng)濟社會發(fā)展的各種現(xiàn)象，如全面小康實現(xiàn)程度、環(huán)境質量方面等，實則是對政府施政成果的評價，反映的是政府的工作成效。評價指標的選擇、權重系數(shù)和評價模型的確定均由評價者負責組織完成。

二是工作導向性鮮明。綜合考核評價的目的是為了反映政府各方面工作成效，也是為了找到工作的薄弱環(huán)節(jié)，更科學地部署下一步工作，更好地貫徹落實出成效。因而，綜合評價方案制定各環(huán)節(jié)都與政府工作緊密關聯(lián)。

三是可操作性強。綜合評價方法和模型的選擇需簡便易操作，直觀明了，便于政府領導、社會公眾、具體實施人員等不同層面的人都可理解，也便于開展年度間的連續(xù)性評價監(jiān)測和比較分析。

四是時效性要求高。政府綜合考核評價一般需在既定時間內完成，才能發(fā)揮其咨政建議的作用。失去時效性，評價結果就失去了意義。

二、政府綜合考核評價結果效果損失的情況淺析

評價結果的可靠性和有效性是最終檢驗綜合評價方法好壞的重要判斷標準。政府綜合考核評價結果應能較好反映實際工作情況，形成較好的導向性，對決策實施有明顯的促進作用，并能產生良好的社會效應。但實際評價結果并非能達到理想效果，主要原因在于政府綜合考核評價方案的制定過程中存在影響評價結果可靠性和有效性損失的因素。一方面是不同評價模型自身的系統(tǒng)性原因，任何一種評價模型均有其優(yōu)缺點和適用性，會對最終評價結果的效果產生不同的影響。另一方面是由政府綜合考核評價自身特點影響的評價工作中的一些常用做法，造成評價結果的效果損失。兩方面因素有時會相互作用，進一步疊加或放大評價結果效果的損失程度。

（一）指標的選擇

從指標的理論概念、操作性定義到指標的具體選擇，只有做到信息不遺漏、不重疊，才能保證評價結果的效果。而政府綜合考核評價中自我評價和工作導向的特性，使得指標的選擇過程中，既存在信息遺漏、也存在信息重疊的現(xiàn)象。

一方面，政府各部門之間主客觀背景較為一致，具有較高的同質性。評價主體結構較為單一，使得對評價對象的認知具有一定的局限性，指標選擇過程具有一定的主觀偏好，造成信息遺漏從而影響最終評價效果。雖然評價方案設計過程中有征求相關各方專家意見的環(huán)節(jié)，但評價主體主要是政府部門。另一方面，政府各部門之間相對獨立，在選擇指標時均有重點突出反映自身工作的內心需求，認為直接納入綜合評價體系的指標才能成為工作抓手，更好發(fā)揮導向作用。因而，指標體系中指標數(shù)量不自覺中逐漸增多。實際情況來看，一個綜合評價指標體系中的指標少的有數(shù)十項，多的近百項細化指標也是常有之事。指標數(shù)量過多導致指標之間的相關性會越強，指標的重復性無法簡單排除。尤其是當經(jīng)過多個指標綜合而成的“復合型指標”、“指數(shù)型指標”被納入其中，信息的重復性更不可避免，評價結果失去直觀性意義。

（二）指標的同度量化

同度量化過程是將不同單位和數(shù)量級的指標數(shù)據(jù)通過一定的方法消除量綱，使得處理后的數(shù)據(jù)可進一步綜合成評價結果，以免出現(xiàn)“大數(shù)吃小數(shù)”的錯誤結論。政府考核評價更注重可操作，在對指標進行同度量化時，一般采用較為簡單的極差法、功效系數(shù)法、中心化方法、標準化方法等線性處理方法，而較少采用復雜的、難度較大的指數(shù)形式等非線性轉化。不同“屬性”指標的“敏感性”是不太相同的，即不同指標在同一階段，實現(xiàn)相同程度的改善其難易程度不同，同一指標在不同的發(fā)展階段，實現(xiàn)相同程度的改善其難易程度也不相同。因而，統(tǒng)一簡單線性同度量化方法雖然避免了“大數(shù)吃小數(shù)”的現(xiàn)象，但同度量化后的各指標評價值無法很好地反映各指標改善所代表的工作努力程度以及對評價結果的真正貢獻，有時會出現(xiàn)“一俊遮幾丑”的情況。

（三）指標權重的分配

權重代表著各個指標的重要程度，確定權重的方法有主觀、客觀以及主客觀相結合三種。在不同的評價模型中，權重分配的變化對評價結果的影響大小是不同的，其中對簡單的線性模型評價結果影響較大，而對非線性模型評價結果影響相對較小。鑒于當前政府綜合考核評價中較多采用線性模型，權重的分配是否合理成為評價效果的重要影響因素之一。

由于客觀定權法無法根據(jù)特定階段工作開展狀況判斷指標的重要性，政府綜合考核評價多采用主觀定權法分配權重，以更好地體現(xiàn)決策者的意圖，突出工作導向性，便于操作。在指標數(shù)量較少的情況下，主觀定權可以做到相對合理，但是指標數(shù)量較多時，很難憑經(jīng)驗來對各指標的重要性作出科學合理的準確判斷。實際操作中，更為簡單化處理的主觀定權方法是分層平均賦權或各指標平均賦權，其前提是認為各領域及其所選擇的指標都是政府工作的重要抓手和成果，重要性不相上下。這種定權方式造成評價方案中指標重要性信息的較大損失。

（四）指標的合成方式

指標的合成，是將各指標的評價值與權重按照一定合成規(guī)則進行綜合，得到整體性評價結果的過程。不同的合成方式對評價結果質量影響是不同的。政府綜合考核評價，在選擇指標的合成方式時，更易傾向于最終評價結果是可簡單分解的，即部分之和等于整體，以便于將評價結果直接分解并利用評價結果直接判斷具體工作的成效。

采用合法的合成方式，須要求評價體系各指標之間是相互獨立的，對整體評價結果的貢獻也是相互獨立的。但從指標選擇環(huán)節(jié)的分析來看，在指標數(shù)量較多的情況下要做到指標完全獨立難度較大。指標之間的不完全獨立性與合法合成的指標合成方式相組合，必然在一定程度上造成最終評價結果效果的損失。

此外，綜合評價體系中不可度量的定性指標轉化成定量指標過程、定量指標數(shù)據(jù)的收集匯總處理過程，以及評價結果的解讀和應用等，都有影響著最終評價結果的效果的因素。

三、更好發(fā)揮綜合評價方法在政府考核評價中作用的幾點想法

提高綜合評價結果的有效性和可靠性，使綜合評價方法在政府考核評價中發(fā)揮更大的作用，使評價結果真正體現(xiàn)決策者的意圖，達到推動工作的作用，需做好三個轉變。

（一）轉變觀念，合理把握考核評價的度

綜合考核評價并非是唯一推動工作的抓手，考核評價越多，評價對象交叉重疊可能性越大，考核評價結果越多，考核評價的權威性反而會降低。尤其是涉及對公眾發(fā)布的評價內容，更應謹慎嚴謹，否則容易引起公眾的混亂和質疑。過度的考核評價，也會使被評價客體疲于應付，只做數(shù)字文章而無力解決考核評價背后反映的問題。

（二）轉變評價主體，加大引入第三方評價力度

一方面，引進并發(fā)揮高校、科研院所等專業(yè)力量，采用政府和第三方合作的方式共同研究完善綜合評價方法在政府考核評價中的應用問題。與第三方合作，或直接由第三方獨立開展綜合考核評價，可以規(guī)避政府部門自我評價帶來的評價效果損失，提高評價結果的可信度和公眾接受度。同時，技術人才力量得到加強，通過不斷創(chuàng)新建立更為科學完善的綜合評價方法，減少評價方法中的系統(tǒng)性效果損失。任一綜合評價方案的設計都應隨所處發(fā)展階段、目標導向等因素的變化進行相適應的調整更新，更好滿足政府綜合考核評價的需要。

另一方面，“適度”引入公眾滿意度評價，讓老百姓參與綜合考核評價。老百姓滿不滿意是最終檢驗工作成效的標準，可將公眾對評價對象的滿意程度納入綜合考核評價中。但公眾滿意度有其適用性，公眾對評價對象的滿意程度是其期望水平與現(xiàn)實狀況結合的綜合反映，滿意度高低與實際指標改善程度并非完全成正比，且公眾只對自身熟悉的評價對象的評價才具備更高的可信度。因而，政府綜合考核評價方案設計中公眾滿意度評價的應用要適度，且開展?jié)M意度調查時應科學選擇相應的“公眾”調查群體。

（三）轉變態(tài)度，科學解讀應用評價結果

既重視考核評價結果，又不能過于看重考核評價結果。只有對綜合評價結果分解剖析，真正深入調研發(fā)現(xiàn)問題解決問題促進工作，才能使評價結果發(fā)揮最高的有效性。若僅糾結于評價體系中每個指標的數(shù)據(jù)高低，糾結于橫向比較時的前后位次變化，不能通過單個指標分析“以點帶面”研究相關問題，不能放開手去抓工作，綜合考核評價反而會使人誤入評價陷阱不能自拔，就指標數(shù)據(jù)抓指標工作，評價效果也會大大折扣。

（作者單位：浙江省統(tǒng)計局）