倪 星 李佳源

一

政府績效評估，就是運用一定的指標(biāo)和方法，對各級政府及其工作人員的績效進行測量、考核。評估結(jié)果能反映其工作的實際效果，從而達到改進政府工作，提高管理效率和服務(wù)質(zhì)量的目的。在公共管理實踐中，政府績效評估具有內(nèi)部控制、結(jié)果導(dǎo)向和外部責(zé)任三項主要功能，是優(yōu)化政府管理、提升公共服務(wù)質(zhì)量的重要戰(zhàn)略工具，因而受到越來越多的關(guān)注。在長期的公共管理實踐中，逐漸形成了兩種主要的政府績效評估模式，即重視成本效益分析的客觀測量模式及強調(diào)滿意度等軟指標(biāo)的公眾主觀評價模式①公眾主觀評價是指在政府績效評估中，通過公眾這一評估主體的主觀知覺獲取有關(guān)公共服務(wù)績效狀況的信息，有學(xué)者稱之為軟指標(biāo)評估、公眾評議政府或者公眾參與的政府績效評估。出于討論方便考慮，本文不對這些不同的稱謂作嚴格區(qū)分。。20 世紀80 年代以來，伴隨著新公共管理運動的興起，在顧客至上和結(jié)果導(dǎo)向的理念引導(dǎo)下，當(dāng)代政府績效評估的關(guān)注重心從繁文縟節(jié)、內(nèi)部控制逐漸轉(zhuǎn)向外部公眾滿意，公眾主觀評價模式備受重視和推崇。美國許多地方政府開始將公眾滿意度作為衡量公共服務(wù)質(zhì)量的重要指標(biāo)[1］，王小虎等人（Xiaohu Wang ＆Gianakis ，G.A.）的研究也發(fā)現(xiàn)地方官員傾向于采用公民對部門績效的主觀評價[2］。

公眾主觀評價模式的理論預(yù)設(shè)是公眾能夠知覺政府運作的實際績效并且公眾作出的評價與公共服務(wù)的實際績效狀況相一致。許多公共管理學(xué)者和實踐者在討論公眾主觀評價的意義時，總是想當(dāng)然地把這種理論預(yù)設(shè)當(dāng)做無需檢驗的公理，而將注意力更多地集中在論證公眾評估政府績效的意義、方法、操作流程和數(shù)據(jù)的獲取與使用等方面。[3］但事實上，如果要把公眾主觀評價作為政府績效評估的可靠工具，這一工具本身的效度如何是我們必須首先回答的問題。

20 世紀70 年代以來，陸續(xù)有學(xué)者開始關(guān)注公眾主觀評價的效度問題，他們圍繞公眾主觀評價是否可以準確反映公共服務(wù)的實際績效，以及影響公眾主觀評價的相關(guān)因素等問題展開爭論。我們認為，公眾主觀評價的效度是公共管理實踐者和研究者都不能忽視的重要問題。通過對主要來自美國《公共行政評論》（Public Administration Review）的權(quán)威文獻的梳理，本文力圖呈現(xiàn)這場爭論的來龍去脈，并結(jié)合中國實踐探討其中的啟示與借鑒意義。

二

從現(xiàn)有文獻來看，對公眾主觀評價效度的質(zhì)疑主要源于有關(guān)不同的城市居民群體對公共服務(wù)質(zhì)量滿意度差異的研究?？藏悹柡褪媛–ampbell ，A.＆Schuman，H.）對美國15 個城市的調(diào)查發(fā)現(xiàn)，相比較于白人，黑人對警察、公立學(xué)校、垃圾回收和公園等公共服務(wù)的滿意度較低。隨后的相關(guān)研究也得出了相似的結(jié)論，如福勒（Fowler ，F(xiàn).）發(fā)現(xiàn)黑人對警察服務(wù)的知覺和評價遠遠低于白人。盡管這些研究不是專門針對公眾主觀評價工具的效度問題，也沒有進一步論述種族因素在多大程度上影響了公眾對服務(wù)的滿意度，但是卻為該主題的研究提供了啟發(fā)和思路，即公眾主觀評價可能受到非服務(wù)特征因素的影響。后來，斯蒂帕克（Stipak，B.）、布朗和庫爾特（Brown，K.＆Coulter，P.B.）、帕克斯（Parks ，R.）以及珀西（Percy，S.L.）等人均是沿著這種分析思路，研究種族、收入、年齡和受教育程度等個體特征及其他非服務(wù)因素對公眾主觀評價政府績效的影響。

學(xué)術(shù)界對公眾主觀評價的效度的爭論，肇始于斯蒂帕克在其博士論文中的研究發(fā)現(xiàn)。圍繞地方政府服務(wù)的差異是否對公眾評價產(chǎn)生影響這一問題，斯蒂帕克以洛杉磯大都會區(qū)為個案進行了研究，發(fā)現(xiàn)沒有充分的證據(jù)來證明服務(wù)質(zhì)量影響了公眾對地方政府服務(wù)的主觀評價。斯蒂帕克隨后發(fā)表了幾篇有影響力的文章，對過度依賴公眾主觀評價的做法進行了系統(tǒng)深入的反思。

斯蒂帕克的研究思路是對具體公共服務(wù)項目的客觀績效與公眾的主觀評價進行多元線性回歸分析，進而測算兩者在統(tǒng)計上的相關(guān)性。他將公眾主觀評價作為因變量，服務(wù)特征（如破案率、被搶財物損失的挽回率、每萬人全職警察數(shù)量、每千人七類嚴重犯罪數(shù)量）、政府特征、社區(qū)特征以及個體特征（如受教育程度、收入水平、性別、種族、年齡）作為自變量，建立回歸方程。通過公眾對警察、公園、娛樂設(shè)施、垃圾回收以及其他基本服務(wù)作出的評價，獲取有關(guān)的主觀評價數(shù)據(jù)?？陀^績效數(shù)據(jù)則是針對不同的服務(wù)項目，從服務(wù)產(chǎn)出、服務(wù)投入、行政工作量三個方面設(shè)置具體的指標(biāo)來采集。統(tǒng)計分析表明，公共服務(wù)的特征不能很好地解釋公眾主觀評價的差異，公眾對公共服務(wù)質(zhì)量的知覺似乎不能準確反映實際的情況?；诖?，斯蒂帕克認為，地方政策制定者不能簡單地根據(jù)主觀指標(biāo)的績效信息來判斷社區(qū)服務(wù)質(zhì)量的好壞。他認為:“這類指標(biāo)的含義是不清楚的，先前一些研究已經(jīng)表明滿意度或者評價指標(biāo)并不總是準確地反映了政府提供的服務(wù)。而且，潛在的分析困難是很大的，這些困難并不都是可以解決的。因此，使用滿意度數(shù)據(jù)來評估服務(wù)績效可能會誤導(dǎo)政策分析者”。[4］

針對上述結(jié)論，斯蒂帕克認為可能的解釋包括四個方面。首先，公眾滿意度能否作為有效的績效衡量標(biāo)準取決于它是否反映了服務(wù)的質(zhì)量，而事實上，公眾對滿意度調(diào)查問題的回答并非只受到來自公共服務(wù)質(zhì)量的影響。在對洛杉磯大都會區(qū)的研究中，斯蒂帕克把受訪者對警察、公園、垃圾回收等基礎(chǔ)服務(wù)的主觀評價看做服務(wù)特征、政府特征、社區(qū)特征和個體特征四組自變量的函數(shù)。通過多元回歸分析得到的數(shù)據(jù)無法支持服務(wù)特征影響了公眾對服務(wù)的評價的觀點，而且服務(wù)特征的客觀指標(biāo)對公眾滿意度的預(yù)測能力較其他因素（如種族、年齡）小。其次，公眾并不總是能夠準確知覺政府公共服務(wù)的實際績效。只有當(dāng)服務(wù)質(zhì)量特別好或特別差的時候，公眾對服務(wù)質(zhì)量的知覺才會受到影響并發(fā)生變化。再次，即使主觀評價和客觀指標(biāo)之間存在關(guān)聯(lián)性，政策制定者也不能對主觀評價的數(shù)據(jù)作簡單化比較，進而推論不同地區(qū)間的服務(wù)質(zhì)量的高低。斯蒂帕克認為，只有在主觀評價與客觀服務(wù)質(zhì)量之間呈現(xiàn)單調(diào)遞增關(guān)系的情況下，我們才能利用主觀指標(biāo)進行服務(wù)質(zhì)量高低的排序。但是，由于公眾對服務(wù)的偏好和期望的復(fù)雜性，這種單調(diào)遞增關(guān)系往往是不存在的。換言之，高的主觀評價并不一定意味著高的服務(wù)質(zhì)量。最后，政策制定不能過于依賴公眾主觀評價信息的原因還在于研究本身的“非實驗性”（nonexperimental ）。[5］在斯蒂帕克看來，大多數(shù)關(guān)于公眾滿意度的民意調(diào)查沒有采用實驗研究的方法設(shè)置實驗組和控制組，因此，無法排除其他與服務(wù)無關(guān)的因素對公眾主觀評價的干擾。

在此基礎(chǔ)上，斯蒂帕克對公共管理實踐中應(yīng)用公眾主觀評價問題提出了一些建議。（1 ）在社區(qū)服務(wù)滿意度調(diào)查中，研究人員一般很難采用嚴格的實驗法排除與服務(wù)特征無關(guān)的因素對公眾主觀評價的影響。斯蒂帕克主張采用多元回歸分析解決非實驗性問題，借助多元回歸數(shù)據(jù)可以看出相關(guān)變量與公眾對城市服務(wù)評價的相關(guān)度。當(dāng)然，多元回歸分析本身也無法克服非實驗研究方法帶來的推論困難，因為受訪者的某些個體特征變量是無法測量的，如個體對服務(wù)質(zhì)量的期望，而這恰恰可能是影響公眾滿意度的一個重要因素。（2）如果確實要采用主觀指標(biāo)測量服務(wù)的質(zhì)量，調(diào)查者必須針對服務(wù)的具體維度來向服務(wù)使用者采集績效信息，而不是籠統(tǒng)地向他們調(diào)查對某項服務(wù)的總體滿意度。例如，當(dāng)我們簡單地詢問公眾對警察服務(wù)的滿意度時，所得到的回答可能受到一系列因素的影響，包括受訪者是否是犯罪受害人，最近是否被警察攔截，被攔截時警察對待他的態(tài)度等。因此，必須根據(jù)服務(wù)的具體維度來設(shè)計調(diào)查問題，這樣才能獲得更為全面和有價值的信息。（3）總體滿意度這樣的績效指標(biāo)反映了公眾對公共服務(wù)的態(tài)度，而這種態(tài)度反過來又會影響公眾對執(zhí)法人員（如警察）工作的配合程度。因此，執(zhí)法人員可以根據(jù)不同地區(qū)、不同時間、不同人群的滿意度差異靈活采用合適的操作標(biāo)準。

總之，斯蒂帕克的貢獻在于通過經(jīng)驗研究對公眾主觀評價與公共服務(wù)的客觀績效狀況相一致這個假設(shè)提出質(zhì)疑。在他看來，正是因為沒有意識到公眾主觀評價的復(fù)雜性，許多城市管理者才會簡單地根據(jù)滿意度來推論不同區(qū)域或不同時段服務(wù)質(zhì)量的變化。這個推論只有在公眾準確知覺服務(wù)質(zhì)量的前提下才能成立，而經(jīng)驗研究表明這個前提不一定能成立。

在《警察服務(wù)供給的主觀和客觀測量》一文中，布朗和庫爾特同樣通過實證研究的方法對簡單使用公眾主觀評價數(shù)據(jù)的做法提出質(zhì)疑。在他們看來，如果政策制定者使用公眾滿意度調(diào)查的方法來獲取有關(guān)服務(wù)質(zhì)量的信息，那就必須弄清楚:客觀測量和主觀評價在多大程度上產(chǎn)生一致或矛盾的結(jié)果？哪些變量能夠解釋公眾主觀評價的變化？在多大程度上，公眾的主觀評價反映了公共服務(wù)的客觀績效？他們采用的研究方法與斯蒂帕克類似，即通過對警察公共服務(wù)供給的客觀績效指標(biāo)及公眾在該項服務(wù)上的主觀滿意度進行回歸分析，進而檢驗公眾主觀評價受到客觀績效指標(biāo)的影響的程度。布朗和庫爾特構(gòu)建了一個基于警察服務(wù)的公眾滿意度模型來呈現(xiàn)其研究的推進邏輯。在這個模型中，作者建立了以下三組假設(shè):（1）公眾對警察服務(wù)的滿意度是在若干具體服務(wù)維度基礎(chǔ)上作出的，包括警察響應(yīng)速度、警察接警方式、與其他社區(qū)相比本社區(qū)的警察保衛(wèi)工作、與其他社區(qū)相比本社區(qū)警察的響應(yīng)速度、與其他社區(qū)相比本社區(qū)警察的接警方式、與其他社區(qū)相比本社區(qū)的犯罪率等六個方面；（2）公眾在這些具體維度上的滿意度與其人口統(tǒng)計學(xué)特征、政治態(tài)度特征、接受服務(wù)經(jīng)歷、對服務(wù)的期望等個體特征顯著相關(guān)；（3）警察服務(wù)的客觀績效指標(biāo)與公眾滿意度直接相關(guān)。[6］

在接下來的研究中，布朗和庫爾特對阿拉巴馬州塔斯卡盧薩市16 個校區(qū)的538 名市民進行電話訪問獲取數(shù)據(jù)。在市民主觀評價數(shù)據(jù)的采集方面，研究人員詢問受訪者對警察服務(wù)的評價（分為優(yōu)秀、良好、一般和差四個等級），了解受訪者對警察保護、警察響應(yīng)速度以及警察接警方式的看法；同時，研究人員要求受訪者就上述方面與城市其他社區(qū)的情況進行比較，因為這種比較會影響他們對本社區(qū)服務(wù)的滿意度。為了測量市民對警察服務(wù)的期待程度，研究人員將之操作化為市民在社區(qū)夜間活動的安全感。對于客觀績效指標(biāo)數(shù)據(jù)，研究人員從城市警察檔案記錄中獲得有關(guān)警察響應(yīng)時間、出警數(shù)量、逮捕數(shù)、嚴重犯罪數(shù)等客觀數(shù)據(jù)。為了檢驗研究假設(shè)，布朗和庫爾特采用多元回歸分析技術(shù)，對公眾滿意度與警察服務(wù)的各個維度間的關(guān)系、公眾滿意度與公眾個體特征之間的關(guān)系以及公眾滿意度與客觀績效指標(biāo)之間的關(guān)系進行分析。

數(shù)據(jù)顯示，模型中警察服務(wù)的六個細分維度（自變量）可以解釋市民總體滿意度（因變量）55%的變化。其中，響應(yīng)時間、接警方式以及對警察保護的公正性的知覺三個具體維度在0.05 的水平上顯著，這說明公眾對警察服務(wù)的總體滿意度是基于這三個具體維度的知覺作出的。根據(jù)第一組假設(shè)檢驗的結(jié)果，布朗和庫爾特進一步分析了公眾滿意度的三個主要維度與公眾個體特征（包括年齡、種族、收入及受教育程度等變量）之間的關(guān)系。他們發(fā)現(xiàn)，公眾對地方政府質(zhì)量的評價、公眾受侵害次數(shù)與公眾滿意度的三個維度均存在顯著相關(guān)性，對三個維度的變化具有良好穩(wěn)定的解釋力。他們最后分析了客觀績效數(shù)據(jù)與市民主觀評價之間的關(guān)系。對公眾滿意度的三個細分維度和八個具體的客觀評價指標(biāo)分別進行回歸分析的結(jié)果表明，二者之間并沒有顯著相關(guān)性。換句話說，主觀滿意度水平與客觀服務(wù)水平彼此之間似乎是獨立的。對此，他們給出了自己的解釋，公眾是依據(jù)自己的期望來看待公共服務(wù)的客觀績效的，這可能是主觀評價和客觀評估之間存在較弱的一致性的重要原因。

應(yīng)該說，布朗和庫爾特的研究較斯蒂帕克更為嚴謹，尤其是他們意識到公眾對公共服務(wù)的評價可能是基于服務(wù)的不同方面而作出的判斷，并對公眾滿意度進行維度細分，避免了模糊的問題導(dǎo)致模糊化的回答這一弊端。另外，他們將公眾對服務(wù)的相對滿意度（相比較于其他社區(qū)）變量納入分析模型中，這也使得研究設(shè)計更為科學(xué)。當(dāng)然，研究中的一些指標(biāo)操作化不盡合理。例如，將公眾對警察服務(wù)的期待定義為夜間安全感，顯得頗為牽強。而且，進行電話訪問的時間是1981 年的3 月至5 月，而分析所用的客觀績效指標(biāo)是1978 年1 月到1979 年9 月的數(shù)據(jù)，中間的時間差可能是導(dǎo)致主觀滿意度水平和客觀服務(wù)水平之間弱相關(guān)性的重要原因。另外，他們在統(tǒng)計分析過程中沒有區(qū)分直接接受公共服務(wù)和間接接受公共服務(wù)的受訪者，這也是后來一些學(xué)者抨擊的地方。

三

斯蒂帕克、布朗和庫爾特對公眾主觀評價效度的質(zhì)疑發(fā)人深省，但也招致不少學(xué)者的反駁，包括布魯?shù)悄?、帕克斯、珀西在?nèi)的許多學(xué)者加入到這場爭論當(dāng)中，他們分別從規(guī)范研究和經(jīng)驗研究的層面提出自己的見解。

布魯?shù)悄岷陀⒏裉m德（Brudney，J.L.＆England，R.E.）從“合作生產(chǎn)”（coproduction）的角度重新審視公眾主觀評價模式的價值。[7］所謂合作生產(chǎn)，是指在公共服務(wù)供給上改變政府生產(chǎn)公眾消費的傳統(tǒng)模式，轉(zhuǎn)而由公共部門和公眾作為積極平等的合作者共同參與到公共服務(wù)的生產(chǎn)過程中。這種合作生產(chǎn)模式需要公眾主動表達服務(wù)需求，通過協(xié)商與公共機構(gòu)在服務(wù)供給上達成一致。從這個角度講，民意調(diào)查是公眾表達意愿以及政府了解公眾對公共服務(wù)需求的重要途徑。同時，了解公眾的滿意度對綜合評價一項公共服務(wù)的績效是十分必要的。布魯?shù)悄岷陀⒏裉m德認為，一項公共服務(wù)可以從效率、效益、回應(yīng)性和公平性四個維度進行評價。在效率和效益維度，主要涉及公共服務(wù)的價格和數(shù)量，可以用一些硬性指標(biāo)表示，行政官員掌握的信息較公眾充分，前者比后者更適合扮演評估角色。而在回應(yīng)性和公平性維度，作為服務(wù)的消費者和公共政策的目標(biāo)群體，公眾對服務(wù)質(zhì)量、服務(wù)分配的知覺則為評價提供了更有價值的信息。通過政府為主的客觀績效測量和公眾為主的主觀評價，公共服務(wù)的供給將實現(xiàn)合作生產(chǎn)。由于公共服務(wù)的合作生產(chǎn)離不開這四個評價維度的信息，就決定了公眾主觀評價模式的不可替代性。而且，在他們看來，基于公眾的主觀評價模式（citizen-based measure ）有助于彌補單純依賴客觀產(chǎn)出指標(biāo)無法評估政策影響的缺陷。布魯?shù)悄岷陀⒏裉m德的論述是有說服力的，他們從規(guī)范層面闡釋了公眾主觀評價的民主憲政價值及其對于民主治理的重要性。但由于缺乏實證研究，顯得對斯蒂帕克等人的質(zhì)疑回應(yīng)力不足。

此后，帕克斯、珀西各自發(fā)表了頗具影響力的文章，對公眾主觀評價和客觀績效測量之間的弱相關(guān)性提出了新的替代性解釋。帕克斯認為，主觀評價和客觀測量之間缺乏一致性的原因可能有兩個:一是所采用的客觀指標(biāo)和主觀指標(biāo)在概念上有區(qū)別，兩者的指向不同，也即兩套指標(biāo)測量的并不是同樣的內(nèi)容。[8］例如，警察保護等服務(wù)的財務(wù)支出和人員配備更多的是對投入的客觀測量，而公眾在評價服務(wù)質(zhì)量高低的時候關(guān)注的是公共服務(wù)供給所產(chǎn)生的實際效果。即使采用逮捕率和犯罪率這些和公眾密切相關(guān)的指標(biāo)來評估警察服務(wù)的質(zhì)量，也是有問題的，因為它們不能涵蓋警察工作的全部內(nèi)容。也許警察服務(wù)在某些客觀指標(biāo)上的績效是出色的，但卻由于在其他指標(biāo)上的表現(xiàn)不佳而降低了公眾的總體滿意度。二是由于使用了總體客觀測量（aggregated objective measures ）的數(shù)據(jù)。事實上，公眾接受的不是城市總體的公共服務(wù)，而是自身居住或工作范圍內(nèi)的公共服務(wù)。因此，與城市總體公共服務(wù)水準相比較，社區(qū)服務(wù)的客觀評價指標(biāo)與公眾主觀評價之間具有更密切的關(guān)系。帕克斯認為，斯蒂帕克之所以得出客觀測量和公眾主觀評價之間不一致的結(jié)論，原因在于他使用轄區(qū)平均績效水平，忽視了轄區(qū)內(nèi)部更小單位之間的服務(wù)供給的差異。在洛杉磯大都會區(qū)，警力資源分布在空間上呈現(xiàn)非均衡性，為了打擊犯罪，那些高犯罪率的區(qū)域往往配置了更密集的警力資源。簡單采用整個地區(qū)的平均績效指標(biāo)數(shù)據(jù)顯得過于粗糙，且在多元回歸分析中可能降低這些客觀績效自變量的解釋力。因此，帕克斯主張采用社區(qū)服務(wù)的客觀績效指標(biāo)進行分析，這類指標(biāo)承載的信息和公眾的主觀感受是密切相關(guān)的。

珀西也認為，將公眾主觀評價與客觀績效測量之間的差異歸結(jié)為公眾知覺錯誤的做法是不妥當(dāng)?shù)?，這種歸因只有在客觀績效信息是真實有效的前提下才能成立。他指出，斯蒂帕克等人表面上提出了對使用公眾滿意度作為績效指標(biāo)的質(zhì)疑，但實際上這些研究只是提供了服務(wù)供給的客觀測量沒有顯著影響公眾主觀評價的證據(jù)罷了?？陀^測量之所以無法對公眾主觀評價產(chǎn)生顯著影響，原因在于對服務(wù)的客觀測量是一個情境因素，受到犯罪率、響應(yīng)時間等指標(biāo)的影響。而事實上，公眾不會特別關(guān)注這些因素。相反，個人與警察的接觸、媒體的報道這些因素反而可能對公眾知覺產(chǎn)生更強烈的影響。所以，不能由于主觀評價和客觀測量之間的弱相關(guān)性就草率地得出公眾評價不準確的結(jié)論。[9］

應(yīng)該說，帕克斯和珀西的解釋頗具啟發(fā)性，但要回答“公眾對服務(wù)的主觀滿意度能否反映事實上的客觀服務(wù)績效”的問題，經(jīng)驗數(shù)據(jù)的支撐是不可或缺的。

帕克斯認為，要探究主觀指標(biāo)和客觀指標(biāo)之間是否相關(guān)，研究者必須弄清楚兩者之間是如何發(fā)生聯(lián)系的。也就是說，投入是通過怎樣的過程轉(zhuǎn)化為結(jié)果輸出的？在這個過程中有哪些中間指標(biāo)？公眾是如何構(gòu)建他們對公共服務(wù)的評價的？為此，帕克斯選取警察響應(yīng)速度和公眾對警察響應(yīng)速度的知覺進行研究，建構(gòu)了一個公眾對警察響應(yīng)速度的知覺模型，該模型①模型中“＋”、“-”、“？”分別表示兩個變量間的關(guān)系是正相關(guān)、負相關(guān)及方向待檢定。位于虛線左邊的變量為間接變量，虛線右邊的變量為直接變量，間接變量通過直接變量影響公眾對社區(qū)警察快速響應(yīng)的知覺。（見圖1）區(qū)分了影響公眾知覺的直接因素和間接因素。

帕克斯的數(shù)據(jù)來源于對美國密蘇里州圣路易斯（St.Louis ）大都會區(qū)的研究。他首先根據(jù)最近一段時間是否與警察打過交道將受訪者分為兩組，各獲得559 個和2 789 個個案。針對這兩組受訪者，帕克斯分別將影響因素與公眾對警察響應(yīng)速度的知覺進行多元線性回歸分析，得到的結(jié)論和斯蒂帕克等人的相似，即機構(gòu)記錄反映的客觀績效數(shù)據(jù)并沒有對受訪公眾的主觀評價產(chǎn)生顯著和直接的影響。例如，負責(zé)巡邏的正規(guī)警察比重的回歸系數(shù)只有0.006 ，即負責(zé)巡邏的正規(guī)警察的比重每增加10 個百分點，公眾對警察響應(yīng)速度的知覺才提高0.06 分（5 分制）。而且，針對第二類受訪者（近期未與警察打過交道）建立回歸方程的判定系數(shù)只有13.8%，說明回歸方程的總體解釋力不理想。但是，帕克斯認為，這些發(fā)現(xiàn)并不足以支撐客觀績效改變不會導(dǎo)致主觀評價變化的觀點。在客觀指標(biāo)和主觀指標(biāo)之間存在一些中間變量，客觀指標(biāo)通過中間變量進而作用于公眾的主觀知覺。如果只關(guān)注客觀績效指標(biāo)對公眾主觀知覺的直接影響，將大大低估其實際影響力。

圖1 影響公眾對社區(qū)警察響應(yīng)速度知覺的因素

為了檢驗這種假設(shè)，帕克斯詳細梳理了影響公眾知覺社區(qū)警察響應(yīng)速度的各種因素，構(gòu)建出主觀指標(biāo)和客觀指標(biāo)相互影響的單向模式網(wǎng)狀圖。在這個網(wǎng)狀圖中，客觀指標(biāo)的變化將引起某些中間的客觀變量或主觀變量的變化，進而引起公眾對社區(qū)警察響應(yīng)速度知覺的變化。例如，負責(zé)巡邏的正規(guī)警察的比重不僅直接作用于公眾對警察響應(yīng)速度的知覺，也可以通過市民報告遇見巡邏警車的頻率、與警察交往經(jīng)歷的不滿意率等內(nèi)生變量間接地對因變量產(chǎn)生影響。為了準確測量各個自變量對公眾知覺的疊加影響力，帕克斯采用統(tǒng)計學(xué)中的路徑分析方法，分別計算了各個自變量對因變量的直接、間接和總的影響力。統(tǒng)計結(jié)果表明，原先與公眾知覺相關(guān)性弱的自變量通過其他變量明顯提高了與因變量的相關(guān)度。例如，負責(zé)巡邏的正規(guī)警察比重這一變量對因變量的直接影響系數(shù)只有0.09 ，但通過中間變量的作用可以將總影響系數(shù)提高到0.26 。這表明，將中間變量納入公眾主觀評價和客觀測量的相關(guān)性分析中顯得更為合理。因為社會現(xiàn)象之間的關(guān)系是復(fù)雜的，各種因素相互關(guān)聯(lián)并形成一個復(fù)雜的因果網(wǎng)。采用路徑分析方法測算客觀績效指標(biāo)對公眾主觀評價的總影響力，這是帕克斯的創(chuàng)新之處，極大地拓展了既有的研究思路，也為斯蒂帕克等人的研究結(jié)論提供了一種新的解釋。

珀西則是通過一個警察溝通研究項目①該項目是美國印第安納大學(xué)政治理論與政策分析工作室開展的，他們通過對田納西州沃思堡市警察局收到的5 000 多個求助電話進行分析來采集數(shù)據(jù)。來檢驗公民知覺和評價公共服務(wù)的影響因素。他首先建立了一個理論框架（見圖2 ），認為公眾對特定服務(wù)行為的評價受到了他們對這些行為的知覺、對行為的期望、服務(wù)環(huán)境的特征以及公眾個體特征的影響。在此基礎(chǔ)上，公眾對特定服務(wù)的評價進而影響了他們對服務(wù)機構(gòu)整體績效的評價。珀西認為，早前研究的不足之處在于沒有將公眾對服務(wù)的期望納入回歸分析方程中，而這是影響公眾對服務(wù)質(zhì)量知覺的關(guān)鍵變量之一。

珀西首先搜集和分析了警察局電腦輔助調(diào)配系統(tǒng)中記錄的三個有效節(jié)點:第一個節(jié)點是求助電話被話務(wù)員分配到調(diào)配器的時間，第二個節(jié)點是警察被派遣的時間，第三個節(jié)點是警察到達現(xiàn)場的時間。第二個節(jié)點減去第一個節(jié)點得出求助者大致的等待時間，第三個節(jié)點減去第二個節(jié)點得出警察前往現(xiàn)場的時間，第三個節(jié)點減去第一個節(jié)點得出警察響應(yīng)時間的總體估算。同時，為了收集市民的意見和評價，研究者通過電話訪談了1 200 多位最近兩周內(nèi)打過求助電話的市民，調(diào)查內(nèi)容包括市民與警察局話務(wù)員的交流、對響應(yīng)時間的評價、現(xiàn)場警察的行動以及受訪者個體特征等。然后，研究者將求助電話的數(shù)據(jù)和電話采訪的信息進行配對，總共獲得625 個個案，形成了整份研究的數(shù)據(jù)庫。

圖2 公眾知覺和評價服務(wù)機構(gòu)績效的理論框架

珀西的研究圍繞三個問題展開:（1）公眾對公共服務(wù)績效的知覺是否準確？（2 ）公眾對服務(wù)績效的知覺在多大程度上影響了他們對具體公共服務(wù)行為的評價？（3 ）公眾對特定服務(wù)行為的評價是否影響了公眾對服務(wù)機構(gòu)總體績效的評價？對于第一個問題，珀西通過比較公眾對警察響應(yīng)時間的估算和警察局記錄來檢驗。數(shù)據(jù)顯示，公眾估算的響應(yīng)時間平均值為16.6 分鐘，而警察局電腦系統(tǒng)記錄的平均響應(yīng)時間為15.5 分鐘，兩者數(shù)值上十分接近。另外，兩種測算方式的交互分類分析顯示兩者之間的相關(guān)系數(shù)達到0.44 ，這就證明了公眾能夠準確知覺警察響應(yīng)速度的實際狀況。研究者還通過多元回歸分析來檢驗公眾主觀知覺的警察響應(yīng)速度與實際響應(yīng)記錄之間的關(guān)系。結(jié)果顯示，警察響應(yīng)時間記錄自變量的標(biāo)準化回歸系數(shù)為0.37 ，遠高于其他自變量的系數(shù)值，且通過0.01 的顯著度檢驗。而包括收入、種族、教育、性別等個體特征的自變量均沒有通過顯著性檢驗。期望變量與公眾對警察響應(yīng)時間滿意度在0.01 的水平上呈正相關(guān)關(guān)系。相比較于參照組（即認為警察響應(yīng)速度與預(yù)期一致的受訪者），認為警察抵達現(xiàn)場速度比預(yù)期要快的居民所報告的警察響應(yīng)時間要少4.25 分鐘，認為警察抵達現(xiàn)場速度比預(yù)期要慢的居民所報告的警察響應(yīng)時間要多8.5 分鐘，這驗證了作者在理論框架中提出的期望變量影響公眾對客觀服務(wù)績效知覺的假設(shè)。

為了回答第二個問題，珀西將受訪者對響應(yīng)時間的知覺和期望、服務(wù)環(huán)境的特征、受訪者個體特征視作三組自變量，將公眾對響應(yīng)時間的主觀滿意度評價視作因變量，進行多元回歸分析。數(shù)據(jù)顯示，公眾報告的響應(yīng)時間和公眾主觀滿意度在1%的水平下呈負相關(guān)關(guān)系，公眾報告的響應(yīng)時間變量的回歸系數(shù)為-0.01，即在公眾知覺中警察響應(yīng)時間每增加10 分鐘，公眾主觀評價打分將降低0.1 分（5 分制），這說明公眾對警察響應(yīng)時間的主觀評價在某種程度上是基于對實際響應(yīng)時間的知覺。服務(wù)環(huán)境的特征（如社區(qū)犯罪率）對于公眾主觀評價沒有顯著影響，期望變量對主觀評價則有顯著影響?；貧w方程顯示，相比較于參照組（即回答警察響應(yīng)時間與預(yù)期一致的受訪者），認為警察響應(yīng)時間比期待要快的受訪者在對警察響應(yīng)時間的滿意度上的打分要高出將近0.5分，而認為警察響應(yīng)時間比期待要慢的受訪者在對警察響應(yīng)時間的滿意度上的打分要低1.22 分。在受訪者個體特征方面，只有年齡和態(tài)度對公眾主觀評價存在顯著性影響。由此可見，公眾對響應(yīng)時間主觀評價的變化更多的是通過知覺和期望變量得到解釋，公眾的主觀評價主要是受到其對機構(gòu)行為的知覺和期望的影響。

為了回答第三個問題，珀西將公眾對警察行為的評價、對社區(qū)犯罪情況的知覺、服務(wù)環(huán)境的特征、公眾個體特征作為自變量，將公眾對警察服務(wù)的總體滿意度作為因變量進行回歸分析。結(jié)果發(fā)現(xiàn)，對接線員響應(yīng)的滿意度、對警察響應(yīng)時間的滿意度、支持警方工作的態(tài)度三個變量與公眾對警察服務(wù)總體滿意度之間存在顯著的正相關(guān)關(guān)系，而公眾對社區(qū)犯罪情況的知覺、受訪者的受教育程度與因變量存在顯著的負相關(guān)關(guān)系。這一發(fā)現(xiàn)證明，公眾對服務(wù)機構(gòu)總體績效的主觀評價與其對特定服務(wù)行為的評價顯著相關(guān)。

根據(jù)上述數(shù)據(jù)分析的結(jié)果，珀西提出了三個重要的研究結(jié)論:（1）公眾擁有知覺服務(wù)機構(gòu)績效的能力；（2）公眾對公共服務(wù)的評價是基于他們對服務(wù)質(zhì)量的知覺作出的；（3）公眾對特定服務(wù)行為的評價影響著他們對服務(wù)機構(gòu)總體績效的評價。與之前的研究相比較，珀西的獨到之處就在于，他將知覺變量和期望變量納入分析中，并證實這兩類變量顯著地影響了公眾的總體滿意度。

四

綜上所述，盡管公眾參與政府績效評估在許多國家和地區(qū)如火如荼地開展，但現(xiàn)有文獻仍未對公眾主觀評價的效度給出一個令人信服的答案，理論與實踐中的爭執(zhí)仍將持續(xù)。首先，公眾能否準確知覺和判斷公共服務(wù)的實際績效？或者說，公眾的主觀評價與公共服務(wù)的客觀績效是否一致？其次，公眾對公共服務(wù)的主觀評價在多大程度上是基于對客觀績效的知覺？如果說公眾對公共服務(wù)的評價受到其他非服務(wù)特征的干擾，那么，評估工具的效度將大打折扣。最后，如何提高研究設(shè)計的科學(xué)性？在既有的研究中，學(xué)者們在對具體服務(wù)領(lǐng)域的選取、研究假設(shè)的操作化、統(tǒng)計工具的選擇上有很大的不同，究竟應(yīng)該如何提高研究設(shè)計的精細化和合理性是值得進一步探討的問題。

基于對上述文獻的梳理，筆者認為，今后深化公眾主觀評價效度研究的時候必須注意以下問題:

第一，政府機構(gòu)記錄的真實性問題?，F(xiàn)有文獻大多將主觀評價的效度操作化為在某項具體服務(wù)上公眾主觀評價與實際績效之間的一致性程度，其中公眾主觀評價一般是采用公眾滿意度調(diào)查獲取的數(shù)據(jù)，實際績效則是取自機構(gòu)記錄。這種研究設(shè)計中暗含的假設(shè)是，政府服務(wù)的實際績效等同于機構(gòu)記錄的績效。而事實上，由于數(shù)據(jù)本身的真實性問題，機構(gòu)記錄不一定能夠準確反映政府實際績效狀況。從這個角度看，帕克斯等人的邏輯基礎(chǔ)是不牢固的。

第二，樣本的代表性問題。在帕克斯、珀西等人的研究中，基本都是采用簡單隨機抽樣的方法獲取樣本。在分析公眾主觀評價受何種因素的影響問題上，為了提高樣本的代表性，采用分層隨機抽樣的方法更為科學(xué)合理。

第三，在客觀績效指標(biāo)的選取上必須更加慎重。斯蒂帕克和布朗等人所采用的客觀績效指標(biāo)備受質(zhì)疑，如諾森特布、哈羅和湯普森曾聯(lián)合致信美國《公共行政評論》編輯部，表達了對斯蒂帕克的研究結(jié)論的不同看法[10］。他們認為，斯蒂帕克選取的客觀指標(biāo)與公眾主觀評價之間缺乏一致性是正常的，因為該研究采用“逮捕率”、“破案率”、“嚴重犯罪率”等指標(biāo)，公眾一般不會關(guān)注這些指標(biāo)，從而導(dǎo)致了多元回歸分析中公眾主觀評價與客觀績效指標(biāo)之間的弱相關(guān)性。此外，必須區(qū)分投入指標(biāo)和產(chǎn)出指標(biāo)，多元回歸分析時采用產(chǎn)出指標(biāo)可能會更加合理。

第四，分析工具的選擇問題。在前面介紹的文獻中，學(xué)者們都是選擇簡單的多元線性回歸作為分析工具。但實際上，公眾主觀評價與公共服務(wù)客觀績效之間的關(guān)系不一定是線性關(guān)系。根據(jù)經(jīng)濟學(xué)的邊際效益遞減原理，隨著公共服務(wù)質(zhì)量的提高，其帶給服務(wù)使用者的邊際效益會逐漸下降。從這個意義上講，公眾對公共服務(wù)的主觀評價與實際績效之間很可能是一種非線性關(guān)系。如果借助非線性相關(guān)分析和非線性回歸分析，或許可以更深刻地揭示兩者之間的內(nèi)在聯(lián)系。

本文所引用的文獻全部來自美國公共行政學(xué)界的研究成果。在對公眾主觀評價效度的實證研究上，國內(nèi)學(xué)術(shù)界相對滯后，現(xiàn)有研究基本上停留在規(guī)范層面，如討論公眾參與政府績效評估的必要性和積極意義[11］，以及如何完善政府績效評估中公眾參與的機制設(shè)計[12］，等等。應(yīng)該說，這些規(guī)范研究對于弘揚公眾的主體地位、保障政府績效評估的公眾導(dǎo)向具有重大意義。但是，目前我國許多地方政府已經(jīng)開始將公眾主觀評價納入政府績效評估體系中，并產(chǎn)生了重大的現(xiàn)實影響。為促進政府績效管理實踐的科學(xué)化，我國公共行政學(xué)界應(yīng)當(dāng)積極開展公眾主觀評價效度的實證研究，與國外現(xiàn)有的研究成果進行對話，以期為公眾參與政府績效評估的實踐提供更有力的理論指導(dǎo)。

[1]Poister ，T.H.＆Streib，G.“Performance Measurement in Municipal Government :Assessing the State of the Practice”.Public Administration Review，1999 ，59（4）.

[2]Xiaohu Wang ＆Gianakis ，G.A.“Public Officials'Attitudes toward Subjective Performance Measures ”.Public Productivity ＆Management Review，1999 ，22（4）.

[3]Daneke ，G.A.＆Klobus-Edwards，P.“Survey Research for Public Administrators ”.Public Administration Review，1979 ，39（5）.

[4]Stipak，B.“Citizen Satisfaction with Urban Services :Potential Misuse as a Performance Indicator ”.Public Administration Review，1979 ，39（1）.

[5]Stipak，B.“Are There Sensible Ways to Analyze and Use Subjective Indicators of Urban Service Quality”.Social Indicators Research，1979 ，6（4）.

[6]Brown，K.＆Coulter，P.B.“Subjective and Objective Measures of Police Service Delivery”.Public Administration Review，1983 ，43（1）.

[7]Brudney，J.L.＆England，R.E.“Urban Policy Making and Subjective Service Evaluations :Are They Compatible ？”.Public Administration Review，1982 ，42（2）.

[8]Parks ，R.B.“Linking Objective and Subjective Measures of Performance ”.Public Administration Review，1984 ，44（2）.

[9]Percy，S.L.“In Defense of Citizen Evaluations as Performance Measures ”.Urban Af fairs Review，1986 ，22（1）.

[10]Rosentraub，M.S.＆Karen Harlow，Lyke Thompson.“In Defense of Surveys as a Reliable Source of Evaluation Data”.Public Administration Review，1979 ，39（3）.

[11]彭國甫、譚建員、劉佛強:《政績合法性與政府績效評估創(chuàng)新》，載《湘潭大學(xué)學(xué)報》（哲學(xué)社會科學(xué)版），2008（1）。

[12]陳振明等:《公共服務(wù)績效評價的指標(biāo)體系建構(gòu)與應(yīng)用分析》，載《理論探討》，2009（1）。