●張 弛 劉 敏

社會調查在績效評價中的作用及應用

●張 弛 劉 敏

績效評價的本質是回答公共履責的程度問題。由于公共資金來源于納稅人，納稅人的權益保障是“顧客導向”的法理依據，也是績效評價的根本追求。無論以哪種形式、哪個主體開展績效評價，都是為了厘清政府、部門、社會之間的關系，最終是要回答納稅人為什么要委托政府管理、為什么要讓政府花錢、政府花錢都做了什么等問題。因此，“顧客導向”原則要求一方面回答評價為誰服務的問題，另一方面評價也需要顧客的參與。

顧客參與績效評價，最主要的方法就是開展社會調查，通過問卷、訪談等方式，直接獲取顧客對公共資金的意見和建議，搜集評價指標的數據，衡量滿意度，為進一步開展績效分析和提煉績效結論提供基礎數據?？梢哉f，社會調查是績效評價獲取數據的重要方法，是對績效評價結論的有力支撐，更是財政資金為顧客服務的本質需要。但反觀國內績效評價的開展現狀，普遍存在著對社會調查重視程度不高、抽樣不科學以及問卷設計質量低下等問題，嚴重影響了績效評價結論的科學性。在此背景下，本文將通過講解社會調查在績效評價中的作用及實施方法，并對其應用案例進行具體解讀，以期能夠提高績效評價社會調查的質量。

一、社會調查在績效評價中的作用

社會調查是綜合運用歷史研究和觀察研究的方法，對社會現象進行有計劃、周密、系統的了解，并對搜集的資料進行分析、綜合、比較、歸納，借以發(fā)現存在的社會問題，探索有關規(guī)律。通常來講，社會調查在績效評價中的作用是數據支持，使績效評價結果具有較高的可信度。這種支持主要體現在一些反應受益群體的變化與感受的指標上，由于無客觀統計數據可用，需要采用社會調查等手段進行。然而，在績效評價的不同階段，社會調查所獲取信息的側重點有所不同，發(fā)揮的作用也有一些具體的差別。具體來說，事前評價主要回答財政支出計劃為誰、怎么提供以及提供多少公共服務等問題；事中評價和事后評價則主要回答實際上公共服務提供的好壞、能否滿足或者在多大程度上滿足公共需要等問題。

事前評價階段，社會調查的作用在于輔助考察預算項目的可行性、合理性。事前評價是針對項目立項管理的評價，重點考核預算和績效目標的合理性及項目實施可行性。這一階段開展社會調查的主要目的是為了在項目實施前了解項目實施方以及受益人對該項目實施的態(tài)度，特別是民生類項目，這些態(tài)度反映了服務對象的訴求，據此為項目績效目標的可行性、合理性等提供判斷依據。例如一些政策補貼項目，在事前評價時通過社會調查來了解民眾對項目實施的一些意見建議，從而選擇發(fā)放補貼的合理方式，即是出于績效目標可行性的考量。

事中評價階段，社會調查的作用在于輔助考察項目完成的可能性，并提出工作改進的建議。事中評價是針對項目按時完成或達到預期目標可能性的評價，其時間節(jié)點是項目正在進行、尚未完成的時期。這一階段社會調查主要關注實施方和受益人對項目實施階段的意見和態(tài)度，通過這一調查結果結合項目實際執(zhí)行情況來綜合判斷是否能夠按時完成，以便及時糾偏；同時反映項目實施中的不足，以便在后續(xù)工作中進行改進。

事后評價階段，社會調查的作用在于評判項目的效果以及為提出相關政策建議提供參考。事后評價是針對整個項目的綜合績效評價，其時間節(jié)點是在項目已經實施完畢之后。作為公共資金項目，尤其是民生類項目，受益群體滿意度是評判績效的重要因素，因此，這一階段的部分效果需通過對受益人的社會調查來實現，調查更偏重于滿意度調查、項目相關效果調查等。

以上分析表明，社會調查在績效評價的不同階段一般都會調查受益人的態(tài)度，不同的是，關注點有所不同，獲取相應信息之后的用途也不一樣，但無論哪種情況，都需要社會調查所獲得的信息進行支撐。

二、社會調查實施的要點

在社會調查過程中，有以下內容應引起特別關注：

（一）社會調查開展的方法選取

社會調查的實施方法通常有訪談和問卷調查，其中問卷調查是社會調查的最主要方法，問卷調查通過獲取受訪者的基本數據及滿意度，為下一步的指標評分和績效分析提供基礎，而訪談通過與各利益相關方面對面的交流，使調查者更快更好地了解項目的立項背景、依據，項目開展的客觀情況等，從而更準確地開展績效評價。

問卷調查法的優(yōu)點在于它能突破時空限制，在廣闊的范圍內對眾多調查對象同時進行調查，其獲取的數據也便于對調查結果進行定量研究，同時也具有匿名性。不足之處在于：一是只能獲取書面的社會信息，難以了解到生動、具體的社會情況；二是由于問題設置的固定性，難以做深入的定性調查；三是可能會存在受訪者敷衍、隨意作答或者受從眾心理影響而導致失真的情況。因此，在定量研究中通常采用問卷調查法。

訪談法的優(yōu)點在于，在研究比較復雜的問題時，由于需要向不同類型的人群了解不同類型的信息，這種方法相對合適。其區(qū)別于問卷法的主要特點在于，整個訪問過程中，訪問者和受訪者相互影響、相互作用，是一個雙向的傳導過程，即一方面訪問者通過詢問等方式作用于受訪者，另一方面受訪者通過回答等方式反作用于訪問者。因此，在需要通過互動的模式了解信息的定性研究中通常采用訪談法。

（二）抽樣方法的選取與樣本量的確定

抽樣方法是一種科學完善的統計調查方法，科學的抽樣能夠以較低的成本獲取相對有效的數據，進而為下一步通過樣本估計總體特征提供充分依據。主要包括概率抽樣和非概率抽樣，非概率抽樣根據研究者的主觀意向進行抽樣，存在客觀性不足問題，一般較少采用；概率抽樣能夠保證各樣本點的等概率性，是社會調查抽樣方法的首選，常見的概率抽樣方法包括簡單隨機抽樣、系統抽樣、分層抽樣、整群抽樣。簡單隨機抽樣主要適用于調查對象情況不明、難以分類，或總體單位之間特性差異程度較小時；分層抽樣主要適用于總體中的個體有明顯差異時；整群抽樣主要適用于總體的分群有較好的代表性，即群內各單位的差異較大，群間差異較小時；系統抽樣則主要適用于樣本量較大的情況。對于樣本量的確定，以簡單隨機抽樣來說，在總體滿足正態(tài)分布的情況下，其樣本量和抽樣誤差有以下關系：

其中ε表示抽樣誤差，q(1+α)/2表示置信水平為α時標準正態(tài)分布的(1+α)/ 2分位數，σ表示總體的標準差，n表示樣本量。可以看出，如果需要控制抽樣誤差在一定范圍之內，則樣本量n需要大于一個特定的值。由于誤差只按照樣本量的平方根遞減，因此，抽樣時樣本量并非越大越好，通常會受到經濟條件的制約。另外，在實際實施中，由于總體的標準差通常難以確定，一般采用成數方差來近似計算總體的標準差，即σ≈其中，p是成數，表示總體中具有同一類型的性質的單位占總體的比例。

（三）問卷題目的設計必須通過信度和效度檢驗

信度（Reliability）是指測量結果的一致性、穩(wěn)定性及可靠性，一般運用克朗巴哈信度系數法（Cronbachα）進行測量，其計算公式為：

其中K表示問卷中問題的數目，σi2為第i個問題得分的方差，σT2為總得分的方差。通常情況下，信度系數超過0.7被認為是問卷擁有相當的信度，信度系數不高于0.7認為信度不足。在進行社會調查時，信度需保證在0.7以上，否則該社會調查不能反映實際情況，結果不具有可信性。

效度（Validity）用于評價量表的準確度、有效性和正確性，即檢驗問卷是否能簡潔、準確地描述抽樣數據的屬性和特征以及它們之間的復雜關系。在社會調查中，通常運用相關系數來估算滿意度問題的信度。其計算公式為：

三、社會調查結果的應用分析

在社會調查之后，通常還需要對社會調查獲取的原始數據進行處理并應用于績效評價，如受訪者滿意度的計算、相關評價指標的評分，以及績效分析等，最終根據數據反映的情況形成績效評價結論。下面利用一個社會調查案例闡釋在事后評價中如何進行社會調查、獲取數據，以及調查結果如何對評價結論進行支撐。案例背景如下：

為進一步做好城鄉(xiāng)統籌就業(yè)工作，A市人民政府擬通過一系列優(yōu)惠政策來強化就業(yè)服務與管理，努力實現全市城鄉(xiāng)充分就業(yè)。為此，A市共開展了38個促進就業(yè)類項目，共同促進就業(yè)困難人員就業(yè)，現對這38個項目進行績效評價。評價指標包括項目決策類、項目管理類、項目產出類和項目效果類指標。該項目屬民生類項目，受益人群的態(tài)度是項目實施效果的一個重要反映，在進行效果類指標評分以及績效分析時需要社會調查數據的支撐。

第一步，選擇社會調查項目。根據項目的類型或目的，排除不適合做社會調查的項目共16項，如為了提高A市人社局促進就業(yè)工作效率的就業(yè)平臺建設項目，其目的是建成電子化平臺，尚無直接受益對象。其次，選取22個項目中的3個項目進行具體說明，分別為工資或社保補貼項目、就業(yè)培訓項目、創(chuàng)業(yè)扶持及補貼項目，這3個項目分別代表了所有項目中的補貼類、培訓類和促進創(chuàng)業(yè)類，對于促進就業(yè)資金具有較好的代表性。

第二步，確定社會調查考察的內容。根據項目特點確定各項目的效果類指標考察點，包括：就業(yè)困難群體就業(yè)率、就業(yè)質量、服務對象滿意度、城鎮(zhèn)新增就業(yè)人數變化率、家庭生活水平改善情況、群眾性事件發(fā)生數等，依據項目不同所考察的效果指標也不同。其中，部分指標的數據可直接獲取，如城鎮(zhèn)新增就業(yè)人數變化率、就業(yè)困難群體就業(yè)率等，可通過A市人社局的年度工作報告中獲取數據；但部分指標體現的是受益群體的變化與感受，無現成數據可取，如就業(yè)質量、家庭生活水平改善情況等指標，在此情況下，就需要進行社會調查。確定了需調研的指標后，下一步即針對不同指標設置相應的問卷問題，如就業(yè)培訓項目中的就業(yè)質量指標考慮從工資水平等方面進行。社會調查涉及的指標及相應問題匯總見表1。

表1 社會調查指標表

第三步，實施社會調查。首先，確定社會調查抽樣方式，總體框架根據A市人社局提供的人員花名冊確定，由于總體中的個體不具有明顯差異或固定特征，不適合分層抽樣或整群抽樣，同時考慮到實施的可行性和便利性，選擇簡單隨機抽樣作為本案例的抽樣方式，即將這8萬份名單按順序進行編號，并采用隨機函數生成隨機數，并抽取相應編號。其次，確定樣本量，根據前述公式，本案例將抽樣誤差控制在3%以內，置信度95%的抽樣臨界值為1.96，由于總體信息量不足，標準差及成數方差難以計算，在成數方差最大值1/4時可計算出本案例所需的樣本量最小值為1100，從經濟性角度考慮，以1100作為本項目的樣本量。最后，考慮到被調查者的分散性和實施的可行性，調查方式采用電話調查。

第四步，根據社會調查的結果進行信度效度檢驗，并進一步得出績效評價結論。調查結果與問卷的信度效度見表2。

表2 信度效度表

從上述信度效度表中可以看出，各問卷的信度均在0.7以上，表明結果具有相當的可信度；各問題的效度也普遍介于0.5到0.9之間，除了個別低于0.6，表明問卷的問題設置整體較為科學合理，與調查需求具有較強關聯性。其中，創(chuàng)業(yè)扶持及補貼項目考察的勞動技能提升度和工資待遇兩項因素并非創(chuàng)業(yè)人員所關注的核心，扶持資金的設立也不是為了針對這兩方面進行提升，偏低的效度實際上驗證了這兩個問題與總體滿意度的相關性較小，因此，在進行創(chuàng)業(yè)扶持及補貼調研結果分析時應刪去不予考慮，詳見表3。

表3 調查結果表

從調查結果表可以看出，總體來講，該項目的實施效果較好，就業(yè)困難人員的就業(yè)質量良好，同時并未發(fā)生群體性不良事件，滿意度較高。其中，工資或社保補貼項目屬于社會維穩(wěn)類型，受益人群的滿意度相對其他項目較低；但同時考慮到為了避免民眾過度依靠社保而不思進取的情況發(fā)生，不宜采用提高社保補貼標準的方式進行，而應當在補貼發(fā)放過程中提高政府工作效率，縮短申請流程，提高工作態(tài)度等。創(chuàng)業(yè)扶持及補貼項目，根據受益人對“對創(chuàng)業(yè)是否有幫助”的反饋，達到了其目的；但該項目的社保繳納率較低，不利于創(chuàng)業(yè)人群今后生活的穩(wěn)定，可以考慮出臺相關配套政策，針對創(chuàng)業(yè)并繳納社保的人群給予額外補助。

通過上述調查結果的分析，得出事后評價的結論，并根據該結論對預算單位提出相應的改進建議。這種方式反映了受益者的訴求并將其納入評價體系，體現了社會調查數據對績效評價結論的支撐作用?！?/p>

（作者單位：上海聞政管理咨詢有限公司）