■/蘇 孜 王俊鋒

一、引言

國務院要求全國各級審計機關自2014年8月起，持續(xù)開展對地方政府及相關部門貫徹落實政策措施情況的審計監(jiān)督，揭示存在的主要問題和出現(xiàn)的新情況，深入分析問題產(chǎn)生的原因并提出建議和意見，促進政策的不斷完善和落實。從國內(nèi)政策審計目前的現(xiàn)狀來看，雖然政策措施落實審計實踐開展得如火如荼，取得了一定的成效。但是目前開展的政策落實審計主要還停留在資金、項目等活動的真實性、合法性的審計業(yè)務上，而在政策落實的績效評價方面開展的工作卻少之又少，究其原因就是缺少一整套完善的績效評價指標體系。由此可知，構建一套完善的績效評價指標體系是當前審計機關的迫切需求和工作重點。

二、文獻回顧

由于政策落實審計的研究起步較晚，尤其是政策落實審計績效評價體系的研究更是鳳毛麟角，國內(nèi)學者對政策落實審計的研究主要集中在理論與實務兩個方面：一是政策落實審計理論研究方面。陳希暉、邢祥娟（2017）認為政策落實審計是政策審計和跟蹤審計的結合，通過綜合運用經(jīng)濟、行政、法律和輿論等手段促進政策落實，重點關注政策執(zhí)行過程和執(zhí)行效果，具有事中預防、動態(tài)追蹤、綜合性強等特點。史吉乾（2016）提出用把握經(jīng)濟規(guī)律與評價政府政策干預相結合的思維、用擴展經(jīng)濟運行空間與提升市場參與主體信心相結合的基調(diào)、用改善外部環(huán)境和政策導向的方法、用精算政策加減法、用貫徹政策全周期與實行多維評估機制相結合的角度等審計方法指導相關審計實踐。蘇孜、何延平（2016）提出應以“政策——項目——資金”為主線，展開政策落實審計，明確審計內(nèi)容。同時從保持獨立性、控制審計風險，構建政策措施執(zhí)行效果和審計工作組績效評價體系，強化監(jiān)督整改落實，加強對審計工作組的思想教育等四個方面進一步完善政策落實審計。王慧（2015）在政策措施落實情況審計專題研討會中提到部分代表認為政策措施落實情況審計的目標可以分解為四個分目標：一是摸清現(xiàn)狀；二是發(fā)現(xiàn)問題；三是評價績效；四是提出建議。二是政策落實審計的實務研究方面。林中華等（2017）認為實際工作中面臨著審計范圍較窄、深度有限、組織管理不夠健全、知識儲備和人員素質(zhì)不足等困難。提出圍繞重要工作任務，聚焦政策措施落實情況跟蹤審計重點內(nèi)容，為審計工作實踐提供參考借鑒。陳英姿等（2017）從管理創(chuàng)新的原則與目標調(diào)整和管理重點兩方面探討了政策落實審計管理創(chuàng)新的途徑，對科學發(fā)展的審計管理方式進行了探索。侯全明等（2016）從形式、事實、價值三個維度對“農(nóng)村飲水安全”政策進行了研究與考量，解決了審計思維、審計管理、審計資源等與審計現(xiàn)實需求不銜接、不協(xié)調(diào)的問題。王慧（2015）提到政策措施落實情況審計的評價和定責難度較大，亟需建立相關的審計規(guī)范體系。并提出從改進審計組織方式、創(chuàng)新審計方法、完善評價機制和加強審計隊伍素質(zhì)建設方面改善審計實踐結果。

綜上已有的國內(nèi)研究可知，學者們在對政策落實審計的理論與實務研究已經(jīng)非常成熟，提供了非常堅實的理論基礎，但仍然存在一定的不足和缺憾。主要表現(xiàn)在：一是缺乏將績效審計與政策落實審計結合的研究，缺乏對政策落實審計績效評價指標體系的研究，雖有部分研究涉及到此，但也無法全面覆蓋審計全過程。二是實證研究較單一，都是針對某一具體政策進行的研究，缺乏代表性?；诖耍疚膰L試基于公共政策生命周期理論和層次分析法選取了綜合評價政策落實情況績效的指標，構建了一套績效評價指標體系，并通過實證檢驗測試了指標體系的合理性，以期對我國政策落實審計績效評價體系的研究作出貢獻。

三、基于AHP法的政策落實審計績效評價體系的構建

（一）指標選取的理論依據(jù)

政策生命周期理論也稱政策過程模型，是理解和研究公共政策的基礎架構，一般包括政策決策、政策執(zhí)行、政策評價和政策終結。其中，政策決策是起點，政策執(zhí)行與政策評價則貫穿政策落實的整個過程，政策終結則是政策落實的最終結果。公共政策生命周期理論認為，在政策執(zhí)行過程中，需要將政策執(zhí)行的效果和政策客體的反應及時向政策主體作出反饋，并及時對政策進行修正和優(yōu)化，使政策能夠更好適應政策環(huán)境的變化，延長政策的生命周期。

層次分析法（簡稱AHP）利用分解的思想，將決策問題層次化，包括目標層、準則層和方案層，然后利用判斷矩陣計算出各指標的權重。本文之所以采用AHP法是因為政策落實審計內(nèi)容比較復雜，影響因素多，層次分析法能將復雜的指標劃分為幾個有序的層次，能使指標更加全面；而且，層次分析法可將定性指標量化，能保證評價結果更加公正、明確。

（二）指標體系的構建

本文將指標體系分成了目標層、準則層和方案層，基于“政策制定—政策執(zhí)行——政策監(jiān)控——政策效果”這一流程構建了政策落實審計績效評價指標體系。目標層為“政策落實審計績效評價”，準則層設置了“政策制定”、“政策實施”、“政策監(jiān)控”和“政策效果”四個一級指標。最后，從定性和定量兩方面構建了為實現(xiàn)各準則層要素目標的二級指標（即方案層）。本文選取了如下18個指標（見表1）：

1.政策制定層面?！罢吣繕恕敝笜撕饬康氖且鞔_制定該項政策所要達到的目標，要實現(xiàn)什么樣的效果，所有的制定程序都是圍繞政策目標展開的，是制定一項政策的基礎。“科學性”指標是指一項政策是否能夠達到預期的效果，取決于該項政策的制定是否科學有效，是否可行?！绊椖繑?shù)”指標評價的是一項政策所帶來的項目數(shù)，項目數(shù)越多，很顯然能達到的目標就越多，覆蓋面越寬，能達到更好的效果。“項目預算比”指標是由政策總預算與政策所涵蓋項目數(shù)之比計算出的，可以用以科學的判斷該項政策的經(jīng)濟性與否，幫助制定者決定在某些方面是否作出修整。

2.政策執(zhí)行層面。“單位政策項目比例”是指審計機關和審計人員要了解各地區(qū)各部門在貫徹執(zhí)行每項政策措施時某一項目所占有的單位比例，這一比例越低，說明完成該項目所需的單位越少，也即說明政策執(zhí)行人員的效率越高?！罢邎?zhí)行流程完善程度”是指審計人員要了解從中央到地方以及地方各地區(qū)各部門在政策貫徹執(zhí)行時所制定使用工作方案和流程?！百Y金使用效率”指標是指政策項目資金在各地區(qū)各部門之間的流轉(zhuǎn)和使用，本文是通過總預算扣除閑置資金后在總預算中的占比來測度的?！皪徫回熑瓮晟瞥潭取笔侵笇徲嬋藛T要關注政策執(zhí)行過程中各部門負責不同工作流程的工作人員之間是否形成相互監(jiān)督，是否能夠協(xié)調(diào)一致，有否溝通銜接不暢的情況，每個部門每個流程工作人員是否清楚自己的工作內(nèi)容和責任義務?！罢匍_政策會議次數(shù)”指標考察的是項目單位在政策執(zhí)行過程中各級政府或部門主導的政策相關會議次數(shù)，包括政策執(zhí)行管理人員對政策進程及資金用途等的匯報工作，尤其是政策執(zhí)行中重大問題的專題會議。

3.政策監(jiān)控層面。首先，在這一階段，審計機關人員重點關注的是政策執(zhí)行過程中出現(xiàn)的問題?！皽箜椖勘壤笔侵冈谡叽胧┑膱?zhí)行到政策落實完成的進程中存在的項目滯后數(shù)目與總項目數(shù)之比，主要反映的是落實政策的時間維度，體現(xiàn)的是各地區(qū)和各部門貫徹落實政策措施的力度和速度，用以評價政策的執(zhí)行效率。其次，“問責人數(shù)比例”是指審計人員要記錄政策執(zhí)行人員在執(zhí)行政策流程中出現(xiàn)的問題，包括資金挪用、任務分配不合理、管理混亂不規(guī)范、資金浪費、工作中越權越責和不認真履行工作職責等，記錄管理者對相關責任人的處理結果。再次，“資金審核滯后比例”指標主要考察的是政策執(zhí)行中具體流程所使用的資金與流程預算金額相比重大的部分，以及資金管理者對資金的審批和管理制度，確保政策的執(zhí)行的經(jīng)濟性。最后，“地方制定的政策相關文件數(shù)”指標主要反映的是地方政府部門在政策執(zhí)行中發(fā)布的相關的政策實施辦法及規(guī)定條例等，可以為管理者在監(jiān)控政策執(zhí)行過程中的行為提供標準，也有助于審計人員藉此評價政策的執(zhí)行情況。

4.政策效果層面?！皩徲媶栴}整改比例”在一定程度上反映了政策投入的效果性，對發(fā)現(xiàn)的問題及時落實整改，不僅能提高政策的完成效率，更能改善項目所能達到的效果?！稗r(nóng)村居民人均純收入”、“城鎮(zhèn)居民人均可支配收入”兩個指標主要考察的是政策的實施達到的最直接的效果，反映了政策的實施給地方帶來的經(jīng)濟效益，很顯然該指標屬于正向指標，結果越大越好。而“公民滿意度”是以政策受眾群體為出發(fā)點，通過調(diào)查問卷的方式，評價政策在達到了預期的效果的基礎上是否體現(xiàn)了公平性，使每一個受眾群體都收到了政策帶來的效果。此外，“地區(qū)環(huán)保支出比例”也是一項重要的指標，該指標是由環(huán)保支出占預算支出的比例計算得出的，主要考察的是5E績效審計中“環(huán)保性”這一項。

表1 政策落實審計績效評價指標體系

四、權重的確定和綜合績效的測度

（一）權重的確定

本文采用層次分析法確定各評價指標的權重，通過構建兩兩比較判斷矩陣，對同一層次的指標進行兩兩比較，再采用規(guī)范列平均法計算出權向量，然后進行一致性檢驗，最后計算得到各指標的權重。

1.建立判斷矩陣

相對重要性標度：aij表示第i個指標與第j個指標的重要性之比，同樣地，第j指標與第i個指標的重要性之比就是，則稱為兩兩比較矩陣。設W=w1，…，wn，同時，，為權向量。本文采用的是Saaty等人提出的1—9尺度判斷法（aij取值1，2，…，9）。如表2所示：

表2 相對重要性標度

2.專家對各層指標打分

判斷矩陣是AHP的基本信息，是以上一層的某要素作為評價準則，對本級的要素進行兩兩比較來確定矩陣元素的。本次評價采用層次分析法，經(jīng)過3輪專家討論，對指標體系構造的各級判斷矩陣如下（本文僅列示指標A的判斷矩陣）：

表3 指標A的判斷矩陣

表5 指標B2的判斷矩陣

表6 指標B3的判斷矩陣

表7 指標B4的判斷矩陣

3.計算權向量（規(guī)范列平均法）

現(xiàn)使用規(guī)范列平均法對專家給出的表3-表7的判斷矩陣求出權重列向量。方法如下（以總指標A為例）：

（1）求出指標A判斷矩陣各二級指標（B1，B2等）每一列的總和，如表8所示。

表8 指標A判斷矩陣的列總和

（2）把指標A判斷矩陣內(nèi)的每一元素除以其相對應列的總和，所得矩陣為標準兩兩比較矩陣，如表9所示。

表9 指標A標準兩兩比較矩陣

（3）計算標準兩兩比較矩陣（即表9）的每一行的平均值，這些平均值就是各二級指標（B1，B2等）的權重，如表10所示。

表10 指標A標準兩兩比較矩陣行均值（指標B的權重）

由此可得，判斷矩陣A的標準特征向量（即指標B的權向量）為：

wA=（0.072，0.293，0.115，0.520）T。同樣地可以計算出判斷矩陣B1，B2，B3，B4相應的權向量：

wB1=（0.165，0.108，0.255，0.472）T，wB2=（0.304，0.166，0.396，0.083,0.051）T，wB3=（0.245，0.147，0.502，0.106）T，wB4=（0.122，0.242，0.398，0.079）T。

4.一致性檢驗

判斷矩陣不可能具有完全一致性，而一致性檢驗探討的是存在多大的不一致才不會影響評價結果。檢驗判斷矩陣的一致性指標是：CI的值越大，判斷矩陣的一致性越差。一般認為，只要CI≤0.1即認為判斷矩陣的一致性是可接受的。本文采用的計算一致性的步驟如下（以指標A判斷矩陣為例）：

（1）用指標A的判斷矩陣乘以其對應的特征向量（即權向量）WA，得到賦權和向量。即：

A（具體計算過程這里不做詳細列式）

（2）用每個賦權和向量的分量除以對應權向量（WA）的分量，并將所得的結果求平均值。

該均值即為λmax，本例中均值為：

因此，判斷矩陣A計算所得的權向量通過了一致性檢驗，所得的權重是可接受的。同樣地，對其他各判斷矩陣B1，B2，B3，B4進行一致性檢驗，得出的結果分別為：0.02、0.032、0.052、0.025，都小于0.1，這表明，其他判斷矩陣也通過了一致性檢驗，所得的權重也都是可接受的。

表11 標準后的C層指標權重

5.方案層（C指標）權重的計算

C指標層權重的計算結果如表11所示：

本次關于政策落實審計績效評價指標體系的構建完成，從表11可以看出，B指標層權重中，依次為：B4政策效果、B2政策執(zhí)行、B3政策監(jiān)控和B1政策制定。而在C指標層的權重中，資金使用效率C7、農(nóng)村居民人均純收入C15、城鎮(zhèn)居民人均可支配收入C16三個指標占到比較大的權重，均超過了0.1。

（二）綜合績效的測度

在進行政策落實審計績效的綜合評價時，由于指標體系中的每一個指標都是從某個角度對績效進行評價，各不同的指標帶有計量單位，為了使得評價結果具有可比性，就必須對原始數(shù)據(jù)進行無量綱化處理。本文采用“功能系數(shù)法”消除不同量綱的影響并計算指標分值。計算公式為：正向指標：一項指標的單項得分=60+（該指標實際值－該指標最小值）/（該指標最大值－該指標最小值）×40；負向指標：一項指標的單項得分=60+（該指標最大值－該指標實際值）/（該指標最大值－該指標最小值）×40；經(jīng)過處理的標準化指標分值居于60到100之間計算績效評價的綜合得分，通過將各指標單項的分乘以各項指標的權重，加總即可得出政策落實審計績效評價的綜合得分。

顯然，綜合績效的得分越高，說明政策的貫徹落實情況越好。根據(jù)綜合得分的判斷標準，當綜合得分達到為90到100時，績效評價為優(yōu)；當綜合得分達到80到90時，績效評價為良；當綜合得分達到70到80時，績效評價為中；當綜合得分達到60到70時，績效評價為合格。

表12 XX省2014至2016年度重大政策落實情況相關數(shù)據(jù)

五、評價指標體系的應用分析

（一）數(shù)據(jù)來源

本文的數(shù)據(jù)是XX省2014至2016年度重大政策落實情況相關的數(shù)據(jù)，主要來源于XX統(tǒng)計局、XX省政務網(wǎng)、XX省政府官網(wǎng)以及XX省審計廳網(wǎng)站上公開發(fā)布的一些數(shù)據(jù)，選取了各評價指標所需要的相關數(shù)據(jù)，并對XX省2014-2016年度重大政策落實情況進行實證分析和評價（參見表12）。

（二）數(shù)據(jù)計算

根據(jù)表12的相關數(shù)據(jù)和相關計算公式，采用“功能系數(shù)法”計算得出各指標各年度的無量綱化值（即標準值），并將各指標權重與其相對應的標準值相乘得到加權得分值（參見表13）：

表13 XX省2014至2016年度重大政策落實情況績效綜合得分表

（三）數(shù)據(jù)分析

根據(jù)表13的計算結果，總體看來：XX省重大政策落實情況績效水平逐年穩(wěn)步提升，從2014年的61.92增加到了2016年的98.88，達到了非常高的水平，說明了XX省有效地履行了貫徹落實國家重大政策措施的職責，取得了不錯的效果。

從政策制定層面來看，項目預算比逐年小幅度下降，績效得分逐年增加，說明XX省的預算控制制度逐年完善，預算管理水平不斷提高。另外，項目數(shù)也逐年增加，這也說明了在貫徹落實重大政策措施方面更加重視，能達到更好地政策效果，使更多的人受惠，體現(xiàn)了我國公平性的原則。

從政策執(zhí)行層面看，總體上B2的績效得分增加幅度很大，說明XX省政府及各部門在執(zhí)行政策落實的效率和效果等方面取得了很大的進步。具體的看，單位政策項目比從2014年的1.19下降到2016年的0.59，而相應的績效得分則增加到8.9，將近增加了一倍。這說明了XX省各單位在執(zhí)行政策貫徹落實的過程中工作效率大大的提高，側(cè)面也就降低了政策執(zhí)行的成本，達到了經(jīng)濟性和效率性的結果。此外，流程和崗位責任制度的完善程度、資金使用率及召開政策會議次數(shù)四個指標的得分也是逐年增加，說明了XX省政策執(zhí)行單位各項制度更加完善，在控制了成本，保證了效率的基礎上，大大提高了政策落實的效果。

從政策監(jiān)控層面來看，除了問責人數(shù)比例的績效得分下降逐年下降之外，其他三項評價指標的績效得分都在平穩(wěn)上升。從表12可知，問責人數(shù)的比例逐年增加，這說明了XX省政府在問責制度上更加嚴格，一方面是為了反腐倡廉，另一方面也是為了提高政策執(zhí)行的效率，保證政策執(zhí)行的效果。從另外三個指標可知，XX省在推進政策項目實施方面取得了很大的進步，確保了每一個項目和每一分錢落實到位，保證了政策落實的效率性和經(jīng)濟性。

從政策效果層面上看，B4的績效得分從2014年的31.20增加到2016年的52.00，這說明XX省很好的完成了政策的落實，達到了顯著的效果。具體來看，審計問題整改比例這一指標，反映了XX省政府及相關部門對政策落實過程中發(fā)現(xiàn)的問題認真對待，及時整改，保證了政策的貫徹落實，提高了政策效果。此外，XX省農(nóng)村居民人均純收入和城鎮(zhèn)居民人均可支配收入都有所增加，相應的績效得分逐年增加，表明了中央政策效果顯著。另外，從公民滿意度和環(huán)保支出比例這兩個指標的績效得分來看，反映了XX省人民對政府在貫徹落實政策的過程中所體現(xiàn)出來的公平性和環(huán)保性還是非常滿意的。

六、研究結論

本文基于公共政策生命周期理論對指標層確定了4個一級指標，并根據(jù)結合層次分析法建立了18個二級指標，對每一項指標的確定都進行了詳細的論述。然后通過德爾菲法得出各指標的相對重要度，建立了判斷矩陣，計算出各判斷矩陣的最大特征根，得出了各指標的權重，并進行了一致性檢驗，計算出指標體系中各指標的綜合權重，建立了完整的評價指標體系。最后，以XX省2014年至2016年重大政策落實績效報告數(shù)據(jù)為例進行實證分析，結果表明，XX省重大政策落實情況綜合績效穩(wěn)中向好，呈現(xiàn)逐年提高之勢。

本文只是在評價體系的構建指標的選取上做了一些嘗試，構建的政策落實審計績效評價指標體系只是為政策落實審計績效評價體系研究提供了一套研究思路，由于在指標的選取方面存在欠缺，并且缺少更多實踐數(shù)據(jù)進行檢驗，因此還需要在實踐的基礎上不斷完善該評價指標體系，才能為有效評價政策落實審計績效發(fā)揮更好的作用。