霍哲珺，賈 佳

（上海市質(zhì)量和標(biāo)準(zhǔn)化研究院，上海 200031）

1 研究背景

質(zhì)量是上海的生命，為全力打造具有國際競爭力的質(zhì)量高地，自2016年起上海已連續(xù)五年開展上海市政府質(zhì)量工作社會(huì)公眾滿意度調(diào)查。根據(jù)近年來海量調(diào)查數(shù)據(jù)，本市政府質(zhì)量工作社會(huì)公眾滿意度總體呈上升趨勢。2019年，習(xí)近平總書記對(duì)上海提出了“人民城市人民建，人民城市為人民”的重要理念。2020年8月，本市最新發(fā)布的《上海市質(zhì)量提升三年行動(dòng)計(jì)劃（2021-2023年）》文件明確指出要不斷提高人民群眾質(zhì)量獲得感和滿意度。因此，亟需基于現(xiàn)有研究，結(jié)合上海質(zhì)量工作總體布局和發(fā)展定位，從更深層次、更多維度的角度優(yōu)化現(xiàn)有評(píng)價(jià)方法。通過評(píng)價(jià)方法的優(yōu)化，提高評(píng)價(jià)結(jié)果的客觀性、科學(xué)性和準(zhǔn)確性，進(jìn)而幫助相關(guān)政府部門找準(zhǔn)切入點(diǎn)、找到著力點(diǎn)，通過精準(zhǔn)施策，不斷提高本市社會(huì)公眾對(duì)政府質(zhì)量工作的整體滿意度。

2 具體研究過程

2.1 技術(shù)路線設(shè)計(jì)

本研究旨在通過引入科學(xué)適用的大數(shù)據(jù)技術(shù)，采用PDCA循環(huán)模式，遵循理論與實(shí)踐相互交錯(cuò)螺旋上升的總體路徑，對(duì)現(xiàn)有政府質(zhì)量工作社會(huì)公眾滿意度評(píng)價(jià)方法進(jìn)行優(yōu)化，設(shè)計(jì)并提出政府質(zhì)量工作社會(huì)公眾滿意度評(píng)價(jià)方法優(yōu)化技術(shù)路線（見圖1）。

圖1 政府質(zhì)量工作社會(huì)公眾滿意度評(píng)價(jià)方法優(yōu)化技術(shù)路線

2.2 國內(nèi)外理論研究

根據(jù)技術(shù)路線圖的設(shè)計(jì)，在進(jìn)行評(píng)價(jià)模型建立前需對(duì)國內(nèi)外比較經(jīng)典和成熟的顧客滿意度評(píng)價(jià)模型進(jìn)行全面梳理，通過系統(tǒng)研究和比較分析，確定出適用于上海質(zhì)量工作實(shí)際的社會(huì)公眾滿意度評(píng)價(jià)模型。據(jù)文獻(xiàn)資料顯示，目前比較經(jīng)典和熟知的滿意度評(píng)價(jià)模型包括美國的SERVQUAL模型和ACSI模型、瑞典的SCSB模型、歐洲的ECSI模型以及我國的CCSI模型：

美國SERVQUAL模型主要注重的是服務(wù)質(zhì)量取決于顧客所感知的服務(wù)水平與顧客所期望的服務(wù)水平之間的差別程度。

美國ACSI模型是在SCSB模型的基礎(chǔ)上創(chuàng)建的，與SCSB模型相比，ACSI模型主要?jiǎng)?chuàng)新之處在于增加了“感知質(zhì)量”一個(gè)潛在變量，即考慮質(zhì)量評(píng)判因素，也考慮價(jià)格因素。

瑞典SCSB模型是全球首個(gè)顧客滿意度指數(shù)模型，設(shè)置了兩個(gè)前導(dǎo)變量和兩個(gè)結(jié)果變量。

歐洲ECSI模型和我國CCSI模型均是在美國ACSI模型的基礎(chǔ)上演變而成的。

在上述五大模型中，SERVQUAL模型和ACSI模型是目前最為常用的兩種滿意度評(píng)價(jià)模型。SERVQUAL模型提出比較早，主要用來考量顧客期望與現(xiàn)實(shí)之間的差值。而ACSI模型運(yùn)用范圍和規(guī)模都比較廣，主要對(duì)顧客感知進(jìn)行考察，其測量結(jié)果便于理解。本研究旨在考察本市政府質(zhì)量工作的具體成效，得出社會(huì)公眾對(duì)本市質(zhì)量工作的真實(shí)需要和感受，故決定借鑒ACSI模型進(jìn)行本項(xiàng)目的模型設(shè)計(jì)。但與美國ACSI模型相比，本研究將“感知價(jià)值”因素從模型中去除。本研究沒有完全采用ACSI模型的主要原因是ACSI模型中的“感知價(jià)值”偏重于價(jià)格因素方面的評(píng)判，而政府質(zhì)量政務(wù)服務(wù)和工作具有公益性，不以盈利為目的，因此不宜將“感知價(jià)值”加入本研究模型。

2.3 評(píng)價(jià)模型探索

在模型建立之初，首先應(yīng)找出社會(huì)公眾和政府之間的接觸面（見圖2），再在確定接觸面的基礎(chǔ)上找出形成公眾期望與公眾感知差距的原因，最終確定適合本市政府質(zhì)量工作顧客滿意度評(píng)價(jià)的模型。

圖2 社會(huì)公眾與政府的接觸面

目前國內(nèi)外比較經(jīng)典和熟知的滿意度評(píng)價(jià)模型包括美國的SERVQUAL模型和ACSI模型、瑞典的SCSB模型、歐洲的ECSI模型以及我國的CCSI模型。通過對(duì)各類滿意度模型進(jìn)行整體比較，在兼顧本市社會(huì)公眾和政府質(zhì)量工作之間接觸面的基礎(chǔ)上，結(jié)合本市連續(xù)多年來開展區(qū)政府質(zhì)量工作考核的實(shí)際情況，根據(jù)近年來國家層面發(fā)布的政府質(zhì)量工作社會(huì)公眾滿意度調(diào)查方案的具體要求，探索性地建立了適用于本市政府質(zhì)量工作社會(huì)公眾滿意度測評(píng)的評(píng)價(jià)模型（見圖3）。

圖3 上海政府質(zhì)量工作社會(huì)公眾滿意度評(píng)價(jià)模型

2.4 評(píng)價(jià)指標(biāo)體系構(gòu)建

眾所周知，在滿意度測評(píng)過程中，指標(biāo)過多或過少都不利于測評(píng)的具體實(shí)施和開展。為更加科學(xué)、精準(zhǔn)地透過民意掌握本市政府在產(chǎn)品質(zhì)量、工程質(zhì)量、服務(wù)質(zhì)量、環(huán)境質(zhì)量等方面的成效和不足，促進(jìn)區(qū)域政府改進(jìn)質(zhì)量工作，應(yīng)在指標(biāo)遴選的過程中遵循以下原則：

系統(tǒng)性原則。由于政府質(zhì)量工作社會(huì)公眾滿意度評(píng)價(jià)的主要用途是佐證本市政府質(zhì)量工作考核的結(jié)果，促進(jìn)區(qū)域政府改進(jìn)質(zhì)量工作，因此指標(biāo)體系的設(shè)置應(yīng)在兼顧科學(xué)性和可操作性原則的基礎(chǔ)上，應(yīng)盡可能地將考核工作的各主要方面都納入其中，力求從不同側(cè)面做出全面評(píng)價(jià)。

科學(xué)性原則。為確保獲取評(píng)價(jià)數(shù)據(jù)的可靠與真實(shí)，指標(biāo)的設(shè)置和篩選應(yīng)盡可能的科學(xué)。指標(biāo)在設(shè)置的過程中應(yīng)避免出現(xiàn)交叉重復(fù)的設(shè)計(jì)誤區(qū)，防止數(shù)據(jù)測算的時(shí)候出現(xiàn)重復(fù)統(tǒng)計(jì)和計(jì)算的情況。

可操作性原則?？刹僮餍栽瓌t是評(píng)價(jià)指標(biāo)體系是否適用的準(zhǔn)繩，指標(biāo)在設(shè)計(jì)的過程中應(yīng)確保數(shù)據(jù)可以直接被獲取，從而保障指標(biāo)的可度量性和可測量性。

定性與定量綜合評(píng)價(jià)原則。評(píng)價(jià)指標(biāo)體系應(yīng)從定量和定性兩個(gè)維度來衡量與設(shè)計(jì)。換而言之在定性分析的基礎(chǔ)上，還要進(jìn)行量化處理。通過量化，較為準(zhǔn)確地反映本市質(zhì)量工作的真實(shí)成效。

基于以上指標(biāo)遴選原則，結(jié)合國家和本市關(guān)于質(zhì)量提升工作的最新文件精神，經(jīng)過多輪模型建立、指標(biāo)梳理、專題討論等環(huán)節(jié)，初步確立本市政府質(zhì)量工作社會(huì)公眾滿意度評(píng)估的5個(gè)維度和21項(xiàng)指標(biāo)：

質(zhì)量意識(shí)維度。包括但不限于轄區(qū)內(nèi)政府質(zhì)量規(guī)劃的制定和落實(shí)情況、質(zhì)量宣傳和教育活動(dòng)的開展情況及效果、質(zhì)量投訴受理和處理情況等。

產(chǎn)品質(zhì)量維度。包括但不限于消費(fèi)者在轄區(qū)內(nèi)所購買的食品（包括農(nóng)產(chǎn)品）、藥品和日用消費(fèi)品的質(zhì)量，以及在轄區(qū)內(nèi)安裝的各類特種設(shè)備的質(zhì)量和安全性。

工程質(zhì)量維度。包括但不限于轄區(qū)內(nèi)房屋和公共設(shè)施設(shè)備的質(zhì)量和安全，其中公共設(shè)施設(shè)備涵蓋學(xué)校建筑、道路、橋梁等多方面。

服務(wù)質(zhì)量維度。包括但不限于轄區(qū)內(nèi)生產(chǎn)性和生活性雙重服務(wù)質(zhì)量水平，例如公共交通服務(wù)、物流服務(wù)、銀行金融、信息技術(shù)服務(wù)、餐飲娛樂服務(wù)、旅游休閑服務(wù)、醫(yī)療教育服務(wù)、公共事業(yè)服務(wù)等多方面的質(zhì)量水平。

環(huán)境質(zhì)量維度。包括但不限于轄區(qū)內(nèi)大氣、水資源、市容市貌等環(huán)境質(zhì)量建設(shè)和保護(hù)工作。

2.5 問卷設(shè)計(jì)與調(diào)查

本研究中面向社會(huì)公眾的問卷考慮采用10梯級(jí)的“評(píng)價(jià)標(biāo)度法”，這樣設(shè)計(jì)的主要出發(fā)點(diǎn)是為兼顧市民答題的時(shí)間、耐心和心態(tài)。一般市民答題時(shí)間和耐心均有限，同時(shí)對(duì)本市的具體質(zhì)量工作進(jìn)展和成效關(guān)注度不高，若問題設(shè)置過于官方或書面化，則不便于市民理解；若問題采用選項(xiàng)制，可能會(huì)讓市民感覺耗時(shí)和耗力，進(jìn)而產(chǎn)生“對(duì)不起，沒有時(shí)間看！”的想法。因此，在面對(duì)社會(huì)公眾進(jìn)行問卷設(shè)計(jì)時(shí)，問題設(shè)置偏向于生活化和口語化，盡可能做到通俗易懂，選項(xiàng)上采用10級(jí)制，讓被調(diào)查者一看就明白，不需要進(jìn)行過多思考。

此外，在問卷設(shè)計(jì)中引入了非結(jié)構(gòu)化數(shù)據(jù)的采集，在問卷末設(shè)計(jì)了類似于“您對(duì)本區(qū)的質(zhì)量工作還有什么意見或建議請(qǐng)?jiān)谙旅骊U述”的開放性問題。問卷這樣設(shè)計(jì)主要是考慮到在非結(jié)構(gòu)化數(shù)據(jù)中所蘊(yùn)含信息的價(jià)值往往較高，通過采用詞云圖等方法來分析非結(jié)構(gòu)化數(shù)據(jù)可以幫助政府快速地了解社會(huì)公眾對(duì)政府質(zhì)量工作的真正需求，并識(shí)別出目前政府質(zhì)量工作所面對(duì)的問題。同時(shí)，非結(jié)構(gòu)化數(shù)據(jù)的分析對(duì)數(shù)據(jù)技術(shù)本身的專業(yè)性要求不高，在數(shù)據(jù)分析和處理上具有較強(qiáng)的簡便性。

2.6 評(píng)價(jià)篩選與修正

根據(jù)初步確立21項(xiàng)指標(biāo)后，開展問卷設(shè)計(jì)與調(diào)查，并結(jié)合實(shí)地和網(wǎng)絡(luò)問卷調(diào)查情況，對(duì)問卷數(shù)據(jù)進(jìn)行導(dǎo)入和整理。如何根據(jù)采集到的數(shù)據(jù)情況對(duì)指標(biāo)的重要性進(jìn)行科學(xué)判斷、對(duì)指標(biāo)的權(quán)重進(jìn)行合理分配是本環(huán)節(jié)需要攻克的難點(diǎn)。

（1）采用“隨機(jī)森林法”判斷指標(biāo)重要性

在構(gòu)建三層指標(biāo)體系設(shè)計(jì)問卷進(jìn)行調(diào)查后，每項(xiàng)三級(jí)指標(biāo)值是由其對(duì)應(yīng)問卷題目的數(shù)值轉(zhuǎn)換而來，這些指標(biāo)均為正向指標(biāo)，即數(shù)值越大，影響越好。在問卷題目本身符合指標(biāo)意義的前提下，運(yùn)用數(shù)理統(tǒng)計(jì)的方法（即隨機(jī)森林計(jì)算法），對(duì)問卷調(diào)查結(jié)果進(jìn)行檢驗(yàn)，即評(píng)價(jià)各項(xiàng)指標(biāo)對(duì)應(yīng)的問卷結(jié)果是否重要，是否對(duì)綜合評(píng)價(jià)結(jié)果具有顯著性作用。運(yùn)用隨機(jī)森林進(jìn)行重要性評(píng)價(jià)，由于在理論上，隨機(jī)森林無需嚴(yán)格模型假設(shè)條件，適用于非線性數(shù)據(jù)等優(yōu)點(diǎn)，并且過程較為簡單，具體流程見圖4。

圖4 隨機(jī)森林計(jì)算判斷三級(jí)指標(biāo)重要性過程

根據(jù)隨機(jī)森林的計(jì)算結(jié)果，21項(xiàng)指標(biāo)相對(duì)重要性的結(jié)算結(jié)果集中在0.035-0.055之間，其中大部分指標(biāo)集中在0.035-0.040之間，沒有明顯的波谷，因此可以判定各項(xiàng)指標(biāo)的相對(duì)重要性還是較為一致的，可予以全部保留。

（2）采用“熵權(quán)法”確定指標(biāo)權(quán)重

作為確定指標(biāo)權(quán)重的常用計(jì)算方法之一，熵權(quán)法兼具了客觀性和適用性兩大特點(diǎn)。從客觀性角度來講，熵權(quán)法是通過客觀計(jì)算來賦予指標(biāo)權(quán)重，相對(duì)主觀賦值法，熵權(quán)法在對(duì)所得出的結(jié)果進(jìn)行解釋的方面更具有說服力。從適用性角度來講，熵權(quán)法可用于任何需要確定權(quán)重的過程，也可結(jié)合一些方法共同使用。

熵權(quán)法對(duì)于指標(biāo)權(quán)重賦值大小源于樣本數(shù)值的差異，直觀上來說，差異性越大其涵蓋的信息量也越大，也越重要，越能表現(xiàn)出樣本之間的差異，故賦予的權(quán)重也越大。通過熵權(quán)法計(jì)算后發(fā)現(xiàn)，21項(xiàng)指標(biāo)三級(jí)指標(biāo)的權(quán)重分布均勻，各權(quán)重集中在0.05±0.005左右。

3 結(jié)束語

目前關(guān)于本市政府質(zhì)量工作社會(huì)公眾滿意度評(píng)價(jià)方法的優(yōu)化研究還處于起步探索階段，下一步將考慮從數(shù)據(jù)采集、評(píng)價(jià)方法和后續(xù)應(yīng)用三方面進(jìn)行更為深入的研究。

一是完善數(shù)據(jù)采集渠道，提高采集信息的高效性。近年來，本市每年政府質(zhì)量工作社會(huì)公眾滿意度評(píng)價(jià)調(diào)查有效問卷的回收量集中在3萬份左右，數(shù)據(jù)信息量呈逐年上升趨勢。對(duì)于采集樣本量而言，若問卷采集的樣本數(shù)量過少，會(huì)降低評(píng)價(jià)結(jié)果的有效性；但問卷采集的樣本數(shù)量過多，如何篩選出高質(zhì)量的樣本又成為難題？故下一步可考慮設(shè)置等效反向問題，檢驗(yàn)同一受訪者問題回復(fù)一致性來判斷問卷結(jié)果的有效性。

二是探索更科學(xué)的評(píng)價(jià)方法。一方面是考慮采用以政府內(nèi)在能力建設(shè)為主的“內(nèi)部支撐質(zhì)量”與以顧客感受為主的“外部感知質(zhì)量”相結(jié)合的方法；另一方面是引入“熵權(quán)法”與“專家打分法”相結(jié)合的權(quán)重計(jì)算法，綜合兼顧主客觀因素。

三是推動(dòng)評(píng)價(jià)工作的進(jìn)一步深化。隨著評(píng)價(jià)方法的日趨成熟，一方面可考慮將本評(píng)價(jià)方法引入到本市政府質(zhì)量工作特定領(lǐng)域中并形成相關(guān)標(biāo)準(zhǔn)；另一方面可考慮將本研究與四大品牌、優(yōu)化營商環(huán)境和國際消費(fèi)中心城市等重點(diǎn)工作相結(jié)合，突出上海作為國際大都市的領(lǐng)先優(yōu)勢。