倪方隅，楊 明

(杭州師范大學(xué) 體育與健康學(xué)院，浙江 杭州 310018)

1 標(biāo)準(zhǔn)實(shí)施績效評價方法研究綜述

當(dāng)前有關(guān)大型體育賽事志愿服務(wù)的標(biāo)準(zhǔn)性文件在全國范圍尚屬首創(chuàng)，而關(guān)于志愿服務(wù)標(biāo)準(zhǔn)的實(shí)施評價研究更是處于空白狀態(tài)。但與此同時，在旅游管理、社區(qū)服務(wù)、公共服務(wù)等領(lǐng)域?qū)W術(shù)界的相關(guān)學(xué)者已就標(biāo)準(zhǔn)與標(biāo)準(zhǔn)體系的實(shí)施評價展開了一系列有價值的研究。因此，在開展《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》(DB 33/ T 2188—2019)實(shí)施績效評價的研究時，可以借鑒、參考相關(guān)領(lǐng)域的標(biāo)準(zhǔn)與標(biāo)準(zhǔn)體系實(shí)施評價方法與方案。

馮曹沖，葉海云等(2019)，根據(jù)已有的兩項(xiàng)關(guān)于標(biāo)準(zhǔn)實(shí)施績效評價的推薦性國家標(biāo)準(zhǔn)，在系統(tǒng)梳理與分析相關(guān)文獻(xiàn)的基礎(chǔ)上，將標(biāo)準(zhǔn)實(shí)施績效評價的方法歸納為：指標(biāo)體系評價法、問卷調(diào)查法、實(shí)地調(diào)研法以及ISO方法四類。并以嘉興市《民間信仰活動場所管理規(guī)范》作為案例，選取適當(dāng)?shù)脑u價方法，從場所要求、管理要求以及活動要求三個方面入手，構(gòu)建評價指標(biāo)體系，確定一般適用的評價方案模型[1]。

1.1 指標(biāo)體系評價法

蘇義坤，張靜,等(2012)在《村鎮(zhèn)建設(shè)標(biāo)準(zhǔn)體系實(shí)施績效評價模型的構(gòu)建研究》中，運(yùn)用綜合集成賦權(quán)法確定評價指標(biāo)體系的權(quán)重，用模糊物元評價法構(gòu)建實(shí)施績效評價模型，由此展開對村鎮(zhèn)建設(shè)標(biāo)準(zhǔn)體系的實(shí)施績效評價[2]；莊雪麗,劉伊生,等(2016)通過專家打分的方法對村鎮(zhèn)建設(shè)工程標(biāo)準(zhǔn)的實(shí)施績效評價指標(biāo)進(jìn)行篩選，采用層次分析法(AHP)對評價指標(biāo)體系進(jìn)行權(quán)重確定，并以《村莊整治技術(shù)規(guī)范》為例，通過模糊綜合評價法對其展開實(shí)施績效的評價[3]；趙劍鋒，張偉,等(2019)基于層次分析法構(gòu)建藥品標(biāo)準(zhǔn)實(shí)施評估模型并確定其權(quán)重，同時采用模糊綜合評價法對金銀花配方顆粒企業(yè)標(biāo)準(zhǔn)展開實(shí)施效果評估[4]；張建華(2012)，在評價指標(biāo)的權(quán)重確定中，采用專家咨詢與層次分析法相結(jié)合的方案構(gòu)建綜合評價模型，并依托案例應(yīng)用于實(shí)例分析的實(shí)施效果評價之中[5]。

1.2 問卷調(diào)查法

周曉俊,黃唱洲,熊彥紅,等(2015)，通過對浙江、上海、湖南、廣西等在內(nèi)的十一個省(市、區(qū))進(jìn)行問卷調(diào)查、實(shí)地訪談的方式，對國家標(biāo)準(zhǔn)《瘧疾控制和消除標(biāo)準(zhǔn)》的實(shí)施現(xiàn)狀與應(yīng)用狀況進(jìn)行了調(diào)研與評估[6]。毛雪丹,韓軍花,樊永祥,等(2017)，以東、中、西部地區(qū)的若干個省(直轄市、自治區(qū))的各類強(qiáng)化食品生產(chǎn)企業(yè)為研究對象，通過采用問卷調(diào)查的方式，結(jié)合統(tǒng)計(jì)學(xué)數(shù)據(jù)分析對國家標(biāo)準(zhǔn)《食品營養(yǎng)強(qiáng)化劑使用標(biāo)準(zhǔn)》的實(shí)施效果展開跟蹤式評價[7]。程志軍,葉凌,王清勤(2012)，以2008-2010年全國范圍內(nèi)113個綠色建筑標(biāo)識項(xiàng)目為研究對象，采用調(diào)研、數(shù)理統(tǒng)計(jì)、案例分析、現(xiàn)場調(diào)研等方法對《綠色建筑評價標(biāo)準(zhǔn)》實(shí)施效果評價[8]。

1.3 實(shí)地調(diào)研法

曹忠榮(1993)，通過對若干個《膠合板》國家標(biāo)準(zhǔn)實(shí)施指導(dǎo)下的使用單位進(jìn)行實(shí)地情況調(diào)查，從生產(chǎn)技術(shù)提高、社會效益與企業(yè)經(jīng)濟(jì)效益產(chǎn)生等幾個方面展開關(guān)于《膠合板》國家標(biāo)準(zhǔn)實(shí)施效果的評價[9]。鄒傳瑜,于洋(2015)，運(yùn)用乘客滿意度調(diào)查、標(biāo)準(zhǔn)比對分析和實(shí)地調(diào)研的方法對地方標(biāo)準(zhǔn)《公共交通客運(yùn)標(biāo)志第2部分：軌道交通》、《公共交通客運(yùn)標(biāo)志第3部分：公共汽電車》的實(shí)施情況與效果進(jìn)行評估分析[10]。

1.4 ISO方法

王識博,歐慧敏(2017)，通過采用ISO方法論的研究方法，用于評估燈飾照明產(chǎn)品標(biāo)準(zhǔn)實(shí)施對中山市燈具制作產(chǎn)業(yè)所產(chǎn)生的經(jīng)濟(jì)效益的影響[11]。

1.5 研究綜述小結(jié)

綜合當(dāng)前有關(guān)標(biāo)準(zhǔn)實(shí)施績效評價方法的研究，指標(biāo)體系評價法是最為廣泛使用的研究方法。大多數(shù)學(xué)者通常采用分維度構(gòu)建評價指標(biāo)體系、利用層次分析法確定指標(biāo)體系權(quán)重以及運(yùn)用模糊評價法對標(biāo)準(zhǔn)體系的實(shí)施效果展開綜合評價的一般方法。本研究將借鑒指標(biāo)體系評價法的一般思路構(gòu)建《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系，為今后關(guān)于《標(biāo)準(zhǔn)》實(shí)施效果的綜合評價打下理論基礎(chǔ)。

2 相關(guān)概念界定與理論基礎(chǔ)

2.1 相關(guān)概念界定

2.1.1 績效?！翱冃А币辉~最早來源于西方經(jīng)濟(jì)學(xué)中關(guān)于英文單詞“performance”的表述，它具有“效能、執(zhí)行、表現(xiàn)、業(yè)績”的意思，同時也包含了經(jīng)濟(jì)(Economy)、效益(Effectiveness)以及效率(Efficiency)三個層面的含義。自上世紀(jì)90年代以來，“績效”這一概念在我國經(jīng)濟(jì)學(xué)與管理學(xué)研究領(lǐng)域廣泛得到應(yīng)用，并在人力資源、公共服務(wù)、企業(yè)管理、組織管理等方面日益流行開來。目前，國內(nèi)外學(xué)者廣泛使用的關(guān)于“績效”的定義是基于20世紀(jì)80年代初，英國效率小組提出的“3E”績效標(biāo)準(zhǔn)體系。即績效等同于經(jīng)濟(jì)績效、效益績效以及效率績效構(gòu)成的統(tǒng)一體。

2.1.2 績效評價?？冃гu價亦可稱作“績效評估”、“績效考評”，是指績效評定者依據(jù)績效考核目標(biāo)，運(yùn)用科學(xué)的、規(guī)范的評價方法、評價標(biāo)準(zhǔn)與評價指標(biāo)，對組織行為活動產(chǎn)生的效能作出客觀、準(zhǔn)確的綜合評價過程?？冃гu價的主要目的是為了提高工作效率、降低運(yùn)營成本，力求效益最大化。其主要作用在于推動績效目標(biāo)的達(dá)成，及時發(fā)現(xiàn)組織行為活動在實(shí)施過程中存在的問題，促進(jìn)特定組織結(jié)構(gòu)內(nèi)部不斷調(diào)整完善與良性協(xié)調(diào)發(fā)展。當(dāng)前，專門針對某一特定規(guī)范、條例文件的實(shí)施績效評價較少，涉及大型體育賽事與志愿服務(wù)標(biāo)準(zhǔn)績效的評價更是無從涉及。一些其他領(lǐng)域的專家學(xué)者關(guān)于標(biāo)準(zhǔn)實(shí)施績效評價的相關(guān)研究，主要從標(biāo)準(zhǔn)的適用性、實(shí)施狀況、實(shí)施效果、實(shí)施效益等方面來構(gòu)建績效評價指標(biāo)，由此展開相應(yīng)的績效評價。本研究關(guān)于《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》的實(shí)施績效評價亦可參考借鑒其它領(lǐng)域的相關(guān)研究成果與方法。

2.1.3 《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系?！霸u價指標(biāo)”一詞的含義可以解釋為衡量評價目標(biāo)的單位或方法。為達(dá)成統(tǒng)一的既定目標(biāo)，由若干個相互聯(lián)系、相互影響的評價指標(biāo)構(gòu)成的集合體我們稱之為“評價指標(biāo)體系”。評價指標(biāo)體系是指由表征評價對象各方面特性及其相互聯(lián)系的多個指標(biāo)，所構(gòu)成的具有內(nèi)在結(jié)構(gòu)的有機(jī)整體[12]。縱觀當(dāng)前學(xué)界的研究成果，有關(guān)“標(biāo)準(zhǔn)實(shí)施評價指標(biāo)體系”的認(rèn)識尚未給出明確、統(tǒng)一的概念界定。一些學(xué)者基于各自領(lǐng)域標(biāo)準(zhǔn)與標(biāo)準(zhǔn)體系的自身特點(diǎn)就實(shí)施績效評價指標(biāo)體系的維度內(nèi)涵提出了相關(guān)要點(diǎn)。因此，本研究基于上述績效與績效評價的基礎(chǔ)理論，綜合相關(guān)領(lǐng)域?qū)W者關(guān)于實(shí)施評價指標(biāo)體系的內(nèi)涵概況，將《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系的概念定義為：以《標(biāo)準(zhǔn)》實(shí)施的現(xiàn)實(shí)情況為依據(jù)，由實(shí)施狀況反饋、實(shí)施過程效果以及實(shí)施適用性三個維度、若干個指標(biāo)構(gòu)成的，充分反映衡量《標(biāo)準(zhǔn)》在實(shí)施過程中所產(chǎn)生的效能、所暴露出來的問題為目標(biāo)的多層次指標(biāo)集合體。

2.2 相關(guān)基礎(chǔ)理論——“3E”評價理論

“3E”評價理論，是上世紀(jì)80年代英國系統(tǒng)與管理科學(xué)領(lǐng)域?qū)W者切克蘭德(Checkland, P.B.)基于產(chǎn)出(Efficacy)、效率(Efficiency)、效果(Effectiveness)三方面衡量提出的一個績效評估理論。該理論一經(jīng)提出，便在行政績效評估、公共服務(wù)管理、公共政策評估以及軟科學(xué)評估等領(lǐng)域得到廣泛應(yīng)用。依據(jù)“3E”評價理論的“3E”原則，本研究選取效率性原則(Efficiency)和有效性原則(Effectiveness)作為構(gòu)建標(biāo)準(zhǔn)實(shí)施績效評價指標(biāo)體系的理論依據(jù)。

效率性原則是指管理組織在管理活動過程中所付出的成本投入與產(chǎn)出之間的關(guān)系。共青團(tuán)浙江省委、省志愿者協(xié)會、大型賽會賽事行政管理部門等作為負(fù)責(zé)《標(biāo)準(zhǔn)》實(shí)施的主要?dú)w口管理部門，其標(biāo)準(zhǔn)管理效率及標(biāo)準(zhǔn)利用效率的高低勢必會影響標(biāo)準(zhǔn)化工作的水平。標(biāo)準(zhǔn)的管理效率可以從標(biāo)準(zhǔn)的發(fā)布、發(fā)行、宣傳培訓(xùn)推廣情況等方面來反映。而標(biāo)準(zhǔn)的利用效率可以從標(biāo)準(zhǔn)的應(yīng)用情況、執(zhí)行情況、實(shí)施主體掌握情況等要素來體現(xiàn)。

有效性原則，又稱效果原則，是指組織管理活動既定目標(biāo)的達(dá)成程度。在標(biāo)準(zhǔn)的管理與實(shí)施過程中，主要體現(xiàn)在實(shí)施目標(biāo)、成本目標(biāo)、普及目標(biāo)、文化傳播目標(biāo)等的達(dá)成程度上，故其具體指標(biāo)包括經(jīng)濟(jì)效益、社會效益以及文化與環(huán)境效益三個方面的效果。

3 《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系構(gòu)建

3.1 評價指標(biāo)體系構(gòu)建的原則

3.1.1 系統(tǒng)性原則?！洞笮唾悤驹阜?wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系，是一個包含多層次維度的完整系統(tǒng)。指標(biāo)體系的確立要充分考慮各指標(biāo)間相互聯(lián)系、相互影響的系統(tǒng)性原則，確保對《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》的實(shí)施狀況進(jìn)行全面、系統(tǒng)的評價。同時，要理清《標(biāo)準(zhǔn)》規(guī)范各部分內(nèi)容間的邏輯關(guān)系，著眼于指標(biāo)體系的層次與結(jié)構(gòu)，確保評價結(jié)果突出重點(diǎn)與系統(tǒng)完善。

3.1.2 科學(xué)性原則?！洞笮唾悤驹阜?wù)浙江地方標(biāo)準(zhǔn)》績效評價指標(biāo)體系的構(gòu)建應(yīng)基于全面、系統(tǒng)的邏輯推理與經(jīng)驗(yàn)分析，充分反映大型體育賽事志愿服務(wù)工作發(fā)展的客觀規(guī)律。本研究運(yùn)用文獻(xiàn)資料檢索、志愿服務(wù)與標(biāo)準(zhǔn)化領(lǐng)域?qū)＜以L談以及層次分析法篩選指標(biāo)、確立權(quán)重，并以此為基礎(chǔ)科學(xué)界定指標(biāo)體系各維度、各指標(biāo)內(nèi)涵，確保指標(biāo)體系的確立滿足大型體育賽事志愿服務(wù)的特點(diǎn)要求。同時，詳細(xì)的評價指標(biāo)應(yīng)概念清晰，能客觀、真實(shí)、合理地反映《標(biāo)準(zhǔn)》在實(shí)施過程中產(chǎn)生的效果與效益，避免指標(biāo)之間的重疊與重復(fù)[13]。

3.1.3 適用性原則。適用性原則，是確保《標(biāo)準(zhǔn)》評價指標(biāo)體系得以有效運(yùn)用的必備要素之一。真實(shí)可靠的《標(biāo)準(zhǔn)》實(shí)施績效反饋信息的獲取，離不開適用性強(qiáng)、易操作的評價指標(biāo)體系?！洞笮唾悤驹阜?wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)的選取與大型體育賽事志愿服務(wù)工作密切相關(guān)，為確?！稑?biāo)準(zhǔn)》評價的每一個指標(biāo)都可操作適用，選取的評價指標(biāo)應(yīng)貼近實(shí)際、簡易可得、利于評估。結(jié)構(gòu)清晰、簡潔明了的評價指標(biāo)體系，能確保評價主體本身對指標(biāo)體系的熟悉與掌握，進(jìn)一步保證《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系具有良好的適用性。

3.2 評價指標(biāo)體系構(gòu)建的方法

3.2.1 文獻(xiàn)資料法。本研究通過查閱大量有關(guān)大型體育賽事志愿服務(wù)、標(biāo)準(zhǔn)體系與標(biāo)準(zhǔn)化、服務(wù)標(biāo)準(zhǔn)實(shí)施以及標(biāo)準(zhǔn)實(shí)施績效評價的相關(guān)博(碩)士論文與期刊文獻(xiàn)，對研究的理論基礎(chǔ)與相關(guān)概念界定有了深入的解析。通過對大型體育賽事志愿服務(wù)領(lǐng)域以及其他標(biāo)準(zhǔn)實(shí)施績效評價領(lǐng)域的文獻(xiàn)梳理與總結(jié)，了解相關(guān)領(lǐng)域的研究現(xiàn)狀，為《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)的篩選指明了科學(xué)方向，也為績效評價指標(biāo)體系的建立提供了理論依據(jù)。

3.2.2 專家德爾菲法。專家德爾菲法是對多位專家進(jìn)行相互獨(dú)立的專家評議調(diào)查，專家之間不協(xié)商、不合作，以此獨(dú)立方式收集各位專家的意見和建議。本研究擬對《標(biāo)準(zhǔn)》制定與實(shí)施過程中的相關(guān)負(fù)責(zé)人、標(biāo)準(zhǔn)與標(biāo)準(zhǔn)化領(lǐng)域的相關(guān)專家、學(xué)者進(jìn)行相互獨(dú)立的專家意見評議與問卷調(diào)查，并以此為基礎(chǔ)進(jìn)行多輪的專家德爾菲法分析，以90%的意見集中度作為入選標(biāo)準(zhǔn)，最終確定《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系。

3.2.3 層次分析法。層次分析法是一種定性與定量分析相結(jié)合的多目標(biāo)決策分析方法，將復(fù)雜的系統(tǒng)整體分解清晰，把多目標(biāo)、多準(zhǔn)則的決策轉(zhuǎn)化為多層次、單目標(biāo)的兩兩對比[14]。本研究運(yùn)用層次分析法(AHP)，通過構(gòu)造兩兩判斷矩陣、進(jìn)行一致性檢驗(yàn)等步驟，最終確定《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系的權(quán)重。

3.3 評價指標(biāo)體系的信效度檢驗(yàn)

通過專家德爾菲法初步構(gòu)建了《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系，為使構(gòu)建的評價指標(biāo)體系更加科學(xué)、合理，本研究從《標(biāo)準(zhǔn)》的實(shí)際應(yīng)用出發(fā)，對專家評議出的28個觀測變量進(jìn)行信效度檢驗(yàn)，通過驗(yàn)證性因子分析，最終確立《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系。

3.3.1 信度檢驗(yàn)。針對初步遴選的28個《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)，本研究于2019年9-10月，對《標(biāo)準(zhǔn)》指導(dǎo)下的大型賽事志愿者36人(占65%)、志愿服務(wù)組織與管理人員11人(占19%)以及大型賽會志愿服務(wù)領(lǐng)域與管理標(biāo)準(zhǔn)化領(lǐng)域的專家學(xué)者10人(占16%)等進(jìn)行問卷調(diào)研共發(fā)放調(diào)研問卷56份，回收51份。通過5級量表的形式對各指標(biāo)的契合程度進(jìn)行打分，“5分”表示“非常契合”，“4分”表示“比較契合”，“3分”表示“基本契合”，“2分”表示“不太契合”，“1分”表示“可以忽略”。

通過SPSS22.0軟件對本次調(diào)研獲取的數(shù)據(jù)進(jìn)行信度檢驗(yàn)，分析檢驗(yàn)結(jié)果顯示，問卷的克隆巴赫α系數(shù)為0.948，各維度的Cronbach's α 系數(shù)分別為0.947、0.948和0.946,具有非常高的可信度。

3.3.2 效度檢驗(yàn)。本研究初步構(gòu)建的《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系是由兩輪的專家德爾菲法評議篩選得來，各指標(biāo)在內(nèi)容條目上獲得各位專家的一致認(rèn)可，其內(nèi)容效度已經(jīng)達(dá)到了評價的目的與要求。因此，本研究只對評價指標(biāo)體系的結(jié)構(gòu)效度進(jìn)行檢驗(yàn)。

為進(jìn)一步驗(yàn)證《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系各測試因子與相對應(yīng)維度條目是否符合給定的理論關(guān)系依據(jù)，本研究采用上一輪問卷調(diào)研相同的方法，共發(fā)放調(diào)研問卷250份，回收有效問卷232份，有效問卷回收率92.8%。調(diào)研對象人員及數(shù)量比較分布同上一輪。

首先，對調(diào)研數(shù)據(jù)的KMO指數(shù)和Bartlett 球形檢驗(yàn)結(jié)果進(jìn)行計(jì)算，分別為0.876和10 597.625，且P=0.000，顯著性小于0.05水平，認(rèn)為適合做因子分析。接著，通過AMOS 22.0軟件構(gòu)建結(jié)構(gòu)方程模型，對評價指標(biāo)體系進(jìn)行驗(yàn)證性因子分析，擬合數(shù)據(jù)如表1所示。檢驗(yàn)結(jié)果顯示CMIN/DF<5，IFI、CFI、TLI、NFI均大于0.9，RMSEA<0.08，說明三因素各指標(biāo)基本達(dá)到擬合標(biāo)準(zhǔn)。《標(biāo)準(zhǔn)》實(shí)施績效評價結(jié)構(gòu)模型及其結(jié)構(gòu)效度分析結(jié)果見圖1和表2。

圖1 《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價結(jié)構(gòu)模型圖

表1 驗(yàn)證性因子分析擬合數(shù)據(jù)一覽表(N=232)

表2結(jié)構(gòu)效度分析結(jié)果顯示，結(jié)構(gòu)方程模型各觀測變量因子的組合信度CR均在0.9以上，表明模型的信度符合條件，其內(nèi)在質(zhì)量達(dá)到理想水平。各潛變量的平均方差抽取量AVE均在0.7以上，表明模型具有較好構(gòu)建效度。各觀測變量標(biāo)準(zhǔn)化因子負(fù)荷值介于0.66至0.95之間，所有顯變量在潛變量上的因子載荷均達(dá)到顯著水平(P=0.000<0.001)，且無負(fù)的誤差變異數(shù)，表明模型符合擬合評價標(biāo)準(zhǔn)，具有良好的收斂效度[15]。

表2 《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系結(jié)構(gòu)效度分析表

3.4 評價指標(biāo)體系的最終確立

依托績效評價的基礎(chǔ)理論，通過兩輪專家德爾菲法的篩選評議，以及兩次問卷調(diào)研的信效度檢驗(yàn)，最終形成一個由3個一級指標(biāo)，8個二級指標(biāo)，以及28個三級指標(biāo)所構(gòu)成的《標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系，如表3所示：

表3 《大型賽會志愿服務(wù)浙江地方標(biāo)準(zhǔn)》實(shí)施績效評價指標(biāo)體系最終確立

表3(續(xù))