黃嘉健，黎曉娟，王建強

（廣東科學(xué)中心，廣東廣州 510006）

0 引言

隨著科學(xué)技術(shù)的日新月異，全球各國正以空前的熱忱關(guān)注科技教育的改革與發(fā)展。在強調(diào)科技教育的同時，世界各國也都在不斷完善科技教育項目實施質(zhì)量評估機制[1]。科技教育項目實施質(zhì)量評價是以科技教育目標為依據(jù)，運用科學(xué)有效的評估技術(shù)和手段，對科技教育項目的實施過程和效果進行測定、分析和比較，并基于此進行價值判斷的過程。開展科技教育項目實施質(zhì)量評價工作，是我國科技教育發(fā)展到一定階段的必然要求，具有促進科技教育標準化和均衡發(fā)展的重要意義。

1 廣東科學(xué)中心開展科技教育項目實施質(zhì)量評價的需求分析

1.1 項目管理的需要

黨的十八大報告和十九大報告提出了關(guān)于深化教育領(lǐng)域綜合改革的路線、方針、政策及指示，要求適應(yīng)國家實施創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略和“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”對人才教育培養(yǎng)的要求，以科技教育項目為抓手，強化管理、深化改革，推動實施科技教育提升工程，廣泛開展科普活動，積極培育科技創(chuàng)新苗子，不斷增強科技教育普及度、顯示度[2-3]?？萍冀逃椖孔鳛閷W(xué)校教育的補充和延續(xù)，現(xiàn)已成為我國素質(zhì)教育不可缺少的組成部分，可達到培養(yǎng)學(xué)生科學(xué)素養(yǎng)、創(chuàng)新精神，提高學(xué)生創(chuàng)造能力和實踐能力的目的。隨著我國教育改革的深入，科技教育項目的數(shù)量將持續(xù)上升，因此，對各項科技教育項目進行科學(xué)評價，建立科學(xué)而嚴謹?shù)脑u價體系是達到科技教育項目管理目標和實施目的的必要手段。廣州市教育行政部門2015－2017年每年下?lián)艿目萍冀逃椖拷?jīng)費均達到3000萬元，年均開展的科技教育項目數(shù)量達500個，對每個科技教育項目進行項目質(zhì)量評價，是對這些項目進行質(zhì)量管理的有效手段，且每年的評價結(jié)果更可以作為下一年度項目申報立項與否的依據(jù)之一。

1.2 財政經(jīng)費考核的需要

國家財政是國家治理的基礎(chǔ)和重要支柱[4]。財政支出反映了政府的行為，專項資金更是反映了政府在一段時間內(nèi)和一定條件下的政策重點。廣州市財政經(jīng)費資助的科技教育項目，由相應(yīng)的財政部門對該專項經(jīng)費的目標實現(xiàn)程度、經(jīng)費投入效益和經(jīng)費使用管理的有效性等方面進行考核與評價[5]。因此，對科技教育項目進行質(zhì)量評價得到的相對科學(xué)、公正和客觀的評價結(jié)果，可以作為財政經(jīng)費績效考核的有效依據(jù)。

1.3 提高和改進項目實施水平的需要

在實施科技教育項目時，需要圍繞項目實施計劃了解跟蹤項目進度、成本、質(zhì)量、資源等情況，一方面能夠進行適當?shù)馁Y源調(diào)配和進度調(diào)整，另一方面也能確定項目的開始和結(jié)束時間，記錄實際進度情況；此外，在一定情況下還需要對項目的實施進行路徑、決策、度量、量化管理和風險等方面的分析，最終達到高質(zhì)量完成項目的目標。若是通過第三方機構(gòu)開展科學(xué)、合理、公正的質(zhì)量考核評價，各項目承擔單位能夠在項目實施過程中 及時了解自己在項目實施過程中的可取之處及不足之處，其取長補短、不斷創(chuàng)新，從而有效促進項目承擔單位不斷改進項目實施方法、提升項目實施水平，提高科技教育項目的整體實施質(zhì)量。

1.4 廣東科學(xué)中心不斷總結(jié)經(jīng)驗與改進的需要

廣東科學(xué)中心（以下簡稱“科學(xué)中心”）作為全國科普教育基地、廣東省青少年科技教育基地、廣東省科普教育基地等，過往完成了國際、國家、省、市各級科研課題及科技教育項目100多項，有豐富的項目管理和實施經(jīng)驗，并形成了有效的項目實施、質(zhì)量監(jiān)控管理流程，對識別質(zhì)量監(jiān)控風險點有獨到經(jīng)驗；同時，科學(xué)中心成功完成了所承擔和所參與的眾多課題、項目的結(jié)題/結(jié)項驗收工作，對項目實施質(zhì)量的評價指標有較為深刻的認識和理解。2015年起，科學(xué)中心承接了廣東省科學(xué)技術(shù)廳省級科技計劃項目的職能轉(zhuǎn)移，積累了更為豐富的課題、項目等驗收工作的組織、實施經(jīng)驗，以及評審和驗收專家資源?？茖W(xué)中心開展科技教育項目實施質(zhì)量評價，有助于不斷完善科技教育項目的實施，提高科普服務(wù)質(zhì)量。

2 科技教育項目評價體系建設(shè)方案

2.1 概要

（1）實施對象。開展科技教育項目實施質(zhì)量評價的對象為所有科技教育項目的承擔單位。

（2）建設(shè)目標。建立從專家?guī)旖?、評價指標確立、中期考核、重點監(jiān)控，到質(zhì)量評價的監(jiān)督、管理全流程管理目標，從而對各項目的實施質(zhì)量進行全面監(jiān)控，有效減少評價不通過的項目數(shù)量，并對所有項目給出公正、客觀、科學(xué)的評價。

（3）實施方式。對科技教育項目實施質(zhì)量評價的方式包括中期考核（中評價）和項目質(zhì)量評價（后評價）。其中，中期考核側(cè)重于檢查項目實施偏差，及早發(fā)現(xiàn)潛在風險項目，及時進行整改并加強監(jiān)督；項目質(zhì)量評價則側(cè)重于對項目整體完成績效進行評價，評價結(jié)果可為以后項目立項、管理和改進提供科學(xué)可靠的依據(jù)。

（4）評價方法。根據(jù)科技教育項目實施質(zhì)量評價的特點，可采用定量分析和定性分析的方法進行評價。定性分析和定量分析結(jié)合使用能充分說明并解釋現(xiàn)象和問題[6]。其中，定量分析方法有比率分析法、對比分析法等；定性分析方法包括綜合評價法等。

（5）評價原則。評價體系工作全流程必須保持公開性、公正性、獨立性和客觀性，評價體系需具備科學(xué)性、系統(tǒng)性和可操作性，評價結(jié)果需具有科學(xué)性、客觀性、反饋性[7]。

評價體系建設(shè)流程詳見圖1。

圖1 科技教育項目評價體系建設(shè)流程

2.2 建立評價專家?guī)?/h3>

由于在設(shè)立評價指標體系、項目中期考核以及最后的項目質(zhì)量評價等階段，均需要專家在科學(xué)論證、指標分析、項目驗收、評價等方面提供科學(xué)可行的意見，因此，在評價體系建設(shè)的初期就需要建立質(zhì)量評價專家?guī)臁＜規(guī)斓膶＜医M成根據(jù)評價工作開展的需要，涉及但不限于科技教育、項目管理、財務(wù)管理、科學(xué)傳播等專業(yè)；專家數(shù)量以需要最多專家的項目質(zhì)量評價階段的專家數(shù)量乘以120%為宜，預(yù)留20%的備用量。公式表示如下：

式（1）中：Q表示專家數(shù)量?？茖W(xué)中心擁有豐富的省級科技計劃項目驗收專家資源，以及各類青少年科技教育活動評審專家資源，在建立評價工作專家?guī)旆矫嬗幸欢▋?yōu)勢。

2.3 設(shè)立評價指標體系

根據(jù)科技教育項目的實施特點，在項目實施質(zhì)量評價時需要進行定量評價和定性評價相結(jié)合。如何采用定性化評價與定量化分析相結(jié)合的規(guī)范程序和方法，對科技項目的遴選、實施情況等進行科學(xué)、公平、合理評價，一直是科技管理部門及社會各界關(guān)注的焦點，但目前該問題仍未得到很好解決[8]。因此，在評價體系建立的初期，就需要分別梳理定量評價指標和定性評價指標，并通過“背靠背”的專家論證方法修正和完善不合適、有疏漏的指標，從而設(shè)立科學(xué)、完整、可衡量的評價指標體系。

2.3.1 定量評價指標

項目定量評價指標可分級設(shè)計，一般以設(shè)計二級或三級指標為宜。根據(jù)科技教育項目實施特點，筆者初步梳理的項目定量評價一級指標包含以下方面：

（1）項目實施完成率。即用以評價項目實施（完成）的進度。其中，中期考核時的實施完成率數(shù)據(jù)是這一指標的重要參考依據(jù)。

（2）項目立項目標完成率。對比項目立項目標，考核項目在評價時的立項目標完成情況。該一級指標下將繼續(xù)設(shè)立二級指標，如預(yù)期產(chǎn)出指標完成率、預(yù)期效果完成率等。

（3）預(yù)算控制率。對比項目經(jīng)費預(yù)算額度，考核項目在評價時的實際經(jīng)費支出情況，如是節(jié)約還是超支等。該一級指標下將繼續(xù)設(shè)立二級指標，如經(jīng)費到位率、調(diào)整經(jīng)費占全部經(jīng)費的比例等。

2.3.2 項目定性評價指標

同樣的，項目定性評價指標也可分級設(shè)計，一般以設(shè)計二級或三級指標為宜。根據(jù)科技教育項目實施特點，筆者初步梳理的項目定性評價一級指標包含以下方面：

（1）項目實施效果。其二級指標可包括項目實施對提升青少年科技教育、人才培養(yǎng)的作用，公眾滿意度等。

（2）項目管理情況。其二級指標可包括項目承擔單位內(nèi)部管理及自查情況、相關(guān)變更情況的手續(xù)完備情況，以及業(yè)務(wù)主管部門對項目建設(shè)或方案實施的檢查、監(jiān)控和督促等。

（3）經(jīng)費支出規(guī)范性。其二級指標可包括預(yù)算執(zhí)行的規(guī)范性、事項支出的合規(guī)性，以及會計核算規(guī)范性。其中，預(yù)算執(zhí)行的規(guī)范性是考核預(yù)算調(diào)整是否履行報批手續(xù)，是否按進度支付資金；事項支出的合規(guī)性，即考核資金管理、費用標準集中支付或財政報賬等制度是否得到嚴格執(zhí)行，是否超范圍、超標準支出，是否虛列支出，是否存在截留、擠占、挪用資金的情況；會計核算規(guī)范性，即考核是否規(guī)范執(zhí)行會計核算制度，是否專賬核算，支出憑證是否合規(guī)有效等。

(4) 項目可持續(xù)發(fā)展性。其二級指標包括項目實施對人、社會、環(huán)境、資源等是否帶來可持續(xù)發(fā)展的影響等。

2.4 收集項目立項預(yù)期指標

項目立項后，需要向各項目承擔單位收集青少年科技教育項目的立項預(yù)期指標，以作為后期項目質(zhì)量對比評價的依據(jù)。如根據(jù)某教育行政部門的需求，可以采用以下方式收集：一是手工收集。由各科技教育項目承擔單位填寫項目評價單位統(tǒng)一制作的評價指標收集表，并提交到項目評價單位郵箱，再由項目評價單位統(tǒng)一匯總。二是通過信息化手段收集。以外包的方式創(chuàng)建評價體系網(wǎng)上系統(tǒng)，各項目承擔單位在網(wǎng)上平臺統(tǒng)一填報各項目的立項預(yù)期指標，再由項目評價單位通過網(wǎng)上平臺進行匯總。

2.5 項目實施過程質(zhì)量監(jiān)控

加強對科技教育項目全過程質(zhì)量管理是取得優(yōu)秀可信成果的保證[9]。在項目評價工作中引入項目實施過程質(zhì)量監(jiān)控，能夠在各項目實施的前、中期發(fā)現(xiàn)潛在風險項目，從而通過后續(xù)整改、加大監(jiān)控力度等措施，減少質(zhì)量評價不合格的項目，提高科技教育項目整體實施質(zhì)量。

2.5.1 對各項目重要干系人開展項目實施質(zhì)量評價工作培訓(xùn)

在實施科技教育項目前期，就需要開展科技教育項目實施質(zhì)量評價工作培訓(xùn)，以提高項目負責人等各項目重要干系人對質(zhì)量評價工作的認識，及其項目質(zhì)量管理的能力。

（1）培訓(xùn)對象。包括項目負責人、項目承擔單位業(yè)務(wù)部門負責人、項目承擔單位上級業(yè)務(wù)主管部門負責人等各項目重要干系人。

（2）培訓(xùn)內(nèi)容。包括科技教育項目質(zhì)量評價的目標、方法；項目承擔單位在項目實施過程中可以采用的質(zhì)量管理工具、流程；項目中期考核以及項目評價單位在發(fā)現(xiàn)潛在風險項目后會采取的監(jiān)控措施；項目自評材料填報規(guī)范、項目答辯注意事項等。

（3）培訓(xùn)目標。通過培訓(xùn)，讓各項目重要干系人，尤其是項目負責人對項目質(zhì)量評價工作樹立正確認識，提升他們對項目質(zhì)量評價工作的重視程度和項目質(zhì)量管理能力。

（4）培訓(xùn)方式?？刹捎矛F(xiàn)場集中培訓(xùn)或網(wǎng)上視頻培訓(xùn)等方式進行。

2.5.2 對所有青少年科技教育項目進行中期考核

項目中期考核情況可作為項目實施質(zhì)量評價的其中一項指標。考核與整改流程見2。

（1） 中期考核實施過程。將各項目承擔單位報送的中期項目實施情況與收集到的各項目立項預(yù)期指標進行對比和分析，并從專家?guī)熘谐槿＜覍椖康膶嵤┵|(zhì)量進行評審，以便及早發(fā)現(xiàn)潛在風險項目。此外，安排專家對潛在風險項目提供相應(yīng)的整改意見。

（2）中期實施情況報送方式。項目承擔單位可以采用電子郵件報送或信息化手段（即在評價體系網(wǎng)上平臺直接填報）等方式報送中期實施情況。

（3）中期考核結(jié)果反饋。中期考核結(jié)束后，項目評價單位將中期考核結(jié)果反饋給教育行政部門。

圖2 科技教育項目中期考核與整改流程

2.5.3 對潛在風險項目實施重點監(jiān)控

（1）定義。潛在風險項目指的是中期考核效果不理想、項目進度嚴重滯后、項目資金支出嚴重違規(guī)，或是具有其他可能導(dǎo)致項目質(zhì)量評價不合格因素的項目。

（2）重點監(jiān)控實施過程。先是以短信、郵件等方式通知項目負責人，督促其按中期考核的整改意見進行整改；同時，以短信、郵件等方式通知項目承擔單位業(yè)務(wù)部門負責人和項目承擔單位上級業(yè)務(wù)主管部門負責人，提醒其監(jiān)督項目負責人按整改意見進行整改，并加強對項目實施質(zhì)量的管理。

（3）檢查、跟蹤潛在風險項目整改情況。潛在風險項目的項目負責人需在整改意見規(guī)定的時間內(nèi)完成整改，并將整改結(jié)果報送項目評價單位。項目評價單位將組織專家分別對各潛在風險項目的整改情況進行檢查、跟蹤。對整改結(jié)果不理想的項目進行匯總，并報告給教育行政部門，由教育行政部門采取更加有效的方式督促其整改。

2.6 項目實施質(zhì)量自評

各科技教育項目負責人根據(jù)項目實施質(zhì)量評價要求，在規(guī)定時間內(nèi)完成項目總結(jié)、自評評分表并提供相關(guān)佐證材料，裝訂成冊后提交給項目實施質(zhì)量評價單位。如有網(wǎng)上評價系統(tǒng)，則還需在網(wǎng)絡(luò)平臺上錄入相關(guān)數(shù)據(jù)信息，同時提交紙質(zhì)文件。

2.7 項目實施質(zhì)量評價

由于各項目的經(jīng)費額度、重要性和影響面等不同，項目實施質(zhì)量評價方式宜分為材料評價和“材料+答辯評價”兩種。具體的評價流程詳見圖3。

圖3 科技教育項目質(zhì)量評價流程

2.7.1 專家組成

項目實施質(zhì)量評價單位在專家?guī)熘谐槿】萍冀逃?、項目管理、財?wù)管理、科學(xué)傳播等專家，聯(lián)合教育行政部門相關(guān)負責人共同組成評價專家組。根據(jù)實際工作需要，材料評價專家組成員可以與“材料+答辯評價”專家組成員一致，也可以有所區(qū)別。

2.7.2 材料評價

項目實施質(zhì)量評價單位組織材料評價專家組，根據(jù)評價指標體系對比各科技教育項目立項預(yù)期指標以及各項目單位提交的自評材料，給出評價意見。如有評價體系網(wǎng)上平臺，專家也可直接在網(wǎng)上系統(tǒng)審核項目各項指標完成值，以及年初填報的項目預(yù)期指標的對比情況，填寫評價意見。

2.7.3 “材料+答辯”評價

對于項目金額較大、重要性程度較高、影響面較廣的項目，由項目實施質(zhì)量評價單位組織“材料+答辯”專家組，對項目負責人進行現(xiàn)場答辯。

(1) 答辯材料準備。在答辯前，項目承擔單位需按項目實施質(zhì)量評價單位的答辯要求及答辯材料清單準備答辯材料，并在答辯時攜帶所有答辯材料到答辯現(xiàn)場交予項目評價單位。

(2) 現(xiàn)場答辯。答辯正式開始前，評價專家組推選一位專家擔任組長。答辯時，由項目負責人及相關(guān)干系人對項目進行詳細匯報，重點介紹質(zhì)量評價指標體系中各項指標的達成情況；評價專家對項目的實施情況、完成情況、資金使用情況等進行現(xiàn)場提問，項目答辯人員按要求進行答辯。答辯結(jié)束后，專家組對項目的完成情況進行充分討論，并統(tǒng)一匯總形成專家評價意見。

2.7.4 評價結(jié)果反饋

項目質(zhì)量評價單位匯總專家意見后，將所有科技教育項目的質(zhì)量評價結(jié)果反饋給教育行政部門。

2.8 評價結(jié)果公示及證書頒發(fā)

2.8.1 評價結(jié)果公示

在一定范圍內(nèi)，如教育行政部門網(wǎng)站、廣東科學(xué)中心官網(wǎng)等，公示、公開科技教育項目實施質(zhì)量評價結(jié)果。在公示期內(nèi)，接受有疑議單位的復(fù)核申請；必要時，組織專家對有疑議項目進行復(fù)核。復(fù)核后，重新上網(wǎng)公示。

2.8.2 發(fā)放評價證書

所有科技教育項目實施質(zhì)量評價公示結(jié)束后，對評價等級為合格及以上的單位，通過網(wǎng)上證書系統(tǒng)發(fā)放評價證書。

3 預(yù)期效果

3.1 保證項目實施質(zhì)量得到有效監(jiān)控

通過建立從專家?guī)旖?、評價指標確立、項目實施過程質(zhì)量監(jiān)控、中期考核，到結(jié)項驗收、質(zhì)量評價的項目質(zhì)量監(jiān)控、管理、評價全流程體系，使質(zhì)量評價工作不囿于最終的考核驗收形式，而是切實做到對項目實施過程進行監(jiān)控，保證最終實施質(zhì)量。

3.2 有效提升項目承擔單位的項目質(zhì)量管理水平

科技教育項目有其特有的推進和實施方式，但是一般項目的質(zhì)量管理理論和方法仍然適用于科技教育項目。在第三方評價機構(gòu)對科技教育項目開展實施質(zhì)量監(jiān)控、管理和評價的過程中，各項目承擔單位能夠了解并應(yīng)用這些科學(xué)、有效、可操作性強的項目質(zhì)量管理方法，提升對項目質(zhì)量的管理水平。

3.3 提供客觀、公正、完整的第三方評價結(jié)果

作為第三方的項目評價組織機構(gòu)，應(yīng)堅持實事求是、客觀公正、科學(xué)嚴謹、統(tǒng)一規(guī)范的評價原則，克服本位主義，在嚴格的項目管理和質(zhì)量控制下完成評價工作，最終向客戶提供客觀、公正、完整的評價報告。同時，由客觀、公正的第三方評價組織機構(gòu)通過科學(xué)有效的評價體系得出的評價結(jié)果，可成為項目承擔單位將來申報科技教育項目時評審的參考依據(jù)，也可以作為財政經(jīng)費績效考核的有效依據(jù)。