汪 燕

(深圳市水務(wù)科技信息中心，深圳 518036)

在科技項(xiàng)目實(shí)施的全周期內(nèi)，如何保障科技創(chuàng)新項(xiàng)目研究活動(dòng)及其成果的水平與質(zhì)量，如何采用定性與定量分析方法結(jié)合起來(lái)，對(duì)科技管理進(jìn)行科學(xué)、公平、合理的評(píng)估一直是科技行政管理部門(mén)、科技工作者及社會(huì)各界關(guān)注的焦點(diǎn)。深圳市水務(wù)科技創(chuàng)新項(xiàng)目自設(shè)立以來(lái)，支持了一大批水環(huán)境治理、水安全保障、水資源利用、水生態(tài)健康、水管理服務(wù)和水利工程運(yùn)行等水務(wù)重點(diǎn)領(lǐng)域項(xiàng)目，取得了非常明顯的成效。但是在實(shí)施和管理中仍然存在布局整體性和系統(tǒng)性不足、項(xiàng)目來(lái)源單一、部分成果的應(yīng)用和推廣性不高等很多問(wèn)題。如何選擇合適的方法、對(duì)過(guò)去深圳市水務(wù)科技創(chuàng)新項(xiàng)目效益成果作出合理的評(píng)估，是水務(wù)科技創(chuàng)新項(xiàng)目管理中急需解決的問(wèn)題。本文以深圳市近年來(lái)實(shí)施的水務(wù)科技項(xiàng)目為分析對(duì)象，通過(guò)調(diào)查整理項(xiàng)目實(shí)施過(guò)程的問(wèn)題和成效，結(jié)合項(xiàng)目管理資料，通過(guò)劃分項(xiàng)目類型，梳理評(píng)價(jià)指標(biāo)種類，建立評(píng)估體系，探討采用層次分析法對(duì)項(xiàng)目的效益指標(biāo)進(jìn)行賦分評(píng)價(jià)，進(jìn)而評(píng)判項(xiàng)目實(shí)施的質(zhì)量層次。

1 項(xiàng)目評(píng)估體系構(gòu)建

1.1 評(píng)估體系的建立

合理構(gòu)建項(xiàng)目評(píng)估體系是至關(guān)重要的，按照深圳市水務(wù)科技創(chuàng)新項(xiàng)目實(shí)施特征，本文將評(píng)估指標(biāo)體系分為三層：目標(biāo)層、準(zhǔn)則層、指標(biāo)層。目標(biāo)層為單一目標(biāo)——深圳市水務(wù)科技創(chuàng)新項(xiàng)目評(píng)估指數(shù)，深圳市水務(wù)科技創(chuàng)新項(xiàng)目評(píng)估的目的在于綜合評(píng)估深圳市水務(wù)科技創(chuàng)新項(xiàng)目資金以項(xiàng)目的形式用于深圳市水安全、水資源、水環(huán)境、水生態(tài)、水管理和水利工程等項(xiàng)目的整體實(shí)施過(guò)程，分析項(xiàng)目實(shí)施過(guò)程中存在的問(wèn)題，對(duì)項(xiàng)目實(shí)施過(guò)程中積累的經(jīng)驗(yàn)進(jìn)行總結(jié)，為強(qiáng)化項(xiàng)目管理單位和項(xiàng)目實(shí)施單位在深圳市水務(wù)科技創(chuàng)新項(xiàng)目管理提供決策依據(jù)。準(zhǔn)則層包括項(xiàng)目立項(xiàng)、項(xiàng)目管理、項(xiàng)目產(chǎn)出和項(xiàng)目效果4個(gè)層面，是影響和制約深圳市水務(wù)科技創(chuàng)新項(xiàng)目實(shí)施的因素，項(xiàng)目立項(xiàng)是決定項(xiàng)目能否為深圳水務(wù)科技工作提供有力支撐的重要因素，是項(xiàng)目能否按照既定計(jì)劃順利實(shí)施的必要條件，也是深圳市水務(wù)科技創(chuàng)新項(xiàng)目實(shí)施過(guò)程中的重要基礎(chǔ)工作，包括立項(xiàng)程序、項(xiàng)目目標(biāo)、項(xiàng)目?jī)?nèi)容三項(xiàng)基本指標(biāo)；二是項(xiàng)目管理，項(xiàng)目管理是深圳市水務(wù)科技創(chuàng)新項(xiàng)目具體實(shí)施過(guò)程的核心環(huán)節(jié)，是決定項(xiàng)目成敗的關(guān)鍵，是深圳市水務(wù)科技創(chuàng)新項(xiàng)目評(píng)估的重要落腳點(diǎn)，包括組織管理、財(cái)務(wù)管理、驗(yàn)收管理、檔案管理四項(xiàng)基本指標(biāo)；三是項(xiàng)目產(chǎn)出，項(xiàng)目產(chǎn)出是深圳市水務(wù)科技創(chuàng)新項(xiàng)目實(shí)施規(guī)范性的重要考核層面，包括產(chǎn)出進(jìn)度和產(chǎn)出質(zhì)量?jī)身?xiàng)基本指標(biāo)；四是項(xiàng)目效果，項(xiàng)目效果是深圳市水務(wù)科技創(chuàng)新項(xiàng)目實(shí)施總體成效的集中體現(xiàn)，包括成果應(yīng)用和實(shí)施成效兩項(xiàng)基本指標(biāo)。每一個(gè)準(zhǔn)則層包含的基本指標(biāo)構(gòu)成指標(biāo)層，共11個(gè)單項(xiàng)指標(biāo)，以全面反映和考核深圳市水務(wù)科技創(chuàng)新項(xiàng)目實(shí)施情況，每一個(gè)指標(biāo)的含義和評(píng)判標(biāo)準(zhǔn)如下：

(1)立項(xiàng)程序：反映和考核項(xiàng)目是否滿足申報(bào)條件；項(xiàng)目的申請(qǐng)、論證、入庫(kù)、批復(fù)等程序是否符合項(xiàng)目立項(xiàng)相關(guān)要求；實(shí)施方案的編制內(nèi)容是否完整，是否按照項(xiàng)目管理部門(mén)(單位)的要求進(jìn)行修改完善。

(2)項(xiàng)目目標(biāo)：反映和考核項(xiàng)目目標(biāo)是否符合國(guó)家法律法規(guī)、方針政策和自己支持方向；是否符合深圳水利事業(yè)改革發(fā)展方向，是否與項(xiàng)目承擔(dān)單位的工作職責(zé)和任務(wù)一致；項(xiàng)目目標(biāo)是否合理。

(3)項(xiàng)目?jī)?nèi)容：反映和考核項(xiàng)目?jī)?nèi)容與項(xiàng)目目標(biāo)是否匹配；內(nèi)容設(shè)置是否清晰、細(xì)化、量化、可衡量。

(4)組織管理：反映和考核承擔(dān)單位在項(xiàng)目實(shí)施過(guò)程中權(quán)責(zé)分工是否明確；項(xiàng)目相關(guān)管理制度是否健全，是否嚴(yán)格貫徹執(zhí)行相關(guān)管理制度。

(5)財(cái)務(wù)管理：反映和考核承擔(dān)單位項(xiàng)目預(yù)算編制是否規(guī)范；是否建立獨(dú)立項(xiàng)目資金賬戶；預(yù)算經(jīng)費(fèi)是否及時(shí)、全額到位；經(jīng)費(fèi)管理、費(fèi)用支出等制度是否完善，是否嚴(yán)格執(zhí)行；經(jīng)費(fèi)使用是否合規(guī)；項(xiàng)目經(jīng)費(fèi)是否按時(shí)執(zhí)行完成。

(6)驗(yàn)收管理：反映和考核承擔(dān)單位項(xiàng)目驗(yàn)收程序是否符合相關(guān)規(guī)定；驗(yàn)收?qǐng)?bào)告文本是否規(guī)范。

(7)資料管理：反映和考核項(xiàng)目承擔(dān)單位是否嚴(yán)格按照項(xiàng)目管理部門(mén)(單位)要求的內(nèi)容及期限整理并上報(bào)項(xiàng)目相關(guān)材料，項(xiàng)目上報(bào)材料主要包括項(xiàng)目實(shí)施方案、總結(jié)、驗(yàn)收?qǐng)?bào)告、成果報(bào)告、成果信息摘要等。

(8)產(chǎn)出進(jìn)展：反映和考核項(xiàng)目按照實(shí)施方案、項(xiàng)目?jī)?nèi)容等要求的任務(wù)進(jìn)展情況。

(9)產(chǎn)出質(zhì)量：反映和考核項(xiàng)目已完成任務(wù)是否應(yīng)用；是否達(dá)到項(xiàng)目目標(biāo)要求；是否滿足相應(yīng)技術(shù)標(biāo)準(zhǔn)。

(10)成果應(yīng)用：反映和考核項(xiàng)目成果是否實(shí)際應(yīng)用及應(yīng)用過(guò)程是否正常。

(11)實(shí)施成效：反映和考核項(xiàng)目的實(shí)施是否能夠推進(jìn)深圳水務(wù)科技創(chuàng)新及應(yīng)用、水務(wù)領(lǐng)域新技術(shù)推廣與示范、水務(wù)業(yè)務(wù)重大技術(shù)攻關(guān)、水務(wù)工作專題研究等方面。

指標(biāo)詳細(xì)劃分情況見(jiàn)表1。

表1 深圳市水務(wù)科技創(chuàng)新項(xiàng)目評(píng)估指標(biāo)體系

1.2 確定指標(biāo)權(quán)重

指標(biāo)權(quán)重的確定是層次分析法的重要步驟，其目的是確定系統(tǒng)中各因素之間的關(guān)系，建立系統(tǒng)層次結(jié)構(gòu)模型。將包含的因素分組，每組作為一個(gè)層次，從上至下依次分為目標(biāo)層(最高層)、準(zhǔn)則層(中間層)和指標(biāo)層(底層)，上一層次對(duì)相鄰的狹義層次的逐層支配關(guān)系，即遞階層次關(guān)系。由層次結(jié)構(gòu)模型中每層中的各因素的相對(duì)重要性的判斷數(shù)值列表構(gòu)成判斷矩陣，判斷矩陣表示同一層與上一層某因素有關(guān)各因素之間相對(duì)重要的比較。例如，若A層次中因素Ak與下層次nB1，B2，，Bn有聯(lián)系，則判斷矩陣：

(1)

bij是判斷矩陣P的元素，表示對(duì)因素而言，與相對(duì)重要性的數(shù)值，以(1～5)標(biāo)度值表示比較結(jié)果，各級(jí)標(biāo)度的含義詳見(jiàn)表2。

表2 判斷矩陣標(biāo)度及其含義

根據(jù)判斷矩陣求出這n個(gè)元素B1，B2，，Bn對(duì)Ak的相對(duì)權(quán)重向量W=(W1，W2，，Wn)T，即計(jì)算判斷矩陣的最大特征值及對(duì)應(yīng)的特征向量。

對(duì)該特征向量進(jìn)行規(guī)范化(歸一化處理)，

(2)

采用構(gòu)造兩兩比較判斷矩陣，由各指標(biāo)之間的兩兩比較關(guān)系判斷矩陣計(jì)算指標(biāo)權(quán)重。對(duì)同一層次指標(biāo)，進(jìn)行兩兩比較，以標(biāo)度值表示比較結(jié)果，標(biāo)度值由項(xiàng)目組先行暫定，通過(guò)專家咨詢環(huán)節(jié)確定。通過(guò)對(duì)近期水務(wù)科技創(chuàng)新項(xiàng)目的分析，采用上述方法確定深圳市水務(wù)科技項(xiàng)目評(píng)估指標(biāo)準(zhǔn)則層項(xiàng)目立項(xiàng)、項(xiàng)目管理、項(xiàng)目產(chǎn)出、項(xiàng)目效果四個(gè)層面的權(quán)重分別為：0.0972、0.1639、0.4018、0.3370。同理，分別得出準(zhǔn)則層各層面指標(biāo)兩兩比較判斷矩陣的最大特征值及一致性比例，準(zhǔn)則層各層面指標(biāo)兩兩比較判斷矩陣的一致性比例均小于0.1，滿足要求，結(jié)果見(jiàn)表3。

表3 準(zhǔn)則層各層面指標(biāo)判斷矩陣最大特征值及一致性比例

準(zhǔn)則層各層面評(píng)估指標(biāo)的相對(duì)權(quán)重規(guī)范化處理結(jié)果見(jiàn)表4。

表4 規(guī)范化處理后準(zhǔn)則層各層面評(píng)估指標(biāo)的相對(duì)權(quán)重

綜合各準(zhǔn)則層權(quán)重值以及準(zhǔn)則層各層面評(píng)估指標(biāo)的相對(duì)權(quán)重值，可得指標(biāo)層所有指標(biāo)對(duì)目標(biāo)層的合成權(quán)重，見(jiàn)表5。

表5 指標(biāo)層所有指標(biāo)對(duì)目標(biāo)層的合成權(quán)重

1.3 指標(biāo)賦分標(biāo)準(zhǔn)

指標(biāo)層各項(xiàng)基本指標(biāo)按照100分制進(jìn)行逐項(xiàng)打分，評(píng)分標(biāo)準(zhǔn)以項(xiàng)目立項(xiàng)(C1)和項(xiàng)目?jī)?nèi)容(C3)為例，打分如下：

項(xiàng)目立項(xiàng)(C1)：一是申報(bào)條件(20分)。項(xiàng)目滿足申報(bào)條件的，20分；不滿足的，0分。二是立項(xiàng)程序(50分)。項(xiàng)目立項(xiàng)程序完整且符合相關(guān)規(guī)定的，50分；立項(xiàng)程序不完整或不符合相關(guān)規(guī)定的，每少1項(xiàng)程序或每有1項(xiàng)程序不符合規(guī)定扣10分，分值扣完為止。三是實(shí)施方案編制(30分)。實(shí)施方案完整且符合要求或按要求修改完善的，30分；實(shí)施方案不完整的，每少1項(xiàng)內(nèi)容扣3分；未按項(xiàng)目管理部門(mén)(單位)的要求修改完善的，0分。上述3項(xiàng)得分相加求和即為該評(píng)估指標(biāo)最終得分。

項(xiàng)目?jī)?nèi)容(C3)：反映和考核內(nèi)容設(shè)置是否細(xì)化、量化可衡量。一是內(nèi)容匹配性(20分)。項(xiàng)目?jī)?nèi)容與項(xiàng)目目標(biāo)匹配的，30分；基本匹配的，15分；不匹配的，0分。內(nèi)容細(xì)化(40分)。內(nèi)容細(xì)化的，40分；比較細(xì)化的，20分；未細(xì)化的，0分。內(nèi)容量化(40分)。內(nèi)容量化的，40分；比較量化的，20分；未量化的，0分。上述3項(xiàng)得分相加求和即為該評(píng)估指標(biāo)最終得分。如此類推，將其他指標(biāo)的賦分標(biāo)準(zhǔn)一一確定。

2 項(xiàng)目評(píng)估分析

2.1 項(xiàng)目樣本選定

對(duì)于某一特定項(xiàng)目進(jìn)行評(píng)估時(shí)，搜集資料越全面，評(píng)估結(jié)果就越客觀。然而，如果為了通過(guò)評(píng)估掌握某一類項(xiàng)目的實(shí)施情況，需要盡量提高評(píng)估項(xiàng)目樣本所占比例，以反映某類項(xiàng)目的總體情況。2008—2017年，深圳市水務(wù)發(fā)展專項(xiàng)資金科技項(xiàng)目合計(jì)138個(gè)，總投資25297萬(wàn)元。其中以2013年為分界，2008—2012年中的科技項(xiàng)目合計(jì)37個(gè)，總投資3605萬(wàn)元，主要來(lái)源為水務(wù)發(fā)展專項(xiàng)資金中的能力建設(shè)投入；2013—2017年，整體的水務(wù)科技項(xiàng)目有了較大層次的提高，項(xiàng)目數(shù)達(dá)到101個(gè)，其中水務(wù)科技創(chuàng)新項(xiàng)目57個(gè)，總投資6955萬(wàn)元?？紤]到資料的可獲取性和參考價(jià)值，本次研究選取2013—2017年的全部水務(wù)科技創(chuàng)新項(xiàng)目57個(gè)，以及2008—2012年的部分水務(wù)科技項(xiàng)目10個(gè)，共計(jì)67個(gè)作為評(píng)估項(xiàng)目樣本。

通過(guò)對(duì)已經(jīng)掌握的項(xiàng)目相關(guān)資料的梳理分析，對(duì)項(xiàng)目任務(wù)進(jìn)行了分類。評(píng)估項(xiàng)目包含水安全項(xiàng)目12個(gè)、水環(huán)境項(xiàng)目19個(gè)、水資源項(xiàng)目5個(gè)、水生態(tài)項(xiàng)目10個(gè)、水管理項(xiàng)目10個(gè)、水利工程項(xiàng)目11個(gè)，涵蓋了水務(wù)科技項(xiàng)目的各類任務(wù)，各類任務(wù)評(píng)估項(xiàng)目數(shù)占評(píng)估項(xiàng)目總數(shù)的比例與各類任務(wù)項(xiàng)目占項(xiàng)目總數(shù)的比例基本一致，評(píng)估結(jié)果在一定程度上反映了各類任務(wù)項(xiàng)目的總體狀況，如圖1所示。

圖1 各類任務(wù)評(píng)估項(xiàng)目比例與項(xiàng)目總體比例對(duì)比

2.2 項(xiàng)目評(píng)估總體分析

利用以建立好的評(píng)估體系，分別對(duì)待選取樣本共43個(gè)項(xiàng)目逐一打分評(píng)估，同時(shí)按照每個(gè)項(xiàng)目的實(shí)際打分情況結(jié)合項(xiàng)目撥款進(jìn)度、項(xiàng)目?jī)?nèi)容完成質(zhì)量、項(xiàng)目驗(yàn)收效果、項(xiàng)目審計(jì)情況等，將評(píng)估樣本分為A、B、C、D、E、F六個(gè)等級(jí)，具體定義見(jiàn)表6。

表6 水務(wù)科技評(píng)估項(xiàng)目等級(jí)劃分標(biāo)準(zhǔn)

根據(jù)總體打分情況和項(xiàng)目的等級(jí)劃分情況，43個(gè)深圳市水務(wù)科技項(xiàng)目評(píng)估平均分?jǐn)?shù)為64分，項(xiàng)目實(shí)施總體情況達(dá)到D級(jí)，不同評(píng)估等級(jí)的項(xiàng)目數(shù)為：A級(jí)12個(gè)，B級(jí)10個(gè)，C級(jí)4個(gè)，D級(jí)2個(gè)，E級(jí)13個(gè)，F(xiàn)級(jí)2個(gè)。項(xiàng)目評(píng)估不同等級(jí)所占比例如圖2所示。

圖2 項(xiàng)目評(píng)估不同等級(jí)所占比例

圖2表明，分析樣本中評(píng)估等級(jí)A級(jí)和B級(jí)分別僅占28%和23%，E級(jí)所占比例最高，達(dá)到30%，甚至出現(xiàn)了個(gè)別F級(jí)項(xiàng)目，即立項(xiàng)后被擱置或終止的項(xiàng)目，占項(xiàng)目評(píng)估總數(shù)的5%。由此可見(jiàn)，由于管理制度不健全、項(xiàng)目主管部門(mén)人員流動(dòng)、項(xiàng)目承擔(dān)單位責(zé)任不到位、成果達(dá)標(biāo)率偏低、推廣應(yīng)用率低等原因，2008—2017年深圳市水務(wù)科技項(xiàng)目總體實(shí)施情況不佳，產(chǎn)出效果不高。

3 結(jié)語(yǔ)

采用層次分析法對(duì)科技項(xiàng)目實(shí)施效益的評(píng)價(jià)，利用得分分值體現(xiàn)了不同科技項(xiàng)目在同一評(píng)估指標(biāo)體系下的質(zhì)量好壞相對(duì)程度，具有直觀性和公平性，通過(guò)對(duì)二級(jí)指標(biāo)的逐一探討，可以針對(duì)項(xiàng)目實(shí)施過(guò)程中出現(xiàn)的問(wèn)題和積累的經(jīng)驗(yàn)進(jìn)行總結(jié)，有利于項(xiàng)目管理單位和項(xiàng)目承擔(dān)單位分別提出強(qiáng)化項(xiàng)目管理的對(duì)策措施和建議。這一方法對(duì)難以定量評(píng)價(jià)和考核的項(xiàng)目實(shí)施成效分析有較強(qiáng)的借鑒意義，但在采用該方法的過(guò)程中，應(yīng)詳細(xì)分析劃分評(píng)價(jià)指標(biāo)，并以實(shí)施情況加以對(duì)比驗(yàn)證。