薛 露, 沈映娜, 盧智星

(廣東省科技基礎(chǔ)條件平臺中心, 廣州 510033)

模糊綜合評價法在科技項目驗收評價中的應(yīng)用①

薛 露, 沈映娜, 盧智星

(廣東省科技基礎(chǔ)條件平臺中心, 廣州 510033)

為了科學的進行科技項目驗收評價, 以廣東省工業(yè)攻關(guān)項目為評價對象, 對科技項目驗收流程進行改進, 建立科技項目驗收財務(wù)和技術(shù)評價指標體系, 采用模糊綜合評價的方法, 構(gòu)建科技項目驗收評價模型, 對評價模型進行科技項目材料驗收實例驗證, 實例驗證表明, 該模型應(yīng)用具有較高的吻合度, 相對于傳統(tǒng)的專家會議法更為科學、合理, 為科技項目驗收評估信息系統(tǒng)的實現(xiàn)提供理論方法.

模糊綜合評價; 科技項目; 驗收評價

科技項目驗收評價是對科技項目的完成情況進行有效跟蹤和管理的一個重要環(huán)節(jié), 是科技經(jīng)費合理使用的重要保證, 也是國家或地方進行科技經(jīng)費宏觀調(diào)控和合理分配的重要依據(jù)[1]. 國外一些創(chuàng)新型國家進行了多年的科技項目評價研究, 進行了同行評議法、文獻計量法、經(jīng)濟計量法等大量常用的科技評價方法改進, 開發(fā)出簡單、易操作的評價方法、進行評價方法的的工具化等工作, 這些建設(shè)經(jīng)驗為科技評價活動健康發(fā)展發(fā)揮了基礎(chǔ)性的保障作用[2,3]. 目前, 國內(nèi)一些學者針對我國科技項目驗收過程中存在的驗收工作流于形式、缺乏有效的驗收評價體系等問題[4], 從國家和省市科技項目驗收管理現(xiàn)狀進行了研究, 提出加強科技項目的評估政策建議[5,6]. 從科技項目驗收評價方法的角度, 有學者提出了通用的科技項目驗收評估指標體系和決策模型[7], 但沒有考慮到科技項目的評價重點和驗收要求不同, 對于特定的科技項目驗收評價, 缺少相關(guān)的研究. 另外, 由于科技項目驗收尤其是重點、重大科技項目包含內(nèi)容眾多、因其知識創(chuàng)新性、項目差異性, 項目風險性遠超一般的科技項目, 難以建立有效的評價指標[8], 而對于一般的科技項目, 經(jīng)費資助低, 項目風險小, 項目評價要求相對明確, 多采用專家會議函審的方式[9], 對于一般科技項目的評價指標和評價方法進行研究具有比較好的可行性和實用性. 由于科技項目的驗收結(jié)果受多因素的影響, 對項目驗收評價同行評議專家大多給出模糊性的評語, 模糊綜合評價法是一種模糊數(shù)學的綜合評價方法, 可以較好的解決綜合評價中的模糊性, 并且該方法具有簡單、易用的特點[10],便于在實踐操作中把專家定性判斷轉(zhuǎn)化定量數(shù)據(jù), 有利于項目驗收評價方法的工具化, 解決科技項目驗收評價實踐的可行性和實用性問題. 因此, 本文只考慮一般科技項目, 通常要求材料驗收的科技項目, 參考現(xiàn)有的科技項目評價指標體系, 以廣東省工業(yè)攻關(guān)科技計劃驗收為實例對象, 結(jié)合科技項目材料驗收的現(xiàn)有管理流程, 建立科技項目材料驗收評價指標體系, 運用模糊數(shù)學建立科技項目驗收評價模型, 結(jié)合層次分析法,合理處理主觀評判的風險[11], 為科技項目驗收評估信息系統(tǒng)的實現(xiàn)提供理論方法.

1 科技項目材料驗收流程

科技項目材料驗收主要采用專家會議法對材料進行函審, 以廣東省工業(yè)攻關(guān)科技計劃項目材料驗收流程為例, 如圖1所示, 項目承擔單位提交驗收資料, 然后邀請2-4名技術(shù)專家和1名財務(wù)專家對材料通過討論交流, 共同出具專家評語. 為了加強科技項目經(jīng)費管理,在遵循廣東省科技項目相關(guān)辦法的前提下, 項目材料驗收流程改進如下: 承擔單位必須按照項目要求提交項目資料, 如合同、項目總結(jié)報告、成果證明資料、財務(wù)資料等必備資料, 才能進行財務(wù)驗收, 財務(wù)驗收如果財務(wù)驗收不合格, 項目驗收結(jié)果為不通過; 只有驗收合格, 才能進入技術(shù)驗收階段, 進入技術(shù)驗收階段的項目, 考慮形式審查中材料準備的齊全程度、格式等因素, 財務(wù)驗收階段財務(wù)驗收評價等因素, 產(chǎn)生項目驗收的最終評價. 如圖2所示.

圖1 工業(yè)攻關(guān)項目驗收流程

2 構(gòu)建綜合評價指標

2.1 建立材料驗收評價財務(wù)和技術(shù)指標

科技項目驗收評價是以合同為評價根據(jù), 對承擔單位承擔的科技項目進行判斷, 做出是否通過驗收的判斷[12]. 結(jié)合改進的工業(yè)攻關(guān)項目驗收流程, 采用定性與定量相結(jié)合的原則, 考慮對不同技術(shù)領(lǐng)域的工業(yè)攻關(guān)項目驗收評價具有一定的指導(dǎo)作用, 同時, 考慮到科技政策未來變動的情況, 設(shè)立的指標體系層次體系不易過細, 指標體系應(yīng)能在一段時間內(nèi)較穩(wěn)定的使用, 因此, 本文設(shè)立指標體系層級為二級. 由于財務(wù)驗收和技術(shù)驗收所屬領(lǐng)域不同, 所以分別建立工業(yè)攻關(guān)項目財務(wù)驗收評價指標體系如表1, 和工業(yè)攻關(guān)項目技術(shù)驗收評價指標體系如表2.

圖2 改進的工業(yè)攻關(guān)項目驗收流程

表1 財務(wù)驗收評價指標集

表2 技術(shù)驗收評價指標集

2.2 建立材料驗收評價集

評價集是對各層次評價指標的一種語言描述, 他是評審人對各評價指標所給出的評語的集合. 以廣東省工業(yè)攻關(guān)科技計劃項目驗收流程為例, 設(shè)置科技項目的評語為: 良好、合格以及不合格三類:

定義財務(wù)評價集vc:

定義技術(shù)評價集vu:

科技項目驗收結(jié)果A受財務(wù)評價和技術(shù)評價的影響:

當vc=v1且vu=v1時,

當vc∈(v1, v2)且vu∈(v1, v2)且vc、vu不能同時等于v1,

當vc=v3或vu=v3時,

科技項目評價結(jié)果為良好: 要求為項目100%或者超額完成合同技術(shù)指標, 經(jīng)費使用合理合規(guī), 在社會經(jīng)濟效益取得顯著效果; 評價結(jié)果為合格: 要求項目至少80%完成合同技術(shù)指標, 經(jīng)費使用基本合理合規(guī), 基本完成社會經(jīng)濟效益指標; 評價結(jié)果為不合格: 項目完成技術(shù)指標少于80%, 或者經(jīng)費使用不合理, 或者基本未完成社會經(jīng)濟效益指標.

3 確定評價指標權(quán)重

在進行模糊綜合評價時, 權(quán)重對最終結(jié)果會產(chǎn)生很大的影響, 不同的權(quán)重有時會得到完全不同的結(jié)論,從廣東科技項目專家?guī)熘懈S機抽取有過工業(yè)攻關(guān)科技項目評審經(jīng)歷的技術(shù)專家和財務(wù)專家各20名, 采取問卷調(diào)查的方法, 有效回收問卷40份, 采用層次分析法對指標權(quán)重進行處理. 層次分析法(Analytic Hierarchy Process, AHP)是Saaty等人在20世紀70年代初提出的一種多準則決策方法. 它是將半定性、半定量的決策問題轉(zhuǎn)化為定量問題的有效途徑[13]. 本次評價邀請20名的科技項目評審技術(shù)專家和20名科技項目評審財務(wù)專家, 對指標的權(quán)重進行確定, 本次評價采用1-9度及其倒數(shù)標度法, 應(yīng)用層次分析法軟件yahaap0.5.3對指標權(quán)重進行處理, 層次單排序權(quán)重處理結(jié)果如下:

判斷矩陣c、c1、c2、u、u1、u2、u3的一致性指標數(shù)值為0、0.0663、0.0152、0.0707、0.0453、0.0569、0.0559均小于0.1, 一致性檢驗通過.

根據(jù)評價指標權(quán)重處理結(jié)果可以看出, 材料形式審查的層次總排序比重分別是0.2、0.1172; 目資料形式準備的情況對于財務(wù)評價或者技術(shù)評價最終的結(jié)果會產(chǎn)生一定的影響, 專家對形式審核評價會項目情況酌情打分, 更多的是依據(jù)項目財務(wù)或技術(shù)情況; 材料形式審查的財務(wù)評價和技術(shù)評價層次單排序比重分別是(0.5、0.5), (0.7500, 0.2500), 財務(wù)資料的齊全與財務(wù)公章的加蓋、財務(wù)經(jīng)理的簽字等格式要求對于財務(wù)專家評審?fù)戎匾? 而對技術(shù)專家來講, 更加看重項目資料齊全度是否能夠反映項目完成內(nèi)容, 這與實際材料驗收時專家定性判斷基本一致.

4 構(gòu)建模糊綜合評價

4.1 構(gòu)建綜合評價矩陣

分別選取某已驗收合格工業(yè)攻關(guān)項目M和驗收不合格工業(yè)攻關(guān)項目H為例進行實例方法驗證, 首先邀請10名財務(wù)專家分別對該項目M和H的財務(wù)指標進行財務(wù)評價, 結(jié)果統(tǒng)計如表3和表4.

表3 M項目財務(wù)專家評價統(tǒng)計

表4 H項目財務(wù)專家評價統(tǒng)計

根據(jù)表3, 構(gòu)造M項目財務(wù)指標模糊判斷矩陣R如下:

M項目財務(wù)驗收評價中形式審查評價向量B1和資金使用情況評價向量B2:

M項目財務(wù)驗收指標評價向量BMr:

按照最大隸屬度原則, 說明M項目財務(wù)驗收合格.

同理, H項目財務(wù)指標綜合評判結(jié)果BHr:

根據(jù)最大隸屬度原則, 說明H項目財務(wù)驗收不合格. 根據(jù)公式(3)和項目驗收流程圖2, H項目驗收流程結(jié)束, H項目的最終驗收評價結(jié)果為不合格.

根據(jù)項目驗收流程圖2, M項目財務(wù)驗收合格后,項目進入技術(shù)驗收階段, 邀請10名技術(shù)專家對項目材料依據(jù)指標體系技術(shù)評審, 項目單因素評價結(jié)果統(tǒng)計如表5所示.

表5 M項目技術(shù)專家評價統(tǒng)計

構(gòu)建M項目技術(shù)指標模糊評判矩陣如下:

計算技術(shù)指標評價體系第一層評價指標的評價向量分別為:

M項目技術(shù)指標評價綜合評價結(jié)果BMrr為:

按照最大隸屬度原則, 說明M項目技術(shù)驗收合格.根據(jù)公式(2)項目驗收流程圖2, M項目財務(wù)驗收和技術(shù)驗收結(jié)果均為合格, 則M項目驗收評審結(jié)果為合格.

4.2 結(jié)果與分析

通過上述理論模型的計算結(jié)果與實際驗收結(jié)果基本一致, 通過定性指標定量化處理, 根據(jù)計算結(jié)果可知M和H項目的驗收結(jié)果: 項目M材料形式審查和合格,資金使用情況基本合理合規(guī), 技術(shù)完成內(nèi)容超過80%,驗收結(jié)果為合格; 項目H材料形式審查合格, 資金使用情況不合理, 未通過財務(wù)驗收. 同時, 通過指標打分情況分析可以進行驗收數(shù)據(jù)分析, 分析表明承擔單位在H項目科技項目經(jīng)費使用方面存在方面缺陷, 為科技項目驗收管理決策分析提供參考依據(jù).

與廣東省工業(yè)攻關(guān)項目采用的專家會議法相比,能夠較好的解決專家評審帶來的不確定性問題, 能夠規(guī)范科技項目驗收評估流程, 提高科技項目驗收的公平性、獨立性, 有利于驗收后績效的數(shù)據(jù)分析, 并且通過合理科學驗收指標體系和模型的建立為科技項目驗收評估信息系統(tǒng)提供基礎(chǔ). 因此, 比較而言, 本文對科技項目材料驗收所建立的綜合評價模型更為合理、科學, 其評價結(jié)果也能真實的反映科技項目驗收情況.

4.3 應(yīng)用流程

材料驗收模糊綜合評價為科技項目驗收評估信息系統(tǒng)提供理論方法, 模型作為科技項目驗收評估信息系統(tǒng)的一個綜合評價模塊進行了實現(xiàn), 采用windows系統(tǒng), 數(shù)據(jù)庫采用Mysql Server 5.6, 前臺采用J2EE框架、jfinal架構(gòu)進行開發(fā), 硬件環(huán)境部署于采用基于刀片架構(gòu)的HPP體系架構(gòu)的曙光5000 A高性能計算機. 綜合評價模型應(yīng)用流程為邀請財務(wù)評審專家在線評審, 系統(tǒng)自動進行模糊綜合評判, 反饋評判結(jié)果; 評判結(jié)果為合格或良好的項目, 繼續(xù)邀請技術(shù)專家在線評審, 系統(tǒng)自動進行模糊綜合評判, 顯示技術(shù)評判結(jié)果以及項目最終評判結(jié)果. 如圖3.

圖 3 綜合評價模型應(yīng)用流程

5 結(jié)束語

本文針對科技項目材料驗收評價過程, 探索性的改進了科技項目材料驗收流程, 建立工業(yè)攻關(guān)項目財務(wù)和技術(shù)評價指標體系, 提出了一種模糊綜合評價和層次分析方法的綜合評價定量模型, 合理的處理了專家評審過程中的主觀性和片面性, 實例驗證結(jié)果表明評價模型具有較高的吻合性. 由于不同科技項目的驗收流程和評判標準不同, 本文僅就一種科技項目類型進行了研究, 未來在指標建立、評估方法、實踐應(yīng)用等方面還需要做更多的探索.

1馮美榮, 胡曉娜, 王勇. 論科技評估在科技項目管理全過程中的地位與作用. 科技創(chuàng)新與生產(chǎn)力, 2011, (10): 60–62.[doi: 10.3969/j.issn.1674-9146.2011.10.018]

2劉佳, 余國新, 趙麗婭. 創(chuàng)新型國家科技評價體系比較研究及對我國的啟示. 當代經(jīng)濟, 2014, (9): 66–68.

3楊洪濤, 左舒文. 國外科技評估發(fā)展新趨勢及對上海的啟示. 科技管理研究, 2014, 34(22): 14–17, 27. [doi: 10.3969/j.issn.1000-7695.2014.22.004]

4吳瓊, 王之嶺, 串麗敏, 等. 我國科技項目管理體制現(xiàn)狀及完善措施——借鑒發(fā)達國家的成功經(jīng)驗. 安徽農(nóng)業(yè)科學,2016, 44(5): 259–261.

5徐添明. GZ科技計劃項目管理評估及對策研究[碩士學位論文]. 廣州: 華南理工大學, 2015: 15–17.

6文凡引. 廣西科技計劃項目結(jié)題驗收中存在的問題及對策建議. 企業(yè)科技與發(fā)展, 2015, (21-22): 5–6.

7張曙紅, 張金隆, 陳德軍, 等. 科技項目的評標決策模型研究. 華中科技大學學報(自然科學版), 2004, 32(2): 95–97.

8宋東林, 付丙海, 唐恒. 基于全生命周期的科技計劃項目過程管理評價體系構(gòu)建. 科學管理研究, 2011, 29(1): 34–36,52.

9商雅婷. 廣東科技計劃管理體制改革研究[碩士學位論文].蘭州: 蘭州大學, 2015: 46–53.

10張吉軍. 模糊層次分析法(FAHP). 模糊系統(tǒng)與數(shù)學, 2000,14(2): 80–88.

11劉春龍. 王勇, 李佳, 基于虛擬消防演練的綜合評價研究與應(yīng)用. 計算機工程與設(shè)計, 2014, 35(6): 2244–2249.

12陳華雄, 歐陽進良. 科技評估與評審驗收關(guān)系淺析. 科技管理研究, 2012, 32(22): 57–60, 65. [doi: 10.3969/j.issn.1000-7695.2012.22.012]

13劉莉, 謝禮立. 層次分析法在城市防震減災(zāi)能力評估中的應(yīng)用. 自然災(zāi)害學報, 2008, 17(2): 48–52.

Application of Fuzzy Comprehensive Evaluation Method in the Acceptance Evaluation of Science and Technology Project

XUE Lu, SHEN Ying-Na, LU Zhi-Xing
(Guangdong Science and Technology Infrastructure Center, Guangzhou 510033, China)

In order to more scientifically evaluate science and technology projects to check their acceptance levels, the improved acceptance processes are proposed in this paper. Aiming at the Industrial projects in Guangdong Province, the Financial and Technical evaluation index system of the project acceptance is established by using the fuzzy comprehensive evaluation method. The proposed evaluation system is testified with given real cases and the results yield a reasonable effect. Compared with the traditional expert meeting approach, the fuzzy comprehensive evaluation method is more appropriate to be applied for the science and technology project acceptance.

fuzzy comprehensive evaluation; science and technology project; acceptance evaluation

薛露,沈映娜,盧智星.模糊綜合評價法在科技項目驗收評價中的應(yīng)用.計算機系統(tǒng)應(yīng)用,2017,26(7):173–177. http://www.c-sa.org.cn/1003-3254/5833.html

2016-10-12; 收到修改稿時間: 2016-11-21