厲小燕 趙奇 馬燕飛 陳寧 謝俊 仇嘉 葉翔宇 鄭翠翠 李紅艷 江涌 繆小平
摘 要:本文基于浙江省市場監(jiān)督管理系統檢驗檢測技術裝備項目管理的工作實踐經驗,設計了績效評價模型。利用德爾菲法對指標進行篩選,運用層次分析法對指標進行權重賦值,首次構建了“3+6+20”架構的檢驗檢測技術裝備項目績效考核評價體系,包括3個一級指標,6個二級指標,20個三級指標。進一步組織32名專家,運用該指標體系對裝備項目進行案例實證研究,發(fā)現可有效區(qū)分裝備項目績效水平高低,并發(fā)現項目管理過程中存在的短板。該評級體系可用于裝備項目績效自評和主管部門評價,從而促進相關機構不斷提升裝備項目管理水平,提高財政資金使用績效。
關鍵詞:檢驗檢測,裝備項目,績效評價,德爾菲法,層次分析法
DOI編碼:10.3969/j.issn.1002-5944.2023.18.007
0 引 言
科技強局是浙江市場監(jiān)管系統順應時代發(fā)展有效履職的戰(zhàn)略目標,也是全省市場監(jiān)管系統展現“重要窗口”奮力當擔作為的建局之基、立局之先、興局之要[1]。全面實施科技強局戰(zhàn)略要求全省市場監(jiān)管科技創(chuàng)新水平邁上一個臺階,科技裝備、基礎設施、技術水平等綜合實力全國領先,因此檢驗檢測技術裝備是實施科技強局的基礎保障。省市場監(jiān)督管理系統加大對檢驗檢測技術裝備的投入,儀器設備的數量和價值快速增長,但普遍缺乏科學合理的裝備項目績效評價體系。2020年2月財政部發(fā)布《項目支出績效評價管理辦法》一般公共預算、政府性基金預算、國有資本經營預算項目支出均應進行績效評價,同年10月浙江省財政廳發(fā)布《浙江省項目支出績效評價管理辦法》,要求全面實施預算績效管理,建立科學合理的項目支出績效評價體系,優(yōu)化財政資源配置,提高財政資金使用績效。結合財政部和省財政廳對項目支出績效評價的要求,有必要對檢驗檢測技術裝備項目績效評價體系進行構建與實踐。
1 評價體系構建
1.1 層次分析法概念
層次分析法( T h e a n a l y t i c h i e r a r c h yprocess,AHP)是本研究應用的主要方法,AHP由美國運籌學家Thome Saaty最早提出,它把復雜無序的問題分解為多個組成元素,并根據隸屬關系構造出一個簡明有序的層次結構,再通過兩兩比較的方式獲得每個層次中每個元素之間的相對重要性,最后通過層級串聯,計算出最低層次中每一個元素的相對重要性排序[2]。
1.2 評價指標的確定
本研究在分析機構承接檢驗檢測技術裝備項目管理現狀和存在的問題的基礎上,明確裝備服務于科研人員、檢測人員和共享人員的理念,設計了檢驗檢測技術裝備項目績效評價體系初模型,包括以下內容:從立項的角度出發(fā),選取立項指標;從采購管理角度出發(fā),選取相應的業(yè)務管理制度的健全性和執(zhí)行的有效性等組織實施指標;從用戶角度出發(fā),選取相應產出指標;從項目收益角度出發(fā),選取經濟效益和社會效益指標;從財務角度出發(fā),選取相應的財務指標;從服務對象角度出發(fā),選取相應的滿意度指標。為保證該評價指標體系科學性,特邀浙江省科技廳、浙江大學、浙江工業(yè)大學、中國計量大學、浙江省產品質量安全科學研究院、浙江省計量科學研究院、浙江省輕工業(yè)質量檢驗研究院、浙江省方圓檢測集團等12位從事裝備管理、科研項目管理、財務管理的專家,運用德爾菲法對指標進行篩選,最終整理形成“3+6+20”結構的檢驗檢測裝備項目績效指標體系框架,包括3個一級指標,6個二級指標,20個三級指標(見表1)。
1.3 指標權重的分配
該績效指標體系權重確定采用和積法計算下的AHP法,有效整合上述12位專家的量化判斷意見,充分納入主客觀相關信息。具體操作步驟:
第一步:標度確定和構造判斷矩陣
此步驟即為原始數據(判斷矩陣)的來源,某一層指標以上一層指標作為評判基準,使用1-5分標度法進行兩兩指標間相對重要性比較(最低為1分,最高為5分),其中1表示同等重要、2表示較重要、3表示重要、4表示很重要、5表示非常重要(倒數取值為相對不重要性評判);成對比較矩陣之上三角形部分形成n 個指標比較結果(具體采用專家組的均值取整分);主對角線為指標本身之比較,下三角形部分為上三角形部分相對位置的倒數。最終得到判斷矩陣表格(見表2-表8):
第二步:歸一化處理,計算權重
此步驟目的在于計算出權重值:首先,進行判斷矩陣的歸一化處理(即按列加和后進行歸一處理);然后將矩陣按行進行計算均值,即得出各指標的單權重(此值即為判斷舉證的正規(guī)化特征向量):
通過最終權重結果來看,業(yè)務指標在3個一級指標中所占權重最大,其次是財務指標,滿意度所占的比例最小。說明目前專家對于檢驗檢測技術裝備項目績效評價側重于產出完成、項目效益等指標,這些指標相對完善且可量化。服務對象的滿意度具有一定的主觀因素,雖然也可以在一定程度上反映裝備項目的績效水平,但重要性相較于其他維度偏小,因而在本評價體系中所占權重較小。
對于項目立項維度,目標設立合理性所占權重最大,說明專家重視裝備項目目標依據是否充分、符合客觀實際,項目實施內容與績效目標具有相關性,項目預期產出和效益目標符合正常的業(yè)績水平,與預算資金量要相匹配。
對于組織實施維度,執(zhí)行性有效性所占權重最大,說明專家對裝備項目的執(zhí)行非常重視,裝備項目申報、任務下達、采購計劃、進口設備論證、裝備購置方式選擇、裝備購置、合同簽訂、裝備安裝調試、裝備驗收、績效評價、裝備項目驗收,重點關注執(zhí)行過程的每個節(jié)點是否遵守相關法律法規(guī)和相關管理制度的規(guī)定;項目調整是否合規(guī);項目實施的人員條件、場地設備、信息支撐等是否落實到位;采購流程是否規(guī)范;固定資產賬實是否符合;項目資料是否齊全并及時歸檔。
對于產出完成維度,科研項目所占權重最大,說明相關專家比較重視依托新購檢驗檢測裝備所產生的科研成果,科研項目的層級和數量是衡量機構科研水平的重要指標,只有獲得更多的重大項目,才能獲取更多的財政資金支持,從而更好地利用裝備,才能充分發(fā)揮裝備的使用效益,該指標客觀且易統計。檢測技術能力方面、完成及時性、年平均運行機時、標準(含立項)、專利(含申請/授權)、論文(含錄用)所占權重次之:檢測技術能力方面指標是指依托新購裝備提升檢測能力,反應完成產出的直接指標;完成及時性指標倒逼項目實施單位在任務書期限內完成項目建設,加快財政資金的收益;標準、專利、論文指標可以精確地統計,其數量和質量可以衡量機構科技水平。
對于財務管理維度,財務制度健全性、財務管理有效性、資金分配合理性、資金到位及時性、資金使用率5個指標,平均分配權重,說明專家認為財務維度的5個指標同等重要。
對于滿意度維度,反映服務對象或收益人的認可程度的指標,專家一致建議在滿意度維度設立滿意度評價1個指標,滿意度調查表(見表12)。
檢驗檢測技術裝備項目支出績效評價結果采取評分和評級相結合的方式,具體分值和等級根據不同評價內容設定??偡忠话阍O置為100分,等級一般劃分為五檔:90(含)~100分為優(yōu)、80(含)~90分為良、70(含)~80分為中、60(含)~70分為及格、60分以下為差。
2 案例實證
選取浙江方圓檢測集團承擔的裝備項目《國家電子商務消費品質量監(jiān)督檢驗中心(浙江)(籌)檢測能力建設》(以下簡稱案例1)和浙江省產品質量安全科學研究院承擔的裝備項目《重點消費品有害元素、可遷移微量顆粒物、機械與物理安全檢測評估技術研究與應用》(以下簡稱案例2)。參與案例績效評價共32名專家,分別來自紹興、寧波、金華、臺州等地質檢院、計量院、食藥院、特檢院,均從事裝備管理、科研管理、財務管理、科研檢測等相關工作。經對32名專家的評價表統計分析,最后得到兩個案例的績效評分(表13)。
實證案例1和案例2最終績效評價總分分別為95.99分和91.05分,均處于第一檔優(yōu)秀檔?,F對評價結果分析如下:
一級指標維度分析:兩個案例一級指標評價分析(表14),案例1的業(yè)務指標要比案例2高出8.54%,案例1的財務指標比案例2略微高一點,滿意度指標兩個案例得分一致。原因分析案例1實施主體是浙江方圓檢測集團,該機構是第三方檢驗機構,自收自支注重業(yè)務發(fā)展。
二級指標維度分析:組織實施指標案例2略高于案例1,產出完成指標案例1比案例2高出4.54%,項目效益指標案例1比案例2高出18.39%,財務指標案例1略高于案例2(表15)。原因分析案例1實施主體是浙江方圓檢測集團,其技術人才隊伍較案例1的實施主體省質科院體量要大,前者對外開展第三方有償服務,提高了項目的經濟效益。
三級指標維度分析:三級指標物聯網傳感器安裝,案例2遠高于案例1,案例1此項評分為0分,年平均運行機時案例1是案例2的5.78倍,經濟效益案例1比案例2高出12.44%,社會效益案例1比案例2高出25%(表16)。案例1實施主體是方圓檢測集團,使用和管理有一定脫節(jié)導致未能及時安裝傳感器;方圓檢測集團為第三方實驗室對社會提供有償服務,設備年平均運行機時要遠高于作為公益一類事業(yè)單位的省質科院,同理經濟效益前者也遠高于后者。
3 討 論
運用“3+6+20”構架的檢驗檢測技術裝備績效評價體系對兩個案例實證研究,發(fā)現承接單位在裝備項目管理中存在一些問題。主要問題如下:
(1)裝備開放共享程度有待提高
通過績效評價結果發(fā)現,目前大型儀器入網率偏低,物聯網傳感器安裝偏低,案例1原值大于3 0萬的設備有9臺套,其中電位滴定儀(11816DA18)、氣相色譜儀(11818DA18)、氣相色譜儀(11819DA18)、離子色譜儀(11888DA18)這4臺大型儀器納入浙江省大型科研儀器開放共享平臺,入網率44.44%,傳感器安裝率44.44%。浙江省科技廳對大型儀器的入網率和物聯網傳感器安裝率有考核要求,市場監(jiān)督管理系統對這兩個指標需引起重視,加強對設備開放共享的考核。
(2)裝備運行使用有待加強
通過專家評分發(fā)現,案例1和案例2年平均運行機時這個指標評分偏低,案例2裝備項目通過折算年平均使用機時僅為260小時/年,案例1也僅為800工時/年。設備使用率不高,可以通過開發(fā)裝備的新功能、開拓新需求、拓展服務對象來提高設備的使用率。
(3)裝備項目效益有待提升
通過專家評分發(fā)現,案例1和案例2項目效益指標評分不高。對于二類事業(yè)單位可拓寬服務范圍、提高服務質量來提供經濟效益,對于一類事業(yè)單位可加大提升產業(yè)服務水平助力企業(yè)改革創(chuàng)新、對政府部門提高專業(yè)服務水平重點提升社會效益。
4 總 結
本研究首次構建了“3+6+20”架構的檢驗檢測技術裝備項目績效考核評價體系,并利用該考評體系進行案例實證研究,該體系能有效區(qū)分裝備項目績效水平的高低。本指標體系可用于裝備項目承接機構績效自評和主管部門評價,承接機構可在自評的基礎上識別裝備項目在管理上存在的短板,進行查漏補缺,為裝備項目的驗收做好鋪墊同時也為裝備日常管理提供保障。部門評價要體現組織與項目實施主體相分離的原則,一般由主管科技的管理部門組織,確保部門評價的獨立、客觀、公正。主管部門評價時可優(yōu)先選擇貫徹落實黨中央、國務院重大方針政策和地方各級黨委政府重大決策部署的項目,以及覆蓋面廣、影響力大、社會關注度高、實施期長的項目進行評價??蓪⒊樵u結果進行通報,作為今后裝備項目、科研項目立項的重要依據。通過裝備項目績效評價結果,發(fā)現裝備項目管理存在的問題、提出相應的對策,能有效促進設備的良性循環(huán)使用、顯著提升機構儀器設備管理水平,優(yōu)化財政資源配置、提高財政資金使用績效,切實保障機構的健康持續(xù)發(fā)展。
參考文獻
厲小燕,陳元杰,陳小珍,等.市場監(jiān)管檢驗檢測技術裝備項目管理存在問題與對策探析[ J ] . 中國標準化,2022(8):193-199.
張炳江.層次分析法及其應用案例[M].北京:電子工業(yè)出版社,2014.
THOMAS L S. Relative Measurement and Its Generalizationin Mathematics for the Measurement of Intangible Factors TheAnaIytic Hierarchy/Network Process[J].Rev.R.Acad.Cien.Serie A.Mat, 2008,102(2)251-318.
作者簡介
厲小燕,碩士研究生,工程師,研究方向為科研項目和裝備管理。
趙奇,碩士研究生,高級工程師,研究方向為實驗室管理。
馬燕飛,學士,工程師,研究方向為裝備管理。
陳寧,博士研究生,助理研究員,研究方向為大型儀器開放共享管理。
謝俊,學士,工程師,研究方向為通信工程和信息化。
仇嘉,博士研究生,高級工程師,研究方向為設備管理。
葉翔宇,博士研究生,高級工程師,研究方向為質量技術機構檢驗檢測項目建設、實驗室管理、科研項目評價。
鄭翠翠,碩士研究生,工程師,研究方向為信息安全。
李紅艷,碩士研究生,高級工程師,研究方向為重點實驗室建設、實驗室管理、科研項目和裝備管理。
江涌,本科,工程師,研究方向為設備管理。
繆小平,通信作者,碩士研究生,高級工程師,研究方向為實驗室質量管理、科研和裝備管理。
(責任編輯:張佩玉)