馬如停, 徐石海, 李 琰
(暨南大學實驗室與設備管理處,廣州510632)
建設世界一流大學和一流學科,是黨中央、國務院作出的重大戰(zhàn)略決策,實現(xiàn)我國從高等教育大國向高等教育強國的歷史性跨越。一流實驗室建設和管理水平是一流大學和一流學科建設的必然要求,實驗室建設項目績效評價直接反映建設質量和建設的內涵水平。2018 年9 月,教育部在上海召開“雙一流”建設現(xiàn)場推進會,著力推進“雙一流”加快特色、高質量建設。在加快建設的背景下具有高質量、特色建設,績效評價的檢查和監(jiān)督機制不可缺少,建立“雙一流”實驗室建設項目績效評價體系,開展實驗室建設項目績效評價,是推進高??蒲泄芾砗驮u價機制改革,產出引領性原創(chuàng)性成果,提升科研創(chuàng)新水平的重要管理手段[1-2]。
目前,高校實驗室建設項目績效評價工作多以專家評價法為主,而在績效評價方法理論性和系統(tǒng)性研究不夠,績效評價體系建設,特別是評價指標體系的建立和權重的設定缺乏科學性和理論支撐,在實際操作中專家評議打分的主觀性影響較大。高校實驗室建設項目績效評價需要對現(xiàn)行績效評價方法不斷改進,繼續(xù)探索更為適合的高校實驗室建設項目績效評價體系和方法[3-7]。高校實驗室建設經費來源各異、管理體制多頭、功能和服務對象差異較大,績效評價應采用系統(tǒng)分析的思想,依據(jù)實驗室教學、科研或者公共服務的功能分類,采用層次分析法構建評價指標體系對實驗室建設績效進行評估。
實驗室建設績效評價是對實驗室投入、產出結果的綜合評估,實驗室建設績效評價是一項系統(tǒng)工程,需要在系統(tǒng)分析下,針對不同投資規(guī)模和不同學校、不同學科,采用合適的方法構建科學合理的評價指標體系。評價方法有模糊綜合評價法、TOPSIS 評價法、層次分析法、專家評價法。在實驗室建設績效評價的實踐方面,美國等西方國家在20 世紀90 年代開展了政府與高校等公共服務部門績效評價的研究并實施。1993年美國頒布的《政府績效與結果法》規(guī)定,“每個機構都應提交年度績效計劃和報告”,據(jù)此,聯(lián)邦政府公共服務部門每年需編制績效計劃,并依據(jù)績效評價結果撰寫績效評價總結報告。美國國家實驗室隸屬不同部門,管理體制不一致,績效評價方法也不盡相同[8-9]。此外,不少國家針對高校教師的教學工作逐步實施績效評價,但在高校實驗室建設績效評價體系構建與實施尚缺乏實施性強、適用性廣、較為系統(tǒng)研究。
我國財政部在2005 年編制《中央部門預算支出績效考評管理辦法(試行)》(財預〔2005〕86 號),開始了中央級預算的績效考評工作,在2009 年和2011 年進行了兩次修訂,并在2015 年開展了重點支出項目績效評價的結果應用,在預算支出績效評價和結果應用方面做了有益的嘗試。各地區(qū)、各預算部門也結合實際制定了具體的管理辦法和實施細則,在績效評價方法上主要采用專家評價法。專家評價法是在定量和定性分析的基礎上,以打分、專項評議等方式做出評價,專家的評價意見與打分結果是決定實驗室建設項目績效水平的關鍵因素,專家的評價意見與打分結果所依據(jù)的指標體系欠缺科學論證與理論支持,由于專家知識背景和價值觀念的差異,對項目績效目標的理解也不同,對建設項目的績效評價意見存在較大差異,績效評價結果易出現(xiàn)偏差較大的情況。因此專家評價法的評價結果的客觀性和準確性仍有待改進[10]。
層次分析法(The analytic hierarchy process)簡稱AHP,是系統(tǒng)評價方法中的一種主要方法,由美國運籌學家托馬斯·塞蒂(T.L.saaty)于20 世紀70 年代中期提出。層次分析法綜合了人們的主觀判斷,通過定性分析和定量分析相結合,將復雜問題分解為若干層次和若干影響要素,依據(jù)問題的性質及所要達到的目標分解為各個組成要素,并將這些要素按隸屬關系和關聯(lián)程度分組形成有序的階梯層次結構。經過征詢專家意見、調研實踐,將各影響要素兩兩比較確定重要程度比值,通過計算判斷矩陣特征向量,求得各層次的影響要素對上一層次某要素的優(yōu)先權重,最后用加權和的方法遞階歸并各影響要素對總目標的最終權重,進而建立評價指標體系和權重。層次分析法作為一種常用的系統(tǒng)評價方法,具有思路清晰、定性分析與定量判斷相結合、客觀性和系統(tǒng)性強的優(yōu)點,適用于實驗室建設項目績效評價[11-15]。
高校實驗室建設項目績效評價要素包括:實驗室建設項目總體定位和建設目標、實驗室建設項目管理、實驗室建設項目驗收、實驗室建設項目綜合效益、實驗室建設項目特色等。
(1)項目總體定位和建設目標。實驗室建設總體定位和建設目標是項目的立項依據(jù)和項目績效目標的依據(jù),實驗室建設項目需服務于學校的總體發(fā)展目標,符合實驗室建設規(guī)劃,滿足教學和科研需要,支撐學科建設需要,項目立項時須有基本目標、近期目標、中長期目標等。
(2)項目管理。實驗室建設管理包括項目組織管理機構、項目實施方案、實驗設備管理、實驗室經費管理、實驗室環(huán)境管理、實驗人員管理等制度和機制,項目管理制度和運行機制是項目實現(xiàn)建設目標、發(fā)揮建設效益的制度保證。
(3)項目驗收。項目驗收反映項目建設內容的完成情況、項目建設資金使用情況等,包括項目完成情況、項目完成質量、資金執(zhí)行情況、儀器設備管理到位情況、實驗室環(huán)境建設情況、相關驗收情況(結論)等。
(4)項目綜合效益。項目綜合效益是建設項目的產出結果,體現(xiàn)為是否滿足實驗教學需要,完成實驗教學任務;是否改革和更新實驗教學內容和教學方法,推進實驗教學改革;是否支持科研任務的完成,支撐學科建設;完成的人才培養(yǎng)數(shù)量和質量情況;貴重儀器的使用率和共享情況;實驗室開放和產生的社會效益情況。項目綜合效益是實驗室建設績效評價的重要因素。
(5)項目特色。實驗室建設項目特色體現(xiàn)為實驗室管理的創(chuàng)新、技術的獨特和科研的突破。是實驗室建設績效評價的特別加分要素。
依據(jù)績效考評管理辦法,經多方調研、專家論證,建立實驗室建設項目績效評價層次分析模型(見圖1),評價模型分為三層:目標層,即實驗室建設項目綜合績效;準則層,即項目績效評價要素,包括立項與管理(實驗室建設目標定位和總體思路、項目管理制度)、建設與完成(項目驗收報告)、效益與特色(項目綜合效益、特色);指標層,即項目績效評價指標,包括實驗室目標定位等15 項指標。
圖1 實驗室建設項目績效評價層次分析模型
考察準則層各影響要素和指標層各觀測指標對目標層的影響程度,用成對比較法和1—9 比較尺度構造成對比較陣。層次分析法1-9 比較尺度的含義見表1。
表1 層次分析法1-9 比較尺度
通過計算最大特征值和一致性指標,檢驗一致性,獲得各層權向量,從而確定各指標層權重和分值,見表2 ~5;并確定各指標層間權重及權值,見表6。
表2 目標層判斷矩陣和因素權重
表3 準則層影響要素及權重——C1 要素
表4 準則層影響要素及權重——C2 要素
表5 準則層影響要素及權重——C3 要素
表6 各指標層間權重及權值
實驗室建設績效評價工作需建立合理的組織管理架構,制定科學的績效評價指標體系,同時需要實驗室建設單位準備評估材料、協(xié)助專家實地核查項目情況,實驗室建設項目績效評價工作流程圖,見圖2。該工作流程應用于2015 ~2018 年中央高校改善基本辦學條件專項實驗室建設項目績效評價實踐。
圖2 實驗室建設項目績效評價工作流程圖
我校自2013 年啟動實驗室建設項目庫的構建,以實驗室建設規(guī)劃為指導,項目預算階段突出績效導向;項目執(zhí)行階段加強績效監(jiān)控;項目完成以后全面開展績效評價。并從2015 年開始使用基于AHP的高校實驗室績效評價模型實施評價,將績效評價結果應用于后續(xù)實驗室建設項目。歷經4 個年度的實驗室建設項目績效評價實踐,已經建立了一套完整的基于AHP的高校實驗室績效評價體系,實驗室建設項目申報和完成質量明顯提升,實驗室建設綜合效益顯現(xiàn):①實驗教學滿足度和實驗教學改革。實驗課程體系獲得重構,實驗規(guī)模效益也有所增加,新的實驗內容的加入使綜合性及設計性實驗所占比重提高,新平臺和新設備的引入使得實驗教學手段和教學方法得到提升,教師參與教研教改項目積極性和成果大大提高。例如藥學實驗中心、醫(yī)學實驗中心等單位綜合性、設計性實驗項目超過70%;媒體實驗教學中心利用中心資源與業(yè)界合作率先在國內高校創(chuàng)立了“專業(yè)訓練營”的教學模式,讓學生從實訓到實戰(zhàn),全面提高實踐技能,等;②實驗教學效果和人才培養(yǎng)。教學實驗室條件的提升,學生參與課程實驗的機會和學時數(shù)大大增加,參與創(chuàng)新工程項目、各類競賽等的積極性越來越高,獲得的成果也越來越好。體現(xiàn)了良好的教學和科研效果。例如理工學院本科生以第一作者發(fā)表學術論文《WO3 Nanoflowers with Excellent Pseudo-capacitive Performance and the Capacitance Contribution Analysis》,期刊影響因子達8.262,生科院多名本科生被美國知名大學全額獎學金錄取攻讀博士學位,化學與材料學院本科生獲得第五、六屆廣東省材料創(chuàng)新大賽高分子賽區(qū)一等獎等;③實驗室建設特色。我校顯微形態(tài)實驗室實現(xiàn)無顯微鏡的全電子化切片教學,自主設計研發(fā)的第二代顯微形態(tài)互動教學系統(tǒng)已獲4 項國家發(fā)明專利技術,在全國高校屬首創(chuàng)。
運用層次分析法對高校實驗室建設項目績效評價體系進行優(yōu)化設計,建立基于AHP的高校實驗室建設績效評價模型,可以提高評價結果的客觀性及準確度。在提升實驗室建設項目質量,發(fā)揮實驗室建設項目的綜合效益上有重大作用,對完善高校實驗室建設項目績效評價指標體系具有很強的借鑒意義。