葛 佐，繆謹(jǐn)勵，李 貞

(1.中國地質(zhì)調(diào)查局發(fā)展研究中心，北京 100037；2.國土資源部地質(zhì)信息技術(shù)重點實驗室，北京 100037；3.中國農(nóng)業(yè)大學(xué)，北京 100193)

國土資源部地質(zhì)信息技術(shù)重點實驗室開放課題后評價研究

葛 佐1,2，繆謹(jǐn)勵1,2，李 貞2,3

(1.中國地質(zhì)調(diào)查局發(fā)展研究中心，北京100037；2.國土資源部地質(zhì)信息技術(shù)重點實驗室，北京100037；3.中國農(nóng)業(yè)大學(xué)，北京100193)

本文在對國土資源部地質(zhì)信息技術(shù)重點實驗室開放課題進(jìn)行分類的基礎(chǔ)上，明確不同類型開放課題后評價重點，結(jié)合美國政府投資項目評價工具PART(ProgramAssessingRatingTool)設(shè)計了開放課題后評價指標(biāo)體系，利用層次分析法確定了各指標(biāo)權(quán)重，最后通過“地質(zhì)調(diào)查軟件測試過程管理技術(shù)及支持平臺”課題對所構(gòu)造的評價體系進(jìn)行了實例分析，表明所構(gòu)建的評價體系可以對實驗室開放課題進(jìn)行評價。

后評價；開放課題；層次分析法；美國政府投資評價工具

項目后評價是指在項目已經(jīng)完成并運行一段時間后，對已經(jīng)完成的項目的目的、執(zhí)行過程、效益、作用和影響所進(jìn)行的系統(tǒng)、客觀的分析[1-2]。相較于項目前評價，項目后評價除了對前評價中項目的研究基礎(chǔ)、立項的合理性與可行性等進(jìn)行再評價外，還對項目的實際運行狀況進(jìn)行深入細(xì)致的分析，更加側(cè)重于對項目實施的重要過程和結(jié)果進(jìn)行分析，間接作用于未來項目投資，而且項目后評價直接依據(jù)項目完成材料，說服力更強。項目后評價處于項目周期的最后一個環(huán)節(jié)，也可以看成是一個新項目周期的開始，處于“承前啟后”的位置。開展項目后評價可以認(rèn)真總結(jié)經(jīng)驗、吸取教訓(xùn)，為今后同類項目投資決策提供參考。我國項目后評價工作尚處于起步階段，對項目后評價缺乏系統(tǒng)性的研究，至今還未形成一套全國通用的項目后評價方法[1]，部分學(xué)者針對特定種類項目開展了后評價研究，多集中于評價指標(biāo)體系構(gòu)建、評價方法選擇、評價流程等[2-8],總體來說項目不同，指標(biāo)體系不同，評價方法的適用性也差異較大，因此實際應(yīng)用時應(yīng)針對不同項目特點開展研究。

國土資源部地質(zhì)信息技術(shù)重點實驗室以開展數(shù)字地質(zhì)調(diào)查評價與地質(zhì)空間數(shù)據(jù)共享技術(shù)的開發(fā)與應(yīng)用為核心，力求為地質(zhì)工作信息化和現(xiàn)代化提供技術(shù)支撐。開放課題是實驗室及時掌握前沿信息技術(shù)、理論、方法的主要方式。實驗室瞄準(zhǔn)地質(zhì)信息前沿技術(shù)、高新技術(shù)和關(guān)鍵技術(shù)，每年以命題和自由命題兩種形式廣泛吸引和凝聚國土資源部、中國地質(zhì)調(diào)查局系統(tǒng)內(nèi)部、社會科研力量，形成創(chuàng)新性、引領(lǐng)性和前瞻性研究成果，支撐引領(lǐng)我國地質(zhì)信息技術(shù)的發(fā)展和應(yīng)用，推動地質(zhì)工作更好地服務(wù)經(jīng)濟(jì)社會發(fā)展。然而科學(xué)評價開放課題成果，構(gòu)建合理、完善的開放課題立項、實施、監(jiān)管等管理模式是保證開放課題研究符合實驗室發(fā)展方向，解決地質(zhì)調(diào)查信息化問題的基礎(chǔ)。因此，亟需建立系統(tǒng)、科學(xué)的開放課題后評價指標(biāo)體系，開展開放課題后評價研究，對開放課題立項決策的合理性、預(yù)期目標(biāo)實現(xiàn)與否、成果及其影響進(jìn)行評價和分析，進(jìn)而發(fā)現(xiàn)課題管理中存在的問題，總結(jié)經(jīng)驗教訓(xùn)，為未來開放課題的立項決策、實施管理提出建議，從而達(dá)到提高投資收益的目的。

1 實驗室開放課題后評價的含義、目標(biāo)和原則

1.1 開放課題后評價的含義

基于實驗室開放課題屬于預(yù)研類研究，故將開放課題后評價定義為：課題結(jié)題驗收后，對課題的目標(biāo)、執(zhí)行過程、產(chǎn)生的效益和影響所進(jìn)行的系統(tǒng)客觀的分析。課題后評價主要是對課題的立項預(yù)測、預(yù)期目標(biāo)、成果水平等進(jìn)行檢查，通過評價結(jié)果分析課題設(shè)計是否合理、立項過程中存在的問題、目標(biāo)是否按期實現(xiàn)、研究成果是否滿足當(dāng)前需求等，分析原因，總結(jié)經(jīng)驗，為以后開放課題投資決策和管理提供參考和建議，從而提高開放課題投資決策水平。

1.2 開放課題后評價目標(biāo)

通過開放課題后評價，確定課題達(dá)到的科學(xué)技術(shù)水平，發(fā)掘具有應(yīng)用潛力和推廣價值、能解決當(dāng)前地質(zhì)調(diào)查領(lǐng)域存在的共性、關(guān)鍵問題的新技術(shù)、新方法或者新理論；其次，通過課題后評價，發(fā)現(xiàn)開放課題在管理過程中存在的問題，總結(jié)經(jīng)驗教訓(xùn)，改進(jìn)開放課題管理方式，提高投資決策水平。

1.3 開放課題后評價原則

數(shù)據(jù)真實，評價客觀公正。數(shù)據(jù)真實是評價結(jié)果合理的基礎(chǔ)，堅持獨立、公平、公正的方式對開放課題進(jìn)行后評價，以達(dá)到切實發(fā)掘新技術(shù)、新理論、新方法的目的，同時得到改善開放課題管理的有效反饋信息。

分類評價。實驗室充分給予開放課題研究自由，鼓勵大膽試驗和自主創(chuàng)新，提倡新思想、新方法和交叉學(xué)科的研究，所以盡管開放課題在管理方式上大相徑庭，但不同類型課題的研究成果相差較大，相應(yīng)的評價指標(biāo)也應(yīng)該要兼顧不同課題間的共性和差異性。

定性和定量評價相結(jié)合。在課題后評價中能以定量指標(biāo)評價的盡量使用定量評價，使用定性和定量評價相結(jié)合的方式可提高評價的準(zhǔn)確度。

2 實驗室開放課題分類及后評價指標(biāo)體系構(gòu)建

2.1 實驗室開放課題分類及各類課題評價重點

對開放課題進(jìn)行分類是對其進(jìn)行管理和后評價的前提和基礎(chǔ)[9]。本文根據(jù)實驗室開放課題在成果類型方面的差異將實驗室開放課題分為基礎(chǔ)研究課題、軟科學(xué)課題、應(yīng)用研究課題。

2.1.1 基礎(chǔ)研究課題

基礎(chǔ)研究是在認(rèn)識客觀世界的過程中闡明、解釋自然現(xiàn)象、特征、規(guī)律及其內(nèi)在聯(lián)系,在學(xué)術(shù)上有新見解,并對科學(xué)技術(shù)的發(fā)展或國民經(jīng)濟(jì)建設(shè)具有指導(dǎo)意義的研究[10]。

實驗室基礎(chǔ)研究課題主要是為了探索地質(zhì)信息技術(shù)的原理和規(guī)律，為解決地質(zhì)信息技術(shù)問題提供理論指導(dǎo)，其成果主要為新理論、新方法、新思想等，多以成果的原始創(chuàng)新性水平為評價重點。

2.1.2 軟科學(xué)課題

軟科學(xué)課題是為管理現(xiàn)代化和決策科學(xué)化而開展的研究[10]。實驗室軟科學(xué)課題主要是為地質(zhì)調(diào)查信息化開展戰(zhàn)略研究，追蹤世界地質(zhì)信息化發(fā)展前沿動態(tài)，搜集地質(zhì)調(diào)查信息化領(lǐng)域管理經(jīng)驗等，成果多以政策建議、調(diào)查報告、研究報告的形式體現(xiàn)。軟科學(xué)課題多以有無創(chuàng)造性和對地質(zhì)調(diào)查信息化發(fā)展決策的指導(dǎo)意義水平等為評價重點。

2.1.3 應(yīng)用研究課題

應(yīng)用研究課題是為解決地質(zhì)調(diào)查信息化發(fā)展過程中的科學(xué)技術(shù)問題，以發(fā)掘適用于地質(zhì)調(diào)查的具有創(chuàng)新性、先進(jìn)性、成熟性和實用性的新技術(shù)為出發(fā)點，成果多為新技術(shù)、新產(chǎn)品、新方法等，其評價多以知識產(chǎn)權(quán)、專利、技術(shù)應(yīng)用及其轉(zhuǎn)化、技術(shù)應(yīng)用的潛在效益水平等為重點。

2.2 開放課題后評價指標(biāo)設(shè)計

根據(jù)開放課題后評價的目標(biāo)、原則以及各類型開放課題后評價重點，同時借鑒美國政府投資項目評價工具PART(Program Assessing Rating Tool)[11-12]，結(jié)合專家意見，從研究基礎(chǔ)、課題管理、課題成果及其影響三個方面設(shè)置評價指標(biāo)，構(gòu)建開放課題后評價指標(biāo)體系。由于開放課題在立項評審、過程監(jiān)管、結(jié)題驗收等管理環(huán)節(jié)的相似性和成果評價重點的差異性，故本文在研究基礎(chǔ)、課題管理兩方面對不同類型開放課題設(shè)置相同的評價指標(biāo)，而在課題成果及其影響方面針對不同類型課題設(shè)置不同的評價指標(biāo)。研究基礎(chǔ)與項目前評價即項目立項時大致相同，課題管理和課題成果則按照實際實施過程及成果進(jìn)行評價。后評價指標(biāo)體系見表1。

2.3 開放課題后評價指標(biāo)權(quán)重與計分方法

2.3.1 層次分析法確定指標(biāo)權(quán)重

采用層次分析法確定各指標(biāo)權(quán)重，并利用方根法計算判斷矩陣的最大特征值及其對應(yīng)的特征向量，具體權(quán)重確定方法見相關(guān)參考文獻(xiàn)[2,9]。開放課題后評價指標(biāo)單排序結(jié)果及總體一致性檢驗結(jié)果見表2。

表1 開放課題后評價指標(biāo)體系

表2 開放課題后評價指標(biāo)權(quán)重表

注：總體一致性檢驗：CI=0.0536，RI=0.8744，CR=0.0613。

2.3.2 開放課題后評價計分方法

基于本文研究目的以及力求評價時計算簡單，可操作性強，對每個指標(biāo)采取百分制，然后根據(jù)各指標(biāo)權(quán)重選用普通加權(quán)法計算總分值，其計算公式見式(1)。

式中：F為課題總得分；Xij為專家對第i個準(zhǔn)則層中第j項指標(biāo)的評分值；wij為第i個準(zhǔn)則層中第j項指標(biāo)的權(quán)重；ai為第i個準(zhǔn)則層指標(biāo)的權(quán)重。

對于可以定量計算的成果數(shù)量而言，由于成果類型不同，采取一套軟件和一篇論文分別相當(dāng)于一份研究報告進(jìn)行簡單換算，從而得出各個課題的萬元成果數(shù)量，萬元成果數(shù)量分值的確定方法見式(2)。

式中：yij為第i類課題，第j個課題的萬元成果數(shù)量；yimax為第i類課題中萬元成果數(shù)量的最大值。

3 開放課題后評價的實例分析

3.1 課題概況

選取由北京航空航天大學(xué)計算機(jī)學(xué)院軟件工程研究所承擔(dān)的“地質(zhì)調(diào)查軟件測試過程管理技術(shù)及支持平臺”開放課題對所設(shè)計的評價指標(biāo)體系進(jìn)行簡單試用與驗證。該課題目前已完成結(jié)題驗收，屬于應(yīng)用研究課題。

3.2 課題指標(biāo)

1) 課題以“研究建立適用于地質(zhì)調(diào)查軟件測試的測試過程管理平臺”為目標(biāo)，為實驗室軟件測試的需求、計劃、設(shè)計、過程管理及追蹤和監(jiān)控提供支持，目標(biāo)清晰，解決了實驗室研發(fā)的眾多軟件的性能測試問題。

2) 與本課題直接相關(guān)的研究項目包括總裝預(yù)研基金和預(yù)研項目、科工委預(yù)研項目、“863”項目及國防型號項目等7個項目，在國內(nèi)外學(xué)術(shù)刊物上發(fā)表了相關(guān)論文十余篇。

3) 課題負(fù)責(zé)人及課題組主要成員在自然科學(xué)科學(xué)基金項目、“863”項目、國防預(yù)研項目等的資助下，開展過相關(guān)研究，其成果在電子政務(wù)、銀行系統(tǒng)、石油勘探系統(tǒng)等大型軟件系統(tǒng)以及航空航天等國防領(lǐng)域得到應(yīng)用。

4) 總體工作部署與分年度工作安排細(xì)化到月份，任務(wù)量合理，目標(biāo)明確。

5) 經(jīng)費預(yù)算基本合理，能夠體現(xiàn)研究目標(biāo)。

6) 預(yù)算執(zhí)行符合規(guī)定，未出現(xiàn)違規(guī)違紀(jì)現(xiàn)象。

7) 課題設(shè)計了質(zhì)量保證與安全措施，依托北京航空航天大學(xué)，有全套的國家制度和學(xué)校制度控制和保障科研項目的質(zhì)量。

8) 提交成果包括“地質(zhì)調(diào)查信息系統(tǒng)測試過程管理平臺”一套，“地質(zhì)調(diào)查信息系統(tǒng)測試過程管理關(guān)鍵技術(shù)研究報告”一份，“地質(zhì)調(diào)查信息系統(tǒng)測試環(huán)境詳細(xì)設(shè)計”一份。

9) 成果創(chuàng)新性。設(shè)計了適合地質(zhì)調(diào)查信息系統(tǒng)特點的測試過程管理平臺，技術(shù)的創(chuàng)新與集成水平較高。

10) 成果的應(yīng)用價值。滿足當(dāng)前地質(zhì)調(diào)查信息系統(tǒng)測試的要求，能夠解決實驗室對相關(guān)研究成果的測試與評價問題。

11) 成果效益。為科學(xué)評價地質(zhì)調(diào)查信息系統(tǒng)提供依據(jù)，減少了盲目投資，具有一定的經(jīng)濟(jì)效益。

3.3 評價結(jié)果

通過對該課題進(jìn)行解析，該評價體系基本上可以體現(xiàn)從課題立項到課題驗收過程中的成果，在深入解析各指標(biāo)實際情況的基礎(chǔ)上，通過咨詢專家意見給出本課題各指標(biāo)實際得分及綜合成績，見表3。

表3 地質(zhì)調(diào)查軟件測試過程管理技術(shù)及支持平臺課題實證分析結(jié)果

“地質(zhì)調(diào)查軟件測試過程管理技術(shù)及支持平臺”課題設(shè)計出能夠滿足實驗室需求的軟件測試平臺，具有一定的技術(shù)創(chuàng)新與集成水平，滿足地質(zhì)調(diào)查信息系統(tǒng)測試需求，具有較高的應(yīng)用價值。課題總得分91.8分，比較優(yōu)秀，與實驗室在課題結(jié)題驗收時對其成果評定結(jié)果相符合。從課題各項得分情況可以看出，該課題研究團(tuán)隊具有深厚的研究基礎(chǔ)和課題管理經(jīng)驗，這點與其豐富的軟件測試與管理工作經(jīng)驗也是相一致的，由此可見，開放課題在立項時對于研究團(tuán)隊的工作經(jīng)歷不可忽視。課題在管理方面，未給出詳盡的措施控制實施中遇到的挑戰(zhàn)，僅以學(xué)校的科研保障平臺為依托，應(yīng)當(dāng)有本團(tuán)隊的工作計劃及管理制度，以保障科研成果水平。該課題得分最低項為“萬元成果數(shù)量”，或許是由于時間短任務(wù)重，相對于同類項目，成果數(shù)量并不突出，后期對于此類項目可適當(dāng)延長課題研究時間，以充分發(fā)掘課題創(chuàng)新能力。

4 結(jié) 語

本文在系統(tǒng)介紹實驗室開放課題后評價的含義、目標(biāo)與評價原則的基礎(chǔ)上，明確了不同類型開放課題后評價重點，然后參考美國政府投資項目評價工具PART設(shè)計了開放課題后評價指標(biāo)體系，并運用層次分析法確定了各指標(biāo)權(quán)重，最后以“地質(zhì)調(diào)查軟件測試過程管理技術(shù)及支持平臺”課題為例對所構(gòu)造的評價體系進(jìn)行了試用與驗證，結(jié)果發(fā)現(xiàn)所構(gòu)造的評價體系操作方便，結(jié)構(gòu)合理，能夠真實反映課題研究水平以及課題管理過程中所存在的問題，為課題管理提供建議。

然而，該評價體系集成創(chuàng)新性水平不足，如果能夠采取多種方法進(jìn)行評價并不斷修正，其評價結(jié)果會更加客觀公正、公平合理。未來需對不同的評價方法進(jìn)行比較分析，以不斷完善開放課題后評價體系。

[1] 王萍.浙江省水利項目后評價指標(biāo)體系和方法研究[D].杭州:浙江大學(xué),2006.

[2] 林浩偉.國家自然科學(xué)基金項目后評價研究[D].合肥：合肥工業(yè)大學(xué),2008.

[3] 陳剛.投資項目后評價研究[D].重慶:重慶大學(xué),2004.

[4] 孟建英.工程建設(shè)投資項目后評價理論方法與應(yīng)用研究[D].天津:天津大學(xué),2004.

[5] 徐帆.商業(yè)房地產(chǎn)項目后評價研究[D].重慶:重慶大學(xué),2005.

[6] 劉鉆石.我國農(nóng)業(yè)科技示范園區(qū)項目后評價指標(biāo)體系和后評價方法研究[D].杭州:浙江大學(xué),2004.

[7] 張國輝.分布式光伏發(fā)電項目后評價研究[D].保定:華北電力大學(xué),2015.

[8] 王穎.項目后評價理論與案例分析[D].昆明:昆明理工大學(xué),2014.

[9] 肖利.科技項目評估的必要前提[J].科學(xué)學(xué)研究，2004(3)：290-293.

[10] 劉艷艷.科技計劃項目后評價體系構(gòu)建研究[D].呼和浩特：內(nèi)蒙古工業(yè)大學(xué)，2013.

[11] 申嫦娥，曾紹武.政府投資項目評價方法研究——以科技項目為例[J].軟科學(xué)，2009(9):38-42.

[12] 晁毓欣.美國聯(lián)邦政府項目評級工具(PART):結(jié)構(gòu)、運行與特征[J].中國行政管理,2010(5):33-37.

Afterevaluationofopenprojectsfromthekeylaboratoryofgeologicalinformationandtechnology

GE Zuo1,2,MIAO Jinli1,2,LI Zhen2,3

(1.Development and Research Center,China Geological Survey,Beijing 100037,China;2.Key Laboratory of Geological Information Technology of Ministry of Land and Resources,Beijing 100037,China;3.China Agriculture University,Beijing 100193,China)

On the basis of the classification of the open projects in the geological information technology key laboratory of the ministry of land resources,this paper analyzed the key assessment point of different open projects.Then the paper design a after evaluation index system for open projects drawing lessons from the United States Government Investment Project Assessment Tool PART (Program Assessing Rating Tool) and determine the weight of each index with the analytic hierarchy process method.At last,the “Geological Survey software testing process management and technical support platform” project is used for testing the after evaluation index system,indicating that the system can be used for the after evaluation of the open projects.

after evaluation;the open project;the analytic hierarchy process method;the United States Government Investment Project Assessment Tool

G322

A

1004-4051(2017)10-0053-05

2017-02-05責(zé)任編輯宋菲

“地質(zhì)調(diào)查信息化適用技術(shù)應(yīng)用研究”項目資助(編號：1212011220363)

葛佐，男，碩士研究生，助理研究員，主要從事地質(zhì)信息技術(shù)方面的研究，E-mail：gezuo123@sohu.com。