康磊晶，焦鑫鑫，劉 瑜

航天重大基礎研究項目績效評估指標體系研究

康磊晶1，焦鑫鑫1，劉 瑜2

（1. 中國運載火箭技術研究院，北京，100076；2. 中國航天系統科學與工程研究院，北京，100048）

航天重大基礎研究項目具有基礎科學問題眾多、研究難度大、創(chuàng)新要求高等特點，在項目檢查評估過程中，尚缺乏一套科學有效量化的績效評估指標體系。在調研分析了項目績效評估政策和方法的基礎上，構建了航天重大基礎研究項目績效評估指標體系。研究形成的項目績效評估指標體系將有力提升航天重大基礎研究項目管理效益，推動項目高質量發(fā)展。

基礎研究；項目管理；績效評估指標體系

0 引 言

航天重大基礎研究項目，是為系統解決長期制約航天重大裝備發(fā)展的基礎性、共性問題，通過理念、方法、技術的體系化研究與發(fā)展，實現裝備技術與性能水平整體提升而設立的重大預研項目，具有基礎科學問題眾多、研究難度大、創(chuàng)新要求高等特點，其成果產出以理論方法、標準規(guī)范、軟件平臺、專利論著等為主，既不同于自然科學基礎研究項目多以論文發(fā)表數量、論文質量、專利申報數量等作為評估標準，也與預研背景項目圍繞明確的裝備圖像和技術指標要求開展自上而下的系統研發(fā)工作模式有所區(qū)別。目前，在航天重大基礎研究項目的檢查評估過程中，尚缺乏一套科學有效量化的績效評估指標體系，需要通過科學設置評價指標并合理設定評價標準，構建績效評估體系，客觀評估項目研究進展和年度目標實現情況、同時研判總目標預期可實現性，提出存在的主要問題、風險點和后續(xù)工作建議，便于從技術和管理兩方面及時采取措施進行改進，形成“績效目標→績效評估→風險識別→優(yōu)化改進→績效反饋”的閉環(huán)管理機制，有效提升項目管理效益，推動項目高質量發(fā)展。

1 基礎研究項目績效評估發(fā)展現狀

20世紀80年代以來，績效評估已成為基礎研究項目管理的重要環(huán)節(jié)和有效手段，得到了美國、英國、德國、日本等發(fā)達國家的高度重視，并在各國政府制定戰(zhàn)略規(guī)劃、優(yōu)化資源配置、調整國防采辦、推動科技進步等方面發(fā)揮著日益重要的導向作用。

1.1 基礎研究績效評估總體情況

1.1.1 國外情況

從世界范圍看，美國和英國的基礎研究績效評估起步較早，并在績效評估的理論方法和實踐上取得了大量成果，本文以美國和英國績效評估為例，闡述國外績效評估情況。

a）美國。

美國是世界上最早開展科技評估活動的國家，經過近百年的發(fā)展，從制度建設、評價主體、評價標準、評價方法等方面，已形成了成熟完備的科技評估體系。1993年，為提高聯邦政府內部管理效率、項目績效、服務質量和公眾滿意度，美國國會頒布了《政府績效和結果法案》（The Government Performance and Result Act，GPRA），這是一部在世界各國政府實施績效改革過程中具有里程碑意義的立法，具有權威性、持續(xù)性和強制性等特點。GPRA法案建立了一套完整的政府績效管理體系，要求聯邦政府各機構建立包括投入、資源、產出、結果、效益/成本和生產力等6大類指標的績效評估體系，可根據不同評估對象適應性調整績效評估指標、方法和程序。聯邦各機構需對標本機構5年戰(zhàn)略規(guī)劃報告和年度績效計劃報告，形成年度績效評估報告，通過將績效目標與實際績效結果對比，以促進聯邦政府目標和各機構目標的實現。GPRA要求國會、審計總署（Government Accountability Office，GAO）、白宮管理與預算辦公室等預算批準部門必須依據各機構的上述3份報告，審批各機構下一年度預算申請[1]。

美國國家自然科學基金會（National Science Foundation，NSF）、國防部、能源部、宇航局等聯邦政府機構通過實施GPRA，達到了以評促效的目的，有效提升了機構的項目管理水平和運作效率。由于基礎研究具有長期性、積累性和結果難以預見性等特點，NSF建立了適用于基礎研究項目的績效評估體系，將評估內容重點放在研究的質量、與本機構法定任務的相關性以及研究成果的國際領先水平等方面；在評估方法上以同行評議法為主，輔以文獻計量學方法[2]。

b）英國。

英國的基礎研究績效評估工作主要包括2類：一類是由研究理事會組織，針對研究計劃和項目開展的績效評估；另一類是由高等教育基金理事會組織，針對大學各專業(yè)系、研究小組或者研究中心等科研群體開展的績效評估。這兩類基礎研究績效評估體系在英國基礎研究導向、經費投入和研究激勵中發(fā)揮著極其重要的作用：前者主要遵循英國財政部發(fā)布的“綠皮書”，依據明確的目標和計劃導向，對項目的立項、進展和影響進行評估；后者主要遵循研究評估體系（Research and Evaluation，RAE），每4～7年開展一次全面評估。2014年，英國高等教育基金會將RAE改革為研究卓越框架（Research Excellent Framework, REF），評估指標包括科研成果、科研影響力和科研環(huán)境，實施以來有效促進了英國大學基礎研究質量與實力提升[3]。

1.1.2 中國情況

a）立法情況。

進入21世紀，中國科技發(fā)展日新月異，科研項目數量和經費投入規(guī)模大幅增長，科技評估日益受到國家相關部委的高度重視。2003年，科技部頒布了《科學技術評價辦法（試行）》，明確了科學技術項目評價實行分類評價，給出了戰(zhàn)略性基礎研究項目和自由探索性基礎研究項目的評價重點、評價方法和評價程序[4]。2009年，科技部頒布了《科學技術研究項目評估通則》，為基礎研究、應用研究和開發(fā)研究項目建立了技術就緒水平的評估標尺[5]。2015年，國家自然科學基金委員會修訂完善了《國家自然科學基金資助項目研究成果管理辦法》，要求建立項目依托單位成果管理評估制度，根據論文發(fā)表、著作出版、會議報告、獲獎情況等方面，對結題項目進行績效評價[6]。2020年，科技部、財政部、發(fā)展改革委聯合印發(fā)了《中央財政科技計劃（專項、基金等）績效評估規(guī)范（試行）》，有效指導了國家自然科學基金、國家重大科技專項、重點研發(fā)計劃等相關領域項目的績效評估工作，其評估內容包括目標定位、組織管理與實施、目標完成情況與效果影響等，針對基礎研究績效評估，重點考察基礎研究和科學前沿探索的定位和導向，對推進國家創(chuàng)新體系建設和滿足國家需求的支撐作用，對促進原始創(chuàng)新、學科發(fā)展、人才隊伍成長的作用等。

b）實踐情況。

國家相關部委在注重科技評估立法的同時，積極探索實踐基礎研究和高技術領域的績效評估工作，不斷提升管理科學化水平。1996年，科技部以“863計劃”的五大民口領域為評價對象，采用定性判斷與定量分析相結合的方法，開展了總體評估、領域評估和專題評估等評估工作，從不同角度對863計劃進行了總結分析[7]。此后，科技部委托第三方評估機構——國家科技評估中心，先后開展了“863計劃”15年總結評估、“973計劃”綜合評估等工作。2011年，國家自然科學基金委首次開展基礎研究總體績效評估，從戰(zhàn)略定位、資助績效、管理績效及影響等4個方面，對基金的資助與管理活動的總體情況進行評估。此后，國家自然科學基金委每年組織開展年度績效評估，針對青年科學基金項目、面上項目、杰出青年科學基金等六類項目，建立了涵蓋決策、過程、產出、效益等4個一級指標，項目立項、績效目標等10個二級指標，以及立項依據充分性、制度執(zhí)行有效性等17個三級指標的通用績效評價體系。在評價方法上，采用客觀數據定量評價和專家定性評價相結合的方法。評價程序包括數據整理分析、依托單位調研、依托單位績效評價、項目抽樣評價、典型成果調查、滿意度調查、專家評價、綜合評價等8個步驟[8]。

1.2 績效評估方法

在績效評估方法方面，主要有以下3類方法：第1類是定性評價法，是依靠相同或者相近領域專家的學識和經驗，對項目績效做出定性判斷的評價方法，主要有同行評議法、問卷調查法、德爾菲法、平衡積分法等。第2類是定量評價法，是采用數學模型或者數學統計方法，通過計算對項目績效做出定量判斷的評價方法，主要有文獻計量法、數據包絡法、模糊綜合評估法等。第3類是綜合評價法，是事先構建一套定性和定量相結合的評價指標體系，再按照設計好的方法和程序，通過計算對項目績效做出定量判斷的評價方法，主要包括指標體系法、層次分析法、加權平均法、聚類分析法等[9]。綜合評價法結合了定性與定量兩類評價方法的優(yōu)點。中國的國家自然科學基金、973計劃、863計劃等，在績效評估實踐過程中，均采用了定性與定量相結合的綜合評價法。

針對航天重大基礎研究項目，如何建立既符合基礎研究規(guī)律，又符合重大項目系統性特點的績效評估指標體系，規(guī)范項目績效管理，有效提升項目基礎研究水平、科技成果質量并促進成果轉化是本文擬研究的核心問題。

2 航天重大基礎研究項目績效評估體系

2.1 航天重大基礎研究項目績效評估指標體系構建思路

航天重大基礎研究項目績效評估指標體系的優(yōu)劣事關績效評價的科學性與合理性，本文在深入調研分析和充分借鑒國內外項目績效評估研究成果的基礎上，提出航天重大基礎研究項目績效評估體系構建思路。

a）統籌性。

開展航天重大基礎研究項目績效評估，既要評估項目資源投入情況、目標實現程度、任務完成情況，又要評估基礎研究水平、標準規(guī)范、數字化、成果轉化、預期效益等，因此綜合采用投入-產出和目標-績效兩種績效評估模式。

b）完備性。

緊密結合航天重大基礎研究項目的基礎性、系統性、創(chuàng)新性和前瞻性特點，指標設計要充分考慮項目研究和管理全過程的主要要素，如組織要素、制度要素、技術要素、創(chuàng)新要素、成果要素、效益要素等。

c）可操作性。

績效評價指標體系簡單易操作，設計的指標體系層級數量不宜過多，各項指標具有代表性，釋義明確，指標之間的內涵與外延無交叉，且每項指標可對比、可量化、易于專家打分或數據采集計算。

2.2 航天重大基礎研究項目績效評估指標體系研究

基于上述思路，構建了航天重大基礎研究項目績效評估指標體系框架（如圖1所示），該指標體系縱向貫穿了項目的全周期運行過程，包括4個一級指標，即項目投入、項目運行、項目產出、項目效益；橫向覆蓋了項目研究及管理的主要要素，包括17個二級指標。

圖1 航天重大基礎研究項目績效評估指標體系框架

2.3 指標權重確定

在對各項評估指標賦權時，常用的方法包括德爾菲法、層次分析法、集值迭代法、熵值法等，其中集值迭代法可操作性強，且可以很好地處理多指標權重系數確定的問題，因此本文采用集值迭代法進行權重計算[10,11]。

其中

以某航天重大基礎研究項目為例，該項目正處于實施階段，邀請25位領域專家，采用極值迭代法對各項指標的權重進行判斷。通過對各位專家遴選的各自認為最重要的5個指標、10個指標和15個指標情況進行統計計算，并作取整處理，得到處于實施階段的項目績效評價指標權重，見表1所示。

表1 航天重大基礎研究項目績效評價體系

Tab.1 Performance Evaluation Index System for Major Basic Research Project of Aerospace

序號一級指標二級指標指標釋義指標權重（實施階段） 1項目投入研究人員投入匹配性（ω1）研究團隊現有人員當量與年度研究目標所需人員的匹配程度，以研究團隊現有人員當量與實現年度研究目標所需人員當量的比值表示6% 2研究經費投入匹配性（ω2）年度研究經費投入與年度計劃經費的匹配程度，以年度研究經費實際投入與年度計劃經費的比值表示6% 3項目運行目標與任務完成情況（ω3）研究任務完成情況與年度目標的匹配程度，以年度實際完成計劃數與年度計劃總數的比值表示8% 4核心基礎科學問題研究完成率（ω4）核心基礎科學問題攻關完成情況與年度計劃的匹配程度，以實際完成研究的核心基礎科學問題數量與應完成研究的核心基礎科學問題總數的比值表示8% 5指南編制、專題研究項目立項符合性（ω5）指南編制、專題研究項目立項與總目標和年度目標的匹配程度，包含指南編制、專題研究項目立項定位的基礎性，對總目標和年度目標的支撐程度，以及各項流程的科學性和規(guī)范性，由同行專家定性評估5% 6專題研究項目驗收情況（ω6）專題研究項目按時完成率及質量達標率情況，其中按時完成率權重為2%，以年度通過驗收的專題研究項目數量與應驗收的專題研究項目數量的比值表示；質量達標率權重為2%，以驗收結果為“良”及以上的專題研究項目數量與通過驗收的專題研究項目數量的比值表示4% 7風險評估開展情況（ω7）風險辨識的準確性與應對措施的有效性，由同行專家定性評估4% 8管理制度健全性與機制運行有效性（ω8）管理制度體系的完備性、規(guī)范性、有效性，對研究目標實現的支撐作用，由同行專家定性評估4% 9項目產出基礎研究理論與方法的創(chuàng)新性（ω9）基礎研究理論與方法等成果的創(chuàng)造性、新穎性、獨特性的程度，由同行專家定性評估8% 10基礎研究理論與方法的先進性（ω10）基礎研究理論與方法等成果與國內外同領域、同學科的成果相比，各項指標的先進程度，由同行專家定性評估8% 11標準規(guī)范研究先進性（ω11）標準規(guī)范成果與國內外同領域的成果相比，其中涉及的技術、要求等的先進程度，由同行專家定性評估6% 12數字化研究先進性（ω12）數字化成果（模型、樣機、軟件、平臺）與國內外同領域的成果相比，模型/樣機的置信度水平以及軟件/平臺架構的先進程度和可擴展性程度等，由同行專家定性評估6% 13成果轉化應用率（ω13）成果轉化應用情況，截止到本年度，以各年度累計轉化應用的成果數與累計取得的成果總數的比值表示8% 14人才培養(yǎng)情況（ω14）項目實施對高水平人才培養(yǎng)的貢獻度，以團隊擁有的國家級領軍人才和高級職稱以上人員數量與團隊總人數的比值表示5%

續(xù)表1

序號一級指標二級指標指標釋義指標權重（實施階段） 15項目產出知識產權情況（ω15）知識產權獲取情況，以發(fā)表的SCI論文、EI論文、國家發(fā)明專利（受理/授權）、專著數量總和與項目取得的全部知識產權成果數量的比值表示4% 16項目效益對國防基礎研究水平與能力提升的帶動作用（ω16）研究成果對提升相關領域國防基礎研究能力和學科專業(yè)水平所起的帶動和示范作用，由同行專家定性評估6% 17對國防技術和裝備能力提升的帶動作用（ω17）研究成果對推動國防相關領域科技進步和提升裝備綜合性能水平所起的帶動和示范作用，由同行專家定性評估4%

需要說明的是，項目處于不同的研究實施階段時，其指標權重會有所不同，本文研究的項目正處于實施階段，因此，項目投入、項目運行和項目產出的指標權重相對較高，項目效益的指標權重相對較低。后續(xù)，在項目結題驗收后，項目投入、項目運行的指標權重將會降低，項目產出、項目效益的指標權重將會加大。

3 結束語

本文在深入調研分析國內外基礎研究項目績效評估政策和方法的基礎上，結合航天重大基礎研究項目的特點，研究構建了覆蓋項目實施全周期的績效評估指標體系，提出了各項指標的定量評估模型和定性評估準則。本文的研究成果具有較強的可操作性和可推廣性，對于航天重大基礎研究項目的績效評估工作具有重要指導意義。

[1] 劉云, 趙勇強, 唐珊. 國防科技計劃績效評估體系構建[J]. 兵工學報, 2009(30): 5-13.

Liu Yun, Zhao Yongqiang, Tang Shan. Research and construction on perfomance evaluation system of defense science and technology program[J]. Acta Armamentarii, 2009(30): 5-13.

[2] 龔旭, 夏文莉. 美國聯邦政府開展的基礎研究績效評估及其啟示[J]. 科研管理, 2003, 24(2): 1-8.

Gong Xu, Xia Wenli. Performance evaluation and enlightenment of basic research conducted by the US federal government[J]. Science Research Management, 2003, 24(2): 1-8.

[3] 趙立雨. 基礎研究績效評估的國際比較及啟示[J]. 科技進步與對策, 2011, 28(24): 140-143.

Zhao Liyu. International comparison and enlightenment of basic research performance evaluation[J]. Science and Technology Progress and Policy, 2011, 28(24): 140-143.

[4] 國家科技部. 科學技術評價辦法（試行）（國科發(fā)計字〔2003〕308號）[EB/OL]. http://www.most.gov.cn/tztg/t20031106_8902.htm, 2003-09-20.

Ministry of Science and Technology. Science and technology evaluation methods (trial implementation) (GKFJZ (2003) 308)[EB/OL]. http://www.most.gov.cn/tztg/t20031106_8902.htm, 2003-09-20.

[5] 中國標準化研究院. 科學技術研究項目評估通則GB/T 22900-2009[S]. 北京: 中國標準化研究院, 2009.

China National Institute of Standardization. General rules for evaluation of scientific and technological research projects GB/T 22900-2009[S]. Beijing: China National Institute of Standardization, 2009.

[6] 王力. 國家自然科學基金項目績效評價指標體系構建[J]. 中國科技信息, 2017(Z1): 130-132, 134.

Wang Li. Construction of performance evaluation index system of NSFC projects[J]. China Science and Technology Information, 2017(Z1): 130-132, 134.

[7] 歐陽進良, 張俊清, 李有平. 我國科技評估與評估實踐的分析與探討[J]. 中國科技論壇, 2010(5): 5-9.

Ouyang Jinliang, Zhang Junqing, Li Youping. The analysis of Chinese practice of S&T evaluation[J]. Chinese Science and Technology Forum, 2010(5): 5-9.

[8] 國家科技評估中心. 國家自然科學基金2021年度績效評價報告[EB/OL]. https://www.nsfc.gov.cn/Portals/0/fj/fj20220413_01.pdf. 2022-04-13.

National Science and Technology Assessment Center. 2021 annual performance evaluation report of NSFC [EB/OL]. https://www.nsfc.gov.cn

/Portals/0/fj/fj20220413_01.pdf. 2022-04-13.

[9] 陸嬌, 毛開云, 趙曉勤. 國際科技評估方法與實踐[M]. 北京: 科學出版社, 2017.

Lu Jiao, Mao Kaiyun, Zhao Xiaoqin. Methods and practice of international science and technology assessment[M]. Beijing: Science Press, 2017.

[10] 李德順, 許開立, 李春晨. 基于集值迭代的多專家主觀權重確定方法的研究[J]. 金屬礦山, 2009(9): 42-50.

Li Deshun, Xu Kaili, Li Chunchen. Multi-expert determination of subjective weight based on setvalued iteration[J]. Metal Mine, 2009(9): 42-50.

[11] 劉小花, 詹慶東. 基于整合BSC和集值迭代法的高校圖書館戰(zhàn)略績效評估[J]. 圖書館, 2012(1): 92-95.

Liu Xiaohua, Zhan Qingdong. Strategic performance evaluation of academic library based on integrated BSC and value iteration methods[J]. Library, 2012(1): 92-95.

Research on Performance Evaluation Index System of Major Basic Research Project of Aerospace

Kang Lei-jing1, Jiao Xin-xin1, Liu Yu2

(1. China Academy of Launch Vehicle Technology, Beijing, 100076; 2. China Aerospace Academy of Systems Science and Engineering, Beijing, 100048)

Major basic research project of aerospace is characterized by numerous basic scientific problems, such as the high difficulty for investigation and the high requirements for innovation. However, there is no scientific, effective and quantitative index system of performance evaluation for the project. Based on investigating the performance evaluation policy and the frequently-used methods at home and abroad, a performance evaluation index system of major basic research project of aerospace is constructed. The proposed index system will effectively promote the management benefits and the high-quality development of aerospace basic research projects.

basic research; project management; performance evaluation index system

2097-1974(2023)01-0135-05

10.7654/j.issn.2097-1974.20230127

V57

A

2022-10-21；

2022-10-23

康磊晶（1971-），女，研究員，主要研究方向為科研管理。

焦鑫鑫（1986-），男，高級工程師，主要研究方向為科研管理。

劉 瑜（1984-），女，博士，研究員，主要研究方向為績效評估、技術/制造成熟度評估。