摘 要：【目的】探索河南省科技獎勵工作后評估框架和指標體系，推進科技獎勵工作不斷完善。【方法】根據(jù)河南省科技獎勵工作的特點，基于ATP通用邏輯模型構(gòu)建科技獎勵工作后評估邏輯框架，建立融合相關(guān)性、效率、效果和影響等評估準則的科技獎勵后評估指標體系，并運用隸屬度函數(shù)對后評估邏輯框架和指標體系在2022年河南省科技獎勵工作后評估中的應用效果進行檢驗。【結(jié)果】2022年河南科技獎勵工作評估結(jié)論為成功，但在獎種設(shè)置、獎勵制度建設(shè)等方面有待提升?！窘Y(jié)論】通過開展后評估工作，初步建立了科技獎勵工作第三方監(jiān)督和評估結(jié)果反饋機制，提升了河南省科技獎勵工作的質(zhì)量和整體績效。

關(guān)鍵詞：科技獎勵；后評估；ATP通用邏輯模型；評估準則；指標體系；隸屬度函數(shù)

中圖分類號：G322 文獻標志碼：A 文章編號：1003-5168（2024）17-0144-06

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.17.030

Construction and Application of the Logical Framework for Post-evaluation of Science and Technology Awards in Henan Province

FENG Wenjun WANG Miao XIANG Yong ZHANG Hui

（Henan Science and Technology Innovation Promotion Center，Zhengzhou 454003， China）

Abstract： [Purposes] This paper aims to explore the post-evaluation framework and index system of science and technology awards in Henan Province， and promote the continuous improvement of science and technology reward work. [Methods] According to the characteristics of science and technology awards in Henan Province， a logical framework applied in post-evaluation of the science and technology awards procedures was constructed on the basis of ATP general logic model. Moreover， the membership function is used to test the application effect of the post-evaluation logical framework and index system in the post-evaluation of science and technology awards in Henan Province in 2022. [Findings] The evaluation conclusion of science and technology award work of Henan Province in 2022 is successful， but it needs to be improved in terms of award setting and reward system construction. [Conclusions] Through the post-evaluation work， a third-party supervision and evaluation result feedback mechanism for science and technology awards was initially established， which improved the quality and overall performance of science and technology awards in Henan Province.

Keywords：science and technology award; post-evaluation; ATP general logical model; evaluation criteria; index system; membership function

0 引言

科技獎勵作為我國科技政策的重要組成部分，代表著政府和社會對科技工作者成果及其貢獻的認可，在激勵自主創(chuàng)新、激發(fā)人才活力、營造良好創(chuàng)新環(huán)境等方面發(fā)揮著重要作用?！蛾P(guān)于深化科技獎勵制度改革的方案》［1］和《河南省深化科技獎勵制度改革方案》［2］中明確提出，建立科技獎勵工作后評估制度，每年科學技術(shù)獎勵大會后，委托第三方機構(gòu)對年度獎勵工作進行評估，促進科技獎勵工作不斷完善?！秶鴦赵恨k公廳關(guān)于完善科技成果評價機制的指導意見》［3］在關(guān)于改革完善科技成果獎勵體系中同樣提出加強事中事后監(jiān)督，提高科技獎勵整體水平。

科技評估是政府加強科技管理和完善科學決策的重要舉措。因此，科技獎勵工作后評估整體定位是在科技獎勵工作完成后，由獨立的機構(gòu)按照規(guī)定和規(guī)范化要求，對工作目標、執(zhí)行過程、效益作用和影響等進行系統(tǒng)、客觀的再評估，通過建立第三方監(jiān)督和評估結(jié)果反饋機制從政策設(shè)計、目標設(shè)置、執(zhí)行過程等方面不斷優(yōu)化，提升科技獎勵工作質(zhì)量和整體績效。

1 后評估發(fā)展現(xiàn)狀

項目后評估起始于20世紀30年，是在項目完成并運行一段時間后，對項目目的、執(zhí)行過程、效益、作用和影響等進行系統(tǒng)、客觀地分析和總結(jié)的技術(shù)經(jīng)濟活動［4］。它已從單一的財務評價發(fā)展到包含經(jīng)濟、技術(shù)和可持續(xù)性后評價等多類內(nèi)容的綜合評價。Ilzkovitz等［5］指出了項目后評估的4個目標：加強對競爭政策決策影響力的理解、提高競爭政策的透明度和問責性、提倡競爭和競爭政策、改善未來的決策實踐［6］。世界銀行、亞洲開發(fā)銀行、美國、日本等國際機構(gòu)和國家逐漸形成了較為完善的后評估體系和獨立的評估機構(gòu)。我國的后評估起始于1988年，現(xiàn)已廣泛應用于財政績效［7］、項目［8］、政策［9］，甚至立法效果［10］等評估評價工作。

目前學術(shù)界關(guān)于科技獎勵后評估的研究成果并不多，且前期的研究工作主要集中在科技獎勵制度運行績效評價和科技獎勵獲獎項目績效評價，難以涵蓋科技獎勵工作后評估的全貌。《深化科技獎勵制度改革方案》印發(fā)后才出現(xiàn)科技獎勵工作后評估相關(guān)研究。危懷安等［11］構(gòu)建了社會、行政、制度、管理和文化“五位一體”的國家科技獎勵工作后評估研究邏輯，從過程維與結(jié)果維兩個視角探討了國家科技獎勵后評估的主要對象和關(guān)鍵內(nèi)容。張成偉［12］基于“概念的操作化定義—后評估維度確定與解構(gòu)—后評估指標篩選與賦權(quán)—指標釋義與評分標準確定”邏輯，運用專家咨詢法和層次分析法建立了國家科技獎勵后評估指標體系。

2 河南省科技獎勵工作后評估邏輯框架構(gòu)建與指標體系開發(fā)

2.1 評估邏輯模型

設(shè)計科學合理的評估框架是開展評估工作的基礎(chǔ)，目前主要的科技評估框架有邏輯模型和變革理論［13］，其中邏輯模型中的ATP（Advanced Technology Program）通用邏輯模型通過建立“社會目標—具體政策—目標任務—組織機制—實施效果”完整評估鏈條，向計劃管理者和政策制定者反饋評估結(jié)果及建議，與科技獎勵工作后評估定位高度吻合。因此，本文選用ATP通用邏輯模型，從河南省科技獎勵的社會目標出發(fā)，分析現(xiàn)行科技獎勵政策、組織機制和實施效果，厘清科技獎勵目標和任務實現(xiàn)路徑（圖1）。

河南省科技獎勵的社會目標是弘揚求真務實、勇于創(chuàng)新的科學精神，營造尊重知識、尊重人才的良好氛圍，調(diào)動全社會支持科技創(chuàng)新的積極性，推動科技進步和經(jīng)濟社會發(fā)展、加快建設(shè)創(chuàng)新型河南和全國科技創(chuàng)新高地。具體概況為激勵導向目標和凝聚人才目標?？萍吉剟钫甙í劮N設(shè)置、獎勵結(jié)構(gòu)和獎金標準等。組織機制包括科技獎勵工作組織機制和評審監(jiān)督機制，通過建立科學的評價方法、規(guī)范高效的工作流程和公開透明的評審監(jiān)督機制，提高科技獎勵評審質(zhì)量和公信力。實施效果是指獎勵效果，主要包括獎勵成效和滿意度。

2.2 評估準則

評估準則是開展評估工作的若干標準，國際上普遍采用相關(guān)性、效率、效果、影響、可持續(xù)等準則開展公共R＆D（研究與開發(fā)）評估。根據(jù)前面建立的河南省科技獎勵工作后評估邏輯模型，選擇相關(guān)性、效率、效果和影響等4個評估準則。

相關(guān)性：從科技獎勵工作目標定位、獎種設(shè)置等方面評估科技獎勵工作與河南省科技創(chuàng)新政策的相符程度，判斷科技獎勵工作的設(shè)立是否合理。

效率：從科技獎勵工作組織實施、評審監(jiān)督等方面評估科技獎勵工作整體投入與產(chǎn)出之間的關(guān)系，判斷科技獎勵工作實施過程是否科學高效。

效果：從科技獎勵成效等方面評估科技獎勵工作目標的實現(xiàn)程度，判斷科技獎勵工作是否達到預期效果。

影響：從獎勵工作滿意度方面評估科技獎勵工作社會滿意度，判斷社會對科技獎勵工作的公認程度、目標群體的滿意度等。

2.3 評估指標體系

根據(jù)前文建立的河南省科技獎勵工作后評估邏輯模型和選擇的評估準則，通過梳理研究相關(guān)政策、規(guī)范和文獻，確定了“科技獎勵工作+后評估”的定位，設(shè)計開發(fā)了目標定位、獎種設(shè)置、組織實施、評審監(jiān)督、獎勵效果等5個一級指標，并細化了14個二級指標、22個三級指標（表1）。該評估指標體系覆蓋了《國家科學技術(shù)獎勵績效評價暫行辦法》［14］要求的評價內(nèi)容，在技術(shù)方法層面推動科技獎勵工作后評估機制與預算績效管理的融合，有助于評價信息共享與評價結(jié)果互認。

2.4 評估等級

科技獎勵工作后評估堅持問題導向和結(jié)果導向，重在發(fā)現(xiàn)科技獎勵活動中存在的問題，以及科技獎勵工作產(chǎn)生的效果和影響。本次評估結(jié)果處理采用定性的等級評定法，總體評估結(jié)論設(shè)置不成功、基本成功、成功和非常成功4個評估等級。

3 評估分析

通過案卷研究、問卷調(diào)查、面訪座談、專家咨詢、數(shù)據(jù)分析等方法，圍繞各一級評估指標對2022年河南省科技獎勵工作展開分析。

3.1 目標定位

激勵導向方面。河南省科技獎勵工作堅持激勵性和導向性原則，圍繞河南省經(jīng)濟社會發(fā)展全局和產(chǎn)業(yè)結(jié)構(gòu)轉(zhuǎn)型升級需要，建立健全以創(chuàng)新能力、創(chuàng)新質(zhì)量、實際貢獻為導向的獎勵機制，重點獎勵創(chuàng)新引領(lǐng)作用強、特色優(yōu)勢突出、對產(chǎn)業(yè)轉(zhuǎn)型升級和經(jīng)濟發(fā)展貢獻大、解決“卡脖子”技術(shù)難題的科技成果，重點獎勵具有重大影響力的科學發(fā)現(xiàn)、具有重大原創(chuàng)性的技術(shù)發(fā)明、具有重大經(jīng)濟社會價值的科技創(chuàng)新成果。在起重裝備、礦山裝備、冶金裝備、交通運輸裝備等領(lǐng)域涌現(xiàn)出一大批高水平科技成果，為推動河南省制造業(yè)高質(zhì)量發(fā)展提供了有力的科技支撐。

凝聚人才方面。河南省科技獎勵工作堅持優(yōu)中選優(yōu)、寧缺毋濫的原則，嚴格評審標準，突出標志性成果的質(zhì)量、貢獻和影響。自然科學獎、技術(shù)發(fā)明獎和科技進步獎共提名數(shù)量853項，授獎總數(shù)315項（人），激勵引導了更多優(yōu)秀科技人才。通過科技獎勵工作，發(fā)現(xiàn)人才、培養(yǎng)人才、支持人才，調(diào)動科技人員積極性和創(chuàng)造性，增強科技人員的榮譽感、責任感和使命感，激發(fā)人才活力。

3.2 獎種設(shè)置

河南省科學技術(shù)獎包括自然科學獎、技術(shù)發(fā)明獎、科技進步獎、科學技術(shù)杰出貢獻獎和科學技術(shù)合作獎等五個獎種與國家科技獎相銜接，符合科學技術(shù)在基礎(chǔ)研究、技術(shù)發(fā)明、應用研究等3個階段的發(fā)展規(guī)律，授獎315項符合河南省改革方案中總數(shù)不超過350項的要求，獲獎項目領(lǐng)域結(jié)構(gòu)與河南省相關(guān)行業(yè)的實際科技水平基本相符。

2022年度河南省科技獎勵工作共評審出獲獎項目315項（人），其中省自然科學獎24項，技術(shù)發(fā)明獎16項，科技進步獎269項，科學技術(shù)杰出貢獻獎2人，科學技術(shù)合作獎4項（人）（表2）。除杰出貢獻獎和合作獎不設(shè)獎勵等級外，自然科學獎、技術(shù)發(fā)明獎和科技進步獎共評選出特等獎項目2項、一等獎項目27項、二等獎項目118項、三等獎項目162項，比例分別為0.65%、8.74%、38.18%、52.43%。與2020年相比，新增特等獎2項，一等獎增加了4項，二等獎減少了3項，三等獎增加了14項。符合河南省深化科技獎勵制度改革方案的規(guī)定。

在獎金標準方面，《河南省深化科技獎勵制度改革方案》設(shè)定的“杰出貢獻獎獎金標準為300萬元/人；河南省自然科學獎、技術(shù)發(fā)明獎、科學技術(shù)進步獎獎金標準為：一等獎50萬元/項、二等獎30萬元/項、三等獎20萬元/項”，在中部六省中是最高的，強化了科技獎勵的激勵導向。

3.3 組織實施

河南省科技獎勵工作設(shè)立了管理組織架構(gòu)和評審組織架構(gòu)，職責分工明確，構(gòu)建的獎勵工作“二三七五”①工作機制保證了獎勵工作規(guī)范操作，實現(xiàn)了評審結(jié)果公平公正，提高了科技獎勵評審質(zhì)量和公信力。

評審工作實行“五個堅持”，即堅持定性評價與定量評價相結(jié)合、堅持異地答辯和現(xiàn)場答辯相結(jié)合、堅持“評審+考察”機制、堅持評審全程留痕管理、堅持評審期間封閉管理和各環(huán)節(jié)接受監(jiān)督，評審組織工作嚴密、紀律嚴明。

評審工作實行異議制度，對異議的分類、處理流程、處理時效、負責單位等作出了詳細的規(guī)定。

3.4 評審監(jiān)督

從提名到評審的7個工作環(huán)節(jié)，進行5次公示，接受省紀委駐省科技廳紀檢監(jiān)察組與廳紀檢組全程監(jiān)督。實行評審觀察員制度，邀請省人大代表、政協(xié)委員、新聞媒體到評審現(xiàn)場觀摩，社會監(jiān)督機制完善。

3.5 獎勵效果

河南省科技獎勵工作建立了完善的獎勵工作質(zhì)量管理體系，保證了獎勵工作機制的嚴格執(zhí)行和規(guī)范操作，在全國范圍內(nèi)樹立了河南省科技獎勵的工作品牌，形成了可復制可推廣的經(jīng)驗，且被《中國科技獎勵年鑒》收錄推廣。

獲獎項目既有面向國家戰(zhàn)略需求、解決“卡脖子”技術(shù)的重大項目，也有致力于改善民生的科技成果，獲獎項目領(lǐng)域結(jié)構(gòu)與河南省相關(guān)行業(yè)的實際科技水平基本相符。

通過對科研人員、科技管理人員、科技獎評審專家及其他人員的640份有效調(diào)查的分析發(fā)現(xiàn)，評獎結(jié)果滿意度、科技獎勵工作公開透明度、科技獎勵的社會公認度滿意及非常滿意分別占比91%、95%和90%。

4 綜合評價

模糊綜合評價是對受多種因素影響的事物做出全面評價的一種十分有效的多因素決策方法。本文結(jié)合河南省科技獎勵工作的特點，根據(jù)模糊數(shù)學最大隸屬度原則確定后評估等級［15-16］。基本思路為：①確定評價對象指標集。根據(jù)前文確定的河南省科技獎勵工作后評估指標體系，確定5個一級指標作為后評估的指標集，邀請熟悉河南省科技獎勵工作的專家，在事實證據(jù)分析的基礎(chǔ)上對2022年河南省科技獎勵工作5個一級指標進行定量評估，得到的分數(shù)為u=（83，79，92，89，86）；②確定評價集。設(shè)定4個后評估等級及相應的分值區(qū)間，詳見表3；③按照梯形分布函數(shù)建立模糊評價矩陣R；④通過德爾菲法得出評判指標權(quán)重集A；⑤根據(jù)最大隸屬度原則判斷后評估等級。

令[μ1]（x）（i=Ⅰ，Ⅱ，Ⅲ，Ⅳ）表示相對于4個等級的隸屬度函數(shù)，按照梯形分布函數(shù)進行計算：

[μ1（x）=1（0≤x<60）80-x20（60≤x<80）0（80≤x≤100）]

[μ2（x）=x60（0≤x<60）1（60≤x<80）90-x10（80≤x<90）0（90≤x≤100）]

[μ3（x）=0（0≤x<60）x-6020（60≤x<80）1（80≤x<90）100-x10（90≤x≤100）]

[μ4（x）=0（0≤x<80）x-8010（80≤x<90）1（90≤x≤100）]

將5個分數(shù)代入該隸屬度函數(shù)，得到評價矩陣：

[R=00.710.30.0510.950000.8100.110.900.410.6]

運用德爾菲法確定5個一級指標權(quán)重，經(jīng)歸一化后得到權(quán)重集A，A=（0.1，0.1，0.3，0.2，0.3）。

計算出模糊綜合評價結(jié)果集B=AR，采用取大取小算法得到：B=（0.005，0.25，0.935，0.69）。歸一化后得到最終的結(jié)果集D=（0.003，0.133，0.497，0.367）。根據(jù)最大隸屬度原理，得到的結(jié)果等級為Ⅲ級，說明2022年河南省科技獎勵工作整體評估結(jié)論為“成功”。

5 結(jié)論與建議

5.1 評估結(jié)論

①建立的河南省科技獎勵工作后評估邏輯模型，從科技獎勵的社會目標出發(fā)，厘清了科技獎勵目標和任務實現(xiàn)路徑。依據(jù)后評估邏輯模型與相關(guān)性、效率、效果、影響、可持續(xù)等準則開發(fā)的評估指標體系覆蓋了《國家科學技術(shù)獎勵績效評價暫行辦法》要求的評價內(nèi)容，從技術(shù)方法層面推動科技獎勵工作后評估機制與預算績效管理的融合，有助于評價信息共享與評價結(jié)果互認，減少重復評價，提高評價質(zhì)量與效率。

②邀請專家通過案卷研究、數(shù)據(jù)分析、滿意度調(diào)查等方法搜集分析評估證據(jù)，運用隸屬度函數(shù)得到2022年河南省科技獎勵工作整體評估結(jié)論為“成功”。

③通過后評估工作初步建立了河南省科技獎勵工作第三方監(jiān)督機制和信息反饋機制，增強了科技獎勵工作公開透明度，提高了科技獎勵的公信力和社會影響力，有助于提升科技獎勵工作質(zhì)量和整體績效。

5.2 評估建議

5.2.1 提高授獎數(shù)量，調(diào)整授獎結(jié)構(gòu)。2022年河南省科技獎勵工作共評審出獲獎項目315項，為改革方案要求的不超過350項的90%。一等獎占獲獎項目總數(shù)的8.74%，與國內(nèi)其他地方一等獎比例一般在10%以上相比，獲獎比例仍偏低。建議進一步提高授獎總數(shù)和一等獎獲獎比例，提升科技獎勵激勵效應。

5.2.2 優(yōu)化科技獎勵類別和結(jié)構(gòu)。目前全國15個?。▍^(qū)、市）的獎種設(shè)置除了自然科學獎、技術(shù)發(fā)明獎、科技進步獎、科學技術(shù)杰出貢獻獎和科學技術(shù)合作獎以外，還設(shè)置了青年科技獎、創(chuàng)新團隊獎、創(chuàng)新企業(yè)獎等。河南省科技獎勵獎項類別相對較少，建議進一步增設(shè)青年科技杰出貢獻獎和創(chuàng)新團隊等獎項，強化對優(yōu)秀青年學者和科研創(chuàng)新團隊的激勵和培育。

5.2.3 加快科技獎勵制度建設(shè)。河南省科技獎勵改革方案出臺已近4年，全國31個?。▍^(qū)、市）已有27個修訂并發(fā)布了新的科技獎勵辦法，建議加快修訂出臺《河南省科學技術(shù)獎勵辦法》，為河南省科技獎勵工作提供政策支撐。

5.2.4 建立獲獎項目跟蹤評價機制。在更長時間的維度中跟蹤科技成果的科學、技術(shù)、經(jīng)濟、社會、文化價值，總結(jié)分析高質(zhì)量科技成果特征，指導科技獎勵政策修訂。

注釋：

[①]“二三七五”工作機制即兩個工作階段（提名評審和審核批準）、三級評審（專業(yè)組網(wǎng)絡評審、行業(yè)組會議評審和評委會會議評審）、七環(huán)節(jié)五公示（從提名到評審的七個工作環(huán)節(jié)，進行五次公示）。

參考文獻：

［1］國務院辦公廳.關(guān)于深化科技獎勵制度改革的方案［EB/OL］.（2017-06-09）［2021-12-21］.http：//www.gov.cn/zhengce/content/2017-06/09/content_5201043.htm.

［2］河南省人民政府辦公廳.河南省深化科技獎勵制度改革方案［EB/OL］.（2019-04-15）［2021-12-21］.https：//www.henan.gov.cn/2019/04-26/744155.html.

［3］國務院辦公廳.國務院辦公廳關(guān)于完善科技成果評價機制的指導意見［EB/OL］.（2017-08-02）［2021-12-21］.http：//www.gov.cn/zhengce/content/2021-08/02/content_5628

987.htm.

［4］陳銀花.獲獎科技成果的后評價研究［D］.上海： 華東理工大學，2012.

［5］ ILZKOVITZ F， DIERX A．CRESSE 2017，12th international conference on competition and regulation［C］//Brussels： European Commission， 2017.

［6］危懷安，杜錦.國外項目后評估研究綜述［J］.科技管理研究，2020，40（15）： 231-235.

［7］謝福泉，任浩，張軍果.財政科技投入產(chǎn)出績效評價體系的構(gòu)建：科技項目后評價視角［J］.中國科技論壇，2006（6）： 25-27.

［8］劉艷艷.科技計劃項目后評價體系構(gòu)建研究［D］.呼和浩特：內(nèi)蒙古工業(yè)大學，2013.

［9］臘孟珂，劉會成，林立清，等.邏輯框架法在環(huán)境政策后評估中的應用及實例研究［J］.江西科學，2016，34（6）：903-906.

［10］丁賢，張明君.立法后評估理論與實踐初論［J］.政治與法律，2008（1）：131-137.

［11］危懷安，張成偉.國家科技獎勵工作后評估：邏輯起點與對象分析［J］.科技管理研究，2019，39（19）：28-32.

［12］張成偉.國家科技獎勵工作后評估指標體系的理論構(gòu)建與實證檢驗［J］.科技管理研究，2020，40（19）： 77-85.

［13］國家科技評估中心，中國科技評估與成果管理研究會.科技評估方法與實務［M］ .北京：北京理工大學出版社，2019：24-26.

［14］財政部，科技部.國家科學技術(shù)獎勵績效評價暫行辦法［EB/OL］.（2019-12-17）［2021-12-21］.http：//jkw.mof.gov.cn/zhengcefabu/202001/t20200109_3457033.htm.

［15］涂向陽，高學平.模糊數(shù)學在海水入侵地下水水質(zhì)評價中的應用［J］.水利學報，2003（8）：64-69.

［16］孫鋒.基于隸屬度函數(shù)的福建省水務網(wǎng)站績效評價［J］.供水技術(shù)，2014，8（1）：55-57，61.

收稿日期：2024-03-29

基金項目：河南省軟科學研究“科技成果評價與‘三評’融合理論及實務研究”（232400410258）。

作者簡介：馮文軍（1988—），男，碩士，工程師，研究方向：科技評估、成果轉(zhuǎn)化；王淼（1990—），女，碩士，工程師，研究方向：科技項目管理、科技評估；張輝（1971—），男，本科，高級工程師，研究方向：科技評估、績效評價。

通信作者：項勇（1968—），男，本科，教授級高級工程師，研究方向：技術(shù)經(jīng)濟評價。