■文/曹靜 蔡志剛（北京市科學(xué)技術(shù)研究院創(chuàng)新發(fā)展戰(zhàn)略研究所）

當(dāng)前，我國科技創(chuàng)新正處于爬坡過坎的關(guān)鍵時期，隨著國際科技競爭形勢越來越嚴(yán)峻復(fù)雜，國家及各省市“十四五”規(guī)劃中都持續(xù)增加研發(fā)投入，不斷加大重大科技項目的部署力度，這對科技項目評估的需求與評估質(zhì)量也提出了更高要求。為提高科技項目評估的科學(xué)化和專業(yè)化水平，避免或降低科技項目評估實際操作中的各類風(fēng)險，課題組結(jié)合開展北京全國科技創(chuàng)新中心建設(shè)重點項目績效評估的實踐，采取專家調(diào)研訪談和問卷調(diào)查方式，重點針對科技項目評估中的信息采集、專家遴選兩個關(guān)鍵環(huán)節(jié)，對可能涉及到的主要風(fēng)險點進行梳理，對其風(fēng)險程度進行了量化調(diào)查分析，并提出了如何降低或避免風(fēng)險的對策建議，這對更好地開展科技項目評估和科學(xué)決策有很好的政策價值。

一、科技項目評估風(fēng)險的突出特征

科技項目評估是貫穿科技項目實施全過程的重要組成部分，無論立項評估、中期評估，還是績效評估，都是優(yōu)化和引導(dǎo)科技創(chuàng)新資源配置的重要政策工具。在評估操作中信息采集、專家遴選、評估方法等都會受各種主客觀風(fēng)險因素的影響，進而直接決定了評估結(jié)果的客觀性和準(zhǔn)確性，使得科技項目評估產(chǎn)生偏差，嚴(yán)重影響科技項目的實施推廣與資源配置，這就是科技項目評估的風(fēng)險。由于對某一領(lǐng)域技術(shù)發(fā)展水平、技術(shù)成熟度、項目成果價值、社會經(jīng)濟效益等內(nèi)容進行評價的專業(yè)性很強，因此科技項目評估全過程中的風(fēng)險往往存在如下突出特征。

（一）普遍性

科技項目評估過程中多種因素共同作用往往導(dǎo)致評估中風(fēng)險的形成，在項目實施過程的立項、進展、績效等任何一個過程中，信息采集的內(nèi)容、渠道、對象和咨詢專家的水平、評估時間等諸多因素都會影響評估結(jié)論。同時，科技項目評估的利益相關(guān)方對評估內(nèi)容的理解不同也會產(chǎn)生風(fēng)險，因此評估前的培訓(xùn)、充足的評估時間、評估監(jiān)督等就非常重要，可以說科技項目評估中的風(fēng)險具有普遍性和無處不在的特征。

（二）潛在性

科技項目評估的風(fēng)險一般不易發(fā)現(xiàn)，通常需要經(jīng)過驗證才會體現(xiàn)出來，如果沒有驗證出來，那么由此造成的實際損失就顯現(xiàn)不出來，往往是評估完成了，決策執(zhí)行了，評估過程沒有考慮到的因素導(dǎo)致的問題也出現(xiàn)了。因此，科技項目評估的風(fēng)險是一種可能的風(fēng)險，具有潛在性。它造成的某種損失也有一個顯現(xiàn)的過程，這一過程的長短與社會公眾對評估風(fēng)險的認(rèn)知程度、評估工作所處的環(huán)境以及科技項目評估風(fēng)險的內(nèi)容、性質(zhì)緊密相關(guān)。

（三）可控性

科技項目評估是一項系統(tǒng)性的研究工作，雖然科技項目評估過程中的風(fēng)險不可完全避免，但是如果掌握了科技項目評估中風(fēng)險產(chǎn)生的規(guī)律、可能出現(xiàn)的環(huán)節(jié)、影響因素等（姜莉，2019），評估人員可以采取有效措施比如完善信息采集渠道、評估前開展專家培訓(xùn)、建立專家遴選和退出機制等措施進行防范和降低風(fēng)險，將風(fēng)險控制在較低或能被接受的水平。因此，科技項目評估中的風(fēng)險是可以控制的。

二、科技項目評估中的風(fēng)險點調(diào)查分析

科技項目評估的過程是評估信息的收集、傳遞、交流、分析和運用的過程，從科技項目評估的工作形態(tài)上來看，包括信息采集、專家遴選、選擇評估方法、專家咨詢、形成結(jié)論、編寫報告等環(huán)節(jié)。其中信息采集和專家遴選是評估工作開始面臨的首要環(huán)節(jié)，信息采集的準(zhǔn)確和完整程度、遴選的專家與評估任務(wù)的匹配程度直接影響評估結(jié)果的客觀公正，是科技項目評估的基礎(chǔ)，也是關(guān)鍵的環(huán)節(jié)。本部分通過案例分析、文獻研究和走訪調(diào)研，重點針對信息采集和專家遴選中可能涉及到的風(fēng)險點進行梳理，形成風(fēng)險點清單，再結(jié)合調(diào)查問卷研究對各個風(fēng)險點的風(fēng)險程度進行逐一判斷評價。

（一）項目評估工作中可能存在的主要風(fēng)險點

結(jié)合課題組對北京全國科技創(chuàng)新中心建設(shè)重點項目的評估實踐，我們發(fā)現(xiàn)：由于評估組的信息采集一般來源于委托方、被委托方和公開渠道等，因此信息來源渠道是否可靠和可信、采集內(nèi)容準(zhǔn)確與否，以及專家專業(yè)背景、對專家的監(jiān)督與評價機制等都是風(fēng)險點所在。

例如，在信息采集渠道方面，評估組除通過秘書處與“七辦”（“一處七辦”是北京國際科技創(chuàng)新中心的組織架構(gòu)?！耙惶帯敝副本﹪H科技創(chuàng)新中心秘書處，設(shè)在北京市科委；“七辦”指七個專項辦公室：重大科技計劃專項辦、中關(guān)村科學(xué)城專項辦、懷柔科學(xué)城專項辦、未來科學(xué)城專項辦、創(chuàng)新型產(chǎn)業(yè)集群與制造業(yè)高質(zhì)量發(fā)展專項辦、全面創(chuàng)新改革與中關(guān)村先行先試專項辦、科技人才專項辦）順暢溝通外，還可以重點選取部分項目承擔(dān)單位參加訪談，拓寬信息采集的渠道和范圍。在信息采集內(nèi)容方面，除了被評估對象提供的信息，還增加了公開信息的搜集和問卷調(diào)查，從而為評估提供盡可能全面的證據(jù)。此外，為保證采集信息的準(zhǔn)確性，如有些信息佐證材料不全，核驗也比較困難，就需要與項目單位多次溝通。在專家遴選方面，評估組發(fā)現(xiàn)在從專家?guī)炖镥噙x戰(zhàn)略研究專家和部分專業(yè)領(lǐng)域?qū)＜視r，往往存在專家?guī)煨畔⒏虏患皶r、部分專業(yè)領(lǐng)域?qū)＜胰狈Φ葐栴}，另外專家對科技項目評估的認(rèn)識不一，一些專業(yè)領(lǐng)域?qū)＜覍υu估工作不太了解，需要進行評估前培訓(xùn)和熟悉材料，這對專家判斷很關(guān)鍵。

為此，通過對評估機構(gòu)專家調(diào)研訪談，結(jié)合對國家科技項目評審和管理辦法等相關(guān)文獻研究，重點針對信息采集和專家遴選兩大環(huán)節(jié)，共識別出十大風(fēng)險點清單（見表1）。為方便記錄分析，對十大風(fēng)險點進行了F1-F10編碼。

表1 信息采集和專家遴選的風(fēng)險點清單

（二）十大風(fēng)險點的風(fēng)險程度調(diào)查分析

為對信息采集和專家遴選環(huán)節(jié)中10個主要風(fēng)險點的風(fēng)險程度進行判斷，課題組通過問卷調(diào)查的方法，重點面向國家和地方層面的評估機構(gòu)、科技項目承擔(dān)單位的多位咨詢專家，定向發(fā)放調(diào)查問卷，共收回有效問卷63份。

同時，采用半定量的方式（朱軍，2020）進行風(fēng)險程度的等級設(shè)置，分別對嚴(yán)重性程度、發(fā)生的可能性和對評估結(jié)果的影響用1～5整數(shù)分為5個等級，1～2級為低風(fēng)險，3級為中風(fēng)險，4～5級為高風(fēng)險。經(jīng)調(diào)查統(tǒng)計得到最終風(fēng)險程度等級（見表2）。

表2 信息采集和專家遴選的風(fēng)險程度評價

可以看出：一是專家普遍認(rèn)為被調(diào)查的所有風(fēng)險點都為中風(fēng)險或高風(fēng)險。說明識別出的風(fēng)險點在科技項目評估中比較重要，應(yīng)該對這些風(fēng)險點采取應(yīng)對措施來進行控制。而且從嚴(yán)重程度來看，全部分布在信息采集環(huán)節(jié)，具體為信息采集內(nèi)容設(shè)計不全面、信息采集渠道不準(zhǔn)確、信息采集對象不準(zhǔn)確、對采集的信息核驗困難等4個高風(fēng)險點。二是從發(fā)生的可能性來看，有3個風(fēng)險點發(fā)生的可能性較高，分別為信息采集渠道不準(zhǔn)確、信息采集對象不準(zhǔn)確、缺乏對專家的監(jiān)督和評價機制。而其他風(fēng)險點的發(fā)生可能性為中等。三是從對評估結(jié)果的影響來看，有7個風(fēng)險點為高風(fēng)險，僅有3個風(fēng)險點為中風(fēng)險，說明這十大風(fēng)險點中絕大部分對評估結(jié)果的影響較大，需要格外進行關(guān)注。

通過以上分析，科技項目評估中信息采集和專家遴選中的十個風(fēng)險點確實需要關(guān)注，因此對風(fēng)險點提出控制措施，將有利于提高科技項目評估的質(zhì)量。

（三）控制評估風(fēng)險的主要舉措調(diào)查分析

信息采集準(zhǔn)備：信息采集前，需要依據(jù)被評估對象的特點，研究信息采集內(nèi)容、采集準(zhǔn)確性和采集方式等問題。包括研究設(shè)計評估指標(biāo)和關(guān)鍵評估問題，以及人力、經(jīng)費、時間等評估資源；同時為確保評估信息的完整性，需確定評估信息材料是否涵蓋了評估調(diào)研材料、歷史材料、項目相關(guān)發(fā)展分析材料等，以保證材料齊全，不能隨意減少和遺漏相關(guān)信息，尤其是重要信息，以免影響決策。調(diào)查顯示，針對“信息采集內(nèi)容設(shè)計不全面”，有77.78%的專家認(rèn)為需研究被評估對象，74.6%的專家認(rèn)為需重視采集方式，60.32%的專家認(rèn)為需研究信息涵蓋的內(nèi)容（見表3）。

表3 信息采集前需要準(zhǔn)備的工作

信息采集渠道：一般來說，原始信息采集渠道以被評估對象提供信息為主，評估機構(gòu)可充分利用自評調(diào)查表，并結(jié)合由被評估方提供的自評報告作為獲取評估信息的主要渠道。如針對“信息采集渠道和采集對象不準(zhǔn)確”的調(diào)查顯示，93.65%的專家認(rèn)為信息采集主要渠道是被評估對象提供，這可以充分保障信息采集渠道的準(zhǔn)確性。常用的信息采集方式包括案卷研究、座談會、實地調(diào)研、問卷調(diào)查和案例研究等，每個信息采集方式各自有優(yōu)缺點，要根據(jù)評估對象的實際情況，選擇多種方式確保信息的全面客觀。

同時，為保證評估的客觀性，還可借助現(xiàn)代化信息技術(shù)，從可信的官方網(wǎng)站、微信公眾號等渠道，多角度采集與被評估對象相關(guān)的網(wǎng)絡(luò)信息，以補充和佐證原始信息。如跟蹤收集公開發(fā)布的科技項目的進展情況素材、各種媒體公開報道及相關(guān)資料等。

信息采集的質(zhì)量：評估信息的質(zhì)量對評估可信度影響很大，必須對采集的各類信息進行真實性、有效性和準(zhǔn)確性的檢驗。針對“對采集的信息缺乏核驗”“信息缺乏標(biāo)準(zhǔn)化形式，難以編錄和分析”，調(diào)查中有71.43%的專家認(rèn)為需要通過實地調(diào)研的方法對信息證明材料進行核查、對信息進行分類核對。因此，需要采取嚴(yán)格的技術(shù)手段，充分核驗評估信息。如評估科技項目的績效，采用對比分析的方法檢驗該項目績效與目標(biāo)數(shù)據(jù)的關(guān)系，可要求項目承擔(dān)單位填報數(shù)據(jù)采集表，并提供支持憑證，便于評估人員對所有數(shù)據(jù)核驗支持憑證。對數(shù)據(jù)采集表中填寫不完整的部分，增加實地考察環(huán)節(jié)或答辯環(huán)節(jié)，由專家現(xiàn)場提問，核驗評估信息；對沒有標(biāo)準(zhǔn)格式難以編錄的信息要進行標(biāo)注，進行詞頻和觀點分析，為評估提供支撐。

專家遴選方案：在科技項目評估中的專家遴選環(huán)節(jié)，篩選評估專家是第一步，專家遴選方案內(nèi)容主要包括專家來源、專家數(shù)量、專家結(jié)構(gòu)等要素。合理的專家數(shù)量應(yīng)該根據(jù)評估類型、評估對象性質(zhì)、目的不同來確定，同時按照專家的年齡、學(xué)科、性別、地域、知識等特點組成結(jié)構(gòu)、層次合理的專家隊伍。根據(jù)對專家遴選渠道的調(diào)查，92.06%的專家認(rèn)為通過專家?guī)戾噙x專家是主要來源（見表4）。

表4 專家遴選的渠道情況

三、對控制科技項目評估風(fēng)險的對策建議

（一）構(gòu)建標(biāo)準(zhǔn)化的科技項目評估體系

科技項目評估的核心目的是將真實、客觀的高質(zhì)量評估結(jié)論交付委托方，進而在評估主體和管理部門等各利益主體間建立責(zé)任機制，達到有利于調(diào)整科技計劃、研究方向和優(yōu)化配置資源的目標(biāo)。因此，建議按照國家《科技評估通則》（2021年12月1日實施），加快科技項目評估的標(biāo)準(zhǔn)化建設(shè)，為北京國際科技創(chuàng)新中心建設(shè)等重點項目的評估提供參考。一是規(guī)范科技項目評估的程序，按照一定的原則和標(biāo)準(zhǔn)對科技項目進行專業(yè)化評價，完善評估程序中的各個環(huán)節(jié)，降低評估工作中的風(fēng)險。二是明確評估主體、客體和第三方等相關(guān)部門的職責(zé)，以標(biāo)準(zhǔn)來優(yōu)化第三方評估機構(gòu)的評估工作，引導(dǎo)評估機構(gòu)建立科技項目評估的基本信息標(biāo)準(zhǔn)檔案，對評估運行狀況進行記錄和信息數(shù)據(jù)化，運用標(biāo)準(zhǔn)化機制約束評估。三是完善符合國際慣例的“同行專家評議”制度，根據(jù)評估對象和評估內(nèi)容，優(yōu)化評估方法體系，結(jié)合定量評估方法手段，彌補定性評估方法中主觀判斷較強的不足。

（二）建立信息采集、評估反饋等多方協(xié)作的評估機制

科技項目評估工作的系統(tǒng)性很強，需要利益相關(guān)各方密切合作，針對實際操作中普遍存在的“信息采集內(nèi)容不全面、不準(zhǔn)確”“信息核驗困難”等諸多風(fēng)險和對評估結(jié)果的準(zhǔn)確性產(chǎn)生較大影響的情況，就需要評估方、被評估方、管理部門等多方協(xié)作才能保證項目評估的高質(zhì)量完成，才能在順暢溝通中采集到準(zhǔn)確可信的評估信息，便于通過整理分析核查，檢驗采集信息的質(zhì)量。同時，與知識產(chǎn)權(quán)、財稅經(jīng)濟等相關(guān)部門協(xié)作，借助信息技術(shù)等客觀評估方法等來保證評估結(jié)果的客觀性和科學(xué)性。探索拓寬評估信息采集的范圍和渠道，嘗試引入愛思唯爾、科睿唯安等公司的數(shù)據(jù)庫，對重點項目的成效進行國際競爭力等對比評估，獲得更豐富的評估依據(jù)。

（三）建立專家遴選、使用和監(jiān)督評價機制

一是建立專家?guī)靹討B(tài)信息更新機制。針對“評估機構(gòu)未建立專家?guī)臁＜倚畔⒉唤∪钡雀唢L(fēng)險情況，加快建立包括北京本地、國內(nèi)頂級和國外知名專家在內(nèi)的專家?guī)?，實現(xiàn)戰(zhàn)略專家和領(lǐng)域技術(shù)專家分類，以開放視野開展國際科技創(chuàng)新中心重點項目的評估。根據(jù)形勢需求和項目特點，及時更新、細(xì)化專家?guī)欤_保評估機構(gòu)專家?guī)炷軐崿F(xiàn)專家分類、信息更新、智能抽取等功能。二是建立專家監(jiān)督、輪換等機制。結(jié)合專家信譽度評價和回避制度，加強對評估專家參加項目評估工作的業(yè)績進行監(jiān)督，建立評估專家的進入與退出機制，對參加項目評估的轉(zhuǎn)件實行輪換機制，如采取參加國際科技創(chuàng)新中心評估的專家進行定期輪換，簽署專家誠信承諾書等措施，提高評估的公平公正。三是建立對專家的專業(yè)化培訓(xùn)機制。針對“缺乏對專家的評估培訓(xùn)”和“給專家安排的評估準(zhǔn)備時間太短”的情況，對專家進行評估專業(yè)知識培訓(xùn)，確保專家熟悉評估工作的程序和規(guī)則，了解和掌握評估方法和要求，合理安排評估時間進度、工作量，確保專家能夠充分熟悉評估材料，順利開展評估工作。