程中倩，吳水榮，梁 巍

（1.中國(guó)林業(yè)科學(xué)研究院林業(yè)科技信息研究所；2.中國(guó)林業(yè)科學(xué)研究院科技管理處，北京 100091）

國(guó)家重點(diǎn)研發(fā)計(jì)劃于2015 年開始實(shí)施，是由973 計(jì)劃、863 計(jì)劃、國(guó)家科技支撐計(jì)劃、國(guó)際科技合作與交流專項(xiàng)、產(chǎn)業(yè)技術(shù)研究與開發(fā)基金和自然資源部、生態(tài)環(huán)境部、衛(wèi)計(jì)委等13 個(gè)管理部門的公益性行業(yè)科研專項(xiàng)，6 個(gè)國(guó)家公共研發(fā)計(jì)劃中子計(jì)劃整合而成［1-2］。重點(diǎn)研發(fā)計(jì)劃的顯著特點(diǎn)是戰(zhàn)略性、導(dǎo)向性和方向性強(qiáng)，其研究?jī)?nèi)容設(shè)置高度反應(yīng)了國(guó)家意志和發(fā)展需求［1］。

通過(guò)近4 年試運(yùn)行，國(guó)家重點(diǎn)研發(fā)計(jì)劃建立了咨詢?cè)u(píng)議、決策監(jiān)督和管理監(jiān)督三方分管機(jī)制［1］，2017 年科技部制定了項(xiàng)目立項(xiàng)、實(shí)施、驗(yàn)收與成果管理辦法、監(jiān)督與評(píng)估工作規(guī)定、財(cái)務(wù)工作規(guī)范等系列制度［3］，初步形成了專項(xiàng)組織管理體系及制度體系。但當(dāng)前尚未形成完善的國(guó)家重點(diǎn)研發(fā)專項(xiàng)績(jī)效管理與評(píng)價(jià)模型和指標(biāo)體系，無(wú)法統(tǒng)一指導(dǎo)績(jī)效評(píng)價(jià)制度、監(jiān)測(cè)項(xiàng)目效益，也無(wú)法對(duì)項(xiàng)目進(jìn)行初期評(píng)價(jià)和階段性考核。此外，現(xiàn)有的績(jī)效評(píng)價(jià)體系大多采用投入導(dǎo)向的績(jī)效評(píng)價(jià)模式，重點(diǎn)關(guān)注項(xiàng)目的投入以及實(shí)施過(guò)程，經(jīng)費(fèi)使用欠靈活性。若采用結(jié)果導(dǎo)向的績(jī)效評(píng)價(jià)模式，將注重審核項(xiàng)目完成程度及質(zhì)量，激勵(lì)科研人員的創(chuàng)新潛力，科學(xué)高效地管理科研經(jīng)費(fèi)，促進(jìn)“產(chǎn)出大于投入”［2］。林業(yè)在推動(dòng)國(guó)民經(jīng)濟(jì)的建設(shè)、促進(jìn)人民生活水平的提升、加強(qiáng)生態(tài)環(huán)境的改善中，有重要的地位和功能［4］。對(duì)于林業(yè)領(lǐng)域科研項(xiàng)目，由于項(xiàng)目周期長(zhǎng)，成果見(jiàn)效慢，效益涵蓋生態(tài)、經(jīng)濟(jì)和社會(huì)等多方面，其績(jī)效評(píng)價(jià)系統(tǒng)應(yīng)有別于其他領(lǐng)域。因此，有必要探索林業(yè)領(lǐng)域績(jī)效評(píng)價(jià)體系，逐漸完善重點(diǎn)研發(fā)專項(xiàng)的組織和資金管理，有利于激勵(lì)科研工作者更好地投入到林業(yè)產(chǎn)業(yè)發(fā)展，推進(jìn)生態(tài)文明建設(shè)與保護(hù)。

本文將層次分析法（Analytic Hierarchy Process，AHP） 和模糊綜合評(píng)價(jià)（Fuzzy Comprehensive Evaluation）相結(jié)合，建立林業(yè)領(lǐng)域國(guó)家重點(diǎn)研發(fā)專項(xiàng)績(jī)效評(píng)價(jià)指標(biāo)層次結(jié)構(gòu)模型，運(yùn)用指標(biāo)成對(duì)進(jìn)行比較的方法來(lái)構(gòu)建比較判斷矩陣，將求解與最大特征根相應(yīng)的特征向量的分量作為相應(yīng)權(quán)重系數(shù)的方法計(jì)算指標(biāo)權(quán)重，進(jìn)行一致性檢驗(yàn)，根據(jù)最低層次各指標(biāo)權(quán)重和指標(biāo)值對(duì)考評(píng)對(duì)象作出綜合評(píng)估［3］，形成評(píng)價(jià)指標(biāo)體系。在以上分析基礎(chǔ)上，運(yùn)用主成分分析法（Principal Component Analysis，PCA）降維，提取關(guān)鍵的評(píng)價(jià)因子，制定合理的林業(yè)領(lǐng)域國(guó)家重點(diǎn)研發(fā)專項(xiàng)績(jī)效評(píng)價(jià)方案。

1 林業(yè)領(lǐng)域國(guó)家重點(diǎn)研發(fā)計(jì)劃立項(xiàng)情況分析

自國(guó)家重點(diǎn)研發(fā)計(jì)劃啟動(dòng)以來(lái)，2016—2018 年，國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目中涉及林業(yè)領(lǐng)域的方向主要有：“林業(yè)資源培育及高效利用技術(shù)創(chuàng)新”“典型脆弱生態(tài)修復(fù)與保護(hù)研究”“全球變化及應(yīng)對(duì)”“水資源高效開發(fā)利用”“生物安全關(guān)鍵技術(shù)研發(fā)”“國(guó)家質(zhì)量基礎(chǔ)的共性技術(shù)研究與應(yīng)用”。如表1 所示，2016年，林業(yè)領(lǐng)域共立項(xiàng)51個(gè)，總經(jīng)費(fèi)近13.08億元；2017 年林業(yè)領(lǐng)域共立項(xiàng)46 個(gè)，總經(jīng)費(fèi)近9.57 億元；2018 年林業(yè)領(lǐng)域共立項(xiàng)11 個(gè)，總經(jīng)費(fèi)近1.99 億元。從項(xiàng)目實(shí)施周期來(lái)看，“林業(yè)資源培育及高效利用技術(shù)創(chuàng)新”和“全球變化及應(yīng)對(duì)”實(shí)施周期最長(zhǎng)，平均為5 年；隨后為“典型脆弱生態(tài)修復(fù)與保護(hù)研究”［5-9］。牽頭單位以科研院所為主，其次為大專院校，企業(yè)占比很小，2017 年和2018 年，林業(yè)領(lǐng)域重點(diǎn)研發(fā)專項(xiàng)無(wú)企業(yè)立項(xiàng)［5-9］（圖1）。

表1 2016-2018 年林業(yè)領(lǐng)域國(guó)家重點(diǎn)研發(fā)計(jì)劃分布

圖1 2016—2018 年項(xiàng)目牽頭承擔(dān)單位類型分布情況

2 績(jī)效評(píng)價(jià)的模型及指標(biāo)體系

2.1 績(jī)效評(píng)價(jià)指標(biāo)的確定及層次結(jié)構(gòu)劃分

由于林業(yè)項(xiàng)目研究周期長(zhǎng)、項(xiàng)目綜合性高，涉及生態(tài)、經(jīng)濟(jì)和社會(huì)等多方面因素影響，所確定的指標(biāo)既要全面滿足全面評(píng)價(jià)項(xiàng)目的各項(xiàng)任務(wù)目標(biāo)要求，又要簡(jiǎn)潔、合理、易于評(píng)測(cè)［4］。因此，根據(jù)系統(tǒng)性、科學(xué)性、客觀性、時(shí)效性、預(yù)測(cè)性、重點(diǎn)性和定量與定性指標(biāo)相結(jié)合原則［10-11］，建立了林業(yè)領(lǐng)域重點(diǎn)研發(fā)專項(xiàng)績(jī)效評(píng)價(jià)指標(biāo)體系。將項(xiàng)目投入與管理、創(chuàng)新活動(dòng)、技術(shù)評(píng)價(jià)和項(xiàng)目效益，5 個(gè)指標(biāo)定為績(jī)效評(píng)價(jià)體系的一級(jí)指標(biāo)即準(zhǔn)則層。在參考其他農(nóng)林業(yè)項(xiàng)目績(jī)效評(píng)價(jià)體系，咨詢林業(yè)相關(guān)領(lǐng)域?qū)＜?，結(jié)合林業(yè)公益性行業(yè)科研項(xiàng)目特點(diǎn)，確定了19個(gè)二級(jí)指標(biāo)和61 個(gè)三級(jí)指標(biāo)，即子準(zhǔn)則層1 和子準(zhǔn)則層2，具體內(nèi)容見(jiàn)表2。

表2 林業(yè)領(lǐng)域重點(diǎn)研發(fā)專項(xiàng)績(jī)效評(píng)價(jià)各指標(biāo)權(quán)重及分級(jí)評(píng)分標(biāo)準(zhǔn)

表2 （續(xù)）

表2 （續(xù)）

2.2 構(gòu)建兩兩比較判斷矩陣

在評(píng)價(jià)指標(biāo)體系中，每項(xiàng)指標(biāo)的重要性不同，計(jì)算某一指標(biāo)的綜合值前，要確定每個(gè)指標(biāo)的權(quán)重。權(quán)重越高，則該指標(biāo)越重要。確定了績(jī)效評(píng)價(jià)體系的一、二和三級(jí)指標(biāo)后，邀請(qǐng)中國(guó)林業(yè)科學(xué)研究院相關(guān)專家24 名，通過(guò)調(diào)查問(wèn)卷的方式，運(yùn)用層次分析法，建立判斷矩陣，確定各層級(jí)每個(gè)指標(biāo)的權(quán)重［11］。

關(guān)于判斷矩陣中元素的標(biāo)度，層次分析法引用了實(shí)驗(yàn)心理學(xué)家 Miller［12］的工作成果，即人類比較判斷事物個(gè)數(shù)的心理極限是 7±2 個(gè)，因此，在層次分析法中采用了實(shí)驗(yàn)心理學(xué)中的 9 級(jí) Bipolar 標(biāo)度，以自然數(shù) 1 到 9 的（子）因素相對(duì)重要性進(jìn)行標(biāo)度［3,12］（表3）。

表3 標(biāo)度值的含義

2.3 計(jì)算單一準(zhǔn)則下元素的相對(duì)權(quán)重

表1 所示，科研績(jī)效評(píng)價(jià)共有5 個(gè)一級(jí)指標(biāo)，19 個(gè)二級(jí)指標(biāo)，61 個(gè)三級(jí)指標(biāo)。通過(guò)參與問(wèn)卷調(diào)查的專家對(duì)指標(biāo)打分處理后，建立各層次的正互反矩陣，既具有如下形式：

且{aij}={1,2±1,3±1,…,9±1} (i,j=1,2,3,…,n)。

計(jì)算判斷矩陣每一行的乘積Mi：

計(jì)算Mi的幾何平均值：

ωi即為該指標(biāo)的權(quán)重。計(jì)算判斷矩陣的最大特征值λmax：

根據(jù)許樹柏［12］得出的1-15 階重復(fù)計(jì)算1 000次的平均隨機(jī)一致性指標(biāo)如下（表4）。

表4 平均隨機(jī)一致性指標(biāo)RI

計(jì)算一致性比率CR：

當(dāng)CR＜0.10時(shí)，可以認(rèn)為判斷矩陣具有一致性，不必調(diào)整。否則需要重新調(diào)整矩陣。

2.4 確定國(guó)家財(cái)政專項(xiàng)資金科研項(xiàng)目績(jī)效評(píng)價(jià)各指標(biāo)權(quán)重

運(yùn)用Matlab 軟件，按子準(zhǔn)則層2、子準(zhǔn)則層1和準(zhǔn)則層的順序，分別計(jì)算各層次的計(jì)算最大特征值、權(quán)重、對(duì)應(yīng)特征值向量，進(jìn)行一致性檢驗(yàn)通過(guò)后，將各層次權(quán)重結(jié)果匯總至表1。

3 評(píng)價(jià)等級(jí)標(biāo)準(zhǔn)

在以上權(quán)重計(jì)算基礎(chǔ)上，對(duì)子準(zhǔn)則層2 各指標(biāo)制定打分標(biāo)準(zhǔn)（見(jiàn)表1），分為五級(jí)：第I 級(jí)為20 分，第II 級(jí)為40 分，第III 級(jí)為60 分，第IV 級(jí)為80 分，第V 級(jí)為100 分。首先，根據(jù)各項(xiàng)目實(shí)際情況，對(duì)子準(zhǔn)則層2 的各項(xiàng)指標(biāo)進(jìn)行評(píng)分，乘以對(duì)應(yīng)權(quán)重，計(jì)算出實(shí)際分值。然后，將子準(zhǔn)則層1 的各項(xiàng)指標(biāo)對(duì)應(yīng)分值相加并乘以子準(zhǔn)則層1 的權(quán)重，得到子準(zhǔn)則層1 的分值。同樣，將準(zhǔn)則層內(nèi)個(gè)子準(zhǔn)則層1 的各項(xiàng)指標(biāo)對(duì)應(yīng)分值相加并乘以準(zhǔn)則層的權(quán)重，得到準(zhǔn)則層的分值。最后，各準(zhǔn)則層的分值相加，得到目標(biāo)層分值，即為國(guó)家財(cái)政專項(xiàng)資金科研項(xiàng)目最終得分。

4 關(guān)鍵指標(biāo)

由于子準(zhǔn)則層2 共計(jì)61 個(gè)指標(biāo)，為了提高評(píng)價(jià)效率，根據(jù)專家打分結(jié)果，采用主成分分析，為評(píng)價(jià)體系降維后，重新組合形成6 個(gè)新的綜合評(píng)價(jià)指標(biāo)（表5）。主成分1 與D11 對(duì)生態(tài)多樣性保護(hù)的促進(jìn)作用、D12 對(duì)碳匯造林事業(yè)發(fā)展的促進(jìn)作用、D13 對(duì)其他生態(tài)服務(wù)的促進(jìn)作用等27 個(gè)子準(zhǔn)則層2的指標(biāo)有關(guān)，涵蓋生態(tài)效益、經(jīng)濟(jì)效益、社會(huì)效益以及可持續(xù)影響方面，可命名為項(xiàng)目效益因子。C31制定標(biāo)準(zhǔn)、指南、行業(yè)規(guī)范、規(guī)程、模型等數(shù)量及級(jí)別和C32 引用頻次或使用情況在主成分2 上有較高正載荷，因此該主成分可定義為行業(yè)標(biāo)準(zhǔn)化因子。主成分3 與C12 論文引用頻次、C22 著作引用頻次、C52 示范基地樣地驗(yàn)收通過(guò)率以及D32 宣傳報(bào)道數(shù)量密切相關(guān)，可命名為應(yīng)用成果因子。主成分4 與C21 著作級(jí)別和數(shù)量、C41 軟件著作權(quán)、專利等數(shù)量、C51 標(biāo)準(zhǔn)、指南、行業(yè)規(guī)范、規(guī)程、模型等數(shù)量及級(jí)和C72 成果轉(zhuǎn)讓密切相關(guān)，可命名為學(xué)術(shù)成果因子。A41 各主要任務(wù)預(yù)算控制的情況在主成分5 上有較大負(fù)載荷，可命名為成本控制因子。B21 學(xué)術(shù)會(huì)議和B22來(lái)訪人員在主成分6上有較大負(fù)載荷，定義為交流活動(dòng)因子。因此，國(guó)家財(cái)政專項(xiàng)資金科研項(xiàng)目績(jī)效評(píng)價(jià)與項(xiàng)目效益、行業(yè)標(biāo)準(zhǔn)化、應(yīng)用成果、學(xué)術(shù)成果、預(yù)算控制和交流活動(dòng)這六大類指標(biāo)密切相關(guān)。根據(jù)這六大類建立新的評(píng)價(jià)體系見(jiàn)表6。

表5 （續(xù)）

表6 降維后的國(guó)家重點(diǎn)研發(fā)專項(xiàng)項(xiàng)目績(jī)效評(píng)價(jià)體系

5 總結(jié)

國(guó)家重點(diǎn)研發(fā)計(jì)劃的評(píng)估管理辦法出臺(tái)相關(guān)規(guī)定，但具體的評(píng)估內(nèi)容有待細(xì)節(jié)化、制度化［13］。建立科學(xué)合理的績(jī)效評(píng)估體系，可保障項(xiàng)目順利實(shí)施，按計(jì)劃高質(zhì)高產(chǎn)完成，資金做到合理分配［14］?，F(xiàn)階段，我國(guó)重點(diǎn)研發(fā)專項(xiàng)更重視“社會(huì)發(fā)展”和“高新技術(shù)”領(lǐng)域［15］。林業(yè)領(lǐng)域無(wú)論是立項(xiàng)數(shù)量還是經(jīng)費(fèi)總額，都遠(yuǎn)不及上述兩個(gè)領(lǐng)域，是一個(gè)支持較為薄弱的領(lǐng)域。在資助優(yōu)勢(shì)學(xué)科的同時(shí)，更應(yīng)該覆蓋特色學(xué)科，針對(duì)林業(yè)發(fā)展特點(diǎn)，與相關(guān)地區(qū)及單位共同投入資金，設(shè)立國(guó)家重點(diǎn)研發(fā)計(jì)劃聯(lián)合任務(wù)，促進(jìn)林業(yè)等小眾領(lǐng)域的發(fā)展［16］。

由于現(xiàn)階段尚未有國(guó)家重點(diǎn)研發(fā)專項(xiàng)項(xiàng)目結(jié)題，因此，本研究的評(píng)價(jià)體系未有合適數(shù)據(jù)支撐評(píng)價(jià)效果。建議構(gòu)建評(píng)估體系時(shí)，率先開展試點(diǎn)評(píng)測(cè)，完善評(píng)價(jià)體系［13］。本研究拋磚引玉，可為建立完整的國(guó)家重點(diǎn)研發(fā)計(jì)劃的評(píng)估提供參考，避免同質(zhì)化評(píng)估。