李洪波，閆 鑫，姚博文

(上海大學(xué)管理學(xué)院，上海 200444)

科技創(chuàng)新對(duì)高質(zhì)量發(fā)展具有顯著的引領(lǐng)作用，我國(guó)各級(jí)政府部門(mén)為促進(jìn)科技創(chuàng)新投入了大量資金［1］，科研計(jì)劃項(xiàng)目的資助規(guī)模逐年提高。例如：國(guó)家自然科學(xué)基金（National Natural Science Foundation of China，NSFC）財(cái)政投入從1986 年的8 000 萬(wàn)元增長(zhǎng)到2019 年的330.17 億元；十八大以來(lái)，國(guó)家自然科學(xué)基金經(jīng)費(fèi)預(yù)算年均增長(zhǎng)13.41%［2-5］。由于資金總量是一定的，為了提高資金的使用效率，有效預(yù)測(cè)項(xiàng)目在未來(lái)的績(jī)效情況，是政府部門(mén)在選擇擬資助項(xiàng)目時(shí)的一項(xiàng)重要決策。

然而，由于政府的資助決策一般發(fā)生在項(xiàng)目申請(qǐng)階段，從資金分配到項(xiàng)目實(shí)現(xiàn)預(yù)期績(jī)效，存在很大的時(shí)間延遲，加之科研項(xiàng)目的強(qiáng)創(chuàng)新性和不確定性，這些都增加了項(xiàng)目績(jī)效預(yù)測(cè)的難度。為了有效預(yù)測(cè)科研項(xiàng)目的績(jī)效，學(xué)者們研究了一系列行之有效的定性和定量績(jī)效預(yù)測(cè)方法。專(zhuān)家判斷和德?tīng)柗品ㄊ悄壳爸髁鞯亩ㄐ灶A(yù)測(cè)方法［6-7］。隨著信息技術(shù)的發(fā)展，科研項(xiàng)目的管理過(guò)程逐漸向無(wú)紙化過(guò)渡，科研項(xiàng)目相關(guān)的數(shù)據(jù)也越來(lái)越豐富；在此背景下，層次分析法、回歸分析、時(shí)間序列分析、模糊語(yǔ)義算法等量化方法逐漸被用于項(xiàng)目產(chǎn)出的預(yù)測(cè)［8-13］。

機(jī)器學(xué)習(xí)等人工智能技術(shù)的進(jìn)步，為科研項(xiàng)目的績(jī)效預(yù)測(cè)帶來(lái)了新的發(fā)展契機(jī)。例如，以神經(jīng)網(wǎng)絡(luò)算法為代表的機(jī)器學(xué)習(xí)技術(shù)已經(jīng)被成功用于研發(fā)項(xiàng)目的績(jī)效分析［14-15］。張亞平等［16］利用徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)，建立了項(xiàng)目投資預(yù)測(cè)模型。Costantino等［17］用人工神經(jīng)網(wǎng)絡(luò)估計(jì)研發(fā)項(xiàng)目未來(lái)的產(chǎn)出。Jang［18］利用機(jī)器學(xué)習(xí)軟件AutoML 對(duì)韓國(guó)科研項(xiàng)目的產(chǎn)出進(jìn)行了預(yù)測(cè)。然而，在政府資助的科研計(jì)劃項(xiàng)目領(lǐng)域，針對(duì)中國(guó)科研項(xiàng)目數(shù)據(jù)、基于機(jī)器學(xué)習(xí)的研究仍十分匱乏。

鑒于此，本文將研究基于集成監(jiān)督學(xué)習(xí)的科研計(jì)劃項(xiàng)目績(jī)效預(yù)測(cè)：利用集成監(jiān)督學(xué)習(xí)方法，有效挖掘網(wǎng)絡(luò)爬蟲(chóng)獲取的已結(jié)題項(xiàng)目數(shù)據(jù)中，隱含的關(guān)于項(xiàng)目績(jī)效的特征信息，形成項(xiàng)目績(jī)效預(yù)測(cè)模型。當(dāng)需要對(duì)新申請(qǐng)項(xiàng)目的績(jī)效進(jìn)行預(yù)測(cè)時(shí)，將新項(xiàng)目的特征信息輸入預(yù)測(cè)模型，即可自動(dòng)得到新項(xiàng)目未來(lái)的績(jī)效預(yù)測(cè)。

本文的主要貢獻(xiàn)體現(xiàn)在：（1）基于集成監(jiān)督學(xué)習(xí)，本文以數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)建了科研項(xiàng)目績(jī)效預(yù)測(cè)模型。該模型能夠有效提高科研項(xiàng)目績(jī)效預(yù)測(cè)工作的效率，為科研管理的數(shù)字化創(chuàng)新轉(zhuǎn)型提供切實(shí)可行的思路。（2）以國(guó)家自然科學(xué)基金項(xiàng)目數(shù)據(jù)為例，本文系統(tǒng)性對(duì)比了4 種機(jī)器學(xué)習(xí)算法，采用多種模型評(píng)價(jià)指標(biāo)，將本文模型對(duì)項(xiàng)目的績(jī)效預(yù)測(cè)結(jié)果與專(zhuān)家的評(píng)估結(jié)果進(jìn)行比較，驗(yàn)證本文方法的可行性與有效性。

1 基于集成學(xué)習(xí)的科研項(xiàng)目績(jī)效預(yù)測(cè)模型構(gòu)建

本文的預(yù)測(cè)模型在項(xiàng)目申請(qǐng)階段發(fā)揮作用，基于機(jī)器學(xué)習(xí)算法挖掘出已結(jié)題評(píng)估項(xiàng)目數(shù)據(jù)中隱含的關(guān)于項(xiàng)目績(jī)效的知識(shí)，實(shí)現(xiàn)對(duì)項(xiàng)目最終績(jī)效的有效預(yù)測(cè)。本文預(yù)測(cè)模型的基本框架如下（圖1）：

圖1 基于集成學(xué)習(xí)的科研項(xiàng)目績(jī)效預(yù)測(cè)框架

1.1 數(shù)據(jù)集構(gòu)建

本文的預(yù)測(cè)模型可以從政府管理部門(mén)網(wǎng)站、學(xué)術(shù)數(shù)據(jù)庫(kù)等公開(kāi)的數(shù)據(jù)源，通過(guò)網(wǎng)絡(luò)爬蟲(chóng)自動(dòng)化地收集已結(jié)題項(xiàng)目的原始數(shù)據(jù)。然后通過(guò)數(shù)據(jù)清理，將存在遺漏值的對(duì)象補(bǔ)充完整，將原始數(shù)據(jù)中的冗余變量刪除，實(shí)現(xiàn)對(duì)原始數(shù)據(jù)的檢測(cè)和糾正，得到條完整的項(xiàng)目數(shù)據(jù)。

1.2 預(yù)測(cè)模型訓(xùn)練

1.1 節(jié)建立的數(shù)據(jù)集中隱含了項(xiàng)目特征與項(xiàng)目最終績(jī)效的關(guān)系，本節(jié)通過(guò)集成學(xué)習(xí)算法將其提取出來(lái)。集成學(xué)習(xí)通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器來(lái)完成學(xué)習(xí)任務(wù)，?？色@得比單一學(xué)習(xí)器更優(yōu)越的預(yù)測(cè)性能［19］，構(gòu)造高性能異質(zhì)性的“基學(xué)習(xí)器”是集成學(xué)習(xí)的關(guān)鍵［20］。本文使用隨機(jī)森林算法、Bagging算法和AdaBoost 算法得到3 種不同的項(xiàng)目績(jī)效預(yù)測(cè)模型。

1.2.1 集成學(xué)習(xí)算法類(lèi)器。

1.2.2 基于交叉驗(yàn)證的模型選擇

通過(guò)比較分析1.2 的第（1）節(jié)3 種基于機(jī)器學(xué)習(xí)集成方法的科研計(jì)劃項(xiàng)目績(jī)效預(yù)測(cè)模型折交叉驗(yàn)證結(jié)果，得到基于3 種集成方法的科研計(jì)劃項(xiàng)目績(jī)效預(yù)測(cè)模型的最佳機(jī)器學(xué)習(xí)方法。

1.3 預(yù)測(cè)性能評(píng)估指標(biāo)

1.3.1 精度

1.3.2 查全率

1.3.3 查準(zhǔn)率

2 基于國(guó)家自然科學(xué)基金項(xiàng)目數(shù)據(jù)的案例研究

本節(jié)基于國(guó)家自然科學(xué)基金項(xiàng)目的數(shù)據(jù)，對(duì)本文科研項(xiàng)目績(jī)效預(yù)測(cè)模型的可行性與有效性進(jìn)行研究。本文在Python 3.7 中編寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)程序?qū)崿F(xiàn)數(shù)據(jù)收集，集成學(xué)習(xí)算法通過(guò)調(diào)用Weka 3.8.4 軟件實(shí)現(xiàn)，計(jì)算平臺(tái)為裝有Intel i7 CPU、Windows 10 操作系統(tǒng)的PC 機(jī)。

2.1 數(shù)據(jù)準(zhǔn)備與算法設(shè)置

國(guó)家自然科學(xué)基金大數(shù)據(jù)知識(shí)管理服務(wù)門(mén)戶(hù)網(wǎng)站（http://kd.nsfc.gov.cn）提供了詳盡的科研項(xiàng)目的信息?？紤]到科研計(jì)劃項(xiàng)目的研究成果對(duì)社會(huì)貢獻(xiàn)的滯后性，科研過(guò)程和出版物、專(zhuān)利等發(fā)布時(shí)間之間的差距，截至2020 年9 月，NSFC 管理科學(xué)部官方網(wǎng)站（http://ms.nsfc.gov.cn）發(fā)布的最新已結(jié)題并參與評(píng)估的科研計(jì)劃項(xiàng)目為2016 年結(jié)項(xiàng)項(xiàng)目。因此，本研究基于NSFC 管理科學(xué)部2016 年已結(jié)題的面上與青年項(xiàng)目數(shù)據(jù)進(jìn)行模型的構(gòu)建與驗(yàn)證。

對(duì)于項(xiàng)目的評(píng)估結(jié)果數(shù)據(jù)，從NSFC 管理科學(xué)部網(wǎng)站爬取。對(duì)于每個(gè)項(xiàng)目的特征數(shù)據(jù)，首先爬取NSFC 網(wǎng)站上已結(jié)題項(xiàng)目（http://output.nsfc.gov.cn）的結(jié)項(xiàng)報(bào)告（原始數(shù)據(jù)為圖片形式），然后利用python tesseract 庫(kù)進(jìn)行文本識(shí)別，提取所需數(shù)據(jù)。

2020 年1 月—9 月，本文共收集到1 404 個(gè)項(xiàng)目的數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行清理、并對(duì)存在缺失值的數(shù)據(jù)和小樣本“差”類(lèi)數(shù)據(jù)刪除，最終得到1 380條數(shù)據(jù)。這些數(shù)據(jù)中共包含63 個(gè)特征，可以分為兩大類(lèi)：（1）項(xiàng)目基本信息：包括項(xiàng)目批準(zhǔn)號(hào)、項(xiàng)目類(lèi)別、項(xiàng)目名稱(chēng)、申請(qǐng)代碼、項(xiàng)目依托單位、項(xiàng)目負(fù)責(zé)人、負(fù)責(zé)人職稱(chēng)、項(xiàng)目開(kāi)始年份、結(jié)束年份、支持經(jīng)費(fèi)、中文摘要，共11 個(gè)特征；（2）項(xiàng)目研究成果信息：包括獲獎(jiǎng)（項(xiàng)）、會(huì)議/論文/專(zhuān)著（篇）、專(zhuān)利及其他、人才培養(yǎng)及學(xué)術(shù)交流等相關(guān)的52 個(gè)特征。進(jìn)而通過(guò)第1 節(jié)的特征選擇方法篩選出預(yù)測(cè)能力較強(qiáng)的23 個(gè)特征，形成最終的數(shù)據(jù)集，即數(shù)據(jù)集中包含1 380 個(gè)項(xiàng)目樣本、23個(gè)特征。數(shù)據(jù)集中特征的描述性統(tǒng)計(jì)見(jiàn)表1。

表1 中的特征可以歸納為5 個(gè)方面［24］：

表1 特征及其描述性統(tǒng)計(jì)

表1（續(xù)）

（5）國(guó)內(nèi)外交流相關(guān)的特征：可以從舉辦和參加的國(guó)內(nèi)外會(huì)議數(shù)（）的特征中衡量該方面，顯示了研究成果在國(guó)內(nèi)外受到的關(guān)注與認(rèn)可程度以及國(guó)內(nèi)外影響力的大小。

2.2 結(jié)果與討論

2.2.1 基于詞云的研究熱點(diǎn)分析

本節(jié)通過(guò)關(guān)鍵詞的詞云考察不同研究主題的受關(guān)注程度。對(duì)最終數(shù)據(jù)集中1 380 條數(shù)據(jù)的中文摘要進(jìn)行分詞，進(jìn)而對(duì)中文摘要進(jìn)行詞頻統(tǒng)計(jì)。在生成詞云時(shí)，剔除了與研究主題無(wú)關(guān)的詞（“研究”“理論”“模型”“影響”“方法”“項(xiàng)目”“分析”“基于”“機(jī)制”“問(wèn)題”“提供”“進(jìn)行”“構(gòu)建”）。最終得到的中文摘要詞云如圖2 所示，其中，字號(hào)越大表明該詞在不同的項(xiàng)目中出現(xiàn)的頻率越高。在詞云圖中能夠直觀地看出，管理科學(xué)部的科研計(jì)劃項(xiàng)目多以“企業(yè)”“行為”“經(jīng)濟(jì)”“管理”“發(fā)展”“政策”等為關(guān)鍵主題展開(kāi)研究。

圖2 項(xiàng)目摘要的詞云

2.2.2 模型預(yù)測(cè)結(jié)果

表2 顯示了不同算法對(duì)科研項(xiàng)目績(jī)效的預(yù)測(cè)結(jié)果，其中隨機(jī)森林、Bagging 和AdaBoost 使用的基分類(lèi)器均為決策樹(shù)。作為對(duì)比，表2 還提供了單一的決策樹(shù)算法的結(jié)果。從表2 的結(jié)果可以看出，隨機(jī)森林算法在4 種指標(biāo)上（精度、查全率、查準(zhǔn)率和值）均表現(xiàn)出了最好的結(jié)果。此外，3種集成學(xué)習(xí)算法的結(jié)果均優(yōu)于單一決策樹(shù)算法，可見(jiàn)集成監(jiān)督學(xué)習(xí)算法有助于提升預(yù)測(cè)的準(zhǔn)確性。

表2 不同算法的預(yù)測(cè)結(jié)果

基于十折交叉驗(yàn)證和隨機(jī)森林算法，在測(cè)試集上構(gòu)造混淆矩陣（圖3）。圖3 的混淆矩陣展示了基于隨機(jī)森林算法的每種類(lèi)別績(jī)效預(yù)測(cè)情況與專(zhuān)家評(píng)審方法得到的績(jī)效后評(píng)估結(jié)果的差別，其中橫軸表示模型預(yù)測(cè)的結(jié)果，縱軸表示項(xiàng)目的真實(shí)結(jié)果（即專(zhuān)家評(píng)估結(jié)果）。圖3中每個(gè)圓形中的數(shù)字表示真實(shí)標(biāo)簽為的項(xiàng)目被預(yù)測(cè)為的數(shù)量（圓形中的陰影表示圓形中的項(xiàng)目數(shù)占總項(xiàng)目數(shù)的比例），因此主對(duì)角線(xiàn)上的圓形代表了模型預(yù)測(cè)正確的結(jié)果數(shù)量。

圖3 隨機(jī)森林算法對(duì)各類(lèi)別的預(yù)測(cè)結(jié)果的混淆矩陣

對(duì)比預(yù)測(cè)結(jié)果與實(shí)際結(jié)果可以發(fā)現(xiàn)，盡管每一個(gè)類(lèi)別中預(yù)測(cè)結(jié)果正確的比例不相同，但預(yù)測(cè)結(jié)果與實(shí)際相符的個(gè)數(shù)都占主導(dǎo)，表明了本文方法具有較好的準(zhǔn)確性。在所有項(xiàng)目中，本文方法對(duì)于“特優(yōu)”和“中”的項(xiàng)目預(yù)測(cè)準(zhǔn)確度較高，預(yù)測(cè)結(jié)果容易混淆的類(lèi)別為“優(yōu)”和“良”。隨機(jī)森林對(duì)“優(yōu)”和“良”的分類(lèi)能力不及另2 類(lèi)，是因?yàn)椤疤貎?yōu)”的項(xiàng)目在各個(gè)維度的表現(xiàn)均很突出，“中”的項(xiàng)目在各個(gè)維度的表現(xiàn)均明顯落后于其他類(lèi)別，而“優(yōu)”和“良”這2 個(gè)類(lèi)別本身就處在4 個(gè)類(lèi)別的中間位置，相互之間區(qū)分程度較小。

上述實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的基于集成學(xué)習(xí)的科研計(jì)劃項(xiàng)目績(jī)效預(yù)測(cè)框架的有效性，本文方法在項(xiàng)目申請(qǐng)階段對(duì)項(xiàng)目未來(lái)績(jī)效的預(yù)測(cè)具有較高的準(zhǔn)確性。對(duì)科研管理部門(mén)而言，將人工領(lǐng)域的機(jī)器學(xué)習(xí)技術(shù)充分引入科研計(jì)劃項(xiàng)目的管理中，能夠盡可能準(zhǔn)確的預(yù)測(cè)項(xiàng)目的績(jī)效，進(jìn)而為相關(guān)政府部門(mén)在選擇擬資助項(xiàng)目以及在有限資金的優(yōu)化配置方面提供科學(xué)化、數(shù)據(jù)化的決策建議。本研究使用已結(jié)題項(xiàng)目數(shù)據(jù)預(yù)測(cè)科研計(jì)劃項(xiàng)目最終績(jī)效，在項(xiàng)目申請(qǐng)階段，并沒(méi)有結(jié)題報(bào)告中的數(shù)據(jù)為實(shí)驗(yàn)做支撐。此時(shí)，申請(qǐng)人在申請(qǐng)書(shū)中的預(yù)計(jì)產(chǎn)出數(shù)據(jù)以及專(zhuān)家在評(píng)審時(shí)對(duì)項(xiàng)目的預(yù)測(cè)數(shù)據(jù)可以作為本文預(yù)測(cè)模型的輸入數(shù)據(jù)。

利用本文的基于集成學(xué)習(xí)的科研計(jì)劃項(xiàng)目績(jī)效預(yù)測(cè)模型，能夠在一定程度上避免專(zhuān)家主觀不當(dāng)加分的負(fù)面影響，有助于科研評(píng)審管理的公平性。并且自動(dòng)化的績(jī)效預(yù)測(cè)方法的引入，提高了科研項(xiàng)目評(píng)估與管理工作的效率，為科研管理的數(shù)字化轉(zhuǎn)型提供有效的路徑參考。

2.2.3 特征重要性探討

基于1.1 節(jié)的特征選擇算法對(duì)23 個(gè)特征的重要性進(jìn)行排序，探討不同特征對(duì)預(yù)測(cè)結(jié)果的影響程度。圖4 給出了重要性排名前8 的特征。這個(gè)結(jié)果表明，以往NSFC 項(xiàng)目的績(jī)效評(píng)價(jià)結(jié)果主要由項(xiàng)目的論著數(shù)、項(xiàng)目獲獎(jiǎng)（項(xiàng)）數(shù)、培養(yǎng)人才情況等表征。項(xiàng)目支持經(jīng)費(fèi)額度也被認(rèn)為是較大的影響因素之一。

圖4 重要性排名前8 位的特征

此外，SCI檢索論文數(shù)的重要度要明顯高于其他，這也從側(cè)面印證了我國(guó)在以往的科研計(jì)劃項(xiàng)目評(píng)估工作中過(guò)度倚重SCI 數(shù)據(jù)［25］。在科研計(jì)劃項(xiàng)目評(píng)估時(shí)，SCI 指標(biāo)不應(yīng)作為首要甚至是唯一的評(píng)估標(biāo)準(zhǔn)，應(yīng)根據(jù)評(píng)估對(duì)象實(shí)際情況，考慮到科研質(zhì)量是科研總量在“質(zhì)”上的補(bǔ)充［26-27］，綜合考慮科研項(xiàng)目成果的社會(huì)價(jià)值和國(guó)家目標(biāo)，考慮不同學(xué)科領(lǐng)域科研項(xiàng)目成果的引用規(guī)律、影響周期的差異性等多種因素。另一方面，盡管SCI 檢索論文數(shù)在本文的模型中是一個(gè)重要指標(biāo)，但是依然可以發(fā)現(xiàn)項(xiàng)目獲獎(jiǎng)（項(xiàng)）數(shù)以及人才培養(yǎng)情況等指標(biāo)也起到了重要的作用。這也表明我國(guó)的科研評(píng)價(jià)體系正在逐漸根除“唯論文”“SCI 至上”等刻板的量化指標(biāo)，逐漸建立起多方位的綜合評(píng)價(jià)體系。

3 結(jié)論與展望

本文提出了一個(gè)基于集成學(xué)習(xí)的科研項(xiàng)目績(jī)效預(yù)測(cè)方法，通過(guò)多分類(lèi)集成監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)項(xiàng)目績(jī)效的有效預(yù)測(cè)。在本文的預(yù)測(cè)方法中，設(shè)計(jì)了網(wǎng)絡(luò)爬蟲(chóng)自動(dòng)化的收集項(xiàng)目相關(guān)數(shù)據(jù)，從中提取項(xiàng)目績(jī)效相關(guān)的特征，基于多種集成監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)預(yù)測(cè)模型的構(gòu)建，并利用多種指標(biāo)對(duì)模型的性能進(jìn)行估計(jì)。以國(guó)家自然科學(xué)基金項(xiàng)目數(shù)據(jù)為研究對(duì)象，對(duì)上述基于集成學(xué)習(xí)的科研項(xiàng)目績(jī)效預(yù)測(cè)方法進(jìn)行了驗(yàn)證，結(jié)果顯示隨機(jī)森林算法具有優(yōu)秀的預(yù)測(cè)表現(xiàn)；同時(shí)對(duì)比本文模型對(duì)項(xiàng)目績(jī)效預(yù)測(cè)結(jié)果與專(zhuān)家的評(píng)估結(jié)果之后，也表明了本文模型的有效性。

總之，本文基于集成學(xué)習(xí)的科研項(xiàng)目績(jī)效預(yù)測(cè)方法為項(xiàng)目未來(lái)的績(jī)效預(yù)測(cè)提供了一個(gè)統(tǒng)一且易于擴(kuò)展的框架，本文的預(yù)測(cè)框架有助于提升項(xiàng)目評(píng)估工作的自動(dòng)化與智能化水平，為科研項(xiàng)目管理部門(mén)選擇擬資助項(xiàng)目提供數(shù)據(jù)化的決策支持。未來(lái)的研究工作將進(jìn)一步融合更豐富的數(shù)據(jù)，探索更為有效的基于新型機(jī)器學(xué)習(xí)算法的項(xiàng)目績(jī)效預(yù)測(cè)方法。