李 昀，吳華瑞，李奇峰，顧靜秋，李慶學，韓 笑

（1. 北京市農林科學院，北京 100097； 2. 國家農業(yè)信息化工程技術研究中心，北京 100097； 3. 北京市農業(yè)信息技術研究中心，北京 100097； 4. 農業(yè)部農業(yè)信息軟硬件產品質量檢測重點實驗室，北京 100097）

發(fā)展現(xiàn)代農業(yè)，建設新農村是我國的重大戰(zhàn)略決策。而科學技術是促進農業(yè)和農村發(fā)展的助推器。農業(yè)科研高校和院所是加快農業(yè)科技成果轉化和產業(yè)化，促進農業(yè)科技進步的重要力量。而農業(yè)科研成果績效評價是對科研項目完成效率、質量和所帶來的社會經濟效益進行量化的系統(tǒng)性過程，研究農業(yè)科研成果的績效評價體系不僅有利于監(jiān)測農業(yè)科技項目的實施效果，有利于形成更加合理有效的科研資源配置，形成依靠科研進步興農機制，促進農業(yè)現(xiàn)代化［1-3］。

與其他科研項目不同的是農業(yè)科技成果不僅涉及科技創(chuàng)新，同時其研究成果轉化效果具有重要意義［4］。目前對于農業(yè)科研績效評價指標體系構建的研究涉及角度較多，基于科學指標數(shù)據(jù)庫，趙欣等探索了國外高校在農科領域的論文發(fā)表及引用情況［5］。申紅芳等將科研投入作為影響因素，重點分析了不同農業(yè)機構科技產出及其資源配置情況［6］，劉寶濤等提出了包含科研投入、社會影響與科研產出3 個維度的農業(yè)高校科研評價指標體系，并采用正態(tài)云模型對多個農業(yè)高校進行了績效評價與分析［7］。徐玲等將投入指標精簡為科技人力資源投入、科技財力資源投入與科技信息資源投入，從而構建了農林院校的科研資源配置效率指標［8］。

此外，上述研究在農業(yè)科研指標構建與評價方法等方面已取得了較多研究成果，但相關研究側重于分析內容與評價結果，對于評價方法及其評價結果的衡量關注較少。理想解相似排序（TOPSIS）模型是一種解決多準則分析決策問題的方法，能夠令優(yōu)選方案應盡可能接近正理想解，并盡可能遠離負理想解［9-10］。目前，該方法和相關改進方法已廣泛引用于各行業(yè)的績效評價中［11-13］?？紤]到農業(yè)科研項目中的科研成果權重分配標準不統(tǒng)一，TOPSIS模型正負理想解計算簡單，沒有考慮到不同科研項目產出中側重點不同的缺點。本文研究了改進的熵-TOPSIS 農業(yè)科研項目績效評價。

目前依靠先進信息技術、計算機處理技術、和網絡技術相結合的無紙化辦公方式在各行各業(yè)越來越普遍。協(xié)同辦公平臺是一種適應復雜業(yè)務流程和信息交互的無紙化公務管理手段，可以有效管理科研人員的項目投入與成果產出［14］?？蒲腥藛T通過協(xié)同辦公平臺上傳成果數(shù)據(jù)，也方便了對科研數(shù)據(jù)進行相關指標統(tǒng)計和評價。因此，本文主要研究了基于協(xié)同辦公平臺的農業(yè)科研指標體系，為后續(xù)實現(xiàn)信息化科學績效評價提供參考。

1 農業(yè)科研績效評價指標構建

評價指標體系是農業(yè)科研項目成果績效評價的重要組成部分，反映了農業(yè)研究項目的完成效果與技術創(chuàng)新性（表1）。

以往農業(yè)科研項目評價指標體系中通常將科研成果落地情況納入績效評價指標，實際上農業(yè)領域中科研成果推廣的年限長，類型多樣，應進行單獨討論［15］。因此，在某農業(yè)科研單位協(xié)同辦公平臺的科研成果記錄驅動下，本文從項目投入與項目產出2 個維度建立了針對協(xié)同辦公平臺數(shù)據(jù)驅動下的農業(yè)科研績效評價框架。項目投入包括人員投入、科研經費投入、以及其他合作科研機構投入等其它投入；項目產出則包括論文等成果產出與成果轉化結果等。該評價指標體系不僅關注論文和專利數(shù)量，同時關注獲獎情況以及人才培養(yǎng)和成果質量，使農業(yè)科研單位的日?？蒲泄ぷ鞲嗅槍π裕瑸檗r業(yè)成果轉化投入提供進一步的指導。由于科研成果推廣的經濟效益具有投入周期長，考核量化標準復雜等因素，本文僅對方便量化的科研創(chuàng)新成果進行評價。各科研成果均能夠由科研人員上傳至協(xié)同辦公平臺，研究農業(yè)科技成果績效指標與評價方法有利于在平臺端直接實現(xiàn)績效評價，為科研單位的研究方向與資源配置提供指導。

表 1 農業(yè)科研項目成果評價指標體系Table 1 Evaluation index system of agricultural scientific research projects

2 熵-TOPSIS 評價模型

評價體系構建后，必須在綜合評價結果中確定各層次指標的位置，即確定指標權重，以反映不同指標對綜合評價的影響。通過對指標權重法的比較分析，熵權法具有定量分析與定性分析相結合、群體決策等優(yōu)點，因此筆者采用熵權法確定農業(yè)科研成果指標評價體系的權重［16］。

利用上述方法分別確定評價指標的權重后，下一步筆者使用TOPSIS 方法對科研績效進行綜合評價。TOPSIS 是1 種通過與理想解的相似性來評價目標性能的方法。與其它方法相比，TOPSIS 方法計算原理簡單，結果直觀可靠。對研究對象的數(shù)據(jù)不存在特殊的限制，且易于理解應用［17-19］。傳統(tǒng)TOPSIS 方法解決指標評價的步驟是：

（1）決策矩陣確定：

在決策矩陣X 中，第i 行表示樣本Ai（i=1,2,…, n），第j 列表示指標Qj。

（2）通過上述熵權法確定各指標權重：

（3）決策矩陣標準化：

通過該步驟消除不同指標量綱的影響。

（4）性能矩陣計算：

其中，vij= x'ij·wj。

（5）PIS 和NIS 確定

通過在評價樣本中的最佳或最差準則值組合，可獲得正理想解（PIS）和負理想解（NIS）。正理想解表示為：

負理想解表示為：

在這2 個公式中，B 表示正向指標（最大化），C 表示負向指標（最小化）。本文構建指標屬于正向指標。

（6）每個樣本PIS 和NIS 之間的距離度：

使用歐幾里德距離計算d+和d-公式：

（7）每個樣本的性能指數(shù)計算：

其中Pi值表示理想解的絕對貼近度。最后按性能指標值的降序排列各個樣本。

3 熵-TOPSIS 距離評價模型

傳統(tǒng)TOPSIS 中通常采用單一維度的歐幾里得距離判斷參數(shù)與正理想解和負理想解間的相似度。但通過文獻可知，歐幾里得距離較簡單，難以表達不同指標維度間的細微差異［20］，對于線性相關指標，歐幾里得距離會失效。對于這個問題，本文同時引入余弦距離和曼哈頓距離。余弦距離用2 個向量的形式比較2 個樣本，如果其梯度同時在相同的增加方向上，它們之間相似。而兩者梯度不一致時，發(fā)生差異［9］。歐氏度量方便衡量數(shù)值上差異的絕對值，而余弦相似度能夠衡量的是維度間相對層面的差異。當兩樣本評分趨勢一致，分值差距較大時余弦相似度傾向得到更優(yōu)解。因此，本文引入余弦距離改進TOPSIS 模型：

每個樣本Ai和正理想解（負理想解）之間的余弦距離可如下所示：

每個樣本Ai和正理想解（負理想解）之間的曼哈頓距離為：

因此，每個樣本Ai與正理想解和負理想解之間的距離可以由下式定義：

得到每個樣本的正負理想解距離后，利用式（8）得到每個樣本的績效指數(shù)，依次進行對比排序，評價各項目執(zhí)行優(yōu)劣。

然而，TOPSIS 模型的距離改進只能以距離視角反映樣本的貼近度，不適應評價指標體系的復雜多樣性?；疑P聯(lián)分析是一種測量序列間曲線形狀相似程度的方法，能直觀地呈現(xiàn)序列間的非線性關系，反映系統(tǒng)因素之間存在的相似程度。在多維空間中，序列曲線越相似，灰色關聯(lián)度越大。為了進一步提高結果的準確性，引入灰色關聯(lián)分析，將灰色關聯(lián)法和改進距離相結合，使多屬性指標決策方法更加精細［21］。

其中ρ是分辨率因子，ρ=0.5。則第i 種方案與正理想解的灰色關聯(lián)度為：

然后對改進距離與灰色關聯(lián)度進行無量綱處理：

最后通過式（8）計算得到樣本與理想解的絕對貼近度。

4 應用案例分析

圖1 所示為某農業(yè)科研院所設計的協(xié)同辦公平臺中科管系統(tǒng)綜合管理界面，圖2 所示為科研項目詳細信息界面。由圖可看到協(xié)同辦公平臺方便收集科研項目關聯(lián)成果與立項信息等內容。本文設計的農業(yè)科研項目評價指標均能從平臺內獲得。

圖 1 協(xié)同辦公平臺科管系統(tǒng)綜合管理界面Fig. 1 Integrated management interface of science and management system in collaborative office platform

圖 2 科研項目關聯(lián)成果信息Fig.2 Research project details

項目1 ～項目19 由P1 ～P18 表示，如表2 所示。

表 2 收集數(shù)據(jù)原值Table 2 Original value of collected data

本文收集了18 個科研創(chuàng)新項目結題后的指標參數(shù)以驗證本文方法的有效性。項目類型包括國家自然基金、國家重點研發(fā)計劃與省級科技支撐項目等，研究內容包括農業(yè)信息化、農業(yè)大數(shù)據(jù)挖掘、智能農業(yè)管理設備研究等，所有項目都已完成驗收。表3 為各指標間的Pearson 相關系數(shù)，由文獻［22］可知，當相關系數(shù)大于0.4 時，指標之間即為中等相關。由表可知，C2 和C4 等多個指標間相關系數(shù)較大，科研績效評價指標間存在較強的相關性。而由前文知歐式距離計算不能很好處理指標間的相關性，需要改進TOPSIS 評價模型，從而得到科學評價結果。

表 3 各項指標之間的相關系數(shù)Table 3 Pearson correlation coefficient of each index

為了消除不同指標量綱對權重確認的影響，對上述采集指標標準化，得到了無量綱決策矩陣，處理后所有指標數(shù)值處于同一量級。基于歸一化決策矩陣，通過第2 節(jié)所述熵權法得到各級評價指標的對應權重如圖3 所示。

圖 3 各級指標分配權重Fig 3 Distribution weight of indicators at all levels

熵權法所得權重中，一級指標項目投入權重小于項目產出權重，二級指標中項目認證成果產出指標權重較理論成果產出權重更大，在一定程度上符合理論認知，三級評價指標中C2 ＞C1,C3=C4,C7＞C15 ＞C11 ＞C13 ＞C10 ＞C14 ＞C16 ＞C5＞C12 ＞C6 ＞C9 ＞C8，C19 ＞C17 ＞C18，項目合作機構投入大于項目人員投入，項目級別和項目資金投入相等，同時EI 論文大于核心論文權重，整體上熵權法能夠捕捉評價指標中差異較大的項，且賦權結構大致符合主觀上專家績效評價中的賦權趨勢。而基于上述各級指標可得每個三級指標的總權重如表4 所示。

表 4 評價指標總權重Table 4 The total weight coefficient of index

由上述指標總權重可以看到，在這批采集數(shù)據(jù)中，項目立項經費、產出新品種數(shù)量和產出新設備數(shù)量具有較大的變異程度。將上述得到的權重與采集數(shù)據(jù)一起利用改進TOPSIS 模型進行評價后，綜合得分如表5 所示。其中，項目9 排名第一，項目18 排名第18。S+'i，S-'i和p'i 分別表示傳統(tǒng)TOPSIS模型中的正理想解距離、負理想解距離和貼近度。我們將改進熵-TOPSIS 模型與灰色關聯(lián)-TOPSIS模型、傳統(tǒng)TOPSIS 評價模型評價結果進行了如表5所示對比。三者的評價結果趨勢基本一致，原數(shù)據(jù)中，項目9 的項目投入、理論成果和轉化成果產出均較其他項目更好，項目9 優(yōu)勢明顯，其他指標排名相差小于5，證明了本試驗算法的有效性。對于3個評價模型，傳統(tǒng)TOPSIS 模型排名第一的是項目14，由原始數(shù)據(jù)可直觀看到項目14 的理論成果產出、項目級別優(yōu)于項目9，但項目認證成果產出則是項目9 較優(yōu)，基于項目認證成果則明顯前者排名靠前更合理，因此引入灰色關聯(lián)模型后評價模型更關注于項目整體，而非差異較大的某一項。對于改進熵-TOPSIS 模型和灰色關聯(lián)-TOPSIS 模型，以項目16 和7 為例，從原始數(shù)據(jù)上雖然難以判斷哪個項目具有明顯優(yōu)勢，但項目7 在項目資金投入方面較項目16 具有較大差異，因此該模型較灰色關聯(lián)模型融合了細節(jié)判斷能力。

將3 種模型的評價結果方差和變異系數(shù)進行對比可知，本文算法具有最大的方差和變異系數(shù)，說明本文算法的分辨率高，離散程度強。傳統(tǒng)歐式距離TOPSIS 模型在水平測度上的結果差異較大，有利于結果判斷，而灰色關聯(lián)-TOPSIS 模型雖然在水平空間上差值小，但評價結果更綜合，本文算法對其他2 種算法進行了優(yōu)勢融合，既在水平上區(qū)分度較大，而且對指標差異進行了細節(jié)分析，具有更好的準確性。

表 5 科研創(chuàng)新成果績效評價結果Table 5 Performance evaluation results of scientific research and innovation achievements

5 結論

目前的農科科研項目評價指標體系中通常將成果推廣效果、理論指標和項目投入等綜合討論，但農業(yè)領域中科研成果推廣的年限長，不同成果面向目標人群不同，與科研項目結題成果一起進行統(tǒng)計評價并不科學，因此研究了1 種面向農業(yè)領域的三級農業(yè)科研創(chuàng)新成果績效評價指標體系，該體系由協(xié)同辦公平臺錄入數(shù)據(jù)即可確認，避免了主觀因素介入。

在該指標體系的基礎上，研究了目前TOPSIS模型中通過距離計算理想解貼進度的缺陷，引入余弦距離、曼哈頓距離、灰色關聯(lián)進行評價模型改進，改進TOPSIS 模型對樣本案例計算其與理想解的貼近度，得到了各項目樣本的總體性能指標，具有一定的可信度。能夠為后續(xù)在協(xié)同辦公平臺實現(xiàn)績效評價功能集成提供參考，具有實際應用價值。但科研績效評價本身是不同指標相互權衡的結果，針對不同類型項目權重需要進一步矯正，這也是我們下一步的研究方向。