羅 軍，陳之瑤，莎 薇，侯小星

（廣東省技術(shù)經(jīng)濟(jì)研究發(fā)展中心，廣東廣州 510070）

科技項(xiàng)目評審專家質(zhì)量評價工作是科研誠信管理中不可或缺的一部分，作為政府投入科技計劃項(xiàng)目評審、驗(yàn)收等工作的主要成員，科技項(xiàng)目評審專家的業(yè)務(wù)能力、職業(yè)道德等要素均會對項(xiàng)目評審結(jié)果產(chǎn)生直接影響。在科技事業(yè)高度市場化的今天，政產(chǎn)學(xué)研合作日益深化，為避免受不正當(dāng)市場行為的影響，防范因評估專家與科技項(xiàng)目成員形成利益共同體而人為干涉指南編制、項(xiàng)目評審、驗(yàn)收等工作，造成科技資源浪費(fèi)、項(xiàng)目無法達(dá)到預(yù)期的投資目標(biāo)，迫切需要建立一套完善的科技項(xiàng)目評審專家工作質(zhì)量管理體系。

科技項(xiàng)目評審專家評分偏差是影響專家評審公平、公正、客觀的重要因素之一，專家的個人偏見、評分習(xí)慣、同行專家間非共識性爭議均會導(dǎo)致偏差的產(chǎn)生［1］，需要對評分偏差產(chǎn)生原因進(jìn)行診斷分析，最大限度減少評分偏差對科技項(xiàng)目評審結(jié)果的影響。本文依據(jù)元評價理論的思想，從專家評審偏差的角度出發(fā)，建立科技項(xiàng)目評審專家工作質(zhì)量評價模型，并以廣東省重點(diǎn)領(lǐng)域研發(fā)計劃項(xiàng)目專家評審數(shù)據(jù)為例進(jìn)行實(shí)證分析，闡釋專家評審工作質(zhì)量狀況以及存在的問題，結(jié)合國內(nèi)相關(guān)政策實(shí)施現(xiàn)狀，提出進(jìn)一步完善科技項(xiàng)目評審專家科研誠信建設(shè)的對策建議，對于科技事業(yè)的健康發(fā)展具有一定的理論價值和指導(dǎo)意義。

1 文獻(xiàn)綜述

科技項(xiàng)目評審環(huán)節(jié)的質(zhì)量對于科研成果的有效性具有極大的影響，國內(nèi)外學(xué)者對科技項(xiàng)目評審專家質(zhì)量管理的相關(guān)研究主要集中在專家評分偏差、專家信用體系構(gòu)建、科研誠信管理等方面。在專家評分偏差方面，蔡文學(xué)等［2］分別對軟科學(xué)項(xiàng)目和技術(shù)類指標(biāo)項(xiàng)目構(gòu)建差異化的專家評分偏差度權(quán)重；唐光杰［1］從科技項(xiàng)目評審專家評分偏差的角度構(gòu)建模型并進(jìn)行計算，主要針對偏好偏差、爭議性偏差以及慣性偏差等3 種偏差類型進(jìn)行分析，給出合理的修正意見；田林琳等［3］運(yùn)用互逆強(qiáng)化模型和數(shù)理統(tǒng)計方法，系統(tǒng)性分析了專家評分偏差問題，基于總體偏差、異常評分、固有等3 個評價指標(biāo)，劃分出8 種專家偏差類型，并分別給出應(yīng)對建議。在專家信用體系構(gòu)建方面，丁雪偉等［4］從創(chuàng)新基金項(xiàng)目立項(xiàng)審查的管理特點(diǎn)出發(fā)，提出了專家信用體系框架、信用信息的采集、記錄、評價，為創(chuàng)新基金項(xiàng)目評審工作選聘專家提供參考依據(jù)；施榮捷［5］從政府采購專家評審角度，運(yùn)用“物理隔離”和“軟件防范”的創(chuàng)新管理模式，建立專家評審數(shù)據(jù)庫，進(jìn)一步完善政府采購專家評審機(jī)制；於翼等［6］從招投標(biāo)的角度，構(gòu)建了以工作態(tài)度、行為規(guī)范、評標(biāo)質(zhì)量、相關(guān)方評價為一級指標(biāo)的信用評價模型，設(shè)計了評標(biāo)專家評價指標(biāo)體系，對評標(biāo)專家工作水平進(jìn)行定量評價，為管理者科學(xué)合理評價評標(biāo)專家行為提供一定的科學(xué)依據(jù)。在科研誠信管理方面，國外研究學(xué)者對科研誠信管理制度發(fā)展、衍生的問題及深層原因有較為系統(tǒng)的研究，如：STENECK NH［7］評價了自1985 年以來，科研不端行為的專業(yè)應(yīng)對方式發(fā)展變化；HAVEN TL 等［8］采用序貫混合方法進(jìn)行實(shí)驗(yàn)設(shè)計，研究科研不端行為對不同學(xué)科領(lǐng)域產(chǎn)生不利影響的最主要因素。我國科研誠信領(lǐng)域的研究熱點(diǎn)主要集中在學(xué)術(shù)不端的防治與檢測［9］，劉蘭劍等［10］對科研誠信歷史、表現(xiàn)進(jìn)行研究，分析其深層原因，并提出相應(yīng)治理對策；蔣來等［11］以高校為研究對象，系統(tǒng)分析了項(xiàng)目從立項(xiàng)到成果轉(zhuǎn)化各環(huán)節(jié)存在的不端行為，并提出防范措施。

元評價是當(dāng)前科技評價研究中廣泛運(yùn)用的一種方法，其本質(zhì)上是對評價結(jié)果的評價。已有研究表明，元評價方法是提高評價質(zhì)量的有效手段［12］，其最早是由美國學(xué)者M(jìn)ichael［13］提出，并將其應(yīng)用于教育領(lǐng)域，之后隨著學(xué)術(shù)界的發(fā)展，逐漸有學(xué)者將其應(yīng)用于科技評價，如俞麗平等［12］以科技評價作為元評價主體構(gòu)建了宏觀元評價體系結(jié)構(gòu)；汪建等［14］考慮元評價指標(biāo)的相關(guān)性及元評價效果的影響因素，建立了元評價綜合模型，并利用實(shí)際的科技項(xiàng)目評價數(shù)據(jù)對模型進(jìn)行檢驗(yàn)；蔣悅等［15］基于元評價理論，設(shè)計了評估目標(biāo)、評估對象、指標(biāo)體系與評估方法、運(yùn)行機(jī)制等4 個維度的政府績效評估體系架構(gòu)；楊毅等［16］從元評價的角度，應(yīng)用SPEARMAN 相關(guān)系數(shù)對科技進(jìn)步評價指標(biāo)進(jìn)行分類，確定指標(biāo)之間的相關(guān)性強(qiáng)弱，分析了不同指標(biāo)在評價中的作用，提出了評價體系中指標(biāo)設(shè)置方面的問題，為不斷優(yōu)化完善評價指標(biāo)體系提供依據(jù)；朱少強(qiáng)等［17］提出構(gòu)建中國學(xué)術(shù)評價體系的元評價機(jī)制可以從評價評審專家、評價機(jī)構(gòu)、行業(yè)協(xié)會、學(xué)術(shù)出版認(rèn)證等角度進(jìn)行，進(jìn)一步推動學(xué)術(shù)評價的發(fā)展。

綜上，當(dāng)前大部分研究尚處于理論研究階段，由于數(shù)據(jù)可得性等問題未實(shí)現(xiàn)大規(guī)模的應(yīng)用，且鮮有針對專家評審工作建立完善的質(zhì)量評價監(jiān)測系統(tǒng)的相關(guān)研究?；诖?，本文借助元評價方法的理論基礎(chǔ)，結(jié)合科技項(xiàng)目評審專家工作特點(diǎn)，針對性構(gòu)建專家工作質(zhì)量評價模型，為專家評審這一重要環(huán)節(jié)提供質(zhì)量保障。

2 科技項(xiàng)目評審專家評審質(zhì)量管理政策分析

當(dāng)前，國家正加大力度投入和配置創(chuàng)新資源，大力推進(jìn)科技事業(yè)健康發(fā)展，先后制定出臺了一系列相關(guān)政策，旨在建立完善的科技項(xiàng)目管理體系。其中，在科技項(xiàng)目評審專家的評審質(zhì)量管理問題上，中央針對科技項(xiàng)目評審專家的行為準(zhǔn)則、信用監(jiān)督和管理辦法等方面出臺了相應(yīng)的政策制度，而廣東省積極貫徹落實(shí)國家相關(guān)文件精神，在科技評審的信用監(jiān)督與管理規(guī)定、失信行為界定與懲戒等方面也出臺了相應(yīng)的政策措施。

2.1 國家層面政策措施

2003 年，科技部印發(fā)了《國家科技計劃項(xiàng)目評審行為準(zhǔn)則與督查辦法》，首次明確了項(xiàng)目評審專家等主體的行為規(guī)范和違規(guī)處理措施。2018 年，中央辦公廳、國務(wù)院辦公廳印發(fā)了《關(guān)于深化項(xiàng)目評審、人才評價、機(jī)構(gòu)評估改革的意見》，提出要提高項(xiàng)目評審質(zhì)量和效率，要實(shí)行“陽光下的評審”，形成覆蓋項(xiàng)目評審全流程各關(guān)鍵環(huán)節(jié)的制度規(guī)范。同年，科技部監(jiān)督司會同辦公廳共同制定了《專家評審行為監(jiān)督檢查專項(xiàng)工作方案（草案）》，強(qiáng)調(diào)要對科技項(xiàng)目評審專家的行為合規(guī)性、評判能力水平、工作作風(fēng)態(tài)度等方面進(jìn)行監(jiān)督檢查，形成權(quán)責(zé)一致的專家咨詢制度，從而保障科技項(xiàng)目評審工作科學(xué)、公平、公正地開展。

2.2 廣東省政策措施

依據(jù)國家相關(guān)文件的規(guī)定，廣東省接連出臺相應(yīng)的政策措施。2015 年，廣東出臺《廣東省科學(xué)技術(shù)廳科技咨詢專家信用管理實(shí)施細(xì)則（試行）》，這是廣東省領(lǐng)先于全國出臺的首個關(guān)于科技咨詢專家信用管理的專題文件，對專家信用評級作出了明確的等級劃分標(biāo)準(zhǔn)。2017－2018 年間，廣東陸續(xù)出臺了《省級科技計劃（專項(xiàng)、基金等）嚴(yán)重失信行為記錄與懲戒暫行規(guī)定》《廣東省科技計劃監(jiān)督規(guī)定》等文件，逐步從理論研究文本走向?qū)嵺`應(yīng)用中，2020 年，廣東出臺《廣東省科學(xué)技術(shù)廳科技業(yè)務(wù)評審會議現(xiàn)場監(jiān)督工作規(guī)程（試行）》，明確了科技項(xiàng)目評審專家正面規(guī)范和監(jiān)督事項(xiàng)，為大力開展科技項(xiàng)目評審專家評審質(zhì)量管理工作保駕護(hù)航（見表1）。

表1 科技項(xiàng)目評審專家信用管理政策措施（主要措施）

雖然國家層面和省級層面在科技項(xiàng)目評審專家質(zhì)量管理方面已有相關(guān)政策出臺，但在科技項(xiàng)目評審專家動態(tài)監(jiān)測手段方面尚未建立有效的追蹤、評估等方法，對科技項(xiàng)目評審專家評審工作的全流程監(jiān)管較為薄弱，迫切需要開展有關(guān)專家工作質(zhì)量評價方面的應(yīng)用研究。

3 科技項(xiàng)目評審專家工作質(zhì)量元評價模型的構(gòu)建

元評價是“對評價的評價”，是對評價本身的好壞進(jìn)行反思，糾正評價過程中出現(xiàn)的偏差和失誤，總結(jié)實(shí)踐經(jīng)驗(yàn)，是提高評價工作質(zhì)量、實(shí)現(xiàn)評價活動科學(xué)化和規(guī)范化的有效方法［17］。本文基于系統(tǒng)性、獨(dú)立性、數(shù)據(jù)可測性等基本原則，結(jié)合廣東省科技項(xiàng)目評審工作實(shí)際，并參考相關(guān)學(xué)者的評價方法［1,2,5,14］，最終選取偏差系數(shù)、差比率、綜合離散度、SPEARMAN 秩相關(guān)系數(shù)等指標(biāo)，并運(yùn)用熵權(quán)法確定指標(biāo)權(quán)重，構(gòu)建科技項(xiàng)目評審專家工作質(zhì)量元評價模型。模型側(cè)重于衡量和診斷專家評審偏差，評價結(jié)果可作為完善科技項(xiàng)目評審專家質(zhì)量管理、專項(xiàng)評審工作機(jī)制的參考依據(jù)。各指標(biāo)的解釋及計算如下。

3.1 元評價指標(biāo)體系

3.1.1 偏差系數(shù)

偏差系數(shù)衡量的是專家個體打分結(jié)果與項(xiàng)目整體得分的偏離程度，能夠反映專家對項(xiàng)目打分的合理性。假設(shè)有m個專家和n個項(xiàng)目，第i個專家給第j項(xiàng)目的打分值為Xij(i=1,2,3,…,m,j=1,2,3,…,n)，則專家i的偏差系數(shù)計算公式為：

3.1.2 差比率

差比率通過觀察專家評分的相對極差，判斷出專家對項(xiàng)目是否存在傾向以及傾向程度的大小，以此衡量專家評審工作質(zhì)量。計算公式為：

式中Yij表示專家i對項(xiàng)目j的傾向度，Xij表示專家i對項(xiàng)目j的評分，Ai表示專家i對所有評價項(xiàng)目的平均分，一般認(rèn)為當(dāng)Yij≥20%時，專家對某項(xiàng)目存在傾向。Ci表示專家i的評價差比率，Ymax、Ymin分別代表專家i評價項(xiàng)目的最大傾向度和最小傾向度，差比率越大，專家評審工作質(zhì)量越差。

3.1.3 綜合離散度

綜合離散度考察的是專家評分結(jié)果的波動程度，項(xiàng)目得分的離散度較大時，說明該項(xiàng)目的評價質(zhì)量不高，而專家打分的綜合離散度是決定項(xiàng)目評審質(zhì)量的主要因素之一。綜合離散度的表達(dá)式為：

上述表達(dá)式中，Dij表示專家i對項(xiàng)目j的評分離散度，Wi專家i的綜合離散度，更高的綜合離散度意味著更低的專家評審工作質(zhì)量。

3.1.4 SPEARMAN 秩相關(guān)系數(shù)

SPEARMAN 秩相關(guān)系數(shù)利用專家打分與項(xiàng)目整體得分排序后的順序號，計算二者的相關(guān)程度，從而衡量專家個體打分與項(xiàng)目最終得分的一致性。計算之前需對評分結(jié)果進(jìn)行排序得出各項(xiàng)打分對應(yīng)的順序號，設(shè)專家i對項(xiàng)目j打分的順序號（從小到大）為xij(j=1,2,3,…,n)、j項(xiàng)目總體得分的順序號為yj(j=1,2,3,…,n)，則專家i的SPEARMAN 秩相關(guān)系數(shù)計算式為：

ρi表示SPEARMAN 秩相關(guān)系數(shù)，其取值范圍為［-1，1］。秩相關(guān)系數(shù)小于0，說明專家個體評分與項(xiàng)目整體得分負(fù)相關(guān)，反之則正相關(guān)，秩相關(guān)系數(shù)越大，反映出專家評審工作質(zhì)量越好。

3.2 利用熵權(quán)法確定指標(biāo)權(quán)重

3.2.1 數(shù)據(jù)標(biāo)準(zhǔn)化處理

由于不同指標(biāo)的量綱和閾值存在差異，為使得指標(biāo)之間具有可比性，在確定指標(biāo)權(quán)重計算綜合得分之前，需對指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理。為避免標(biāo)準(zhǔn)化產(chǎn)生負(fù)值影響評價結(jié)果，本文采取最小最大法對指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化，具體處理方式如下：

Si是標(biāo)準(zhǔn)化之后的指標(biāo)值，Zi為標(biāo)準(zhǔn)化前的指標(biāo)值，Zmax和Zmin分別為指標(biāo)的最大值與最小值。

3.2.2 指標(biāo)權(quán)重的確定

熵權(quán)法是在客觀條件下,根據(jù)評價指標(biāo)值離散程度來確定指標(biāo)權(quán)重的一種方法。它能盡量消除各因素權(quán)重的主觀性,使評價結(jié)果更符合實(shí)際。利用熵權(quán)法對偏差系數(shù)、差比率、綜合離散度、SPEARMAN秩相關(guān)系數(shù)四個評價指標(biāo)進(jìn)行自動賦權(quán)，具體的計算步驟如下。

其中，αik是專家i的指標(biāo)值Sik在指標(biāo)k下的權(quán)重，ek是指標(biāo)k的熵，gk是其差異系數(shù)，wk是指標(biāo)的最終權(quán)重。

按照熵權(quán)法計算得到科技項(xiàng)目評審專家工作質(zhì)量評價指標(biāo)權(quán)重如表2 所示，SPEARMAN 秩相關(guān)系數(shù)所占的比重最大，達(dá)到0.35，其次是差比率的0.31，偏差系數(shù)和綜合離散度權(quán)重較小，分別為0.18與0.16。

表2 科技項(xiàng)目評審專家工作質(zhì)量評價指標(biāo)權(quán)重

4 科技項(xiàng)目評審專家工作質(zhì)量元評價模型的應(yīng)用分析

依據(jù)建立的評審工作質(zhì)量元評價模型，本文以廣東省重點(diǎn)領(lǐng)域研發(fā)計劃項(xiàng)目的評審數(shù)據(jù)進(jìn)行實(shí)例分析。案例中包含26 類、共425 個科技項(xiàng)目，130位專家參與了評審。運(yùn)用式（1）-式（8）計算評價指標(biāo)的大小，并結(jié)合熵權(quán)法得出的指標(biāo)權(quán)重計算評審專家工作質(zhì)量的綜合得分。指標(biāo)得分的標(biāo)準(zhǔn)化結(jié)果及綜合得分如圖1 所示，可以看出，評審專家之間打分結(jié)果的差比率和SPEARMAN 秩相關(guān)系數(shù)差異較大，圖形曲線的起伏程度較高，從標(biāo)準(zhǔn)差也可以體現(xiàn)出來，偏差系數(shù)、差比率、綜合離散度、SPEARMAN 秩相關(guān)系數(shù)以及綜合得分的標(biāo)準(zhǔn)差依次為0.155，0.189，0.151，0.200 和0.104，差比率和SPEARMAN 秩相關(guān)系數(shù)的標(biāo)準(zhǔn)差明顯高于其他三項(xiàng)，在評價專家工作質(zhì)量時應(yīng)當(dāng)受到更多的關(guān)注。五項(xiàng)結(jié)果的平均值依次為0.723，0.671，0.762，0.688和0.701，綜合離散度的平均得分最高，這說明評審專家在控制項(xiàng)目得分離散度方面做的比較好，有助于提高項(xiàng)目整體得分的可靠性。SPEARMAN 秩相關(guān)系數(shù)的平均得分最低，且標(biāo)準(zhǔn)差最大的，說明大多數(shù)專家總體打分結(jié)果與項(xiàng)目整體得分的吻合度不高，其評審結(jié)果有待進(jìn)一步的斟酌和討論。

圖1 科技項(xiàng)目評審專家工作質(zhì)量各項(xiàng)指標(biāo)評價得分

表3 列出了130 位專家各指標(biāo)得分的區(qū)間分布情況，將得分結(jié)果分為很好、較好、一般、較差、很差五類，具體結(jié)果如下。各項(xiàng)評價指標(biāo)中，表現(xiàn)很好的專家數(shù)量都比較少，大多數(shù)專家在偏差系數(shù)、差比率、SPEARMAN 秩相關(guān)系數(shù)方面得分居中（包括較好和一般），占比都超過50%。而綜合離散度雖然平均得分最高，但是大部分專家處于較差水平以下，比例接近50%。從綜合得分來看，只有4 位評審專家的總體工作質(zhì)量很好，80%的專家表現(xiàn)居中，另外還有接近17%的評審專家綜合得分低于0.7，由此可見，大部分專家評審結(jié)果均存在一定程度的偏差。結(jié)合評審對象本身的特性、評審開展時的政策背景等因素進(jìn)行分析，產(chǎn)生這種結(jié)果的可能原因有以下幾點(diǎn)：一是因?yàn)閷ｍ?xiàng)工作的開展尚處于起步階段，參與評審的專家對專項(xiàng)背景、定位等基礎(chǔ)信息不熟悉，對評價指標(biāo)和評判標(biāo)準(zhǔn)的認(rèn)識不夠深入，不能達(dá)成統(tǒng)一共識；二是因?yàn)閷ｍ?xiàng)研究內(nèi)容屬于國際前沿創(chuàng)新領(lǐng)域，專家組內(nèi)對項(xiàng)目判斷存在較大爭議；三是因?yàn)椴糠謱＜覀€人存在評審偏好、評審習(xí)慣或涉及科研誠信方面的問題。對于前兩種情況的出現(xiàn)，需要對偏離度普遍較高的項(xiàng)目進(jìn)行進(jìn)一步評審討論，確保評審結(jié)果的準(zhǔn)確性，針對第三種情況，由于專家主觀原因?qū)е略u審結(jié)果缺乏可信度，建議剔除此類專家評分，并連續(xù)跟蹤觀察這部分專家的評審工作情況，進(jìn)一步提高專家業(yè)務(wù)能力、提升職業(yè)素養(yǎng)，若確定存在科研誠信問題，必須按照科研誠信建設(shè)的相關(guān)政策和管理辦法規(guī)定，對此類專家作出相應(yīng)處置。

表3 科技項(xiàng)目評審專家工作質(zhì)量評價得分區(qū)間分布

5 結(jié)論與建議

本文聚焦科研過程中的科技評審工作質(zhì)量，在梳理國內(nèi)外相關(guān)文獻(xiàn)以及國內(nèi)各級政府政策的基礎(chǔ)上，從專家評審偏差角度構(gòu)建了包含偏差系數(shù)、差比率、綜合離散度、SPEARMAN 秩相關(guān)系數(shù)等指標(biāo)的科技項(xiàng)目評審專家工作質(zhì)量元評價模型，并運(yùn)用廣東省重點(diǎn)領(lǐng)域研發(fā)計劃項(xiàng)目評審數(shù)據(jù)對模型進(jìn)行實(shí)證分析，探索模型的應(yīng)用效果。實(shí)例結(jié)果表明，（1）不同評審專家的差比率和SPEARMAN 秩相關(guān)系數(shù)差異較大，不同指標(biāo)的標(biāo)準(zhǔn)差存在明顯差異，應(yīng)當(dāng)據(jù)此得到相應(yīng)的重視程度；（2）總體上，評價等級達(dá)到很好的專家比較少，絕大部分的科技項(xiàng)目評審專家評審質(zhì)量等級為一般，對于評價等級為一般以及較差的專家，應(yīng)當(dāng)進(jìn)一步分析偏差產(chǎn)生原因，采取相應(yīng)的完善措施，提升科技項(xiàng)目評審質(zhì)量，并進(jìn)一步提高科技業(yè)務(wù)水平。根據(jù)前文的分析，文章提出以下幾條對策建議：

5.1 進(jìn)一步完善專家工作質(zhì)量評價體系

本文建立的元評價模型，僅針對專家的評審工作以及打分結(jié)果，可在此基礎(chǔ)上進(jìn)一步考慮專家的背景經(jīng)歷，以當(dāng)?shù)噩F(xiàn)有科技項(xiàng)目評審專家?guī)鞛榛A(chǔ)，進(jìn)一步豐富和完善專家評價指標(biāo)，從專家工作態(tài)度、評審經(jīng)驗(yàn)、專業(yè)水平等方面綜合反映專家質(zhì)量的客觀情況，采用定性定量相結(jié)合方法，因地制宜建立全面的工作質(zhì)量評價指標(biāo)體系，并在探索實(shí)踐應(yīng)用中，逐步建立標(biāo)準(zhǔn)化評價模型。

5.2 加強(qiáng)專家評審工作的跟蹤觀察與質(zhì)量監(jiān)督

科技項(xiàng)目評審專家工作質(zhì)量是影響科技項(xiàng)目評審效果的關(guān)鍵因素，為了避免專家因個人主觀原因?qū)е略u審結(jié)果出現(xiàn)較大的偏差而缺乏可信度，有必要對專家的各項(xiàng)工作質(zhì)量指標(biāo)進(jìn)行跟蹤管理，尤其是過往評審質(zhì)量較差的專家，更應(yīng)該受到嚴(yán)格的信用管理。根據(jù)評價結(jié)果發(fā)現(xiàn)專家存在的問題，從而督促科技項(xiàng)目評審專家提高相應(yīng)的業(yè)務(wù)能力與職業(yè)素養(yǎng)，確保高效的項(xiàng)目評審質(zhì)量。

5.3 加強(qiáng)定量與定性評價手段的融合應(yīng)用

在當(dāng)前廣泛應(yīng)用的基于同行評議的定性評價方法上，研究探索項(xiàng)目技術(shù)就緒度、知識產(chǎn)權(quán)評議、項(xiàng)目關(guān)鍵技術(shù)先進(jìn)性比對等定量評價方式，為科技項(xiàng)目評審專家提供項(xiàng)目所處階段、項(xiàng)目單位知識產(chǎn)權(quán)情況、項(xiàng)目技術(shù)先進(jìn)性對標(biāo)等綜合信息，同時也以多維度的客觀評價數(shù)據(jù)作為專家評價意見的有益補(bǔ)充，為項(xiàng)目遴選提供更加科學(xué)的支撐。

5.4 建立閉合循環(huán)的評審信息化管理系統(tǒng)

在現(xiàn)有評審數(shù)據(jù)庫、專家?guī)旎A(chǔ)上，搭建專家工作質(zhì)量監(jiān)測平臺，采集專家基本信息并且定期更新專家信息狀態(tài)，相關(guān)數(shù)據(jù)作為專家個人能力、經(jīng)驗(yàn)的評價依據(jù)。集成庫內(nèi)專家歷史評審數(shù)據(jù)，結(jié)合線下評估專家工作態(tài)度，動態(tài)監(jiān)測專家參與項(xiàng)目評審的工作質(zhì)量，并形成專家評審長期跟蹤機(jī)制，相關(guān)數(shù)據(jù)可作為專家評審工作質(zhì)量評價的依據(jù)。根據(jù)監(jiān)測平臺對專家進(jìn)行評估的情況，將結(jié)果反饋至專家?guī)旃芾硐到y(tǒng)，從而形成閉合回路的專家工作質(zhì)量管理體系，為后續(xù)的科技計劃項(xiàng)目評審專家遴選工作提供決策依據(jù)。

5.5 探索實(shí)踐新型項(xiàng)目遴選機(jī)制

探索實(shí)踐主審制、賽馬制等新型項(xiàng)目遴選形式，以項(xiàng)目遴選組織機(jī)制的創(chuàng)新對評審專家同行評議結(jié)果進(jìn)行有益補(bǔ)充。如依托知名專家為主審專家先期進(jìn)行項(xiàng)目評價的遴選方式，在后期的評審中將項(xiàng)目論證的重點(diǎn)更加聚焦在有爭議的問題上面，在一定程度上解決同行評議專家評分過于分散的情況。對立項(xiàng)項(xiàng)目采用賽馬制的并行資助方式，聚焦于項(xiàng)目執(zhí)行本身，對立項(xiàng)后且執(zhí)行良好的項(xiàng)目給與后期財政資金資助，減少因評審專家主觀評價誤差等因素造成的立項(xiàng)項(xiàng)目質(zhì)量不高的情況。