王夢婷,鄧 媚

(廣東省生產(chǎn)力促進中心,廣東廣州 510070)

0 引言

近年來,新型研發(fā)機構(gòu)蓬勃發(fā)展,已成為我國區(qū)域創(chuàng)新體系的一支重要的生力軍,是各地吸引高層次人才、知識、技術(shù)、資本等創(chuàng)新要素的重要牽引。作為聚焦科技創(chuàng)新需求的創(chuàng)新載體,新型研發(fā)機構(gòu)主要從事科學(xué)研究、技術(shù)創(chuàng)新和研發(fā)服務(wù),投資主體多元化、管理制度現(xiàn)代化、運行機制市場化、用人機制靈活化是其主要特色。在建設(shè)世界科技強國的新形勢下,在促進產(chǎn)業(yè)鏈、創(chuàng)新鏈、資本鏈三鏈融合的迫切需求下,政府需要構(gòu)建穩(wěn)定權(quán)威、綜合配套、精細(xì)協(xié)調(diào)的科技創(chuàng)新法治保障體系,對新型研發(fā)機構(gòu)進行公平公正的績效考核,以構(gòu)建核心隊伍穩(wěn)定、人才流動順暢、科教融合優(yōu)質(zhì)、成果轉(zhuǎn)化高效及分配機制合理的現(xiàn)代治理體系,賦予創(chuàng)新主體更大的自主發(fā)展空間。

科技部印發(fā)的《關(guān)于促進新型研發(fā)機構(gòu)發(fā)展的指導(dǎo)意見》中明確指出,科技部組織開展新型研發(fā)機構(gòu)跟蹤評價,地市政府組織開展績效評價,根據(jù)評價結(jié)果給予新型研發(fā)機構(gòu)相應(yīng)支持。目前,不少省市的科技管理部門都建立了新型研發(fā)機構(gòu)績效評價制度,定期對新型研發(fā)機構(gòu)進行績效評價,并將評價結(jié)果作為后續(xù)政策、資金等支持的重要依據(jù)。例如,山東省以3年為1個評價周期,原則上每年度評價1次;河南省每兩年對新型研發(fā)機構(gòu)開展1次評價;廣東省以3年為1個評價周期進行動態(tài)評估;四川省以兩年為1個績效評估周期;重慶市每3年進行1次考核;上海市、北京市等也在建立相應(yīng)的評價機制。因此,持續(xù)對新型研發(fā)機構(gòu)績效評價的評價方法、評價流程進行研究和優(yōu)化,對促進評價結(jié)果的公平、公正和我國新型研發(fā)機構(gòu)的健康發(fā)展意義深遠(yuǎn)。

1 新型研發(fā)機構(gòu)績效評價研究現(xiàn)狀

目前,關(guān)于新型研發(fā)機構(gòu)績效評價的研究主要集中于考核指標(biāo)的確定,包括利用何種理論工具科學(xué)分析績效影響因素、構(gòu)建何種模型制定考核指標(biāo)體系或確定指標(biāo)權(quán)重。如周恩德等[1]通過層次回歸分析法分析了新型研發(fā)機構(gòu)創(chuàng)新績效評價的影響因素;何帥等[2]通過結(jié)構(gòu)方程模型對新型研發(fā)機構(gòu)的績效影響因素及作用機理進行了檢驗;孟溦等[3]基于資源依賴和社會影響力的雙重視角,運用理論分析方法,根據(jù)新型研發(fā)機構(gòu)所處的發(fā)展時期,建立了與之相適應(yīng)的分類評價指標(biāo)體系;郭百濤等[4]結(jié)合德爾菲法和網(wǎng)絡(luò)層次分析法(ANP)進行實證研究,確定績效評價的一級、二級、三級指標(biāo)及其權(quán)重;王腮煒等[5]針對科技數(shù)據(jù)類的新型研發(fā)機構(gòu),從科技數(shù)據(jù)價值鏈形成和利益相關(guān)者合作兩個維度出發(fā),構(gòu)建適用于建設(shè)期、運營期的績效評價指標(biāo)體系。

關(guān)于如何將各個指標(biāo)測評出的數(shù)值與其權(quán)重聯(lián)系起來計算指標(biāo)實際得分,現(xiàn)有研究缺乏深入的研究和探討。針對計分方式開展的研究主要提供了以下兩種思路和方法:一是通過設(shè)定區(qū)間標(biāo)準(zhǔn)值對基礎(chǔ)指標(biāo)進行無量綱化處理,然后采用加權(quán)綜合評測法得到被考核機構(gòu)效用值[6];二是專家事先設(shè)定好得分區(qū)間,各指標(biāo)所屬的得分區(qū)間根據(jù)指標(biāo)評測結(jié)果相對位置的百分比排序確定,之后由專家根據(jù)實際情況酌情給出具體的得分系數(shù),最后采用加權(quán)綜合評測法得到被考核機構(gòu)的得分。這兩種數(shù)據(jù)處理方法均簡單易操作,但科學(xué)性、客觀性不足。就第一種處理方法而言,由于無量綱化計算是基于事先設(shè)定好的標(biāo)準(zhǔn)區(qū)間,最終的考核結(jié)果與標(biāo)準(zhǔn)區(qū)間的設(shè)定也緊密相關(guān),而標(biāo)準(zhǔn)區(qū)間設(shè)定的科學(xué)性和合理性則無從得知。第二種處理方法更加簡單直觀,僅需對各指標(biāo)的實際考核結(jié)果進行排序,計算其所在的相對位置,對應(yīng)到設(shè)定好的得分區(qū)間,專家即可根據(jù)實際情況給定最終的得分系數(shù),但此做法的可靠性、穩(wěn)健性得不到保證。

首先,得分區(qū)間及其對應(yīng)的得分系數(shù)的設(shè)定標(biāo)準(zhǔn)很難通過科學(xué)的計算或推導(dǎo)得出,可能會存在區(qū)間設(shè)定不合理,導(dǎo)致兩個指標(biāo)結(jié)果十分接近的被考核機構(gòu)落到兩個不同的得分系數(shù)區(qū)間內(nèi),或使得兩個指標(biāo)結(jié)果相差甚遠(yuǎn)的被考核機構(gòu)落到同一個得分系數(shù)區(qū)間,從而產(chǎn)生比實際差距大的得分差;其次,得分系數(shù)區(qū)間確定后,專家根據(jù)實際情況給定具體的得分系數(shù)時,可能出現(xiàn)由于個體差異導(dǎo)致的不客觀、不公正,進而影響被考核機構(gòu)的實際得分,造成考核結(jié)果的不可靠性。

綜上所述,現(xiàn)有研究對評價指標(biāo)的理論探討較為深入和全面,但缺乏有關(guān)數(shù)據(jù)處理、評價方法等實證研究,新型研發(fā)機構(gòu)評價結(jié)果有待使用更優(yōu)化的統(tǒng)計方法進行計算[7]。因此,尋找一種科學(xué)合理、簡單易操作的數(shù)據(jù)處理方法顯得十分必要。本文基于最小二乘法,從概率統(tǒng)計的視角切入,重點研究新型研發(fā)機構(gòu)績效評價的數(shù)據(jù)統(tǒng)計方法,以期為新型研發(fā)機構(gòu)的數(shù)據(jù)統(tǒng)計及計分方法提供更為科學(xué)的參考。

2 基于概率統(tǒng)計的新型研發(fā)機構(gòu)績效評價測算方法

在實際的新型研發(fā)機構(gòu)績效考核中,通常每家被考核單位的最終得分是由多項指標(biāo)綜合確定的,但是在指標(biāo)體系設(shè)計時,考慮到考核的全面性、綜合性,考核指標(biāo)設(shè)置的數(shù)值可能有單位(如人次、萬元等),也可能是無量綱數(shù)值,由于考核指標(biāo)的單位不統(tǒng)一,在計算被考核機構(gòu)所得總分時,無法直接相加求和。如何在指標(biāo)計算實際結(jié)果與其權(quán)重之間建立科學(xué)的聯(lián)系,既可對考核指標(biāo)進行歸一化,又能保留各指標(biāo)的真實分布情況,從而進行得分換算,這是進行績效評價測算的關(guān)鍵點,也是難點所在。

從考核實際情況來看,各考核指標(biāo)中得分高與得分低的應(yīng)為少數(shù),多數(shù)被考核單位的同一個考核指標(biāo)得分應(yīng)集中在中間某一區(qū)間,即“兩端少,中間多”,服從正態(tài)分布。

2.1 正態(tài)分布理論分析

正態(tài)分布是一種連續(xù)型隨機變量的概率分布,呈現(xiàn)“兩頭小、中間大”的分布形態(tài)。將平均數(shù)為0、標(biāo)準(zhǔn)差為1的正態(tài)分布稱為標(biāo)準(zhǔn)正態(tài)分布(標(biāo)準(zhǔn)正態(tài)分布曲線見圖1)。

圖1 標(biāo)準(zhǔn)正態(tài)分布概率密度示意

從圖1可知,標(biāo)準(zhǔn)正態(tài)分布曲線具有以下特點:其一,曲線在X=0(即平均數(shù))處為最高點;其二,曲線以X=0為軸,雙側(cè)對稱;其三,曲線從最高點向左右緩慢下降,并無限延伸,最后接近基線,但永不與X軸相交;其四,標(biāo)準(zhǔn)正態(tài)分布上的平均數(shù)為0,標(biāo)準(zhǔn)差為1。

為了更直觀地說明問題,引入分位數(shù)α。分位數(shù)指連續(xù)分布函數(shù)中的一個點,這個點對應(yīng)概率p(見圖2)。根據(jù)圖2所示,α=0.5-p, 查標(biāo)準(zhǔn)正態(tài)分布分位數(shù)表即可得到標(biāo)準(zhǔn)正態(tài)分布下的Pα。根據(jù)樣本S計算得到平均值μ和方差s2,那么根據(jù)公式M=Pα×s+μ,即可將標(biāo)準(zhǔn)正態(tài)分布映射到平均值為μ、方差為s2的正態(tài)分布。

圖2 概率分布的分位數(shù)示意

2.2 正態(tài)分布在績效評價中的應(yīng)用

在新型研發(fā)機構(gòu)的績效考核中,鑒于各考核指標(biāo)的實際情況,無法統(tǒng)一量綱并直接進行得分計算,但可以根據(jù)考核要求通過多種方法,如多層次分析法、主成分分析法、專家打分法等確定各項指標(biāo)i的權(quán)重wij(j為第j家被考核機構(gòu)), 將被考核單位的某項指標(biāo)測算值視為樣本Si,則第j家被考核機構(gòu)的第i個指標(biāo)得分記為Sij。

績效考核指標(biāo)得分計算的問題轉(zhuǎn)化為:對于樣本Si,已知優(yōu)秀率Ki,如何科學(xué)確定滿分值Mi。當(dāng)Si≥Mi時,得分系數(shù)為1;當(dāng)Si＜Mi,得分系數(shù)為。通過計算,樣本Si的帶量綱數(shù)值巧妙地轉(zhuǎn)換到了 0,1[ ]的得分系數(shù)之間,得分系數(shù)再乘以權(quán)重Wij,即為第j家被考核機構(gòu)的第i個指標(biāo)的最終得分。

2.2.1 科學(xué)、公平、公正地制定優(yōu)秀值

對于任何一個被考核機構(gòu)而言,一定會有一部分被考核機構(gòu)能在某一考核指標(biāo)得到優(yōu)秀評價,如何制定考核指標(biāo)的優(yōu)秀值(即滿分值),關(guān)乎到整個考核的科學(xué)與公平。本文通過引入正態(tài)分布理論,旨在科學(xué)地制定出優(yōu)秀值。具體制定步驟為:

(1)根據(jù)實際工作需要,設(shè)定優(yōu)秀率為K;

(2)根據(jù)優(yōu)秀率K,可得α=0.5-K,查標(biāo)準(zhǔn)正態(tài)分布分位數(shù)表得到標(biāo)準(zhǔn)正態(tài)分布下的分位數(shù)Pα;

(3)計算被考核機構(gòu)的各項考核指標(biāo)的平均值μi和方差s2i;

(4)根據(jù)公式Mi=Pα×si+μi計算得到考核指標(biāo)優(yōu)秀值。

例如,某省設(shè)定80家被考核新型研發(fā)機構(gòu)的優(yōu)秀率為20%,此80家新型研發(fā)機構(gòu)的某項考核指標(biāo),如科技成果登記數(shù)量的平均值為15項、標(biāo)準(zhǔn)差為3,根據(jù)正態(tài)分布理論計算科技成果登記數(shù)量的優(yōu)秀值為:

(1)根據(jù)優(yōu)秀率20%,得α=0.3,查標(biāo)準(zhǔn)正態(tài)分布分位數(shù)表得到標(biāo)準(zhǔn)正態(tài)分布下的分位數(shù)Pα為0.84;

(2)根據(jù)平均值15和標(biāo)準(zhǔn)差3,利用公式M=0.84×3+15計算得到優(yōu)秀值為17.52分。

2.2.2 得分系數(shù)及實際得分的科學(xué)計算

根據(jù)正態(tài)分布理論,可得到各考核指標(biāo)的優(yōu)秀值,將各被考核機構(gòu)的所有考核指標(biāo)根據(jù)指標(biāo)優(yōu)秀值進行標(biāo)準(zhǔn)化,即將各考核指標(biāo)統(tǒng)一為無度量單位的無量綱數(shù)值,作為該指標(biāo)的得分系數(shù)。

(1)根據(jù)考核指標(biāo)測算值Si和該指標(biāo)優(yōu)秀值Mi,由公式計算得分系數(shù)。

(2)將各考核指標(biāo)得分系數(shù)乘以對應(yīng)的指標(biāo)權(quán)重Wij,得到各考核指標(biāo)的實際得分。

例如,某被考核機構(gòu)的科技成果登記數(shù)量為12項,則該被考核機構(gòu)科技成果登記數(shù)量的得分系數(shù)為12/17.52=0.68。通過把各考核指標(biāo)的原始數(shù)值轉(zhuǎn)換為得分系數(shù),不僅可比較被考核指標(biāo)間的橫向差距,還可看出同一被考核單位不同考核指標(biāo)的實際情況,即該被考核單位的強項和弱項。

將各考核指標(biāo)的得分系數(shù)與該考核指標(biāo)的權(quán)重相乘,即為該項指標(biāo)的實際得分。例如,若上述某被考核單位科技成果登記數(shù)量的指標(biāo)權(quán)重為4,則該考核指標(biāo)的實際得分為0.68×4=2.74分。通過此方法計算出被考核機構(gòu)所有考核指標(biāo)的實際得分,將各考核指標(biāo)實際得分相加即可得出各被考核機構(gòu)的考核總分。

3 概率模型在新型研發(fā)機構(gòu)績效評價中的應(yīng)用

2020年,廣東省某地市在新型研發(fā)機構(gòu)績效考核中創(chuàng)新性引入正態(tài)分布概率模型。此次績效考核,一方面是為了幫助各新型研發(fā)機構(gòu)發(fā)現(xiàn)自身優(yōu)劣勢,從而發(fā)揮自身資源稟賦,強化優(yōu)勢服務(wù)能力,有針對性地補齊劣勢和短板,進一步明確發(fā)展方向和發(fā)展重點;另一方面有助于政府有關(guān)管理部門強化對新型研發(fā)機構(gòu)的管理以及給予后續(xù)支持,進而通過獎優(yōu)汰劣,深入實施新型研發(fā)機構(gòu)提質(zhì)增效計劃,支撐地市科技創(chuàng)新發(fā)展。在考核要求中,最重要的是要能真實、客觀地獲得各被考核機構(gòu)的實際得分,真實地反映出各機構(gòu)之間的差距,突出新型研究機構(gòu)發(fā)展中存在的問題。

考核采用機構(gòu)自評與專家評議相結(jié)合的方法。首先,專家結(jié)合地市考核要求,根據(jù)新型研發(fā)機構(gòu)的實際情況制定好考核指標(biāo)及其對應(yīng)的權(quán)重,由被考核機構(gòu)對考核指標(biāo)進行自評,并提供自評數(shù)值的測算依據(jù)。同時,根據(jù)正態(tài)分布原理及政府給定的20%優(yōu)秀率,計算得出各考核指標(biāo)的優(yōu)秀值。其后,進入專家評議階段,專家參考各指標(biāo)的優(yōu)秀值,對考核指標(biāo)進行全面評估,確定各考核指標(biāo)的最終優(yōu)秀值。最后,計算得出各考核指標(biāo)的得分系數(shù),進而計算出各指標(biāo)的實際得分及考核總分。

對整套績效考核26項指標(biāo)的得分情況進行分析,發(fā)現(xiàn)在26項考核指標(biāo)中,僅有5項考核指標(biāo)的優(yōu)秀值由專家根據(jù)評議及現(xiàn)場考察情況,結(jié)合政府資金投入的產(chǎn)出預(yù)期等進行了向上微調(diào)整,其他21項考核指標(biāo)的優(yōu)秀值均得到了專家組的認(rèn)可和使用。使用計分方法得出的被考核單位的排列位次及得分差距與被考核單位實際情況、專家判斷和政府預(yù)期完全吻合,進一步證實了該創(chuàng)新性計分方法的科學(xué)性、精準(zhǔn)性和客觀性。

4 結(jié)語

新型研發(fā)機構(gòu)的績效考核是由指標(biāo)體系建立、工具選擇、權(quán)重設(shè)定、數(shù)據(jù)處理等多個過程組成,其中考核指標(biāo)及其權(quán)重的設(shè)定是最關(guān)鍵的環(huán)節(jié)之一。目前,在績效考核指標(biāo)及其權(quán)重的設(shè)定方面已經(jīng)有豐富的理論和實證研究,方法越來越科學(xué),設(shè)定更加全面、完整,但對于指標(biāo)及其權(quán)重確定后如何科學(xué)計算出得分尚未有較好的理論及做法,而這正是確?？冃Э己斯?、公正的前提和保障。本文通過將正態(tài)分布概率模型引入到績效考核工作中,破解了目前通過事先設(shè)定標(biāo)準(zhǔn)區(qū)間或設(shè)定得分系數(shù)區(qū)間帶來的主觀性、不準(zhǔn)確性、不科學(xué)性等問題,解決了難以精確反映各考核指標(biāo)間、各被考核機構(gòu)間實際差距的難題,為績效考核計分工作提供了科學(xué)的理論依據(jù),有利于以更科學(xué)的計分方式確?？己说恼鎸嵭?、公平性、公正性,為新型研發(fā)機構(gòu)績效考核工作提供了新的思路和方法。