趙發(fā)賓

(昆明冶金高等?？茖W校科技處，云南 昆明 650033)

科學合理的績效評價指標體系是保證績效評價工作有效性的基礎，也是應用其評價結(jié)果鼓勵先進、督促落后、創(chuàng)造良性競爭環(huán)境的前提。為實現(xiàn)單位、企業(yè)預定的中長期目標，單位、企業(yè)希望近期在某一領域、某一方面取得突破，決策者通常將評價指標體系構(gòu)建作為一種完成規(guī)劃、實現(xiàn)目標的手段或舉措?；诟呗氃盒？蒲新氊煛⒍ㄎ慌c普通本科院校有較大差距和不同的實際，本文將在研究目標預測法的基礎上，結(jié)合高職院校實際，構(gòu)建能科學、多角度、多維度評價二級部門科研績效的評價指標體系，并對相關(guān)單元設置權(quán)重，以期為決策者開展科研績效的評價提供理論依據(jù)和技術(shù)支持。

1 目標預測法

1.1 目標預測法簡介

目標預測法即規(guī)范性預測法，由美國霍尼韋爾公司首先開發(fā)并應用。其特點是探索如何、何時實現(xiàn)某目標。核心是將目標自上而下逐級分解，且每級包括一系列單元，在每一級、每一個單元按質(zhì)、按量、按時完成的基礎上，自下而上實現(xiàn)總目標，可應用于宏觀、中觀和微觀問題的探索，也可用于目標優(yōu)選，權(quán)重設置等問題的研究。

1.2 預測程序

1)確定準則與分解單元。體系構(gòu)建方聘請相關(guān)領域的專家組成專家組，對決策對象進行定性分析；圍繞總目標選取評價準則，該步驟即確定準則；同時選取實現(xiàn)總目標須包含的相關(guān)單元，即分解單元。

2)確定權(quán)數(shù)。權(quán)數(shù)確定包含準則權(quán)數(shù)的確定和單元權(quán)數(shù)的確定，即受聘專家根據(jù)自己的知識、閱歷，對每一準則在評價總目標過程中的作用，同一準則下各單元相對其他單元的重要性，分別賦予一定權(quán)數(shù)。在確定權(quán)數(shù)時，專家組可以直接賦值，也可以通過成對比較法確定其權(quán)重。因成對比較法更科學、合理，所以本文重點介紹成對比較法。成對比較法，就是專家根據(jù)每一準則對總目標的重要性，或同一準則下某一單元對其他單元的重要性成對比較，重要的賦1分，不重要的賦0分，逐一比較，最終完成成對比較矩陣表的構(gòu)建。以成對比較矩陣表中的比較得分為基礎，對各準則的重要性排序，以最不重要的準則為基準，借助受聘專家的賦值，完成準則的絕對排隊和準則原始權(quán)數(shù)的計算，同時對原始權(quán)數(shù)進行歸一化處理。某一準則下各單元權(quán)數(shù)的確定參照準則權(quán)數(shù)的確定步驟完成。

3)計算相關(guān)系數(shù)和確定相關(guān)權(quán)重。圍繞總目標的達成，各單元的重要性可能不同，因此需要給各單元確定權(quán)重。目標預測法中各單元權(quán)重的確定就是計算各單元的相關(guān)系數(shù)。各單元的相關(guān)系數(shù)為各準則的權(quán)數(shù)分別乘以各單元相對某一準則的權(quán)數(shù)，然后求和。

為保證判斷的一致性，整個過程需引用2個歸一化條件。

(1)

相關(guān)系數(shù)的計算公式可表示為：

(2)

2 高職院校二級機構(gòu)科研績效評價指標體系準則確定及單元分解

2.1 準則確定

開展二級機構(gòu)科研績效評價的目的是為了落實《國務院關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知》(國發(fā)〔2018〕25號)中強化科研項目績效評價和完善有利于創(chuàng)新的評價激勵制度等相關(guān)要求，為了更好、更優(yōu)地服務院?？蒲泄ぷ?，推動院?？蒲谐晒霓D(zhuǎn)移轉(zhuǎn)化和落實落地。本文選取的評價科研工作的準則主要包括以下6個方面——社會影響力(α)：指能提高學校社會影響，增加政府機構(gòu)、社會組織對院校科研排名的準則；成果貢獻度(β)：指科研及其成果的科學價值、技術(shù)價值、經(jīng)濟價值、社會價值、文化價值，最終能直接或間接產(chǎn)生的經(jīng)濟或社會效益的準則；創(chuàng)新質(zhì)量(γ)：指開展科研工作過程中，科研項目的新發(fā)現(xiàn)、新原理、新方法和新規(guī)律的原創(chuàng)性和科學價值，反映新技術(shù)、新方法、新產(chǎn)品、關(guān)鍵部件等的創(chuàng)新性、成熟度、穩(wěn)定性和可靠性的準則；經(jīng)費預算的合理性(δ)：指項目負責人依據(jù)相關(guān)預算準則對經(jīng)費預算科學性、相關(guān)性、經(jīng)濟性評價的準則；協(xié)調(diào)及共享性(ε)：指院校在開展科研工作時對教學、人才培養(yǎng)和文化傳承的支撐及可能得到其他業(yè)務處室、部門支持的準則；科研環(huán)境(ζ)：指為開展科研工作單位在科研設備、科研人才、科研信息和激勵機制等方面的儲備和配備情況的準則。

2.2 單元分解

為體現(xiàn)高職院校二級機構(gòu)科研績效評價工作的“差異化 ”“多維度” 和“針對性”的評價原則，推動高職院校科研項目管理從重數(shù)量、重過程向重質(zhì)量、重結(jié)果的轉(zhuǎn)變，結(jié)合高職院?？蒲泄ぷ鏖_展實際，本評價指標體系包含的組成單元為“科研項目立項及結(jié)題”“科研成果獎項”“科研論文”“學術(shù)著作類”“咨詢報告類”“知識產(chǎn)權(quán)類” “指導學生參加挑戰(zhàn)杯、體育類等競賽”“文學作品、藝術(shù)類成果”和“科研項目成果轉(zhuǎn)移轉(zhuǎn)化類”共9個單元，具體組成詳見單元分解結(jié)構(gòu)圖(圖1)。

圖1 高職院校二級機構(gòu)科研績效評價單元分解結(jié)構(gòu)

基于高職院校與本科院校科研工作側(cè)重點不同的實際，特別是在科研項目立項及結(jié)題和成果轉(zhuǎn)移轉(zhuǎn)化類2個單元有較大差異的實際，本文將科研項目立項及結(jié)題和成果轉(zhuǎn)移轉(zhuǎn)化類應包括的具體項目、任務作如下定義和區(qū)別：科研項目立項及結(jié)題指學校的縱橫向各級各類項目立項及結(jié)題情況和學校各級各類教改項目、教學建設項目的立項及驗收情況；成果轉(zhuǎn)移轉(zhuǎn)化類是指對學校教師在科研過程中形成的具有實用價值的成果所進行的后續(xù)開發(fā)、應用、推廣直至形成新產(chǎn)品、新工藝、新材料，發(fā)展為新產(chǎn)業(yè)的情況；在承擔教改項目、教學建設項目過程中形成且經(jīng)同行專家論證具有推廣使用價值、示范輻射作用的情況。所以，本文對科研項目立項及結(jié)題和成果轉(zhuǎn)移轉(zhuǎn)化類在單元分解結(jié)構(gòu)圖中進行了二次分解。

體系可包括的單元及各單元下應包括的單元級數(shù)、具體項目和工作，可由學校根據(jù)科研工作的實際選取和細化。

3 高職院校二級機構(gòu)科研績效評價指標體系權(quán)數(shù)確定

3.1 準則權(quán)數(shù)的確定

對高職院校二級機構(gòu)科研績效評價指標體系而言，根據(jù)成對比較法對權(quán)數(shù)確定的步驟，準則的專家組成對比較結(jié)果如下：社會影響力(α)的重要性不及成果貢獻度(β)，則α得0分，β得1分；社會影響力(α)的重要性不及創(chuàng)新質(zhì)量(γ)，則α得0分，γ得1分；社會影響力(α)比經(jīng)費預算的合理性(δ)重要，則α得1分，δ得0分；社會影響力(α)的重要性不及協(xié)調(diào)及共享性(ε)，則α的得0分，ε得1分；社會影響力(α)的重要性不及科研環(huán)境(ζ)，則α得0分，ζ得1分，依次類推，逐一比較，直至完成α、β、γ、δ、ε和ζ彼此的成對比較，并構(gòu)建準則成對比較矩陣表(表1)。矩陣表中，分子為1的得1分，分子為0的不得分。

表1 準則成對比較矩陣

表2 準則權(quán)數(shù)矩陣

至此，由表2已可清晰地看出各準則在高職院校二級機構(gòu)科研績效評價體系中的相對重要性。

3.2 各單元相對準則權(quán)數(shù)的確定

本文選取的準則共包含成果貢獻度(β)等6個，分解成的單元共包含科研項目立項及結(jié)題等9個。在各單元相對準則權(quán)數(shù)的確定環(huán)節(jié)，本文僅以所分解的9個單元相對成果貢獻度(β)這一準則權(quán)數(shù)的確定步驟為例進行詳細說明。根據(jù)成對比較法對權(quán)數(shù)的確定步驟，相對成果貢獻度(β)，此環(huán)節(jié)專家組成對比較的結(jié)果如下：科研項目立項及結(jié)題(a)的重要性不及科研成果獎項(b)，a得0分，b得1分；科研項目立項及結(jié)題(a)的重要性不及科研論文(c)，a得0分，c得1分；科研項目立項及結(jié)題(a)的重要性不及學術(shù)著作類(d)重要，a得0分，d得1分；科研項目立項及結(jié)題(a)的重要性不及咨詢報告類(e)，a得0分，e得1分；科研項目立項及結(jié)題(a)的重要性不及知識產(chǎn)權(quán)類(f)重要，a得0分，f得1分；科研項目立項及結(jié)題(a)比指導學生參加挑戰(zhàn)杯、體育類等競賽(g)重要，a得1分，g得0分；科研項目立項及結(jié)題(a)比文學作品、藝術(shù)類成果(h)重要，a得1分，h得0分?？蒲许椖苛㈨椉敖Y(jié)題(a)的重要性不及科研成果轉(zhuǎn)移轉(zhuǎn)化類(i)，a得0分，i得1分。

依次類推，逐一比較，直至完成a、b、c、d、e、f、g、h和i彼此的成對比較。此環(huán)節(jié)構(gòu)建的成對比較矩陣見表3。

表3 各單元相對成果貢獻度準則成對比較矩陣

在各單元相對成果貢獻度準則成對比較矩陣表和專家組對各單元相對重要性賦值的基礎上，遵循權(quán)數(shù)確定步驟，各單元相對成果貢獻度準則確定的權(quán)數(shù)矩陣見表4。

表4 各單元相對成果貢獻度準則確定的權(quán)數(shù)矩陣

按照相同的方法和步驟，可以完成各單元相對創(chuàng)新質(zhì)量(γ)、科研環(huán)境(ζ)、協(xié)調(diào)及共享性(ε)、社會影響力(α)和經(jīng)費預算的合理性(δ)準則權(quán)數(shù)的確定，結(jié)果詳見表5。

3.3 相關(guān)系數(shù)和權(quán)重的確定

根據(jù)各準則的權(quán)數(shù)和各單元相對各準則的權(quán)數(shù)已知，結(jié)合各單元相關(guān)系數(shù)的計算步驟和公式，就可完成高職院校二級機構(gòu)科研績效評價指標體系優(yōu)選矩陣表的編制，即權(quán)重的最終確定，結(jié)果見表5。

表5 高職院校二級機構(gòu)科研績效評價體系優(yōu)選矩陣

由表5的計算結(jié)果可知，高職院校二級機構(gòu)科研績效評價體系各單元的權(quán)重值已知，至此權(quán)重設置工作已完成。以此權(quán)重值為基礎，即可對各單元的科研績效權(quán)重賦值。

4 結(jié) 語

目標預測法作為一種權(quán)重設置工具，因操作過程的簡捷性和結(jié)果的科學性，且受主觀因素的影響較小，已被越來越多的領域廣泛應用。當用此方法設置高職院校二級機構(gòu)科研績效評價指標體系的權(quán)重時，各準則、各單元權(quán)數(shù)的多少，參評專家的閱歷、知識面對其的影響較大。評價指標體系所包含的單元，各單元具體包含的項目等因素對相關(guān)權(quán)數(shù)的影響也較大。為保證所設置權(quán)重的科學性和合理性，職能部門在權(quán)重設置過程中，需對參評專家、體系應包含的單元、各單元應包含的項目等，嚴格把關(guān)、選取和甄別。同時，職能部門也不能把一次設置的結(jié)果當成一勞永逸的事情，應根據(jù)學校的發(fā)展、定位，在保證其相對穩(wěn)定性的基礎上，適時對權(quán)重進行動態(tài)設置。此外，根據(jù)目標預測法相關(guān)路徑的概念及計算公式，當同一評價指標體系有多個評價方案可供選擇時，把同一評價指標體系各單元權(quán)重值相乘，即可得到各體系的相關(guān)路徑值，相關(guān)路徑值越大，則該評價指標體系也越好。