王 欣 周立娟 胡璐璐 楊 華 來則鳴 劉 臻 白 洋 劉小溪
(吉林省科學(xué)技術(shù)信息研究所,吉林長春 130000)
省級科技項(xiàng)目是地方政府促進(jìn)科研和技術(shù)創(chuàng)新等活動的基本組織形式,也是合理配置省內(nèi)科技資源、促進(jìn)全省科技與經(jīng)濟(jì)發(fā)展的重要手段。對省級科技項(xiàng)目開展評價(jià)是科研管理部門的重要管理手段,也是制定科學(xué)決策的重要依據(jù)。對省級科技項(xiàng)目的評價(jià)結(jié)果會直接影響地方科研經(jīng)費(fèi)的投入使用效果,并對實(shí)現(xiàn)全省科技資源的合理高效配置起決定性作用。
WBS(Work Breakdown Structure)即工作分解結(jié)構(gòu),是一種涵蓋了項(xiàng)目全部工作內(nèi)容的項(xiàng)目分組結(jié)構(gòu)。在此結(jié)構(gòu)中包含多級附屬層級結(jié)構(gòu),每個(gè)下降層級都會表示出較其所屬上一層級更加具體的項(xiàng)目工作分組[1]。WBE(Work Breakdown Element)即工作分解單元,是在工作分解結(jié)構(gòu)中能夠獨(dú)立表達(dá)、獨(dú)立測量、獨(dú)立評價(jià)的基本單元。建立WBS的目的在于把一個(gè)項(xiàng)目細(xì)化、分解成不同的組成部分,以便于管理層和研發(fā)人員全面了解與掌握項(xiàng)目工作內(nèi)容[2]。
本文以吉林省科學(xué)技術(shù)廳《關(guān)于開展“負(fù)面清單+誠信+績效”科技計(jì)劃項(xiàng)目管理試點(diǎn)的指導(dǎo)意見》[3]為導(dǎo)向,以2020年立項(xiàng)的吉林省科技發(fā)展計(jì)劃項(xiàng)目中部分類別科技項(xiàng)目為研究對象,應(yīng)用WBS方法進(jìn)行多元化實(shí)證評價(jià)探索研究。對項(xiàng)目的主要內(nèi)容、關(guān)鍵技術(shù)、產(chǎn)出成果等展開全面分解和梳理,并在此基礎(chǔ)上加入成熟度、創(chuàng)新度、技術(shù)先進(jìn)度和領(lǐng)域分析等評價(jià)過程,深入研究基于WBS的多元評價(jià)方法在省級科技項(xiàng)目評價(jià)中的應(yīng)用。本文的研究目的在于豐富和完善現(xiàn)有省級科技項(xiàng)目的評價(jià)形式,為原科技項(xiàng)目同行專家評議方法提供輔助和客觀評價(jià)依據(jù),并與同行專家評議形式相結(jié)合,共同形成一套適合省級科技項(xiàng)目評價(jià)的多元化評價(jià)體系。
自20世紀(jì)90年代中期,我國開始推行科技評估制度以來,不斷有學(xué)者對科技項(xiàng)目評價(jià)方法、評估模型等進(jìn)行深入探索挖掘[4-5]。姜文超等[6]采用DEA投入導(dǎo)向模型對成果轉(zhuǎn)化類科技項(xiàng)目進(jìn)行了績效評價(jià)研究;何成等[7]基于模糊評價(jià)方法探索了科技計(jì)劃項(xiàng)目的立項(xiàng)評估體系;馬麗娜等[8]研究了層次灰色評價(jià)模型在科技項(xiàng)目立項(xiàng)評估中的應(yīng)用;楊仕輝[9]研究了在區(qū)域項(xiàng)目發(fā)展優(yōu)選中的應(yīng)用數(shù)據(jù)包絡(luò)分析模型的效果。這些科技項(xiàng)目評價(jià)方法,有些是早期的項(xiàng)目評價(jià)方法,而有些則并不適用于省級科技項(xiàng)目的評價(jià)。目前,最常用的省級科技項(xiàng)目評價(jià)方法主要為同行業(yè)專家評議法[5]。
同行業(yè)專家評議法是現(xiàn)階段省級科技項(xiàng)目評價(jià)中應(yīng)用最廣泛的方法,但這個(gè)方法屬于定性評價(jià)方法,其在評價(jià)科學(xué)性、客觀性等方面也會受到一定程度的制約。如相關(guān)領(lǐng)域行業(yè)專家的數(shù)量、學(xué)術(shù)水平程度、對領(lǐng)域發(fā)展的預(yù)見性,以及行業(yè)專家對評審材料的理解程度、所形成評審意見的主觀部分占比程度等都會對評審結(jié)果質(zhì)量產(chǎn)生一定影響。同時(shí),行業(yè)專家在評審過程中缺少評價(jià)的標(biāo)準(zhǔn)依據(jù),也會間接導(dǎo)致評價(jià)結(jié)果缺乏客觀性。
2018年以來,國務(wù)院辦公廳印發(fā)了《關(guān)于深化項(xiàng)目評審、人才評價(jià)、機(jī)構(gòu)評估改革的意見》[10],其目的在于建立健全科技項(xiàng)目評估評價(jià)體系,推動我國科技項(xiàng)目評估工作向著科學(xué)化、規(guī)范化的方向發(fā)展。在國家政策引導(dǎo)下,我國各省市也相繼開始在同行業(yè)專家評議法的基礎(chǔ)上,探索多元化、系統(tǒng)化的科技項(xiàng)目評價(jià)方法。廣東省在重大科技專項(xiàng)中期評估中正式引入了技術(shù)就緒水平評價(jià)方法[11-13];河北省對省級重大科技成果轉(zhuǎn)化項(xiàng)目和重點(diǎn)研發(fā)計(jì)劃項(xiàng)目產(chǎn)業(yè)化交付物和關(guān)鍵技術(shù)成熟程度開展定量評價(jià)[14];山東省青島市出臺了《青島市科技計(jì)劃項(xiàng)目技術(shù)成熟度立項(xiàng)評價(jià)工作規(guī)程(試行)》[15],將技術(shù)成熟度應(yīng)用于關(guān)鍵技術(shù)攻關(guān)及產(chǎn)業(yè)化示范類科技計(jì)劃項(xiàng)目遴選的立項(xiàng)過程評價(jià)。從評價(jià)對象和評價(jià)周期來看,各省市涉及情況均不相同,但從評價(jià)方法來看,對于項(xiàng)目技術(shù)就緒水平(即技術(shù)成熟度)的定量評價(jià)已成為研究熱點(diǎn),而對于科技項(xiàng)目的評價(jià)形式也已經(jīng)由僅對項(xiàng)目初始階段的評價(jià)發(fā)展到對項(xiàng)目全周期過程的多維度、多類別的評價(jià)形式。
吉林省在促進(jìn)科技項(xiàng)目評價(jià)體系規(guī)范化方面采取了多項(xiàng)措施,先后印發(fā)了《關(guān)于優(yōu)化科研管理提升科研績效的實(shí)施意見》《關(guān)于深化項(xiàng)目評審、人才評價(jià)、機(jī)構(gòu)評估改革的實(shí)施意見》等多項(xiàng)指導(dǎo)實(shí)施文件,旨在以貫徹落實(shí)國家政策為根本依據(jù),從深入推進(jìn)吉林省科技項(xiàng)目評價(jià)改革機(jī)制、激發(fā)科研人員創(chuàng)新活力、堅(jiān)持公平公正公開原則、建立客觀標(biāo)準(zhǔn)的項(xiàng)目評估評價(jià)評審流程等角度出發(fā),建設(shè)涵蓋項(xiàng)目評審全過程關(guān)鍵環(huán)節(jié)的制度體系。
基于此,筆者從吉林省省級科技計(jì)劃項(xiàng)目角度出發(fā),融合同行業(yè)專家評議法,探索研究一套基于WBS且包含定量評價(jià)和定性分析過程的省級科技項(xiàng)目多元化評價(jià)體系。
評價(jià)體系作為省級科技項(xiàng)目質(zhì)量評價(jià)的重要工具,既應(yīng)客觀反映被評項(xiàng)目的真實(shí)技術(shù)水平,也應(yīng)符合項(xiàng)目指南基本要求。因此,在體系構(gòu)建方面應(yīng)遵循以下原則。
(1)科學(xué)性原則。根據(jù)科技項(xiàng)目特點(diǎn),評價(jià)指標(biāo)等級界定應(yīng)清晰明確,成熟度、創(chuàng)新度、先進(jìn)度等指標(biāo)設(shè)置應(yīng)科學(xué)合理,讓評估人員能夠快速準(zhǔn)確地判定評價(jià)等級,讓項(xiàng)目管理機(jī)構(gòu)及評審專家能夠清楚每個(gè)等級所表達(dá)的含義。
(2)獨(dú)立客觀原則。評價(jià)體系應(yīng)客觀反映科技項(xiàng)目的真實(shí)技術(shù)水平,每個(gè)維度的評價(jià)結(jié)論皆應(yīng)獨(dú)立客觀,并由論據(jù)充分的佐證材料進(jìn)行支撐。
(3)導(dǎo)向性原則。評價(jià)體系應(yīng)與項(xiàng)目指南要求相匹配,根據(jù)不同類別科技項(xiàng)目的不同支持重點(diǎn),在設(shè)置評價(jià)體系的指標(biāo)時(shí)應(yīng)體現(xiàn)不同的導(dǎo)向性。
(4)標(biāo)準(zhǔn)可操作原則。評價(jià)方法、指標(biāo)和評價(jià)結(jié)論應(yīng)盡量簡潔、標(biāo)準(zhǔn)易操作,能夠讓評估人員迅速抓住科技項(xiàng)目的評價(jià)重點(diǎn),在有限時(shí)間內(nèi)搜集密切相關(guān)材料,盡量作出精準(zhǔn)評價(jià)。
本文在構(gòu)建多元化評價(jià)體系時(shí)主要基于以下4種方法:一是建立WBS法,是指按照省級科技項(xiàng)目的研究內(nèi)容、實(shí)施過程、所在地域或交付物的物理結(jié)構(gòu)、主要功能等對項(xiàng)目進(jìn)行自上至下的全面逐級分解,將其拆分為多個(gè)可以獨(dú)立表達(dá)、獨(dú)立測量、獨(dú)立評價(jià)的WBE,并建立所屬分支明確的WBS結(jié)構(gòu)圖的過程。項(xiàng)目WBS結(jié)構(gòu)如圖1所示。二是多元化技術(shù)指標(biāo)評價(jià)法,是指按照項(xiàng)目的WBS情況對項(xiàng)目每個(gè)WBE或核心WBE進(jìn)行成熟度、創(chuàng)新度、技術(shù)先進(jìn)度指標(biāo)的等級評價(jià),即分別從項(xiàng)目的技術(shù)就緒水平或理論方法就緒水平、新穎性程度和核心指標(biāo)的先進(jìn)性程度這3個(gè)維度來評價(jià)項(xiàng)目質(zhì)量。三是所屬領(lǐng)域分析評價(jià)法,是指利用文獻(xiàn)計(jì)量法、專利聚類分析法等對科技項(xiàng)目的核心技術(shù)/理論所屬領(lǐng)域或領(lǐng)域上游相關(guān)產(chǎn)業(yè)情況進(jìn)行綜合分析,旨在評價(jià)科技項(xiàng)目研發(fā)方向所屬領(lǐng)域或其上游相關(guān)產(chǎn)業(yè)的發(fā)展趨勢情況。四是行業(yè)專家咨詢法,是指在以上評價(jià)方法形成綜合評價(jià)結(jié)論的基礎(chǔ)上,采取咨詢相關(guān)領(lǐng)域行業(yè)專家的方式來驗(yàn)證評價(jià)結(jié)果的客觀性,以最終形成完整、規(guī)范、科學(xué)、客觀的科技項(xiàng)目多元化評價(jià)報(bào)告。
圖1 項(xiàng)目WBS結(jié)構(gòu)示意
本文的多元化評價(jià)體系指標(biāo)主要從成熟度、創(chuàng)新度、技術(shù)先進(jìn)度和領(lǐng)域分析4個(gè)維度產(chǎn)生。
2.3.1 成熟度指標(biāo)
成熟度指標(biāo)是指按照項(xiàng)目WBS對每個(gè)WBE進(jìn)行技術(shù)/理論方法就緒水平進(jìn)行評價(jià)時(shí)的指標(biāo)。國家標(biāo)準(zhǔn)GB/T 22900-2022《科學(xué)技術(shù)研究項(xiàng)目評價(jià)通則》[16]對科技項(xiàng)目的類別劃分為基礎(chǔ)研究類、應(yīng)用研究類、開發(fā)研究類。據(jù)此,本文將成熟度指標(biāo)設(shè)定為2項(xiàng),即基礎(chǔ)研究成熟度指標(biāo)、應(yīng)用研究成熟度指標(biāo)。對應(yīng)開發(fā)研究類科技項(xiàng)目,本文采用同時(shí)考察其基礎(chǔ)研究成熟度和應(yīng)用研究成熟度評價(jià)的方式來獲得評價(jià)結(jié)果。對于基礎(chǔ)研究成熟度和應(yīng)用研究成熟度的評價(jià)標(biāo)準(zhǔn),本文借鑒山東省青島市對科技成果標(biāo)準(zhǔn)化評價(jià)[2]的技術(shù)成熟度評價(jià)標(biāo)準(zhǔn),根據(jù)應(yīng)用研究類項(xiàng)目特點(diǎn),設(shè)計(jì)了13級應(yīng)用研究成熟度評價(jià)參照標(biāo)準(zhǔn),如表1所示,并根據(jù)基礎(chǔ)研究類項(xiàng)目特點(diǎn),設(shè)計(jì)了7級基礎(chǔ)研究成熟度評價(jià)參照標(biāo)準(zhǔn),如表2所示。
表1 應(yīng)用研究成熟度等級評價(jià)參照標(biāo)準(zhǔn)
表2 基礎(chǔ)研究成熟度等級評價(jià)參照表
2.3.2 創(chuàng)新度指標(biāo)
創(chuàng)新度指標(biāo)是指對科技項(xiàng)目的核心技術(shù)部分或核心工作單元的新穎性水平進(jìn)行評價(jià)時(shí)的指標(biāo)。本文設(shè)定創(chuàng)新度指標(biāo)1項(xiàng),并對照山東省青島市的科技成果標(biāo)準(zhǔn)化評價(jià)方法[2],結(jié)合前期對評價(jià)體系的基礎(chǔ)研究過程[17-18]和省級科技項(xiàng)目特點(diǎn)設(shè)計(jì)7級創(chuàng)新度評價(jià)參照標(biāo)準(zhǔn),如表3所示。
表3 創(chuàng)新度等級評價(jià)參照表
2.3.3 技術(shù)先進(jìn)度指標(biāo)
技術(shù)先進(jìn)度指標(biāo)是指對應(yīng)用研究類和開發(fā)研究類科技項(xiàng)目的核心技術(shù)先進(jìn)程度進(jìn)行評價(jià)時(shí)的指標(biāo)。由于基礎(chǔ)研究類項(xiàng)目一般無法產(chǎn)生具有可比較性參數(shù)指標(biāo)的實(shí)質(zhì)性交付物,因此這項(xiàng)評價(jià)指標(biāo)不用于考察基礎(chǔ)研究類項(xiàng)目。本文設(shè)定技術(shù)先進(jìn)度指標(biāo)1項(xiàng),借鑒山東省青島市科技成果標(biāo)準(zhǔn)化評價(jià)[2]中的技術(shù)先進(jìn)度評價(jià)標(biāo)準(zhǔn),根據(jù)應(yīng)用研究類和開發(fā)研究類項(xiàng)目特點(diǎn),設(shè)計(jì)7級技術(shù)先進(jìn)度評價(jià)參照標(biāo)準(zhǔn),如表4所示。
表4 技術(shù)先進(jìn)度等級評價(jià)參照表
2.3.4 領(lǐng)域分析指標(biāo)
領(lǐng)域分析指標(biāo)是指對科技項(xiàng)目研發(fā)方向所屬領(lǐng)域進(jìn)行趨勢分析評價(jià)時(shí)的指標(biāo),結(jié)合省級科技項(xiàng)目特點(diǎn),本文設(shè)定生命周期階段、領(lǐng)域方向?qū)嵙C(jī)構(gòu)、研發(fā)方向熱點(diǎn)技術(shù)3項(xiàng)指標(biāo)。由于領(lǐng)域分析為定性分析過程,本文設(shè)定的這部分指標(biāo)不作為項(xiàng)目評價(jià)依據(jù),僅作為輔助參考指標(biāo)。
本文所構(gòu)建的多元化評價(jià)體系主要由確認(rèn)評價(jià)目標(biāo)、建立工作分解結(jié)構(gòu)(構(gòu)建項(xiàng)目WBS圖)、提取項(xiàng)目相關(guān)指標(biāo)、文獻(xiàn)檢索分析與佐證材料整理、進(jìn)行多元化指標(biāo)評價(jià)、形成綜合評價(jià)結(jié)論、咨詢行業(yè)專家、形成多元化評價(jià)報(bào)告等內(nèi)容構(gòu)成。其中,提取項(xiàng)目相關(guān)指標(biāo)環(huán)節(jié)主要是指對項(xiàng)目預(yù)期產(chǎn)出或已產(chǎn)出成果、項(xiàng)目主要創(chuàng)新點(diǎn)、項(xiàng)目核心技術(shù)指標(biāo)等內(nèi)容的梳理提取,這個(gè)環(huán)節(jié)也可根據(jù)項(xiàng)目實(shí)際情況提取研發(fā)風(fēng)險(xiǎn)、研發(fā)團(tuán)隊(duì)情況、項(xiàng)目保障條件等信息;進(jìn)行多元化指標(biāo)評價(jià)環(huán)節(jié)主要包括對項(xiàng)目成熟度、創(chuàng)新度、技術(shù)先進(jìn)度指標(biāo)的等級評價(jià)和對項(xiàng)目研發(fā)領(lǐng)域的分析評價(jià)。在形成綜合評價(jià)結(jié)論后,需要經(jīng)過咨詢行業(yè)專家環(huán)節(jié),由相關(guān)領(lǐng)域行業(yè)專家對評價(jià)內(nèi)容和評價(jià)結(jié)論進(jìn)行判定,如行業(yè)專家對評價(jià)內(nèi)容和結(jié)果提出質(zhì)疑,則返回提取相關(guān)指標(biāo)或文獻(xiàn)檢索分析環(huán)節(jié)對評價(jià)過程和評價(jià)結(jié)果進(jìn)行修正。此過程可循環(huán)多次,最終形成無質(zhì)疑的科技項(xiàng)目多元化評價(jià)報(bào)告。評價(jià)體系構(gòu)建流程如圖2所示。
圖2 省級科技項(xiàng)目多元化評價(jià)體系構(gòu)架流程
上述省級科技項(xiàng)目評價(jià)體系的框架結(jié)構(gòu)僅為初步理論構(gòu)思,還需通過實(shí)證評價(jià)進(jìn)行支撐和驗(yàn)證。本文選取2020年立項(xiàng)的吉林省科技發(fā)展計(jì)劃項(xiàng)目中14個(gè)技術(shù)創(chuàng)新引導(dǎo)項(xiàng)目為研究對象,基于多元化評價(jià)體系采取分類評價(jià)與分階段評價(jià)相結(jié)合的方式對其進(jìn)行實(shí)證評價(jià)研究。所謂分類評價(jià),是根據(jù)項(xiàng)目的研究內(nèi)容和交付物特點(diǎn),遵循同類型事物橫向可比較原則,將被評項(xiàng)目劃分為基礎(chǔ)研究類、應(yīng)用研究類和開發(fā)研究類,并對不同類別項(xiàng)目采用不同的評價(jià)方法。所謂分階段評價(jià),是根據(jù)項(xiàng)目的全周期過程特點(diǎn),對同一項(xiàng)目的不同階段進(jìn)行縱向?qū)嵤┣闆r的驗(yàn)證性評價(jià),主要體現(xiàn)為對同一項(xiàng)目立項(xiàng)階段的評價(jià)和驗(yàn)收階段的評價(jià)。
本文按照分類評價(jià)方法,將14個(gè)實(shí)證項(xiàng)目分為基礎(chǔ)研究類4項(xiàng)、應(yīng)用研究類9項(xiàng)、開發(fā)研究類1項(xiàng),并分別進(jìn)行評價(jià)研究;按照分階段評價(jià)方法,將14個(gè)實(shí)證項(xiàng)目分為立項(xiàng)階段和驗(yàn)收階段,并分別進(jìn)行了兩次評價(jià)研究。
3.2.1 典型案例研究
選取基礎(chǔ)研究類項(xiàng)目(案例一)和應(yīng)用研究類項(xiàng)目(案例二)各1項(xiàng)作為典型案例,對其進(jìn)行實(shí)證研究。典型案例的基本信息如表5所示。
表5 典型案例基本信息表
按照多元化評價(jià)體系的評價(jià)方法和評價(jià)指標(biāo)對實(shí)證案例進(jìn)行實(shí)證評價(jià),其中立項(xiàng)階段未實(shí)施領(lǐng)域分析評價(jià)。典型案例評價(jià)情況如表6所示。
表6 典型案例評價(jià)情況一覽表
3.2.2 實(shí)證綜合研究
本文對14個(gè)實(shí)證項(xiàng)目分別進(jìn)行分類評價(jià)研究和分階段評價(jià)研究,統(tǒng)計(jì)整理得到實(shí)證項(xiàng)目綜合評價(jià)結(jié)果,如表7所示。
表7 實(shí)證項(xiàng)目綜合評價(jià)結(jié)果一覽表
以吉林省科技發(fā)展計(jì)劃項(xiàng)目為例,對省級科技計(jì)劃項(xiàng)目多元化評價(jià)體系進(jìn)行研究,得出以下幾點(diǎn)研究結(jié)論。
3.3.1 WBE數(shù)反映項(xiàng)目飽滿度
各類別實(shí)證項(xiàng)目的WBE數(shù)量范圍均為8~13級,立項(xiàng)階段和驗(yàn)收階段項(xiàng)目的WBE數(shù)量基本相同或略有增加,未出現(xiàn)WBE數(shù)量減少的情況,說明全部實(shí)證項(xiàng)目在實(shí)施過程沒有偏離技術(shù)路線,都能夠基本做到按照任務(wù)書要求執(zhí)行并完成項(xiàng)目內(nèi)容,且項(xiàng)目實(shí)施飽滿程度均較高。
3.3.2 成熟度等級跨度的橫向可比較性
由于14個(gè)實(shí)證項(xiàng)目類別不同,其成熟度參照指標(biāo)不同,評價(jià)得到的成熟度等級不同,各階段成熟度等級不同。從項(xiàng)目立項(xiàng)階段的成熟度等級情況來看,應(yīng)用研究類項(xiàng)目整體高于基礎(chǔ)研究類項(xiàng)目的初始等級;從項(xiàng)目立項(xiàng)階段到驗(yàn)收階段的成熟度等級跨度來看,應(yīng)用研究類項(xiàng)目的平均等級跨度3.4級明顯高于基礎(chǔ)研究類項(xiàng)目的平均等級跨度1.8級。這種情況的產(chǎn)生原因:一是由于基礎(chǔ)研究類和應(yīng)用研究類項(xiàng)目的成熟度評價(jià)標(biāo)準(zhǔn)不同,二是從一個(gè)側(cè)面反映了基礎(chǔ)研究類項(xiàng)目在交付物成果產(chǎn)出方面很難產(chǎn)生跨越性研究進(jìn)展。而對于同一類別科技項(xiàng)目的成熟度而言,本文認(rèn)為如果設(shè)定評價(jià)閾值,則成熟度等級跨度也可作為反映項(xiàng)目工作飽滿程度的評價(jià)依據(jù)。
3.3.3 技術(shù)先進(jìn)度評價(jià)的局限性
在本次實(shí)證評價(jià)中,驗(yàn)收階段的預(yù)期技術(shù)先進(jìn)度水平大多達(dá)到或超過了立項(xiàng)階段預(yù)期技術(shù)先進(jìn)度水平。一方面說明項(xiàng)目的完成指標(biāo)達(dá)到的效果較好,另一方面說明項(xiàng)目組的預(yù)期指標(biāo)設(shè)定值可能過低。
而實(shí)證評價(jià)中發(fā)現(xiàn)有2項(xiàng)應(yīng)用研究類實(shí)證項(xiàng)目無法實(shí)施技術(shù)先進(jìn)度評價(jià),其原因在于評價(jià)過程中雖然可以從實(shí)證項(xiàng)目中提取獲得可量化的核心技術(shù)指標(biāo),但由于這類指標(biāo)屬于基礎(chǔ)性能指標(biāo),而非具有可比性的功能參數(shù)指標(biāo),無法進(jìn)行技術(shù)先進(jìn)度水平對比。
3.3.4 技術(shù)生命周期穩(wěn)定
在領(lǐng)域分析評價(jià)中,有6項(xiàng)實(shí)證項(xiàng)目處于技術(shù)萌芽期向技術(shù)成長期轉(zhuǎn)變階段,有8項(xiàng)實(shí)證項(xiàng)目處于技術(shù)成長期向技術(shù)成熟期轉(zhuǎn)變階段,未發(fā)現(xiàn)處于技術(shù)成熟期向技術(shù)衰落期轉(zhuǎn)變階段的項(xiàng)目。一方面說明實(shí)證項(xiàng)目均處在穩(wěn)定的技術(shù)生命周期階段,另一方面說明實(shí)證項(xiàng)目的研發(fā)前景均較為廣闊。
3.3.5 行業(yè)專家認(rèn)可程度較高
本文對14個(gè)項(xiàng)目的實(shí)證評價(jià)研究共形成了28份多元化綜合評價(jià)結(jié)論,均獲得了相關(guān)領(lǐng)域行業(yè)專家的基本認(rèn)可。專家普遍認(rèn)為,評價(jià)結(jié)論符合項(xiàng)目所處階段的實(shí)際情況,具有一定客觀性。但有部分專家對評價(jià)體系自身提出了一些建議和觀點(diǎn),其中包括成熟度等級劃分應(yīng)進(jìn)行調(diào)整、領(lǐng)域分析不夠深入、技術(shù)先進(jìn)度佐證材料證據(jù)力不足等。以上說明,多元化評價(jià)體系雖然可以基本做到對科技項(xiàng)目的客觀評價(jià),但體系自身仍需不斷調(diào)整和完善。
本文提出的多元化評價(jià)體系現(xiàn)階段雖然存在一定的問題需要改進(jìn),但筆者認(rèn)為,體系對于省級科技項(xiàng)目的評價(jià)具有較大意義,具體可以體現(xiàn)為評價(jià)結(jié)果在省級科技項(xiàng)目不同評價(jià)形式中的應(yīng)用。因此,筆者建議,多元化評價(jià)體系可應(yīng)用于省級科技項(xiàng)目評審、科技專項(xiàng)(計(jì)劃)評價(jià)及科技獎項(xiàng)評選中。
多元化評價(jià)體系評價(jià)結(jié)果可應(yīng)用于省級項(xiàng)目立項(xiàng)評審和結(jié)題驗(yàn)收評審中。在立項(xiàng)評審中,評價(jià)體系中各項(xiàng)指標(biāo)可作為評審參考依據(jù)。如WBE數(shù)和成熟度指標(biāo)值可以表征項(xiàng)目的前期工作量及項(xiàng)目內(nèi)容飽滿度;創(chuàng)新度指標(biāo)可以表征項(xiàng)目的創(chuàng)新性水平;領(lǐng)域分析指標(biāo)不但能表征項(xiàng)目的橫向水平,還可以間接描繪出處于迭代期和衰退期的技術(shù)。與立項(xiàng)評審相比較,結(jié)題驗(yàn)收更側(cè)重于項(xiàng)目本身的完成情況(即成果產(chǎn)出情況),因此評價(jià)指標(biāo)的應(yīng)用方法也不同。如成熟度指標(biāo)在項(xiàng)目執(zhí)行周期中的等級跨度值可以表征項(xiàng)目推動技術(shù)的發(fā)展情況;技術(shù)先進(jìn)度指標(biāo)可以用于考察項(xiàng)目技術(shù)指標(biāo)水平的先進(jìn)程度等。
對于省級科技專項(xiàng)(計(jì)劃)評價(jià)而言,多元化評價(jià)體系相較于主觀定性評價(jià)方法具有可統(tǒng)計(jì)、可分析的優(yōu)勢。筆者認(rèn)為,對科技項(xiàng)目的多元化評價(jià)結(jié)果可以作為專家評審的輔助參考依據(jù),并對某一類別項(xiàng)目的多元化評價(jià)結(jié)果進(jìn)行統(tǒng)計(jì)分析,還可以間接獲得此計(jì)劃/類別項(xiàng)目的中觀或宏觀評價(jià)結(jié)論,進(jìn)而為科研管理部門對專家評審結(jié)論的二次驗(yàn)證提供參考依據(jù)。
對于科技類獎項(xiàng)評選,筆者認(rèn)為可以根據(jù)各獎項(xiàng)的獎勵(lì)對象和獎勵(lì)范圍對評價(jià)體系設(shè)置不同指標(biāo)閾值,將由此得到的評價(jià)結(jié)果應(yīng)用于獎項(xiàng)評選的初篩中。如自然科學(xué)獎評選鼓勵(lì)技術(shù)創(chuàng)新,可重點(diǎn)考察申報(bào)項(xiàng)目的創(chuàng)新度等級(即項(xiàng)目的自主研發(fā)情況)不應(yīng)低于5級,而酌情放寬項(xiàng)目成熟度等級;科技進(jìn)步獎評選則側(cè)重考察科學(xué)技術(shù)的應(yīng)用轉(zhuǎn)化價(jià)值,可重點(diǎn)考察申報(bào)項(xiàng)目的成熟度等級(即項(xiàng)目成果的轉(zhuǎn)化情況)不應(yīng)低于12級。由此可見,既可以輔助獎項(xiàng)設(shè)置機(jī)構(gòu)篩選出已取得重大經(jīng)濟(jì)效益的項(xiàng)目,又可以在某種程度上降低專家評獎的任務(wù)量,對于提高評審效率及評審客觀性均能起到一定作用。
新體系從提出到推廣應(yīng)用,只有經(jīng)過不斷探索、論證、改進(jìn)的往復(fù)循環(huán)過程,才能得到改善和提高。筆者希望通過擴(kuò)大實(shí)證評價(jià)范圍、增加評價(jià)樣本量、邀請更多行業(yè)專家點(diǎn)評的方式對多元化評價(jià)體系進(jìn)行不斷論證和完善,使其更具備客觀性、實(shí)用性和適用性。新時(shí)期、新形勢下,科技項(xiàng)目評價(jià)方法和體系將進(jìn)一步得以健全。相信在不久的將來,多元化評價(jià)體系必將在助力和成就優(yōu)秀科技項(xiàng)目方面發(fā)揮至關(guān)重要的作用。