王淑慧 戴菁菁
(北京化工大學經(jīng)濟管理學院,北京 100029)
基礎(chǔ)研究一般有三種類型:以認識自然現(xiàn)象、揭示客觀規(guī)律為主要目標的探索性研究工作;以解決社會發(fā)展以及科學自身發(fā)展產(chǎn)生的重大科學問題為目的的戰(zhàn)略導向性研究工作;系統(tǒng)地對基本科學數(shù)據(jù)、資料和信息進行考察、采集,并進行綜合評價和分析,以探索科學基本規(guī)律的基礎(chǔ)性工作。近年來,基礎(chǔ)研究科技項目作為科學探索、技術(shù)進步活動的主要載體,對于我國的社會經(jīng)濟發(fā)展有著重要的戰(zhàn)略意義。隨著我國與世界各國對基礎(chǔ)研究的財政投入逐年增加,如何科學地評價基礎(chǔ)研究科技項目投入產(chǎn)出的績效成為各國科技管理部門重點關(guān)注的核心問題。
基礎(chǔ)研究科技項目績效評價的理論研究的起步階段開始于從20世紀50年代到70年代,在評價目標上注重項目效益,科技項目績效評價方法上以同行評議為原型的定性評議方法為主,如Delph i法。20世紀70年代到90年代是科技項目績效評價理論的豐富發(fā)展階段,出現(xiàn)一些定量評議方法,包括文獻計量和成本—效益法,為科技項目績效評價的實踐提供新的思路。20世紀90年代中后期到21世紀初,隨著知識經(jīng)濟、信息技術(shù)的快速發(fā)展形成了科技項目績效評價方法創(chuàng)新的浪潮,如應用較為廣泛的AHP法、模糊綜合評價法、熵權(quán)法等。評估重點也由效益轉(zhuǎn)向公平和質(zhì)量,突破了傳統(tǒng)評價模式的單一價值取向,納入了多元的價值準則。在評價指標方面,有關(guān)質(zhì)量和顧客滿意度指標在評估指標體系中大幅度增長。21世紀初至今以來,不同學科的交叉應用對于科技項目績效評價的發(fā)展提供了新的契機。如與信息科學、系統(tǒng)控制學、認知科學等新興領(lǐng)域的結(jié)合使評價技術(shù)不斷成熟,科學化程度提高。
基礎(chǔ)研究科項目績效評價其中最為經(jīng)典的邏輯模型,也叫邏輯框架法,其核心思想是事物層次間的因果邏輯關(guān)系,即項目工作的活動過程、產(chǎn)出、最初結(jié)果、中間結(jié)果和未來結(jié)果的邏輯關(guān)系排列起來的結(jié)果鏈。一些學者諸如Millar和Julian把它運用于政府計劃以及績效評價中。McLaughlin和Jordan通過對科技計劃的投入、活動、產(chǎn)出、結(jié)果與影響進行綜合分析而實現(xiàn)科技計劃績效評價的目的。從微觀層面,Grilinches研究基礎(chǔ)研究的社會回報率,對美國10130多家大公司研究開發(fā)績效產(chǎn)生的影響進行分類研究,這些公司的研究開發(fā)投資實際上可以視為一種投入過程。我國學者張鳳珠等基于邏輯模型,對受政府資助的科技項目進行了系統(tǒng)分析。
目前,基礎(chǔ)研究科技項目績效評價采用多指標綜合評價方法。設置指標之前首先應明確指標設置的原則,為后續(xù)的指標分解做出導向,Bao在構(gòu)建科技創(chuàng)新能力評價指標時提出以下五個原則,科學性、綜合性、導向性、實踐性和動態(tài)持續(xù)性。Erik A rnold和Katalin Balazs等總結(jié)了國際上科學同行評估基礎(chǔ)研究績效所參考的績效標準原則主要有適當性、經(jīng)濟性、效力、效率、效能、科研性能、科研質(zhì)量、影響、增加收益、轉(zhuǎn)移收益、方法改進以及計劃發(fā)展戰(zhàn)略等12個方面。在確定指標設置原則后,必須進行指標的進一步細化篩選工作??冃гu價體系初步構(gòu)成時,對應于具體方法,應首先把復雜問題分解成稱之為元素的各組成部分,以形成不同層次。研究表明,最合理的指標體系的層次為3~4層,即:目標層、準則層、因素層。
當前常用的績效評價方法可分為三類:第一類是定性評價方法,例如同行評議法等;第二類是定量評價方法,如熵權(quán)法、因子分析法等;第三類是定性與定量評價方法組合評價方法。
在定性評價方法研究中,章磊、閻波等在明晰國家自然科學基金資助內(nèi)涵的基礎(chǔ)上,選取了1986~2008年國家自然科學基金委信息科學部面上項目作為分析對象,用同行評議法從資助過程和結(jié)果兩個方面評價其資助績效狀況。為了克服人為因素的干擾,對于同行評議時的主觀性,楊亮,杜紅梅將投影尋蹤評價模型應用于科技項目評審專家績效評價中,根據(jù)投影值的大小對專家績效進行評價分析。這種方法規(guī)避了同行評議的主觀性,為科技項目評審專家績效評價提供了一種新的思路。定量評價方法應用方面,DEA法是學術(shù)界使用較為廣泛的一種方法,運用DEA方法對科技項目進行績效評價,操作較為簡便,但是需要的數(shù)據(jù)量較大。如張利華以海淀區(qū)科技計劃項目為例,找出影響科技項目績效水平的因素,運用DEA法對科技項目進行了績效排名。由于基礎(chǔ)研究科技項目績效評價的樣本數(shù)據(jù)較少,對績效評價的研究開展造成一定阻礙,賴迪輝認為支持向量機(SVM)算法最為適合解決這個問題。
定性與定量評價方法組合,是依照一定的數(shù)學思想將定性評價結(jié)果和定量評價結(jié)果組合起來,運用一定的數(shù)理算法計算得到一個綜合的評價結(jié)果。該過程體現(xiàn)定性評價和定量評價方法的結(jié)合。如王艷芳、劉云等對于不同的指標分別采用了熵權(quán)法和專家調(diào)查法確定權(quán)重。層次分析法(AHP)是目前在科技項目績效評價中使用最廣泛的方法之一,在績效指標的權(quán)重賦權(quán)時一般將德爾菲法和層次分析法結(jié)合起來,對指標進行科學的測度。Wang使用AHP法評價了制藥行業(yè)的科技創(chuàng)新能力。在此基礎(chǔ)上,我國一些學者對AHP法進行了改進。尹航結(jié)合具體指標的特點和數(shù)據(jù)特征,引入粗糙集信息熵理論,建立了基于AHP-Entropy方法的科技成果轉(zhuǎn)化績效評價模型,之后又建立了基于AHP-灰色定權(quán)聚類分析方法評價模型。
通過分析上述理論和實證研究的國內(nèi)外文獻,本文發(fā)現(xiàn),隨著對基礎(chǔ)研究科技項目績效評價研究認識的不斷深入,盡管相關(guān)文獻在績效評價模型、指標體系設計依據(jù)、指標選取、評價方法選擇、指標權(quán)重確定和案例研究等方向取得了一定的研究成果,仍存在如下問題:
在基礎(chǔ)研究科技項目績效評價模型與指標體系構(gòu)建方面,現(xiàn)有科技項目績效評價文獻,缺乏針對基礎(chǔ)研究,尤其基礎(chǔ)研究科技項目績效評價的理論模型構(gòu)建研究。大多數(shù)文獻并未針對基礎(chǔ)研究科技項目的特點進行指標體系構(gòu)建并選取指標,僅評價其創(chuàng)新性成果的科學價值,未評估其廣泛的社會影響價值。
雖然基礎(chǔ)研究科技項目績效評價指標賦權(quán)與評價方法的研究文獻較多,但是多為理論性探討,未考慮賦權(quán)與評價方法應用過程中的相關(guān)技術(shù)問題?,F(xiàn)有研究文獻中評價方法的主要不足是,定性評價方法有一定的主觀隨意性,基礎(chǔ)研究科技項目績效評價涉及多行業(yè)、多政府部門,由不同行業(yè)領(lǐng)域、部門的專家形成的專家組客觀存在背景差異,采用定性評價法可能導致評價結(jié)果的合理性難以形成廣泛認可。定量評價方法計算出來的實際結(jié)果有時與預期結(jié)果差異較大,同時評價結(jié)果易受所選指標樣本隨機誤差的影響。定性與定量評價方法組合不能完全規(guī)避定性賦權(quán)及評價方法的主觀性;同時績效評價定性與定量方法組合時一般都使用已有方法的組合,創(chuàng)新性不足;幾種評價及賦權(quán)方法的相容性未得到進一步驗證。
在績效評價指標選取與測評方面,基本為理論探討,缺乏結(jié)合科技項目案例的應用與驗證。大部分研究并未將相關(guān)項目案例的績效評價作為試點,將研究結(jié)果加以應用,在應用過程中進行總結(jié)、分析,以發(fā)現(xiàn)指標選取、模型構(gòu)建方面的問題,并改進、調(diào)整相關(guān)指標,因而其研究成果不能達到修正完善科技項目績效評價模型的目的。
針對當前基礎(chǔ)研究科技項目績效評價政策的發(fā)展沿革和對基礎(chǔ)研究科技項目績效評價研究的文獻研究,本文認為:
第一,現(xiàn)有研究主要以歐美發(fā)達國家的科技項目評價體系研究為參照,尚未考慮我國科研管理的環(huán)境適用性與政策特殊性。的確,績效本身是一個不斷發(fā)展變化的動態(tài)過程,對我國的科技項目進行績效評價也是一個主觀對客觀的認識過程。因此,深入挖掘并選擇全面體現(xiàn)國家利益的相關(guān)指標,探求適合我國國情、政策環(huán)境的基礎(chǔ)研究科技項目績效評價模型與指標體系原創(chuàng)性研究范式,對探索性與戰(zhàn)略性基礎(chǔ)研究分別設置不同側(cè)重目標進行研究。促使不同性質(zhì)的基礎(chǔ)研究科技項目良性發(fā)展。
第二,在評價方法方面,學術(shù)界需要現(xiàn)有通過不同賦權(quán)和評價方法的比較和組合,才能探索出適用于我國科學研究現(xiàn)狀的基礎(chǔ)研究科技項目績效評價的指標賦權(quán)和評價方法,為開展基礎(chǔ)研究科技項目績效評價提供理論與技術(shù)支持,為政府進行科技評價和決策提供可供選擇的方法與路徑。
第三,采集權(quán)威、大量相關(guān)科學數(shù)據(jù),構(gòu)建包括科技項目、科技機構(gòu)、科技成果等方面的基礎(chǔ)研究績效評估完備數(shù)據(jù)庫,對基礎(chǔ)研究科技項目指標的科學性與合理性進行案例驗證,也應是該領(lǐng)域研究的發(fā)展新機遇。在利用基礎(chǔ)研究績效評估的結(jié)果方面,基礎(chǔ)研究科技項目績效評價與財政預算資金分配、信用管理體系健全等方向的結(jié)合也值得深入探索。