劉志強,王慧晴,溫 穎
(北京建筑大學(xué),北京102616)
關(guān)于科技評估方法,李志軍(2016 年)對事前、事后評估方法進行了細致的梳理和總結(jié)[1]。此外,聚焦于科技政策評估視角,LEEUWEN 等(2003 年)、李強等(2018 年)梳理了國內(nèi)外在政策評估領(lǐng)域的研究成果,并對文獻計量法、經(jīng)濟模型法等經(jīng)典方法進行了分析總結(jié)[2-3]。和經(jīng)緯(2008 年)指出政策評估方法的核心是政策效果分離的社會實驗[4]。曲婉等(2017 年)以科技創(chuàng)新政策評估為例,建立了新的邏輯框架分析法,并結(jié)合政策作用對象,來識別不同類型的政策工具[5]。肖小溪等(2015 年)總結(jié)了PING(2014 年)[6]介紹的快速循環(huán)評價,指出該方法可通過海量數(shù)據(jù)搜集和挖掘來提供實時監(jiān)測數(shù)據(jù),為科技政策制訂提供更可靠的數(shù)據(jù)支撐[7]。高華川和白仲林(2019 年)提出一種估計政策因果效應(yīng)的時變LASSO 方法,并通過實證研究發(fā)現(xiàn),該方法對樣本時期數(shù)較長、政策干預(yù)時間點相對較晚的政策評估更加有效[8]。
從績效評估視角,YAGER(2002 年)等人對政府績效評估中常用的數(shù)據(jù)包絡(luò)分析法、3E 評價法等評估方法進行了梳理,并對方法的適用場景以及局限進行了總結(jié)[9]。盛明科(2009 年)通過對比主觀評議法與多指標(biāo)綜合評價法,指出政府績效評估應(yīng)該從價值理性和工具理性相結(jié)合的角度,對兩種方法進行綜合的運用,以充分發(fā)揮各自方法的優(yōu)勢[10]。莊國波和時新(2019 年)指出將大數(shù)據(jù)技術(shù)的海量數(shù)據(jù)和精準(zhǔn)分析可以消除了政府績效評估中人為因素的干擾和反饋信息的失真[11],極大地增強了定量評估方法的準(zhǔn)確性和說服力。
科技評估方法有很多種,按照描述方式的不同,可以分為定性的科技評估方法、定量的科技評估方法以及定性與定量相結(jié)合的綜合評估方法。
定性的科技評估方法主要依據(jù)評估者的經(jīng)驗、知識、技能等,但其主觀性過強,對評估者本身的素質(zhì)要求極高。定量評估方法是指根據(jù)評估對象的數(shù)據(jù)信息或量化的數(shù)據(jù)信息,建立政策評估的數(shù)學(xué)模型,再借助電子計算機等手段進行計算來求得答案的方法和技術(shù)。
定性與定量相結(jié)合的綜合評估方法融合了定性、定量評估方法的優(yōu)點,廣泛地應(yīng)用于復(fù)雜的科技評估中。典型的方法有層次分析法、模糊綜合評價法、灰色系統(tǒng)評估方法以及數(shù)據(jù)包絡(luò)分析法等。
模糊綜合評價法是指在模糊數(shù)學(xué)的隸屬度理論基礎(chǔ)上,在事物組成模糊的環(huán)境中,考慮各方面因素的綜合影響后,針對某一特殊的目標(biāo)對一個事物做出綜合性評價結(jié)果的方法。它以模糊推理為主,定性和定量相結(jié)合,精確與非精確相統(tǒng)一。模糊綜合評價法基本可分4 步進行:①確定評估對象集、因素集和決斷集;②運用專家咨詢法、層次分析法等確定因素權(quán)重值,建立評估因素的權(quán)重分配向量;③通過各單因素模糊評估獲得模糊綜合評估矩陣;④進行復(fù)合運算可得到綜合評估結(jié)果,計算每個評估對象的綜合分值,并進行選擇排序。
將模糊綜合評價方法應(yīng)用于科技評估中,其主要優(yōu)點在于簡單實用、可操作性強,并能進行整體的評價,但也存在評價指標(biāo)體系的合理性與代表性問題,模糊隸屬函數(shù)的構(gòu)造帶有一定的主觀隨意性等不足。
灰色系統(tǒng)評估方法來源于20 世紀(jì)80 年代中國華中理工大學(xué)鄧聚龍教授提出并創(chuàng)立的灰色系統(tǒng)理論。其基本思想是先從樣本中確定一個理想化的最優(yōu)樣本,并以此為參考序列,通過計算各樣本序列與該序列的關(guān)聯(lián)度,對評估對象做出綜合比較和排序。灰色系統(tǒng)評估方法的基本步驟為:①確定參考序列;②指標(biāo)值的規(guī)范化處理即無量綱化;③求各個方案與由最佳指標(biāo)組成的理想方案的關(guān)聯(lián)系數(shù)矩陣,由關(guān)聯(lián)系數(shù)矩陣得到關(guān)聯(lián)度;④按關(guān)聯(lián)度的大小進行排序、分析,得出綜合評判結(jié)果。
灰色系統(tǒng)評估法通過對評估對象進行綜合比較和排序,解決了評估指標(biāo)難以準(zhǔn)確量化和統(tǒng)計的問題,可以減少人為因素帶來的影響,但也存在灰色關(guān)聯(lián)度量化模型所求出的關(guān)聯(lián)度總為正值,不能全面反映事物之間關(guān)系的局限。
數(shù)據(jù)包絡(luò)分析法是由著名運籌學(xué)家查尼斯和庫柏等在“相對效率評估”概念基礎(chǔ)上發(fā)展起來的一種新的效率評估方法。它應(yīng)用數(shù)學(xué)規(guī)劃模型計算比較決策單元之間的相對效率,對評價對象做出綜合評價。運用數(shù)據(jù)包絡(luò)法進行科技評估時,主要有以下4 個步驟:①確定評估目標(biāo)。②建立評估指標(biāo)體系?;镜脑瓌t是能反映評價內(nèi)容和目的,避免指標(biāo)間的強線性關(guān)系,最后考慮指標(biāo)的可獲得性和多樣性等。③收集和整理數(shù)據(jù),并進行計算。④分析評估結(jié)果并提出決策建議。
數(shù)據(jù)包絡(luò)分析法通過模型自行計算權(quán)重,大大減少了主觀因素對評估結(jié)果的影響。但是其使用范圍具有一定的局限性,要求被評估的組織單元的目標(biāo)要相似并且影響組織單元效率的因素應(yīng)相同。
以云計算、數(shù)據(jù)挖掘、機器學(xué)習(xí)、人工智能和區(qū)塊鏈等為代表的新一代信息技術(shù)的快速進步,推動著科技評估向自動化、智能化、智慧化方向發(fā)展,同時為評估方法更細致地科學(xué)應(yīng)用提供了新的理論和技術(shù)支持。
科技評估工作具有數(shù)據(jù)海量的特點和深度分析的需求。而數(shù)據(jù)挖掘的基本思想正是從數(shù)據(jù)中抽取有價值的信息,從而幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)。將數(shù)據(jù)挖掘運用到資料查閱法時,它就是一種適當(dāng)?shù)臏y度方法,通過關(guān)鍵詞提取,可以將文獻資料的段落和章節(jié)作為單元進行聚類分析,提高信息獲取效率;云計算技術(shù)同樣也可以很好地進行數(shù)據(jù)分析工作。它的基本思想是通過構(gòu)建大規(guī)模的基于集群系統(tǒng)的數(shù)據(jù)中心,將集群中的資源以虛擬化的形式向用戶提供資源池。將云計算運用到人工神經(jīng)網(wǎng)絡(luò)的公共項目評估中,可以幫助獲得更加全面的項目端監(jiān)測數(shù)據(jù),從而對其進行更好的動態(tài)分析,以提高系統(tǒng)的綜合評估水平。此外,區(qū)塊鏈技術(shù)通過建立一組互聯(lián)網(wǎng)上的公共賬本,由網(wǎng)絡(luò)中所有的用戶共同在賬本上記賬與核賬,起到保障數(shù)據(jù)真實性和不可篡改性的作用。將該技術(shù)運用于主成分分析法、數(shù)據(jù)包絡(luò)分析法等需要大量數(shù)據(jù)處理的評估方法中,可以通過追溯進行數(shù)據(jù)真實性的比較和檢驗,提高評估的可信度。
與此同時,隨著科技評估領(lǐng)域的擴大和交叉學(xué)科的發(fā)展,應(yīng)用統(tǒng)計學(xué)、數(shù)理經(jīng)濟學(xué)、計量經(jīng)濟學(xué)等學(xué)科的方法也被引入到了評估中,通過綜合運用評價指標(biāo)體系、量化模型等知識,來改進科技評估方法,實現(xiàn)定性與定量相結(jié)合。比如計量經(jīng)濟學(xué)中斷點回歸,就是當(dāng)前利用微觀數(shù)據(jù)進行政策評估一個重要的方法,它可以在沒有隨機性的情況下識別出政策的效果;傾向得分匹配則通過改善選擇性偏誤,減少對照組與實驗組特征的差異而被視為評估干預(yù)影響的準(zhǔn)實驗方法。統(tǒng)計學(xué)中的貝葉斯方法可以充分考慮評估模型以及參數(shù)的不確定性,對非線性狀態(tài)空間模型進行較好的擬合,近年來在科技評估中受到越來越廣泛的應(yīng)用。
科技評估工作是一種跨學(xué)科、跨層次的綜合性工作。它既要求社會科學(xué)、經(jīng)濟學(xué)與自然科學(xué)的綜合,又要求決策層、執(zhí)行層與研究層的結(jié)合。因此根據(jù)具體的評估對象和評估目的選擇合適的科學(xué)的方法對提高評估實施效果,改進管理決策有至關(guān)重要的作用。同時,仍需要對科技評估方法進行深入探索,并且將社會經(jīng)濟發(fā)展的實際需要以及信息技術(shù)和交叉學(xué)科相結(jié)合,進行科技評估方法的實際應(yīng)用,不斷推動中國科技評估工作的發(fā)展。