許超，黃瀟

?

科技監(jiān)督評估體系構建方法研究概況＊

許超1，黃瀟2

（1.山西省產業(yè)技術發(fā)展研究中心，山西 太原 030000；2.山西省分析科學研究院，山西 太原 030000）

本文介紹了科技監(jiān)督評估體系構建的重要意義和必要性，進一步探討了科技監(jiān)督評估體系的構建方法和步驟，分析闡述了同行評議法、德爾菲法、層次分析法、模糊綜合評價、人工神經(jīng)網(wǎng)絡技術、灰色分析法、綜合性評價等幾種方法的使用特點及優(yōu)缺點，在一定的方法選取原則下，選取適用的方法。

科技創(chuàng)新；科技監(jiān)督；評估體系；構建方法

1 引言

科技監(jiān)督評價制度是政府為支撐創(chuàng)新，發(fā)揮政府科技資源配置作用的重要手段。在“科技創(chuàng)新+制度創(chuàng)新”雙輪驅動背景下，科技監(jiān)督評估體系構建在制度創(chuàng)新中有重要的作用?？萍急O(jiān)督評估體系一般是指依據(jù)大量事實和依據(jù)，遵循一定的原則、程序和標準，運用科學、可行的方法，對涉及科技領域的政策、計劃、項目、成果、機構、人員以及與科技活動有關的行為所進行的系統(tǒng)化和專業(yè)化的監(jiān)督評估活動。

2 意義和必要性

科技監(jiān)督評估是指依據(jù)有關規(guī)定，對參與科技計劃（專項、基金）的各責任方所進行的持續(xù)、全面的監(jiān)督，評估與問責，涉及到責任主體包括科技計劃相關管理部門、項目管理專業(yè)機構、項目承擔單位、參與科技計劃項目咨詢評審和監(jiān)督工作的專家、支撐機構以及從事科技項目研究的科研人員，目的是明確各責任主體的權力邊界，并約束其行為。“科技監(jiān)督評估體系”屬于“三根支柱之一”（即咨評委+專業(yè)機構+監(jiān)督與評估體系），是這個體系中唯一的一個動態(tài)體系，同時也是實施難度最大的一項?？萍急O(jiān)督評估體系的主要內容包括三個方面，分別是科技監(jiān)督、科技評估和科研信用。其特點是事前重風險防范，事中、事后重監(jiān)督檢查，事后重評估與問責?？萍急O(jiān)督評估體系的建立完善不僅是完成新一輪國家科技計劃管理改革的主要環(huán)節(jié)，也是促進科技計劃和專項科學、有序、高效推進的制度保證，更是完善科技治理體系的重要支撐。因此，科技監(jiān)督評估體系的構建是科技體系監(jiān)督和評估的要求，對于提高政府科技資源分配的公正性和有效性，提高科技計劃相關主體的意識與水平，從機制上約束和規(guī)范科技計劃相關主體起到重要的作用。

3 科技監(jiān)督評估體系構建步驟

3.1 指標體系結構的確立

前期準備主要包括信息收集資料、分析目標、確定指標體系結構和收集與分析指標。

3.2 指標體系的內涵及標度設計

確定基礎評價指標體系時，一般收集的指標體系都是定性或者半定量的，所以需要設計標度來評判，一般分為5個標度，即很好、較好、一般、較差、很差，使指標體系可以被量化。

3.3 指標權重的確定

權重是綜合評價的重要信息，應根據(jù)指標的相對重要性，即指標對綜合評價的貢獻確定。

確定評價指標權重的方法主要分為主觀方法和客觀方法。主觀賦權法是人為主觀賦權，主要方法有專家調查法、二項系數(shù)法、環(huán)比評分法和AHP法等；客觀賦權法是指標依據(jù)一定的規(guī)律自動賦權，主要方法有成分分析法、熵技術法、均方差法和多目標規(guī)劃法等。

賦權后，確定指標權重的方法很多，比如定性分析的德爾菲法、數(shù)據(jù)統(tǒng)計處理的成分分析法以及定性定量結合的層次分析法等。

4 科技監(jiān)督評估體系構建的常用方法

4.1 同行評議法

同行評議法，最簡單、直接的理解是指由身份相同的人評審、審查、評價和評論。同行評議是由從事該領域或相關領域的專家按照一定的評議準則來評定一項科學研究工作的學術水平和重要性的一種方法，是對科學問題或科學成果的潛在價值或現(xiàn)有價值進行評價，對解決科學問題方法的科學性和可行性給出判斷的過程，是科研項目進行評審和對科研成果進行評估的一種基本方法，也是科技評估過程科學化和民主化的一個重要環(huán)節(jié)。同行評議一般包括專家組會議評議和網(wǎng)絡評議，對于需要組織同行專家進行現(xiàn)場考察或者演示、測試和達標的科技成果，組織評議單位可以采取會議評議形式；對于通過書面審查有關技術資料即可進行評議的項目成果，則可以采用網(wǎng)絡評審。

同行評議簡單易行，而且可以指出被評價項目成果的創(chuàng)新或不足，能找出該項目成果在該領域國內外同類研究中所達的水平，從而作出客觀、準確的評價。在同行評議中，必不可少的是評議標準，基本標準主要有項目進行的科學意義，項目申請者的完成能力，項目申請單位的承擔能力。同行評議是使用較早的科技評估方法，應用領域相對較廣泛。

4.2 德爾菲法

德爾菲法，即Delphi法，是一種通過征求并集合群體成員（包括決策者、專業(yè)干部和反映者，約20～50人）的意見作出的群判斷，是進行決策、預測和科技咨詢的一種有效方法，有三個主要特征，分別是匿名反映、迭代和受控反饋和統(tǒng)計的群反映。流程為：提出問題→選擇并確定群眾成員（反映人）→制訂多個咨詢表，發(fā)給群中成員→收集咨詢表，進行分析→多個咨詢表分析合成報告。

4.3 層次分析法

層次分析法（Analytic Hierarchy Process，簡稱“AHP”），是將與決策總是有關的元素分解成多個有序的低階層次結構，在此基礎之上進行定性和定量分析的決策方法。該方法是美國運籌學家匹茨堡大學教授薩蒂于20世紀70年代初應用網(wǎng)絡系統(tǒng)理論和多目標綜合評價方法提出的一種層次權重決策分析方法。APH體現(xiàn)了決策思維的基本特征，即分析、判斷和綜合。

APH經(jīng)常作為一種確定指標權重的方法加以應用。在科技項目評估中，運用APH確定指標權重一般分為5個步驟：①建立問題的遞階層次結構；②構造兩兩比較判斷矩陣；③進行層次因素（指標）單排序數(shù)值的計算；④進行APH判斷矩陣一致性檢驗；⑤計算各層指標的組合權重。

APH作為一種決策工具，具有適用性、簡潔性、實用性和系統(tǒng)性等特點，但在應用上也有局限性。例如，APH的應用主要針對那種方案大抵確定的決策問題；APH得出的結果是粗略的方案排序；在APH適用過程中，無論是建立層次結構還是構造判斷矩陣，人的主觀判斷、選擇對結果的影響較大，導致采用APH進行決策的主觀成分很大。

4.4 模糊綜合評價

模糊綜合評價法是解決定性和定量問題的經(jīng)典方法，創(chuàng)始人是美國加利福尼亞大學著名的控制論專家LA.Zadeh教授，最早是我國學者汪培莊提出來的。該法是利用模糊關系合成的原理，從多個因素出發(fā)對評判事物隸屬情況進行綜合性評價的一種方法。主要分為兩步，分別是單因素單獨評判和多因素綜合評判，一般包括基本因素集、評價集和考核集。

優(yōu)點：模糊評價通過精確的數(shù)字手段處理模糊的評價對象，能對蘊藏信息呈現(xiàn)模糊性的資料作出比較科學、合理、貼近實際的量化評價；評價結果是一個矢量，而不是一個點值，包含的信息比較豐富，既可以比較準確地刻畫被評價對象，又可以進一步加工，得到參考信息。

缺點：計算復雜，對指標權重矢量的確定主觀性較強；當指標集較大，即指標集個數(shù)較大時，在權矢量和為1的條件約束下，相對隸屬度權系數(shù)往往偏小，權矢量與模糊矩陣不匹配，結果會出現(xiàn)超模糊現(xiàn)象，分辨率很差，無法區(qū)分誰的隸屬度更高，甚至造成評判失敗，此時可用分層模糊評估法加以改進。

總的來講，模糊綜合評價是一種基于主觀信息的綜合評價方法。

4.5 人工神經(jīng)網(wǎng)絡技術

人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，簡寫為“ANNs”）是一種模仿神經(jīng)網(wǎng)絡類似于大腦神經(jīng)突觸聯(lián)接的結構行為特征，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構成，每個節(jié)點代表為激勵函數(shù)，每兩個節(jié)點間的連接都代表一個對于通過該連接信號的權重，網(wǎng)絡的輸出則依網(wǎng)絡的連接方式、權重值和激勵函數(shù)的不同而不同。進行分布式并行信息處理的算法數(shù)學模型是數(shù)學統(tǒng)計學方法的一種實際應用。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的，并具有自學習和自適應的能力。人工神經(jīng)網(wǎng)絡能夠與人一樣，具有簡單的決定能力和判斷能力，這種方法與正式的邏輯學推理演算相比更具有優(yōu)勢。

人工神經(jīng)網(wǎng)絡是由大量處理單元互聯(lián)組成的非線性、自適應信息處理系統(tǒng)，它是在現(xiàn)代神經(jīng)科學研究成果的基礎上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡處理、記憶信息的方式進行信息處理。人工神經(jīng)網(wǎng)絡具有的基本特征有非線性、非局限性、可容錯性和自適應能力。

人工神經(jīng)網(wǎng)絡的特點和優(yōu)越性主要表現(xiàn)在以下3個方面：①具有自學習功能。自學習功能對于預測有特別重要的意義，預期未來的人工神經(jīng)網(wǎng)絡計算機將為人類提供經(jīng)濟預測、市場預測、效益預測，其應用前途是很遠大的。②具有聯(lián)想存儲功能。用人工神經(jīng)網(wǎng)絡的反饋網(wǎng)絡就可以實現(xiàn)這種聯(lián)想。③具有高速尋找優(yōu)化解的能力。

優(yōu)點：人工神經(jīng)網(wǎng)絡評價方法可通過與其他特定的方法結合，來降低綜合評價過程中的不確定性因素。在學習樣本中，無需考慮權重值等模型的函數(shù)關系，通過不斷的學習，能夠從未知模式的大量復雜數(shù)據(jù)中發(fā)現(xiàn)其規(guī)律，克服傳統(tǒng)分析過程的復雜性及選擇適當模型函數(shù)形式的困難。此外，神經(jīng)網(wǎng)絡并不依賴變量之間必須線性相關或是相互獨立的假設，變量之間存有微妙聯(lián)系，如果同數(shù)據(jù)不連續(xù)或不完全一樣均可以被系統(tǒng)辨識并生成定性評估。

缺點：樣本需求量大，精度不高；需借助計算機處理，效率不高等。

4.6 灰色評價法

灰色綜合評估法是一種以灰色分析理論為指導的綜合性評估方法。

部分信息明確、部分信息不明確的系統(tǒng)稱為灰色系統(tǒng)，灰色系統(tǒng)理論的中心就是充分利用已知信息。其過程如下：①建立灰色綜合評估模型；②對各種評價因素進行權重選擇；③進行綜合評估?；疑垲惙治鍪且环N定量與定性相結合的方法，可以較好地解決評價指標難以準確量化和統(tǒng)計的問題?；疑C合評估法中的權重選擇可以結合層次分析法、聚類分析法和關聯(lián)分析法等，以提高評估的準確性。

優(yōu)點：計算簡單，數(shù)據(jù)不必歸一化處理，指標體系可以根據(jù)具體情況增減，無需大量樣本。

缺點：要求樣本有時間序列特性，灰色關聯(lián)系數(shù)的確定還需要計算分辨率，且缺乏合理標準。

4.7 綜合性評價方法

綜合評價方法是指多種評價方法相結合，但不是任何兩個方法都可以隨機組合，方法之間必須是可以聯(lián)結的，所涉及的變量可以相互轉化。首先由定性方法確定評價指標集，然后計算指標的權重并形成評價體系，包括評價等級、樣本矩陣等，最后，用定量方法與模型進行計算，得到評價值。

5 方法選取的原則準則

在選擇評估方法時，應注意以下幾點：①科研項目評估就是確定被評估項目在所在系統(tǒng)中的地位，這種地位是通過比較而認識的。由于比較的基準物不同，評估的內容和方法也就不同。②系統(tǒng)要保持其相對地位不變或提高其地位，就必須具備動態(tài)調節(jié)的功能。這就要求所選擇的評估方法必須具有良好的動態(tài)調節(jié)性能，使系統(tǒng)結構合理，且具有開放性。③評估具有主觀性，評估是事物價值在人的意識之中的反映。因此，對事物價值的評估要因人、因時、因環(huán)境而異，評估中的差異性是無法排除的，只能盡量縮小。在研究設計評估方法時，要使方法具有減弱或消除主觀因素成份的功能，使要獲得的評估信息具有可能性和可靠性。④認識是評估的前提和基礎。認識的對象大于評估的對象，要提高評估方法的合理性與準確性，首先要全面、客觀地認識系統(tǒng)和環(huán)境，對事物的認識不準確，就難以選擇出合理的方法。

6 結語

綜上所述，目前，人們對評估領域已經(jīng)有了一定的認識，并形成了一套比較成熟的理論和方法。但也應清楚地看到，評估工作是一種跨學科、跨層次的綜合性工作，它既要求社會科學、經(jīng)濟學與自然科學的綜合，又要求決策層、執(zhí)行層與研究層的結合，這就對評估工作的組織管理與機制提出了特殊的要求，要求多方面、多層次的研究者相互理論結合，優(yōu)劣互補來進行相關探討研究。

［1］王憑慧.科技項目評價方法［M］.北京：科學出版社，2003.

［2］趙煥臣，許樹柏，和金生，等.層次分析［M］. 北京：科學出版社，1986.

［3］張軍軍，許超.科技監(jiān)督與評估體系建設途徑研究［J］.科技創(chuàng)新與應用，2018（11）.

［4］張娟.廣東省科技監(jiān)督和評估體系建設研究［J］.科技視界，2017（01）.

［5］楊雪梅，林端宜.科研項目評估研究現(xiàn)狀綜述［J］.中華醫(yī)學科研管理雜志，2002（03）.

［6］陳小衛(wèi)，王新政，王文雙，等.科技項目中評價研究綜述［J］.科研管理，2009（30）.

2095－6835（2018）20－0004－03

G311

A

10.15913/j.cnki.kjycx.2018.20.004

許超（1980—），男，助理研究員，主要研究方向為公共政策分析與科技創(chuàng)新。

黃瀟（1984—），女，副研究員。

山西省軟科學研究重點項目“山西省科技計劃管理改革政策體系建設、管理、評價研究——科技監(jiān)督評估體系構建研究”（項目編號：2017042003-1）

〔編輯：王霞〕