王艷芳　時艷琴　朱偉

摘? 要：為對城市安全領域科技項目開展科學、準確的成果評價，文章以國家對科技成果評價的相關法規(guī)與標準為指引，結合城市安全領域項目成果的特點，基于公共安全領域的三角形理論及科技評價的邏輯模型，分析了城市安全領域科技成果產出及發(fā)揮成效的邏輯機理，基于邏輯機理構建了評價框架，包括知識產出、成果擴散、城市安全防控效果、更廣泛的經(jīng)濟和社會影響4個維度。在此基礎上，文章運用德爾菲法和層次分析法篩選了評價指標，并確定指標權重，形成了完善的評價指標體系，以期為后期相關評價機構開展城市安全領域的科技項目成果評價提供參考和借鑒。

關鍵詞：城市安全；項目成果評價；評價指標；德爾菲法；層次分析法

中圖分類號：X92 文獻標識碼：A DOI：10.19881/j.cnki.1006-3676.2023.06.07

基金項目：本文系國家重點研發(fā)計劃項目“城市安全成果集成及展示關鍵技術與裝備研究”（項目編號：2019YFC0810804）研究成果。

作者簡介：王艷芳，女，1985年生，碩士，副研究員，研究方向：績效評價、城市治理。時艷琴，女，1965年生，研究員，研究方向：管理學、智慧養(yǎng)老。朱偉，男，1978年生，博士，研究員，研究方向：應急安全。

安全是現(xiàn)代化城市的第一要素。隨著我國城鎮(zhèn)化的快速推進，城鎮(zhèn)人口規(guī)模和密度不斷提高，建筑物、基礎設施和生命線工程發(fā)達且密集，城鎮(zhèn)組織和經(jīng)濟社會活動日益復雜，導致城鎮(zhèn)公共管理和運行所面臨的常規(guī)和非常規(guī)風險不斷突出，對人民群眾的生命和財產安全帶來重大威脅[1]。為此，“十三五”期間，面向快速推進的我國城鎮(zhèn)化公共安全重大需求，國家圍繞城市建筑施工與運維安全、城市管網(wǎng)管廊安全保障、城市重大災害事故防控、城市區(qū)域風險防控與應急保障、重大基礎設施安全等領域設置了一批重點研發(fā)計劃項目。那么，這些項目到底取得了哪些成果，這些成果水平如何，對城市公共安全起到了什么樣的支撐作用，都需要通過開展科學、準確的成果評價來進行判斷。通過成果評價，一方面可以及時向政府和公眾展示成效，另一方面可以在評價中找出不足，尋找差距，為下一步繼續(xù)提升我國城市安全領域防范化解重大風險能力提供支撐。

當前，不少專家學者研究了國防、交通運輸、農業(yè)、醫(yī)療衛(wèi)生等行業(yè)領域的科技項目成果評價。在國防領域，王敏芳等從學術價值、政治效益、社會效益、經(jīng)濟效益4個維度建立了成果評價指標體系[2]，寇元虎等構建了一個科學、綜合和可操作的評價指標體系，并對各指標的評判標準進行了說明[3]；在交通運輸領域，董靜等提出了交通運輸科技成果的分類標準，從技術指標、效益指標、轉化應用指標3個維度出發(fā)構建了交通運輸科技成果評價指標體系[4]，張勃對鐵路運輸企業(yè)科技成果類別及評價模式進行了研究，總結并提出了鐵路運輸企業(yè)可實施的分類評價模式[5]；在農業(yè)領域，賈敬敦等從技術、效益和風險3個角度構建了應用開發(fā)類、軟科學類與基礎研究類三類農業(yè)科技成果的評價指標體系[6]，于磊等學者引入模糊評價法和動態(tài)收益分成率兩個關鍵，對農業(yè)科技成果價值評估收益法進行了改進[7]；在醫(yī)學領域，白波等人基于邏輯模型和回報模型構建了醫(yī)學科技計劃績效評估框架[8]，沈娟等學者針對基礎研究、臨床與轉化研究（包括新藥研發(fā)）和管理學領域，提出了醫(yī)學科技評價體系框架和不同專業(yè)領域評價體系構建的具體建議[9]。然而，專門針對城市安全領域的科技項目成果評價研究幾乎沒有。上述研究結合各個領域業(yè)務及成果特點，探索了定性或定量開展科技項目成果評價的指標和方法，對城市安全領域科技項目成果評價工作的開展極具借鑒意義。但是，各個行業(yè)領域在成果產出類型、成果擴散及成效發(fā)揮方面具有顯著的差異，要開展城市安全領域的科技成果評價，還需構建符合城市安全領域科技項目特點的評價指標體系。

筆者以《科技評估工作規(guī)定（試行）》（國科發(fā)證〔2016〕382號）[10]、《國務院辦公廳關于完善科技成果評價機制的指導意見》（國辦發(fā)〔2021〕26號）[11]、《科技評估基本術語》（GB/T 40148-2021）[12]、《科技評估通則》（GB/T 40147-2021）[13]等相關政策和標準為指引，結合城市安全領域科技項目成果產出以及發(fā)揮成效的特點，基于公共安全領域的三角形理論以及科技評價的邏輯模型，分析城市安全領域的科技成果產出及發(fā)揮成效的邏輯機理，基于邏輯機理構建評價體系框架，并在此基礎上運用德爾菲法和層次分析法篩選評價指標，確定指標權重，形成完善的評價指標體系，以期為后續(xù)相關評價機構開展城市安全領域的科技項目成果評價提供參考和借鑒。

一、構建評價框架

筆者根據(jù)城市安全領域科技成果的特點，借鑒國際上科技評價的相關經(jīng)驗，選擇了“投入—產出邏輯模型”[14]和“公共安全三角形理論”[15]相結合的方式進行成果評價的框架設計。

（一）理論模型

評價模型采用了邏輯模型的邏輯主線，同時在成效部分結合公共安全三角形理論進行了成效分類，從而將邏輯模型和公共安全三角形理論相結合，使評估模型更加適用于城市安全項目群成果評價。

如圖1所示，構建的城市安全領域科技項目成果評價模型由以下4個維度構成：戰(zhàn)略目標、投入、管理/活動、成效。其中，戰(zhàn)略目標主要是根據(jù)上級政策規(guī)劃、城市安全防控需求和科學發(fā)展需求等方面進行設計；投入包括為實現(xiàn)城市安全戰(zhàn)略目標所投入的人力、物力、經(jīng)費、時間和技術等資源；管理/活動包括兩個層面，第一個層面是指整個城市安全科技專項的主管方所采取的組織方式和管理措施，第二個層面是指城市安全領域科技項目執(zhí)行方的實施活動；成效是指城市安全領域專項/項目直接的效果和作用，包括知識的直接產出、能力建設、成果擴散、應用于城市安全防控、更廣泛的經(jīng)濟和社會影響等方面。

通過該評價模型，將目標—投入—管理/活動—成效邏輯線路上的所有要素囊括在內，有助于了解各環(huán)節(jié)之間的因果關系，分析城市安全領域科技成果作用于城市安全防控的邏輯機理，為開展成果評價打下基礎。

（二）分析邏輯機理

基于構建的評價模型，結合我國在城市安全領域的科技布局、城市安全領域項目實施及成果特點，可得出城市安全領域科技項目成果產出及成效邏輯機理（見圖2）。

從國家和政府的實際操作來看，城市安全領域是作為公共安全專項中的一個板塊進行科技布局的。如圖2所示，公共安全科技工作面臨著保障公共安全、提升科技水平、建立安全體系等需求。因此，根據(jù)實際安全問題和科技發(fā)展需求，政府制定了公共安全科技專項戰(zhàn)略目標，并確定了財政資源規(guī)模。同時，政府組織科技機構、科技項目牽頭人員等進行投入。在給予一定的投入后，政府公共安全專項組織管理部門開始組織管理活動，包括資源整合優(yōu)化、確定重點支持領域、確定優(yōu)先資助項目、遴選項目承擔單位、開展過程監(jiān)督管理等，這些都是公共安全專項關鍵的管理環(huán)節(jié)。經(jīng)過復雜的科技投入和管理活動，公共安全專項的直接結果就是組織部署了一系列項目。其中，城市安全領域包括城鎮(zhèn)安全、社區(qū)安全、地下管網(wǎng)、建筑安全及基礎設施等方面，且這些項目形成了一系列成果，成果通過擴散推廣對城市安全防控產生影響，主要表現(xiàn)在風險評估與預防、監(jiān)測預測及預警、應急處置與救援、綜合保障4個方面。同時，這些成果還將對社會與經(jīng)濟的發(fā)展產生重要影響。

（三）構建評價框架

邏輯機理圖展示了政府在城市安全領域進行科技投入、管理和產生成果，以及發(fā)揮成效的前因后果和關鍵環(huán)節(jié)。其中，科技成果評估重點關注直接產出、成果擴散、城市安全防控效果、更廣泛的經(jīng)濟社會影響4個關鍵環(huán)節(jié)（見圖3），這些關鍵環(huán)節(jié)因此構成了城市安全領域項目成果評價的維度（見表1）。

二、建立指標體系

在構建成果評價框架之后，首先需要確定成果評價準則，在此基礎上，運用德爾菲法，通過“預選—咨詢—篩選”的技術路徑，建立城市安全領域項目成果評價指標體系。

（一）確定評價準則

評價框架上的關鍵環(huán)節(jié)對應著城市安全領域項目成果成效發(fā)揮過程中的“可能”斷點，這些環(huán)節(jié)上做得好或差，將直接影響成果的績效，而做得好壞的標準，也就對應著具體的評價準則。筆者根據(jù)城市安全領域科技成果的特點，綜合國家在科技成果評價方面的政策文件，參考各地科技成果評價標準，以及各類期刊、論著中關于成果評價的研究成果，形成了城市安全領域科技成果評價的評估準則（見表2）。

（二）評價指標預選

結合評估準則，在評價框架下，研究團隊通過文獻分析、項目資料文本分析及相關領域專家調研等方式，調查獲取了城市安全領域的項目成果相關指標，并進行了實驗性預選，初步形成了城市安全領域項目成果評價指標體系，包括4個一級指標，7個二級指標，26個三級指標（見表3）。

（三）基于德爾菲法的評價指標篩選

1.咨詢問卷的編制

根據(jù)初始指標體系，筆者編制了“城市安全領域項目成果評價”德爾菲專家咨詢表。咨詢表包括研究背景介紹、填表說明、專家基本信息、指標評價、專家權威程度量化評價5個部分的內容。指標評價部分重點對各項指標的重要性和可行性進行咨詢，分為高、中、低三個等級，分別賦予5分、3分及1分。專家根據(jù)指標重要程度及實際評價操作中的數(shù)據(jù)可獲取性進行打分，分值越大表示該指標越重要。同時，專家可以對其認為不合理的內容或表達方式進行修改，也可以增加指標。

2.咨詢專家的選擇

在遴選形成專家小組時，為了切實符合城市安全領域的項目成果特點，筆者主要遵循以下遴選標準：從事城市安全相關領域的科研工作；具有高級及以上技術職稱；具有良好的學術道德及職業(yè)道德。最終選取的咨詢專家，包括公共安全、火災科學、地下空間工程、交通安全、建筑安全等方面的專家17人。其中，在城市安全領域具有10年及以上工作年限的專家占94％，所有專家全部為高級職稱。

3.專家咨詢統(tǒng)計分析結果

研究進行了兩輪調查問卷。第一輪邀請了17名專家，有15名專家返回評分結果，問卷回收率約為88.2％；第二輪邀請了15名專家，有14名專家返回評分結果，問卷回收率約為93％。研究對專家權威程度Cr進行了量化評價，主要請專家填寫判斷依據(jù)Ca和對問題的熟悉程度Cs，其量化表見表4，計算公式為：Cr=（Ca+Cs）/2，數(shù)值越大表明專家對咨詢內容的權威程度越高。通過計算兩輪專家權威程度均在0.7～0.95之間。這說明專家參與本次研究的積極性較高，參與的專家權威程度也比較高，所形成的評價指標體系比較可信。

通過對兩輪咨詢結果的數(shù)據(jù)統(tǒng)計與分析，得出專家意見的均數(shù)及選擇率。第一輪和第二輪的協(xié)調系數(shù)分別為0.241和0.299，統(tǒng)計結果如表5所示。兩輪的協(xié)調系數(shù)經(jīng)x2檢驗，P值均小于0.05，說明專家的意見具有較好的協(xié)調性，咨詢結果可信且具有一致性。

4.評價指標最終篩選結果

研究在遴選評價指標的過程中，使用國際上常用的界值法，選取了選擇率均值、變異系數(shù)均值作為界值，根據(jù)每項指標重要性和可行性的算數(shù)均數(shù)、變異系數(shù)和選擇率計算參考值。其中，選擇率為正向指標，變異系數(shù)為負向指標，得分高于選擇率均值、低于變異系數(shù)均值的保留；為了防止重要指標被刪除，只有某個指標的得分低于選擇率均值，且低于變異系數(shù)均值，才會被刪除；對部分界值得分不滿足的指標，將其納入下一輪進一步經(jīng)專家篩選。運用SPSS對每一輪的專家函評分值進行數(shù)據(jù)統(tǒng)計分析（見表6）。第一輪專家咨詢的指標選擇率均值為0.96（高和中合計選擇率），變異系數(shù)均值為0.26。那么，變異系數(shù)低于0.26且選擇率大于96％的指標，認為是專家公認保留的指標，將不在第二輪咨詢中出現(xiàn)，如專利、新技術/新方法、新產品/裝置/系統(tǒng)、開展的應用示范、成果納入標準/產出標準、服務于風險評估實效等指標；統(tǒng)計結果顯示第一輪中沒有明確需要刪除的指標，僅增加了二級指標“所解決城市安防問題的重要性”及其下屬三級指標“所解決問題的重要性”。第二輪專家咨詢的指標選擇率均值為0.95，變異系數(shù)均值為0.29。那么，變異系數(shù)低于0.29且選擇率大于95％的指標，認為是專家形成統(tǒng)一意見進行保留的指標。第二輪專家咨詢結果顯示，專家意見基本趨于一致。其中，大部分指標得到保留，刪除了指標“專著”（選擇率0.89，變異系數(shù)0.24），尚有6個指標不滿足部分界值，包括“新理論/原理”“成果的成熟度”“成果被政策文件引用”“成果的轉讓”“技術的培訓”“降低城市建設脆弱性”，需要根據(jù)全面性、科學性、可行性等原則經(jīng)討論后取舍。進一步綜合專家的意見及相關選擇情況，可以發(fā)現(xiàn)，本評價框架及指標體系的專家認同度較高，評價指標的選擇率均數(shù)較高，需要進一步討論的6項指標的選擇率（可行性+重要性）均高于93％（14人中1人未選則為93％）；部分指標的變異系數(shù)大于均數(shù)，差異化也主要體現(xiàn)在“中”和“高”上?；诖?，經(jīng)過討論，考慮到指標體系的全面性等原則，6項指標全部保留。最終形成的城市安全領域項目成果評價指標體系，包括一級指標4個，二級指標8個，三級指標26個。

三、基于層次分析法確定指標權重

指標權重系數(shù)是影響評價指標體系科學性的重要因素，研究采用最為常用的層次分析法測量指標賦權。

（一）建立遞階層次結構模型

研究選用了Yaahp軟件作為層次分析法的輔助軟件，構建了包括目標層、準則層和指標層的遞階層次結構模型（見圖4）。

（二）形成調查表

根據(jù)城市安全領域項目成果評價指標的層次結構模型，利用yaahp軟件，生成權重調查表，發(fā)放給15名前期參與指標篩選的專家進行指標的重要性排序評分，形成兩兩判斷矩陣。

（三）建立判別矩陣及權重求解

將專家咨詢結果輸入yaahp軟件計算，一級指標判別矩陣如表7所示。經(jīng)軟件計算，CR=0.0000＜0.10，層次分析結果的一致性理想，即權重系數(shù)分配合理（見表8）。

根據(jù)該運算方法，對二級和三級指標權重分別進行計算、匯總、推導運算，最終獲得結果（見表9）。

四、成果評價指標體系的使用

在城市安全領域項目成果評價指標體系構建后，可使用模糊綜合評價法進行評價。使用yaahp軟件輔助生成專家測評表，將生成的評測表分發(fā)給評價專家，由專家根據(jù)相關項目成果資料，對每個項目的每項指標進行等級判定。回收評測表后，使用yaahp軟件模糊綜合評價的“導入”功能，可進行評價結果計算。

在模糊綜合評價計算中，最后一個計算步驟是去模糊，從而得到最終的評價分值。去模糊有多種方法可用，可采用設定評價等級論域，然后加權平均的方法，為各個評價等級設定分值，如優(yōu)（100分）、良（80分）、中（60分）、差（30分）。

五、結語

研究基于公共安全領域的三角形理論以及科技評價的邏輯模型建立了評價模型，在分析城市安全領域科技成果績效形成機理的基礎上，運用德爾菲法篩選了評價指標，包括知識產出、成果擴散、城市安全防控效果、更廣泛的經(jīng)濟和社會影響4個一級指標，8個二級指標以及26個三級指標；運用層次分析法確定了各級指標的權重，從而形成了科學完善的城市安全領域科技項目成果評價指標體系，為我國城市安全領域科技項目及科技計劃的成果評價工作提供支撐。

該成果評價體系的評價框架是基于城市安全領域項目成果從產出到發(fā)揮成效的邏輯機理而構建的，具有堅實的理論基礎；而評價指標的預選，則是深度結合“十三五”期間城市安全領域國家重點研發(fā)計劃項目的成果產出及成效特點，可謂理論與實踐的有效結合。從整個評價體系的指標及權重上來看，該評價體系更加注重成果的實際效果評價，城市安全防控效果權重占到了0.5442；同時，知識產出部分也不單純以論文發(fā)表數(shù)量、級別為準則進行評價，而是運用模糊綜合評價法，由專家根據(jù)領域特點、資金投入情況等來判斷產出成果的數(shù)量、水平等級，是破“四唯”后科技成果評價的進一步探索。

研究構建的項目成果評價體系及方法在城市安全領域具有一定的通用性和普適性，但城市安全領域依然是一個相對綜合的領域，涉及城市建筑、管網(wǎng)管廊、基礎設施、重大災害事故等具體領域，且每個行業(yè)領域都具有自身的專業(yè)特點。因此，在實際評價工作中，指標體系可根據(jù)成果所在專業(yè)領域進一步細化或調整。

參考文獻：

[1] 周曉峰，朱偉.我國城市綜合體安全面臨的挑戰(zhàn)與對策[J].科技智囊，2020（11）：31-37.

[2] 王敏芳，黨芬，余楠.國防科技成果的評價方法[J].國防技術基礎，2005（06）：16-18.

[3] 寇元虎，陶瑞.國防科技成果評價指標體系與評判標準構建研究[J].科學管理研究，2015（03）：32-35.

[4] 董靜，牛犇，尚文豪，等.新形勢下交通運輸科技成果分類評價指標體系研究[J].公路交通科技（應用技術版），2019（10）：289-292.

[5] 張勃.鐵路運輸企業(yè)科技成果類別及評價模式研究[J].中國鐵路，2022（06）：125-129.

[6] 賈敬敦，吳飛鳴，孫傳范，等.農業(yè)科技成果評價指標體系構建研究[J].中國農業(yè)科技導報，2015（06）：1-7.

[7] 于磊，吳東立，王萌，等.農業(yè)科技成果價值評估收益法改進研究[J].農業(yè)經(jīng)濟，2023（04）：24-26.

[8] 白波，王艷芳.基于邏輯模型和回報模型的醫(yī)學科技計劃績效評估框架構建[J].技術與創(chuàng)新管理，2015（02）：131-137.

[9] 沈娟，郭欣，關健.新時期醫(yī)學領域科技評價影響因素及評價體系構建原則和建議[J].科技管理研究，2022（22）：71-76.

[10] 科學技術部，財政部，國家發(fā)展和改革委員會.科技部 財政部 發(fā)展改革委關于印發(fā)《科技評估工作規(guī)定（試行）》的通知[EB/OL].（2017-01-17）[2021-07-02].http：//www.most.gov.cn/kjzc/gjkjzc/kjjhgl/201701/t20170117_130544.html.

[11] 國務院辦公廳.國務院辦公廳關于完善科技成果評價機制的指導意見[J].科學中國人，2021（22）：30-32.

[12] 全國科技評估標準化技術委員會.科技評估基本術語：GB/T 40148-2021[S].北京：中國標準出版社，2021.

[13] 全國科技評估標準化技術委員會.科技評估通則：GB/T 40147-2021[S].北京：中國標準出版社，2021.

[14] Annie M，Ronald S，Simeone，et al.Logic Models：A Systems Tool for Performance Management[J].Evaluation and Program Planning，2001（01）：73-81.

[15] 劉奕，倪順江，翁文國，等.公共安全體系發(fā)展與安全保障型社會[J].中國工程科學，2017（01）：118-123.

Analysis of Project Achievement Evaluation System in Urban Safety Field Based on Delphi Method and Analytic Hierarchy Process

Wang Yanfang1 Shi Yanqin2 Zhu Wei1

（1.Institute of Urban Systems Engineering，Beijing Academy of Science and Technology，Beijing，100089；2.Institute for Smart Ageing，Beijing Academy of Science and Technology，Beijing，100089）

Abstract：In order to carry out scientific and accurate achievement evaluation of projects in the field of urban safety，the article analyzes the logical mechanism of the output and effectiveness of scientific and technological achievements in the field of urban safety，guided by the relevant national regulations and standards for the evaluation of scientific and technological achievements，combined with the characteristics of project achievements in the field of urban safety，based on the public security triangular theory and the logical model，based on the logical mechanism，the evaluation framework is constructed，including four dimensions of knowledge production，achievement diffusion，urban safety prevention and control effect and economic and social impact. On this basis，the delphi method and analytic hierarchy process are used to screen the evaluation indexes，determine the index weight and form a perfect evaluation index system，in order to provides reference and reference for the later relevant evaluation institutions to carry out the evaluation of scientific and technological projects in the field of urban safety.

Key words：Urban safety；Project achievement evaluation；Evaluating indicator；Delphi method；Analytic hierarchy process