經(jīng)驗人：于寶剛

公安應(yīng)用創(chuàng)新項目成果評價指標(biāo)體系研究

經(jīng)驗人：于寶剛

開展公安應(yīng)用創(chuàng)新項目成果評價是一項重要的科研管理工作。結(jié)合公安應(yīng)用創(chuàng)新項目特點(diǎn)，依據(jù)成果評價指標(biāo)體系的構(gòu)建原則，結(jié)合文獻(xiàn)調(diào)研和專家咨詢，構(gòu)建了一套由5個一級指標(biāo)、17個二級指標(biāo)組成的成果評價指標(biāo)體系。利用層次分析法計算了各級指標(biāo)的權(quán)重，建立了基于加權(quán)平均求和法的公安應(yīng)用創(chuàng)新項目成果評價方法。

多年來，為適應(yīng)國家科技體制改革和公安工作改革形勢，公安科技管理部門及時調(diào)整、出臺相應(yīng)的科技管理政策，有效地推動了公安科技的不斷發(fā)展和進(jìn)步。但是，在公安科技項目管理過程中，我們發(fā)現(xiàn)公安應(yīng)用創(chuàng)新項目存在著較為突出的問題，即項目成果的創(chuàng)新程度不夠高、實用性不夠強(qiáng)。應(yīng)用創(chuàng)新計劃項目的關(guān)鍵是應(yīng)用與創(chuàng)新。反思現(xiàn)階段的應(yīng)用創(chuàng)新項目結(jié)題驗收后，不排除部分項目成果因社會、技術(shù)、經(jīng)濟(jì)等因素限制影響了推廣轉(zhuǎn)化而被束之高閣，但還是有大部分的成果屬于落后研究，或者是實用價值不大，甚至是重復(fù)研究。項目成果評價工作遇到了新的問題，產(chǎn)生了新的挑戰(zhàn)。因此，通過構(gòu)建一套較為系統(tǒng)科學(xué)的項目成果評價指標(biāo)體系，提高項目管理的規(guī)范性，推動項目成果的應(yīng)用性和創(chuàng)新性，已成為一項亟需開展的工作。

設(shè)計指標(biāo)遵循的原則

公安應(yīng)用創(chuàng)新項目特點(diǎn)鮮明，強(qiáng)調(diào)成果應(yīng)用實際效果，主要開展應(yīng)用技術(shù)研究和實用產(chǎn)品裝備研發(fā)，為提升公安科技創(chuàng)新能力提供科技支撐。設(shè)計指標(biāo)體系是項目成果評價工作中的一項基礎(chǔ)而又關(guān)鍵的工作，但要確立一套能全面、準(zhǔn)確地反映研究成果技術(shù)水平的指標(biāo)體系，是一項十分復(fù)雜和因難的工程。因此，研究設(shè)計項目成果評價指標(biāo)體系時應(yīng)該遵循導(dǎo)向性、科學(xué)性、系統(tǒng)性、獨(dú)立性、可對比性、簡明可行性等6項原則。

構(gòu)建評價指標(biāo)體系

以“應(yīng)用成果評價”、“技術(shù)成果評價”、“成果評價指標(biāo)”為主題對同方知網(wǎng)的期刊、學(xué)位論文進(jìn)行檢索。通過檢索，共檢索到與應(yīng)用類成果評價指標(biāo)體系密切相關(guān)的文獻(xiàn)有40余篇。通過拆分、合并，共抽取出20余項評價指標(biāo)，如科學(xué)性、創(chuàng)新性、先進(jìn)性、技術(shù)重現(xiàn)性和成熟度、技術(shù)難度和復(fù)雜程度、經(jīng)濟(jì)效益、社會效益、推廣前景、推動科技進(jìn)步的作用、技術(shù)文件、知識產(chǎn)權(quán)狀態(tài)、論文引用評價、成果風(fēng)險評價、技術(shù)壁壘評價等。

公安應(yīng)用創(chuàng)新項目成果是指為落實科技強(qiáng)警戰(zhàn)略、提高公安科技研發(fā)能力和實戰(zhàn)科技應(yīng)用水平、促進(jìn)公安事業(yè)繁榮發(fā)展，針對公安業(yè)務(wù)實戰(zhàn)需求，按照突出重點(diǎn)、貼近基層、聚焦實戰(zhàn)、快速見效的原則，開展新型使用產(chǎn)品、軟件系統(tǒng)開發(fā)及應(yīng)用技術(shù)方法等應(yīng)用性創(chuàng)新技術(shù)而研發(fā)的具有實用價值的成果。根據(jù)定義，依據(jù)設(shè)計指標(biāo)體系應(yīng)遵循的基本原則，我們對公安應(yīng)用創(chuàng)新項目成果運(yùn)用系統(tǒng)論的觀點(diǎn)進(jìn)行系統(tǒng)分析，分別就上述評價指標(biāo)進(jìn)行預(yù)選，并咨詢多名從事科研管理的專家，不斷地進(jìn)行修正完善，對指標(biāo)做了進(jìn)一步的篩選，剔除了一些重復(fù)、大部分相關(guān)或鑒別力不強(qiáng)的指標(biāo)，最終構(gòu)建了公安應(yīng)用創(chuàng)新項目成果評價指標(biāo)體系，共計5個一級指標(biāo)、17個二級指標(biāo)。（表1）。

表1　公安應(yīng)用創(chuàng)新項目成果評價指標(biāo)體系

計算指標(biāo)權(quán)重

層次分析法（AHP）

層次分析法（analytic hierarchy process， AHP）是一種把復(fù)雜問題分解成若干因素，按照因素屬性的不同將其分組形成有序的遞階層次結(jié)構(gòu)的方法。采用1～9的比例標(biāo)度，通過兩兩比較判斷，區(qū)分確定層次中各因素的相對重要性，構(gòu)造判斷矩陣，計算各因素的相應(yīng)權(quán)重。層次分析法是一種運(yùn)用定量與定性相結(jié)合，將人的主觀判斷用定量形式表達(dá)和處理的方法，改變了長久以來決策者與決策分析者之間難以溝通的現(xiàn)狀，有效提高了決策的可信性、有效性和可行性。AHP的基本步驟為：明確問題并確定目標(biāo)，根據(jù)因素屬性不同確定因素間關(guān)系，建立遞階層次結(jié)構(gòu)；對于某一層次因素下一層次的所有因素的重要性進(jìn)行兩兩比較，構(gòu)造兩兩比較判斷矩陣；根據(jù)兩兩比較判斷矩陣計算被比較因素的相對權(quán)重，即進(jìn)行層次單排序，并對判斷矩陣進(jìn)行一致性檢驗。

（1）構(gòu)造遞階層次結(jié)構(gòu)

將消防部隊?wèi)?yīng)急救援能力綜合評估指標(biāo)體系分三層，第一層A為基層消防部隊?wèi)?yīng)急救援能力即總目標(biāo)，第二層B包括應(yīng)急救援人員、應(yīng)急救援器材裝備、應(yīng)急組織管理和應(yīng)急救援保障四個子系統(tǒng)，第三層C即每個子系統(tǒng)下面的若干個子指標(biāo)項。

（2）構(gòu)造判斷矩陣

假定A層中Ak因素與下一層B1，B2，……，Bn因素有關(guān)聯(lián)，則可構(gòu)造2所示的判斷矩陣：

表2　判斷矩陣

表2中，bij是相對Ak而言，用Bi對Bj相對重要性的數(shù)值來表示，通常bij取1，2，3，…，9及其倒數(shù)，其標(biāo)度含義如表3所示：

表3　9標(biāo)度含義

（4）判斷矩陣的一致性檢驗

（3）單層指標(biāo)權(quán)重的確定

表4　平均隨機(jī)一致性指標(biāo)RI的數(shù)值

（5）計算系統(tǒng)目標(biāo)的合成權(quán)重

確定同一層次上不同因素對總目標(biāo)的相對重要性的權(quán)值排序稱為層次總排序，這一過程是由最高層次到最低層次逐層進(jìn)行的。層次總排序完成后，仍舊需要進(jìn)行與單排序類似的一致性檢驗，當(dāng)層次總排序隨機(jī)一致性比率時，認(rèn)為層次總排序結(jié)果具有滿意的一致性，否則需要重新調(diào)整判斷矩陣的元素取值。

若上一層A包含m個A1，A2，…，Am因素，層次總排序的權(quán)值分別為a1，a2，…am，下一層B包含n個B1，B2，…，Bn因素，它們對于Ai因素的層次單排序的權(quán)值分別為b1i，b2i，…，bni（當(dāng)Bk與Ai無聯(lián)系時，則bki=0），此時B層次總排序的權(quán)值依據(jù)公式

當(dāng)層次評價指標(biāo)權(quán)重計算

利用層次分析法計算指標(biāo)的權(quán)重。通過參閱部分成果評價方面的相關(guān)文獻(xiàn)，咨詢一部分熟悉成果評價工作的專家，構(gòu)造了一、二級指標(biāo)判斷矩陣并計算了各指標(biāo)權(quán)重（表5～10）

表5　公安應(yīng)用創(chuàng)新項目成果評價一級指標(biāo)判斷矩陣及權(quán)重

表6　公安應(yīng)用創(chuàng)新項目成果科學(xué)性二級指標(biāo)判斷矩陣及權(quán)重

表7　公安應(yīng)用創(chuàng)新項目成果先進(jìn)性與創(chuàng)新性二級指標(biāo)判斷矩陣及權(quán)重

表8　公安應(yīng)用創(chuàng)新項目成果難度與工作量二級指標(biāo)判斷矩陣及權(quán)重

表9　公安應(yīng)用創(chuàng)新項目成果成熟度與適用性二級指標(biāo)判斷矩陣及權(quán)重

表10　公安應(yīng)用創(chuàng)新項目成果社會效益與經(jīng)濟(jì)效益二級指標(biāo)判斷矩陣及權(quán)重

評價指標(biāo)合成權(quán)重計算

相對總目標(biāo)A的權(quán)重是根據(jù)每個指標(biāo)相對上一層次對應(yīng)因素的權(quán)重值，通過層次總排序計算其相對于總目標(biāo)的權(quán)重值。各層次指標(biāo)相對于總目標(biāo)的權(quán)重值如表11所示。

表11　公安應(yīng)用創(chuàng)新項目成果評價指標(biāo)體系各指標(biāo)權(quán)重

項目成果綜合評價價值計算方法

采用加權(quán)平均求和法計算項目成果評價值，方法如下：

為了成果評價的客觀性，可以對每個二級評價指標(biāo)劃分評價等級，采用“百分制”，每個等級制定相應(yīng)的評分標(biāo)準(zhǔn)。評價專家首先根據(jù)指標(biāo)評分標(biāo)準(zhǔn)對二級指標(biāo)打分，根據(jù)公式（其中，F(xiàn)是某專家給被評價成果的評分，Xi是該專家根據(jù)指標(biāo)評分標(biāo)準(zhǔn)對某項指標(biāo)的具體評分，Wi是該項指標(biāo)的權(quán)重）計算得出各二級指標(biāo)的得分，加權(quán)求和后就是該成果的總得分。

結(jié)語

（1）在文獻(xiàn)調(diào)研和專家咨詢的基礎(chǔ)上，結(jié)合公安應(yīng)用創(chuàng)新項目特點(diǎn)，建立了一套較為科學(xué)合理的項目成果評價指標(biāo)體系，運(yùn)用層次分析法計算了各指標(biāo)的權(quán)重，采用加權(quán)平均求和法可以計算出項目成果的評價值，建立了定性評價與定量評價相結(jié)合的項目成果評價方式。

（2）項目成果評價工作是一項比較復(fù)雜的系統(tǒng)工程，涉及較多的影響因素，構(gòu)建的項目成果評價指標(biāo)體系，無論是一級指標(biāo)還是二級指標(biāo)，均需要通過實踐運(yùn)用進(jìn)一步修改和完善，以便更加符合公安科技工作的實際。

10.3969/j.issn.1001-8972.2015.15.056