金山 邵之一 陳曉珊 裘誠

摘? 要： 評審專家作為評審環(huán)節(jié)的關(guān)鍵核心要素，很大程度上影響著評審結(jié)果的可行性和可信度，其評審水平直接影響著項(xiàng)目決策的科學(xué)性。文章研究了專家評審的監(jiān)測及行為智能分析技術(shù)。以科技項(xiàng)目評審為重心，以系統(tǒng)監(jiān)控及網(wǎng)絡(luò)監(jiān)視技術(shù)、大數(shù)據(jù)分析挖掘技術(shù)以及層次分析法等技術(shù)為基礎(chǔ)，對專家的評審行為進(jìn)行全程監(jiān)測，對采集的監(jiān)測數(shù)據(jù)進(jìn)行實(shí)時智能分析，針對專家不規(guī)范操作進(jìn)行智能提醒。

關(guān)鍵詞： 評審專家; 系統(tǒng)監(jiān)測; 智能分析; 項(xiàng)目決策

中圖分類號：TP315? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2021）05-13-03

Research on the monitoring and behavior intelligent analysis of

the science and technology project reviewing

Jin Shan， Shao Zhiyi， Chen Xiaoshan， Qiu Cheng

（Zhejiang Topcheer Information Technology Co.，Ltd.， Hangzhou， Zhejiang 310006， China）

Abstract： Review experts as the key core elements of the review process， greatly affect the feasibility and credibility of the review results， their ability of reviewing directly affects the scientificity of project decision. This paper studies the technologies for monitoring and behavior intelligence analyzing of expert review. Focusing on the science and technology project reviewing， based on the technologies of system monitoring and network monitoring， big data analysis and mining， and analytic hierarchy process， and the other technologies， fully monitor the review behavior of experts， conduct real-time intelligent analysis of the collected monitoring data， and intelligently remind the experts of their non-standard operation.

Key words： review expert; system monitoring; intelligent analysis; project decision

0 引言

隨著科學(xué)技術(shù)的持續(xù)發(fā)展和社會的不斷進(jìn)步，各類科學(xué)技術(shù)研究項(xiàng)目的申報(bào)數(shù)量也越來越多。科技項(xiàng)目評審是科技計(jì)劃管理的重要環(huán)節(jié)之一，是推動科技事業(yè)持續(xù)健康發(fā)展，促進(jìn)科技資源優(yōu)化配置，提高科技管理水平的重要手段[1]。如何利用信息化手段來避免部分專家在評審過程中的隨意性、盲目性，發(fā)揮專家的專業(yè)性是很關(guān)鍵的?？萍忌陥?bào)項(xiàng)目既要考慮其管理效率又要保證公平評審是目前科技管理部門遇到的管理難點(diǎn)。

本文提出一種在科技項(xiàng)目評審過程中的監(jiān)測及行為智能分析的方法，其通過對專家的評審行為進(jìn)行全程監(jiān)測，全面分析專家評審行為，建立評審專家行為畫像技術(shù)指標(biāo)體系和評估模型，對評審專家進(jìn)行反評估，之后將指標(biāo)體系和評估模型應(yīng)用于系統(tǒng)中，規(guī)范專家評審行為、發(fā)揮專家專業(yè)性，保證科技項(xiàng)目評審過程的客觀、公平、公正、公開，為決策者提供更科學(xué)、精準(zhǔn)的評審結(jié)果及決策依據(jù)。

1 Zabbix介紹

Zabbix是一個基于Web界面的提供分布式系統(tǒng)監(jiān)視以及網(wǎng)絡(luò)監(jiān)視功能的企業(yè)級的開源解決方案。Zabbix能監(jiān)視各種網(wǎng)絡(luò)參數(shù)，保證服務(wù)器系統(tǒng)的安全運(yùn)營;并提供靈活的通知機(jī)制以讓系統(tǒng)管理員快速定位/解決存在的各種問題。Zabbix由兩部分構(gòu)成，zabbix server與可選組件zabbix agent。Zabbix server可以通過SNMP，zabbix agent，ping，端口監(jiān)視等方法提供對遠(yuǎn)程服務(wù)器/網(wǎng)絡(luò)狀態(tài)的監(jiān)視以及數(shù)據(jù)收集等功能，它可以運(yùn)行在Linux，Solaris，HP-UX，AIX，F(xiàn)ree BSD，Open BSD，OS X等平臺上。

本文所實(shí)現(xiàn)指標(biāo)體系及評估模型通過Zabbix在項(xiàng)目里對專家評審時的操作動作進(jìn)行記錄和監(jiān)測。

2 RapidMiner介紹

RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，具有豐富數(shù)據(jù)挖掘分析和算法功能，常用于解決各種的商業(yè)關(guān)鍵問題，如營銷響應(yīng)率、客戶細(xì)分、客戶忠誠度及終身價(jià)值、資產(chǎn)維護(hù)、資源規(guī)劃、預(yù)測性維修、質(zhì)量管理、社交媒體監(jiān)測和情感分析等典型商業(yè)案例。

擁有以下產(chǎn)品特點(diǎn)。

⑴ 拖拽建模，自帶1500多個函數(shù)，無需編程，同時支持各常見語言代碼編寫。

⑵ 數(shù)據(jù)提取、轉(zhuǎn)換和加載（ETL）功能。

⑶ 生成和導(dǎo)出數(shù)據(jù)、報(bào)告和可視化。

⑷ 為技術(shù)性和非技術(shù)性用戶設(shè)計(jì)的交互式界面。

⑸ 通過WebServices應(yīng)用將分析流程整合到現(xiàn)有工作流程中。

本文利用RapidMiner大數(shù)據(jù)分析挖掘算法關(guān)鍵技術(shù)，結(jié)合科技評審管理方法，通過評審項(xiàng)目全過程的需求分析，提煉并整合出適合系統(tǒng)的算法模型。

3 層次分析法

層次分析法（The analytic hierarchy process）簡稱AHP，在20世紀(jì)70年代中期由美國運(yùn)籌學(xué)家托馬斯·塞蒂（T.L.saaty）正式提出。它是一種分析多目標(biāo)、多準(zhǔn)則量化、將人腦分析方案的過程數(shù)學(xué)化、定性與定量相結(jié)合的系統(tǒng)分析方法。其原理是把復(fù)雜的問題分解為n個組成元素，將這些因素按支配關(guān)系分組，以形成有序的階梯層次結(jié)構(gòu)。最簡單的是頂中低三層，頂層通常是決策的目標(biāo)和目的，是唯一的。底層是可供選擇的不同方案，中層是分析評價(jià)影響方案好壞的因素[2]，然后通過兩兩比較的方法確定各因素的相對重要性。

AHP法的基本思路是：首先找出目標(biāo)問題涉及的主要因素，將這些按其關(guān)聯(lián)、隸屬關(guān)系構(gòu)成遞階層次模型[3]，然后在每一層次按照某一規(guī)定準(zhǔn)則，對該層要素進(jìn)行逐對相對重要性比較建立判斷矩陣，通過計(jì)算來判斷矩陣的最大特征值和對應(yīng)的正交化特征向量，得出該層要素對于該準(zhǔn)則的權(quán)重;最后在這個基礎(chǔ)上計(jì)算出各層次要素對總體目標(biāo)的組合權(quán)重，從而得出不同設(shè)計(jì)方案的權(quán)值，為選擇最優(yōu)方案提供依據(jù)。

本文基于層次分析法構(gòu)建了專家評審行為評估模型，為專家?guī)旃芾韺?shí)現(xiàn)公開透明、績效導(dǎo)向、動態(tài)調(diào)整提供科學(xué)有效的管理工具。

4 技術(shù)先進(jìn)性

4.1 隨機(jī)雙盲專家遴選系統(tǒng)

評審系統(tǒng)采用全程無人值守的方式運(yùn)作，只需要提前設(shè)定好需要的專家數(shù)和要求，系統(tǒng)就會自動對統(tǒng)一批次的項(xiàng)目進(jìn)行自動分組，自動匹配專家（專業(yè)、項(xiàng)目經(jīng)歷）、隨機(jī)抽取（自動規(guī)避項(xiàng)目相關(guān)的專家及單位）、自動確認(rèn)并開啟項(xiàng)目評審，自動分發(fā)賬號，自動增補(bǔ)替代未及時到位的專家和臨時自主規(guī)避的專家，已應(yīng)用于項(xiàng)目評審過程中。

4.2 智能推薦

對申報(bào)項(xiàng)目、評審專家進(jìn)行大數(shù)據(jù)分析，比較項(xiàng)目的相似度，按照相似度排序，提醒項(xiàng)目審核人員進(jìn)行決策判斷。在評審專家智能推薦環(huán)節(jié)，根據(jù)專家參加評審項(xiàng)目類型的相似度進(jìn)行智能匹配推薦。

5 功能介紹

系統(tǒng)根據(jù)國家互聯(lián)互通標(biāo)準(zhǔn)建立專家?guī)旒軜?gòu)，并為各類型項(xiàng)目設(shè)立不同類別的子庫來適應(yīng)各類計(jì)劃項(xiàng)目的評審工作;通過系統(tǒng)構(gòu)建的專家與技術(shù)領(lǐng)域、專家與企業(yè)等關(guān)系模型，提高專家抽取的精準(zhǔn)匹配度，降低專家廉政風(fēng)險(xiǎn)。

5.1 專家評審配置和抽取

當(dāng)抽取專家參與評審時，可設(shè)定對應(yīng)的抽取條件，管理員只需要設(shè)定評審相關(guān)參數(shù)即可自動對統(tǒng)一批次的項(xiàng)目進(jìn)行自動分組。

系統(tǒng)會根據(jù)預(yù)設(shè)的模式自動通知合適的專家，確認(rèn)專家是否能來參加，在專家到齊后自動開啟評審并發(fā)放賬號，在專家數(shù)不夠時自動增補(bǔ)專家，并在專家主動回避時自動替換專家。抽取過程中，全程自動處理，避免人工干預(yù)。

在選擇專家評審模式后，可配置短信模板，可針對不同情況配置短信模板。當(dāng)評審結(jié)果為平票時，本系統(tǒng)還支持多輪評審，直至票選出最優(yōu)項(xiàng)目。

5.2 后臺監(jiān)控進(jìn)度

采用系統(tǒng)監(jiān)控及網(wǎng)絡(luò)監(jiān)視技術(shù)，管理員可以通過后臺監(jiān)控模塊對專家評審結(jié)果進(jìn)行實(shí)時的監(jiān)控分析，包括現(xiàn)場評審監(jiān)控，監(jiān)管專家實(shí)際登錄及評審進(jìn)度等情況，如圖1所示。該界面顯示所有在評項(xiàng)目，支持對單個項(xiàng)目的狀態(tài)監(jiān)控，在屏蔽掉專家基礎(chǔ)信息后僅顯示評審的進(jìn)度，保護(hù)了在評專家的隱私信息。

5.3 導(dǎo)出專家評審結(jié)果

在專家完成評審后，可將評審結(jié)果導(dǎo)出并發(fā)送至上級單位進(jìn)行驗(yàn)證，在發(fā)送結(jié)果的同時，可將該信息通過短信通知上級單位。

5.4 專家信用評價(jià)

專家在項(xiàng)目管理過程中缺乏專家進(jìn)行評價(jià)的重要依據(jù)，在評審過程中對專家的評審行為進(jìn)行全程監(jiān)測，依據(jù)專家在評審時的評審意見、評審時長、評審分?jǐn)?shù)等，對專家評審行為做出統(tǒng)計(jì)，進(jìn)而進(jìn)行信用評價(jià)，統(tǒng)計(jì)圖表如圖2所示。系統(tǒng)錄入專家響應(yīng)的評價(jià)等級、失信行為程度、具體失信行為、信用記錄原因等因素，采用層次分析法的方式構(gòu)建專家評審行為評估模型，對評審專家行為特征進(jìn)行智能分析，針對專家不規(guī)范操作進(jìn)行智能提醒，限制信用等級低的專家的評審資格。

6 結(jié)束語

專家評審是科技項(xiàng)目管理工作的重要組成部分，科學(xué)合理的評審，有利于科技資源的優(yōu)化配置，提升科技工作者的積極性，提高科技管理水平。因此，需要加強(qiáng)專家評審過程中的過程監(jiān)測。本文結(jié)合系統(tǒng)監(jiān)控及網(wǎng)絡(luò)監(jiān)視技術(shù)、大數(shù)據(jù)分析挖掘技術(shù)以及層次分析法等技術(shù)，對評審專家評審過程進(jìn)行監(jiān)測，對行為特征進(jìn)行智能分析，對評審專家進(jìn)行反評估，針對專家不規(guī)范操作進(jìn)行智能提醒，為專家評審行為和評審專家?guī)斓囊?guī)范和優(yōu)化提供參考依據(jù)，進(jìn)而提高科技項(xiàng)目評審質(zhì)量。基于上述研究成果實(shí)現(xiàn)了科技項(xiàng)目評審監(jiān)測及行為智能分析系統(tǒng)，項(xiàng)目成功推廣應(yīng)用到多個省市自治區(qū)科技項(xiàng)目管理系統(tǒng)中，成效結(jié)果表明，專家推薦結(jié)果是比較合理和準(zhǔn)確的，驗(yàn)證了本文提出的專家評審行為評估模型是可行的和有效的。

參考文獻(xiàn)（References）：

[1] 郭曉巖，邵武杰.科技評價(jià)是提高科技管理水平的重要手段[J].中國科技成果，2006.8：26-27，36

[2] 王麗玫.層次分析法在系統(tǒng)評價(jià)方法中的應(yīng)用[J].煤，2001.1.

[3] 吳殿廷，李東方.層次分析法的不足及其改進(jìn)的途徑[J].北京師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2004.40（2）：264-268