尹濤 饒旻

1. 江西省南昌市公安局 2. 北京海致網(wǎng)聚信息技術(shù)有限公司

引言

隨著國(guó)際國(guó)內(nèi)環(huán)境的不斷變化，治安防控信息化建設(shè)與應(yīng)用存在的短板和問題日益凸顯，主要表現(xiàn)在：一是大數(shù)據(jù)應(yīng)用意識(shí)不強(qiáng)，公安機(jī)關(guān)內(nèi)部，大數(shù)據(jù)、信息化思維不夠，利用科技信息化技術(shù)破解難題、提升水平的積極性和主動(dòng)性有待提高；二是缺乏大數(shù)據(jù)應(yīng)用支撐平臺(tái)，治安業(yè)務(wù)條線系統(tǒng)林立，傳統(tǒng)的“煙囪式”業(yè)務(wù)系統(tǒng)建設(shè)不利于開展跨系統(tǒng)數(shù)據(jù)融合與綜合應(yīng)用；三是治安數(shù)據(jù)治理體系不健全，治安要素基礎(chǔ)信息采集不全、底數(shù)不清，且未形成以人員、地址、物品、單位、案事件為主要內(nèi)容的治安數(shù)據(jù)知識(shí)體系；四是大數(shù)據(jù)應(yīng)用能力不足，不善于將積累的業(yè)務(wù)知識(shí)轉(zhuǎn)化為信息模型，對(duì)海量數(shù)據(jù)背后隱藏的客觀規(guī)律挖掘不夠。在此背景下，研究如何利用大數(shù)據(jù)手段，創(chuàng)新警務(wù)機(jī)制運(yùn)行模式，改進(jìn)和完善社會(huì)治安防控體系，進(jìn)一步適應(yīng)未來(lái)社會(huì)治安治理需要，顯得極為重要。

一、需求分析

大數(shù)據(jù)背景下，社會(huì)治安防控體系建設(shè)面臨著新的任務(wù)和要求，主要體現(xiàn)在以下幾個(gè)方面：

（一）數(shù)據(jù)整合匯聚的需求

需要匯聚公安檢查站、街面巡防、安防小區(qū)、娛樂場(chǎng)所、特種行業(yè)、內(nèi)保、地鐵、公交、危爆物品、大型活動(dòng)等業(yè)務(wù)數(shù)據(jù)，以及政務(wù)網(wǎng)、視頻專網(wǎng)提供的部分結(jié)構(gòu)化數(shù)據(jù)，從而形成社會(huì)治安防控?cái)?shù)據(jù)匯聚庫(kù)。

（二）數(shù)據(jù)加工治理的需求

在匯聚庫(kù)的基礎(chǔ)上，以現(xiàn)有數(shù)據(jù)治理為核心，融合至公安基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，重新形成內(nèi)容更為豐富的標(biāo)準(zhǔn)庫(kù)、專題庫(kù)、主題庫(kù)、標(biāo)簽庫(kù)以及業(yè)務(wù)庫(kù)，最終梳理形成治安要素庫(kù)。

（三）數(shù)據(jù)分析研判的需求

建設(shè)社會(huì)治安防控應(yīng)用支撐平臺(tái)，打造基于海量數(shù)據(jù)的快速建模、圖譜分析、可視化分析、地圖分析能力，并構(gòu)建一系列滿足治安管理需要的治安模型體系，以模型或者數(shù)據(jù)支撐的方式對(duì)外提供共享。

（四）數(shù)據(jù)綜合應(yīng)用的需求

結(jié)合社會(huì)治安防控業(yè)務(wù)，按照圈層管理、單元管理、要素管理的思路，打造一系列特色應(yīng)用，例如核心圈層管理、重點(diǎn)部位管理、智慧社區(qū)管理、新業(yè)態(tài)管控、重點(diǎn)人員管理、重點(diǎn)物品管理等，服務(wù)社會(huì)治安防控工作。

二、解決方案

通過(guò)視頻、人臉、卡口、電子圍欄、Wi-Fi熱點(diǎn)等前端感知設(shè)備的建設(shè)，全方位采集人、車、電、網(wǎng)、像等各類要素信息，為預(yù)警感知與精準(zhǔn)打擊提供強(qiáng)大的數(shù)據(jù)支撐；以大數(shù)據(jù)平臺(tái)為體系核心，強(qiáng)化各類數(shù)據(jù)資源的整合、匯聚、存儲(chǔ)、加工、分析與應(yīng)用，為社會(huì)治安防控提供數(shù)據(jù)支撐、計(jì)算支撐、模型支撐，通過(guò)對(duì)重點(diǎn)人員、車輛、物品、場(chǎng)所信息動(dòng)態(tài)掌握和深度分析，構(gòu)建支撐智慧公安的“最強(qiáng)大腦”，實(shí)現(xiàn)對(duì)城市社會(huì)面治安形勢(shì)全面掌握，更好地實(shí)現(xiàn)預(yù)防和減少犯罪的目標(biāo)。

（一）系統(tǒng)整體架構(gòu)

系統(tǒng)整體架構(gòu)分為IAAS、PAAS、DAAS和SAAS四層。IAAS為基礎(chǔ)設(shè)施層，包括硬件、網(wǎng)絡(luò)、安全管理等內(nèi)容；PAAS為平臺(tái)服務(wù)層，包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、API網(wǎng)關(guān)等內(nèi)容；DAAS為數(shù)據(jù)服務(wù)層，包括數(shù)據(jù)接入、清洗、加工、組織、對(duì)外服務(wù)等內(nèi)容；SAAS為應(yīng)用服務(wù)層，主要為治安防控的各類應(yīng)用。其中，數(shù)據(jù)層和應(yīng)用層為本平臺(tái)的核心。數(shù)據(jù)層又可細(xì)分為：

（1）數(shù)據(jù)匯聚子系統(tǒng)：數(shù)據(jù)匯聚子系統(tǒng)采集前端感知設(shè)備傳輸?shù)男畔?，通過(guò)統(tǒng)一的采集服務(wù)將數(shù)據(jù)接入到大數(shù)據(jù)支撐平臺(tái)，進(jìn)行后續(xù)的分析處理?；A(chǔ)網(wǎng)絡(luò)服務(wù)平臺(tái)可滿足各種數(shù)據(jù)接入，同時(shí)支持大量客戶端的并行處理。

（2）數(shù)據(jù)治理子系統(tǒng)：大數(shù)據(jù)清洗子系統(tǒng)負(fù)責(zé)數(shù)據(jù)清洗和規(guī)整，剔除無(wú)用、錯(cuò)誤和冗余的數(shù)據(jù)，保證數(shù)據(jù)的質(zhì)量。

（3）數(shù)據(jù)分析子系統(tǒng)：大數(shù)據(jù)計(jì)算是整個(gè)系統(tǒng)的核心，基于Mapruduce、Hadoop架構(gòu)的分布式存儲(chǔ)計(jì)算以及基于Flink流式計(jì)算可滿足不同的計(jì)算需求。

（4）數(shù)據(jù)共享服務(wù)子系統(tǒng)：統(tǒng)一消息服務(wù)子系統(tǒng)為各種綜合應(yīng)用提供服務(wù)接口，可滿足各種系統(tǒng)的接入查詢。

（二）大數(shù)據(jù)處理流程

首先是數(shù)據(jù)接入，前端感知設(shè)備采集的數(shù)據(jù)通過(guò)安全邊界發(fā)送到大數(shù)據(jù)支撐平臺(tái)采集主機(jī)，采集子系統(tǒng)將處理后的數(shù)據(jù)分別分發(fā)給批量同步服務(wù)和實(shí)時(shí)同步服務(wù)，利用Flume、Datax等技術(shù)將數(shù)據(jù)同步到大數(shù)據(jù)存儲(chǔ)/計(jì)算集群。

其次是數(shù)據(jù)管理，其中批量同步服務(wù)將數(shù)據(jù)存儲(chǔ)到Hive、Spark為主的離線存儲(chǔ)/計(jì)算集群主機(jī)，完成大規(guī)模數(shù)據(jù)集的大數(shù)據(jù)融合分析、標(biāo)準(zhǔn)化、指標(biāo)數(shù)據(jù)等的計(jì)算和存儲(chǔ)，包括基于大數(shù)據(jù)的治安態(tài)勢(shì)分析、交通態(tài)勢(shì)分析等。另一部分實(shí)時(shí)同步服務(wù)，將實(shí)時(shí)數(shù)據(jù)發(fā)給Kafka、Flink為主的實(shí)時(shí)消息隊(duì)列和計(jì)算集群主機(jī)，完成實(shí)時(shí)數(shù)據(jù)規(guī)整、清洗、標(biāo)準(zhǔn)化、規(guī)則引擎等的計(jì)算和處理。

之后是知識(shí)管理，經(jīng)過(guò)離線/實(shí)時(shí)的數(shù)據(jù)管理后，可以進(jìn)一步使用數(shù)據(jù)生產(chǎn)出上層業(yè)務(wù)所需的具有知識(shí)屬性的數(shù)據(jù)，并交給不同的在線存儲(chǔ)引擎完成存儲(chǔ)，如業(yè)務(wù)庫(kù)MPP、時(shí)空庫(kù)Geomesa、關(guān)系庫(kù)Janusgraph等分布式數(shù)據(jù)庫(kù)技術(shù)，之后能夠通過(guò)統(tǒng)一消息服務(wù)平臺(tái)將數(shù)據(jù)以服務(wù)和推送的形式提供給各應(yīng)用子系統(tǒng)。

三、實(shí)現(xiàn)功能

社會(huì)治安防控體系建設(shè)的核心內(nèi)容為大數(shù)據(jù)基礎(chǔ)支撐平臺(tái)、應(yīng)用支撐平臺(tái)和社會(huì)治安防控應(yīng)用，本文主要闡述前兩個(gè)平臺(tái)的內(nèi)容。

（一）大數(shù)據(jù)基礎(chǔ)支撐平臺(tái)

1. 數(shù)據(jù)接入?yún)R聚

數(shù)據(jù)接入?yún)R聚主要實(shí)現(xiàn)打破數(shù)據(jù)壁壘，適配多源異構(gòu)的數(shù)據(jù)源實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一輸出的目的。公安數(shù)據(jù)來(lái)源廣、格式不一、種類繁多。獲取方式上包括技術(shù)手段和管理手段獲取數(shù)據(jù)等“多源”數(shù)據(jù)；對(duì)接“異構(gòu)”系統(tǒng)，在數(shù)據(jù)結(jié)構(gòu)上，來(lái)源數(shù)據(jù)多種類型，如數(shù)據(jù)庫(kù)表、消息數(shù)據(jù)、文本文件、二進(jìn)制文件、加壓加密文件等。對(duì)接系統(tǒng)上，來(lái)源系統(tǒng)涉及文件系統(tǒng)、關(guān)系型或非關(guān)系型數(shù)據(jù)庫(kù)、消息中間件和FTP系統(tǒng)。通過(guò)構(gòu)建規(guī)范的數(shù)據(jù)接入流程，建立可適配的多源異構(gòu)數(shù)據(jù)接入模式，對(duì)接入進(jìn)行統(tǒng)一輸出，為數(shù)據(jù)處理做好前提準(zhǔn)備。用戶可通過(guò)頁(yè)面進(jìn)行數(shù)據(jù)源和任務(wù)的配置，管理任務(wù)狀態(tài)，提高了用戶友好性。主要利用的功能模塊包括：數(shù)據(jù)探查、數(shù)據(jù)定義、數(shù)據(jù)讀取、數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)對(duì)賬、數(shù)據(jù)質(zhì)量檢測(cè)、任務(wù)管理、數(shù)據(jù)源管理等。

2. 數(shù)據(jù)處理

數(shù)據(jù)處理具備對(duì)接入的多源異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理的能力。通過(guò)對(duì)接入的源數(shù)據(jù)按照數(shù)據(jù)標(biāo)準(zhǔn)的約定進(jìn)行提取、清洗、比對(duì)、關(guān)聯(lián)、打標(biāo)等規(guī)范化流程處理，以過(guò)濾掉業(yè)務(wù)不關(guān)心的數(shù)據(jù)，提高數(shù)據(jù)關(guān)聯(lián)度和業(yè)務(wù)緊密度，進(jìn)而提升數(shù)據(jù)價(jià)值密度，實(shí)現(xiàn)數(shù)據(jù)增值。

3. 數(shù)據(jù)治理

數(shù)據(jù)治理是數(shù)據(jù)接入、處理、組織、服務(wù)、應(yīng)用全生命周期的規(guī)劃設(shè)計(jì)、過(guò)程控制和質(zhì)量監(jiān)督，通過(guò)規(guī)范化的數(shù)據(jù)治理，可實(shí)現(xiàn)數(shù)據(jù)資源的透明、可管、可控，理清數(shù)據(jù)資產(chǎn)、完善數(shù)據(jù)標(biāo)準(zhǔn)落地、形成完整的數(shù)據(jù)資源目錄、規(guī)范數(shù)據(jù)處理流程、提升數(shù)據(jù)質(zhì)量、保障數(shù)據(jù)安全使用、促進(jìn)數(shù)據(jù)流通與價(jià)值提煉。數(shù)據(jù)治理的內(nèi)容如圖5所示。

4. 數(shù)據(jù)組織

按照大數(shù)據(jù)使用目的分類建庫(kù)的要求，對(duì)數(shù)據(jù)資源形成科學(xué)分類標(biāo)準(zhǔn)統(tǒng)一、流程規(guī)范組織方案，并滿足各業(yè)務(wù)部門業(yè)務(wù)專題數(shù)據(jù)落地建庫(kù)需求，支持?jǐn)?shù)據(jù)分級(jí)分類的機(jī)制以及數(shù)據(jù)使用的優(yōu)先級(jí)策略?？紤]將數(shù)據(jù)從來(lái)源逐級(jí)提煉，形成分層存儲(chǔ)、全局管理和使用的數(shù)據(jù)組織，主要包括數(shù)據(jù)控制分布、創(chuàng)建表與數(shù)據(jù)老化、PaaS庫(kù)定義、平臺(tái)庫(kù)定義、多維數(shù)據(jù)展示等關(guān)鍵功能，支撐原始庫(kù)、資源庫(kù)、主題庫(kù)、知識(shí)庫(kù)、業(yè)務(wù)庫(kù)等。通過(guò)這類模型將數(shù)據(jù)進(jìn)行組織，達(dá)到數(shù)據(jù)融合和知識(shí)沉淀的目的，具體詳細(xì)的數(shù)據(jù)組織架構(gòu)如圖6所示。

5. 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)是指各類數(shù)據(jù)資源對(duì)外提供的數(shù)據(jù)訪問和管理能力。對(duì)應(yīng)服務(wù)涵蓋的數(shù)據(jù)范圍包含原始庫(kù)、資源庫(kù)、主題庫(kù)、業(yè)務(wù)庫(kù)、知識(shí)庫(kù)以及元數(shù)據(jù)、數(shù)據(jù)資源目錄等。數(shù)據(jù)服務(wù)可分為查詢檢索服務(wù)、比對(duì)訂閱服務(wù)、模型分析服務(wù)、數(shù)據(jù)推送服務(wù)、數(shù)據(jù)鑒權(quán)服務(wù)、數(shù)據(jù)操作服務(wù)、數(shù)據(jù)管理服務(wù)等，并支持跨網(wǎng)跨域的服務(wù)能力。

（二）應(yīng)用支撐平臺(tái)

應(yīng)用支撐引擎包括：數(shù)據(jù)模型構(gòu)建引擎、多維可視分析體引擎、數(shù)據(jù)精準(zhǔn)推送引擎、業(yè)務(wù)大屏應(yīng)用引擎、精細(xì)化地圖服務(wù)引擎，以及流程管理配置引擎。

1. 數(shù)據(jù)模型構(gòu)建引擎

提供靈活可配置的數(shù)據(jù)建模界面，用戶可以使用拖拉拽方式快速完成復(fù)雜的數(shù)據(jù)建模。通過(guò)基于表的關(guān)聯(lián)挖掘建模進(jìn)行自由組合，減少數(shù)據(jù)建模過(guò)程中的斷點(diǎn)操作，保證用戶在數(shù)據(jù)建模過(guò)程中的連貫性。

2. 多維可視分析引擎

提供自助式多維數(shù)據(jù)可視化分析展示環(huán)境，不再高度依賴于計(jì)算機(jī)和數(shù)據(jù)專家，自助式構(gòu)建研判分析多維透視數(shù)據(jù)體系，構(gòu)建全面數(shù)據(jù)驅(qū)動(dòng)的規(guī)模應(yīng)用并進(jìn)行研判經(jīng)驗(yàn)共享和知識(shí)積累。

3. 數(shù)據(jù)精準(zhǔn)推送引擎

以推送引擎和數(shù)據(jù)算法為載體，以精準(zhǔn)推送為目標(biāo)，串聯(lián)數(shù)據(jù)和各業(yè)務(wù)應(yīng)用系統(tǒng)，形成精準(zhǔn)數(shù)據(jù)推送體系。將各渠道構(gòu)建的各類模型計(jì)算結(jié)果或預(yù)警信息，推送到各級(jí)流程管理平臺(tái)中下發(fā)、核查、反饋。

4. 業(yè)務(wù)大屏應(yīng)用引擎

隨著數(shù)據(jù)感知體系的不斷完善，如何有效將分析結(jié)果進(jìn)行整體、美觀的呈現(xiàn)，讓信息接受者既能夠掌握全局，也能夠洞察微觀，實(shí)現(xiàn)數(shù)據(jù)“一屏”可視應(yīng)用，更加直觀地將數(shù)據(jù)結(jié)果進(jìn)行呈現(xiàn)。

5. 精細(xì)化地圖服務(wù)引擎

提供基礎(chǔ)地圖服務(wù)支撐，在基礎(chǔ)地圖數(shù)據(jù)（行政區(qū)、水系、道路、樓塊街區(qū)）基礎(chǔ)上，添加城市自有的治安相關(guān)數(shù)據(jù)、更細(xì)粒度的城市建筑物（AOI、樓棟）數(shù)據(jù)等。

6. 流程管理配置引擎

通過(guò)流程管理配置引擎可以快速實(shí)現(xiàn)工作流程的快速搭建、應(yīng)用搭建、應(yīng)用發(fā)布以及數(shù)據(jù)采集工作。

四、應(yīng)用效果

XX市公安局通過(guò)統(tǒng)一大數(shù)據(jù)平臺(tái)的建設(shè)，建立起支撐全市各警種、各部門的大數(shù)據(jù)服務(wù)能力，圍繞治安防控實(shí)戰(zhàn)需求，搭建了面向人員管控、車輛管理、場(chǎng)所管理、指揮調(diào)度、應(yīng)急處突、政務(wù)服務(wù)等業(yè)務(wù)應(yīng)用20余個(gè)，研發(fā)重點(diǎn)人員管控、掃黑除惡、重大安保管控等實(shí)戰(zhàn)應(yīng)用模型100余個(gè)，配合移動(dòng)警務(wù)終端，開發(fā)信息采集、人車核驗(yàn)、現(xiàn)場(chǎng)勘驗(yàn)、信息預(yù)警等應(yīng)用工具40余個(gè)，有效支撐了大數(shù)據(jù)條件下精準(zhǔn)“打、防、管、控”警務(wù)運(yùn)行機(jī)制的建設(shè)。通過(guò)智慧小區(qū)、智慧檢查站的建設(shè)，進(jìn)一步完善了社會(huì)治安防控體系等圈層建設(shè)，提高社會(huì)治安形勢(shì)的駕馭能力。2019年，XX市全年治安警情數(shù)量下降21%，刑事警情數(shù)量下降38%，八類案件數(shù)量下降32%，盜搶騙數(shù)量下降29%，電信網(wǎng)絡(luò)詐騙立案數(shù)與涉案損失金額均實(shí)現(xiàn)大幅下降，破案數(shù)與追贓挽損金額實(shí)現(xiàn)顯著上升，現(xiàn)行命案破案率達(dá)到100%。

五、結(jié)語(yǔ)

隨著世界多極化、經(jīng)濟(jì)全球化、文化多元化、社會(huì)信息化深入發(fā)展，經(jīng)濟(jì)社會(huì)形勢(shì)發(fā)生了新的深刻變化，新型違法犯罪打擊難度不斷增加，新業(yè)態(tài)管控任務(wù)逐漸加劇。利用大數(shù)據(jù)技術(shù)推動(dòng)傳統(tǒng)警務(wù)模式向現(xiàn)代警務(wù)模式的轉(zhuǎn)變，是社會(huì)治安防控建設(shè)變革的必由之路。