尹濤 饒旻

1. 江西省南昌市公安局 2. 北京海致網(wǎng)聚信息技術(shù)有限公司

引言

隨著國際國內(nèi)環(huán)境的不斷變化，治安防控信息化建設(shè)與應(yīng)用存在的短板和問題日益凸顯，主要表現(xiàn)在：一是大數(shù)據(jù)應(yīng)用意識不強，公安機關(guān)內(nèi)部，大數(shù)據(jù)、信息化思維不夠，利用科技信息化技術(shù)破解難題、提升水平的積極性和主動性有待提高；二是缺乏大數(shù)據(jù)應(yīng)用支撐平臺，治安業(yè)務(wù)條線系統(tǒng)林立，傳統(tǒng)的“煙囪式”業(yè)務(wù)系統(tǒng)建設(shè)不利于開展跨系統(tǒng)數(shù)據(jù)融合與綜合應(yīng)用；三是治安數(shù)據(jù)治理體系不健全，治安要素基礎(chǔ)信息采集不全、底數(shù)不清，且未形成以人員、地址、物品、單位、案事件為主要內(nèi)容的治安數(shù)據(jù)知識體系；四是大數(shù)據(jù)應(yīng)用能力不足，不善于將積累的業(yè)務(wù)知識轉(zhuǎn)化為信息模型，對海量數(shù)據(jù)背后隱藏的客觀規(guī)律挖掘不夠。在此背景下，研究如何利用大數(shù)據(jù)手段，創(chuàng)新警務(wù)機制運行模式，改進和完善社會治安防控體系，進一步適應(yīng)未來社會治安治理需要，顯得極為重要。

一、需求分析

大數(shù)據(jù)背景下，社會治安防控體系建設(shè)面臨著新的任務(wù)和要求，主要體現(xiàn)在以下幾個方面：

（一）數(shù)據(jù)整合匯聚的需求

需要匯聚公安檢查站、街面巡防、安防小區(qū)、娛樂場所、特種行業(yè)、內(nèi)保、地鐵、公交、危爆物品、大型活動等業(yè)務(wù)數(shù)據(jù)，以及政務(wù)網(wǎng)、視頻專網(wǎng)提供的部分結(jié)構(gòu)化數(shù)據(jù)，從而形成社會治安防控數(shù)據(jù)匯聚庫。

（二）數(shù)據(jù)加工治理的需求

在匯聚庫的基礎(chǔ)上，以現(xiàn)有數(shù)據(jù)治理為核心，融合至公安基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，重新形成內(nèi)容更為豐富的標準庫、專題庫、主題庫、標簽庫以及業(yè)務(wù)庫，最終梳理形成治安要素庫。

（三）數(shù)據(jù)分析研判的需求

建設(shè)社會治安防控應(yīng)用支撐平臺，打造基于海量數(shù)據(jù)的快速建模、圖譜分析、可視化分析、地圖分析能力，并構(gòu)建一系列滿足治安管理需要的治安模型體系，以模型或者數(shù)據(jù)支撐的方式對外提供共享。

（四）數(shù)據(jù)綜合應(yīng)用的需求

結(jié)合社會治安防控業(yè)務(wù)，按照圈層管理、單元管理、要素管理的思路，打造一系列特色應(yīng)用，例如核心圈層管理、重點部位管理、智慧社區(qū)管理、新業(yè)態(tài)管控、重點人員管理、重點物品管理等，服務(wù)社會治安防控工作。

二、解決方案

通過視頻、人臉、卡口、電子圍欄、Wi-Fi熱點等前端感知設(shè)備的建設(shè)，全方位采集人、車、電、網(wǎng)、像等各類要素信息，為預(yù)警感知與精準打擊提供強大的數(shù)據(jù)支撐；以大數(shù)據(jù)平臺為體系核心，強化各類數(shù)據(jù)資源的整合、匯聚、存儲、加工、分析與應(yīng)用，為社會治安防控提供數(shù)據(jù)支撐、計算支撐、模型支撐，通過對重點人員、車輛、物品、場所信息動態(tài)掌握和深度分析，構(gòu)建支撐智慧公安的“最強大腦”，實現(xiàn)對城市社會面治安形勢全面掌握，更好地實現(xiàn)預(yù)防和減少犯罪的目標。

（一）系統(tǒng)整體架構(gòu)

系統(tǒng)整體架構(gòu)分為IAAS、PAAS、DAAS和SAAS四層。IAAS為基礎(chǔ)設(shè)施層，包括硬件、網(wǎng)絡(luò)、安全管理等內(nèi)容；PAAS為平臺服務(wù)層，包括數(shù)據(jù)存儲、數(shù)據(jù)計算、API網(wǎng)關(guān)等內(nèi)容；DAAS為數(shù)據(jù)服務(wù)層，包括數(shù)據(jù)接入、清洗、加工、組織、對外服務(wù)等內(nèi)容；SAAS為應(yīng)用服務(wù)層，主要為治安防控的各類應(yīng)用。其中，數(shù)據(jù)層和應(yīng)用層為本平臺的核心。數(shù)據(jù)層又可細分為：

（1）數(shù)據(jù)匯聚子系統(tǒng)：數(shù)據(jù)匯聚子系統(tǒng)采集前端感知設(shè)備傳輸?shù)男畔?，通過統(tǒng)一的采集服務(wù)將數(shù)據(jù)接入到大數(shù)據(jù)支撐平臺，進行后續(xù)的分析處理?；A(chǔ)網(wǎng)絡(luò)服務(wù)平臺可滿足各種數(shù)據(jù)接入，同時支持大量客戶端的并行處理。

（2）數(shù)據(jù)治理子系統(tǒng)：大數(shù)據(jù)清洗子系統(tǒng)負責(zé)數(shù)據(jù)清洗和規(guī)整，剔除無用、錯誤和冗余的數(shù)據(jù)，保證數(shù)據(jù)的質(zhì)量。

（3）數(shù)據(jù)分析子系統(tǒng)：大數(shù)據(jù)計算是整個系統(tǒng)的核心，基于Mapruduce、Hadoop架構(gòu)的分布式存儲計算以及基于Flink流式計算可滿足不同的計算需求。

（4）數(shù)據(jù)共享服務(wù)子系統(tǒng)：統(tǒng)一消息服務(wù)子系統(tǒng)為各種綜合應(yīng)用提供服務(wù)接口，可滿足各種系統(tǒng)的接入查詢。

（二）大數(shù)據(jù)處理流程

首先是數(shù)據(jù)接入，前端感知設(shè)備采集的數(shù)據(jù)通過安全邊界發(fā)送到大數(shù)據(jù)支撐平臺采集主機，采集子系統(tǒng)將處理后的數(shù)據(jù)分別分發(fā)給批量同步服務(wù)和實時同步服務(wù)，利用Flume、Datax等技術(shù)將數(shù)據(jù)同步到大數(shù)據(jù)存儲/計算集群。

其次是數(shù)據(jù)管理，其中批量同步服務(wù)將數(shù)據(jù)存儲到Hive、Spark為主的離線存儲/計算集群主機，完成大規(guī)模數(shù)據(jù)集的大數(shù)據(jù)融合分析、標準化、指標數(shù)據(jù)等的計算和存儲，包括基于大數(shù)據(jù)的治安態(tài)勢分析、交通態(tài)勢分析等。另一部分實時同步服務(wù)，將實時數(shù)據(jù)發(fā)給Kafka、Flink為主的實時消息隊列和計算集群主機，完成實時數(shù)據(jù)規(guī)整、清洗、標準化、規(guī)則引擎等的計算和處理。

之后是知識管理，經(jīng)過離線/實時的數(shù)據(jù)管理后，可以進一步使用數(shù)據(jù)生產(chǎn)出上層業(yè)務(wù)所需的具有知識屬性的數(shù)據(jù)，并交給不同的在線存儲引擎完成存儲，如業(yè)務(wù)庫MPP、時空庫Geomesa、關(guān)系庫Janusgraph等分布式數(shù)據(jù)庫技術(shù)，之后能夠通過統(tǒng)一消息服務(wù)平臺將數(shù)據(jù)以服務(wù)和推送的形式提供給各應(yīng)用子系統(tǒng)。

三、實現(xiàn)功能

社會治安防控體系建設(shè)的核心內(nèi)容為大數(shù)據(jù)基礎(chǔ)支撐平臺、應(yīng)用支撐平臺和社會治安防控應(yīng)用，本文主要闡述前兩個平臺的內(nèi)容。

（一）大數(shù)據(jù)基礎(chǔ)支撐平臺

1. 數(shù)據(jù)接入?yún)R聚

數(shù)據(jù)接入?yún)R聚主要實現(xiàn)打破數(shù)據(jù)壁壘，適配多源異構(gòu)的數(shù)據(jù)源實現(xiàn)數(shù)據(jù)統(tǒng)一輸出的目的。公安數(shù)據(jù)來源廣、格式不一、種類繁多。獲取方式上包括技術(shù)手段和管理手段獲取數(shù)據(jù)等“多源”數(shù)據(jù)；對接“異構(gòu)”系統(tǒng)，在數(shù)據(jù)結(jié)構(gòu)上，來源數(shù)據(jù)多種類型，如數(shù)據(jù)庫表、消息數(shù)據(jù)、文本文件、二進制文件、加壓加密文件等。對接系統(tǒng)上，來源系統(tǒng)涉及文件系統(tǒng)、關(guān)系型或非關(guān)系型數(shù)據(jù)庫、消息中間件和FTP系統(tǒng)。通過構(gòu)建規(guī)范的數(shù)據(jù)接入流程，建立可適配的多源異構(gòu)數(shù)據(jù)接入模式，對接入進行統(tǒng)一輸出，為數(shù)據(jù)處理做好前提準備。用戶可通過頁面進行數(shù)據(jù)源和任務(wù)的配置，管理任務(wù)狀態(tài)，提高了用戶友好性。主要利用的功能模塊包括：數(shù)據(jù)探查、數(shù)據(jù)定義、數(shù)據(jù)讀取、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)對賬、數(shù)據(jù)質(zhì)量檢測、任務(wù)管理、數(shù)據(jù)源管理等。

2. 數(shù)據(jù)處理

數(shù)據(jù)處理具備對接入的多源異構(gòu)數(shù)據(jù)進行標準化處理的能力。通過對接入的源數(shù)據(jù)按照數(shù)據(jù)標準的約定進行提取、清洗、比對、關(guān)聯(lián)、打標等規(guī)范化流程處理，以過濾掉業(yè)務(wù)不關(guān)心的數(shù)據(jù)，提高數(shù)據(jù)關(guān)聯(lián)度和業(yè)務(wù)緊密度，進而提升數(shù)據(jù)價值密度，實現(xiàn)數(shù)據(jù)增值。

3. 數(shù)據(jù)治理

數(shù)據(jù)治理是數(shù)據(jù)接入、處理、組織、服務(wù)、應(yīng)用全生命周期的規(guī)劃設(shè)計、過程控制和質(zhì)量監(jiān)督，通過規(guī)范化的數(shù)據(jù)治理，可實現(xiàn)數(shù)據(jù)資源的透明、可管、可控，理清數(shù)據(jù)資產(chǎn)、完善數(shù)據(jù)標準落地、形成完整的數(shù)據(jù)資源目錄、規(guī)范數(shù)據(jù)處理流程、提升數(shù)據(jù)質(zhì)量、保障數(shù)據(jù)安全使用、促進數(shù)據(jù)流通與價值提煉。數(shù)據(jù)治理的內(nèi)容如圖5所示。

4. 數(shù)據(jù)組織

按照大數(shù)據(jù)使用目的分類建庫的要求，對數(shù)據(jù)資源形成科學(xué)分類標準統(tǒng)一、流程規(guī)范組織方案，并滿足各業(yè)務(wù)部門業(yè)務(wù)專題數(shù)據(jù)落地建庫需求，支持數(shù)據(jù)分級分類的機制以及數(shù)據(jù)使用的優(yōu)先級策略。考慮將數(shù)據(jù)從來源逐級提煉，形成分層存儲、全局管理和使用的數(shù)據(jù)組織，主要包括數(shù)據(jù)控制分布、創(chuàng)建表與數(shù)據(jù)老化、PaaS庫定義、平臺庫定義、多維數(shù)據(jù)展示等關(guān)鍵功能，支撐原始庫、資源庫、主題庫、知識庫、業(yè)務(wù)庫等。通過這類模型將數(shù)據(jù)進行組織，達到數(shù)據(jù)融合和知識沉淀的目的，具體詳細的數(shù)據(jù)組織架構(gòu)如圖6所示。

5. 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)是指各類數(shù)據(jù)資源對外提供的數(shù)據(jù)訪問和管理能力。對應(yīng)服務(wù)涵蓋的數(shù)據(jù)范圍包含原始庫、資源庫、主題庫、業(yè)務(wù)庫、知識庫以及元數(shù)據(jù)、數(shù)據(jù)資源目錄等。數(shù)據(jù)服務(wù)可分為查詢檢索服務(wù)、比對訂閱服務(wù)、模型分析服務(wù)、數(shù)據(jù)推送服務(wù)、數(shù)據(jù)鑒權(quán)服務(wù)、數(shù)據(jù)操作服務(wù)、數(shù)據(jù)管理服務(wù)等，并支持跨網(wǎng)跨域的服務(wù)能力。

（二）應(yīng)用支撐平臺

應(yīng)用支撐引擎包括：數(shù)據(jù)模型構(gòu)建引擎、多維可視分析體引擎、數(shù)據(jù)精準推送引擎、業(yè)務(wù)大屏應(yīng)用引擎、精細化地圖服務(wù)引擎，以及流程管理配置引擎。

1. 數(shù)據(jù)模型構(gòu)建引擎

提供靈活可配置的數(shù)據(jù)建模界面，用戶可以使用拖拉拽方式快速完成復(fù)雜的數(shù)據(jù)建模。通過基于表的關(guān)聯(lián)挖掘建模進行自由組合，減少數(shù)據(jù)建模過程中的斷點操作，保證用戶在數(shù)據(jù)建模過程中的連貫性。

2. 多維可視分析引擎

提供自助式多維數(shù)據(jù)可視化分析展示環(huán)境，不再高度依賴于計算機和數(shù)據(jù)專家，自助式構(gòu)建研判分析多維透視數(shù)據(jù)體系，構(gòu)建全面數(shù)據(jù)驅(qū)動的規(guī)模應(yīng)用并進行研判經(jīng)驗共享和知識積累。

3. 數(shù)據(jù)精準推送引擎

以推送引擎和數(shù)據(jù)算法為載體，以精準推送為目標，串聯(lián)數(shù)據(jù)和各業(yè)務(wù)應(yīng)用系統(tǒng)，形成精準數(shù)據(jù)推送體系。將各渠道構(gòu)建的各類模型計算結(jié)果或預(yù)警信息，推送到各級流程管理平臺中下發(fā)、核查、反饋。

4. 業(yè)務(wù)大屏應(yīng)用引擎

隨著數(shù)據(jù)感知體系的不斷完善，如何有效將分析結(jié)果進行整體、美觀的呈現(xiàn)，讓信息接受者既能夠掌握全局，也能夠洞察微觀，實現(xiàn)數(shù)據(jù)“一屏”可視應(yīng)用，更加直觀地將數(shù)據(jù)結(jié)果進行呈現(xiàn)。

5. 精細化地圖服務(wù)引擎

提供基礎(chǔ)地圖服務(wù)支撐，在基礎(chǔ)地圖數(shù)據(jù)（行政區(qū)、水系、道路、樓塊街區(qū)）基礎(chǔ)上，添加城市自有的治安相關(guān)數(shù)據(jù)、更細粒度的城市建筑物（AOI、樓棟）數(shù)據(jù)等。

6. 流程管理配置引擎

通過流程管理配置引擎可以快速實現(xiàn)工作流程的快速搭建、應(yīng)用搭建、應(yīng)用發(fā)布以及數(shù)據(jù)采集工作。

四、應(yīng)用效果

XX市公安局通過統(tǒng)一大數(shù)據(jù)平臺的建設(shè)，建立起支撐全市各警種、各部門的大數(shù)據(jù)服務(wù)能力，圍繞治安防控實戰(zhàn)需求，搭建了面向人員管控、車輛管理、場所管理、指揮調(diào)度、應(yīng)急處突、政務(wù)服務(wù)等業(yè)務(wù)應(yīng)用20余個，研發(fā)重點人員管控、掃黑除惡、重大安保管控等實戰(zhàn)應(yīng)用模型100余個，配合移動警務(wù)終端，開發(fā)信息采集、人車核驗、現(xiàn)場勘驗、信息預(yù)警等應(yīng)用工具40余個，有效支撐了大數(shù)據(jù)條件下精準“打、防、管、控”警務(wù)運行機制的建設(shè)。通過智慧小區(qū)、智慧檢查站的建設(shè)，進一步完善了社會治安防控體系等圈層建設(shè)，提高社會治安形勢的駕馭能力。2019年，XX市全年治安警情數(shù)量下降21%，刑事警情數(shù)量下降38%，八類案件數(shù)量下降32%，盜搶騙數(shù)量下降29%，電信網(wǎng)絡(luò)詐騙立案數(shù)與涉案損失金額均實現(xiàn)大幅下降，破案數(shù)與追贓挽損金額實現(xiàn)顯著上升，現(xiàn)行命案破案率達到100%。

五、結(jié)語

隨著世界多極化、經(jīng)濟全球化、文化多元化、社會信息化深入發(fā)展，經(jīng)濟社會形勢發(fā)生了新的深刻變化，新型違法犯罪打擊難度不斷增加，新業(yè)態(tài)管控任務(wù)逐漸加劇。利用大數(shù)據(jù)技術(shù)推動傳統(tǒng)警務(wù)模式向現(xiàn)代警務(wù)模式的轉(zhuǎn)變，是社會治安防控建設(shè)變革的必由之路。