尹濤 饒旻
1. 江西省南昌市公安局 2. 北京海致網(wǎng)聚信息技術(shù)有限公司
隨著國際國內(nèi)環(huán)境的不斷變化,治安防控信息化建設(shè)與應(yīng)用存在的短板和問題日益凸顯,主要表現(xiàn)在:一是大數(shù)據(jù)應(yīng)用意識不強,公安機關(guān)內(nèi)部,大數(shù)據(jù)、信息化思維不夠,利用科技信息化技術(shù)破解難題、提升水平的積極性和主動性有待提高;二是缺乏大數(shù)據(jù)應(yīng)用支撐平臺,治安業(yè)務(wù)條線系統(tǒng)林立,傳統(tǒng)的“煙囪式”業(yè)務(wù)系統(tǒng)建設(shè)不利于開展跨系統(tǒng)數(shù)據(jù)融合與綜合應(yīng)用;三是治安數(shù)據(jù)治理體系不健全,治安要素基礎(chǔ)信息采集不全、底數(shù)不清,且未形成以人員、地址、物品、單位、案事件為主要內(nèi)容的治安數(shù)據(jù)知識體系;四是大數(shù)據(jù)應(yīng)用能力不足,不善于將積累的業(yè)務(wù)知識轉(zhuǎn)化為信息模型,對海量數(shù)據(jù)背后隱藏的客觀規(guī)律挖掘不夠。在此背景下,研究如何利用大數(shù)據(jù)手段,創(chuàng)新警務(wù)機制運行模式,改進和完善社會治安防控體系,進一步適應(yīng)未來社會治安治理需要,顯得極為重要。
大數(shù)據(jù)背景下,社會治安防控體系建設(shè)面臨著新的任務(wù)和要求,主要體現(xiàn)在以下幾個方面:
需要匯聚公安檢查站、街面巡防、安防小區(qū)、娛樂場所、特種行業(yè)、內(nèi)保、地鐵、公交、危爆物品、大型活動等業(yè)務(wù)數(shù)據(jù),以及政務(wù)網(wǎng)、視頻專網(wǎng)提供的部分結(jié)構(gòu)化數(shù)據(jù),從而形成社會治安防控數(shù)據(jù)匯聚庫。
在匯聚庫的基礎(chǔ)上,以現(xiàn)有數(shù)據(jù)治理為核心,融合至公安基礎(chǔ)業(yè)務(wù)數(shù)據(jù),重新形成內(nèi)容更為豐富的標準庫、專題庫、主題庫、標簽庫以及業(yè)務(wù)庫,最終梳理形成治安要素庫。
建設(shè)社會治安防控應(yīng)用支撐平臺,打造基于海量數(shù)據(jù)的快速建模、圖譜分析、可視化分析、地圖分析能力,并構(gòu)建一系列滿足治安管理需要的治安模型體系,以模型或者數(shù)據(jù)支撐的方式對外提供共享。
結(jié)合社會治安防控業(yè)務(wù),按照圈層管理、單元管理、要素管理的思路,打造一系列特色應(yīng)用,例如核心圈層管理、重點部位管理、智慧社區(qū)管理、新業(yè)態(tài)管控、重點人員管理、重點物品管理等,服務(wù)社會治安防控工作。
通過視頻、人臉、卡口、電子圍欄、Wi-Fi熱點等前端感知設(shè)備的建設(shè),全方位采集人、車、電、網(wǎng)、像等各類要素信息,為預(yù)警感知與精準打擊提供強大的數(shù)據(jù)支撐;以大數(shù)據(jù)平臺為體系核心,強化各類數(shù)據(jù)資源的整合、匯聚、存儲、加工、分析與應(yīng)用,為社會治安防控提供數(shù)據(jù)支撐、計算支撐、模型支撐,通過對重點人員、車輛、物品、場所信息動態(tài)掌握和深度分析,構(gòu)建支撐智慧公安的“最強大腦”,實現(xiàn)對城市社會面治安形勢全面掌握,更好地實現(xiàn)預(yù)防和減少犯罪的目標。
系統(tǒng)整體架構(gòu)分為IAAS、PAAS、DAAS和SAAS四層。IAAS為基礎(chǔ)設(shè)施層,包括硬件、網(wǎng)絡(luò)、安全管理等內(nèi)容;PAAS為平臺服務(wù)層,包括數(shù)據(jù)存儲、數(shù)據(jù)計算、API網(wǎng)關(guān)等內(nèi)容;DAAS為數(shù)據(jù)服務(wù)層,包括數(shù)據(jù)接入、清洗、加工、組織、對外服務(wù)等內(nèi)容;SAAS為應(yīng)用服務(wù)層,主要為治安防控的各類應(yīng)用。其中,數(shù)據(jù)層和應(yīng)用層為本平臺的核心。數(shù)據(jù)層又可細分為:
(1)數(shù)據(jù)匯聚子系統(tǒng):數(shù)據(jù)匯聚子系統(tǒng)采集前端感知設(shè)備傳輸?shù)男畔?,通過統(tǒng)一的采集服務(wù)將數(shù)據(jù)接入到大數(shù)據(jù)支撐平臺,進行后續(xù)的分析處理?;A(chǔ)網(wǎng)絡(luò)服務(wù)平臺可滿足各種數(shù)據(jù)接入,同時支持大量客戶端的并行處理。
(2)數(shù)據(jù)治理子系統(tǒng):大數(shù)據(jù)清洗子系統(tǒng)負責(zé)數(shù)據(jù)清洗和規(guī)整,剔除無用、錯誤和冗余的數(shù)據(jù),保證數(shù)據(jù)的質(zhì)量。
(3)數(shù)據(jù)分析子系統(tǒng):大數(shù)據(jù)計算是整個系統(tǒng)的核心,基于Mapruduce、Hadoop架構(gòu)的分布式存儲計算以及基于Flink流式計算可滿足不同的計算需求。
(4)數(shù)據(jù)共享服務(wù)子系統(tǒng):統(tǒng)一消息服務(wù)子系統(tǒng)為各種綜合應(yīng)用提供服務(wù)接口,可滿足各種系統(tǒng)的接入查詢。
首先是數(shù)據(jù)接入,前端感知設(shè)備采集的數(shù)據(jù)通過安全邊界發(fā)送到大數(shù)據(jù)支撐平臺采集主機,采集子系統(tǒng)將處理后的數(shù)據(jù)分別分發(fā)給批量同步服務(wù)和實時同步服務(wù),利用Flume、Datax等技術(shù)將數(shù)據(jù)同步到大數(shù)據(jù)存儲/計算集群。
其次是數(shù)據(jù)管理,其中批量同步服務(wù)將數(shù)據(jù)存儲到Hive、Spark為主的離線存儲/計算集群主機,完成大規(guī)模數(shù)據(jù)集的大數(shù)據(jù)融合分析、標準化、指標數(shù)據(jù)等的計算和存儲,包括基于大數(shù)據(jù)的治安態(tài)勢分析、交通態(tài)勢分析等。另一部分實時同步服務(wù),將實時數(shù)據(jù)發(fā)給Kafka、Flink為主的實時消息隊列和計算集群主機,完成實時數(shù)據(jù)規(guī)整、清洗、標準化、規(guī)則引擎等的計算和處理。
之后是知識管理,經(jīng)過離線/實時的數(shù)據(jù)管理后,可以進一步使用數(shù)據(jù)生產(chǎn)出上層業(yè)務(wù)所需的具有知識屬性的數(shù)據(jù),并交給不同的在線存儲引擎完成存儲,如業(yè)務(wù)庫MPP、時空庫Geomesa、關(guān)系庫Janusgraph等分布式數(shù)據(jù)庫技術(shù),之后能夠通過統(tǒng)一消息服務(wù)平臺將數(shù)據(jù)以服務(wù)和推送的形式提供給各應(yīng)用子系統(tǒng)。
社會治安防控體系建設(shè)的核心內(nèi)容為大數(shù)據(jù)基礎(chǔ)支撐平臺、應(yīng)用支撐平臺和社會治安防控應(yīng)用,本文主要闡述前兩個平臺的內(nèi)容。
1. 數(shù)據(jù)接入?yún)R聚
數(shù)據(jù)接入?yún)R聚主要實現(xiàn)打破數(shù)據(jù)壁壘,適配多源異構(gòu)的數(shù)據(jù)源實現(xiàn)數(shù)據(jù)統(tǒng)一輸出的目的。公安數(shù)據(jù)來源廣、格式不一、種類繁多。獲取方式上包括技術(shù)手段和管理手段獲取數(shù)據(jù)等“多源”數(shù)據(jù);對接“異構(gòu)”系統(tǒng),在數(shù)據(jù)結(jié)構(gòu)上,來源數(shù)據(jù)多種類型,如數(shù)據(jù)庫表、消息數(shù)據(jù)、文本文件、二進制文件、加壓加密文件等。對接系統(tǒng)上,來源系統(tǒng)涉及文件系統(tǒng)、關(guān)系型或非關(guān)系型數(shù)據(jù)庫、消息中間件和FTP系統(tǒng)。通過構(gòu)建規(guī)范的數(shù)據(jù)接入流程,建立可適配的多源異構(gòu)數(shù)據(jù)接入模式,對接入進行統(tǒng)一輸出,為數(shù)據(jù)處理做好前提準備。用戶可通過頁面進行數(shù)據(jù)源和任務(wù)的配置,管理任務(wù)狀態(tài),提高了用戶友好性。主要利用的功能模塊包括:數(shù)據(jù)探查、數(shù)據(jù)定義、數(shù)據(jù)讀取、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)對賬、數(shù)據(jù)質(zhì)量檢測、任務(wù)管理、數(shù)據(jù)源管理等。
2. 數(shù)據(jù)處理
數(shù)據(jù)處理具備對接入的多源異構(gòu)數(shù)據(jù)進行標準化處理的能力。通過對接入的源數(shù)據(jù)按照數(shù)據(jù)標準的約定進行提取、清洗、比對、關(guān)聯(lián)、打標等規(guī)范化流程處理,以過濾掉業(yè)務(wù)不關(guān)心的數(shù)據(jù),提高數(shù)據(jù)關(guān)聯(lián)度和業(yè)務(wù)緊密度,進而提升數(shù)據(jù)價值密度,實現(xiàn)數(shù)據(jù)增值。
3. 數(shù)據(jù)治理
數(shù)據(jù)治理是數(shù)據(jù)接入、處理、組織、服務(wù)、應(yīng)用全生命周期的規(guī)劃設(shè)計、過程控制和質(zhì)量監(jiān)督,通過規(guī)范化的數(shù)據(jù)治理,可實現(xiàn)數(shù)據(jù)資源的透明、可管、可控,理清數(shù)據(jù)資產(chǎn)、完善數(shù)據(jù)標準落地、形成完整的數(shù)據(jù)資源目錄、規(guī)范數(shù)據(jù)處理流程、提升數(shù)據(jù)質(zhì)量、保障數(shù)據(jù)安全使用、促進數(shù)據(jù)流通與價值提煉。數(shù)據(jù)治理的內(nèi)容如圖5所示。
4. 數(shù)據(jù)組織
按照大數(shù)據(jù)使用目的分類建庫的要求,對數(shù)據(jù)資源形成科學(xué)分類標準統(tǒng)一、流程規(guī)范組織方案,并滿足各業(yè)務(wù)部門業(yè)務(wù)專題數(shù)據(jù)落地建庫需求,支持數(shù)據(jù)分級分類的機制以及數(shù)據(jù)使用的優(yōu)先級策略。考慮將數(shù)據(jù)從來源逐級提煉,形成分層存儲、全局管理和使用的數(shù)據(jù)組織,主要包括數(shù)據(jù)控制分布、創(chuàng)建表與數(shù)據(jù)老化、PaaS庫定義、平臺庫定義、多維數(shù)據(jù)展示等關(guān)鍵功能,支撐原始庫、資源庫、主題庫、知識庫、業(yè)務(wù)庫等。通過這類模型將數(shù)據(jù)進行組織,達到數(shù)據(jù)融合和知識沉淀的目的,具體詳細的數(shù)據(jù)組織架構(gòu)如圖6所示。
5. 數(shù)據(jù)服務(wù)
數(shù)據(jù)服務(wù)是指各類數(shù)據(jù)資源對外提供的數(shù)據(jù)訪問和管理能力。對應(yīng)服務(wù)涵蓋的數(shù)據(jù)范圍包含原始庫、資源庫、主題庫、業(yè)務(wù)庫、知識庫以及元數(shù)據(jù)、數(shù)據(jù)資源目錄等。數(shù)據(jù)服務(wù)可分為查詢檢索服務(wù)、比對訂閱服務(wù)、模型分析服務(wù)、數(shù)據(jù)推送服務(wù)、數(shù)據(jù)鑒權(quán)服務(wù)、數(shù)據(jù)操作服務(wù)、數(shù)據(jù)管理服務(wù)等,并支持跨網(wǎng)跨域的服務(wù)能力。
應(yīng)用支撐引擎包括:數(shù)據(jù)模型構(gòu)建引擎、多維可視分析體引擎、數(shù)據(jù)精準推送引擎、業(yè)務(wù)大屏應(yīng)用引擎、精細化地圖服務(wù)引擎,以及流程管理配置引擎。
1. 數(shù)據(jù)模型構(gòu)建引擎
提供靈活可配置的數(shù)據(jù)建模界面,用戶可以使用拖拉拽方式快速完成復(fù)雜的數(shù)據(jù)建模。通過基于表的關(guān)聯(lián)挖掘建模進行自由組合,減少數(shù)據(jù)建模過程中的斷點操作,保證用戶在數(shù)據(jù)建模過程中的連貫性。
2. 多維可視分析引擎
提供自助式多維數(shù)據(jù)可視化分析展示環(huán)境,不再高度依賴于計算機和數(shù)據(jù)專家,自助式構(gòu)建研判分析多維透視數(shù)據(jù)體系,構(gòu)建全面數(shù)據(jù)驅(qū)動的規(guī)模應(yīng)用并進行研判經(jīng)驗共享和知識積累。
3. 數(shù)據(jù)精準推送引擎
以推送引擎和數(shù)據(jù)算法為載體,以精準推送為目標,串聯(lián)數(shù)據(jù)和各業(yè)務(wù)應(yīng)用系統(tǒng),形成精準數(shù)據(jù)推送體系。將各渠道構(gòu)建的各類模型計算結(jié)果或預(yù)警信息,推送到各級流程管理平臺中下發(fā)、核查、反饋。
4. 業(yè)務(wù)大屏應(yīng)用引擎
隨著數(shù)據(jù)感知體系的不斷完善,如何有效將分析結(jié)果進行整體、美觀的呈現(xiàn),讓信息接受者既能夠掌握全局,也能夠洞察微觀,實現(xiàn)數(shù)據(jù)“一屏”可視應(yīng)用,更加直觀地將數(shù)據(jù)結(jié)果進行呈現(xiàn)。
5. 精細化地圖服務(wù)引擎
提供基礎(chǔ)地圖服務(wù)支撐,在基礎(chǔ)地圖數(shù)據(jù)(行政區(qū)、水系、道路、樓塊街區(qū))基礎(chǔ)上,添加城市自有的治安相關(guān)數(shù)據(jù)、更細粒度的城市建筑物(AOI、樓棟)數(shù)據(jù)等。
6. 流程管理配置引擎
通過流程管理配置引擎可以快速實現(xiàn)工作流程的快速搭建、應(yīng)用搭建、應(yīng)用發(fā)布以及數(shù)據(jù)采集工作。
XX市公安局通過統(tǒng)一大數(shù)據(jù)平臺的建設(shè),建立起支撐全市各警種、各部門的大數(shù)據(jù)服務(wù)能力,圍繞治安防控實戰(zhàn)需求,搭建了面向人員管控、車輛管理、場所管理、指揮調(diào)度、應(yīng)急處突、政務(wù)服務(wù)等業(yè)務(wù)應(yīng)用20余個,研發(fā)重點人員管控、掃黑除惡、重大安保管控等實戰(zhàn)應(yīng)用模型100余個,配合移動警務(wù)終端,開發(fā)信息采集、人車核驗、現(xiàn)場勘驗、信息預(yù)警等應(yīng)用工具40余個,有效支撐了大數(shù)據(jù)條件下精準“打、防、管、控”警務(wù)運行機制的建設(shè)。通過智慧小區(qū)、智慧檢查站的建設(shè),進一步完善了社會治安防控體系等圈層建設(shè),提高社會治安形勢的駕馭能力。2019年,XX市全年治安警情數(shù)量下降21%,刑事警情數(shù)量下降38%,八類案件數(shù)量下降32%,盜搶騙數(shù)量下降29%,電信網(wǎng)絡(luò)詐騙立案數(shù)與涉案損失金額均實現(xiàn)大幅下降,破案數(shù)與追贓挽損金額實現(xiàn)顯著上升,現(xiàn)行命案破案率達到100%。
隨著世界多極化、經(jīng)濟全球化、文化多元化、社會信息化深入發(fā)展,經(jīng)濟社會形勢發(fā)生了新的深刻變化,新型違法犯罪打擊難度不斷增加,新業(yè)態(tài)管控任務(wù)逐漸加劇。利用大數(shù)據(jù)技術(shù)推動傳統(tǒng)警務(wù)模式向現(xiàn)代警務(wù)模式的轉(zhuǎn)變,是社會治安防控建設(shè)變革的必由之路。