任子暉 王雨晴 張兆義 時(shí)明 陳誠(chéng)

摘 要：近年來(lái)，伴隨著國(guó)內(nèi)平安城市、無(wú)線城市的快速普及與發(fā)展，平安城市運(yùn)行中產(chǎn)生了海量的城市視頻數(shù)據(jù)，并呈快速增長(zhǎng)趨勢(shì)，另外，無(wú)線城市在日常運(yùn)營(yíng)中，前端AP設(shè)備采集了大量以終端MAC為主的探針數(shù)據(jù)。如何有效融合及利用沉淀的海量數(shù)據(jù)資源，為城市公共安全管理提供強(qiáng)有力的信息化手段引起了重點(diǎn)關(guān)注，是目前研究的熱點(diǎn)問(wèn)題。文章通過(guò)對(duì)前端AP采集的數(shù)據(jù)、城市視頻大數(shù)據(jù)進(jìn)行分布式存儲(chǔ)、融合、計(jì)算及分析，搭建基于大數(shù)據(jù)的智慧安全應(yīng)用服務(wù)系統(tǒng)，可達(dá)到人群計(jì)數(shù)、擁堵預(yù)警、人車(chē)同蹤等功能。

關(guān)鍵詞：平安城市；無(wú)線城市；手機(jī)MAC；公共安全

中圖分類(lèi)號(hào)：F49 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2018）36-0088-02

Abstract： In recent years， with the rapid popularization and development of domestic safe city and wireless city， the operation of safe city has produced a mass of urban video data， and showed a rapid growth trend. In addition， the wireless city in daily operation， the front-end AP equipment collects a large number of probe data mainly from terminal MAC. How to effectively integrate and use the precipitation of massive data resources for urban public security management so as to provide a strong means of information technology has attracted attention. This is a hot issue in the current research. Through the distributed storage， fusion， calculation and analysis of the data collected by the front-end AP and the city video big data， the intelligent security application service system based on big data is built can achieve the crowd count， congestion warning， people and vehicles with the track and other functions.

Keywords： safe city； wireless city； Mobile MAC； public security

1 概述

近年來(lái)，隨著國(guó)家對(duì)平安城市、無(wú)線城市、智慧城市投資力度的不斷加大，國(guó)內(nèi)“平安城市”、“無(wú)線城市”建設(shè)正如火如荼的展開(kāi)，據(jù)統(tǒng)計(jì)，臺(tái)灣、香港、上海、北京、廣東、湖北、江蘇、山東、安徽等30余省的超300個(gè)城市已建設(shè)成無(wú)線城市。截至目前，全國(guó)基本上所有地市和重點(diǎn)區(qū)縣都已經(jīng)完成第一期的平安城市建設(shè)，使城市大多數(shù)公共區(qū)域均實(shí)現(xiàn)了視頻監(jiān)控?！捌桨渤鞘小薄ⅰ盁o(wú)線城市”在日常運(yùn)行中，產(chǎn)生了海量的視頻數(shù)據(jù)、以手機(jī)MAC數(shù)據(jù)為主的無(wú)線數(shù)據(jù)資源，并呈快速增長(zhǎng)的趨勢(shì)。

目前城市各大公共場(chǎng)所的信息化安全管理以視頻監(jiān)控+人工巡邏為主。在發(fā)生群眾聚集或犯罪行為時(shí)，依靠辦案民警或管理部門(mén)對(duì)監(jiān)控畫(huà)面進(jìn)行肉眼識(shí)別，或在案發(fā)后調(diào)閱存儲(chǔ)視頻進(jìn)行排查，難以起到預(yù)防作用。在公安機(jī)關(guān)進(jìn)行案件偵破過(guò)程中，調(diào)閱視頻監(jiān)控的人工檢索方式耗時(shí)長(zhǎng)，耗費(fèi)工作人員精力大。隨著大數(shù)據(jù)、云計(jì)算技術(shù)的不斷成熟，如何利用無(wú)線網(wǎng)絡(luò)所沉淀的大數(shù)據(jù)資源，結(jié)合視頻監(jiān)控大數(shù)據(jù)資源進(jìn)行智能化分析處理，打造新型智慧化城市，構(gòu)建信息化環(huán)境下的安全社會(huì)，成為城市相關(guān)管理者亟待解決的問(wèn)題。

綜上所述，城市管理者急需一個(gè)智能化的，能有效結(jié)合海量視頻大數(shù)據(jù)和網(wǎng)絡(luò)大數(shù)據(jù)資源的分析應(yīng)用系統(tǒng)。本系統(tǒng)以公安、城市安全管理等部門(mén)需求為導(dǎo)向，研發(fā)基于大數(shù)據(jù)的智慧安全服務(wù)系統(tǒng)，探究整合“無(wú)線城市”、“平安城市”及社會(huì)網(wǎng)絡(luò)視頻資源的技術(shù)實(shí)現(xiàn)途徑，形成統(tǒng)一標(biāo)準(zhǔn)的網(wǎng)絡(luò)及視頻數(shù)據(jù)接口。實(shí)現(xiàn)高效的資源存儲(chǔ)管理及分析應(yīng)用，創(chuàng)新“無(wú)線+視頻監(jiān)控”的智慧應(yīng)用，為公安、城市管理部門(mén)的治安管理、應(yīng)急處置、打擊犯罪等提供有力的支撐手段。

2 系統(tǒng)整體設(shè)計(jì)

基于MAC地址+活動(dòng)時(shí)間兩個(gè)維度，可以確定具體軌跡的活動(dòng)地點(diǎn)與時(shí)間，可以通過(guò)AP所在的經(jīng)緯度查詢與之最近的監(jiān)控視頻，再通過(guò)時(shí)間維度調(diào)出當(dāng)時(shí)發(fā)生的監(jiān)控錄像，進(jìn)行智能研判?；诖髷?shù)據(jù)的智慧安全服務(wù)系統(tǒng)整體框架如圖1所示。整體架構(gòu)包含四層，各層作用如下：（1）前端采集：通過(guò)用戶接入的采集攝像機(jī)和MAC采集設(shè)備（AP），獲取視頻數(shù)據(jù)及移動(dòng)終端的MAC地址、終端品牌等信息。（2）傳輸網(wǎng)絡(luò)：通過(guò)網(wǎng)絡(luò)將前端采集的數(shù)據(jù)上傳到大數(shù)據(jù)處理平臺(tái)。（3）大數(shù)據(jù)處理平臺(tái)：對(duì)前端采集的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、融合、存儲(chǔ)和管理。（4）業(yè)務(wù)應(yīng)用系統(tǒng)：與視頻監(jiān)控?cái)?shù)據(jù)相結(jié)合，利用大數(shù)據(jù)分析算法，對(duì)前端采集的海量數(shù)據(jù)進(jìn)行挖掘分析，針對(duì)不同的應(yīng)用要求，快速找到相關(guān)信息。

3 技術(shù)路線

（1）數(shù)據(jù)采集。本項(xiàng)目中所需數(shù)據(jù)資源涉及無(wú)線網(wǎng)絡(luò)大數(shù)據(jù)和視頻監(jiān)控大數(shù)據(jù)兩部分，其中視頻監(jiān)控大數(shù)據(jù)可將用戶的視頻流媒體服務(wù)器或存儲(chǔ)服務(wù)器引入系統(tǒng)接口；無(wú)線網(wǎng)絡(luò)大數(shù)據(jù)可利用城市無(wú)線局域網(wǎng)和后續(xù)增補(bǔ)點(diǎn)位采集的信息、單位個(gè)體自建的無(wú)線信息。

（2）數(shù)據(jù)整合。本文通過(guò)研究GB/T28181-2011（國(guó)家標(biāo)準(zhǔn)聯(lián)網(wǎng)接口協(xié)議）、ONVIF、PISA等網(wǎng)絡(luò)傳輸協(xié)議和H.264、MPEG-4等系列視頻編解碼算法，形成統(tǒng)一標(biāo)準(zhǔn)的視頻流媒體服務(wù)器接口；采用基于不同廠商AP探針模塊的UDP包接收解析技術(shù)，實(shí)現(xiàn)對(duì)不同廠商AP設(shè)備探針模塊發(fā)送數(shù)據(jù)的解析，匯入系統(tǒng)統(tǒng)一數(shù)據(jù)庫(kù)，將不同廠商的設(shè)備數(shù)據(jù)統(tǒng)一出口標(biāo)準(zhǔn)，納入大數(shù)據(jù)處理平臺(tái)，實(shí)現(xiàn)海量異構(gòu)無(wú)線大數(shù)據(jù)與視頻大數(shù)據(jù)的融合。

（3）海量數(shù)據(jù)存儲(chǔ)。本系統(tǒng)采用HDFS、HBase、ElasticSearch三種系統(tǒng)進(jìn)行數(shù)據(jù)的統(tǒng)一存儲(chǔ)。HDFS作為本系統(tǒng)數(shù)據(jù)的基礎(chǔ)存儲(chǔ)平臺(tái)。針對(duì)視頻數(shù)據(jù)，本文通過(guò)hadoop提供的API接口，實(shí)現(xiàn)將接收到的視頻流文件從本地上傳到HDFS中。面對(duì)海量數(shù)據(jù)查詢與檢索，必須要求系統(tǒng)具備很高的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)與性能，傳統(tǒng)數(shù)據(jù)庫(kù)幾乎無(wú)法完成多條件的查詢。為了實(shí)現(xiàn)海量數(shù)據(jù)秒回查詢，本系統(tǒng)對(duì)需要實(shí)時(shí)讀寫(xiě)、隨機(jī)訪問(wèn)的數(shù)據(jù)存入HBase中，HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式數(shù)據(jù)庫(kù)，并基于Elasticsearch建立分布式海量數(shù)據(jù)檢索服務(wù)，Elasticsearch的性能是solr的50倍，作為HBase數(shù)據(jù)倉(cāng)庫(kù)的查詢?nèi)肟?，?shí)現(xiàn)實(shí)時(shí)檢索，穩(wěn)定，可靠，快速。另外，HBase技術(shù)在廉價(jià)PC Server上可搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群，在實(shí)現(xiàn)系統(tǒng)PB級(jí)數(shù)據(jù)存儲(chǔ)能力的同時(shí)又節(jié)省了系統(tǒng)硬件投入。在本系統(tǒng)中，由于采集的數(shù)據(jù)量巨大，對(duì)分布式服務(wù)器節(jié)點(diǎn)的性能和存儲(chǔ)空間要求較大，本文通過(guò)采用LZO（Lempel-Ziv-Oberhumer）壓縮技術(shù)，將原始數(shù)據(jù)壓縮到12%左右，減少了78%的存儲(chǔ)資源，使集群能保存更多的數(shù)據(jù)，延長(zhǎng)集群的使用壽命。

（4）數(shù)據(jù)計(jì)算及分析。本系統(tǒng)采用基于Hive進(jìn)行標(biāo)準(zhǔn)SQL化分布式數(shù)據(jù)計(jì)算與挖掘，對(duì)存儲(chǔ)在HDFS中的海量數(shù)據(jù)，特別是MAC數(shù)據(jù)，采用類(lèi)SQL的查詢語(yǔ)言（HiveQL），對(duì)數(shù)據(jù)進(jìn)行離線管理和分析。實(shí)時(shí)計(jì)算適用于對(duì)歷史數(shù)據(jù)依賴不強(qiáng)，短時(shí)間內(nèi)變化較大的數(shù)據(jù)。如人車(chē)同蹤、尋找犯罪同伙等隨環(huán)境和時(shí)間實(shí)時(shí)變化的數(shù)據(jù)都可能用到實(shí)時(shí)計(jì)算。離線式的批處理框架MapReduce已經(jīng)不能滿足業(yè)務(wù)，大量的場(chǎng)景需要實(shí)時(shí)的數(shù)據(jù)處理結(jié)果來(lái)進(jìn)行分析，決策。本系統(tǒng)采用SparkStreaming進(jìn)行實(shí)時(shí)數(shù)據(jù)流并行分析與計(jì)算，SparkStreaming是Spark提供的分布式的大數(shù)據(jù)實(shí)時(shí)計(jì)算框架，是基于SparkCore的擴(kuò)展，它提供了動(dòng)態(tài)的，高吞吐量的，可容錯(cuò)的流式數(shù)據(jù)處理，可從多個(gè)數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)，然后使用復(fù)雜的算法和高級(jí)的函數(shù)算子進(jìn)行數(shù)據(jù)處理加工。最后可以將處理后的數(shù)據(jù)輸出到文件系統(tǒng)，數(shù)據(jù)庫(kù)和可視化界面，實(shí)現(xiàn)本系統(tǒng)高復(fù)雜、高強(qiáng)度的業(yè)務(wù)場(chǎng)景需求。

4 系統(tǒng)測(cè)試

完成系統(tǒng)的開(kāi)發(fā)之后，采用了黑盒和白盒的測(cè)試方法對(duì)系統(tǒng)進(jìn)行測(cè)試，經(jīng)測(cè)試，系統(tǒng)的功能、性能和兼容性等滿足預(yù)期要求。

5 系統(tǒng)應(yīng)用

構(gòu)建信息采集熱點(diǎn)，結(jié)合網(wǎng)格化管理等技術(shù)手段，形成一個(gè)基于MAC信息的人員定位網(wǎng)絡(luò)，同時(shí)與視頻監(jiān)控、網(wǎng)格化管理結(jié)合，可廣泛用于集體事件人員批量鎖定、社區(qū)網(wǎng)格化管理、景區(qū)管理等領(lǐng)域。

（1）人群計(jì)數(shù)及擁擠預(yù)警。利用采集的MAC地址數(shù)據(jù)，描繪系統(tǒng)應(yīng)用區(qū)域內(nèi)的人群密度信息，結(jié)合視頻監(jiān)控資源，實(shí)時(shí)監(jiān)測(cè)預(yù)警，避免群體性突發(fā)事件。（2）MAC地址碰撞。運(yùn)用大數(shù)據(jù)技術(shù)對(duì)MAC地址等數(shù)據(jù)進(jìn)行挖掘分析，初步確定可疑人員信息，并結(jié)合視頻監(jiān)控進(jìn)一步確認(rèn)，輔助社區(qū)景區(qū)管理及公安人員破案。（3）人車(chē)同蹤。MAC地址數(shù)據(jù)和視頻監(jiān)控?cái)?shù)據(jù)相結(jié)合，以MAC地址和車(chē)牌號(hào)為定位特征，可將同一時(shí)間、同一地點(diǎn)的人車(chē)進(jìn)行同步軌跡回放。（4）尋找犯罪團(tuán)伙和目擊證人。尋找犯罪同伙：不同案發(fā)地點(diǎn)采集到多個(gè)相同的MAC地址，可以排查是否是團(tuán)伙作案。尋找目擊證人：從案發(fā)地點(diǎn)采集到的MAC地址信息，找到該MAC地址對(duì)應(yīng)的人的真實(shí)身份，快速的定位現(xiàn)場(chǎng)目擊證人。（5）可視化布控告警。MAC地址精確布控：支持通過(guò)設(shè)定MAC地址、布控時(shí)間、布控地點(diǎn)等完成布控單。布控實(shí)時(shí)預(yù)警：滿足管理人員在線實(shí)時(shí)查看布控信息的需求，在出現(xiàn)符合布控條件的MAC時(shí)，支持彈出視頻及聲音警報(bào)。布控審批：滿足對(duì)使用者提交的布控單進(jìn)行審批的功能，根據(jù)布控單的審批階段及時(shí)在對(duì)應(yīng)人員的賬號(hào)下顯示。告警閉環(huán)處理：當(dāng)被布控的MAC地址出現(xiàn)時(shí)，可以有下面三種提示方式：大屏展示、短信通知和彈出客戶端，同時(shí)關(guān)聯(lián)現(xiàn)場(chǎng)視頻，并讓街面警員協(xié)助盤(pán)查。

6 結(jié)束語(yǔ)

利用平安城市、無(wú)線城市發(fā)展契機(jī)，通過(guò)對(duì)城市視頻數(shù)據(jù)、前端AP設(shè)備采集的手機(jī)MAC數(shù)據(jù)的采集、傳輸、存儲(chǔ)、融合、計(jì)算分析等，搭建基于大數(shù)據(jù)的智慧安全應(yīng)用服務(wù)系統(tǒng)，并提出該系統(tǒng)的五大應(yīng)用場(chǎng)景：人群計(jì)數(shù)及擁堵預(yù)警、MAC地址碰撞、人車(chē)同蹤、尋找犯罪團(tuán)伙和目擊證人、可視化布控告警，為城市公共安全管理供強(qiáng)有力的信息化支撐和保障。

參考文獻(xiàn)：

[1]高見(jiàn)，袁得崳.基于WIFI探針的預(yù)警系統(tǒng)設(shè)計(jì)與研究[J].中國(guó)人民公安大學(xué)學(xué)報(bào)，2016，3（1）：89-93.

[2]楊揚(yáng)，郝明磊，張璇.基于WiFi探針技術(shù)的無(wú)線安防系統(tǒng)設(shè)計(jì)[J].電子測(cè)量技術(shù)，2018，41（15）：128-132.