羅 俊 于 水 楊 維 孔華鋒

1(公安部第三研究所 上海 201203)2(上海銥芯信息科技有限公司 上海 201206)3(武漢商學(xué)院 湖北 武漢 430056)

0 引 言

公共安全新形勢(shì)下，諸多單一的數(shù)據(jù)采集、跟蹤、分析手段急需整合梳理以便發(fā)揮綜合效益。實(shí)時(shí)大數(shù)據(jù)碰撞系統(tǒng)通過(guò)對(duì)海量異構(gòu)數(shù)據(jù)的收集、整理、歸檔、分析、預(yù)測(cè)，從復(fù)雜的數(shù)據(jù)中挖掘出各類(lèi)數(shù)據(jù)背后所蘊(yùn)含的、必然的因果關(guān)系，找到隱含的規(guī)律，促使這些數(shù)據(jù)從量變到質(zhì)變，實(shí)現(xiàn)對(duì)各類(lèi)采集數(shù)據(jù)的深度應(yīng)用、綜合應(yīng)用和高端應(yīng)用。

目前建設(shè)的數(shù)據(jù)系統(tǒng)，還是以視頻分析(主要是人臉識(shí)別)為核心，輔助以戶籍身份、物流地址等數(shù)據(jù)源進(jìn)行綜合分析。在嫌犯反偵破意識(shí)普遍增強(qiáng)的新形勢(shì)下，僅利用傳統(tǒng)手段取得理想效果的難度越來(lái)越大。

得益于人工智能技術(shù)的突破和大數(shù)據(jù)基礎(chǔ)技術(shù)的發(fā)展，機(jī)器對(duì)人的識(shí)別能力達(dá)到了一個(gè)新的高度[1]。但是，一方面這些新興技術(shù)仍有其固有的操作盲點(diǎn)和缺陷，另一方面執(zhí)法部門(mén)掌握的傳統(tǒng)數(shù)據(jù)往往呈現(xiàn)出煙囪式孤島效應(yīng)，相互之間有著巨大的關(guān)聯(lián)價(jià)值卻不能得到充分利用。

隨著人和社會(huì)的爆炸式網(wǎng)絡(luò)化、電子化，越來(lái)越多的社會(huì)活動(dòng)和個(gè)體行為體現(xiàn)為數(shù)字化存在。手機(jī)實(shí)名制強(qiáng)制推廣之后，智能終端日趨成為人的第二身份索引，在專(zhuān)門(mén)機(jī)關(guān)掌握的各項(xiàng)大數(shù)據(jù)中，手機(jī)特征碼是最接近于身份證的精確信息，這使得電子世界中識(shí)別追蹤精確目標(biāo)人群不僅成為可能，而且成為必然。若能綜合利用關(guān)聯(lián)于個(gè)人的電子特征(手機(jī)IMSI、MAC等)、人體特征(人臉特征、姿態(tài)特征、衣著特征等)、出行工具(車(chē)牌、車(chē)型等)以及其他特征數(shù)據(jù)(居住餐飲、物流快遞、金融記錄、上網(wǎng)痕跡等)，勢(shì)必極大提高專(zhuān)門(mén)機(jī)關(guān)對(duì)刑事案件的研判能力和效率。

針對(duì)人臉、視頻流、車(chē)牌、手機(jī)特征碼這些數(shù)據(jù)孤島，如果能用機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘?qū)⑵渎?lián)系起來(lái)進(jìn)行綜合挖掘和分析，可以構(gòu)建目標(biāo)個(gè)體的物理特征和電子特征之間的強(qiáng)映射關(guān)系，這是單一數(shù)據(jù)來(lái)源所不能比擬的優(yōu)勢(shì)。對(duì)這些海量大數(shù)據(jù)進(jìn)行綜合后，警員可以不必穿插于各個(gè)平臺(tái)間進(jìn)行繁瑣的操作，而是通過(guò)直接融合各項(xiàng)數(shù)據(jù)實(shí)現(xiàn)戰(zhàn)法，破案效率和成功率有直接的提升[2-3]。

另一方面，大數(shù)據(jù)綜合之后，可以實(shí)時(shí)動(dòng)態(tài)地把控社會(huì)事態(tài)，異常人口聚集、流動(dòng)人口突發(fā)事件、重點(diǎn)區(qū)域來(lái)人預(yù)警、新進(jìn)外來(lái)人口識(shí)別等智能化分析需求也可以落地，無(wú)需社區(qū)警力實(shí)地排查，既省時(shí)又省力。

多種異構(gòu)大數(shù)據(jù)如圖1所示。

圖1 多種異構(gòu)大數(shù)據(jù)

目前專(zhuān)門(mén)機(jī)關(guān)領(lǐng)域多維數(shù)據(jù)融合已有一些解決方案，但都聚焦于IMSI和車(chē)牌或者IMSI和MAC地址之間的碰撞融合。相比于IMSI、MAC和車(chē)牌數(shù)據(jù)，人臉數(shù)據(jù)具有高度復(fù)雜和非結(jié)構(gòu)化的特點(diǎn)，因而實(shí)現(xiàn)人臉數(shù)據(jù)融合是一個(gè)難度較高的任務(wù)。人臉識(shí)別領(lǐng)域常用的1∶1和1∶N模型并不能適用于大規(guī)模人臉數(shù)據(jù)融合的場(chǎng)景。對(duì)于人臉、IMSI、車(chē)牌、MAC這樣的大面積密集采集場(chǎng)景，需要實(shí)時(shí)碰撞比對(duì)，目前的人臉對(duì)比模型很難勝任。1∶1人證合一模型僅適用于1對(duì)1的靜態(tài)配合場(chǎng)景，1∶N黑名單模型僅適用于對(duì)已知人臉庫(kù)的實(shí)時(shí)比對(duì)。實(shí)際的大規(guī)模部署中，需要實(shí)現(xiàn)海量日常人臉之間以及人臉數(shù)據(jù)和其他維度數(shù)據(jù)之間的實(shí)時(shí)在線碰撞比對(duì)，并快速動(dòng)態(tài)更新人臉、IMSI、MAC、車(chē)牌的映射關(guān)系。目前市場(chǎng)上各種解決方案動(dòng)輒需要上千萬(wàn)投資，且不支持在線實(shí)時(shí)挖掘，限制了大規(guī)模系統(tǒng)的部署和實(shí)施。怎樣用合理可行的算力實(shí)現(xiàn)大規(guī)模人臉數(shù)據(jù)融合是一個(gè)有技術(shù)含量的任務(wù)[4]。

本系統(tǒng)的先進(jìn)性在于突破1∶N的人臉模型，實(shí)現(xiàn)海量人臉(非靜態(tài)人臉庫(kù))和其他多維數(shù)據(jù)的融合，所有查詢(xún)均為實(shí)時(shí)結(jié)果，所有查詢(xún)均在1秒之內(nèi)完成，在充分利用所有可用的計(jì)算資源的同時(shí)，提供高伸縮性、高性?xún)r(jià)比的實(shí)時(shí)大數(shù)據(jù)挖掘解決方案。

1 系統(tǒng)架構(gòu)

整個(gè)大數(shù)據(jù)系統(tǒng)從邏輯上分為網(wǎng)絡(luò)拓?fù)?、硬件架?gòu)和軟件架構(gòu)三部分。網(wǎng)絡(luò)拓?fù)浣鉀Q特定行業(yè)大數(shù)據(jù)部署的基本架構(gòu)問(wèn)題，公共安全行業(yè)的大數(shù)據(jù)網(wǎng)絡(luò)拓?fù)溆衅涮囟ㄏ拗?，?duì)網(wǎng)絡(luò)隔離等安全性要求很高；硬件架構(gòu)上充分考慮伸縮性和性?xún)r(jià)比，利用先進(jìn)成熟的開(kāi)源理念，以分層可擴(kuò)展為核心，構(gòu)建可動(dòng)態(tài)擴(kuò)展的硬件部署方案；軟件架構(gòu)上利用成熟的大數(shù)據(jù)構(gòu)建組件，嵌入專(zhuān)有的異構(gòu)數(shù)據(jù)實(shí)時(shí)挖掘算法，達(dá)到對(duì)大規(guī)模多維數(shù)據(jù)實(shí)時(shí)處理的效果。

1.1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

根據(jù)專(zhuān)門(mén)機(jī)關(guān)對(duì)內(nèi)部各項(xiàng)專(zhuān)網(wǎng)安全性的要求，充分考慮落地建設(shè)的實(shí)際情況，在有視頻專(zhuān)網(wǎng)的地方盡量用視頻專(zhuān)網(wǎng)接入采集設(shè)備；在沒(méi)有視頻專(zhuān)網(wǎng)的地方依靠互聯(lián)網(wǎng)接入，但同時(shí)大力加強(qiáng)安全審計(jì)工作。除了系統(tǒng)本身內(nèi)置的各種安全措施，還要采取邊界隔離措施來(lái)確保數(shù)據(jù)的安全接入和嚴(yán)格保密，確保數(shù)據(jù)采集通道的接入不影響內(nèi)部各專(zhuān)網(wǎng)的安全性。網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖2所示。

圖2 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)示意圖

為防止未知的網(wǎng)絡(luò)漏洞或者操作系統(tǒng)漏洞造成損失，網(wǎng)與網(wǎng)之間的采集數(shù)據(jù)交換盡量采取文件交換的方式，杜絕一切網(wǎng)絡(luò)協(xié)議實(shí)現(xiàn)上的隱患，再通過(guò)安全檢測(cè)軟件和防火墻來(lái)控制端口訪問(wèn)，必要的地方使用網(wǎng)閘來(lái)進(jìn)行物理隔離。

1.2 硬件架構(gòu)

系統(tǒng)從硬件架構(gòu)上分為五層，分別是采集接入層、數(shù)據(jù)存儲(chǔ)層、實(shí)時(shí)計(jì)算層、應(yīng)用服務(wù)層和用戶訪問(wèn)層，如圖3所示。

圖3 硬件架構(gòu)示意圖

采集接入層包括各種采集設(shè)備，主要有綜合采集IMSI和MAC的熱點(diǎn)、人臉抓拍攝像機(jī)、車(chē)牌抓拍攝像機(jī)等。此外，該層還提供數(shù)據(jù)適配模塊以支持第三方數(shù)據(jù)的接入。第三方數(shù)據(jù)可以是快遞數(shù)據(jù)、人口數(shù)據(jù)、社交數(shù)據(jù)等一切有利于綜合分析比對(duì)挖掘的大數(shù)據(jù)源。

多樣化的場(chǎng)地為定向越野運(yùn)動(dòng)提供了充足的樂(lè)趣，如果校區(qū)在開(kāi)展定向越野運(yùn)動(dòng)中受到場(chǎng)地的制約，那么就要立足于本校的實(shí)際情況，充分挖掘校內(nèi)現(xiàn)有的資源條件，有選擇地選用器材，建立適合本校的運(yùn)動(dòng)方式。同時(shí)，要加強(qiáng)與其他學(xué)校的聯(lián)系，多組織跨校訓(xùn)練，實(shí)現(xiàn)資源互通，從而解決場(chǎng)地受限的問(wèn)題。

數(shù)據(jù)存儲(chǔ)層主要提供分布式大數(shù)據(jù)存儲(chǔ)功能。一方面相對(duì)于傳統(tǒng)的單點(diǎn)數(shù)據(jù)庫(kù)，該層具有分布式和冗余備份兩大功能。另一方面作為典型的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，該層還提供了節(jié)點(diǎn)線性拓展的可伸縮能力，幫助用戶從繁瑣的系統(tǒng)維護(hù)中解脫出來(lái)。

實(shí)時(shí)計(jì)算層主要提供分布式實(shí)時(shí)計(jì)算引擎。該層提供億級(jí)別的數(shù)據(jù)查詢(xún)與碰撞，具有極高的性能，所有查詢(xún)均以秒級(jí)返回結(jié)果。

應(yīng)用服務(wù)層主要向上提供各種服務(wù)接口，所有服務(wù)均以分布式拓展的方式組織起來(lái)，充分利用系統(tǒng)的資源，且各種服務(wù)均可以動(dòng)態(tài)刪減和加載。

用戶訪問(wèn)層主要提供用戶http訪問(wèn)系統(tǒng)服務(wù)的能力，提供各種查詢(xún)和操作功能。在該層還有安全審計(jì)模塊，提供必要的審計(jì)、鑒權(quán)、授權(quán)功能。

1.3 軟件架構(gòu)

如圖4所示，本系統(tǒng)軟件架構(gòu)遵循大數(shù)據(jù)系統(tǒng)的最新設(shè)計(jì)理念，充分利用成熟先進(jìn)的分布式組件搭建，在此基礎(chǔ)上又有獨(dú)到的創(chuàng)新。主要使用到的軟件組件技術(shù)、模塊包括：分布式消息隊(duì)列ActiveMQ[5]、分布式列式存儲(chǔ)數(shù)據(jù)庫(kù)Clickhouse[6]、分布式緩存Redis[7]、分布式服務(wù)注冊(cè)與發(fā)現(xiàn)Zookeeper[8]、分布式任務(wù)調(diào)度TBSchedule[9]、大規(guī)模分布式計(jì)算引擎(基于自研算法)、分布式日志系統(tǒng)Kafka[10]。

圖4 軟件系統(tǒng)架構(gòu)

2 關(guān)鍵技術(shù)

本系統(tǒng)針對(duì)行業(yè)痛點(diǎn)，設(shè)計(jì)了若干關(guān)鍵創(chuàng)新技術(shù)，主要包括海量人臉特征的快速比對(duì)、異構(gòu)數(shù)據(jù)結(jié)構(gòu)化交叉索引、高頻數(shù)據(jù)的多維度去重碰撞以及多重安全審計(jì)。

2.1 海量人臉特征比對(duì)

人臉識(shí)別算法日趨成熟，在公共安全行業(yè)內(nèi)有很多知名廠商，目前在人臉識(shí)別領(lǐng)域處于國(guó)際領(lǐng)先地位。但是行業(yè)內(nèi)均針對(duì)1∶N的模型進(jìn)行商業(yè)化運(yùn)作，底庫(kù)數(shù)量級(jí)一般達(dá)到100萬(wàn)左右。這對(duì)于黑名單應(yīng)用來(lái)說(shuō)已經(jīng)足夠，但是對(duì)于超大規(guī)模的實(shí)時(shí)人臉采集和比對(duì)沒(méi)有實(shí)用方案。經(jīng)過(guò)分析，深度學(xué)習(xí)的推理部分可以采用基于CPU的分布式比對(duì)方案，這樣可以充分利用CPU集群以及現(xiàn)代CPU多核技術(shù)，實(shí)現(xiàn)性能上的伸縮性。

與一般的SoftMax判別算法不同，本系統(tǒng)采取了google的triplets算子[11]，將人臉特征向量嵌入歐式空間，然后把特征向量以100萬(wàn)為單位分配到每個(gè)CPU核上去，可實(shí)現(xiàn)并發(fā)比對(duì)，按照相似度提取人臉識(shí)別結(jié)果后再通過(guò)分布式緩存系統(tǒng)匯總。這一做法大大提高了處理效率和系統(tǒng)擴(kuò)展性，保證了億級(jí)人臉的秒級(jí)查詢(xún)，是系統(tǒng)的關(guān)鍵技術(shù)之一。

2.2 異構(gòu)數(shù)據(jù)結(jié)構(gòu)化交叉索引

提取人臉特征向量的同時(shí)，還需要和同一時(shí)空點(diǎn)上的其他異構(gòu)數(shù)據(jù)進(jìn)行數(shù)據(jù)比對(duì)、聚類(lèi)、排序。同一GPS坐標(biāo)上的IMSI、MAC或者車(chē)牌采集信息都需要和人臉進(jìn)行互相標(biāo)記，并實(shí)時(shí)地與分布式數(shù)據(jù)庫(kù)中的歷史數(shù)據(jù)進(jìn)行聚類(lèi)和比對(duì)。為此需要設(shè)計(jì)高效、容錯(cuò)的異構(gòu)數(shù)據(jù)索引方法，讓算法引擎迅速完成數(shù)據(jù)的查找、比對(duì)和計(jì)算。

本系統(tǒng)設(shè)計(jì)了兩兩交叉的Hash索引，以IMSI、MAC、車(chē)牌為主索引，人臉特征聚類(lèi)中心為輔索引，所有關(guān)聯(lián)結(jié)果計(jì)算均在200毫秒內(nèi)完成。這一性能指標(biāo)符合實(shí)際應(yīng)用場(chǎng)景，有力保證了最終后臺(tái)實(shí)現(xiàn)秒級(jí)查詢(xún)的效果。

2.3 高頻數(shù)據(jù)的多維度去重

目前抓拍機(jī)本身已經(jīng)能夠保證10秒左右的人臉去重，但是MAC采集的重復(fù)率非常高，是典型的高頻數(shù)據(jù)。對(duì)于時(shí)間和空間上相互關(guān)聯(lián)的多維數(shù)據(jù)，不能簡(jiǎn)單地去重，需要綜合考慮異構(gòu)數(shù)據(jù)之間的潛在關(guān)聯(lián)關(guān)系。此外，鑒于采集設(shè)備本身的穩(wěn)定性和采集能力限制，還要考慮部分?jǐn)?shù)據(jù)缺失時(shí)的算法處理，不能因此去掉了不該去掉的數(shù)據(jù)。

實(shí)踐中還發(fā)現(xiàn)，不同采集設(shè)備還受到供電、安裝位置、時(shí)鐘對(duì)齊等眾多因素的影響，這些都是海量數(shù)據(jù)清洗、使用過(guò)程中必須重視的問(wèn)題。

2.4 層次化安全審計(jì)

系統(tǒng)安全性包括兩大方面，設(shè)備安全控制和訪問(wèn)安全控制。為此系統(tǒng)設(shè)計(jì)了分層次的安全審計(jì)架構(gòu)，如表1所示。

表1 層次化安全審計(jì)

不同于IT互聯(lián)網(wǎng)行業(yè)，公共安全行業(yè)大數(shù)據(jù)系統(tǒng)特別強(qiáng)調(diào)安全性。本系統(tǒng)中把安全審計(jì)作為一個(gè)特殊的關(guān)鍵技術(shù)來(lái)設(shè)計(jì)，從設(shè)備、傳輸、接入、訪問(wèn)諸多方面設(shè)計(jì)了種種安全手段，有力地保證了整個(gè)大數(shù)據(jù)系統(tǒng)的安全保密性能。

3 實(shí)施效果

以江蘇某地級(jí)市為例，系統(tǒng)設(shè)計(jì)部署的處理能力如下：車(chē)牌抓拍一周的數(shù)據(jù)量為1 800萬(wàn)條，一年存量數(shù)據(jù)約10億條；200個(gè)高清攝像頭，一天捕獲人臉數(shù)量約為200萬(wàn)，3個(gè)月存量數(shù)據(jù)為1.8億；IMSI采集一天約100萬(wàn)，一年存量數(shù)據(jù)為3.5億；MAC采集100個(gè)點(diǎn)，一天數(shù)據(jù)量為4 000萬(wàn)條，一年存量數(shù)據(jù)約150億條。所有的查詢(xún)必須在1秒內(nèi)完成，這要求大數(shù)據(jù)系統(tǒng)必須實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的在線處理功能，否則一處積壓、處處積壓。

人臉采集索引運(yùn)行效果圖如圖5所示。

圖5 人臉采集索引運(yùn)行效果圖

多維異構(gòu)數(shù)據(jù)挖掘?qū)崟r(shí)查詢(xún)效果如圖6所示。

圖6 多維異構(gòu)數(shù)據(jù)挖掘?qū)崟r(shí)查詢(xún)效果

系統(tǒng)在實(shí)際運(yùn)行中效果良好，人臉、車(chē)牌、IMSI、MAC的交叉索引、快速查詢(xún)、聚類(lèi)收斂等各項(xiàng)動(dòng)態(tài)指標(biāo)均達(dá)到設(shè)計(jì)預(yù)期，秒級(jí)響應(yīng)、實(shí)時(shí)挖掘的創(chuàng)新特性得到用戶的好評(píng)。

4 結(jié) 語(yǔ)

本文通過(guò)使用多項(xiàng)大數(shù)據(jù)關(guān)鍵技術(shù)，針對(duì)行業(yè)實(shí)際情況設(shè)計(jì)架構(gòu)和算法，解決了當(dāng)前公共安全行業(yè)中大數(shù)據(jù)落地的一些痛點(diǎn)問(wèn)題。海量異構(gòu)數(shù)據(jù)的實(shí)時(shí)挖 掘和用戶體驗(yàn)上的快捷需求，把政法行業(yè)各個(gè)數(shù)據(jù)孤 島聯(lián)系起來(lái)，真正發(fā)揮出了大數(shù)據(jù)的威力。所設(shè)計(jì)和 實(shí)現(xiàn)的大數(shù)據(jù)系統(tǒng)已經(jīng)成為多個(gè)實(shí)際政府部門(mén)的運(yùn)作 平臺(tái)，為社會(huì)安全治理、反恐、案件偵辦、情報(bào)分析等諸 多領(lǐng)域作出了重要貢獻(xiàn)。

下一步演進(jìn)方向是考慮未來(lái)的5G物聯(lián)網(wǎng)，接入更多的海量異構(gòu)數(shù)據(jù)，實(shí)時(shí)挖掘更大量、更多類(lèi)數(shù)據(jù)之間的普遍聯(lián)系和規(guī)律以便更好地為公共安全服務(wù)。