王曉泓

(上海市警衛(wèi)局，上海 200030)

一、引言

隨著我國國際地位的不斷提升，各類重大活動、重要會議頻繁舉辦。與此同時(shí)，國際恐怖活動猖獗，國內(nèi)社會矛盾凸顯，突發(fā)事件頻發(fā)，警衛(wèi)安保任務(wù)面臨嚴(yán)峻考驗(yàn)。利用前沿科技，對突發(fā)事件處置工作的指揮體系、流程、方法和效果進(jìn)行科學(xué)推演，進(jìn)而高效處置，確保重大活動順利安全舉辦，既是構(gòu)建和諧社會的需要，也是警衛(wèi)安保部門亟須解決的重大課題和國際社會長期關(guān)注的焦點(diǎn)問題。

本文遵循重大活動“全方位、大數(shù)據(jù)、高時(shí)效、高可靠”的安全保衛(wèi)工作總則，針對國內(nèi)外警衛(wèi)安保領(lǐng)域所面臨的“立體、動態(tài)、智能”預(yù)警推演重大技術(shù)挑戰(zhàn)，運(yùn)用物聯(lián)網(wǎng)、人工智能、復(fù)雜系統(tǒng)仿真及大數(shù)據(jù)處理等技術(shù)，克服在大范圍、復(fù)雜時(shí)空環(huán)境中，對各種警衛(wèi)安全工作所涉信息全方位動態(tài)采集、主動預(yù)警和高效處置所面臨的特殊困難，展開“人群—事件—場景—推演”的智能化綜合分析技術(shù)攻關(guān)，形成自主的技術(shù)體系和成套設(shè)備，實(shí)現(xiàn)重大活動安全保衛(wèi)工作從“平面、靜態(tài)”到“立體、動態(tài)”的躍升，為各類重大活動中突發(fā)事件的快速反應(yīng)、科學(xué)決策、正確指揮、高效處置提供強(qiáng)有力的技術(shù)保障，確保國家安全、社會穩(wěn)定和經(jīng)濟(jì)發(fā)展[1]。

二、面臨的主要技術(shù)難題

近年來，我國成功舉辦的2008年北京奧運(yùn)會、2010年上海世博會、2014年北京APEC峰會、2015年“9·3”抗戰(zhàn)勝利紀(jì)念日閱兵等一系列重大活動，具有規(guī)格高、規(guī)模大、人群多、地域廣、時(shí)間長、警衛(wèi)對象高度集中等特點(diǎn)[2]，對其中可能發(fā)生的突發(fā)事件預(yù)警、推演、處置，面臨如下技術(shù)難題。

(一)異常目標(biāo)感知分析

大范圍密集人群場景下，嚴(yán)重遮擋和透射畸變嚴(yán)重影響目標(biāo)群的精確提取。同時(shí)，原有的目標(biāo)人群檢測模型只能定位目標(biāo)群，無法對異常目標(biāo)人群數(shù)目、密集度、集群性、凝聚力等態(tài)勢給出有效分析，致使對重大活動與警衛(wèi)對象的危險(xiǎn)評估精準(zhǔn)度不高。亟須設(shè)計(jì)通用性強(qiáng)、高精準(zhǔn)的目標(biāo)人群理解算法框架，顯著提升智能監(jiān)測系統(tǒng)對特定目標(biāo)群的態(tài)勢感知能力，為異常、可疑、特定目標(biāo)準(zhǔn)確分析判斷提供基礎(chǔ)。

(二)高時(shí)效事件預(yù)警

重大活動現(xiàn)場覆蓋區(qū)域廣闊，警衛(wèi)目標(biāo)數(shù)量多，相關(guān)安保布勤工作時(shí)間和空間跨度大。例如，上海世博中心占地面積為6.654公頃，總建筑面積約14萬平方米，僅世博中心建筑體內(nèi)外就安裝了約800路攝像頭，24小時(shí)無間斷工作產(chǎn)生海量視頻數(shù)據(jù)。重大活動時(shí)將會對世博中心周邊幾公里的區(qū)域進(jìn)行布控，則視頻數(shù)據(jù)量會更大。傳統(tǒng)的視頻智能分析技術(shù)缺乏有效手段識別包含多個(gè)特定目標(biāo)的、跨相機(jī)的群體協(xié)同行為，缺乏表征群體協(xié)同行為中事件序列之間相關(guān)性的聚類模型，以及事件序列中基元事件之間順序關(guān)系和因果關(guān)系的激勵(lì)模型。亟須研制基于點(diǎn)過程因果推斷的突發(fā)事件預(yù)測模型，突破大范圍跨域復(fù)雜情形下突發(fā)事件的提前預(yù)警問題。

(三)全信息融合顯示

源自于多路實(shí)時(shí)視頻的海量圖像信息，以及手機(jī)、RFID、GPS、北斗、傳感器、警務(wù)通等獲得的大量零散數(shù)據(jù)，給警衛(wèi)安保重點(diǎn)區(qū)域全場景的整體關(guān)聯(lián)、綜合調(diào)度和全程調(diào)度指揮帶來了巨大挑戰(zhàn)。亟須設(shè)計(jì)以警衛(wèi)對象、警衛(wèi)目標(biāo)和突發(fā)事件為尋蹤中心的多維度線索全信息融合顯示平臺，突破分布式監(jiān)控視頻中目標(biāo)人群動態(tài)信息和孤立動態(tài)場景圖像序列在三維圖形場景中的無縫融合，解決警衛(wèi)安保力量部署全信息直觀展示和事件多粒度觀察的問題，從過去的看得見，到現(xiàn)在的看得懂、將來的看得透[3]。

(四)科學(xué)高效動態(tài)處置

由于警衛(wèi)重大活動處突實(shí)戰(zhàn)演練組織難度高、經(jīng)費(fèi)需求多、社會影響大，尤其是眾多警衛(wèi)安保目標(biāo)地處市中心、鬧市區(qū)，周邊情況復(fù)雜、敏感性高、易擾民，演練不可能成為常態(tài)。同時(shí)，面向全面實(shí)戰(zhàn)模擬的數(shù)字推演技術(shù)面臨時(shí)間瓶頸問題。亟須研究實(shí)時(shí)環(huán)境驅(qū)動的動態(tài)推演技術(shù)，通過設(shè)計(jì)元胞自動機(jī)的驅(qū)動源以及計(jì)算資源調(diào)度智能優(yōu)化策略，解決警衛(wèi)重大活動處突工作的最大難點(diǎn)——?jiǎng)討B(tài)地為突發(fā)事件提供科學(xué)的、及時(shí)的應(yīng)急預(yù)案處置。

三、主要技術(shù)體系

針對上述技術(shù)難題，重大活動突發(fā)事件多維預(yù)警與動態(tài)推演技術(shù)體系設(shè)計(jì)如圖1所示：

圖1 突發(fā)事件多維預(yù)警與動態(tài)推演技術(shù)體系

1.提出面向密集人群感知的視頻深度分析技術(shù)，解決復(fù)雜、動態(tài)場景下對樣本稀疏的特定目標(biāo)人群自動進(jìn)行高精準(zhǔn)定位以及態(tài)勢預(yù)測的難題[4]。2.提出面向突發(fā)事件檢測的跨域因果推斷技術(shù)，保障大范圍、跨域復(fù)雜情形下突發(fā)事件的提前預(yù)警[5]。3.提出立體化高動態(tài)的場景多維度信息融合技術(shù)，解決警衛(wèi)安保工作勤務(wù)部署全局直觀展示和事件多粒度觀察的問題。4.提出實(shí)時(shí)場景驅(qū)動的動態(tài)勤務(wù)推演技術(shù)，解決重大活動警衛(wèi)安保工作的最大難點(diǎn)——?jiǎng)討B(tài)地為突發(fā)事件提供科學(xué)的、及時(shí)的應(yīng)急預(yù)案處置。

四、主要技術(shù)創(chuàng)新點(diǎn)

(一)面向密集人群感知的視頻深度分析技術(shù)

當(dāng)應(yīng)用環(huán)境發(fā)生變化時(shí)，原有的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)方法通常因樣本稀少，導(dǎo)致對目標(biāo)特征的描述能力不穩(wěn)定，存在著目標(biāo)檢測模型對動態(tài)場景適應(yīng)性差的問題。本創(chuàng)新點(diǎn)提出目標(biāo)視頻樣本多樣性增強(qiáng)方法和具有多層異構(gòu)神經(jīng)元結(jié)構(gòu)的大規(guī)模視頻深度分析模型，利用目標(biāo)視頻樣本多樣性增強(qiáng)方法和具有多層異構(gòu)神經(jīng)元結(jié)構(gòu)的大規(guī)模視頻深度分析模型，解決復(fù)雜、動態(tài)場景下對樣本稀疏的特定目標(biāo)群自動進(jìn)行高精準(zhǔn)定位以及態(tài)勢預(yù)測的難題[6]，分述如下：

1．目標(biāo)視頻樣本多樣性增強(qiáng)方法：對目標(biāo)圖像關(guān)鍵點(diǎn)進(jìn)行對齊并對關(guān)鍵點(diǎn)位置進(jìn)行擾動，通過采用線性變換、仿射變換、分塊仿射變換等生成新的目標(biāo)樣本。通過增加樣本的多樣性和訓(xùn)練量，解決因樣本稀疏導(dǎo)致的目標(biāo)檢測模型通用性差的問題。

2．多層異構(gòu)神經(jīng)元結(jié)構(gòu)的視頻圖像分類模型：采用無監(jiān)督學(xué)習(xí)的方式提取包含類間區(qū)分性和空間區(qū)域性的圖像特征，具備表達(dá)圖像和視頻中復(fù)雜語義模式的能力，能夠?qū)崿F(xiàn)對場景類別、目標(biāo)類別、目標(biāo)關(guān)鍵部位類別的實(shí)時(shí)同步分析。

3．大范圍目標(biāo)人群的態(tài)勢感知模型：針對特定的目標(biāo)群體，采用基于大規(guī)模密集場景數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)模型，自動提取對動態(tài)變化場景具有普適性的目標(biāo)群體特征；在該特征空間中，基于特征匹配獲得訓(xùn)練數(shù)據(jù)集中相似目標(biāo)群體的態(tài)勢數(shù)據(jù)，并通過無監(jiān)督聚類方法獲得目標(biāo)群體的精確分割，從而實(shí)現(xiàn)對當(dāng)前目標(biāo)群體的精確定位與態(tài)勢預(yù)測[7]。

(二)面向突發(fā)事件預(yù)警的跨域因果推斷技術(shù)

重大活動及突發(fā)事件的現(xiàn)場覆蓋區(qū)域廣闊，涉及的特定目標(biāo)人群以及協(xié)同行為時(shí)間空間跨度大，這對目標(biāo)的檢測、跟蹤和行為識別帶來了極大挑戰(zhàn)。同時(shí)，傳統(tǒng)的視頻智能分析技術(shù)缺失有效手段實(shí)現(xiàn)對異常事件的預(yù)測，導(dǎo)致突發(fā)事件預(yù)警時(shí)效性受到極大局限。

通過設(shè)計(jì)目標(biāo)的長期跟蹤機(jī)制與跨相機(jī)的目標(biāo)重識別機(jī)制，提取目標(biāo)群體協(xié)同行為的時(shí)空軌跡；在時(shí)空軌跡約束下，基于點(diǎn)過程建立表征協(xié)同行為中事件序列之間相關(guān)性的聚類模型，以及表征事件序列中基元事件之間順序關(guān)系和因果關(guān)系的激勵(lì)模型；基于重大活動安保案例事件庫實(shí)現(xiàn)突發(fā)事件的聚類分析和激勵(lì)模式匹配，解決大范圍跨域復(fù)雜情形下突發(fā)事件的提前預(yù)警問題。

圖2為本創(chuàng)新點(diǎn)提出的面向突發(fā)事件預(yù)警的跨域因果推斷技術(shù)框架，該框架包括基于四元光流和分層卷積特征相關(guān)匹配的長期目標(biāo)跟蹤技術(shù)、跨攝像機(jī)的重識別技術(shù)和基于點(diǎn)過程因果推斷的事件預(yù)測等三項(xiàng)創(chuàng)新關(guān)鍵技術(shù)，分述如下：

1．特定目標(biāo)的長期穩(wěn)定跟蹤技術(shù)：提取四元數(shù)顏色角點(diǎn)，與灰度角點(diǎn)共同構(gòu)成良好的目標(biāo)特征點(diǎn)集，采用四元數(shù)光流估計(jì)算法在目標(biāo)特征點(diǎn)位置獲得更準(zhǔn)確的短期跟蹤結(jié)果[8]。同時(shí)，提出基于分層卷積特征相關(guān)匹配的目標(biāo)檢測技術(shù)，通過跟蹤—學(xué)習(xí)—檢測的算法框架，解決復(fù)雜背景下目標(biāo)長期跟蹤任務(wù)中“跟得上、跟得準(zhǔn)”的難題[9]。

2．跨相機(jī)的目標(biāo)重識別技術(shù)：針對跨域聯(lián)網(wǎng)監(jiān)控視頻中運(yùn)動目標(biāo)的姿態(tài)變化、遠(yuǎn)近景之間目標(biāo)尺度的變化，視野盲區(qū)和遮擋情形下目標(biāo)的重新捕獲，采用基于加權(quán)陸地距離與步態(tài)特征的目標(biāo)重識別技術(shù)，突破了特定目標(biāo)的跨相機(jī)重識別難題[10]。

3．基于因果推斷的事件預(yù)測技術(shù)：基于點(diǎn)過程建立表征協(xié)同行為中事件序列之間相關(guān)性的聚類模型，以及表征事件序列中基元事件之間順序關(guān)系和因果關(guān)系的激勵(lì)模型；基于警衛(wèi)重大活動安保案例事件庫對突發(fā)事件進(jìn)行聚類分析和激勵(lì)模式匹配，解決大范圍跨域復(fù)雜情形下突發(fā)事件的提前預(yù)警問題。

(三)立體化高動態(tài)的場景融合技術(shù)

警衛(wèi)重大活動安保工作面臨著大量孤立的視頻源時(shí)空不連續(xù)，無法展現(xiàn)整體場景的問題。同時(shí)，缺乏有效手段直觀展示安保力量部署的全部線索信息，難以針對警衛(wèi)對象、警衛(wèi)目標(biāo)和突發(fā)事件進(jìn)行預(yù)演分析，實(shí)現(xiàn)指揮防控體系的高效運(yùn)作。亟須突破以警衛(wèi)對象和警衛(wèi)目標(biāo)為中心的多維度線索融合技術(shù)。

通過將分布式監(jiān)控視頻中目標(biāo)人群的動態(tài)信息和孤立動態(tài)場景圖像序列與三維圖形場景進(jìn)行無縫融合，實(shí)現(xiàn)了從孤立的分鏡頭畫面到以警衛(wèi)對象、警衛(wèi)目標(biāo)和突發(fā)事件為尋蹤中心的全景全信息融合顯示的飛躍，解決了警衛(wèi)安保力量部署全信息直觀展示和事件多粒度觀察的問題[11]。

圖3為利用本創(chuàng)新點(diǎn)實(shí)現(xiàn)的全時(shí)空多維線索可視化展示平臺，該平臺需要兩個(gè)關(guān)鍵技術(shù)的支撐，分述如下：

1．穩(wěn)健的全景圖像拼接技術(shù)：全景視頻圖像拼接融合到三維虛擬場景數(shù)據(jù)中，即可實(shí)現(xiàn)全時(shí)空高動態(tài)場景展示。多個(gè)監(jiān)控相機(jī)捕捉到的多視點(diǎn)視頻圖像，通常存在重疊區(qū)域小、特征點(diǎn)稀疏、雜亂背景干擾等現(xiàn)象，采用全局外觀一致性約束優(yōu)化局部特征點(diǎn)匹配結(jié)果，攻克了關(guān)鍵點(diǎn)特征匱乏以及局外點(diǎn)干擾顯著情形下的圖像匹配難題，顯著提高了全景圖像拼接的精確度[12]。

圖2 面向突發(fā)事件預(yù)警的跨域因果推斷技術(shù)框架

圖3 全時(shí)空多維線索可視化展示平臺

2．多維信息融合顯示技術(shù)：基于相機(jī)標(biāo)定技術(shù)，建立視頻圖像數(shù)據(jù)和三維場景空間的坐標(biāo)變換關(guān)系，將實(shí)時(shí)采集的動態(tài)視頻數(shù)據(jù)拼接融合到三維場景的空間數(shù)據(jù)中，實(shí)現(xiàn)全景立體視頻顯示，并將多種傳感器信息、目標(biāo)人群動態(tài)信息、事件預(yù)警信息等整合到全景立體視頻中，以實(shí)現(xiàn)全方位的多維信息融合展示。

(四)實(shí)時(shí)場景驅(qū)動的動態(tài)勤務(wù)推演技術(shù)

重大活動安保工作的難點(diǎn)之一在于對全局資源的合理調(diào)派，以及全面的實(shí)戰(zhàn)模擬可行性低。亟須開發(fā)實(shí)時(shí)場景驅(qū)動的動態(tài)推演軟件系統(tǒng)，實(shí)現(xiàn)對突發(fā)事件的快速決策、高效組織和科學(xué)處置。

根據(jù)突發(fā)事件實(shí)際特性及周邊環(huán)境設(shè)計(jì)元胞自動機(jī)的前端輸入和驅(qū)動源[13]，并采用資源調(diào)度智能優(yōu)化策略對動態(tài)目標(biāo)人群以及重點(diǎn)安保目標(biāo)快速建立高分辨率的、精準(zhǔn)的仿真推演模型，突破了全面實(shí)戰(zhàn)模擬的時(shí)間瓶頸，解決了重大活動警衛(wèi)安保工作的最大難點(diǎn)——?jiǎng)討B(tài)地為突發(fā)事件提供科學(xué)的、及時(shí)的應(yīng)急處置預(yù)案。

圖4為利用本創(chuàng)新點(diǎn)實(shí)現(xiàn)的實(shí)時(shí)環(huán)境驅(qū)動的動態(tài)推演系統(tǒng)，該系統(tǒng)包括大規(guī)模三維場景的高效渲染技術(shù)、疏散自動模型技術(shù)和多源異構(gòu)數(shù)據(jù)交互技術(shù)等三項(xiàng)創(chuàng)新關(guān)鍵技術(shù)，分述如下：

1．大規(guī)模三維場景的高效渲染技術(shù)：通過將三維模型無縫集成到矢量地形場景中，以及對地形分層分塊集合的效率優(yōu)化繪制，實(shí)現(xiàn)對大規(guī)模三維場景的高效渲染，獲得最佳的虛擬實(shí)現(xiàn)效果。

2．多源異構(gòu)數(shù)據(jù)交互技術(shù)：通過空間因子耦合建立起各模型參數(shù)在各空間觀測尺度間的映射關(guān)系及時(shí)間因子耦合的重采樣或插值實(shí)現(xiàn)各模型之間不同時(shí)間分辨率下數(shù)據(jù)的轉(zhuǎn)換，來突破異構(gòu)環(huán)境下多源實(shí)體數(shù)據(jù)的同步交融問題，確保各實(shí)時(shí)環(huán)境變化量的相互通信和協(xié)作，作為動態(tài)推演的前端驅(qū)動。

圖4 實(shí)時(shí)環(huán)境驅(qū)動的動態(tài)推演系統(tǒng)

3．疏散自動模型技術(shù)：利用自主核心的疏散模型，結(jié)合三維場景，在微觀和中觀層面研究不同對象在各種復(fù)雜環(huán)境下的人群群體性運(yùn)動規(guī)律。所有微觀個(gè)體根據(jù)局部環(huán)境自行決策如何運(yùn)動，但受中觀人群數(shù)學(xué)模型的控制，并通過適時(shí)調(diào)節(jié)微觀及中觀建模占比，來達(dá)到實(shí)效性計(jì)算的平衡[14]。在此結(jié)果基礎(chǔ)上，結(jié)合三維場景建立各類模擬疏散、排兵布陣推演模型。

五、結(jié)束語

基于上述技術(shù)和設(shè)備，成功研制“突發(fā)事件預(yù)警系統(tǒng)”“全時(shí)空立體可視化布勤系統(tǒng)”“警衛(wèi)重大活動突發(fā)事件處置預(yù)案推演系統(tǒng)”三個(gè)應(yīng)用系統(tǒng)，應(yīng)用范圍涵蓋公共安全管理、國內(nèi)反恐工作、突發(fā)事件應(yīng)急指揮、重大活動警衛(wèi)安保勤務(wù)部署等多個(gè)領(lǐng)域，研發(fā)成果被上海市政府授予科技進(jìn)步二等獎(jiǎng)。今后重點(diǎn)研究方向是：如何拓展監(jiān)控視頻深度分析技術(shù)，能夠?qū)崿F(xiàn)密集人群的意向性可能狀態(tài)屬性的預(yù)測，在應(yīng)用領(lǐng)域更具挑戰(zhàn)性的大群體、弱環(huán)境情況下進(jìn)行動態(tài)推演。大群體將使計(jì)算量突變，需要從宏觀層面適配大群體演化算法，再調(diào)整中觀和微觀的算法占比，使模擬和推演的時(shí)效性更高。

[1] 國務(wù)院.國家突發(fā)公共事件總體應(yīng)急預(yù)案[Z].2006-01-08.

[2] 王曉泓.上海世博會警衛(wèi)勤務(wù)信息系統(tǒng)建設(shè)與應(yīng)用[J].武警學(xué)院學(xué)報(bào)，2012，28(7)：15-17.

[3] YAN Qing， XU Yi， YANG Xiaokang.Separation of weak reflection from a single superimposed image[J]. IEEE Signal Processing Letters，2014，21(10)：1173-1176.

[4] ZHANG Cong， KANG Kai， LI Hongsheng， et al. Data-driven crowd understanding： a baseline for a large scale crowd dataset[J]. IEEE Trans on Multimedia，2016：1-15.

[5] ZHU Jun， WANG Baoyuan， YANG Xiaokang， et al. Action recognition with actions[C]. Proc of IEEE International Conference on Computer Vision.2013：3559-3566.

[6] MA Lianyang， YANG Xiaokang， XU Yi， et al. Generalized EMD with body prior for pedestrian identification[J]. Journal of Visual Communication and Image Representation，2013，24(6)：708-716.

[7] CHEN Erkang， XU Yi， YANG Xiaokang， et al. Robust event detection scheme for complex scenes in video surveillance[J]. Optical Engineering，2011，50(7)：1-9.

[8] CHEN Erkang， XU Yi， YANG Xiaokang， et al. Quaternion based optical flow estimation for robust object tracking[J]. Digital Image Processing，2013，23(1)：118-125.

[9] MA Chao， YANG Xiaokang， ZHANG Chongyang， et al. Long-term correlation tracking [C]. IEEE Conference on Computer Vision and Pattern Recognition.2015：5388-5396.

[10] ZHANG C， WANG X G， YANG X K. Cross-scene crowd counting via deep convolutional neural networks[C]. IEEE Conf on Computer Vision and Pattern Recognition.2015：833-841.

[11] ZHU Jun， WU Tianfu， ZHU S C， et al. A reconfigurable tangram model for scene representation and categorization[J]. IEEE Transactions on Image Processing， 2015，25(1)：150-166.

[12] XU Yi， YU Licheng， XU Hongteng， et al. Vector sparse representation of color image using quaternion matrix analysis[J]. IEEE Trans on Image Processing，2015，24(4)：1315-1329.

[13] 郭玉榮，郭磊，肖巖.基于元胞自動機(jī)理論的緊急人員疏散模擬[J].湖南大學(xué)學(xué)報(bào)(自然科學(xué)版)，2011，38(11)：25-29.

[14] ZHAO J， XU Y， YANG X， et al. Crowd instability analysis using velocity-field based social force model[C]. Visual Communications and Image Processing(VCIP).2011：1-4.