王曉泓

突發(fā)群體事件的智能視頻網(wǎng)絡(luò)與預(yù)警技術(shù)研討

王曉泓

為確保群體突發(fā)事件的有效處置,提出面向群體的智能視頻深度分析網(wǎng)絡(luò)、實(shí)時(shí)場(chǎng)景驅(qū)動(dòng)動(dòng)態(tài)處置等技術(shù),解決復(fù)雜、動(dòng)態(tài)、密集人群場(chǎng)景中對(duì)可疑目標(biāo)進(jìn)行自動(dòng)定位、態(tài)勢(shì)預(yù)測(cè)與主動(dòng)預(yù)警的難題,為群體突發(fā)事件處置提供科學(xué)的預(yù)案,成果的實(shí)現(xiàn)和推廣應(yīng)用,將取得較好的社會(huì)和經(jīng)濟(jì)效益.

突發(fā)群體事件;智能視頻;預(yù)警技術(shù)

1 概述

近年來(lái),國(guó)際恐怖活動(dòng)猖獗,國(guó)內(nèi)社會(huì)矛盾凸顯,一些重點(diǎn)區(qū)域突發(fā)公共群體事件頻發(fā),已經(jīng)在一定程度上影響到社會(huì)的長(zhǎng)治久安和經(jīng)濟(jì)的健康發(fā)展.為了保障公眾的生命財(cái)產(chǎn)安全,保證各類大型群體活動(dòng)的安全,如何利用智能視頻深度分析、人工智能等前沿科技,在相關(guān)區(qū)域建立起立體的智能視頻監(jiān)控網(wǎng)絡(luò)和綜合預(yù)警系統(tǒng),克服在大范圍、復(fù)雜時(shí)空環(huán)境中,對(duì)各種安全工作所涉信息全方位動(dòng)態(tài)采集、主動(dòng)預(yù)警和高效處置所面臨的特殊困難,確保群體突發(fā)事件處置工作的流程、方法和效果科學(xué)高效,確保國(guó)家安全、社會(huì)穩(wěn)定和經(jīng)濟(jì)發(fā)展[1].

本項(xiàng)目重點(diǎn)研究以智能攝像頭為主,融合3D人像識(shí)別、人臉識(shí)別、異常事件檢測(cè)等技術(shù)的多傳感器監(jiān)控網(wǎng)絡(luò),并在此基礎(chǔ)上對(duì)多攝像頭圖像的全景融合、背景更新、人群建模、目標(biāo)行為特征提取、分析和標(biāo)注等算法進(jìn)行研究,并重點(diǎn)在區(qū)域人群密度估計(jì)和群體行為動(dòng)態(tài)分析的基礎(chǔ)上,感知和預(yù)測(cè)重點(diǎn)監(jiān)控區(qū)域群體的行為,對(duì)視頻中異常行為事件進(jìn)行實(shí)時(shí)提取和篩選,再結(jié)合地理位置信息和電子地圖構(gòu)建可視化,通過(guò)綜合通信系統(tǒng)進(jìn)行的主動(dòng)預(yù)警系統(tǒng),同時(shí)自動(dòng)啟動(dòng)應(yīng)急預(yù)案,有效提高重點(diǎn)區(qū)域公共事件處置的能力, 最大程度地預(yù)防和減少突發(fā)群體性事件對(duì)社會(huì)和經(jīng)濟(jì)造成的損害.

2 趨勢(shì)判斷和需要分析

2.1 國(guó)內(nèi)外研究現(xiàn)狀和發(fā)展趨勢(shì)

如何建立和健全應(yīng)對(duì)重點(diǎn)區(qū)域突發(fā)公共群體事件的視頻網(wǎng)絡(luò)和預(yù)警體系,形成統(tǒng)一指揮、功能齊全、反應(yīng)靈敏、運(yùn)轉(zhuǎn)高效的應(yīng)急機(jī)制,提高保障公共安全和處置突發(fā)事件的能力,既是政府加強(qiáng)社會(huì)管理和公共服務(wù)職能的重要工作,也是構(gòu)建和諧社會(huì)的迫切需求.

智能視頻監(jiān)控網(wǎng)絡(luò)與預(yù)警在最近幾年里取得了一定的進(jìn)展,國(guó)際上以卡內(nèi)基梅隆大學(xué)(CMU)、麻省理工(MIT),IBM的S3(Smart Surveillance System)項(xiàng)目組和Intel的IRISNET(Internetscale,Resource-intensive Sensor Network Service)為代表在智能視頻處理算法領(lǐng)域處于領(lǐng)先地位.以卡內(nèi)基梅隆大學(xué)為首、麻省理工學(xué)院等高校參與的視覺(jué)監(jiān)控重大項(xiàng)目VSAM(Visual Surveillance and Monitoring),主要研究用于戰(zhàn)場(chǎng)及普通民用場(chǎng)景進(jìn)行監(jiān)控的自動(dòng)視頻理解技術(shù).英國(guó)的雷丁大學(xué)(University of Reading)已經(jīng)開(kāi)展了對(duì)車輛和行人的跟蹤及其交互作用識(shí)別的相關(guān)研究;由Haritaoglu I等人提出的W4系統(tǒng)是一套實(shí)時(shí)視覺(jué)監(jiān)控系統(tǒng),它不僅能夠定位人和分割出人的身體部分,而且通過(guò)建立外觀模型來(lái)實(shí)現(xiàn)多人的跟蹤,并可以檢測(cè)人是否攜帶物體等簡(jiǎn)單行為;近年來(lái),IBM與Microsoft等公司也逐步將基于手勢(shì)識(shí)別的接口應(yīng)用于商業(yè)應(yīng)用中.而美國(guó)的Object Video、TI、以色列的IOImage、Mate及澳大利亞的iOmniscient等公司率先推出了比較成熟的嵌入式硬件實(shí)現(xiàn)產(chǎn)品.

與國(guó)外品牌相比較,國(guó)內(nèi)在智能視頻監(jiān)控網(wǎng)絡(luò)的構(gòu)建和實(shí)施方面還有一定的差距,現(xiàn)有產(chǎn)品大多高價(jià)從國(guó)外購(gòu)買核心算法模塊,從而導(dǎo)致產(chǎn)品價(jià)格昂貴,利潤(rùn)率低,不利于市場(chǎng)和自有知識(shí)產(chǎn)權(quán)的培育.更重要的是,為了保障國(guó)家的安全和系統(tǒng)的獨(dú)立安全性,部署在重點(diǎn)區(qū)域的智能監(jiān)控網(wǎng)絡(luò)系統(tǒng)有必要采用不依賴國(guó)外產(chǎn)品的軟硬件系統(tǒng).

對(duì)突發(fā)公共群體事件區(qū)域內(nèi)的單獨(dú)的個(gè)體和群體的行為分析是提高公共事件處置能力的關(guān)鍵,其核心是利用計(jì)算機(jī)視覺(jué)技術(shù)從圖像序列中檢測(cè)、跟蹤、識(shí)別人、群體并對(duì)其行為進(jìn)行描述與分析.從當(dāng)前國(guó)內(nèi)外相關(guān)文獻(xiàn)的記載來(lái)看,人和群體行為的視覺(jué)分析系統(tǒng)一般遵從下述處理過(guò)程:1)運(yùn)動(dòng)檢測(cè);2)運(yùn)動(dòng)目標(biāo)分類;3)人和群體的跟蹤;4)人、群體的行為描述和分析.可見(jiàn)人和群體行為分析的研究?jī)?nèi)容相當(dāng)豐富,主要涉及到圖像處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)、人工智能等學(xué)科知識(shí).同時(shí),動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)的快速分割、人體的非剛性運(yùn)動(dòng)、人體自遮擋和目標(biāo)之間互遮擋的處理也為人和群體的分析研究帶來(lái)了巨大挑戰(zhàn).

在重點(diǎn)區(qū)域監(jiān)控場(chǎng)景中,人是最重要的目標(biāo),個(gè)體和群體的檢測(cè)及跟蹤技術(shù)是本項(xiàng)目析的重點(diǎn)研究?jī)?nèi)容,它的結(jié)果好壞直接影響到后續(xù)的目標(biāo)識(shí)別和行為分析等步驟.在犯罪防止和取證方面,可以對(duì)監(jiān)控場(chǎng)景視頻中的人或群體的行為進(jìn)行分析,從而實(shí)時(shí)的對(duì)可疑的目標(biāo)和事件進(jìn)行預(yù)警和高分辨率取證,從而預(yù)防和阻止犯罪和災(zāi)難性事件的發(fā)生.同時(shí)還可以對(duì)重點(diǎn)布控區(qū)域的人群進(jìn)行計(jì)數(shù)、分類和統(tǒng)計(jì)分析,從而掌握正常時(shí)刻的群體分布規(guī)律,幫助監(jiān)控系統(tǒng)根據(jù)自動(dòng)統(tǒng)計(jì)出來(lái)的數(shù)據(jù)特征,制定正確的人流疏導(dǎo)和預(yù)警方案.

2.2 社會(huì)安全和經(jīng)濟(jì)發(fā)展需求

為提高保障公共安全和處置突發(fā)公共事件的能力,最大程度地預(yù)防和減少突發(fā)社會(huì)安全事件及其造成的損害, 需要加強(qiáng)公共安全科學(xué)研究和技術(shù)開(kāi)發(fā),采用先進(jìn)的視頻監(jiān)控、預(yù)測(cè)和報(bào)警設(shè)施,建立網(wǎng)絡(luò)化和智能化的社會(huì)公共安全視頻監(jiān)控體系,從而提高應(yīng)對(duì)突發(fā)公共事件的科技水平和指揮能力.

隨著"平安城市"和"智慧應(yīng)急指揮系統(tǒng)"等大型安防項(xiàng)目的投資規(guī)模越來(lái)越大,其技術(shù)實(shí)用性和使用價(jià)值不斷受到關(guān)注.人們開(kāi)始理智評(píng)估安防系統(tǒng)投資的作用和效益,進(jìn)一步挑戰(zhàn)現(xiàn)有安防產(chǎn)品開(kāi)發(fā)理念和實(shí)際作用.

從社會(huì)發(fā)展需求方面看,自2001年美國(guó)"911事件"及后來(lái)的西班牙馬德里列車連環(huán)爆炸和英國(guó)倫敦地鐵大爆炸等恐怖襲擊后,全世界范圍內(nèi)對(duì)智能視頻分析系統(tǒng)的需求空前高漲.在英國(guó)全國(guó)范圍內(nèi)已經(jīng)安裝攝像機(jī)420多萬(wàn)個(gè),平均每14人一個(gè).近年來(lái),我國(guó)成功舉辦的2008年北京奧運(yùn)會(huì)、2010年上海世博會(huì)、9.3抗戰(zhàn)勝利日閱兵等一系列大型活動(dòng),具有規(guī)格高、規(guī)模大、地域廣、時(shí)間長(zhǎng)、人群高度聚集等特點(diǎn)[2],都需要有選擇地在重點(diǎn)區(qū)域建立突發(fā)公共群體事件區(qū)域立體智能視頻監(jiān)控網(wǎng)絡(luò)與綜合預(yù)警系統(tǒng),從而保證重點(diǎn)區(qū)域和大型群體活動(dòng)的安全和穩(wěn)定,

3 研究?jī)?nèi)容和關(guān)鍵技術(shù)

基于視覺(jué)的人的行為跟蹤與分析在最近幾年里取得了一定的進(jìn)展,但是大多數(shù)算法都是針對(duì)單個(gè)人而提出的,它們無(wú)法處理人群的情況.2003、2004年Ram Nevatia,Tao Zhao等人提出采用貝葉斯概率模型建模人群的方法,并在此基礎(chǔ)上擴(kuò)展了數(shù)據(jù)驅(qū)動(dòng)馬爾科夫鏈蒙特卡羅(DDMCMC)算法解決人群分割和跟蹤的問(wèn)題,這說(shuō)明人行為分析正在經(jīng)歷從單個(gè)人的行為分析向更普遍、更具有實(shí)用價(jià)值的多人行為分析過(guò)渡.可惜的是,Ram Nevatia,Tao Zhao等人提出的算法無(wú)法處理復(fù)雜的場(chǎng)景,人體建模精度不夠,缺乏對(duì)人群行為特征的豐富描述能力,算法時(shí)間復(fù)雜度也相對(duì)偏高,無(wú)法達(dá)到實(shí)時(shí)的水平.對(duì)人、人群的行為跟蹤、識(shí)別上升到對(duì)人、人群的行為理解一直是困擾著國(guó)內(nèi)外相關(guān)領(lǐng)域?qū)W者的難題.

3.1 研究?jī)?nèi)容

1)通過(guò)多視頻傳感器融合技術(shù),合成全景的視頻圖像.并在區(qū)域內(nèi)實(shí)現(xiàn)全程連續(xù)完整的人群檢測(cè),然后對(duì)其進(jìn)行特征提取并進(jìn)一步分類,通過(guò)與先驗(yàn)庫(kù)中的大量已知模式進(jìn)行搜索匹配,可以對(duì)人、人群的行為做出識(shí)別,解決區(qū)域內(nèi)全信息直觀展示和事件多粒度觀察的問(wèn)題,從過(guò)去的看得見(jiàn),到現(xiàn)在的看得懂、將來(lái)的看得透[3].

2)基于統(tǒng)計(jì)的人數(shù)和人群聚集度分析和預(yù)測(cè).目前的方法主要是基于像素特征和基于紋理特征的人群聚集度分析.其中基于像素特征的方法算法簡(jiǎn)單,計(jì)算量小,但是只適合低密度人群區(qū)域,隨著重點(diǎn)區(qū)域人群密度的增加,人與人之間嚴(yán)重的遮擋會(huì)大大降低算法的效率.基于紋理分析的方法認(rèn)為高密度人群紋理表現(xiàn)為細(xì)模式,而低密度人群紋理表現(xiàn)為粗模式,此方法計(jì)算量較大,對(duì)于復(fù)雜背景適應(yīng)性較差.本項(xiàng)目提出自適應(yīng)的方法不需要事先制定特定的規(guī)則,自動(dòng)對(duì)視頻內(nèi)容進(jìn)行分析,能克服基于規(guī)則方法帶來(lái)的不便,減輕了人員參與的復(fù)雜度,增強(qiáng)了算法的穩(wěn)定性.通過(guò)檢測(cè)人群密度、群體運(yùn)動(dòng)特征檢測(cè)人群的聚集、游行、集會(huì)等活動(dòng).當(dāng)超出預(yù)先設(shè)置的告警級(jí)別時(shí),則產(chǎn)生告警.

在低密度情況下,根據(jù)背景更新模型獲取前景圖像后采用基于像素特征的方法.在高密度情況下,將高密度人群分為正常、偏高、高、極高四個(gè)密度等級(jí),利用BIF特征,提取不同層次的視覺(jué)特征,然后通過(guò)PCA法進(jìn)行降維,最后采用支持向量機(jī)進(jìn)行訓(xùn)練分類,得出人群密集度結(jié)果.

3)分圖層顯示的可視化立體監(jiān)控模型.分層的電子地圖結(jié)合空間地理位置信息,利用3D地圖可視化地管理多種傳感器.

4)應(yīng)急預(yù)案體系建立,本項(xiàng)目提出的應(yīng)急預(yù)案體系是基于案例的推理架構(gòu)來(lái)實(shí)現(xiàn)的,達(dá)到從過(guò)去的經(jīng)驗(yàn)中發(fā)現(xiàn)解決當(dāng)前事件線索方法的目的.

3.2 關(guān)鍵技術(shù)

1)智能視頻行為識(shí)別系統(tǒng)

多種監(jiān)控模式:包括邊界防范、運(yùn)動(dòng)目標(biāo)監(jiān)測(cè)、遺留物體監(jiān)測(cè)、徘徊目標(biāo)監(jiān)測(cè).

人數(shù)統(tǒng)計(jì)和人群聚集度分析和預(yù)測(cè):研究一種基于像素和紋理特征相結(jié)合的方法用于分析人群的流量和聚集度.首先根據(jù)圖像像素特征估計(jì)場(chǎng)景人數(shù),然后提取圖像紋理特征,最后采用支持向量機(jī)建立了大場(chǎng)景下人群密度分析算法.針對(duì)跨域聯(lián)網(wǎng)監(jiān)控視頻中運(yùn)動(dòng)目標(biāo)的姿態(tài)變化、遠(yuǎn)近景之間目標(biāo)尺度的變化,采用基于加權(quán)陸地距離與步態(tài)特征的目標(biāo)重識(shí)別技術(shù),突破了特定目標(biāo)的跨相機(jī)重識(shí)別難題[4].

交互式監(jiān)控界面:用戶可用鼠標(biāo)直接在操作畫(huà)面內(nèi)劃定安全區(qū)域及邊界,還可以畫(huà)箭頭任意定義物體運(yùn)動(dòng)報(bào)警的方向,操作方便、靈活.

在線報(bào)警:在監(jiān)控視頻中自動(dòng)用紅色邊框標(biāo)出報(bào)警對(duì)象,標(biāo)識(shí)出可疑目標(biāo)的移動(dòng)痕跡.可以選擇使用語(yǔ)音、短信、彩信、郵件等方式提示管理人員系統(tǒng)所發(fā)生的事件;支持PDA或手機(jī)遠(yuǎn)程查看視頻畫(huà)面.

2)數(shù)字網(wǎng)絡(luò)視頻監(jiān)控平臺(tái)

數(shù)字視頻服務(wù)器:將音/視頻數(shù)據(jù)發(fā)布到網(wǎng)絡(luò),可使用IE瀏覽器等遠(yuǎn)程觀看;以RTSP、HTTP 或TCP等協(xié)議在監(jiān)控網(wǎng)絡(luò)中發(fā)布重要信息.

同時(shí)包含多傳感器融合、高效視頻壓縮算法、視頻標(biāo)注及檢索算法等技術(shù),研究視頻標(biāo)注算法來(lái)記錄發(fā)生的事件和管理視頻文件,通過(guò)對(duì)現(xiàn)場(chǎng)攝像機(jī)傳回的海量視頻資料進(jìn)行標(biāo)注,管理人員可以方便搜尋歷史事件和視頻.

3)分圖層顯示的可視化立體監(jiān)控模型

分層的電子地圖結(jié)合空間地理位置信息,利用3D地圖可視化地管理多種傳感器.電子地圖包含一個(gè)事件檢視器,能夠快速自動(dòng)對(duì)觸發(fā)事件的設(shè)備定位和回播事件,同時(shí)也提供快速信道預(yù)覽功能.

4)針對(duì)于變化場(chǎng)景的穩(wěn)定實(shí)時(shí)人群聚集度分析

通過(guò)檢測(cè)人群密度、群體運(yùn)動(dòng)特征檢測(cè)人群的聚集、游行、集會(huì)等活動(dòng),提出面向密集人群感知的視頻深度分析技術(shù),解決復(fù)雜、動(dòng)態(tài)場(chǎng)景下對(duì)樣本稀疏的特定目標(biāo)人群自動(dòng)進(jìn)行高精準(zhǔn)定位以及態(tài)勢(shì)預(yù)測(cè)的難題[5].

5)應(yīng)急預(yù)案體系建立

在區(qū)域人群密度估計(jì)功能的基礎(chǔ)上,及時(shí)感知人群中所發(fā)生的變化,對(duì)視頻中異常行為事件進(jìn)行實(shí)時(shí)提取和篩選,并及時(shí)發(fā)出預(yù)警,自動(dòng)啟動(dòng)應(yīng)急預(yù)案,動(dòng)態(tài)地為突發(fā)事件提供科學(xué)的、及時(shí)的應(yīng)急預(yù)案處置.提出的應(yīng)急預(yù)案體系是基于案例的推理架構(gòu)來(lái)實(shí)現(xiàn)的,達(dá)到從過(guò)去的經(jīng)驗(yàn)中發(fā)現(xiàn)解決當(dāng)前事件線索方法的目的.

4 結(jié)束語(yǔ)

基于上述技術(shù)和設(shè)備的研究與創(chuàng)新,成功研制公共群體突發(fā)事件綜合智能視頻分析監(jiān)測(cè)和預(yù)警的各類應(yīng)用系統(tǒng),應(yīng)用范圍涵蓋公共安全管理、國(guó)內(nèi)反恐工作、群體突發(fā)事件應(yīng)急指揮等多個(gè)領(lǐng)域.今后,如何拓展監(jiān)控視頻深度分析技術(shù),能夠?qū)崿F(xiàn)密集人群的意向性可能狀態(tài)屬性的預(yù)測(cè),在應(yīng)用領(lǐng)域更具挑戰(zhàn)性的大群體、弱環(huán)境情況下的動(dòng)態(tài)推演,需要從宏觀層面適配大人群演化算法,使模擬和預(yù)測(cè)的時(shí)效性更高是需要重點(diǎn)研究的方向.

[1]國(guó)務(wù)院發(fā)布的《國(guó)家突發(fā)公共事件總體應(yīng)急預(yù)案》[N].新華社,2006-1-8.

[2]王曉泓.上海世博會(huì)警衛(wèi)勤務(wù)信息系統(tǒng)建設(shè)與應(yīng)用[J]武警學(xué)院學(xué)報(bào),2012,28(7):15-17.

[3]Qing Yan,Yi Xu and Xiaokang Yang,Separation of Weak Reflection from a Single Superimposed Image[J].IEEE SignalProcessing Letters,21(10):11731176,2014.

[4]C.Zhang,X.G.Wang, X.K.Yang,Cross-scene Crowd Counting via Deep Convolutional Neural Networks[C].IEEE Conf.on Computer Vision and Pattern Recognitio,833-841,2015.

[5]Cong Zhang,Kai Kang,Hongsheng Li,Xiaogang Wang,RongXie and Xiaokang Yang,Data-driven Crowd Understanding:a Baseline for a Largescale Crowd Dataset[J].IEEE Trans.on Multimedia,1-15,2016.