葉志鵬++劉鵬++趙巍++唐降龍

摘要： 針對視頻場景的人群運動狀態(tài)分析問題提出了一種方法，包括人群密度分級和運動異常檢測。該方法利用場景中不同區(qū)域的亮度信息作為BP網(wǎng)絡的輸入向量分類人群密度，降低了計算的復雜性，排除不必要的干擾信息。在異常檢測方面利用光流法獲取人群的運動信息，包括運動速度和運動方向。實驗結(jié)果表明，該方法的精度及實時性均高于傳統(tǒng)方法，對確定視頻場景中人群運動狀態(tài)是有效的，可以為防止大規(guī)模安全事故提供參考。

關鍵詞： 視頻分析； 人群運動狀態(tài)檢測； BP神經(jīng)網(wǎng)絡； 光流法

中圖分類號：TP391.9

文獻標志碼：A

文章編號：2095-2163（2017）04-0044-05

0引言

近年來，公共場所的大規(guī)模安全事故屢有發(fā)生，造成了一定的人員傷亡和財產(chǎn)損失[1]。其中一個重要原因是未能及時判斷場景中人群的異常狀態(tài)，導致在有限的空間內(nèi)同時容納的人數(shù)過多而產(chǎn)生恐慌情緒。恐慌人群會變得不合作并擁擠他人，其作用力可達4 450N/m，從而造成傷亡[2]。群體運動是連續(xù)的事件和行為。群體危機或災難是群體系統(tǒng)在外界激勵作用下狀態(tài)漸近演化，逐步累積的結(jié)果。通過研究群體系統(tǒng)狀態(tài)演進過程的內(nèi)在機理和規(guī)律能夠預報群體系統(tǒng)未來的狀態(tài)，提高應急措施的效率和效果，增強綜合應急救護能力，將群體危機或災難消除在萌芽階段。因此及時分析出公共場所的人群運動狀態(tài)是十分必要的。

傳統(tǒng)的視頻監(jiān)控方法是在場景內(nèi)搭建閉路電視系統(tǒng)[3]，通過人工方式檢測場景的變化。該方法不僅成本較高，而且易受人為主觀因素影響，缺乏客觀性，在實時性上也存在著顯著不足。本文通過結(jié)合BP神經(jīng)網(wǎng)絡和光流法提出了一種基于流量場分析的進行群體狀態(tài)異常檢測的研究方法。群體狀態(tài)異常包括人群密度異常和人群運動異常。其中，密度異常通常指當前場景中人數(shù)過多，可能會造成潛在的安全隱患，這種情況一般是由人群的自然流動導致的人群累積所造成；運動異常指當前場景中人群的運動速度高于正常值，一般由某種外在因素引起，如火災等。本文提出的方法利用人群流量信息分析人群狀態(tài)，綜合考慮人群密度分布和運動分布。實驗結(jié)果表明，本文的方法可以有效檢測出人群異常。

1相關研究

近些年來，國內(nèi)外很多研究人員對人群狀態(tài)的檢測進行了研究。Zhang等人[4]利用宏觀方法研究了T形路口處人流發(fā)生合并時人群的狀態(tài)。該方法首先將人群的運動狀態(tài)可視化并統(tǒng)計出人群的運動軌跡，進而根據(jù)人群密度等級的不同，觀察到低密度時行人以任意速度行走，轉(zhuǎn)彎時會減速；高密度時行人速度分布不均勻，合并后的主流速度高于任一分支，同時主流方向的中心處人群密度最大。研究據(jù)此認為，人群的密度和速度測量將受到測量區(qū)域面積大小的設置影響。該方法的局限性表現(xiàn)在3個方面：首先，研究測試的場景是嚴格對稱的，限制了該方法的推廣；其次，研究挑選的實驗者的平均年齡在20～30歲之間，不能代表所有年齡段的人群，而人對路徑的選擇可能隨著年齡的增長而不同；同時該方法還忽略了外界因素對群體路徑選擇的影響。

微觀方法是分析人群狀態(tài)的另一類方法。為了解決通過微觀方法檢測人群狀態(tài)面臨的大數(shù)據(jù)量問題，Steffen等人[5]提出了基于人群運動軌跡的微觀屬性測量方法。該方法通過空間變換的方法將個體空間映射到群體空間降低計算復雜度。研究首先指出傳統(tǒng)方法的2個短板與缺陷：場景邊緣的人員出入只能通過人頭部的位置確定；人群的密度離散地取決于時間和特定區(qū)域，有時會出現(xiàn)劇烈的跳變。為此，研究中有針對性地定義了自適應步函數(shù)以消除密度檢測所需要的2個前提條件；進而將目標區(qū)域限制在2m2以避免出現(xiàn)使用Voronoi圖檢測人群密度可能導致無限增長的問題。該方法的不足是對Voronoi圖方法使用了固定的區(qū)域大小，而Voronoi細胞的大小是可變的，使用固定大小的區(qū)域會影響同時活動的細胞個數(shù)，因而限制了該方法的推廣能力。

國內(nèi)一些研究學者也陸續(xù)開展了群體異常檢測研究。李和平提出了半監(jiān)督學習的個體行為建模方法和個體異常檢測方法，通過動態(tài)時間規(guī)劃譜聚類和行為隱馬爾可夫模型描述正常個體行為[6]；鐘志等通過定義一個運動特征進行群體建模和實時檢測，研發(fā)了通過自定義的能量函數(shù)評估觀測區(qū)域內(nèi)擁擠程度和異常檢測的方法[7]；胡波提出了一種基于小波變換與灰度共生矩陣結(jié)合的人群密度特征提取方法，該方法首先對圖像進行三級小波分解，得到10個子帶及相應的小波系數(shù)；其次對除LL子帶外的所有細節(jié)子帶計算灰度共生矩陣；然后計算生成9維特征矢量并用SVM實現(xiàn)分類[8]。

2光流法人群運動跟蹤

光流法是跟蹤場景中運動目標的主要手段之一，由Lucas和Kanade提出[9]。Lucas-Kanade算法用于求稠密光流，重點基于如下3個假設：

1）亮度恒定。圖像場景中目標的像素在幀間運動時外觀上保持不變。

2）時間連續(xù)或運動是小運動。圖像的運動隨時間的變化比較緩慢，即相鄰幀間運動較小。

3）空間一致。一個場景中同一表面上鄰近的點具有相似的運動，在圖像平面上的投影也在鄰近區(qū)域。

人群目標符合上述3個假設，即在時間間隔極短的相鄰2幀間正常行走人群的運動位移不會劇烈變化。本文即采用LK光流法作為運動估計的基礎。

3基于流量場的人群狀態(tài)檢測

人群狀態(tài)檢測包括密度檢測與狀態(tài)檢測。然而，這2種檢測是相關的，使用任一單一方法均不能得到良好效果。本文結(jié)合2種方法提出了一種基于流量場的人群狀態(tài)檢測方法。

3.1人群密度估計

本文通過分析視頻中人群運動的流量場來檢測人群運動狀態(tài)的異常。在一個空間內(nèi)，流量場由下式計算：

Q[DD（]→[DD）〗=ρ·V[DD（]→[DD）〗[JY]（1）

其中，ρ為流體的密度，V[DD（]→[DD）〗為流體的運動速度。在本文中，ρ被視為人群的密度。在分析視頻中人群運動狀態(tài)的過程中，沒有必要獲得場景中單位面積上人體的準確數(shù)據(jù)，而是將區(qū)域中人群的密度劃分為若干等級。本文將人群的微團作為人群密度估計的對象，將視頻幀中人群的微團輪廓特征作為人群局部密度估計的特征，用BP神經(jīng)網(wǎng)絡將視頻幀中各考察區(qū)域的人群密度劃分為3個等級。endprint

本文將二值化的前景劃分為n*n個矩形框，取n=4。對每個矩形區(qū)域提取輪廓特征，將輪廓內(nèi)部的面積作為特征向量輸入BP網(wǎng)絡[10]，采用表1所示的對應關系對BP神經(jīng)網(wǎng)絡進行訓練。選擇場景內(nèi)部輪廓面積的原因則在于其屬于穩(wěn)定的特征，不受人的衣著顏色、日照情況的影響。

3.2人群運動檢測

3.2.1運動速度幅值檢測

對濾波去噪后的視頻幀應用數(shù)學形態(tài)學操作，可以進一步去除無效的運動前景，簡化圖像數(shù)據(jù)，保持跟蹤目標的基本形狀。通過LK光流法可對場景中運動的目標點進行跟蹤，這些目標點稱為特征點。此時場景中可能存在一些無效特征點，如雜物在風的作用下的運動。此類無效特征點可通過2類條件得以消除，內(nèi)容闡釋如下：

1）特征點位移矢量的模過大，超出了人正常行走的瞬時速度極限。

2）連通的前景面積過小。

場景中特征點的運動速度定義為其在相鄰2幀間的位移，以像素距離表示。由速度公式：

v=〖SX（〗s〖〗t〖SX）〗[JY]（2）

求得特征點的瞬時速度。其中，s為特征點在2幀之間的位移，t為2幀的間隔時間，取決于幀速率。

3.2.2運動方向檢測

人群的運動方向反映了某一時刻人群的大致走向，是場景中人群異常檢測的重要參考信息。

本文選取8個方向作為特征點運動方向[11]，其中45°方向為近似方向，即只要特征點不是水平或垂直運動，都會被歸類到4個近似方向中的一個方向上以簡化計算；與直角坐標系不同，計算機中所用的坐標系其Y軸正方向與直角坐標系中Y軸正方向相反，以左上角作為坐標原點。圖1顯示了視頻場景中的坐標系及位于其中的特征點的運動方向。

基于上述光流法的假設條件，人群運動檢測方法如下：

首先基于光流法求得當前幀及上一幀的特征點坐標集SCurrent和SPrev，二者比較去掉未運動的特征點的坐標；接下來對a∈SCurrent，在其前后左右一定面積范圍內(nèi)尋找其在SPrev中的位置，本文選取的面積范圍為一個人的寬和高的乘積。最后在圖中標識出每個人的運動方向。

為使圖像看起來較為清晰，本文提出了特征點聚類的方法。算法如下：

1）迭代器指向SCurrent第一個元素sstart。

2）遍歷SCurrent中每一個元素，判斷其與Sstart的距離，若小于某閾值，則將其與Sstart歸為一類。

3）從SCurrent中刪除所有屬于同一類的元素。

4）若SCurrent非空，返回1），否則結(jié)束。

算法最終運行結(jié)果即如圖2所示。

3.3人群狀態(tài)的流量場判別

對人群狀態(tài)進行判別的方式是對流量場展開分析。流量場的分析算法如下：

1）將場景中的每個區(qū)域mi再細分為n*n個子區(qū)域mij，求出mij的所有速度矢量并求其和矢量vi〖DD（-*2〗〖DD）〗，作為mi的速度矢量。

2）對每個區(qū)域的速度矢量，求其與8個臨近區(qū)域的速度矢量的差，將模最大的差向量放入相同位置的另一存儲區(qū)。圖3就顯示了mij中求矢量差的過程。差值反映了2個矢量間的不一致的程度。

3）最后遍歷場景中所有向量，找出幅值最大的矢量，若大于某一閾值t，則判斷為該場景中發(fā)生了異常情況。

4實驗結(jié)果及分析

本文模擬所使用的視頻全部拍攝自哈工大正心樓，共有20 453幀圖像，分辨率為1 280×720，幀速率為每秒29幀。為驗證算法有效性，對本文算法和文獻[13]中的人群狀態(tài)檢測方法進行比較。文獻[13]同樣使用了神經(jīng)網(wǎng)絡的方法支持研發(fā)行人跟蹤。本文分別對正常情況和異常情況提供設計實驗，結(jié)果如圖4、圖5所示。

采用文獻[13]的方法導致平均誤差率較高的原因則是僅利用了場景中人群的密度信息，卻未考慮人群的運動信息，因此影響了該方法的準確性；而本文采用基于流量場的方法結(jié)合了人群的密度和速度信息，從而準確率較高。

5結(jié)束語

本文主要針對視頻監(jiān)控場景中的人群運動分析問題進行研究。利用BP神經(jīng)網(wǎng)絡檢測人群密度；同時基于光流法檢測人群運動狀態(tài)，達到了較高的準確度和很好的實時性，基本滿足實時應用的需要。

參考文獻：

[WTBZ][ST6BZ][HT6SS][1] [ZK（#〗

ALI I M， HASHIM A E， WANISMAIL W Z， et al. Spectators safety awareness in outdoor stadium facilities[J]. Procedia Engineering， 2011， 20：98-104.

[2] PATIL S， BERG J V D， CURTIS S， et al. Directing crowd simulations using navigation fields [J]. IEEE Transactions on Visualization and Computer Graphics， 2011，17（2）：244-254.

[3] SONG H Q， LIU X J， ZHANG X G， et al. Realtime monitoring for crowd counting using video surveillance and GIS[C]//2012 2nd International Conference on Remote Sensing， Environment and Transportation Engineering.Nanjing， China：IEEE，2012：1-4.endprint

[4] [JP3]ZHANG J， KLINGSCH W， SCHADSCHNEIDER A， et al. Experimental[JP] study of pedestrian flow through a T-junction[C]//Traffic and Granular Flow '11.Berlin Heidelberg：Springer，2013：241-249.

[5] STEFFEN B， SEYFRIED A. Methods for measuring pedestrian density， flow， speed and direction with minimal scatter [J]. Physica A Statistical Mechanics & Its Applications，2010，389（9）：1902-1910.[ZK）]

[HT5”SS][ST5”BZ][WT5”BZ][JY]（下轉(zhuǎn)第50頁）[FL）]

[CDF61]

[HT5”SS][ST5”BZ][WT5”BZ]（上接第50頁）

[HT5”SS][ST5”BZ][WT5”BZ][FL（2K2]

[HT6SS][ST6BZ][WT6BZ]

[6] [ZK（#] 李和平，胡占義，吳毅紅，等. 基于半監(jiān)督學習的行為建模與異常檢測[J]. 軟件學報，2007，18（3）：527-537.

[7] 鐘志，徐揚生，石為人，等. 群體異常檢測[J]. 儀器儀表學報，2007，28（4）：614-620.

[8] 胡波，李曉華，沈蘭蓀. 場景監(jiān)控中的人群密度估計[J]. 電路與系統(tǒng)學報，2007，12（6）：19-22.

[9] VOLPI M， TUIA D， BOVOLO F， et al. Supervised change detection in VHR images using contextual information and support vector machines[J]. International Journal of Applied Earth Observation and Geoinformation， 2013，20（2）：77-85.

[10][JP3]RAJESH R， RAJEEV K， GOPAKUMAR V， et al. On experimenting[JP] with pedestrian classification using neural network[C]//2011 3rd International Conference on Electronics Computer Technology.Kanyakumari， India：IEEE，2011：107-111.

[11]FRANCESCO M D， MARKOWICH P A， PIETSCHMANN J F， et al. On the Hughes model for pedestrian flow： The onedimensional case[J]. Journal of Differential Equations. 2011，250（3）：1334-1362.

[12]DALE K， SHECHTMAN E， AVIDAN S， et al. Multivideo browsing and summarization [C]//Proc of Computer Vision and Pattern Recognition Workshops.Providence， RI， USA：IEEE，2012：1-8.

[13]HAN W J， HAN H S. Pedestrian detection-A neuromorphic approach[C]//2011 IEEE 54th International Midwest Symposium on Circuits and Systems （MWSCAS）.Seoul， South Korea：IEEE，2011：1-4.endprint