李斐，陳懇，李萌，郭春梅

?

一種基于運動相似熵的人群異常行為檢測

李斐，陳懇，李萌，郭春梅

（寧波大學信息科學與工程學院，浙江寧波 315211）

實現(xiàn)對人群異常事件的檢測是圖形處理在智能視頻監(jiān)控領域的重要研究內容。提出了一種基于運動相似性熵（EMS）的人群異常行為檢測算法。該算法在對視頻圖像進行光流計算的基礎上，以底層光流塊為基本單位獲取場景運動信息，根據(jù)社會網(wǎng)絡模型的概念，提出構建場景的運動網(wǎng)絡模型（MNM），完成對場景粒子運動相似性的劃分，并在時間域上計算MNM的粒子分布熵值EMS，最后將得到的圖像熵與設置合理的閾值相比，判斷異常行為是否發(fā)生。實驗證明，該算法可有效檢測異常行為，與其他經典檢測算法相比有較大優(yōu)勢。

人群異常檢測；運動相似性熵；運動網(wǎng)絡模型；圖像熵；光流法

1 引言

隨著人們社會活動的不斷增加，在大型商場、游樂園、火車站等公共場所發(fā)生群體性異常事件的可能性增加。公共安防問題引起人們的廣泛關注。由于傳統(tǒng)的監(jiān)控視頻采取人工觀測的方法，對于爆炸性增長的監(jiān)控數(shù)據(jù)不能及時地處理分析、檢測出異常行為實現(xiàn)實時預警。這一現(xiàn)狀使得智能視頻監(jiān)控技術成為時下研究的熱點。

群體異常事件多發(fā)生于高密度人群，在高密度人群中進行異常行為的檢測，實際是對人群騷動行為的識別，當異常事件產生時，人會本能地做出一些反應。表現(xiàn)為：異常狀態(tài)下，人群的運動要比正常情況更為劇烈。因此，通過分析人群的運動特征（如速度）來檢測異常事件具有可行性。目前對人群異常事件的檢測算法在不斷更新，其中基于對象的方法是將人群作為許多個體集合，對人群中的每一個對象進行運動分析，在低密度人群取得很好的跟蹤效果，可檢測出異常行為，但在高密度人群中，由于復雜的人群運動以及個體之間的相互遮擋，使得基于對象的分析方法準確率銳減。因此對于人群的分析大多以人群整體為基礎，通過提取整體特征實現(xiàn)對異常的檢測[1]。

參考文獻[2,3]提出將人群作為整體來提取特征建立模型，利用機器學習及訓練對視頻檢測分類。Saira等人[4]首次通過社會熵來衡量光流場的不確定性，將每一個非重疊塊作為一個獨立的社會系統(tǒng)，在各自塊內完成光流場分布統(tǒng)計和特征向量的計算，最后利用支持向量機（support vector machine，SVM）直接探測人群異常行為。針對SVM復雜性高、實時性差的問題，許多研究嘗試僅依賴熵進行人群異常行為分析，提出基于熵異常檢測算法。Ren等人[5]提出的行為熵模型，通過信息理論和能量的概念定義每一個像素的行為確定性，估計每個像素和整個場景的行為熵，場景熵行為可用于檢測異常。Susan[6]提出利用連續(xù)3幀圖像間運動矢量的相關性求得非廣泛性熵，然后將其與非廣泛性熵閾值相比較來判斷人群異常行為是否發(fā)生。此算法的優(yōu)勢是不需要提前訓練數(shù)據(jù)或參考數(shù)據(jù)，當連續(xù)幀的運動幅值超過閾值就會發(fā)出異常警報。參考文獻[7]在提取特征點的基礎上，利用光流法得到稀疏光流場，通過計算粒子運動尺度構造全局光流圖，計算全局光流圖的圖像熵，與訓練得到的閾值相比判斷異常。實驗表明，該算法有較好的實時性、準確性。Chaker等人[8]提出社會網(wǎng)絡模型的概念，將場景中運動的物體作為網(wǎng)絡模型的節(jié)點，節(jié)點間的連線則代表運動物體之間的關系，通過構建相似性度量公式實現(xiàn)場景粒子的局部網(wǎng)絡模型（local social network，LSN）、全局網(wǎng)絡模型（global social network，GSN）的構建。分析視頻幀間各個LSN內粒子個數(shù)來實現(xiàn)對異常行為的檢測。在此基礎上，從運動的尺度和方向兩個維度分析異常行為，提出了一種基于運動相似性熵（entropy of motion similarity，EMS）的異常行為檢測算法。正常情況下個體運動有較大的相似性，而異常行為表現(xiàn)為較弱運動相似性，因此該方法通過設置運動尺度閾值得到感興趣底層光流塊，并在每一個光流塊內采用階特征窗口提取感興趣粒子減少算法計算量。在此基礎上，結合粒子運動的尺度與方向，設定運動相似性度量公式用以建立運動網(wǎng)絡模型（motion network model，MNM），通過得到的MNM分布熵EMS判斷異常行為是否發(fā)生，最后將其與正常情況下設置的EMS合理閾值相比，若大于閾值則有異常行為發(fā)生。實驗表明，該算法可有效地檢測出異常行為。

2 算法思路和步驟

本文算法主要包含以下幾個步驟。

步驟1 在光流計算的基礎上將光流場劃分為×個光流塊B。

步驟2 設定運動尺度閾值，將運動貢獻較小的光流塊舍去，得到感興趣光流塊（block of interested，BOI）。

步驟3 在步驟2的基礎上以階特征窗口對每一個光流塊提取粒子運動信息，形成以粒子運動尺度與方向為變量的運動相似性度量公式，建立場景的MNM。

步驟4 計算場景的EMS，結合得到的閾值判斷是否發(fā)生異常事件。

算法流程如圖1所示。

3 底層特征光流塊提取

光流法是比較經典的運動估計算法，反映圖像上每一點灰度的變化趨勢。常用的光流法有Horn-Schunck光流法和Lucas-Kanade光流法[9]。

本文運用Lucas-Kanade光流法計算圖像的光流場，并將光流場平均分為×個光流塊。輸入的視頻圖像尺寸為×，光流場具體計算如下。根據(jù)光流約束方程：

I+I+I=0 （1）

求得、，即：

其中，I、I、I為圖像的空間灰度對、、的偏導數(shù)，由式（2）可得：

（3）

將得到的光流場平均分為×個光流塊，考慮到異常發(fā)生時，異常行為主要表現(xiàn)為速度的突然增大，則根據(jù)式（4）設定速度閾值：

其中，B為時刻對應視頻幀的第個光流塊，Qmax為第個光流塊中的最大速度尺度，Q為設置的速度尺度閾值。若光流塊中的最大速度尺度仍小于閾值Q，則認為該光流塊不可能異常。

圖1 算法流程

對于速度尺度較小的塊，即對異常行為貢獻較小的光流塊，直接舍去，達到減少計算量的目的。同理在每一個光流塊中，正常情況下視頻運動目標的速度具有較大的一致性，可按照一定的密度間隔選取同塊中粒子的速度矢量，得到感興趣粒子，在保持提取效果的同時也可減少計算復雜度。

計算時刻特征點的速度尺度Q,t與運動方向為：

Q=||V,t(,)|| （5）

4 運動網(wǎng)絡模型

社會網(wǎng)絡模型來自于西方社會學理論，最初用于對社會有界群體中獨立個體行為的分析[10]。社會網(wǎng)絡模型認為群體成員單獨存在，但個體之間又存在錯綜復雜的社會關系，從而構成關系網(wǎng)絡。根據(jù)此概念，提出運動網(wǎng)絡模型，對場景運動的相似性進行度量，并從速度尺度與運動方向兩個維度設定相似性度量公式，將得到的感興趣粒子依據(jù)其在速度尺度與運動方向的相似性，聚類為若干個局部運動網(wǎng)絡模型（local motion network model，LMNM），表征場景粒子的運動分布。

4.1 速度尺度的相似性度量

經資料查閱[11,12]并結合人類生理實際極限速度lim，將速度尺度Q按照式（7）進行分級：

4.2 運動方向相似性劃分

正常情況下，個體運動相似性較大，包含運動尺度與運動方向的相似，所以當異常事件發(fā)生時，目標運動相似性減弱不僅表現(xiàn)在速度尺度的突然增大或減小，其運動方向變化也應作為衡量異常行為的一個重要特征。本文采用式（5）所示粒子的運動方向，通過對函數(shù)閾值界定，將粒子的運動方向平均劃分為8個方向區(qū)間，具體劃分定義如圖2所示。本文認為若粒子間運動方向的變化范圍在45°以內，可看做粒子在運動方向上具有相似性。

4.3 局部運動網(wǎng)絡模型

經過Q相似性度量分級、運動方向劃分，完成對粒子在尺度和方向上的分類。屬于局部運動網(wǎng)絡模型1，即LMNM1的粒子應滿足的相似性的度量公式為：

其中，V表示時刻粒子對應的速度，如果其速度尺度屬于level a，角度滿足在區(qū)間[0,45°]，則可判定該粒子屬于LMNM1。

對于其他的局部運動網(wǎng)絡，有類似的相似性度量公式，由此可以將整個場景提取到的粒子聚類為24個LMNM。通過統(tǒng)計各LMNM內的粒子數(shù)目，完成場景中粒子到MNM的映射。圖3給出了3×4 MNM概念，速度尺度分3級，由上方a、b、c表示；運動方向分4個區(qū)間，由右側1、2、3、4表示，每個方格的數(shù)字代表處于該運動網(wǎng)絡模型的粒子個數(shù)。

為了更加直觀地表示場景粒子的運動分布，對由速度尺度、運動方向、LMNM粒子個數(shù)構成的圖3進行降維處理。類似于式（8）的思維，在編程實現(xiàn)時將速度尺度等級level a、level b、level c分別定義為數(shù)字97、98、99；將不同的運動方向區(qū)間定義為[-1,-2,-3,-4,1,2,3,4]，若運動方向屬于[0°,45°]則定義其方向為1，若運動方向屬于[45°,90°]則定義其方向為2，以此類推；最后將速度尺度與運動方向的線性乘積作為是否屬于對應LMNM的決策量，若粒子滿足97×(?1)條件，則粒子歸于LMNM1，類似地，滿足99×4的粒子屬于LMNM24。具體的MNM降維過程如圖4所示。通過此算法，可將圖3的MNM轉化為以LMNM為橫軸，以粒子個數(shù)為縱軸的二維柱形圖，便于實現(xiàn)對MNM熵的計算。

本文采用UMN數(shù)據(jù)集標準視頻庫中的場景作為測試對象，與正常情況下速度大多集中于低速區(qū)不同，當人群異常時，個體速度大小不一，其運動分布柱形圖必然會越均勻，即LMNM分布變廣。考慮到異常行為在極短時間內速度變化不顯著與實時性出發(fā)，實驗中采取每幀進行MNM構建，結合速度尺度與運動方向對粒子進行統(tǒng)計，得到UMN場景一正常幀與異常幀的運動分布柱形圖如圖5所示。

由圖5可知，正常幀與異常幀的MNM差異明顯，理想情況下根據(jù)相似性度量公式可以將粒子劃分到24個LMNM中，但是由于各時刻粒子運動速度可能不能完全包含式（7）中所有的速度等級，比如正常幀中的大部分粒子運動平緩，其速度尺度大致分布在level a，則其對應的較高等級MNM可能粒子數(shù)就為0，例如正常幀圖5(a)中LMNM9~LMNM24都沒有粒子分布。

5 MNM熵的計算

熵（entropy）表示體系的混亂程度與不確定性，它在概率論、信息論等領域都有應用，是十分重要的參量。由克勞德·艾爾伍德·香農（Claude Elwood Shannon）第一次將熵的概念引入信息論中用來表達信息量的大小，并將熵的概念引申到圖像上得到圖像熵[13]。熵也可以用來表示任何一種能量在空間中的分布均勻程度，能量分布得越均勻，熵值就越大?；诖?，可利用粒子分布熵值（以下簡稱為粒子熵）來描述人群的行為，同時直方圖中也包含有場景運動特征，可以準確反映人群的運動情況。因此利用粒子熵EMS來檢測異常事件是可行的。

實驗中考慮到視頻中每幀圖像的持續(xù)時間大概是0.042 s，而群體的異常行為是在一個時間段內發(fā)生，這個時間段最小也應該是整數(shù)秒的級別。相應地，檢測異常行為時需要綜合一個時間段的運動信息，這樣可避免由于某一幀粒子熵突然不一致而帶來的誤差[14]。所以本文在實驗中采用每間隔10幀進行MNM構建，然后計算MNM的粒子熵。粒子熵的計算式為：

圖6(a)為UMN場景一部分幀段，通過計算可看出，50~60異常幀段與其他正常幀段相比EMS值差異明顯；圖6(c)選取UMN場景三部分視頻段，折線圖結果顯示異常幀段，即63~70幀段EMS值較大。通過圖6可以看出，EMS總體上如實反映場景的運動狀態(tài)，可作為場景異常判斷的決策量。

6 實驗結果與分析

為測試基于EMS的人群異常算法的有效性，本實驗硬件采用Intel i5 3.30 GHz + 4 GB內存的電腦，軟件采用MATLAB R2014a為開發(fā)工具。實驗以UMN數(shù)據(jù)集[15]標準視頻庫中的3個場景，即場景一、場景二、場景三作為測試對象，對以上視頻序列進行實驗，結果如圖7所示，其中(a)、(c)、(e)分別為3個場景中的正常視頻幀，(b)、(d)、(f)為其對應的異常幀。

本文算法在3個場景中的準確率見表1，其中準確率為檢測正確幀數(shù)與總幀數(shù)的比值。本文算法與參考文獻[7]算法、經典算法（混沌不變算法（CI）[16]、社會力算法（SF）[17]、稀疏重構算法（SRC）[18]）的準確率比較見表2。由表2場景一、場景二兩行中可看出，相較于其他算法，所提算法準確率最高。本文算法、參考文獻[6]算法以及其他經典算法的受試者工作特征曲線（receiver operating characteristic，ROC）如圖8所示，通過圖像的表示方法反映本文算法與其他幾種算法的性能比較。其中橫軸為假陽性率（false positive rate，F(xiàn)PR），縱軸為真陽性率（true positive rate，TPR），一般認為ROC曲線越趨于上方，即ROC曲線與坐標軸所圍成面積值（area under curve，AUC）越大，則算法檢測準確率越高、檢測效果越好。算法與其他算法的AUC比較見表3，其中平均速度（fps）一行中的fps表示算法平均每秒可處理的幀數(shù)。fps值越大，表示算法的處理速度越快，實時性越好；反之，實時性越差。雖然在場景三一行中，本文算法的準確率較參考文獻[7]算法略低，但根據(jù)表3中的平均速度（fps）一行可得，本文算法1 s內平均可以處理85幀圖像，而參考文獻[7]算法只能處理32幀圖像，因此綜合考慮本文算法更具有優(yōu)勢。

表1 本文算法在3個場景中的準確率

從圖8可明顯看出，本文算法的ROC曲線位于其他幾種算法之上。由表3中場景一、場景二兩行可看出，本文算法的AUC值分別為0.999、0.963，與其他算法相比，本文算法的AUC值最高，這也與表2中的數(shù)據(jù)吻合。表3 平均AUC一行中，本文算法的AUC為0.981，相比于混沌不變算法CI的0.99略低，但由平均速度（fps）一行可知：CI算法每秒處理幀數(shù)小于5，而本文算法每秒可處理85幀視頻幀，CI算法在實時性方面不如本文算法。

表2 本文算法與參考文獻[7]算法、經典算法的準確率比較

表3 本文算法與其他算法的AUC比較(單位：mg/ml.min)

綜上說明，本文檢測算法可有效檢測視頻中的異常行為且具有較高的準確率。

7 結束語

本文提出了一種基于EMS的人群異常行為檢測方法，算法通過對運動粒子的運動速度尺度與運動方向的相似性度量，將粒子聚類到對應的LMNM，從而得到整個運動場景的MNM，而后經過降維處理得到以粒子數(shù)為縱軸、LMNM為橫軸的MNM分布柱形圖，通過計算得到MNM的粒子熵EMS并將EMS作為異常判斷決策量，與合理閾值相比進行異常行為檢測。實驗表明，該方法可以實現(xiàn)對于異常行為的檢測，且有較高的檢測準確率。針對光流法本身的復雜性，即使去除了一定量的光流塊，算法實時性仍有進步空間。后續(xù)工作會嘗試實現(xiàn)對異常行為的檢測與定位。

[1] WANG W H, WANG X J. Research on the human motion analysis and key technology based on intelligent video surveillance[J]. Sensors & Transducers, 2013, 161(12): 98-106.

[2] ZHANG J, CHU Y X. Study on anomaly detection in crowd scene[C]// 4th International Conference on Mechatronics, Materials, Chemistry and Computer Engineering (ICMMCCE 2015), December 12?13, 2015, Xi’an, China. [S.l.:s.n.], 2015: 604-609.

[3] WANG H, FU R Q, LI N N, et al. Anomaly detection in crowds assisted by scene perspective projection correction[C]// IEEE International Conference on Information Science and Technology, April 26-28, 2014, Shenzhen, China. New Jersey: IEEE Press, 2014: 686-689.

[4] PATHAN S S, ALHAMADI A, MICHAELIS B. Incorporating social entropy for crowd behavior detection using SVM[J]. Lecture Notes in Computer Science, 2010(6453): 153-162.

[5] REN W Y, LI G H, CHEN J, et al. Abnormal crowd behavior detection using behavior entropy model[J]. Wavelet Analysis and Pattern Recognition, 2012: 212-221.

[6] SUSAN S, HANMANDLU M. Unsupervised detection of nonlinearity in motion using weighted average of non-extensive entropies[J]. Signal, Image and Video Processing, 2015, 9(3): 511-525.

[7] 潘磊. 基于圖像熵的密集人群異常事件實時檢測方法[J]. 計算機科學與探索, 2016, 10(7): 1044-1050.

PAN L. Real-time detection method of abnormal event in crowds[J]. Computer Science and Exploration, 2016, 10(7): 1044-1050.

[8] CHAKER R, AGHBARI Z A, JUNEJO I N. Social network model for crowd anomaly detection and localization[J]. Pattern Recognition, 2016(61): 266-281.

[9] BAUER N, PATHIRANA P, HODGSON P. Robust optical flow with combined lucas-kanade/horn-schunck and automatic neighborhood selection[C]// International Conference on Information and Automation, December 15?17, 2006, Hong Kong, China. New Jersey: IEEE Press, 2006: 378-383.

[10] WANG D, ABDELZAHER T, KAPLAN L. Chapter 8-understanding the social network[M]. Amsterdam: Social Sensing Elsevier Inc. 2015: 129-151.

[11] LI LY, LI D R. Fuzzy entropy image segmentation based on particle swarm optimization[J]. Progress in Natural Science: Materials International, 2008, 18(9): 1167-1171.

[12] 勞義. 我國男子百米技術差異分析——以亞運會男子100米冠軍勞義和世界紀錄保持者博爾特為比較案例[D]. 南昌: 江西師范大學, 2015.

LAO Y. Analysis of the different between the men’s 100 meter technology in China—in the asian games in the men’s 100 meters champion of LAO Yi and world record holder BOLT as a comparison case[D]. Nanchang: Jiangxi Normal University, 2015.

[13] 科學網(wǎng). 空中漫步助力宇航服設計[J]. 科技創(chuàng)新導報, 2014(30): 2.

Science network. Space walk booster space suit design[J]. Science and Technology Innovation Herald, 2014(30): 2.

[14] 周潔, 郭立君, 張榮. 基于粒子熵值的異常行為檢測[J]. 無線電通信技術, 2015, 41(3): 66-68.

ZHOU J,GUO L J, ZHANG R. Abnormal behavior detection based on particle entropy[J]. Radio communication technology, 2015, 41(3): 66-68.

[15] University of minnesota. Unusual crowd activity dataset of university of minnesota[EB/OL]. (2006?10?25)[2015?08?29]. http: / /mha.cs.umn.edu / movies / crowd activity-all.avi.

[16] OZTURK A, ARSLAN A. Classification of transcranial doppler signals using their chaotic invariant measures[J]. Computer Methods & Programs in Biomedicine, 2007, 86(2):171-180.

[17] MEHRAN R, OYAMA A, SHAH M. Abnormal crowd behaviordetection using social force model[C]// IEEE Conference on Computer Vision and Pattern Recognition, June 20?25, 2009, Miami, USA. New Jersey: IEEE Press, 2009: 935-942.

[18] 王汗三, 陳杰. 稀疏重構算法[J]. 電子科技, 2013, 26(5): 106-108.

WANG H S, CHEN J. Sparse reconstruction slgorithm[J]. Electronic Science & Technology, 2013, 26(5): 106-108.

Crowd abnormal behavior detection based on motion similar entropy

LI Fei, CHEN Ken, LI Meng, GUO Chunmei

Institute of Communication Technology, Ningbo University, Ningbo 315211, China

It is an important research content of graphic processing in the field of intelligent video surveillance to detect abnormal events. An algorithm based on entropy of motion similarity (EMS) to detect abnormal behavior was proposed. Based on the optical flow algorithm, taking the bottom flow block as the basic unit to get the scene motion information, according to the concept of social network model, the construction scene of the motion network model (MNM) was proposed, the division of the scene particles motion similarity was completed, and the distribution EMS of MNM was calculated in the time domain. Finally, the obtained image entropy was compared with the reasonable threshold, to determine whether abnormal behavior occured. Experimental results indicate that the proposed algorithm can detect abnormal behavior effectively and show promising performance while comparing with the state of the art methods.

crowd abnormal detection, entropy of motion similarity, motion network model, image entropy, optical flow method

TP391

A

10.3969/j.issn.1000?0801.2017117

2017?02?22；

2017?04?26

國家自然科學基金資助項目（No.60972063）；寧波市自然科學基金資助項目（No.2014A610065），寧波大學科研基金（理）/學科資助項目（No.XKXL1308）

The National Natural Science Foundation of China (No.60972063), The Natural Science Foundation of Ningbo of China (No.2014A610065), Scientific Research Foundation of Ningbo University (No.XKXL1308)

李斐（1992?），女，寧波大學信息科學與工程學院碩士生，主要研究方向為視頻圖像處理、監(jiān)控視頻中的人群異常分析與檢測、多媒體通信技術。

陳懇（1962?），男，寧波大學信息科學與工程學院副教授、碩士生導師，在核心期刊和重要國際會議發(fā)表論文100多篇，參與和主持國家級、省部級、市廳級和校級科研項目共16項，獲得相關科研相關獎項3項，主要研究方向為圖像及視頻信息處理、多媒體通信、智能控制。

李萌（1992?），女，寧波大學信息科學與工程學院碩士生，主要研究方向為監(jiān)控視頻中的人群異常分析與檢測、多媒體通信技術。

郭春梅（1990?），女，寧波大學信息科學與工程學院碩士生，主要研究方向為視頻跟蹤、多媒體通信技術。