李 萌，陳 懇，郭春梅，李 斐，吉培培

?

融合顯著性信息和社會力模型的人群異常檢測

李 萌，陳 懇，郭春梅，李 斐，吉培培

( 寧波大學信息科學與工程學院，浙江寧波315211 )

人群異常事件檢測是智能視頻監(jiān)控中的重要研究內容，本文提出一種新的融合時空特征的異常行為檢測算法。首先提取顯著性信息作為空間域特征，采用高精度的光流算法，結合社會力模型計算相互作用力作為時域特征；提出一種新的運動信息特征描述子——相互作用力直方圖(HOIF)，將其與顯著性信息特征相融合送入支持向量機(SVM)進行學習訓練，從而對人群事件進行分類。在UMN(University of Minnesota, Twin Cities)數(shù)據(jù)庫上對本文算法有效性進行了驗證。實驗結果表明，該算法在檢測正確率及魯棒性上要優(yōu)于其他算法。

時空特征；顯著性信息；社會力模型；HOIF；SVM

0 引 言

近年來，隨著人口的持續(xù)增長及城市化進程的不斷加快，人群活動變得日益頻繁，在交通路口、機場、火車站、旅游景區(qū)等人群密集的公共場所發(fā)生重大異常事件的現(xiàn)象屢見不鮮，人們的安全意識也在逐漸加強。因此，在智能視頻監(jiān)控中對大規(guī)模人群的異常檢測則顯得尤為重要[1]。

現(xiàn)有的對人群異常事件的檢測主要分為兩類：一種是基于個體目標檢測和跟蹤的方法[2]。該類方法集中研究視覺場景中的移動目標，識別并跟蹤其運動軌跡，從軌跡中提取出運動目標特征來分析人群活動[3]。但在人群擁擠、遮擋的場面中，計算復雜度高，跟蹤變得難以實現(xiàn)。

人群異常事件檢測的第二種方法是從視頻序列中提取全局特征和局部特征相結合的時空域特征[4-5]來分析人群行為?？臻g域特征的提取只考慮了目標與其鄰域之間的差異性，時域特征的提取則是依靠分析一系列視頻幀的整體場景，根據(jù)前后幀差異來判斷異常事件的發(fā)生。目前很多算法只考慮了單一域的行為模式，例如社會力模型[6]、全局光流直方圖[7]、顯著性特征[8]等。

綜合以上問題，本文提出一種新的融合時空特征的人群異常檢測算法。該算法在特征提取及特征表示方面做了改進。首先采用分塊的思想提取視頻幀中的顯著性信息作為空間域特征，并與由社會力模型提取出的時域特征——相互作用力相融合，經(jīng)機器學習與訓練來檢測異常事件的發(fā)生。該方法有效的提高了人群異常事件檢測率及魯棒性。

1 基于HVS的顯著性特征提取

人類視覺系統(tǒng)(HVS)是一種實現(xiàn)將外部世界投影在大腦中的機制，其中視覺注意力是研究HVS的一個重要特性。當人們觀察一個場景時容易注意到一些低級特征，如顏色、亮度、對比度等，這說明在人類視覺系統(tǒng)中，選擇性注意機制將主要接收視覺場景中不同于鄰域地區(qū)的顯著性區(qū)域信息。

在復雜場景中，通過選擇性注意機制人眼可迅速有效的專注于重要的事件。一般來說，在視頻幀中異常事件的發(fā)生可被描述成時空域中特征的突變，因此，異常事件也可被認為是視頻幀中顯著性區(qū)域。本文提出一種將顯著性信息作為空間域特征與時域特征相融合的人群異常檢測算法，采用自底向上的基于HVS與振幅譜的顯著性檢測算法[9]。首先將視頻幀分解為個圖像塊，采用四元數(shù)傅里葉變換(QFT)的振幅譜來表示圖像塊的雙通道顏色、強度和方向分布，最終每個圖像塊顯著值的計算不僅由其與其他圖像塊的振幅譜差異決定，還取決于人類視覺靈敏度所影響的圖像塊顯著性的權值。圖像塊的顯著值計算公式為

圖片尺寸為320×240，實驗中采用4×4圖像塊。對人群場景進行顯著性信息檢測，實驗結果如圖2。

圖2 (a) 正常幀；(b) 異常幀；(c)，(d) 圖像的顯著性

2 人群運動狀態(tài)信息提取

2.1 光流法

光流法是比較經(jīng)典的運動估計算法，常用的光流算法有Horn-Schunck[10]光流法和Lucas-Kanade[11]光流法。本文采用Thomas Brox[12]等人提出的基于變形理論的高精度光流算法。該算法基于以下三個假設：亮度恒定約束、梯度恒定約束、保留不連續(xù)時空光滑性。為容許大的位移，要嚴格避免兩個數(shù)據(jù)項之間的線性化，給出了一個一致的基于兩個嵌套的固定點迭代的數(shù)值方案。實驗證明這種新方法的角誤差明顯小于以前的光流估計方法，對參數(shù)變化的敏感程度非常低，因而在光照和噪聲的影響下，基于變形理論的高精度光流法展現(xiàn)了良好的魯棒性。

如果對每個像素點進行光流估計，計算量大且受噪聲的影響嚴重，故提出網(wǎng)格狀粒子采樣。考慮到既要獲得有效的特征又要保持較低的計算量，將粒子密度設置為總像素數(shù)的25%。圖3顯示了在UMN數(shù)據(jù)庫視頻場景中選用文中這三種光流算法產(chǎn)生的光流估計，可以看到，Horn-Schunck光流法和Lucas-Kanade光流法在非運動區(qū)域產(chǎn)生了大量光流，加大運算量，影響后續(xù)的人群運動特征的計算精度。而高精度的光流算法僅在人群運動區(qū)域產(chǎn)生光流估計，對光照和噪聲具有強魯棒性。

圖3 依次使用HS光流法，LK光流法及高精度光流法產(chǎn)生的光流示意圖

2.2 社會力模型

社會力模型是對行人受力的模擬，在社會力模型中，人是受主作用力的驅使做跟隨運動，類似于牛頓力學。人群中行人受到的社會力為

2.3 相互作用力直方圖

在光流計算的基礎上進行二次特征提取，即相互作用力特征。相互作用力能很好的表征群體和個人的動態(tài)，但由于計算量大且存在大量的冗余，影響檢測效率，提出一種新的特征描述子——相互作用力方向投標直方圖。將平面九等分，對每個網(wǎng)格粒子在所屬直方圖方向的加權投標進行計算，其角度和幅值為

圖4 (a) 是正常幀，(b) 是異常幀

圖5 正常幀的相互作用力直方圖

圖6 異常幀的相互作用力直方圖

3 算法描述

針對傳統(tǒng)算法只考慮單一域模式的局限性，本文提出一種融合時空特征的人群異常事件檢測算法。在視覺場景中顯著性區(qū)域包含空間域的重要信息，相互作用力表征個人和群體的動態(tài)，提取HOIF作為時域特征，融合S和HOIF特征構建時空模型的人群異常檢測。具體算法如下：

Step 3：對視頻幀進行光流估計得到人群的運動速度及方向，結合社會力模型，提取HOIF特征矩陣。其中表示第幀的直方圖矩陣，表示直方圖的總維數(shù)；

融合時空模型的人群異常事件檢測模型框架如圖7。

圖7 時空異常檢測模型圖

4 實驗結果及分析

4.1 UMN Dataset

本文使用UMN標準數(shù)據(jù)庫進行實驗性能驗證。UMN數(shù)據(jù)庫包含草坪、室內、廣場三個視頻序列，包含幀數(shù)為7 738幀。從中選取部分幀用作訓練數(shù)據(jù)，部分幀為測試數(shù)據(jù)，每幀分為32個圖像塊，故將32維的顯著值特征矩陣與9維的HOIF特征矩陣相融合，最終將41維的特征向量送入SVM進行訓練及預測。

采用本算法在三個場景中進行實驗驗證，結果表明本算法能很好的檢測出異常行為。檢測結果如圖8。

圖8 采用本算法對正常行為及異常行為的分類

為驗證本文算法的優(yōu)越性，將光流法、社會力模型、混沌不變[14]、稀疏重構[15]等經(jīng)典算法與本文算法分別在三個場景所生成的接受者操作特性曲線圖(Receiver Operating Characteristic Curve, ROC)進行對比。其中，縱軸為真正類率(TPR)，橫軸為假正類率(FPR)。ROC曲線仿真結果如圖9、圖10、圖11所示。AUC值為ROC曲線下的面積，用于提供總體性能評估，值越大，分類效果越好。

圖9 草坪場景的ROC曲線

圖10 室內場景的ROC曲線

圖11 廣場場景的ROC曲線

表1 本文算法與其他算法的AUC值對比

表1中可以看出各種方法的AUC對比，充分證實了本文算法在檢測正確率及魯棒性上要優(yōu)于原始社會力模型及其他經(jīng)典算法。

4.2 PETS 2009 Dataset

為了再次驗證本文算法的有效性，在PETS 2009數(shù)據(jù)庫中再次進行實驗。選取PETS 2009“S3”數(shù)據(jù)庫視頻，總幀數(shù)為222幀，視頻中人群由正常行走到奔跑定義為異常行為。不同于UMN數(shù)據(jù)庫，該視頻場景中正常事件到異常事件的轉變比較緩慢，這就使得異常事件的檢測變得更加具有挑戰(zhàn)性。檢測結果如圖12，表明本算法能很好地檢測出異常事件。圖13為光流法、PSO-Social Force算法[16]與本文算法在“S3”場景生成的ROC曲線對比圖，三種算法對應的AUC值分別為0.883 4，0.941 4，0.978 01。實驗結果表明本文方法要優(yōu)于其他算。

圖12 采用本算法對正常行為及異常行為的分類

圖13 PETS 2009數(shù)據(jù)庫下的ROC曲線

5 總 結

本文針對傳統(tǒng)社會力模型只考慮單一域的行為模式，提出一種融合顯著性信息和社會力模型的人群異常事件檢測算法，該算法考慮了時空域特征，在UMN標準數(shù)據(jù)庫和PETS2009數(shù)據(jù)庫中進行了性能驗證。結果表明，該算法能很好的檢測出人群異常事件，且在檢測準確率及魯棒性上要優(yōu)于其他經(jīng)典算法。

[1] Popoola Oluwatoyin P，WANG Kejun. Video-based Abnormal Human Behavior Recognition—A Review [J]. IEEE Transactions on Systems，Man，and Cybernetics，Part C：Applications and Reviews(S1094-6977)，2012，42(6)：865-878.

[2] Rasheed N，Khan S A，Khalid A. Tracking and Abnormal Behavior Detection in Video Surveillance using Optical Flow and Neural Networks [C]// International Conference on Advanced Information Networking and Applications Workshops，Victoria，BC，Canada，May 13-16，2014：61-66.

[3] Mousavi H，Mohammadi S，Perina A，. Analyzing Tracklets for the Detection of Abnormal Crowd Behavior [C]// IEEE Winter Conference on Applications of Computer Vision，Waikoloa，Hawaii，Jan 6-9，2015：148-155.

[4] Thida Myo，Eng Howlung，Remagnino Paolo. Laplacian Eigenmap with Temporal Constraints for Local Abnormality Detection in Crowded Scenes [J]. IEEE Transactions on Cybernetics(S2168-2275)，2013，43(6)：2147-2156.

[5] Benezeth Y，Jodoin P M，Saligrama V，. Abnormal Events Detection Based on Spatio-temporal Co-occurences [C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Miami，F(xiàn)lorida，USA，June 20-26，2009：2458-2465.

[6] Mehran R，Oyama A，Shah M. Abnormal Crowd Behavior Detection using Social Force Model [J]. Computer Vision and Pattern Recognition(S1063-6919)，2009，1(4)：935-942.

[7] WANG Tian，Snoussi H. Detection of Abnormal Visual Events via Global Optical Flow Orientation Histogram [J]. IEEE Transactions on Information Forensics and Security(S1556-6013)，2014，9(6)：988-998.

[8] Gopalakrishnan Viswanath，HU Yiqun，Rajan Deepu. Salient Region Detection by Modeling Distributions of Color and Orientation [J]. Multimedia IEEE Transactions on(S1520-9210)，2009，11(5)：892-905.

[9] FANG Yuming，LIN Weisi，Lee Bu Sung，. Bottom-Up Saliency Detection Model Based on Human Visual Sensitivity and Amplitude Spectrum [J]. IEEE Transactions on Multimedia(S1520-9210)，2012，14(1)：187-198.

[10] Horn B K P，Schunck B G. Determining Optical Flow[J]. Artificial Intelligence(S0004-3702)，1981，17(81)：185-203.

[11] Lucas B D，Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision [C]// International Joint Conference on Artificial Intelligence，Vancouver，BC，Canada，Aug 24-28，1981，73(3)：285-289.

[12] Brox T，Bruhn A，Papenberg N，. High Accuracy Optical Flow Estimation Based on a Theory for Warping [M]. Berlin：Springer，2004：25-36.

[13] CHANG Chihchung，LIN Chihien. LIBSVM：A Library for Support Vector Machines [J]. ACM Transactions on Intelligent Systems and Technology(S2157-6904)，2011，2(3)：389-396.

[14] Wu Shandong，Moore Brian E，Shah Mubarak. Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes [C]// IEEE Conference on Computer Vision and Pattern Recognition，San Francisco，California，USA，June 13-18，2010：2054-2060.

[15] CONG Yang，YUAN Junsong，LIU Ji. Abnormal Event Detection in Crowded Scenes Using Sparse Representation [J]. Pattern Recognition(S0031-3203)，2013，46(7)：1851-1864.

[16] Raghavendra R，Del Bue A，Cristani M，. Optimizing Interaction Force for Global Anomaly Detection in Crowded Scenes [C]// IEEE International Conference on Computer Vision Workshops，Barcelona，Spain，Nov 6-13，2011：136-143.

Abnormal Crowd Event Detection by Fusing Saliency Information and Social Force Model

LI Meng，CHEN Ken，GUO Chunmei，LI Fei，JI Peipei

( Department of Information Science and Engineering, Ningbo University, Ningbo 315211, Zhejiang, China)

Abnormal event detection plays an important role in intelligent video surveillance. A new abnormal behavior detection algorithm is presented by fusing spatiotemporal features. We first extract SI as the feature representation in the spatial domain. Then, by combining the high precision optical flow algorithm with social force model, we calculate the interaction force as the feature representation in the temporal domain. A novel motion feature descriptor, i.e., Histogram of Interaction Force (HOIF) is proposed, which is combined with SI as temporal-spatial features to be input to the Support Vector Machine (SVM) to identify the crowd events. The effectiveness of the proposed algorithm is put to test on the UMN dataset, and the experimental results indicate that the presented method offers more reliable performance than some existing algorithms in terms of accuracy and robustness.

spatiotemporal features; saliency information; social force model; HOIF; SVM

1003-501X(2016)12-0193-07

TP391

A

10.3969/j.issn.1003-501X.2016.12.029

2016-06-15；

2016-10-06

國家自然科學基金(60972063)；寧波市自然科學基金(2014A610065)；寧波大學科研基金(理)/學科項目(XKXL1308)

李萌(1992-)，女(漢族)，河北新樂人。碩士研究生，主要研究工作是視頻圖像處理、計算機視覺。E-mail: limeng920303@163.com。

陳懇(1962-)，男(漢族)，重慶人。副教授，主要研究工作是視頻圖像處理、智能控制。E-mail:chenken@nbu.edu.cn。