于明+郭團(tuán)團(tuán)

摘要：近年來，公眾場所安全問題得到了廣泛關(guān)注，視頻監(jiān)控下的人群異常檢測成為智能監(jiān)控的研究熱點?，F(xiàn)實場景中的人群異常檢測具有容易受到光照亮度變化影響、可能存在大量遮擋以及人群密度大等研究難點。提出一種基于高斯混合模型的人群異常檢測方法，能有效應(yīng)用于復(fù)雜的室外場景。首先通過預(yù)處理階段求得視頻幀的感興趣區(qū)域（ROI），再在感興趣區(qū)域中計算人群光流，并在此基礎(chǔ)上融合SIFT特征，利用圖像分塊提取特征。對不同分塊建立對應(yīng)的高斯混合模型，進(jìn)而用模型判斷特征點是否屬于異常事件。實驗結(jié)果證明，該方法對于UMN數(shù)據(jù)庫中人群的四散奔跑以及UCSD數(shù)據(jù)庫中人行橫道上出現(xiàn)汽車和自行車等異常事件有較高的識別率。

關(guān)鍵詞關(guān)鍵詞：人群異常檢測；感興趣區(qū)域；SIFT特征；光流法；高斯混合模型

DOIDOI：10.11907/rjdk.171847

中圖分類號：TP319

文獻(xiàn)標(biāo)識碼：A文章編號文章編號：16727800（2017）011011407

0引言

近年來，人群異常檢測在智能監(jiān)控視頻中扮演著越來越重要的角色。異常本身是指行為不規(guī)則、不尋常、偏離正常類型，例如摔倒、斗毆、逆行、闖入禁止區(qū)域等[1]。因此，在不同應(yīng)用上，異常定義方式不同。本文在監(jiān)控視頻場景下對異常的定義是低概率發(fā)生的事件，或者是出現(xiàn)次數(shù)很少的事件[23]。

面對監(jiān)控視頻中的高密度人群場景，異常檢測面臨著3大挑戰(zhàn)：①異常與正常定義比較模糊；②高密度人群中存在遮擋情況，行為動作難以分析；③視頻監(jiān)控場景具有多樣性，以及視頻監(jiān)控角度不同造成區(qū)域運動大小不一致。由于存在這些挑戰(zhàn)，導(dǎo)致傳統(tǒng)的行人動作分析技術(shù)不能直接用于人群異常檢測，而人群異常檢測又在保障公眾場所人身安全上具有重要意義，所以異常檢測成為熱門的研究方向，一系列檢測方法被不斷提出。大量相關(guān)方法都指出，現(xiàn)實場景具有時間和空間兩個特性，異常也具有這兩個特性，通常將異常分為時間異常事件和空間異常事件。

時間異常是指在一定時間內(nèi)視頻中物體的速度違背了正常規(guī)律的事件，其最明顯的表現(xiàn)是視頻前后幀的物體位置變化幅度較大。對于時間異常，傳統(tǒng)的檢測方法有基于軌跡分析的、基于光流法的與基于能量的方法，它們都利用了異常的時間特性[47]?；谲壽E的檢測算法通過多目標(biāo)跟蹤算法跟蹤行人運動，用運動軌跡表示人群場景，然后用概率模型對人群場景進(jìn)行建模[8]；基于光流法的檢測算法通過構(gòu)建光流直方圖判斷異常；基于能量的方法通過提取人群的混沌不變量構(gòu)建概率模型，以最大似然估計判斷人群中是否發(fā)生異常?？臻g異常是指出現(xiàn)在場景中未定義的形狀，例如人行橫道上出現(xiàn)汽車等。形狀在異常檢測中也起著重要作用，可以利用目標(biāo)輪廓、紋理特征等檢測視頻中出現(xiàn)的不規(guī)則物體[911]。目前最流行的方法是結(jié)合視頻的時空兩方面特性，從時空塊上提取特征表示基本事件，用機器學(xué)習(xí)的方法訓(xùn)練得到一個正常事件的模型，不滿足該模型的事件則判斷為異常事件[2]。常用的機器學(xué)習(xí)方法有Principal Components Analysis（PCA）、Hidden Markov Model（HMM）、Support Vector Machine（SVM）等。Weixin Li[11]通過整合時間和空間上的異常判斷異常，并且這種時空結(jié)合的方法可以適用于不同場景。

對于視頻監(jiān)控場景下的人群異常檢測，從規(guī)模上可以分為全局異常和局部異常。全局異常是指場景中所有目標(biāo)觸發(fā)了低概率事件，例如人群四處逃散，即是智能監(jiān)控系統(tǒng)中需求最迫切的一種應(yīng)用，直接關(guān)系到人身安全。通常將人群看作一個整體，通過分析整體運動趨勢或能量檢測異常。由于在全局異常中，異常表現(xiàn)比較明顯，相對于局部異常比較容易檢測。局部異常指場景中少數(shù)目標(biāo)運動狀態(tài)偏離周圍正常狀態(tài)的事件，其檢測具有更大的挑戰(zhàn)性。檢測出局部異常也意味著在視頻中將異常定位，這也是人群異常檢測中的一個重要研究方向。局部異常的特點是相對于周圍事件，該目標(biāo)點與周圍目標(biāo)點特征相似度較低，例如穿梭在正常行走的人群中玩滑板的人，存在給周圍目標(biāo)帶來威脅的可能性。本文提出一種新方法來檢測這兩種異常，對于全局異常，在光流法的基礎(chǔ)上結(jié)合Scale Invariant Feature Transform（SIFT）特征，SIFT特征能對圖像的旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對于存在遮擋的、稀疏或擁擠人群場景能起到很好的檢測效果。然后利用高斯混合模型對其進(jìn)行建模，訓(xùn)練正常事件的高斯混合模型，不屬于該模型的則判定為異常；對于局部異常，將視頻圖像分塊，通過檢測子塊的異常，從而定位出視頻的局部異常。

由于監(jiān)控視頻下不同區(qū)域行人的運動特征不同，提出一種基于混合高斯模型的方法。首先通過預(yù)處理階段求出視頻的運動區(qū)域，減少了背景噪聲對檢測帶來的干擾，同時提高了計算效率，利用光流法和SIFT算法求物體速度大小。然后對圖像進(jìn)行網(wǎng)格化，對每個分塊建立相應(yīng)的混合高斯模型表示該塊的正常運動信息，使每個圖像塊都有對應(yīng)的高斯混合模型，以此檢測相應(yīng)圖像分塊是否屬于異常。本文方法能很好地適用于不同場景。

1異常檢測研究現(xiàn)狀

近年來，智能視頻監(jiān)控中人群異常檢測的研究取得了很大進(jìn)展，現(xiàn)有大多數(shù)方法的基本檢測過程可以歸納為：①基本事件表示；②模型建立。目前已有很多成熟技術(shù)成功運用到了人群異常檢測，例如行人檢測、行人動作分析、背景建模、跟蹤算法等都為基本事件表示提供了有力支持。對于基本事件表示，大致可分為基于軌跡、基于光流、基于紋理特征等方法。

基于軌跡分析的算法有很多，Neil Johnson[12]較早提出的通過比較新軌跡和一系列典型軌跡的方法，先學(xué)習(xí)由圖像序列產(chǎn)生的目標(biāo)軌跡，再判斷不規(guī)則行為；在此基礎(chǔ)上，Weiming Hu[13]提出一種新的多目標(biāo)跟蹤算法，然后用層次聚類算法對軌跡建模，進(jìn)而檢測異常。跟蹤算法面臨的挑戰(zhàn)是目標(biāo)易出現(xiàn)遮擋或者與周圍目標(biāo)差異較小，多目標(biāo)跟蹤算法的精確度將直接影響后續(xù)檢測效果；HT Nguyen[8]通過整合時間空間上下文信息，提出了一種更具有魯棒性的多目標(biāo)跟蹤算法；Ismail Haritaoglu[14]提出在運動軌跡的基礎(chǔ)上，結(jié)合形狀特征分析行人動作，實時監(jiān)測異常。由于基于軌跡的異常檢測算法依賴于目標(biāo)跟蹤，所以這些算法都局限于稀疏場景下，很難適用于人群密度高的場景；Shandong Wu[4]提出一種新的方法，該方法克服了高密度人群給軌跡分析帶來的困難，首先獲得人群具有代表性的軌跡，然后通過提取代表性軌跡的混沌不變性特征構(gòu)建概率模型來分析人群是否異常?；诠饬鞣ǖ臋z測算法通常是將高密度人群看作一個整體加以分析[15]。例如Yang Liu[6]通過光流法計算人群運動速度，以動態(tài)閾值的方式判斷人群情況。但人群異常種類多樣，如人群恐慌、地鐵口逆行、自行車或滑板穿梭于行人中，因此將光流法與其它模型結(jié)合成為研究熱點；Ernesto L Andrade[16]克服了異常種類難以預(yù)測的困難，通過計算人群光流，結(jié)合HMM模型的方式進(jìn)行異常判斷；Ramin Mehran[7]采用將光流與社會力模型結(jié)合的方式分析人群整體，進(jìn)行人群異常檢測；在最近的研究方法中，蔡瑞初[17]利用光流直方圖與時間遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合的方式進(jìn)行人群異常檢測。以上方法都依賴于運動信息而忽略了目標(biāo)大小和形狀信息等紋理特征，紋理特征在人群密度、行人檢測、運動分割上起到重要作用，可為人群異常檢測提供有力支持。常用的紋理特征有目標(biāo)輪廓、大小、邊緣方向直方圖、LBP以及灰度共生矩陣等[9，18]。Antoni B Chan[19]在視頻運動分割中較早提出了混合動態(tài)紋理特征MDT，該特征結(jié)合了運動信息和外貌信息，很好地將兩種不同形態(tài)分割開，例如分割水、火這兩種不同運動狀態(tài)；Vijay Mahadevan[10]則將MDT（Mixture of Dynamic Textures）模型運用于視頻監(jiān)控中的人群異常檢測。受GMM背景建模思想啟發(fā)，作者用MDT模型代替GMM（Gaussian Mixture Model）模型，從時間異常和空間異常兩方面對監(jiān)控視頻進(jìn)行分析，從而判斷異常；Weixin Li[11]進(jìn)一步改進(jìn)和完善了混合動態(tài)紋理特征，提出HMDT（Hierarchical Mixture of Dynamic Texture）模型，克服了異常在不同人群規(guī)模下定義模糊的問題，同時還引入了條件隨機場，但該方法計算耗時較長，實時性較差。endprint

在人群異常檢測模型建立階段，目前使用比較廣泛的有社會力模型、隱馬爾可夫模型、馬爾科夫隨機場、SVM、神經(jīng)網(wǎng)絡(luò)等[7]。Helbing[20]較早提出了社會力模型，以較高精確度模擬人群動態(tài)；Ramin Mehran[7]將社會力模型應(yīng)用在人群異常檢測上，通過計算人群場景運動粒子社會力提取相互力，將人群看作整體，用粒子平流的方法分析視頻中人群是否存在異常，但該方法檢測的異常種類受限。HMM和MRF（Markov Random Filed）模型也是比較流行的模型。岳猛[21]提出一種將狄利克雷多項式共軛模型與隱馬爾科夫模型結(jié)合的方法進(jìn)行異常檢測；Tao Xiang[22]通過建立多目標(biāo)的HMM模型進(jìn)行異常判斷。雖然HMM模型能有效地檢測異常，但模型建立階段面臨的挑戰(zhàn)是場景中的人群在不間斷地變化，模型也需要不斷更新；為了克服這一困難，Jaechul Kim[23]提出一種基于時空的馬爾科夫隨機場模型，隨著新目標(biāo)進(jìn)入場景，模型參數(shù)也會時時更新，從而能更好地適應(yīng)真實的人群場景。值得注意的是，大多數(shù)方法仍沒有較好地解決監(jiān)控視頻下不同區(qū)域運動狀態(tài)不同給檢測帶來的干擾。本文通過分塊構(gòu)建高斯混合模型的方法，對不同區(qū)域訓(xùn)練對應(yīng)的模型，很好地解決了異常檢測問題。

2異常檢測算法

本文提出的異常檢測算法用光流特征和SIFT特征表示人群運動，對圖像進(jìn)行分塊，將特征劃分到對應(yīng)的子塊中，對每個子塊建立高斯混合模型，用高斯混合模型判斷該子塊是否屬于異常。

2.1預(yù)處理

預(yù)處理階段的主要目的是縮小圖像分析范圍，減少噪聲干擾。人群異常檢測主要是檢測行人狀態(tài)是否遵循正常規(guī)律變化，可見異常只發(fā)生在視頻中的運動區(qū)域。通過預(yù)處理可以把檢測區(qū)域進(jìn)一步定位到運動區(qū)域上，從而有效地減少背景等其它因素對異常檢測帶來的影響。Yang Liu[6]在對視頻處理前進(jìn)行了前景提取，縮小了檢測范圍，但現(xiàn)有的前景提取方法存在漏檢問題，會對后續(xù)處理造成一定影響。本文在此基礎(chǔ)上用形態(tài)學(xué)方法對檢測結(jié)果進(jìn)行處理，擴大范圍使其能完全包含運動目標(biāo)，減少漏檢現(xiàn)象。常見的運動目標(biāo)檢測方法有幀差法、光流法、背景差分法。本文采用由Stauffer和Grimson提出的高斯混合模型（Gaussian Mixture Model，GMM），這是目前使用最為廣泛的運動物體檢測方法。

高斯混合模型是基于像素點的背景建模方法，對監(jiān)控圖像Ii中每個像素點位置建立k個高斯混合模型，使圖像中每個像素點位置都對應(yīng)k個高斯混合模型。本文中k=5，每個高斯混合模型共有4個參數(shù)：優(yōu)先級s、權(quán)重w、均值m和方差v。將后續(xù)圖像Ii，i=i+1，…，N中每個像素點的灰度值和該像素點相應(yīng)位置的k個高斯混合模型逐個進(jìn)行匹配，然后根據(jù)該圖像每個像素點的匹配情況更新該點相應(yīng)位置的高斯混合模型。匹配和更新公式如下：

3.3UMN數(shù)據(jù)庫實驗結(jié)果

本文首先在UMN數(shù)據(jù)庫上進(jìn)行檢測，驗證其有效性，效果如圖5所示。

圖5異常檢測效果

圖5是UMN數(shù)據(jù)庫中3個場景下的人群活動狀態(tài)，異常類型是人群四處逃散，紅色區(qū)域是異常發(fā)生的區(qū)域。圖6展示了異常檢測的ROC曲線。

由圖5可以看出，本文提出的方法能有效檢測人群四處逃散這一異常舉動，并且圖像中的紅色分塊很好地定位了異常發(fā)生的位置，驗證了本文方法的有效性。圖6展示了不同方法在UMN數(shù)據(jù)庫上的ROC曲線，本文方法在3個場景中的ROC曲線處于其它方法的左側(cè)，效果最好。由表1可以看出，本文方法在3個場景下的AUC值均優(yōu)于其它方法。由不同方法在UMN數(shù)據(jù)庫上的AUC值及ROC曲線的對比結(jié)果，可見本文方法在UMN數(shù)據(jù)庫的3個場景下的檢測結(jié)果均優(yōu)于對比方法。

3.4UCSD數(shù)據(jù)庫實驗結(jié)果

本文首先在Ped1場景的幀級和像素級上檢測異常。幀級別異常檢測是指以數(shù)據(jù)庫中每一張圖片為單位，檢測的有效性為是否能正確判斷該幀存在異常事件；像素級別異常檢測指以視頻幀中的像素為單位，檢測的有效性為至少檢測出該幀中異常像素點的40%以上，異常檢測效果如圖7所示。

圖7UCSD數(shù)據(jù)庫Ped1場景下異常檢測效果

圖7展示了在Ped1場景下本文方法的檢測效果，紅色區(qū)域為檢測出異常的區(qū)域，可見本文方法能有效地將人行道上運動的汽車、自行車和滑板等檢測出來。Ped1場景的ROC曲線如圖8所示。在UCSD數(shù)據(jù)庫Ped1、Ped2場景下的不同算法AUC對比分別如表2、表3所示。

圖8Ped1場景ROC曲線

圖9展示了本文方法在Ped2場景上的檢測效果，可以看出本文方法能有效檢測出高密度場景中的汽車、自行車等異常事件。圖10展示了Ped2 場景下不同方法的ROC曲線，可以看出本文方法的ROC曲線位于所有方法的最左側(cè)，效果最好。表3展示了本文方法與其它方法的AUC值對比，本文方法的AUC值為0.94，效果最好。實驗結(jié)果表明，本文方法檢測效果優(yōu)于其它對比方法。

4結(jié)語

本文提出了一種基于高斯混合模型的人群異常檢測方法，首先通過預(yù)處理去除了給后續(xù)運動特征提取帶來干擾的背景因素，以光流法和SIFT算法結(jié)合的方式提取高密度人群的運動特征，克服了遮擋和光照變化的影響。然后對圖像進(jìn)行分塊，對每個分塊訓(xùn)練高斯混合模型，使圖像每個子塊都有對應(yīng)的高斯混合模型，從而判斷圖像子塊中是否存在異常，克服了監(jiān)控視頻中不同區(qū)域行人運動狀態(tài)不同的問題。通過實驗，證明本文方法針對典型的人群異常類型如人群恐慌四散、人行橫道上的自行車等都能取得很好的檢測效果，并且能適用于多個不同場景。未來將在此基礎(chǔ)上研究更多的基本事件表示方法，例如目標(biāo)位置、輪廓和方向梯度直方圖等，以更好地表示基本事件。另外需要將運動信息和紋理信息在時空上更有效地結(jié)合起來，以進(jìn)一步提高異常檢測效果。隨著應(yīng)用要求的提高，研究無監(jiān)督的異常檢測算法，提高異常檢測的實時性也是一個重要研究方向。endprint

參考文獻(xiàn)參考文獻(xiàn)：

[1]YANG CONG，JUNSONG YUAN，et al.Sparse reconstruction cost for abnormal event detection[C].IEEE Conference on Computer Vision and Pattern Recognition，Providence，RI，2011：34493456.

[2]吳新宇，郭會文，李楠楠，等.基于視頻的人群異常事件檢測綜述[J].電子測量與儀器學(xué)報，2014，28（6）：575584.

[3]YING ZHANG，HUCHUAN LU，LIHE ZHANG，et al.Combining motion and appearance cues for anomaly detection[J].Pattern Recognition，2016，51：443452.

[4]SHANDONG WU，BRIAN E MOORE，MUBARAK SHAH，et al. Chaotic invariants oflagrangian particletrajectories for anomaly detection in crowded scenes[C]. IEEE Conference on Computer Vision and Pattern Recognition，San Francisco，CA，2010：20542060.

[5]M S KEMOUCHE，N AOUF，et al. A Gaussian mixture based optical flow modeling for object detection[C]. 3th International Conference on Crime Detection and Prevention，London：2009：16.

[6]YANG LIU，XIAOFENG LI，et al. Abnormal crowd behavior detection based on optical flow and dynamic threshold[C]. 11th World Congress on Intelligent Control and Automation（WCICA），shenyang，2014：29022906.

[7]RAMIN MEHRAN，ALEXIS OYAMA，MUBARAK SHAH.Abnormal crowd behavior detection using social force model[C].IEEE Conference on Computer Vision and Pattern Recognition，Miami，F(xiàn)L，2009：935942.

[8]HT NGUYEN，QIANG JI，et al.Spatiotemporal context for robust multitarget tracking[J]. IEEE Transactions on Pattern Analysis Machine Intelligence，2007：5264.

[9]VIKAS REDDY，CONRAD SANDERSON，et al.Improved anomaly detection in crowded scenes via cellbased analysis of foreground speed， size and texture[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops，Colorado Spring，CO，2011：5561.

[10]VIJAY MAHADEVAN，WEIXIN LI，VIRAL BHALODIA，et al. Anomaly detection in crowded scenes[C].IEEE，Conference on Computer Vision and Pattern Recognition， San Francisco，USA，2010：19751981.

[11]WEIXIN LI，VIJAY MAHADEVAN，et al.Anomaly detection and localization in crowded scenes[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（1）：1832.

[12]NEIL JOHNSON，DAVID HOGG.Learning the distribution of object trajectories for event recognition[C].British Conference on Machine Vision，1996：609615.

[13]WEIMING HU，XUEJUAN XIAO，ZHOUYU FU，et al. A system for learning statistical motion patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（9）：14501464.

[14]ISMAIL HARITAOGLU，DAVID HARWOOD，et al.Realtime surveillance of people and their activities[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：809830.endprint

[15]J L BARRON，D J FLEET，et al.Performance of optical flow techniques[J].International Journal of Computer Vision，1994，12（1）：4377.

[16]ERNESTO L ANDRADE，SCOTT BLUNSDEN，et al.Modelling crowd scenes for event detection[C].18th IEEE Conference on Pattern Recognition，Hong Kong，2006：175178.

[17]蔡瑞初，謝偉浩，郝志峰，等.基于多尺度時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測[J].軟件學(xué)報，2015，26（11）：28842896.

[18]MRIDULA J，KUNDAN KUMAR，et al.Combining GLCM features and markov random field model for colour textured image segmentation[C].International Conference on Devices and Communications，Mesra，2011：15.

[19]ANTONI B CHAN，et al. Modeling，clustering，and segmenting video with mixtures of dynamic textures[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（5）：909926.

[20]D HELBING，et al. Social force model for pedestrian dynamics[J].Physical Review E，1995，

51（5）：42824286.

[21]岳猛，郭春生.基于DMCHMM模型的視頻異常行為檢測[N].杭州電子科技大學(xué)學(xué)報，2014，34（3）：2124.

[22]TAO XIANG，SHAOGANG GONG.Incremental and adaptive abnormal behaviour detection[J].

Computer Vision and Image Understanding，2008，111（1）：5973.

[23]JAECHUL KIM，KRISTEN GRAUMAN.Observe locally， infer globally： a spacetime MRF for detecting abnormal activities with incremental updates[C].IEEE Conference on Computer Vision and PatternRecognition，Miami，F(xiàn)L，2009：29212928.

[24]XING HU，SHIQIANG HU，et al.Video anomaly detection using deep incremental slow feature analysis network[J]. let Computer Vision，2016，10（4）：258256.

[25]XING HU，SHIQIANG HU，et al.Abnormal event detection in crowded scenes via bagofatomiceventsbased topic model[J].Turkish Journal of Electrical Engineering and Computer Sciences，2016，24（4）：26382653.

[26]YANG CONG，JUNSONG YUAN，et al.Abnormal event detection in crowded scenes using sparse representation[J].Pattern Recognition，2013，46（7）：18511864.

[27]YING ZHANG，HUCHUAN LU，et al.Video anomaly detection based on locality sensitive hashing filters[J].Pattern Recognition，2015.

[28]YANG HU，YANGMUZI ZHANG，et al.Unsupervised abnormal crowd activity detection using semiparametric scan statistic[C].IEEE Conference on Computer Vision and Pattern Recognition Workshops，Portland，OR，2013：767774.

[29]MYO THIDA，HOWLUNG ENG，et al.Laplacian eigenmap with temporal constraints for local abnormality detection in crowded scenes[J].IEEE Transactions on Cybernetics，2013，43（6）：21472156.

責(zé)任編輯（責(zé)任編輯：黃?。〆ndprint