周 智,張偉峰,趙 斌,黃 露,朱 明

(中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230022)

基于光流的ATM機(jī)異常行為實(shí)時(shí)檢測(cè)①

周 智,張偉峰,趙 斌,黃 露,朱 明

(中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230022)

異常行為檢測(cè)在自助銀行智能監(jiān)控系統(tǒng)領(lǐng)域中有廣泛的應(yīng)用前景.本文針對(duì)此應(yīng)用領(lǐng)域,提出了基于區(qū)域光流特征的異常行為檢測(cè)方法.首先利用混合高斯模型來(lái)表示背景像素的變化并自適應(yīng)更新背景模型,用背景差法從視頻序列中提取運(yùn)動(dòng)前景;采用lucas-kanade光流法計(jì)算出運(yùn)動(dòng)區(qū)域內(nèi)的光流信息.采用基于幅值的加權(quán)方向直方圖描述行為,計(jì)算區(qū)域內(nèi)直方圖的運(yùn)動(dòng)熵發(fā)現(xiàn)候選異常區(qū)域,再利用支持向量機(jī)進(jìn)行分類(lèi).從實(shí)驗(yàn)結(jié)果可以看出,能夠較好的識(shí)別出異常事件,并且實(shí)時(shí)性較好,能夠滿(mǎn)足實(shí)際應(yīng)用需求.

異常行為檢測(cè);動(dòng)作識(shí)別;背景建模;區(qū)域光流特征;支持向量機(jī)

隨著ATM機(jī)日益廣泛的使用,其使用安全性也受到了廣泛的關(guān)注,近些年,有許多ATM機(jī)搶劫,打架等危害人身安全的事件發(fā)生.傳統(tǒng)的視頻監(jiān)控主要是人工視頻監(jiān)控,隨著視頻數(shù)據(jù)的迅速增加,這種方式存在著效率低,耗費(fèi)大量人力物力,且易發(fā)生漏報(bào)和誤報(bào)的情況.為了更好的解決這類(lèi)問(wèn)題,智能視頻監(jiān)控系統(tǒng)的研究變得尤為重要,其中針對(duì)于人的異常行為的檢測(cè)識(shí)別是其中一項(xiàng)重要的研究方向.

近年來(lái),針對(duì)監(jiān)控視頻中的人體異常行為檢測(cè)和識(shí)別領(lǐng)域,已有一些方法識(shí)別某些特定場(chǎng)景下人體的行為,主要有 2 類(lèi):①基于運(yùn)動(dòng)軌跡的分析[1-3].首先是跟蹤運(yùn)動(dòng)目標(biāo),得到運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡;對(duì)目標(biāo)的正常軌跡進(jìn)行分析和建模;最后對(duì)新軌跡的模型與原來(lái)的正常軌跡模型進(jìn)行對(duì)比,從而判斷是否存在異常行為.此類(lèi)方法要求能夠準(zhǔn)確的對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行提取和跟蹤,一旦出現(xiàn)遮擋或丟失情況,則對(duì)檢測(cè)結(jié)果有影響,有較大的局限性.② 基于人體特征的分析[4-7].此類(lèi)方法關(guān)鍵在于提取人體的特征如人體輪廓結(jié)構(gòu)、運(yùn)動(dòng)方向等.這些特征能夠代表人體的不同行為,但是比較容易受噪聲的影響,特征不易提取.

針對(duì)于此,本文提出了一種基于區(qū)域光流特征的異常行為檢測(cè)方法.該方法首先用混合高斯模型從視頻中提取有效的運(yùn)動(dòng)目標(biāo),并且進(jìn)行運(yùn)動(dòng)區(qū)域標(biāo)記;然后運(yùn)動(dòng)LK光流法計(jì)算運(yùn)動(dòng)區(qū)域的光流,采用基于幅值大小的光流方向直方圖描述光流特征,利用運(yùn)動(dòng)熵發(fā)現(xiàn)候選異常區(qū)域,最后利用SVM進(jìn)行分類(lèi).

1 運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)檢測(cè)是智能視頻分析技術(shù)的一個(gè)重要內(nèi)容.其后的是從監(jiān)控視頻中的每一幀中提取運(yùn)動(dòng)目標(biāo)區(qū)域,然后根據(jù)需要進(jìn)行目標(biāo)分類(lèi),提取出所需要的運(yùn)動(dòng)人體目標(biāo).這幾乎是所有進(jìn)行人體目標(biāo)檢測(cè)所需要的處理步驟,其提取結(jié)果的好壞對(duì)后續(xù)處理有著極大的影響,如目標(biāo)跟蹤、特征提取、行為檢測(cè)等.后前,在運(yùn)動(dòng)目標(biāo)檢測(cè)的過(guò)程中,主要有三種方法:幀間差分法、光流法、背景減除法.本文采取了背景減除法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè),下面主要簡(jiǎn)述一下其基本原理.

背景減除法[8]是一種有效的運(yùn)動(dòng)對(duì)象檢測(cè)算法,基本思想是利用背景的參數(shù)模型來(lái)近似背景圖像的像素值,將當(dāng)前幀與背景圖像進(jìn)行差分比較實(shí)現(xiàn)度運(yùn)動(dòng)區(qū)域的檢測(cè).其中區(qū)別較大的像素區(qū)域被認(rèn)為是運(yùn)動(dòng)區(qū)域,而區(qū)別較小的像素區(qū)域被認(rèn)為是背景區(qū)域.背景減除法必須要有背景圖像,并且背景圖像必須是隨著光照或者外部環(huán)境的變化而實(shí)時(shí)更新的,因此背景減除法的關(guān)鍵是背景建模及其更新.在背景建模方法中,最著名的就是高斯背景建模方法,使用高斯概率分布進(jìn)行像素概率分布的描述,是最常見(jiàn)的概率分布模型.本文就是采用這種方法進(jìn)行背景建模.

混合高斯背景建模法建立在單高斯模型方法的基礎(chǔ)上,也就是采用K個(gè)高斯模型進(jìn)行混合,通常K取3～5.在某時(shí)刻某一個(gè)點(diǎn)的像素值為的概率密度為:

混合高斯背景建模的具體實(shí)現(xiàn)過(guò)程分為兩步:第一步,背景訓(xùn)練:首先對(duì)視頻序列進(jìn)行一段時(shí)間的訓(xùn)練,訓(xùn)練時(shí)間過(guò)短會(huì)影響K個(gè)高斯模型的建模效果,但是訓(xùn)練時(shí)間過(guò)長(zhǎng)有會(huì)對(duì)整個(gè)系統(tǒng)的啟動(dòng)時(shí)間造成拖延,通常取30～70幀的時(shí)間進(jìn)行訓(xùn)練.初始背景通常都是相對(duì)靜止的,故該高斯模型的初始權(quán)值較大,而其他高斯模型的初始權(quán)值較小,方差取值較大.第二步,模型匹配:采用第一步訓(xùn)練得到的K個(gè)高斯模型,通常使用模板匹配的方法來(lái)對(duì)前景和背景做出區(qū)分.對(duì)于圖像的每個(gè)像素點(diǎn),利用公式:

進(jìn)行匹配,如果小于閾值則判斷為背景點(diǎn),否則為前景運(yùn)動(dòng)目標(biāo).如果某像素點(diǎn)始終是靜態(tài)的背景,該點(diǎn)就會(huì)與某一高斯模型匹配,其方差的波動(dòng)范圍就會(huì)比較小;但是如果某像素點(diǎn)是運(yùn)動(dòng)目標(biāo),其與高斯模型匹配不能完全匹配,那么其方差會(huì)有較大的波動(dòng).

現(xiàn)實(shí)的監(jiān)控場(chǎng)景中,外部環(huán)境時(shí)刻變化著,所以要想保持背景與實(shí)際所處的環(huán)境保持一致,必須要對(duì)背景模型進(jìn)行自適應(yīng)實(shí)時(shí)更新.更新率α是用來(lái)決定背景模型更新速率的,如果,那么當(dāng)前幀對(duì)新背景決策較大,背景模型更新較快、變化較大;如果則是前一時(shí)刻的背景對(duì)新背景的貢獻(xiàn)較大,背景模型更新較慢、變化不大.α不能去太大,否則會(huì)增大將當(dāng)前幀的運(yùn)動(dòng)目標(biāo)判定為背景的模型,進(jìn)而影響運(yùn)動(dòng)目標(biāo)提取的準(zhǔn)確性,所以對(duì)于更新率取值的選擇要非常謹(jǐn)慎.本文經(jīng)過(guò)實(shí)驗(yàn)比對(duì),選擇α=0.001,保證了前景目標(biāo)提取的準(zhǔn)確性.

在提取出前景后,如圖1所示,使用形態(tài)學(xué)處理,可以得到比較完整的運(yùn)動(dòng)前景區(qū)域,從而可以得到感興趣的人體運(yùn)動(dòng)區(qū)域.

2 特征選擇及分類(lèi)器

2.1 區(qū)域光流的計(jì)算

光流是很好的的運(yùn)動(dòng)特征,主要有3個(gè)部分構(gòu)成:水平偏移量x,垂直偏移量y和像素的速率val,分別表示了像素的方向和速度.異常行為的特征可以用光流特性較好地表示.人的異常行為只發(fā)生在運(yùn)動(dòng)目標(biāo)區(qū)域,所以只需要計(jì)算對(duì)前景提取的區(qū)域計(jì)算光流即可.

圖1 高斯建模法前景提取

2.2 光流特征直方圖

運(yùn)動(dòng)區(qū)域中的每個(gè)像素的速度為:

直方圖就是對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì),將統(tǒng)計(jì)值組織到一系列事先定義好的bin中.bin中的數(shù)值是從數(shù)據(jù)中計(jì)算出的特征的統(tǒng)計(jì)量,這些數(shù)據(jù)可以是速度、方向、色彩或其他任何特征.

在本文中,我們對(duì)方向直方圖做一些改進(jìn),一般的方向直方圖是將方向范圍劃分為不同的角度區(qū)間,然后將計(jì)算的方向特征歸類(lèi)到不同的區(qū)間上,雖然方向直方圖能比較好地體現(xiàn)運(yùn)動(dòng)區(qū)域內(nèi)光流矢量的方向變化,但是只考慮方向的變化,卻忽視了幅值大小所帶來(lái)的影響,幅值大小在客觀上體現(xiàn)了人體動(dòng)作行為的劇烈程度.因此,我們考慮采用基于幅值權(quán)值的方向直方圖,幅值大的光流矢量的權(quán)重也增大.首先對(duì)光流矢量的幅值進(jìn)行歸一化處理,將其作為光流矢量的方向的權(quán)值;接著累計(jì)求和做方向直方圖的大小,假設(shè)運(yùn)動(dòng)區(qū)域R的方向直方圖為是方向直方圖區(qū)間的個(gè)數(shù),在本文中,區(qū)間按照30°劃分,n=12.

圖2 正常行為和異常行為的光流直方圖比較

2.3 SVM分類(lèi)器

對(duì)于異常行為來(lái)說(shuō),高維的特征很難通過(guò)簡(jiǎn)單的模板匹配或者歐式距離來(lái)進(jìn)行分類(lèi).為了解決這個(gè)問(wèn)題,這里我們采用 SVM[9]做為分類(lèi)器.通常,在樣本數(shù)量不多的情況下,SVM只需要較少的支持向量個(gè)數(shù)就能決定最終結(jié)果,是一種很好的分類(lèi)器,具有較好的魯棒性.但是標(biāo)準(zhǔn)的SVM對(duì)于小樣本數(shù)據(jù)容易造成過(guò)擬合的現(xiàn)象,在數(shù)據(jù)樣本多的時(shí)候會(huì)出現(xiàn)運(yùn)行速度很慢,泛化能力低等缺點(diǎn).因此出現(xiàn)了許多雙目標(biāo)函數(shù)的支持向量機(jī),如TWSVM[10],基本思想是找出兩對(duì)非平行的分類(lèi)超平面,本文采用了TWSVM分類(lèi)方法.

對(duì)于非線(xiàn)性分類(lèi)器,定義如下:

圖3 正常行為和異常行為的熵變化曲線(xiàn)圖

在本文中,我們采用2.2節(jié)提出的區(qū)域光流直方圖作為特征向量,運(yùn)動(dòng)區(qū)域的直方圖進(jìn)行熵的計(jì)算進(jìn)行異常行為的初篩之后,選定了候選的運(yùn)動(dòng)區(qū)域,為了考慮上下文信息,異常行為的過(guò)程是連續(xù)的,單幀圖片可能不太適用于描述特征,所以我們采用連續(xù)的8幀做為特征描述,因此,總共的特征有12*8維特征.

3 實(shí)驗(yàn)結(jié)果與分析

本文方法的框架如圖4所示,在我們的實(shí)驗(yàn)中,采用了三種數(shù)據(jù)集做為測(cè)試,BEHAVE數(shù)據(jù)集、CAVIAR數(shù)據(jù)集以及我們自己模擬的ATM數(shù)據(jù)集.實(shí)驗(yàn)配置為 win10 系統(tǒng),4G 內(nèi)存,Intel core i5 處理器.

圖4 本文算法流程圖

BEHAVE數(shù)據(jù)集:我們采用20個(gè)片段做為訓(xùn)練樣本.同時(shí),我們與 HOG,HOF,HNF[11],MoSIFT[12]和ViF[13]算法進(jìn)行了對(duì)比.對(duì)于這些時(shí)空特征,字典大小選擇為500.表1可以看出在60個(gè)視頻片段上的實(shí)驗(yàn)效果,我們的方法在檢測(cè)打斗事件中,表現(xiàn)很好,如圖5 所示.在出現(xiàn)人體嚴(yán)重遮擋的情況下,很難檢測(cè),光流信息因?yàn)檎趽?無(wú)法有效提取.另外,我們將所有人群行走、站立、討論以及其他正常動(dòng)作都視為一類(lèi),即正常行為.總的來(lái)說(shuō),我們的方法能夠很好的區(qū)分正常和異常事件,在遮擋和人群之間做一些夸張動(dòng)作的情況下,會(huì)出現(xiàn)誤報(bào).

圖5 BEHAVE 數(shù)據(jù)集異常檢測(cè)結(jié)果

表1 BEHAVE 數(shù)據(jù)集的分類(lèi)結(jié)果

我們可以看到,在比較的六種方法中,我們的方法有最好的表現(xiàn),其次為ViF、MoSIFT、HOG和HNF,HOF的檢測(cè)效果最差.因?yàn)锽EHAVE數(shù)據(jù)集包括許多行走,奔跑及騎車(chē)等行為,基于 MoSIFT、HOG、HNF和HOF特征的分類(lèi)方法很難區(qū)分.

CAVIAR數(shù)據(jù)集:我們選擇了4個(gè)打斗片段和19個(gè)正常片段當(dāng)做測(cè)試集,我們的分類(lèi)模型由BEHAVE數(shù)據(jù)集訓(xùn)練.同樣的,我們與 HOG,HOF,HNF,MoSIFT和ViF算法進(jìn)行了對(duì)比.表2可以看出在23個(gè)視頻片段上的實(shí)驗(yàn)結(jié)果,我們的方法能夠較好的檢測(cè)出異常事件,如圖6所示,漏檢的情況多發(fā)生在距離攝像頭較遠(yuǎn)處,光流信息提取偏少;有些誤檢的情況是由于攝像頭的抖動(dòng)導(dǎo)致的光流計(jì)算錯(cuò)誤.另外,盡管我們的訓(xùn)練集使用的是BEHAVE數(shù)據(jù)集,但是可以看出,訓(xùn)練出的模型同樣能夠有效的檢測(cè)CAVIAR數(shù)據(jù)集中的行為.

圖6 CAVIAR 數(shù)據(jù)集異常檢測(cè)結(jié)果

表2 CAVIAR 數(shù)據(jù)集的分類(lèi)結(jié)果

模擬的ATM數(shù)據(jù)集:模擬的ATM機(jī)取款監(jiān)控視頻,攝像頭高度為 3m 左右.視頻內(nèi)包括:單人取款,單人徘徊;雙人排隊(duì)取款,雙人靠攏交談,多人取款等正常行為;雙人打架,搶劫;多人打架,搶劫等異常行為.視頻大小為640*480,幀率為30fps.每段視頻長(zhǎng)度大約100s.為了驗(yàn)證在實(shí)際場(chǎng)景下算法的有效性,實(shí)驗(yàn)選擇了六種行為類(lèi)型,如圖7所示,本文的算法能夠很好的檢測(cè)出搶劫以及打架等異常行為,漏檢發(fā)生在人體嚴(yán)重遮擋的情況下;另外,在正常的單人及雙人交談情況下誤報(bào)率較低,出現(xiàn)誤報(bào)的情況是因?yàn)槲覀兡M了動(dòng)作幅度較大的正常行為.在此,我們選取了ViF作為對(duì)比算法,從表3可以看出,我們的算法在誤檢率和檢測(cè)率方面,表現(xiàn)的都要比ViF算法要好.

圖7 模擬ATM 數(shù)據(jù)集異常檢測(cè)結(jié)果

表3 ATM 數(shù)據(jù)集的對(duì)比檢測(cè)結(jié)果

另外,我們選取ViF算法,來(lái)進(jìn)行實(shí)時(shí)性的對(duì)比,文中提及的其他時(shí)空特征算法無(wú)法保證實(shí)時(shí)性.表4可以看出對(duì)比的結(jié)果,我們的算法在實(shí)時(shí)性方面也要好于ViF算法.

表4 與 ViF 算法的實(shí)時(shí)性比較

4 結(jié)語(yǔ)

本文提出了一種基于區(qū)域光流的異常事件實(shí)時(shí)檢測(cè)方法,相對(duì)于基于時(shí)空特征的檢測(cè)方法,本文提出的算法有著較高的準(zhǔn)確率,同時(shí)有較好的實(shí)時(shí)性.不僅如此,我們還針對(duì)于具體的ATM機(jī)場(chǎng)景進(jìn)行模擬實(shí)驗(yàn),也有較好的表現(xiàn).本文提出的方法后前也存在一些問(wèn)題,對(duì)于人體遮擋及光線(xiàn)昏暗處,檢測(cè)效果不是很好.

本文下一步將優(yōu)化檢測(cè)算法,提高人體遮擋及光線(xiàn)昏暗處的檢測(cè)準(zhǔn)確率,能更好地檢測(cè)出異常事件.

1 Bouttefroy PLM,Bouzerdoum A,Phung SL,et al.Abnormal behavior detection using a multi-modal stochastic learning approach.International Conference on Intelligent Sensors,Sensor Networks and Information Processing.Sydney,Australia.2008.121–126.

2 Tehrani MA,Kleihorst R,Meijer P,et al.Abnormal motion detection in a real-time smart camera system.3rd ACM/IEEE International Conference on Distributed Smart Cameras.Como,Italy.2009.1–7.

3 王曉龍.基于軌跡分析的暴力行為識(shí)別算法研究[碩士學(xué)位論文].上海:上海交通大學(xué),2015.

4 Xiang T,Gong SG.Incremental and adaptive abnormal behaviour detection.Computer Vision and Image Understanding,2008,111(1):59–73.[doi:10.1016/j.cviu.2007.06.004]

5 Fathi A,Mori G.Action recognition by learning mid-level motion features.IEEE Conference on Computer Vision and Pattern Recognition.Anchorage,USA.2008.1–8.

6 Adam A,Rivlin E,Shimshoni I,et al.Robust real-time unusual event detection using multiple fixed-location monitors.IEEE Trans.on Pattern Analysis and Machine Intelligence,2008,30(3):555–560.[doi:10.1109/TPAMI.2007.70825]

7 謝錦生,郭立,陳運(yùn)必,等.基于時(shí)空驚奇計(jì)算的視頻異常檢測(cè)方法.中國(guó)科學(xué)院研究生院學(xué)報(bào),2013,30(1):83–89.

8 Piccardi M.Background subtraction techniques:A review.2014 IEEE International Conference on Systems,Man and Cybernetics.The Hague,Netherlands.2004.3099–3104.

9 Cortes C,Vapnik V.Support-vector networks.Machine Learning,1995,20(3):273–297.

10 Jayadeva,Khemchandani R,Chandra S.Twin support vector machines for pattern classification.IEEE Trans.on Pattern Analysis and Machine Intelligence,2007,29(5):905–910.[doi:10.1109/TPAMI.2007.1068]

11 de Souza FDM,Chavez GC,do Valle Jr EA,et al.Violence detection in video using spatio-temporal features.2010 23rd SIBGRAPI Conference on Graphics,Patterns and Images.Gramado,Brazil.2010.224–230.

12 Bertini M,Del Bimbo A,Seidenari L.Multi-scale and realtime non-parametric approach for anomaly detection and localization.Computer Vision and Image Understanding,2012,116(3):320–329.[doi:10.1016/j.cviu.2011.09.009]

13 Hassner T,Itcher Y,Kliper-Gross O.Violent flows:Realtime detection of violent crowd behavior.2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Providence,RI,USA.2012.1–6.

Real-Time Detection of ATM Abnormal Events Based on Optical Flow

ZHOU Zhi,ZHANG Wei-Feng,ZHAO Bin,HUANG Lu,ZHU Ming
(School of Information Science and Technology,University of Science and Technology of China,Hefei 230022,china)

Abnormal behavior detection has a wide application prospect in the field of self-service banking intelligent monitoring system.In this paper,an anomaly detection method based on regional optical flow feature is proposed.Firstly,the mixed Gaussian model is used to represent the change of the background pixels and the background model is updated.The motion foreground is extracted from the video sequence with the background difference method.The optical flow information in the moving region is calculated with the lucas-kanade optical flow method.The weight-oriented histogram is used to describe the behavior,and the motion anomaly region of the histogram is calculated by using the motion entropy of the histogram.Then the SVM is used to classify the anomaly regions.From the experimental results,it can be seen that the abnormal events can be identified better and the real-time performance is better,which can meet the practical application requirements.

anomaly detection;action recognition;background modeling;regional optical flow feature;support vector machine

周智,張偉峰,趙斌,黃露,朱明.基于光流的ATM 機(jī)異常行為實(shí)時(shí)檢測(cè).計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(9):232–237.http://www.c-sa.org.cn/1003-3254/5929.html

①基金項(xiàng)后:中科院先導(dǎo)項(xiàng)后課題(XDA06011203)

2016-12-14;采用時(shí)間:2017-01-12