何 鵬，安井然，楊 曼

(齊齊哈爾大學 通信與電子工程學院，黑龍江 齊齊哈爾 161006)

?

基于區(qū)域光流法的人體異常行為檢測

何 鵬，安井然，楊 曼

(齊齊哈爾大學 通信與電子工程學院，黑龍江 齊齊哈爾 161006)

為了提升智能視頻監(jiān)控系統(tǒng)在保障公共安全方面的能力，提出基于區(qū)域光流法對人體異常進行檢測的方法。采用改進的背景差分法來準確提取前景目標，然后對提取出的前景目標進行光流特征計算，有效濾除環(huán)境噪聲的影響。采用方向-幅值直方圖來描述行為，通過計算直方圖的速度判斷是否發(fā)生搶劫、追逐行為，計算直方圖的方向和幅值的熵以及速度的方差來判斷是否發(fā)生打斗行為。實驗結(jié)果表明，該方法在不同視角下均能取得良好效果。

區(qū)域光流；異常行為；背景差分

近年來，由于暴恐事件頻繁發(fā)生，視頻監(jiān)控系統(tǒng)越來越受到人們重視。傳統(tǒng)的視頻監(jiān)控系統(tǒng)只能進行簡單的監(jiān)控，當發(fā)生搶劫、打架、斗毆事件時，不具備提供報警的能力，需要監(jiān)控人員進行24小時實時監(jiān)控，不僅浪費了人力，同時也降低的監(jiān)控效率。目前出現(xiàn)智能監(jiān)控系統(tǒng)是將計算機視覺技術(shù)引用到傳統(tǒng)的視頻監(jiān)控系統(tǒng)中，自動分析視頻場景的行為，并作出警示處理，而對人體異常行為檢測則是智能監(jiān)控系統(tǒng)中一項重要的研究內(nèi)容[1-2]。人體異常行為通常具有動作無周期性，持續(xù)時間較短，不可預判的特點，因此，對人體異常行為檢測的算法要求較高。在分析人體異常行為上，國內(nèi)外主要有兩種方法：1)基于跟蹤的方法[3-4]，通過分析人體運動軌跡來判斷是否發(fā)生異常行為，但在發(fā)生遮擋時會影響檢測準確率。2)基于非跟蹤方法[5-6]：該方法主要根據(jù)提取出的人體特征或建立模型進行異常行為判別。但存在容易受噪聲影響，特征不易提取缺點。

本文提出采用改進背景差分法來提取運動前景目標，然后運用金字塔L-K光流法對提取到的前景目標進行特征分析，采用方向-幅值直方圖描述光流特征，計算直方圖速度最大值和運動物體方向和幅值的熵以及速度的方差來判斷行為的異常。最后測試了不同視角視頻序列，均能取得良好效果。

1 區(qū)域光流算法

1.1 前景目標提取

區(qū)域光流算法是由改進的背景差分法和金字塔L-K光流法結(jié)合組成的，背景差分法主要用于對前景目標提取。背景差分法[7]是采用視頻序列中的當前幀和背景幀進行差分運算來檢測運動物體，具有易于實現(xiàn)，能夠較好地提取出運動物體特征。定義如下：

(1)

式中：dk(i,j)表示差分結(jié)果圖像；fk(i,j)表示第k幀圖像；background為背景圖像。

acc(x,y)=(1-α)×acc(x,y)+α×f(x,y)

(2)

改進的背景差分法能夠準確提取運動物體特征，并提高了對噪聲的抗干擾能力，并能夠隨著場景的變化對背景模型進行更新，具有較強的魯棒性，如圖1所示。

圖1 改進背景差分法示意圖

1.2 光流信息計算

L-K算法[8-9]最早屬于稠密光流，是對圖像上的每個像素點做運算，計算量非常大。后來算法改進后計算的光流應用在輸入圖像的一組點上，本文中算法設定窗口尺寸為5×5，光流速度的y分量為v，x分量為u，滿足約束條件：Ixu+Iyv+It=0，可得

(3)

式中：Ix，Iy為圖像空間梯度，It為圖像時間梯度，求解后得

(4)

當式(4)左側(cè)的2×2矩陣滿秩時，這時有兩個較大的特征向量，在這種情況下，跟蹤窗口的中心在圖像的角點區(qū)域，這些角點為可用于跟蹤的特征點。

L-K光流算法只需要每個感興趣的點周圍的小窗口的局部信息，但較大的運動會移出這個小窗口，在實際應用中跟蹤效果并不好。金字塔L-K光流算法可以很好地解決這個問題，金字塔光L-K流算法的跟蹤過程是從最高層計算光流，得到的結(jié)果用一種對像素位移的初始化猜測傳遞給下一層，作為下一層金字塔的起始點，迭代這個過程直到金字塔的最底端，也就是原始圖像。這樣就能把不滿足運動假設的可能性降到最小，從而實現(xiàn)快速長久有效地跟蹤。

與傳統(tǒng)的金字塔L-K光流算法不同，本文將視頻序列中連續(xù)兩幀圖像通過改進的背景差分法計算求差值圖像，然后對圖像進行二值化處理，得到的兩幅二值化圖像作為金字塔L-K光流法的輸入，運用金字塔L-K光流法計算光流信息。這樣能夠避免環(huán)境噪聲的干擾，準確檢測出運動物體。

為了驗證算法的有效性和魯棒性，分別在不同視角下與傳統(tǒng)L-K金字塔光流算法的對比，如圖2所示。

圖2 傳統(tǒng)光流法與區(qū)域光流法比較

從圖2中可以看出，分別從3種視角下進行算法對比驗證，在檢測運動物體時傳統(tǒng)光流法均受噪聲干擾很明顯，而本文提出的區(qū)域光流法能夠排除環(huán)境噪聲干擾，準確檢測出運動物體，并標出運動物體的運動方向和幅值，具有很強的魯棒性。

2 異常行為分析

2.1 方向-幅值直方圖

本文提出的算法主要是用于檢測如搶劫，打架這類行為具有運動速度快，運動方向不一致特征的異常行為，傳統(tǒng)的方向直方圖是一種非參數(shù)估計的方法，雖然能夠表述運動物體光流特征，但是卻忽略光流信息中的方向上的幅值變化，因此在分析這類行為時，采用方向-幅值直方圖來描述運動物體的光流特征，加入了幅值方面的變化，能夠更準確描述行為，進而分析是否有異常行為發(fā)生。

(5)

θi=atan2(nyi-myi,nxi-mxi)

(6)

當計算得到感興趣點之間的幅值和方向后，采用方向-幅值直方圖來描述人體運動的行為。橫坐標設置12個方向區(qū)間，區(qū)間大小為30°，縱坐標為各區(qū)間幅值的統(tǒng)計值，如圖3b所示。

圖3 人行走時分析示意圖

從圖3可以看出，當人行走時，方向單一，只有在行走所對應的方向區(qū)間會有幅值，其他區(qū)間幅值為零。方向-幅值直方圖反映了行人的光流特征，可以用來描述人的行為。下面通過方向-幅值直方圖來分別分析搶劫、追逐和打斗兩種異常行為。

2.2 搶劫、追逐類異常行為分析

隨著當前利率化市場改革的不斷深入，很多商業(yè)銀行獲取低成本的負債難度在逐漸增加。很多銀行為了能夠獲得更多的存款，不斷地將存款制度進行改革和創(chuàng)新，例如大額存單、高利率等，使用這些手段來增加客戶的數(shù)量，實現(xiàn)增加存款數(shù)量的目的，但是在滿足競爭的同時也增加了吸納存款的成本。此外，還有一些相關(guān)的金融機構(gòu)推出信托、保險等產(chǎn)品，為客戶增加了投資的渠道和方法。這些工作方案不僅讓銀行原有的存款結(jié)構(gòu)發(fā)生了巨大的變化，而且使得商業(yè)銀行的資金的流動性日趨緊張起來，存款的平均年速呈現(xiàn)出大幅度下降的趨勢，最后銀行之間陷入存款爭奪的戰(zhàn)爭當中。而且有關(guān)數(shù)據(jù)顯示，我國的四大銀行個人定期的存款占比下降。

圖4 搶劫行為分析示意圖

同樣的方法測試了3種視角下，兩人前后行走時最大速度值范圍，測得數(shù)據(jù)見表1。

表1 行走與搶劫幅值最大值范圍對比

從3種視角下觀測，與人行走相比，發(fā)生諸如搶劫的異常行為時，由方向-幅值直方圖顯示的速度最大值明顯高于人在行走時對應的速度最大值，因此，當前幀速度的最大值可作為判斷是否發(fā)生搶劫、追逐類異常行為的依據(jù)。

2.3 打斗類異常行為分析

打斗行為通常具有各方向幅值強度大，運動方向不一致的特征，為了能有效地準確發(fā)現(xiàn)諸如打斗這種異常行為，提出采用熵和方差的概念去辨別。熵是描述體系的混亂程度，而方差是度量隨機變量與均值的偏離程度，所以當出現(xiàn)打斗這種方向混亂的行為時，采用計算方向和幅值的熵以及速度的方差的方法來判斷。方向和幅值的熵越大，速度的方差越小，則表明運動越混亂，有多個主要運動趨勢，從而可以判斷去當前幀的運動混亂，有異常行為發(fā)生。

計算方向和幅值的熵之前，首先算出各區(qū)間的方向和幅值的概率，計算表達式如下

(7)

(8)

式中：Sdirection為方向-幅值直方圖方向次數(shù)總和；Shypotenuse為方向-幅值直方圖幅值總和。方向和幅值熵為

(9)

(10)

(11)

方向熵，幅值熵和速度方差均為判斷打斗行為的重要因素之一，所以將三者整合為一個式子，表示為

(12)

W越大，則說明當前運動越混亂，發(fā)生異常行為的可能性大，分別對3種視角下的打斗視頻進行測試，如圖5所示。

從上述3種視角計算分析，與正常行為相比，出現(xiàn)打斗行為時，由于運動方向混亂，在圖5b上表示為幅值和方向上的混亂，圖5c為3種視角下的檢測結(jié)果，當出現(xiàn)打斗異常行為時，由于運動方向混亂，動作激烈，W值會變大，W值能夠很好地反映光流特征變化，對于正常行走和打斗行為有較好的區(qū)分度，打斗行為設置閾值由于拍攝角度不同而不同，經(jīng)測試計算，設定閾值標準范圍在9±1。

圖5 打斗行為分析示意圖

3 算法驗證

為了測試算法的魯棒性，實驗采用中科院自動化所的行為分析數(shù)據(jù)庫(CASIA)，該數(shù)據(jù)庫是從室外分布在3個視角下的攝像機拍攝而成，視頻分辨率為320×240，實驗場景包含了光照變化，樹葉的抖動等。本文算法主要驗證多人交互行為：會合，搶劫，打斗等，測試行為分析數(shù)據(jù)庫中視頻序列共11 017幀，其中水平方向3 203幀，斜上方3 524幀，頂部拍攝4 290幀。測試之前人工對視頻中異常行為幀數(shù)進行標記，利用本文提出的算法分別對3個視角的正確率、誤報率進行統(tǒng)計，異常行為檢測結(jié)果見表2。

表2 異常行為檢測結(jié)果

綜合對比，在準確率和誤報率上，對3種拍攝角度的檢測結(jié)果都得到了較高的準確率和較小的誤報率，與人為標定的異常幀基本一致。

4 結(jié)論

本文針對搶劫、追逐和打斗異常行為，提出了改進的背景差分法和金字塔L-K算法結(jié)合的區(qū)域光流法來提取運動區(qū)域，并采用速度最大值來判別搶劫、追逐行為。采用方向熵、幅值熵和速度的方差的方法來判斷打斗行為。分別對3種拍攝視角的視頻進行算法驗證，結(jié)果表明，該算法有一定的魯棒性，對正常行為和異常行為有較好的區(qū)分度，可以用于實際環(huán)境實時監(jiān)控。

[1]周宜波，何小海，張生軍，等.一種新的異常行為檢測算法[J].計算機工程與應用，2012，48(3)：192-194.

[2]杜鑒豪，許力.基于區(qū)域光流特征的異常行為檢測[J].浙江大學學報：工學版，2011，45(7)：1161-1166.

[3]劉越，王銳，郭吉平，等.基于灰色關(guān)聯(lián)事件融合的入侵檢測模型[J].計算機工程與應用，2013，49(12)：86-89.

[4]張起貴，張妮.基于地鐵復雜場景下異常行為的視頻分析研究[J].電視技術(shù)，2014，38(3)：163-166.

[5]林國余，柏云，張為公，等.基于耦合隱馬爾可夫模型的異常交互行為識別[J].東南大學學報：自然科學版，2013 (6)：1217-1221.

[6]FATHI A，MORI G.Action recognition by learning mid-level motion features[C] ∥Proc.IEEE Conference on Computer Vision and Pattern Recognition.Anchorage：IEEE Press，2008：1-8.

[7]孫濤，陳瑞平.視頻監(jiān)控系統(tǒng)中一種運動目標的檢測方法[J].電視技術(shù)，2012，36(7)：127-129.

[8]劉恒建，任侃，顧國華，等.基于KLT特征點的LK光流金字塔FPGA實現(xiàn)[J].電視技術(shù)，2014，38(15)：92-97.

[9]聶小燕.基于分層光流場的運動車輛檢測與跟蹤[J].實驗技術(shù)與管理，2012，29(11)：50-53.

何 鵬(1970— )，博士，教授，主研數(shù)字圖像處理、生物信息檢測；

安井然(1988— )，碩士研究生，主研生物信息檢測；

楊 曼(1988— )，女，碩士研究生，主研圖像處理與視頻監(jiān)控技術(shù)。

責任編輯：閆雯雯

Human Abnormal Behavior Detection Based on Regional Optical Flow

HE Peng, AN Jingran, YANG Man

(CollegeofCommunicationandElectronicEngineering,QiqiharUniversity,HeilongjiangQiqihar161006，China)

In order to enhance the capability of intelligent video surveillance system in the protection of public safety, the region of optical flow method used to detect the human abnormal behavior is put forward.Using the improved background difference method to accurately extract foreground objects, and calculate optical flow feature of foreground object , the method can filter environmental noise effectively.Using the direction-amplitude histogram to describe behavior, by calculating the speed of direction-amplitude histogram to determine whether occurred rob or chasing behavior, calculated entropy of direction and amplitude histogram and variance of speed to determined whether occurred fight behavior.Experimental results show that the method can achieve good effect in different visual angle.

regional flow; abnormal behavior; background difference

科技部科技恵民工程項目(2013GS230301)

TN911.73

A

10.16280/j.videoe.2015.07.023

2014-10-08

【本文獻信息】何鵬，安井然，楊曼.基于區(qū)域光流法的人體異常行為檢測[J].電視技術(shù),2015，39(7).