汪大峰，劉勇奎，劉 爽，保文星，王 巍

（1.大連民族大學(xué) 計算機科學(xué)與工程學(xué)院，遼寧 大連116605；2.北方民族大學(xué) 計算機科學(xué)與工程學(xué)院，寧夏 銀川750021）

視頻監(jiān)控中跌倒行為識別

汪大峰1，2，劉勇奎1，劉 爽1，保文星1，王 巍1

（1.大連民族大學(xué) 計算機科學(xué)與工程學(xué)院，遼寧 大連116605；2.北方民族大學(xué) 計算機科學(xué)與工程學(xué)院，寧夏 銀川750021）

監(jiān)控視頻中的異常行為檢測是計算機視覺研究領(lǐng)域的一個重要研究課題。人體跌倒行為作為異常行為的一種，可以對老齡化社會中的老年人跌倒行為做出實時預(yù)警，對保護老年人生命安全起到重要作用。本文采用三幀差法與更新運動歷史圖像相結(jié)合的方法獲取運動前景，然后采用膨脹形態(tài)學(xué)操作與中值濾波操作，消除前景圖像的噪聲，對運動區(qū)域標記采用矩形包圍框來獲取感興趣區(qū)域的形態(tài)變化，最后采用矩形框的寬高比、人體Hu矩特征、人體輪廓離心率、人體軸線角多特征融合來識別跌倒異常行為，對識別出的異常行為實時報警。實驗結(jié)果表明對固定背景的監(jiān)控視頻中的單人跌倒異常行為識別，文中的算法具有很強的魯棒性與穩(wěn)定性。

跌倒行為；自動識別；寬高比；Hu矩人體輪廓離心率；人體軸線角；多特征融合

隨著社會老齡化的發(fā)展，“空巢老人”的人數(shù)和所占的比例越來越高，老年人的健康問題也是越來越突出[1-5]。跌倒行為是老年人人群多發(fā)的行為，也是給老年人身體健康帶來最嚴重后果的一種不可預(yù)測的行為。發(fā)生跌倒，如果不能及時得到救治，就可能會出現(xiàn)生命危險。鑒于以上需求，許多學(xué)者也在跌倒行為識別方面做了很多研究，提出了較多的識別方法。

目前的跌倒異常行為識別研究主要根據(jù)運動目標的運動序列進行分析[4-11]。目前的主要工作可以分為以下幾類：第一類是根據(jù)模板匹配的方法，其核心思想是事先根據(jù)跌倒姿態(tài)的種類建立大量的模板，然后對輸入的視頻序列進行匹配。如果輸入的視頻序列正好屬于建立的模板之一則認為是跌倒行為。模板匹配法的不足之處是需要建立跌倒模板的種類太多，工作量巨大。第二類是分類器的方法。該方法是事先學(xué)習(xí)得到跌倒的特征。然后根據(jù)學(xué)習(xí)到的特征選擇相應(yīng)的分類器進行行為分類。如Wu[12]等采用支持向量機分類器。Jant[13]等采用基于人工神經(jīng)網(wǎng)絡(luò)的方法等。第三類方法是根據(jù)人體結(jié)構(gòu)分析的方法。該方法是從圖像序列中提取目標的外形，運動的特征等信息根據(jù)獲得的特征信息使用半監(jiān)督或者人工的方法去定義正常的行為。一般采用隱馬爾科夫（HMM）模型或者圖像的序列特征去建模。匹配的行為認定為是正常事件，不匹配的行為則認定為是異常行為。第四類是基于圖像統(tǒng)計處理的方法。該方法直接對視頻幀的底層信息進行統(tǒng)計分析，從而對視頻段進行分析理解。Ma[14]對視頻幀進行主成分分析（PCA），然后對動作的序列進行分類和識別。Masoud[15]對整幅圖像進行IIR濾波得到特征圖像，然后利用這些特征圖像對幾個簡單的人動作進行訓(xùn)練和識別。

文中綜合以上各種算法的優(yōu)缺點，采用三幀差法與更新運動歷史圖像相結(jié)合的方法獲取運動前景，然后采用膨脹形態(tài)學(xué)操作與中值濾波操作，消除前景圖像的噪聲，對運動區(qū)域標記采用矩形包圍框來獲取感興趣區(qū)域的形態(tài)變化，最后采用矩形框的寬高比、人體Hu矩特征、人體輪廓離心率、人體軸線角多特征融合來識別跌倒異常行為，對識別出的異常行為實時報警。測試采用的視頻全部來自中國科學(xué)院行為分析數(shù)據(jù)庫[16]。

1　算法組成

文中設(shè)計的算法由前景檢測、運動區(qū)域優(yōu)化、運動區(qū)域標記、跌倒識別4部分組成。

1）前景檢測部分主要采用三幀差法獲取前景。

2）運動區(qū)域優(yōu)化主要包括對前景進行形態(tài)學(xué)操作與濾波操作，消除噪聲，使前景更加清晰。

3）運動區(qū)域標記主要采用矩形框?qū)η熬斑M行包圍，獲取感興趣區(qū)域的形態(tài)變化。

4）跌倒識別部分主要采用多特征融合與SVM來識別

整個算法的流程圖如下：

圖1　系統(tǒng)算法流程圖

2　三幀差法獲取前景

文中采用的是三幀差法[17]。三幀差法是相鄰兩幀差法的一種改進算法，取連續(xù)三幀差分運算，消除由于運動而造成的背景影響，從而提取精確的運動目標輪廓。該算法的基本原理是連續(xù)選取視頻圖像序列中的三幀圖像并分別計算相鄰兩幀的差分圖像，然后將差分圖像通過選取適當(dāng)?shù)拈撝颠M行二值化處理，得到二值化圖像。將得到的兩個二值化圖像進行邏輯與運算，取兩個二值化圖像共同的部分，進而獲得運動的輪廓部分。三幀差法的具體算法可用如下數(shù)學(xué)公式表示：設(shè)連續(xù)的三幀圖像為 Ik（x，y），Ik＋1（x，y），Ik＋2（x，y），將用如下三部分公式表示：

第一部分對連續(xù)的三幀做差分：

第二部分對得到的差分結(jié)果進行閾值化：

第三部分對得到的二值化結(jié)果進行邏輯與運算：

下圖的測試的視頻序列是在露天停車場內(nèi)且角度是水平方向獲取的。圖2為原始視頻幀片序列，圖3是用的背景更新的混合高斯背景減除法[18]獲取的運動區(qū)域，圖4是用的三幀差法獲取的運動區(qū)域。實驗對比結(jié)果可知：三幀差法在背景具有微小變動獲取運動區(qū)域的效果優(yōu)于背景更新的混合高斯背景減除法。

圖2　原始視頻幀序列

圖3　背景更新的混合高斯背景減除法獲取運動區(qū)域的結(jié)果

圖4　三幀差法獲取運動區(qū)域的結(jié)果圖

3　更新運動歷史圖像標記運動區(qū)域

文中在獲取二值圖像以后采用運動歷史圖像去標記運動區(qū)域。運動歷史圖像是一種靜態(tài)模板。每一點的像素值都是這點的運動歷史圖像的函數(shù)。運動歷史圖像為每一個像素值設(shè)置一個時間戳，最近運動的像素被設(shè)置為當(dāng)前時間，亮度值最大，運動較久的像素則被清除，能夠很清晰的記錄運動輪廓。我們假設(shè)像素點的運動歷史函數(shù)為MHI（x，y，i），發(fā)生在當(dāng)前像素點的時間設(shè)置為，則運動歷史函數(shù)的數(shù)學(xué)表達式可以表示為：

4　中值濾波與形態(tài)學(xué)膨脹操作

三幀差法獲取前景以后會產(chǎn)生噪聲，對于運動目標的獲取會產(chǎn)生一定的影響。在文中采用的是中值濾波去除噪聲。中值濾波是一種典型的低通濾波器，基本思想是使用像素點鄰域灰度值的中值來代替該像素點的灰度值。中值濾波保留了圖 像的邊緣信息。設(shè){xij}（i，j）∈N2表示像素點的灰度值，濾波窗口C為的二維中值濾波可以定義為：

二維中值濾波器的窗口形狀和尺寸對濾波效果的影響較大，不同的圖像內(nèi)容和不同的應(yīng)用要求采用的窗口和尺寸是不一樣的。窗口的尺寸一般選為3，窗口越大，抗噪聲能力越強，細節(jié)丟失也越嚴重。實際應(yīng)用中根據(jù)圖像的內(nèi)容具體分析，選擇合適的窗口大小。

由于三幀差法獲取前景會出現(xiàn)空洞現(xiàn)象，對于后續(xù)的操作產(chǎn)生很大影響。因此本文算法在濾波操作后會進行相應(yīng)的形態(tài)學(xué)操作。這里采用的是膨脹操作。膨脹操作是用一個結(jié)構(gòu)元素掃描圖像中的每一個像素，用結(jié)構(gòu)元素與圖像中的元素做“與”操作，如果為0，則像素都為0，否則為1。膨脹的結(jié)果是圖像像素擴大了，能夠消除獲取前景帶來的空洞。膨脹的數(shù)學(xué)公式表示為：

假設(shè)有二值圖像A和B.膨脹的數(shù)學(xué)定義為Dilation（A，B）={a+b|a∈A，b∈B}。

圖5左側(cè)為一幅二值化圖像。1對應(yīng)圖像的亮度區(qū)域，0對應(yīng)的是灰度區(qū)。中間的為結(jié)構(gòu)元素。最右側(cè)為執(zhí)行膨脹操作的結(jié)果圖。

圖5　膨脹操作圖

圖6上面一列是沒進行膨脹操作的結(jié)果圖，下面一列是進行膨脹操作的結(jié)果圖。

圖6　膨脹結(jié)果對比圖

由圖6結(jié)果分析可知：沒有進行膨脹操作的運動區(qū)域在一定程度上具有不連通性與不完整性。膨脹操作后運動區(qū)域變得很清晰，也解決了目標的不連通性。

5　矩形框?qū)\動目標進行標記

根據(jù)運動歷史圖像我們可以得到運動區(qū)域，找到運動區(qū)域的輪廓，輪廓找到后就能得到運動區(qū)域的左上角坐標和右下角的坐標。根據(jù)左上角與右下角的坐標，就可以對運動區(qū)域畫矩形框進行標記。標記的目的就是分析矩形框里面感興趣區(qū)域的變化，方便提取特征，為后續(xù)識別作準備。圖7左側(cè)為正常狀態(tài)下的標記圖，右側(cè)為跌倒狀態(tài)下的標記圖。

圖7　正常狀態(tài)與跌倒狀態(tài)標記圖

6　跌倒識別方法

文中提出了基于矩形寬高比、人體Hu矩特征、人體輪廓離心率、人體軸線角多特征融合來識別跌倒異常行為的識別方法。從而得到了多特征融合的圖像特征向量：提取到人體的輪廓特征后，本文選擇支持向量對人體的跌倒行為和非跌倒行為進行分類和建模。支持向量機（SVM）可以使用核函數(shù)使線性不可分的非線性空間轉(zhuǎn)換到一個線性可分的空間，然后在轉(zhuǎn)換之后的線性特征空間中構(gòu)造超平面，以得到類與類之間的最優(yōu)分類模式，并且具有很好的可區(qū)分性。該算法能夠識別人體的跌倒行為。

6.1行人的寬高比

正常人行走的情況下，人體的矩形框的高總是大于寬，而人體摔倒的時候人體的高總是小于寬。這一特征為人體是否正常行走提供了判依據(jù)斷。定義r=Height/Width。假設(shè)人體的高度為Height，人體的寬度為Width，則有

6.2人體Hu矩特征

Hu矩由于其具有平移、旋轉(zhuǎn)和平移不變性在計算機視覺、模式識別等領(lǐng)域得到了廣泛的應(yīng)用和關(guān)注.Hu矩的低階矩值具有明確的幾何性質(zhì)，其中，零階矩m0可以表示目標的總面積、一階矩值m10、m01可以表示目標的外接輪廓大小，二階矩m20，m11，m02又叫慣性矩，表征圖像的大小和方向。Hu矩平移不變性通過”矩心坐標”的方式實現(xiàn)。這里我們跌倒行為的前四階Hu矩（M1-M4）與下蹲、彎腰、坐下三種行為的前四階Hu矩存在明顯差異，因此可以作為表示四種行為的特征之一。

6.3人體輪廓離心率

文中定義人體輪廓的最小外接矩形的最小內(nèi)接橢圓的離心率即為人體輪廓離心率。離心率同樣包含了能夠描述跌倒行為的信息?？捎霉奖硎?。

6.4人體軸線角

此特征定義為風(fēng)箏模型的角度，即在風(fēng)箏模型得到了四個輪廓點到質(zhì)心點的軸線后，計算軸線與相鄰軸線的之間的角度，得到4個角度。計算得到4個角度特征向量為：θ=[θ1，θ2，θ3，θ4]

人體軸線角同樣包含了能夠檢測跌倒行為的特征，人體在不同姿態(tài)下軸線角作為跌倒檢測的一個特征。

7　SVM模型選擇

文中檢測的人體行為包括跌倒和非跌倒。這是典型的二分類問題。文中定義的特征向量T=[r，M1，M2，M3，M4，θ1，θ2，θ3，θ4，e]，共包括10個參數(shù)。文中研究的支持向量機模型具體實現(xiàn)流程如下：設(shè)訓(xùn)練樣本S={S1，S2…Sk}，其中Si為第i類樣本數(shù)據(jù)。1）樣本訓(xùn)練，特征向量T=[R，M1…M4，θ1…θ4，e]作為學(xué)習(xí)參數(shù)，選擇高斯徑向基核函數(shù)把非線性空間上升為線性可分空間。2）之后，把高斯徑向函數(shù)應(yīng)用到對偶的拉格朗日函數(shù)，有，經(jīng)過一系列數(shù)學(xué)變換產(chǎn)生的判別函數(shù)是f（x）=，此處需滿足?i最大化。

3）求取滿足判別函數(shù)令?i最大化的xi的值，然后存儲非零的?i和相應(yīng)的訓(xùn)練向量xi，它們是支持向量。

4）分類：對于模式x，用于支持向量xi和相應(yīng)的權(quán)重?i計算，即此函數(shù)的符號確定了x的分類。特征向量映射到更高維度的空間，原來不可分的問題現(xiàn)在變成了線性可分的，利用文中選擇的高斯徑向基核函數(shù)，把不可分的，變成了可分的問題這也是選擇此核函數(shù)的原因。完成訓(xùn)練之后，就x的分類。由于特征向量的數(shù)量眾多，且在低維空間是得到了訓(xùn)練出來的分類器，就是跌到檢測的模型。

8　跌倒識別實驗分析

本節(jié)實驗選取1 000幅圖像作為待測試樣本，使用已經(jīng)訓(xùn)練完成的分類器來進行跌倒識別，其結(jié)果如下:

表1　本文方法識別的準確率

為了測試本算法的先進性，本文提出基于Hopfield神經(jīng)元網(wǎng)絡(luò)的方法和基于模板匹配的算法作為對比[19-20]。同樣選取1 000幅圖像作為測試樣本，其結(jié)果如下：

表2　基于Hopfield神經(jīng)元網(wǎng)絡(luò)的方法

對于上述表中結(jié)果，可做如下分析：選取同樣的訓(xùn)練集分別對3個模型進行訓(xùn)練，測試時使用同樣的測試樣本，以上各表中可以看出，模板匹配方法識別率為75.6%，基于Hopfield神經(jīng)元網(wǎng)絡(luò)的算法為88.0%，基于本文的算法的識別率為94.6%，總共識別出633幀跌倒圖像。綜合來看，文中提出的方法識別率較高，具有較好的實用性和潛力。

表3　基于模板匹配的方法

9　結(jié)束語

文中提出的利用三幀差法去檢測前景，然后利用然后利用更新運動歷史圖像的算法去標記運動區(qū)域獲得運動輪廓。最后利用了矩形寬高比、人體Hu矩特征、人體輪廓離心率、人體軸線角多特征融合來識別跌倒異常行為的識方法。實驗表明該算法在特定的場景下，具有較高的識別率和可靠性。由于實驗中采用的背景比較單一，與實際的情況還有點偏差，實際應(yīng)用中可能會產(chǎn)生差異。未來對正?；顒优c跌倒姿態(tài)進行更加深入的分析與研究。

[1]楊路明，滿君豐，等.空巢老人智能監(jiān)控系統(tǒng)中異常情況檢測的研究[J].計算機工程與應(yīng)用，2009，45（16）：242-245.

[2]何小海，張生軍.一種新的異常行為檢測算法[J].計算機工程與應(yīng)用，2012，48（3）：192-194.

[3]劉紅，左長玲，等.一種改進的自動摔倒檢測算法[J].安徽大學(xué)學(xué)報，2012，36（6）：57-61.

[4]張繼霞，智能視頻監(jiān)控中人體的檢測與跟蹤研究[D].大連：大連理工大學(xué)，2007:4-12.

[5]陳穎鳴，陳樹越，張顯亭.智能視頻監(jiān)控中異常行為識別研究[J].微電子學(xué)與計算機，2010.27（11）:102-105.

[6]Vaidehi V，Ganaphthy K，Mohan K，et al.Video based automatic fall detection in indoor environment[C]//International Conference on Trends in Information Technology，2011: 1016-1020.

[7]Rougier C，Menunier J，St-Arnaud A，et al.Robust video surveillance for fall detection on human shape deformation.[J]. IEEE Transactions on Circuits and Systems for Video Technology，2006，21（5）:611-622.

[8]Medioni G，Cohen I，Bremond F.Event detection and analysis from video streams[J].IEEE Transaction on Pattern Analysis and Machine Intelligence.2001，23（8）:873-889.

[9]Naphade M R，HuangT S.A probabilistic framework for semantic indexing and retrieval in video[C]//Proceedings of IEEE International Conference on Multimedia and Ecpo. NewYork，NY，USA，IEEE，2000:475-478.

[10]Boiman O，Irani M.Detecting Irregularities in Images and in Video[C]//Proceedings of Tenth IEEE International Conference on Computer Vision.Beijing，China:IEEE.2005:462-469.

[11]林春麗，齊欣，等.SVN-KNN分類器在異常行為檢測中的應(yīng)用[J].遼寧科技大學(xué)學(xué)報，2010，33（5）:449-452.

[12]Wu Xinyu.Qu YongSheng.Qian Huihuan，el al.A detection system for human abnormal behavior[C]//2005 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2005（IROS 2005）:1024-1028.

[13]Jant，Piecardim，Hintzt.Neutral network classifiers for automated video surveillance[C]//Proceedings of 2003.IEEE XII Workshop on Netral Network for Signal Processing，Toulouse，F(xiàn)rance，2003:729-738.

[14]Ma G Y，Lin X Y.Typical sequences extraction andrecognition[J].Lecture Notes in Computer Vision，2004（3058）: 60-71.

[15]MasoudOPapanikolopoulosN.Amethodfor human action recognition.Image and Vision Computing.2003，21（8）:729-743.

[16]中國科學(xué)院行為分析數(shù)據(jù)庫[EB/OL].http://www.cbsr.ia.ac. cn/china/Action%20Databases%20CH.asp.

[17]LV Guoliang，ZHAO shuguang，ZHAO jun.Novel method of moving object detection based on three frame differencing and connectivity checking[J].Chinese Journal Liquid Crystals and Displays，2007，22（1）:87-93.

[18]劉鑫，劉輝，等.混合高斯模型和幀間差分相融合的背景自適應(yīng)背景模型[J].中國圖像圖形學(xué)報，2008，4（4）:729-734.

[19]Tatem，J，A，Lewis，et al.Super-Resolution Target Identification from Remotely Sensed Images Using a Hopfield Neural Network.[J]Ranaon on Gon and Rmo Nng，2001（4）:781-781.

[20]Joya G，Atencia M A，Sandoval F.Hopfield neural networks for optimization:study of the different dynamics.[J].Neurocomputing，2002，43（2）:219-237.

Abnormal behavior recognition of fall in surveillance video

WANG Da-feng1，2，LIU Yong-kui1，LIU Shuang1，BAO Wen-xing1，WANG Wei1
（1.School of Computer Science and Engineering，Dalian Nationalities University，Dalian 116605，China；2.School of Computer Science and Engineering，Beifang University of Nationalities，Yinchuan 750021，China）

Abnormal behavior detection in surveillance video is an important research topic in the field of computer vision.Fall belongs to one kind of abnormal behavior，which will play an important role in protecting the elderly if we can provide realtime warning for the fall behavior of the elderly.In this paper，three frame differencing method and the updating motion history method is combined to get the foreground.Then，dilation and median filtering are adopted to eliminate the noise of the foreground images.Next，the rectangular box is used to mark morphological changes to get the area of interest.Finally，the ratio of rectangular box's height and width，the Hu feature，Contour eccentricity and Human axis angle are applied to detect the fall.Experimental results demonstrate the effectiveness and robustness of the proposed approach for the fixed background cases of surveillance video to detect the fall behavior of single person.

behavior of fall；auto recognition；ratio of height and width；Hu contour eccentricity；human axis angle；multi feature fusion

TN911.73

A

1674－6236（2016）22-0122-05

2016-01-06稿件編號：201601033

遼寧省教育廳科學(xué)基金項目（L2014544）；中央高?；究蒲袠I(yè)務(wù)費專項資金項目（DC201502030201；DC201502030404）

汪大峰(1989—)，男，安徽濉溪人，碩士研究生。研究方向：圖形圖像處理。