張行健

(上海電力學院 電子與信息工程學院, 上海 200090)

?

人體行為的識別及發(fā)展

張行健

(上海電力學院 電子與信息工程學院, 上海 200090)

人的動作行為識別是計算機視覺領(lǐng)域中的熱點研究課題之一,廣泛應用于安防監(jiān)控系統(tǒng)、醫(yī)療診斷監(jiān)護、人機交互等方面.從運動對象檢測、行為特征提取和人體行為識別方法方面闡述了人體行為識別技術(shù)的現(xiàn)狀和相關(guān)難點.與已有相關(guān)綜述性文章相比,結(jié)合了新的研究成果,介紹了基于軌跡能量擴散圖的組行為識別方法以及基于稠密光流軌跡和稀疏編碼算法的行為識別算法.且指出了未來行為識別的發(fā)展趨勢.

動作行為識別; 運動對象檢測; 特征提取; 識別方法

隨著科學技術(shù)的迅速發(fā)展,人工智能已經(jīng)逐漸從夢想走進現(xiàn)實.計算機視覺技術(shù)是人工智能的重要組成部分,在人工智能的發(fā)展過程中發(fā)揮了重要作用.在獲取外部世界的信息中,視覺是人類了解事物本質(zhì)信息的重要途徑.計算機視覺技術(shù)就是研究如何讓計算機像人類一樣對通過攝像頭獲取到的外部信息進行分析和識別.因此,靜態(tài)物體識別、目標跟蹤和人體行為識別是計算機視覺研究的重要方向.

人體行為識別的目的是分析理解視頻中個人的動作、多人之間的交互行為,作為計算機視覺研究的熱點,人體行為識別研究具有重要的學術(shù)意義.同時,人體行為識別技術(shù)在安防監(jiān)控系統(tǒng)[1-2]、醫(yī)療診斷監(jiān)護[3]、人機交互[4]等領(lǐng)域具有應用價值.由于人體行為識別在許多方面都具有廣闊的應用意義,國內(nèi)外科研者對該領(lǐng)域進行了研究,如美國國防高級研究項目署[5]設(shè)立了視頻監(jiān)控重大項目用于戰(zhàn)爭和普通家庭的視頻動作分析,先后投用了W4[6]和Pfinder[7]等監(jiān)控系統(tǒng);中國科學院開發(fā)了一套面向體育訓練的三維人體運動模擬與視頻分析系統(tǒng)用于國家隊集訓等[8].除此之外,一些國際權(quán)威期刊,如PAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence),IVC(Image and Vision Computing)和CVIU(Computer Vision and Image Understanding)為研究者提供了交流機會,大大促進了行為識別技術(shù)的發(fā)展.

相比于靜態(tài)物體識別研究[9],行為識別更加重視如何發(fā)現(xiàn)運動目標在圖像序列中的空時運動變化.動作行為從二維空間到三維時空的轉(zhuǎn)化大大增加了行為描述及后續(xù)識別方式的復雜性,但也為研究者提供了更寬廣的空間來使用不同的技術(shù)方法.因此,對于人的行為識別研究在計算機視覺領(lǐng)域中成了熱門話題[10-12].人體行為識別的基本過程是通過計算機檢測行為動作數(shù)據(jù),繼而從圖像序列中提取和理解動作特征,以實現(xiàn)行為識別分類的過程.

本文將從運動對象檢測、行為特征提取和人體行為識別方法等方面綜述人體行為識別技術(shù)的現(xiàn)狀.同時結(jié)合新的研究成果,展望今后行為識別的研究方向.

1 運動對象檢測

對于樣本的預處理就是對運動對象的檢測,即把視頻轉(zhuǎn)換成圖像幀,并檢測出目標的動作信息.有效的運動目標檢測對行為特征提取、人體行為表示和行為識別理解等后續(xù)的研究十分重要.近年來,在檢測運動目標的技術(shù)方面已有了很大的突破,目前主要的方法為光流法[13-14]、時間差分法[15]和背景減除法[16-17].同時,預處理過程還包括使用形態(tài)學操作對獲取的運動目標信息進行處理來使結(jié)果更加精確.

1.1 光流法

光流法[18]的思想最先由GIBSON提出,光流是像素點運動產(chǎn)生的瞬時速度場,光流法是通過計算光流場從靜態(tài)圖像中分割出場景,確定運動目標的速度和方向等信息.首先,近似估計真實運動場景的速度.圖像中某點(x,y)在t時刻的灰度值用I(x,y,t)表示.讓圖像灰度值保持不變,即:

(1)

則可以得到光流約束方程:

Ixu+Iyv+It=0

(2)

式中:u,v——沿著x軸和y軸方向的分量.

接著通過設(shè)光流在整個圖像上的光滑性一致來求解光流約束的解.

該方法的優(yōu)點是在運動的攝像頭下,也能檢測出運動對象,且對于靜態(tài)或動態(tài)背景都有很好的效果.缺點是當運動對象和背景之間存在噪聲時,由于復雜度很高,無法實時檢測運動目標.BARRONJ等人詳細給出了光流場計算的求解過程[18].黃士科等人用新的3D-Sobel算子計算像素間的時空梯度,提高了不同速度運動目標檢測的有效性[14].

1.2 幀間差分法

幀間差分法(時間差分法)[19]是通過圖像序列中相鄰2幀或者3幀的差值,獲取變化區(qū)域來確定運動對象,如圖1所示.其優(yōu)點是在全局運動補償下,能適應動態(tài)變化的背景;缺點是存在空洞和重像現(xiàn)象,并受噪聲影響.COLLINS R等人通過對相鄰3幀中的像素進行逐個差分運算和背景減除,除去了幀之間差分所出現(xiàn)的空洞重像現(xiàn)象[5].

圖1 幀間差分檢測示意

1.3 背景減除法

背景減除法[20]是當前應用最為廣泛的一種算法,它適用于攝像機停止的狀況,其核心是對比背景圖像和當前圖像進行差分計算來確定運動目標區(qū)域.它的關(guān)鍵是如何使背景圖像很好地適合當下環(huán)境變化.目前常用的算法有隱馬爾可夫法,均值濾波法等.其優(yōu)點是能夠保證對運動目標區(qū)域較完整的提取.但在實踐應用中,會受外部環(huán)境和背景干擾的影響.因此,背景模型的準確選取及實時更新對于準確檢測出運動目標有很大的影響,現(xiàn)在主要采用高斯模型、混合高斯模型、非參數(shù)化模型等方法.

背景減除法一般包括預處理、建立背景模型、比較輸入圖像和背景圖像的差異和后處理4個步驟[21].預處理是指對視頻數(shù)據(jù)進行時空域的濾波,減少各種環(huán)境噪聲,與此同時要符合背景減除算法的要求,將原視頻的數(shù)據(jù)格式轉(zhuǎn)換;建立背景模型是指創(chuàng)建某背景模型來代表當前背景,包括背景的初始化和實時更新,來消除光照條件的變化和環(huán)境(如樹枝的晃動和其他物體運動)帶來的影響;輸入圖像和背景圖像作比較是指減掉當前視頻圖像與背景圖像之間的差異;后處理是指對上面步驟的前景區(qū)域作一些后處理,一般包括噪聲消除,減少其他場景中的干擾,通過后處理,讓所得的前景目標更加明確.

2 行為的特征選擇及提取

人的行為特征的選擇及提取是行為識別中的重要一環(huán).其基本過程是從各種特征信息中找出符合研究階段的特征,并通過相關(guān)技術(shù)提取出來.但是一般提取出的特征的維數(shù)相對較高,因而要對特征進行降維.根據(jù)人體行為的組成形式,目前人體行為特征提取方法可以劃分為整體表示和局部表示兩種方式.

2.1 整體表示方式

整體表示方式是把視頻幀數(shù)當作一個全體,檢測出運動目標的位置,然后通過自上而下的方法提取到全局特征.全局特征的提取通常是在視頻幀中采用背景減除法、時間差分法或者光流法檢測到人體行為感興趣區(qū)域(Region Of Interest,ROI),然后從中得到表示人體行為的特征,如輪廓信息、邊緣信息等.該方法描述能力強,區(qū)分度好,包含了人體重心、長寬比例等重要信息,可以大大提高識別的效果.但是該方法提取精度不高且含有噪聲,同時受攝像機角度和物體遮擋影響.WANG L等人[22]提出統(tǒng)計每塊輪廓圖的白色數(shù)目所占的比值作為特征模型,再利用隱馬爾科夫模型(HMM)進行識別,如圖2所示.DAVIS J W和BOBICK A F[23]提出基于視頻的輪廓提取方法,利用背景剪除法獲取背景的輪廓特征,然后疊加所有幀的輪廓特征,對比前后幀之間輪廓的差異,建立了具有運動效果的運動能量圖像(Motion Energy Image,MEI),如圖3所示.文獻[24]也是利用視頻中的人體輪廓序列特征來表示人體行為,該方法與文獻[23]中提出的方法不同,是在人體輪廓特征上進行傅里葉計算獲得傅里葉描述子,然后將其送入支持向量機(SVM)分類器訓練并識別出姿態(tài)類別,最后將姿態(tài)標簽序列一同交給HMM,使用HMM最終判斷出視頻中人體行為所屬的類別.

圖2 輪廓網(wǎng)格像素統(tǒng)計

圖3 人體行為模型

使用輪廓表示人體行為的方法雖然已經(jīng)獲得了很好的識別性能,但影響這一特征的兩個關(guān)鍵問題仍舊沒有得到很好的解決,即人體行為輪廓提取及幀序列中輪廓的跟蹤問題.為了使該特征能精準地描述人體行為特性,研究者專門進行了研究并取得了一些成果.為了解決視頻幀序列間的人體輪廓跟蹤問題,文獻[25]將相鄰幀輪廓的形狀及梯度像素點作為圖的節(jié)點,并采用二分圖分割算法將相鄰幀之間輪廓點進行匹配,該方法的優(yōu)點是精度好,缺點是需要人工干預,且不能解決遮擋等問題.文獻[26]和文獻[27]結(jié)合顏色、紋理等特征來對人體行為區(qū)域進行分割,文獻[7]利用人體運動的特性來實現(xiàn)分割,但是這些都只能在有條件限制的場景才能得到很好的分割效果,并且可能需要人工干預才可以實現(xiàn),因此在實際應用中很難直接利用輪廓特征方法來對人體行為進行識別.

2.2 局部表示方式

與整體表示對應的是局部表示方式,它是將視頻段作為一個整體,通過自下而上的方法獲得局部特征.開始在整個時空域內(nèi)檢測興趣點,然后計算出鄰域內(nèi)的特征點,最后將所有視頻段整合在一起形成總特征.該表示方式與整體表示方式相比較,不需要前景檢測、ROI興趣區(qū)域的定位和分割,所以不受前景檢測、背景更新、以及ROI區(qū)域定位結(jié)果的影響,并且對互相遮擋及噪聲不敏感.但是需要在一段視頻中采集到關(guān)鍵的興趣點,因此攝像機運動產(chǎn)生的誤差會對興趣點采集造成一定的影響.

3 人體行為識別方法

3.1 基于軌跡能量擴散圖的行為識別方法

目前,在提取組行為的特征過程中,多數(shù)方法忽視了軌跡的時間信息(如不能得出某一時刻檢測對象的位置),雖然一些算法,如隱馬爾克夫模型,可以保留軌跡的時間信息,但不能得到大量的訓練信息[28].而且因為人的運動變化產(chǎn)生了噪聲,對于識別效果有很大影響.同時一些算法采用高斯估計或濾波法來處理噪聲[29],但沒有考慮保存軌跡的時間信息.

因此,本文提出采用軌跡能量塊圖來保留組行為的軌跡時間信息,用軌跡能量擴散圖來解決因運動目標的運動變化產(chǎn)生的噪聲.同時,結(jié)合自適應分層直方圖(AHDH)和模糊形狀模型(BSM)算法分別對軌跡能量等勢線圖像提取特征.最后,基于典型相關(guān)分析的特征融合法獲取融合特征向量,選擇最優(yōu)的特征,用支持向量機對特征分類,實現(xiàn)行為識別.采用軌跡能量擴散圖的行為識別方法雖然解決了軌跡時間信息的丟失以及噪聲問題,但此方法只適合于簡單的組行為分類識別,并不能應用于更為復雜的組行為識別.對于更為復雜的組行為識別是我們要攻克的一個方向.

3.2 基于稠密光流軌跡和稀疏編碼的行為識別方法

為了解決現(xiàn)有特征提取發(fā)放識別低的問題,采用基于一種融合稠密光流軌跡和稀疏編碼的無監(jiān)督特征提取方法[30-31],然后利用詞袋模型[32]獲得行為特征表示,最后采用支持向量機進行動作特征分類,大大提高了識別的準確率.其主要任務是基于稠密光流軌跡提取原圖像特征的情況下,采用系數(shù)編碼的無監(jiān)督學習方法,獲得行為特征表示,從而實現(xiàn)行為分類識別.該方法的優(yōu)點:一是自動提取檢測目標的特征,避免了人工提取特征的復雜性;二是稀疏的特征表示減小了后續(xù)運算的繁瑣度.但其也有不足之處:優(yōu)化稀疏編碼需要消耗大量的內(nèi)存和計算時間,對電腦CPU的性能和內(nèi)存有一定的要求.后續(xù)的研究方向是優(yōu)化系數(shù)編碼計算行為特征的迭代,以及采用并行算法加速迭代過程.

4 結(jié) 語

本文從對運動對象檢測、行為特征提取和人體行為識別方法等方面闡述了人體行為識別技術(shù)的現(xiàn)狀和相關(guān)難點.

當前研究對人體行為的檢測問題進行了回避與簡化,特別在對其中關(guān)鍵人體行為動作及起始、終止時間的動作發(fā)生不能精確檢測,研究人員需要結(jié)合更多中高層的行為特征和底層特征,把行為識別用于更具挑戰(zhàn)性的真實場景中.另外,相比于其他視覺識別任務,在人體行為識別上,由于時間維度的加入,行為特征的維度變得更高,所需樣本數(shù)量也更多,深度學習沒有完全取得顯著提高.因此,結(jié)合遞歸神經(jīng)網(wǎng)絡(RNN)和深度學習的方法在時序數(shù)據(jù)中的前景將成為研究熱點.

[1] AYERS D,SHAH M.Monitoring human behavior from video taken in an office environment[J].Image and Vision Computing,2001,19(12):833-846.

[3] 杜友田,陳鋒,徐立文.基于視覺的人的運動識別綜述[J].電子學報,2007,35(1):84-90.

[4] 黎洪松,李達.人體運動分析研究的若干新進展[J].模式識別與人工智能,2009,22(1):70-78.

[5] COLLINS R,LIPTON A,KANADE T,etal.A system for video surveillance and monitoring:VSAM final report[R].Carnegie Mellon University:CMU-R1-TR-00-12,2000.

[6] HARITAOGLU I,HARWOOD D,DAVIS L.W4:Real time surveillance of people and their activities[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2000,22(8):809-830.

[7] WREN C,AZARBAYEJANI A,DARRELL T,etal.Pfinder:Real time tracking of the human body[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1997,19(7):780-785.

[8] 王兆其,張勇東,夏時洪.體育訓練三維人體動作模擬與視頻分析系統(tǒng)[J].計算機研究與發(fā)展,2005,42(2):344-352.

[9] 黃凱奇,任偉強,譚鐵牛.圖像物體分類與檢測算法綜述[J].計算機學報,2014,37(6):1-18.

[10] TURAGA P,CHELLAPPA R,SUBRAHMANIAN V,etal.Machine recognition of human activities:a survey[J].IEEE Trans on Circuits and Systems for Video Technology,2008,18(11):1 473-1 488.

[11] POPPE R.A survey on vision-based human action recognition[J].Image and Vision Computing,2010,28(6):976-990.

[12] CANDAMO J,SHREVE M,GOLDGOF D,etal.Understanding transit scenes:a survey on human behavior recognition algorithms[J].IEEE Trans on Intelligent Transportation System,2010,11(1):206-224.

[13] ADIV G.Determining three-dimensional motion and structure from optical flow generated by several moving objects[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1985,7(4):384-401.

[14] 黃士科,陶琳,張?zhí)煨?一種改進的基于光流的運動目標檢測算法[J].華中科技大學學報:自然科學版,2005,33(5):39-41.

[15] KIM M,CHOI J G,KIM D.Automatic segmentation of moving objects in image sequences based on spatio-temporal information[J].IEEE Trans on Circuits and Systems for Video Technology,1998,9(8):1 216-1 226.

[16] PAVLIDIS T,MORELLAS V,TSIAM P,etal.Urban surveillance systems from the laboratory to the commercial world[C]//Proceedings of the IEEE,2001:1 478-1 497.

[17] ELGAMMAL A M,HARWOOD D,DAVIS L.Non-parametric model for background subtraction[C]//Proceedings of the 6th European Conference on Computer Vision,2000:751-767.

[18] BARRON J,FLEET D,BEAUCHEMIN S.Performance of optical flow techniques[J].International Journal of Computer Vision,1994,12(1):42-77.

[19] LIPTON A J,FUJIYOSHI H,PATIL R S.Moving target classification and tracking from real-time video[C]//Proceedings of the IEEE Workshop Application of Computer Vision,1998:8-14.

[20] STAUFFER C,GRIMSON WEL.Learning patterns of activity using real-time tracking[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2000,22(8):747-757.

[21] 代科學,李國輝,涂丹,等.監(jiān)控視頻運動目標減背景技術(shù)及研究現(xiàn)狀和展望[J].中國圖像圖形學報,2006(11):7-10.

[22] WANG L,SUTER D.Recognizing human activities from silhouettes:motion subspace and factorial discriminative graphical model[C]//IEEE Conference on In Computer Vision and Pattern Recognition,2007:1-8.

[23] DAVIS J W,BOBICK A F.The representation and recognition of human movement using temporal templates[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Puerto Rico:IEEE,1997:928-934.

[24] KELLOKUMPU V,PIETIKAINEN M,HEIKKILA J.Human activity recognition using sequences of postures[C]//Proceedings of the IAPR Conference on Machine Cision Applications.Japan:IEEE,2005:570-573.

[25] WINAWER J,HUK A C,BORODITSKY L.A motion aftereffect from still photographs depicting motion[J].Psychological Science,2008,19(3):276-283.

[26] XU G Y,HUANG F Y.Viewpoint insensitive action recognition using envelop shape[M].Computer Vision.Japan:Springer,2007:477-486.

[27] STEIN A,HOIEM D,HEBERT M.Learning to find object boundaries using motion cues[C]//IEEE 11th International Conference on Computer Vision.Brazil:IEEE,2007:1-8.

[28] LIU X H,CHUA C S.Multi-agent activity recognition using observation decomposed hidden Markov model[J].Image and Vision Computing,2005,24(2):166-175.

[29] CHENG Zhongwei,QIN Lei,HUANG Qingming,etal.Group activity recognition by Gaussian processes estimation[C]//Proc of Pattern Recognition.Istanbul:IEEE,2010:3 221-3 231.

[30] OLSHAUSEN B A,FIELD D J.Emergency of simple-cell receptive field properties by learning a sparse code for natural images[J].Nature,1996,381:607-609.

[31] OLSHAUSEN B A,FIELD D J.Sparse coding with an overcomplete basis set:a strategy employed by V1[J].Vision Research,1997,37(23):3 311-3 325.

[32] NIEBLES J C,WANG H,LI F.Unsupervised learning of human action categories using spatial-temporal words[J].International Journal of Computer Vision,2008,79(3):299-318.

(編輯 桂金星)

Human Body Motion Recognition and Development

ZHANG Xingjian

(SchoolofElectronicsandInformationEngineering,ShanghaiUniversityofElectricPower,Shanghai200090,China)

Human motion recognition is one of the hot topics in the field of computer vision,which is used widely in security monitoring system,medical diagnosis and monitoring,human-computer interaction,etc.The current state and related difficulties of human motion recognition technology is presented within the motion object detection,feature extraction and human motion recognition method.Compared with the existing relevant review articles,the new research results are combined,such as group behavior recognition method based on trajectory energy diffusion map and behavior recognition algorithm based on dense flow trajectory and sparse coding algorithm.Furthermore,some research direction of motion identification on future work is given.

action recognition; motion object detection; feature extraction; recognition method

10.3969/j.issn.1006-4729.2017.01.022

2016-03-16

張行健(1991-),男,在讀碩士,上海人.主要研究方向為深度學習和模式識別.E-mail:txhtxh1991@163.com.

TP391.41

A

1006-4729(2017)01-0102-05