閔　軍　孟朝暉

(河海大學(xué)計算機(jī)與信息學(xué)院　江蘇 南京 211100)

?

基于前景置信的人體行為識別

閔軍孟朝暉

(河海大學(xué)計算機(jī)與信息學(xué)院江蘇 南京 211100)

為減少背景特征對行為識別的影響，提出一種基于前景置信的人體行為識別方法。該方法在基于稠密時空興趣點的行為識別基礎(chǔ)上，結(jié)合像素前景置信估計對特征描述器進(jìn)行加權(quán)分類，再利用詞袋模型判別行為。融合運動、外觀及視覺顯著性的像素前景置信的引入，提高了算法處理復(fù)雜背景視頻的能力。該方法在UCF50和HMDB51視頻庫中進(jìn)行訓(xùn)練和測試，平均識別率為66.4%。

行為識別前景置信加權(quán)分類詞袋模型復(fù)雜背景

0　引　言

最近的十多年里，行為識別是計算機(jī)視覺研究的熱點問題之一，在虛擬現(xiàn)實、人機(jī)交互及智能監(jiān)控等領(lǐng)域有著廣泛應(yīng)用，受到越來越多研究人員的關(guān)注。

當(dāng)前很多方法主要是通過提取視頻中興趣點的局部特征來對行為進(jìn)行描述和識別。如 Harris3D 時空興趣點檢測算法[1]、Dollar時空興趣點檢測算法[2]、 Bregonzio時空興趣點檢測算法[3]和Laptev稠密時空興趣點檢測算法[4]。上述方法都在KTH 視頻庫上做過實驗，得到了比較理想的結(jié)果。

然而，這種局部的特征描述器過分依賴訓(xùn)練視頻庫和測試視頻庫固有的特征，不區(qū)別對待背景特征和前景特征，也就是說不能突出視頻中運動人體的特征。這就導(dǎo)致以上方法能夠在特定的視頻庫中取得很好的結(jié)果，但對跨視頻庫或者實際生活中的視頻進(jìn)行測試時結(jié)果不理想。由此，本文提出一種融合人體運動、外觀以及視覺顯著性的前景置信行為識別方法。該方法不依賴前景和背景分離，而是根據(jù)以上特征對視頻幀的每個像素進(jìn)行前景估計，再結(jié)合興趣點檢測對行為進(jìn)行識別。

1　背景在行為識別中的影響力

行為識別視頻數(shù)據(jù)庫原則上代表人類的視覺世界，因此應(yīng)當(dāng)盡可能多樣化。背景的多樣化是視頻多樣化最簡單也是最常見的情況，背景特征應(yīng)當(dāng)對行為識別結(jié)果有盡可能小的影響。如果影響過大，這將廣義化識別模型，最終導(dǎo)致在不同背景的視頻庫中識別準(zhǔn)確率低的情況。除了背景的不同，同一個行為，不同人的動作的視角、姿勢、速度以及關(guān)節(jié)的運動也是有所差異，這些都是影響識別結(jié)果的重要因素。

文獻(xiàn)[5]在單獨背景、單獨前景和全局的情況下基于稠密時空興趣點分別對UCF Sports和UCF Youtube 兩個視頻庫進(jìn)行行為識別，以此來說明背景或前景對行為識別結(jié)果的影響力，結(jié)果如表1所示。

表1　基于稠密時空興趣點識別結(jié)果

由結(jié)果可以看出，單獨的背景特征檢測并沒有使識別的準(zhǔn)確率有很大的下降。也就是說，在傳統(tǒng)的全局特征提取中，背景特征和前景運動人體特征對識別結(jié)果的影響基本是等同的，甚至在UCF Sports視頻庫中背景的作用超過了前景，這就是在與訓(xùn)練庫不同背景的視頻庫中進(jìn)行測試結(jié)果不理想的主要原因。另一方面，由于視頻背景復(fù)雜、相機(jī)的突然抖動等因素給前景提取帶來了很大的干擾，基于單獨前景特征行為識別的結(jié)果也不理想。依據(jù)特征對行為識別結(jié)果貢獻(xiàn)度的不同，本文提出一種基于前景置信的人體行為識別方法。

2　基于前景置信的人體行為識別

2.1前景置信

所謂前景置信，就是估計視頻幀中的每個像素作為前景區(qū)域的概率。本文主要從運動特征、外觀特征、視覺顯著性三方面考慮。

2.1.1運動特征

運動特征主要指的是視頻中移動的部分，特別是運動的人體，可以針對這一特征給該像素較高的前景置信度。然而現(xiàn)實生活中很多視頻在拍攝的過程中攝像頭是移動的，如果使用簡單的光流法，那些作為背景的非運動人體同樣可以得到很高的置信度。為了避免這一問題，采用光流梯度[6]的 F-范數(shù)來體現(xiàn)運動特征。光流梯度不僅能夠減少移動攝像頭帶來的背景影響，而且能給運動目標(biāo)的運動關(guān)節(jié)帶來很高的置信度?；谶\動特征的前景置信度fm(x,y)定義為：

(1)

式中u和v為t時刻圖像平面上坐標(biāo)為(x，y)的像素點在水平和豎直方向的瞬時速度分量，g是指定方差的二維高斯濾波器。圖1(a)是視頻中騎車的原圖，圖1(b)為該幀進(jìn)行運動特征檢測后的視覺效果圖，運動的人體和車有很高的前景置信度，背景的前景置信度則較低。

圖1　運動特征

2.1.2外觀特征

在大多數(shù)視頻中，人體本身的顏色和背景顏色有著明顯的差異，在室外有藍(lán)色天空的地方尤為明顯。本文的外觀特征主要從顏色方面考慮，同時以顏色梯度作為第二個計算前景置信度的因素。在LAB顏色空間[7]中使用F-范數(shù)來計算，基于顏色梯度的前景置信度fc(x,y)定義為：

(2)

圖2　外觀特征

式中(Lx,ax,bx)、(Ly,ay,by)分別為水平和豎直方向的梯度向量，g是指定方差的二維高斯濾波器。外觀特征檢測后的定性效果如圖2所示。由效果圖可以看出，與背景顏色存在差異的人體、自行車及背景邊緣有較高的前景置信度，顏色差異不大的區(qū)域前景置信度較小。

2.1.3視覺顯著性

圖3　視覺顯著性

視覺顯著性標(biāo)識了一個場景中能夠吸引視覺注意力的位置，Ttti及Koch在多篇文獻(xiàn)中闡述了視覺顯著性的作用機(jī)制和原理。相比于Ttti模型，Harel等[6]提出的基于圖的視覺顯著性模型GBVS(Graph-Based Visual Saliency)，其基本思想是通過馬爾科夫隨機(jī)鏈的遍歷分布來模擬視覺在掃描場景中的視覺分配特性，故在視覺注意力分配方面建模更加成功。本文以視覺顯著性作為第三個影響前景置信度的因素，基于圖的視覺顯著性模型計算結(jié)果效果如圖3所示，具體步驟如下：

Step1獲取圖像多尺度的亮度信息。對輸入的每一幀圖像轉(zhuǎn)化為灰度圖像，再使用高斯金字塔低通濾波器對其進(jìn)行濾波，得到不同尺度下的濾波結(jié)果，表示亮度通道。

Step3求不同尺度和不同特征圖的馬爾科夫平衡分布。對上述每個通道內(nèi)每個尺度的濾波結(jié)果，根據(jù)其像素間的差異和歐氏距離建立各自的馬爾科夫鏈，然后求其馬爾科夫平衡分布。

Step4計算視覺顯著圖。將所有組、所有尺度的濾波結(jié)果依次計算出平衡分布后，將結(jié)果按照通道疊加起來并歸一化，得到大小與原始圖像一致的綜合顯著圖fs(x,y)。

2.1.4前景置信度融合

鑒于對數(shù)函數(shù)處理統(tǒng)計數(shù)據(jù)具有優(yōu)勢，本文以log(fm(fc+fs)+1)來融合每一個像素的前景置信度，并利用該幀中最大值對其進(jìn)行歸一化，得到的結(jié)果定義為該像素初始前景置信度fa。外觀和視覺顯著性的計算僅依賴當(dāng)前幀，也就是僅用到了像素的空間信息。本文利用時空相鄰點的相關(guān)性，按照式(3)對像素的前景置信度進(jìn)行修正。

fa(p)=ω1fa(p)+ω2∑q∈NTpfa(q)+ω3∑q∈NSpfa(q)

(3)

圖4　前景置信度

式中fa(p)為p點的前景置信度，NTp指時間上和p關(guān)聯(lián)的點的集合，即前一幀和后一幀中和該點坐標(biāo)相同的點的集合，NSp指空間上和p關(guān)聯(lián)的點的集合，即該幀中p點周圍的四個點的集合。本文中ω1=0.5，ω2=0.1，ω3=0.75，計算得到該幀最終的前景置信度fa(x,y)。加權(quán)后的前景置信度不僅提高了時間維度上的比重，而且能夠防止局部點異常的情況，增加了算法的魯棒性，最終的前景置信度定性效果如圖4所示。

2.2前景置信詞匯表構(gòu)造和分布直方圖生成

傳統(tǒng)的詞袋模型直接對特征描述器集合X={xi}，通過K-means進(jìn)行聚類，得到k個聚類中心(碼字)。這k個聚類中心就形成了相應(yīng)的視覺詞匯表，再利用最小距離法計算該視頻的特征描述器集合在各個碼字中出現(xiàn)的頻率，統(tǒng)計形成直方圖分布，就形成了利用直方圖來對視頻中的人體動作進(jìn)行表征的方法[9]。該模型把所有特征描述器放在了同等的地位，不能夠突出運動人體特征的重要性，故識別結(jié)果不會很好。本文在此基礎(chǔ)上，利用像素的前景置信度構(gòu)造加權(quán)前景視覺詞匯表并生成相應(yīng)的加權(quán)分布直方圖。具體構(gòu)造過程如下：

Step1對輸入視頻每一幀進(jìn)行前景置信度計算，并進(jìn)行稠密時空興趣點檢測[4]，生成特征描述器集合X={xi}。

Step2計算像素點平均前景置信度。利用像素點的時空性，由式(4)計算像素點平均前景置信度ωi，其中Pi指在時空框架中同描述器xi相關(guān)聯(lián)的點的集合，即空間相鄰的四個像素點和時間相鄰的兩個像素點的集合。

ωi=∑(x,y)∈Pifa(x,y)/|Pi|

(4)

Step3構(gòu)造視覺詞匯表。依據(jù)最小能量函數(shù)(式(5))，利用特征加權(quán)K-means對特征描述器集合進(jìn)行聚類，得到聚類中心集合Z={zj}，即為加權(quán)視覺詞匯表。其中C為|X|×K維的矩陣，這樣的聚類方式使得聚類中心Z離高前景置信度的特征描述器近，離低前景置信度的特征描述器較遠(yuǎn)。

(5)

Step4生成加權(quán)分布直方圖。利用最小距離法判別每個描述器xi屬于哪個碼字zj，并以屬于該碼字的所有描述器的前景置信度之和作為該碼字出現(xiàn)的頻率，形成對應(yīng)的加權(quán)分布直方圖。

2.3人體行為識別

上文中的視頻分析都是針對單個視頻的，然而不同的人在進(jìn)行同一行為，動作上也是存在差異的，提取出來的特征描述器集合是不同的。這直接影響到加權(quán)直方圖的分布，故對行為識別的結(jié)果影響很大。產(chǎn)生差異的主要原因是人的升高、衣服的顏色、動作的幅度、速度以及背景的差異。為了解決這一問題，需要構(gòu)造每種行為的標(biāo)準(zhǔn)加權(quán)直方圖。以Biking為例，識別原理如圖5所示，具體構(gòu)造如下：

Step1利用前面提到的方法，分別計算n個Biking視頻的特征描述器子集合Gi(1≤i≤n)和像素的平均前景置信度ωi，對這些子集合進(jìn)行合并得到代表Biking的特征描述器總集合ΩG。

ΩG=G1∪G2∪…∪Gn

(6)

Step2對特征描述器總集合進(jìn)行聚類，得到標(biāo)準(zhǔn)碼本。再利用最小距離法對總集合ΩG中所有特征描述器進(jìn)行分類，以每個描述器的平均前景置信度之和作為該碼字的頻率，形成標(biāo)準(zhǔn)加權(quán)分布直方圖。

Step3對測試視頻按照2.2節(jié)的方法，得到加權(quán)分布直方圖。再和Biking的標(biāo)準(zhǔn)分布直方圖進(jìn)行相識度匹配，從而判別該行為類型。

圖5　識別原理圖

3　實驗結(jié)果及分析

實驗的主要目的是證明基于前景置信的行為識別方法比傳統(tǒng)稠密特征點識別方法有更高識別率。為了驗證本文提出的人體行為識別方法的性能，在UCF50和HMDB51這兩個視頻庫上進(jìn)行實驗。

UCF50視頻庫[10]有50種行為類別，雖然大多視頻不是日常生活中的，而是專門的表演拍攝，拍攝時會或多或少偏向該行為，但這其中不乏有很多業(yè)余拍攝風(fēng)格。比如一些雜亂的背景或者突然的攝像機(jī)運動等情況拍攝而成的視頻。HMDB51視頻庫[11]中的視頻大多來自電影，也就是說HMDB51取材于比較真實的場景，更加接近現(xiàn)實生活?？紤]到兩個視頻庫中籃球、騎自行車、引體向上、高爾夫球擺動及騎馬的視覺相似度較高，本文對這五種行為進(jìn)行實驗驗證。

以UCF50視頻庫中這五種行為的各100個視頻為訓(xùn)練樣本，對HMDB51視頻庫中同種行為的各100個視頻進(jìn)行測試，測試結(jié)果如表2所示。

表2　HMDB51測試的混淆矩陣

為保證實驗的公平性，對2個視頻庫進(jìn)行交叉實驗。分別從2個視頻庫中取每種運動的100個視頻，按照60∶40的比例分開，60個用來訓(xùn)練，另外的40個用來測試。測試結(jié)果如表3所示，實驗結(jié)果可以看出，在同一個視頻庫里進(jìn)行訓(xùn)練和測試僅僅提高了3%左右的準(zhǔn)確率，但在跨視頻庫的訓(xùn)練和測試上有10%以上的提高，說明該算法具有處理復(fù)雜背景視頻的能力。

表3　測試結(jié)果

4　結(jié)　語

本文簡單分析了傳統(tǒng)時空特征點方法的不足，提出了一種復(fù)雜場景下的人體行為識別方法。該方法依據(jù)像素的運動特征、顏色特征、視覺顯著性特征，引入了像素前景置信度的概念，并利用它先對特征描述器進(jìn)行加權(quán)分類，再判別行為類型。實驗結(jié)果表明，該方法比傳統(tǒng)未加權(quán)的時空興趣點檢測行為識別方法有更高的識別率，在不同的視頻庫上進(jìn)行訓(xùn)練和測試的時效果更加明顯。

[1] Laptev I.On Space-Time Interest Points[J].International Journal of Computer Vision,2005,64(2-3):107-123.[2] Dollar P,Rabaud V,Cottrell G,et al.Behavior recognition via sparse spatio-temporal features[C]//Visual Surveillance and Performance Evaluation of Tracking and Surveillance,IEEE International Workshop on.IEEE,2005:65-72.

[3] Bregonzio M,Gong S G,Xiang T.Recognising action as clouds of space-time interest points[C]//IEEE Conference on Computer Vision & Pattern Recognition.IEEE,2009:1948-1955.

[4] Laptev I,Marszalek M,Schmid C,et al.Learning realistic human actions from movies[C]//Computer Vision and Pattern Recognition,IEEE Conference on.IEEE,2008:1-8.

[5] Sultani W,Saleemi I.Human Action Recognition across Datasets by Foreground-Weighted Histogram Decomposition[C]//Computer Vision and Pattern Recognition (CVPR),2014 IEEE Conference on.IEEE,2014:764-771.

[6] 郭利,曹江濤,李平,等.累積方向-數(shù)量級光流梯度直方圖的人體動作識別[J].智能系統(tǒng)學(xué)報,2014,9(1):104-108.

[7] 龐曉敏,閔子建,闞江明.基于HSI和LAB顏色空間的彩色圖像分割[J].廣西大學(xué)學(xué)報:自然科學(xué)版,2011,36(6):976-980.

[8] Harel J,Koch C,Perona P.Graph-based visual saliency[C]//Advances in Neural Information Processing Systems,2006:545-552.

[9] 雷慶,陳鍛生,李紹滋.復(fù)雜場景下的人體行為識別研究新進(jìn)展[J].計算機(jī)科學(xué),2014,41(12):1-7.

[10] Reddy K K,Shah M.Recognizing 50 human action categories of web videos[J].Machine Vision & Applications,2013,24(5):971-981.

[11] Kuehne H,Jhuang H,Garrote E,et al.HMDB:A large video database for human motion recognition[C]//Computer Vision (ICCV),2011 IEEE International Conference on,2011:2556-2563.

HUMAN BODY ACTION RECOGNITION BASED ON FOREGROUND CONFIDENCE

Min JunMeng Zhaohui

(CollegeofComputerandInformation,HohaiUniversity,Nanjing211100,Jiangsu,China)

In order to reduce the effect of background features on action recognition, this paper proposes a foreground confidence-based human body action recognition method. On the basis of dense spatiotemporal interest points-based action recognition, the method combines the pixels estimation with foreground confidence to carry out weighted classification on feature descriptors. Then it uses the bag-of-words model to discriminate actions. The introduction of foreground confidence of pixels fusing the motion, appearance and visual saliency improves the ability of algorithm in dealing with complex background video. To be trained and tested on UCF50 and HMDB51 video datasets, the method obtains the average recognition rate of 66.4%.

Action recognitionForeground confidenceWeighted classificationBag-of-words modelComplex background

2015-04-18。閔軍，碩士生，主研領(lǐng)域：視頻監(jiān)控，行為識別。孟朝暉，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.10.042