陳慧杰，謝毅雄

(廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院，福建 廈門 361005)

0 引言

人體姿態(tài)識(shí)別是智能視頻監(jiān)控系統(tǒng)中的一種關(guān)鍵技術(shù)，為穩(wěn)健而有效的行為識(shí)別和事件發(fā)現(xiàn)提供保障。當(dāng)前人體姿態(tài)識(shí)別方法主要有2種:基于模型匹配［1］的方法和基于狀態(tài)空間［2］的方法。模型匹配法首先需要將視頻圖像系列轉(zhuǎn)換成一系列的運(yùn)動(dòng)模式，然后根據(jù)先驗(yàn)知識(shí)訓(xùn)練并構(gòu)建模板。在識(shí)別的時(shí)候?qū)斎氲囊曨l系列與構(gòu)建好的模板進(jìn)行特征相似度的計(jì)算。該方法計(jì)算量小、操作較為簡單，但是沒有考慮相鄰幀之間的動(dòng)態(tài)特性，魯棒性較差。Davis和Bobick［3］提出了時(shí)空模板方法，將目標(biāo)信息轉(zhuǎn)換成能量圖像和歷史圖像。Efros［4］等人提出用校正和模糊的方法提高光流法對(duì)噪聲的魯棒性。Gritai［5］利用13個(gè)點(diǎn)的人體模型描述人體姿勢?；跔顟B(tài)空間的方法是將視頻每一幀中的行為姿態(tài)作為一個(gè)個(gè)的狀態(tài)節(jié)點(diǎn)，然后將這些節(jié)點(diǎn)根據(jù)發(fā)生的概率統(tǒng)計(jì)聯(lián)系起來。在識(shí)別的時(shí)候?qū)?dòng)作看成是對(duì)這些行為姿態(tài)狀態(tài)節(jié)點(diǎn)的遍歷，以此來計(jì)算出這些節(jié)點(diǎn)的聯(lián)合概率，以概率的大小作為分類的標(biāo)準(zhǔn)。Buccolieri［6］等人用神經(jīng)網(wǎng)絡(luò)通過分析人體輪廓來識(shí)別姿態(tài)，Liu［7］等人利用隱馬爾可夫模型來描述人體的運(yùn)動(dòng)狀態(tài)。為了準(zhǔn)確地描述人體的姿態(tài)以及克服單分類器的局限性，本文提出多特征融合的姿態(tài)描述與多分類器的投票機(jī)制相結(jié)合的算法，并將ReliefF特征選取算法引入到識(shí)別過程中，有效地提高了姿態(tài)識(shí)別的識(shí)別率。

1 人體姿態(tài)識(shí)別算法

本文提出的人體姿態(tài)識(shí)別過程分為4步。(1)前景分割，采用VIBE［8］背景建模方法完成前景目標(biāo)的分割;(2)提取人體姿態(tài)特征，共提取了2類15個(gè)特征，并用ReliefF算法進(jìn)行特征篩選［9］;(3)多分類器投票機(jī)的構(gòu)建，選用了樸素貝葉斯［10］、決策樹［11］、隨機(jī)森林3種分類方法進(jìn)行訓(xùn)練構(gòu)建分類模型;(4)輸出姿態(tài)識(shí)別的結(jié)果。

1.1 前景分割

該步驟使用VIBE算法來進(jìn)行背景建模。背景模型為每個(gè)背景點(diǎn)存儲(chǔ)了一個(gè)樣本集，然后將每一個(gè)新的像素值與樣本集進(jìn)行比較來判斷是否屬于背景點(diǎn)。如果一個(gè)新的觀察值屬于背景點(diǎn)，那么它應(yīng)該和樣本集中的采樣值比較接近。

記Pt(x)為像素點(diǎn)x在時(shí)刻t的值。為了對(duì)Pt(x)進(jìn)行分類，將它與它所屬的樣本像素集做比較，如果在歐式距離空間中與它足夠接近的樣本點(diǎn)數(shù)超過一個(gè)閾值，即以Pt(x)為中心，SR(Pt(x))為半徑的區(qū)域內(nèi)的樣本點(diǎn)數(shù)大于一個(gè)預(yù)先設(shè)定的閾值min，則把Pt(x)歸類為背景像素。背景模型的初始化通過第一幀圖像完成，對(duì)于一個(gè)像素點(diǎn)，隨機(jī)地選擇它的鄰居點(diǎn)的像素值作為它的模型樣本值。提取的前景效果如圖1所示。

圖1 前景提取圖

1.2 特征提取

當(dāng)人體做出不同動(dòng)作的時(shí)候，人體姿態(tài)的形狀和輪廓會(huì)產(chǎn)生不一樣的變化，因此本文選用表征形狀和輪廓的2種特征Hu不變矩［12］和傅里葉描述子［13］作為姿態(tài)識(shí)別的特征，然后用ReliefF算法對(duì)提取的特征進(jìn)行篩選。

1.2.1 Hu 不變距

Hu不變矩是一種表征形狀的特征。二維隨機(jī)變量的p+q階矩的定義如下:

其中，圖像函數(shù)f(x，y)是分段的連續(xù)有界函數(shù)，f(x，y)隨著平移、旋轉(zhuǎn)或尺度的變化而變化時(shí)，k階矩也可能隨之變化。故為了獲得不變的特征，定義中心矩如下:

其中是圖像f(x，y)的中心點(diǎn)，可知中心矩對(duì)于圖像的平移具有不變性。

尺度不變性可以通過歸一化獲得，歸一化中心矩公式如下:

基于歸一化的中心矩，引入7個(gè)Hu不變矩如下:

這7個(gè)Hu不變矩對(duì)于尺度、平移和旋轉(zhuǎn)具有不變性，表1為不同姿態(tài)的Hu不變矩。

表1 對(duì)不同姿態(tài)取Hu不變矩

1.2.2 傅里葉描述子

傅立葉描述子(FD)是物體邊界曲線的傅里葉變換系數(shù)，它是物體邊界曲線頻域信息的分析結(jié)果。少量的傅里葉描述子就可以描述物體邊界的整體形狀，并且它對(duì)圖像旋轉(zhuǎn)、平移、縮放和初始點(diǎn)的選取均不敏感。

傅里葉描述子定義如下:令 x［m］和y［m］是一個(gè)給定二維圖像邊界上的第m個(gè)像素點(diǎn)的坐標(biāo)，定義一個(gè)復(fù)數(shù):

則該圖像的形狀的傅里葉描述子(FD)定義如下:

其中，N是圖像邊界上像素點(diǎn)的總數(shù)，傅里葉描述子可以反映曲線的形狀特征，而且傅里葉變換具有能量集中性，較少的傅里葉描述子就可以用來表征完整的邊界曲線。低頻系數(shù)集中了傅里葉描述子的大部分能量，反映了輪廓曲線的整體形狀。因此，可以選用低頻系數(shù)的8個(gè)傅里葉描述子作為特征。

本文首先使用Canny算子［14］對(duì)運(yùn)動(dòng)目標(biāo)提取邊緣，然后再進(jìn)行邊緣傅里葉描述子的計(jì)算，表2為對(duì)不同姿態(tài)取8個(gè)低頻傅里葉描述子。

表2 對(duì)不同姿態(tài)輪廓取8個(gè)低頻傅里葉描述子

1.2.3 ReliefF 特征篩選

ReliefF算法是一種典型的特征篩選模型算法，它可以有效且正確地評(píng)估特征的質(zhì)量。ReliefF算法主要是根據(jù)特征值在區(qū)分接近樣本的能力上對(duì)特征的質(zhì)量進(jìn)行評(píng)估。假設(shè)有樣本空間R1，R2，…，RN，這個(gè)樣本空間由屬性集 F={f1，f2，…，fm}來描述，m是特征屬性的數(shù)目，并且標(biāo)注上目標(biāo)的類標(biāo)簽T。在這種假設(shè)下，給定一個(gè)隨機(jī)選擇的樣本Ri，ReliefF算法搜索與之最相近的2β個(gè)樣本，其中β個(gè)來自同一個(gè)類，把它稱作HITHj(Ri)，另β個(gè)來自不同的類，把它稱作MISSMj(Ri)，然后通過計(jì)算 Ri，Mj(Ri)和 Hj(Ri)各個(gè)特征值上的間隔并累加起來更新所有特征F的質(zhì)量權(quán)重λ(F)。如果樣本Ri和Hj(Ri)在F上距離較遠(yuǎn)，那么我們減小質(zhì)量權(quán)重λ(F)，另一方面，如果樣本Ri和Mj(Ri)在F上距離較遠(yuǎn)那么表明特征F將2個(gè)不同類的樣本區(qū)別開來了，因此增加質(zhì)量權(quán)重 λ(F)。用 Fi={fi1，fi2，…，fim}表示第 i個(gè)樣本的m個(gè)屬性值，表示第l次更新時(shí)屬性f的權(quán)值。其權(quán)值更新函數(shù)定義如下:

如果屬性是離散值，那么:

如果屬性值是連續(xù)的，那么:

其中max(f)與min(f)為屬性f的上下界。

本文在選用的15個(gè)特征上使用ReliefF特征選取算法，每個(gè)特征的權(quán)重如表3所示。

表3 特征權(quán)值

從表3可以看出，特征7、8、5、6的權(quán)重最小，即對(duì)分類效果的貢獻(xiàn)最小。因此，將特征7、8、5、6剔除，選取特征 1、2、12、15、11、9、10、14、13、3、4 作為特征集。

1.3 構(gòu)建多分類器投票機(jī)

本文選取樸素貝葉斯、決策樹、隨機(jī)森林3種運(yùn)算量較小的分類器，然后再通過投票機(jī)制來構(gòu)建多分類器投票機(jī)。

樸素貝葉斯分類器［15］的最大優(yōu)點(diǎn)是，對(duì)于分類它只需要少量的訓(xùn)練數(shù)據(jù)來做參數(shù)(變量的均值和方差)的估計(jì)。決策樹分類器選擇 C4.5 算法［16－17］進(jìn)行屬性選擇度的度量。隨機(jī)森林分類器［18］在建立每一棵樹的時(shí)候都構(gòu)建了一個(gè)隨機(jī)的特征選擇子集。

一般來說，比較3種分類器，隨機(jī)森林會(huì)獲得最好的性能。然而對(duì)于不同的數(shù)據(jù)集，不同的分類器的優(yōu)劣性有所不同。因此，本文采用投票的機(jī)制來進(jìn)行最后的分類決策。當(dāng)前主要的投票方法有:

(1)平均法:它將所有分類器算出來的分布累加后平均，求得的平均值作為決策的結(jié)果。

(2)大數(shù)投票法:記錄下投票的結(jié)果，記錄投票得票最多的票數(shù)是多少，選取得票最多的類別。為了解決在多個(gè)類別值所得票數(shù)一樣這種情況，還必須記錄得票最多的幾個(gè)類別值索引號(hào)，再隨機(jī)選擇其中之一，設(shè)置為最終結(jié)果。

(3)中位數(shù)投票法:顧名思義是取分類器結(jié)果的中位數(shù)結(jié)果作為決策。

本文使用大數(shù)投票法進(jìn)行最終的決策。這樣可以發(fā)揮各個(gè)分類器的優(yōu)勢，提高識(shí)別的準(zhǔn)確率。

2 實(shí)驗(yàn)結(jié)果與分析

本文采用的視頻數(shù)據(jù)為自主拍攝的多人行為視頻。針對(duì)視頻進(jìn)行了走、跑、摔倒、蹲、彎腰走姿態(tài)的訓(xùn)練以及測試。

圖2 Hu不變距分類結(jié)果

圖2和圖3分別為單獨(dú)使用7個(gè)Hu不變矩和單獨(dú)使用8個(gè)低頻傅里葉描述子進(jìn)行識(shí)別的結(jié)果，從圖中可以看出，對(duì)于不同的姿態(tài)，單一分類器均有不同的優(yōu)勢，在使用了多分類器投票機(jī)之后，識(shí)別率有了較大的提高。

圖3 傅里葉描述子分類結(jié)果

圖4為進(jìn)行了特征融合后分別使用3種不同的分類器以及多分類器分類的效果，從圖中可以看出經(jīng)過特征融合后明顯提高了整體的識(shí)別率。

圖4 特征融合分類結(jié)果

使用ReliefF算法對(duì)特征進(jìn)行權(quán)重評(píng)估后，選用1.2.3節(jié)的結(jié)果作為特征集進(jìn)行實(shí)驗(yàn)，圖5為特征篩選前后的分類效果，從圖中可以看出在特征篩選之后分類效果有了進(jìn)一步的提高。

圖5 特征篩選前后分類結(jié)果

3 結(jié)束語

本文提出一種多特征融合的人體姿態(tài)識(shí)別算法，并將特征選擇算法和多分類器投票機(jī)引入姿態(tài)識(shí)別。選擇的Hu不變矩特征對(duì)于圖像的尺度、平移和旋轉(zhuǎn)具有很好的魯棒性，低頻傅里葉描述子完整地反映了輪廓曲線的整體形狀。使用大數(shù)投票法構(gòu)建的多分類器投票機(jī)制，很好地發(fā)揮了各個(gè)分類器的優(yōu)勢，提高了識(shí)別的準(zhǔn)確率。最后的實(shí)驗(yàn)結(jié)果表明算法對(duì)提出的各種姿態(tài)取得了很好的分類效果。對(duì)于實(shí)際場景的智能監(jiān)控中的應(yīng)用，所提出的人體姿態(tài)的種類還不夠豐富，有待于擴(kuò)大姿態(tài)特征庫，從而更加完善其在實(shí)際中的應(yīng)用。

:

［1］Silva G B S，Mello M P，Shimabukuro Y E，et al.Multitemporal classification of natural vegetation cover in Brazilian Cerrado［C］//Proceedings of the 6th International Workshop on the Analysis of Multi－temporal Remote Sensing Images.2011:117－120.

［2］Cao Long－bing，Ou Y，Yu P.Coupled behavior analysis with applications［J］.IEEE Transactions on Knowledge and Data Engineering，2012，24(8):1378－1392.

［3］Davis James W，Bobick A F.The representation and recognition of human movement using temporal templates［C］//Proceedings of IEEE 1997 Conference on Computer Vision and Pattern Recognition.1997:928－934.

［4］Alexei A Efros，Alexander C Berg，Greg Mori，et al.Recognizing action at a distance［C］//Proceedings of the 9th IEEE International Conference on Computer Vision.2003，2:726－733.

［5］Gritai Alexei，Sheikh Yaser，Shah Mubarak.On the use of anthropometry in the invariant analysis of human actions［C］//Proceedings of the 17th International Conference on Pattern Recognition.2004，2:923－926.

［6］Buccolieri F，Distante C，Leone A.Human pasture recognition using active contours and radial basis function neural network［C］//Proceedings of the IEEE 2005 Conference on Advanced Video and Signal Based Surveillance.2005:213－218.

［7］Liu Chin－de，Chung Y N，Chung P C.An interaction－embedded HMM framework for human behavior understanding:With nursing environments as exemples［J］.IEEE Transactions on Information Technology in Biomedicine，2010，14(5):1236－1246.

［8］Olivier Barnich，Marc Van Droogenbroeck.ViBe:A universal background subtraction algorithm for video sequences［J］.IEEE Transactions on Image Processing，2011，20(6):1709－1724.

［9］張勇.基于ReliefF算法的模糊聚類新算法［J］.華南金融電腦，2009，17(1):43－46.

［10］Statsoft.Naive Bayes Classifier［EB/OL］.http://www.statsoft.com/textbook/naive－bayes－classifier/，2014－03－03.

［11］Julien Boeuf，Pascal Belin，Henri Ma?tre.Decision Tree Classifier［EB/OL］.http://mines.humanoriented.com/classes/2010/fall/csci568/portfolio_exports/lguo/decision－Tree.html，2013－03－15.

［12］Huang Zhihu，Leng Jinsong.Analysis of Hu’s moment invariants on image scaling and rotation［C］//Proceedings of the 2nd International Conference on Computer Engineering and Technology(ICCET).2010，7:476－480.

［13］Julien Boeuf，Pascal Belin.Overview of the Fourier Descriptors Methods［EB/OL］.http://www.tsi.telecom－paristech.fr/pages/enseignement/ressources/beti/descript_fourier/Part1.html，2014－03－03.

［14］Canny J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8(6):679－698.

［15］Ling C X.Learnability of augmented naive Bayes in nominal domains［C］//Proceedings of the 18th International Conference on Machine Learning.2001:617－623.

［16］吳楠，宋方敏.用C4.5算法對(duì)局域網(wǎng)數(shù)據(jù)報(bào)進(jìn)行行為分類［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2006，16(7):1－3.

［17］李楠，段隆振，陳萌.決策樹C4.5算法在數(shù)據(jù)挖掘中的分析及其應(yīng)用［J］.計(jì)算機(jī)與現(xiàn)代化，2008(12):160－163.

［18］Ho T K.The random subspace method for constructing decision forests［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(8):832－844.