張全貴，蔡　豐，李志強(qiáng)

(遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105)(*通信作者電子郵箱545130868@qq.com)

0　引言

人體動作識別是為了讓計算機(jī)通過一些方法判別出捕捉到的人體動作類別，在行為科學(xué)[1]、社交媒體等方面得到了廣泛的應(yīng)用及發(fā)展，如智能視頻監(jiān)控、家庭服務(wù)機(jī)器人[2]等。在微軟公司發(fā)布Kinect之后，使得獲取的圖像數(shù)據(jù)受較少外部因素干擾而更為準(zhǔn)確，因此近年來基于深度圖像數(shù)據(jù)的人體動作識別成為一個研究熱點(diǎn)。例如，申小霞等[3]利用Kinect獲取圖像信息及金字塔特征來描述行為信息，并且通過使用支持向量機(jī)(Support Vector Machine,SVM)算法進(jìn)行行為分類；Shotton等[4]提出一種新的方法從一個單一的深度圖像預(yù)測人類姿勢，該方法基于當(dāng)前目標(biāo)識別策略，通過設(shè)計中間表示部分把復(fù)雜姿態(tài)問題化為簡單問題；張毅等[5]將行為識別應(yīng)用到醫(yī)療康復(fù)訓(xùn)練方面，同樣采用Kinect采集數(shù)據(jù)，同時使用了樸素貝葉斯模型，并通過調(diào)整模型閾值提高識別率。

以上這些方法都具有一定的優(yōu)勢，并且能達(dá)到較好的識別效果。但現(xiàn)有的基于人體關(guān)節(jié)點(diǎn)進(jìn)行人體動作識別的研究一般假設(shè)關(guān)節(jié)點(diǎn)之間是相互獨(dú)立的，即沒有考慮關(guān)節(jié)之間的相互關(guān)系。根據(jù)人體運(yùn)動解剖學(xué)，人體在完成某個動作的時候各個關(guān)節(jié)點(diǎn)之間是相互制約和協(xié)同工作的，即關(guān)節(jié)點(diǎn)之間具有一定的耦合關(guān)系[6]。例如，從桌子上拿起水杯這個動作，胳膊的肘部活動一定會影響到手腕的活動。如果忽略各部位之間的交互，這樣分析可能會導(dǎo)致大量信息的損失，因此本文將考慮人體各部分之間的相互影響關(guān)系，即耦合關(guān)系。建立人體動作的多隱馬爾可夫模型(multi-Hidden Markov Model, Multi-HMM)，并運(yùn)用耦合相似度分析與K最鄰近(K-Nearest Neighbors, KNN)算法[7]進(jìn)行基于耦合的人體動作識別，以便充分利用人體各個關(guān)節(jié)點(diǎn)之間的協(xié)同交互關(guān)系。

1　特征值提取

本文將Kinect提取的人體20個節(jié)點(diǎn)分成5個區(qū)域，從上到下、從左到右依次為左上肢、軀干、右上肢、左下肢和右下肢，分別用R1、R2、R3、R4和R5來表示。在每個區(qū)域中選取合適的向量及夾角，通過對向量夾角的劃分進(jìn)行特征值的提取，完成人體動作特征的描述。

人體各關(guān)節(jié)點(diǎn)名稱如圖1(a)所示；為方便描述將每個節(jié)點(diǎn)名稱用英文字母代替全稱，如圖1(b)所示。例如，在R1區(qū)域內(nèi)，節(jié)點(diǎn)c與節(jié)點(diǎn)d形成向量Vcd，節(jié)點(diǎn)c與節(jié)點(diǎn)b形成向量Vcb，向量Vcd與向量Vcb所形成夾角用Acd-cb表示。在其他四個區(qū)域以同樣的方式選取向量及夾角。具體所選的向量如表1所示。

表1　選取向量Tab. 1　Selected vectors

圖1　關(guān)節(jié)點(diǎn)名稱和編號示意圖Fig. 1　Schematic diagram for name and label of joint nodes

在空間坐標(biāo)系中左上肢與右上肢相對應(yīng)，左下肢與右下肢對應(yīng)，結(jié)合實(shí)際情況活動的范圍大致相同，所以會有相同的角度劃分。例如在區(qū)域R1中，左上臂與左前臂活動角度的范圍比較大，所以設(shè)置的角度范圍是最小0°到最大180°，以間隔為20°將此區(qū)間劃分成9個區(qū)間，依次編號為0～8。左前臂與左手動作范圍較小，所以設(shè)置為0°到90°，間隔區(qū)間為10°，同樣將此范圍劃分成9個區(qū)間，編號為0～8。右上肢將有與左上肢相同的角度劃分。本文將五個區(qū)域中的向量夾角均劃分成9個區(qū)間，編號為0～8 。經(jīng)過實(shí)驗分析得到每個角度的最佳變化范圍及劃分區(qū)間如表2所示。

表2　角度劃分Tab. 2　Angle division

當(dāng)求兩個空間向量之間的夾角時，需要使用余弦函數(shù)，例如有向量a=(x1,y1,z1)和向量b=(x2,y2,z2)，則向量a、b之間夾角可以由式(1)計算得到:

(1)

其中|a|≠0，|b|≠0。如果|a|≠0且|b|≠0，而a·b=x1x2+y1y2+z1z2，|a|2=x12+y12+z12，則〈a,b〉=0，即a和b為正交向量。例如，通過式(1)求得某個區(qū)域的一個夾角大小為23°時，根據(jù)角度及編號的劃分可以得到：當(dāng)此向量角處于0°～180°范圍時，它對應(yīng)的編號為1 ；當(dāng)此向量角處于0°～90°范圍時到此角度對應(yīng)標(biāo)號為2 。

本文將取T幀視頻序列，每個分區(qū)將形成一個觀察序列(or1,or2,…,orT)，其中r表示分區(qū)，取值為{1,2,…,5} 。

2　動作識別

2.1　基于隱馬爾可夫模型的局部分類

最初的隱馬爾可夫模型(Hidden Markov Model, HMM)[8]是在統(tǒng)計學(xué)中提出的。一個HMM包含兩組狀態(tài)集合和三組概率集合,可以用五個元素來描述，記為λ=(S,O,π,A,B)。其中：S表示隱含狀態(tài)，所有隱含狀態(tài)之間滿足馬爾可夫性；O表示可觀測狀態(tài)；π表示初始狀態(tài)概率矩陣；A表示隱含狀態(tài)轉(zhuǎn)移概率矩陣；B表示觀測狀態(tài)移概率矩陣。也可以將HMM用一個三元組(π,A,B)來表示。

在第1章中已經(jīng)獲取了每個分區(qū)的觀測序列，接下來將使用Baum-Welch算法訓(xùn)練得到各個分區(qū)的多個HMM，并使用前向算法計算觀察序列的概率。具體流程如下：

算法1分區(qū)訓(xùn)練HMM并計算觀察序列概率。

輸入分區(qū)觀察序列O={ort}，其中r={1,2,…,5}，1≤t≤T。

過程：

1)初始化參數(shù)模型λ0。

2)根據(jù)式(2)計算t+1時刻狀態(tài)為j的概率。

εt(i,j)=P(qt=i,qt+1=j/O,λ)=

(2)

其中:1≤i≤N，1≤j≤N，1≤k≤M，N表示隱含狀態(tài)的個數(shù)，M表示觀測狀態(tài)的個數(shù);βt+1(j)表示后向概率。

3)根據(jù)式(3)計算t時刻狀態(tài)i的概率。

(3)

其中:1≤i≤N，1≤t≤T。

4)根據(jù)式(4)、(5)、(6)計算分別得到模型的三個參數(shù)值，即能獲得模型λi+1。

πt(i)=γt(i)

(4)

(5)

其中:1≤i≤N，1≤j≤N，1≤t≤T-1。

(6)

其中:1≤j≤N，1≤k≤M。

5)重復(fù)步驟2)、3)、4)，循環(huán)迭代直到πt、aij、bjk三個參數(shù)收斂，為這次訓(xùn)練的最終模型。

6)模型訓(xùn)練結(jié)束后，取新的觀察序列。使用前向算法：當(dāng)t=1時，根據(jù)式(7)計算局部概率;當(dāng)t>1時，采用遞歸的方法，根據(jù)式(8)計算當(dāng)前HMM下一個觀察序列的概率。

a1(j)=π(j)bjk1

(7)

(8)

7)根據(jù)式(9)計算給定觀察序列的概率等于T時刻所有局部概率之和。

(9)

輸出結(jié)果為當(dāng)前的觀察序列在HMM下的概率值。

2.2　基于HMM的局部分類

觀察序列輸入到模型后會計算得到概率矩陣如下：P={pxy}，pxy表示第x分區(qū)中第y個HMM對觀察序列的概率，其中x、y取值均為{1,2，…,5}。

當(dāng)某個動作發(fā)生時，通過矩陣P可以知道是身體哪個區(qū)域發(fā)出這個動作，但是并不能知道此動作是由身體的單一區(qū)域還是多個區(qū)域共同完成?；谝陨瞎ぷ鳎ㄟ^進(jìn)一步分析各個概率值之間耦合關(guān)系，并使用基于耦合的KNN算法得到最終的動作分類。因此需要分析處理：將得到的矩陣P變換成25維的向量，即(p11,p12,…,p15,p21,p22,…,p25,…,p51,p52,…,p55)，并且這個向量在訓(xùn)練數(shù)據(jù)中有相應(yīng)的分類標(biāo)簽。每一個視頻序列都形成一個向量，那么取m個視頻序列{s1,s2,…,

sm}便可以得到m個25維向量。本文共取100個視頻序列。每一維看作一個屬性，計算各屬性的內(nèi)耦合及間耦合關(guān)系，通過屬性的內(nèi)耦合及間耦合來分析各個動作序列之間的隱含關(guān)系。本文借鑒文獻(xiàn)[6]的方法計算內(nèi)耦合、間耦合。

2.2.1內(nèi)耦合分析

本節(jié)將屬性值af擴(kuò)展出L-1個屬性值，本文的L取值為2，分別為〈af〉2，〈af〉3，…, 〈af〉L，那么屬性值af的內(nèi)耦合關(guān)系可以表示成L×L的矩陣R-Ia(af)，其中〈af〉v表示屬性af的v次冪。

(10)

其中：φpq(f)=Cor(〈af〉p,〈af〉q)是屬性〈af〉p和屬性〈af〉q的皮爾遜相關(guān)系數(shù)。屬性af和ag之間的皮爾遜相關(guān)系數(shù)為：

Cor(af,ag)=

其中μf、μg分別表示屬性值af、ag的均值。

2.2.2間耦合分析

假設(shè)有n個屬性值(這里n=25)，將每一個屬性值af都擴(kuò)展出L-1個屬性值：〈af〉2，〈af〉3，…, 〈af〉L，〈af〉v表示屬性af的v次冪。那么數(shù)值型屬性af與屬性ag及屬性〈af〉v(f≠g)的間耦合關(guān)系可以表示為大小為L×(L×(n-1))的矩陣R-Ie(af|{ag}g≠f)。計算公式如下：

2.2.3對象的耦合表示及KNN分類

對象u在其他的屬性值上的向量為：

由公式可以得到對象u在屬性af上的1×L向量：

到此，已完成了多個HMM形成的概率矩陣的耦合相似性分析。基于此，使用KNN算法完成最后的人體動作分類。在使用KNN算法時，使用以上介紹的對象耦合相似度計算方法代替?zhèn)鹘y(tǒng)的歐氏距離方法。

3　實(shí)驗分析

3.1　實(shí)驗數(shù)據(jù)集及實(shí)驗過程

實(shí)驗在公開數(shù)據(jù)集MSR-Daily-Activity 3D(MSR Daily Activity 3D Dataset)[9]上進(jìn)行。MSR-Daily-Activity 3D數(shù)據(jù)集中包含16種人體動作，每種動作分別由10個人來做，每類動作做2次，一共有320個樣本。該數(shù)據(jù)集是在客廳中錄制的，基本上涵蓋了人類的日?；顒?。行為者是站在沙發(fā)附近完成的各種動作，使得骨骼追蹤非常復(fù)雜，因此使得這個數(shù)據(jù)集更具有挑戰(zhàn)性。該數(shù)據(jù)集同時提供了三種數(shù)據(jù)信息：深度圖像、骨骼關(guān)節(jié)位置和RGB視頻，本文選擇骨骼關(guān)節(jié)位置中的drinking、cheer up、walk、sit down和stand up共5種動作的數(shù)據(jù)進(jìn)行實(shí)驗。

實(shí)驗時取出上述5種動作序列的數(shù)據(jù)集后分成訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集兩組，其中第一個到第八個人的動作數(shù)據(jù)集用作訓(xùn)練，第九、第十這兩個人的動作數(shù)據(jù)集用作測試。為避免過擬合現(xiàn)象，本文從這些數(shù)據(jù)集中按照等間距標(biāo)準(zhǔn)從原視頻序列選取關(guān)鍵幀組成新的序列。根據(jù)第2章中特征提取方法把每種視頻序列用矩陣表示，進(jìn)行HMM訓(xùn)練得到參數(shù)λi，再利用前向算法計算觀察序列的概率即完成分區(qū)動作識別，最后根據(jù)基于耦合關(guān)系的KNN算法完成整體的動作識別。

3.2　實(shí)驗結(jié)果與分析

本文動作識別算法的動作識別率結(jié)果如表1所示，均在90%以上，其中walk的識別率最高為96.86%，這說明本文算法的識別率水平較高。

表3　動作識別率Tab. 3　Recognition rates of actions

為了進(jìn)一步驗證本文算法的有效性，將其與同樣使用此數(shù)據(jù)集進(jìn)行實(shí)驗的文獻(xiàn)[10-12]的方法對所有動作的綜合識別率進(jìn)行比較。其中，文獻(xiàn)[10]的實(shí)驗中將動作分為了兩類，一類是低運(yùn)動動作，另一類是高運(yùn)動動作，兩種類型的識別率分別為60%和85%。由于本文所選取的動作屬于高運(yùn)動動作，所以只考慮與文獻(xiàn)[10]中高運(yùn)動動作的識別率比較。文獻(xiàn)[11]的數(shù)據(jù)獲取較為復(fù)雜，且整體計算量較大，其設(shè)置了多組實(shí)驗，因此這里取平均值與本文方法進(jìn)行比較。文獻(xiàn)[12]使用的是骨骼形狀軌跡的方法，而MSR-Daily-Activity 3D數(shù)據(jù)集本身所處的環(huán)境較復(fù)雜，所以在使用骨骼追蹤時比較困難，以至于識別率較低。本文取與文獻(xiàn)[12]相同的實(shí)驗設(shè)置，即取前5個人作為訓(xùn)練，后5個人作為測試。

經(jīng)過實(shí)驗，本文方法的綜合識別率為87.16%，3D Trajectories方法[10]識別率為85%，Actionlet Ensemble Model方法[11]識別率為85.75%，Skeletal Shape Trajectories方法[12]識別率為70.00%。可以看出，本文所提出的識別方法與其他三種方法相比具有較高的識別率，并且達(dá)到了較好的預(yù)期識別效果，由于能夠在復(fù)雜的環(huán)境下表現(xiàn)良好，所以體現(xiàn)出了較強(qiáng)的魯棒性。

4　結(jié)語

本文使用關(guān)節(jié)點(diǎn)角度值描述特征，通過Baum-Welch算法建立多HMM得到相應(yīng)參數(shù)，根據(jù)前向算法對人體分區(qū)進(jìn)行動作識別，然后利用基于耦合關(guān)系的KNN算法完成整體的動作識別，充分利用了人體的各個部分之間的隱含交互關(guān)系。實(shí)驗結(jié)果表明本文提出的方法具有一定的優(yōu)越性。

本文方法只識別了五種動作，沒有對更復(fù)雜背景下的復(fù)雜動作進(jìn)行識別驗證，這將是我們要繼續(xù)研究的內(nèi)容。

參考文獻(xiàn):

[1]ZACHARIAS G L, MacMILLAN J, VAN HEMEL S B, et al. Behavioral modeling and simulation: from individuals to societies [J]. Journal of Artificial Societies & Social Simulation, 2008, 12(3): 291-304.

[2]田國會,尹建芹,韓旭,等.一種基于關(guān)節(jié)點(diǎn)信息的人體行為識別新方法[J].機(jī)器人,2014,36(3):285-292. (TIAN G H, YIN J Q, HAN X, et al. A new method of human behavior recognition based on joint information [J]. Robot, 2014, 36(3): 285-292.)

[3]申小霞,張樺,高贊.基于Kinect和金字塔特征的行為識別算法[J].光電子·激光,2014(2):357-363. (SHEN X X, ZHANG H, GAO Z. Behavior recognition algorithm based on Kinect and pyramid feature[J]. Journal of Optoelectronics · Laser, 2014(2): 357-363.)

[4]SHOTTON J, FITZGIBBON A, COOK M, et al. Real-time human pose recognition in parts from single depth images [C]// CVPR 2011: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition, SCI 411. Washington, DC: IEEE Computer Society, 2011: 1297-1304.

[5]張毅,黃聰,羅元.基于改進(jìn)樸素貝葉斯分類器的康復(fù)訓(xùn)練行為識別方法[J].計算機(jī)應(yīng)用,2013,33(11):3187-3189. (ZHANG Y, HUANG C, LUO Y. Rehabilitation training behavior recognition method based on improved naive Bayesian classifier [J]. Journal of Computer Applications, 2013, 33(11): 3187-3189.)

[6]WANG C, SHE Z, CAO L. Coupled attribute analysis on numerical data [C]// IJCAI ’13: Proceedings of the 2013 International Joint Conference on Artificial Intelligence. Menlo Park, CA: AAAI Press, 2013: 1736-1742.

[7]FIGUEIREDO F, ROCHA L, COUTO T, et al. Word co-occurrence features for text classification [J]. Information Systems, 2011, 36(5): 843-858.

[8]MOGHADDAM Z, PICCARDI M. Training initialization of hidden markov models in human action recognition [J]. IEEE Transactions on Automation Science & Engineering, 2014, 11(2): 394-408.

[9]WANG J, LIU Z, WU Y, et al. Mining actionlet ensemble for action recognition with depth cameras [C]// CVPR 2012: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 1290-1297.

[10]KOPERSKI M, BILINSKI P, BREMOND F. 3D trajectories for action recognition [C]// ICIP 2014: Proceedings of the 2014 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2014: 4176-4180.

[11]LI W, ZHANG Z, LIU Z. Action recognition based on a bag of 3D points [C]// CVPRW 2010: Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Washington, DC: IEEE Computer Society, 2010: 9-14.

[12]AMOR B B, SU J, SRIVASTAVA A. Action recognition using rate-invariant analysis, of skeletal shape trajectories [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(1): 1-13.