顧軍華，李 碩，劉洪普,3，馬鶴蕓

(1.河北工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津 300401；2.河北省大數(shù)據(jù)計(jì)算重點(diǎn)實(shí)驗(yàn)室，天津 300401；3.華北科技學(xué)院 河北省物聯(lián)網(wǎng)數(shù)據(jù)采集與處理工程技術(shù)研究中心, 河北 廊坊 065201)

0 引 言

21世紀(jì)初，在人機(jī)交互、虛擬現(xiàn)實(shí)、視頻智能監(jiān)控、醫(yī)療診斷和監(jiān)護(hù)以及運(yùn)動(dòng)分析等諸多應(yīng)用背景下，動(dòng)作分析已經(jīng)成為圖像分析、心理學(xué)、神經(jīng)生理學(xué)等相關(guān)領(lǐng)域的研究熱點(diǎn)[1]。因此，人體動(dòng)作識(shí)別技術(shù)被很多國(guó)內(nèi)外的大學(xué)和研究機(jī)構(gòu)進(jìn)行了深入的研究[2]，并擁有十分廣闊的應(yīng)用前景[3]和非?？捎^的經(jīng)濟(jì)價(jià)值。傳統(tǒng)的解決人體動(dòng)作識(shí)別問(wèn)題常用方法有兩種：模板匹配法和狀態(tài)空間法[4]。模板匹配法一般會(huì)將運(yùn)動(dòng)狀態(tài)序列轉(zhuǎn)化為一個(gè)或一組靜態(tài)的模板，通過(guò)將待識(shí)別樣本的模板與已知的模板進(jìn)行匹配獲得識(shí)別結(jié)果。模板匹配法可細(xì)分為兩類(lèi)：是幀對(duì)幀匹配方法，其最經(jīng)典的算法就是動(dòng)態(tài)時(shí)間規(guī)整(dynamic time warping,DTW)[5]；融合匹配方法，例如Davis J W與Bobick A F[6]提出的識(shí)別方法。狀態(tài)空間法就是將圖像序列的每個(gè)靜態(tài)姿勢(shì)或運(yùn)動(dòng)狀態(tài)作為一個(gè)狀態(tài)節(jié)點(diǎn)，狀態(tài)節(jié)點(diǎn)之間由給定的概率聯(lián)系起來(lái)，任何的動(dòng)作序列可以認(rèn)為是這些靜態(tài)動(dòng)作在不同狀態(tài)節(jié)點(diǎn)中的一次遍歷過(guò)程，常見(jiàn)的狀態(tài)空間法的算法有隱馬爾科夫和動(dòng)態(tài)貝葉斯等[7]。

由于狀態(tài)空間法需要的樣本空間過(guò)大，迭代次數(shù)過(guò)多，鑒于智能家居中對(duì)于識(shí)別簡(jiǎn)單動(dòng)作的效率有很大的要求，在智能家居的人體動(dòng)作中不易采用該方法；而模版匹配的幀對(duì)幀匹配也會(huì)涉及時(shí)間敏感對(duì)應(yīng)匹配的問(wèn)題且魯棒性差等問(wèn)題，為此，本文采用基于神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法。該方法屬于融合匹配方法，其優(yōu)點(diǎn)在于可以有效避免一般模板匹配法中的時(shí)間間隔敏感的問(wèn)題，且迭代次數(shù)少，算法更加高效。

1 動(dòng)作特征提取方法

1.1 姿態(tài)描述

研究表明，人體運(yùn)動(dòng)時(shí)相應(yīng)的關(guān)節(jié)點(diǎn)角度、角速度及角加速度可以表征人體姿態(tài)。文獻(xiàn)[8]也證明了人體骨骼角度在樣本空間具有聚集性，并在規(guī)則化處理后滿足平移和縮放不變性。因此，肢體關(guān)節(jié)角度可以作為人體運(yùn)動(dòng)特征的動(dòng)態(tài)分量提取。

本文采用微軟推出的KINECT[9,10]深度攝像頭提取人體的20個(gè)骨骼關(guān)節(jié)點(diǎn)，并提供每個(gè)骨骼節(jié)點(diǎn)的三維坐標(biāo)，識(shí)別的人體關(guān)節(jié)點(diǎn)圖像如圖1(a)所示。由骨骼點(diǎn)之間的坐標(biāo)得到每段骨骼的向量，最終得到骨骼向量夾角[11]，即關(guān)節(jié)角度，如圖1(b)所示，模擬了某個(gè)狀態(tài)下右肩—右肘—右手三個(gè)骨骼節(jié)點(diǎn)間的夾角，其命名方式為Rshoulder-Relbow-Rhand。以類(lèi)似的命名方式取骨骼向量夾角，共20組。

圖1 骨骼向量夾角特征提取

1.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本優(yōu)化

Partridge D[12]認(rèn)為對(duì)于分類(lèi)的神經(jīng)網(wǎng)絡(luò),訓(xùn)練集對(duì)泛化能力的影響十分顯著，甚至優(yōu)于隱含層數(shù)和節(jié)點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)泛化能力的影響。因此，本文提出對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行優(yōu)化，以此提高網(wǎng)絡(luò)的泛化能力。

在基于骨骼向量夾角的人體動(dòng)作識(shí)別中，由于KINECT傳感器檢測(cè)時(shí)經(jīng)常會(huì)有關(guān)節(jié)點(diǎn)檢測(cè)失效或者關(guān)節(jié)點(diǎn)偏移的情況發(fā)生，例如：圖2(a)是正常情況下的人體站立姿勢(shì)的骨架，圖2(b)是關(guān)節(jié)點(diǎn)發(fā)生偏移后的骨架，可知采集到的訓(xùn)練數(shù)據(jù)有可能并不準(zhǔn)確，導(dǎo)致訓(xùn)練后的網(wǎng)絡(luò)有可能并不可靠，泛化能力較差，要解決此類(lèi)問(wèn)題：提高KINECT采集關(guān)節(jié)點(diǎn)的正確性，對(duì)關(guān)節(jié)點(diǎn)錯(cuò)誤的數(shù)據(jù)進(jìn)行剔除；通過(guò)數(shù)據(jù)間的相關(guān)性對(duì)樣本進(jìn)行優(yōu)化，提高訓(xùn)練數(shù)據(jù)精度，加強(qiáng)網(wǎng)絡(luò)的泛化能力。

圖2 KINECT捕捉關(guān)節(jié)點(diǎn)骨架

1.2.1 剔除無(wú)效數(shù)據(jù)

在提高訓(xùn)練數(shù)據(jù)正確性方面，Li J F等人[13]根據(jù)文獻(xiàn)[14]提供的數(shù)據(jù)指出，普通人自身的不同骨骼間的比例大致上是固定的，其統(tǒng)計(jì)得出的肢體數(shù)據(jù)如下

{Htorso≈4Hhead

Harm≈2.2Hhead

Hforearm≈1.9Hhead

(1)

式中Htorso,Harm,Hforearm,Hhead分別為脊柱、上臂、前臂和頭的長(zhǎng)度。

在構(gòu)成人體動(dòng)作描述特征向量之前要先判斷該數(shù)據(jù)是否為無(wú)效數(shù)據(jù)，判斷的依據(jù)為

(2)

式中L(shouldercenter,spine)為Shouldercenter到Spine的長(zhǎng)度；a為允許誤差范圍，取0.1；后兩式分別為左右兩個(gè)上臂長(zhǎng)度和左右兩個(gè)前臂長(zhǎng)度與頭長(zhǎng)度的比例。當(dāng)條件均滿足時(shí)，判斷為有效數(shù)據(jù)，最終構(gòu)建人體動(dòng)作描述特征向量。

根據(jù)已知的身體各部分的比例系數(shù)，可以判定獲得的訓(xùn)練數(shù)據(jù)是否為關(guān)節(jié)點(diǎn)失真后的錯(cuò)誤數(shù)據(jù)，一旦出現(xiàn)了錯(cuò)誤數(shù)據(jù)，則認(rèn)為這組訓(xùn)練數(shù)據(jù)是無(wú)效數(shù)據(jù)，直接從訓(xùn)練數(shù)據(jù)中刪除，在一定程度上保證了訓(xùn)練樣本的準(zhǔn)確性。

1.2.2 降低樣本維度

在保證關(guān)節(jié)點(diǎn)基本不失真的情況下，由于訓(xùn)練樣本維數(shù)較多，且精度不一，對(duì)樣本進(jìn)行二次優(yōu)化。對(duì)樣本進(jìn)行因子分析[15,16]，即在處理多指標(biāo)樣本數(shù)據(jù)時(shí)，將具有錯(cuò)綜復(fù)雜關(guān)系的指標(biāo)(或樣品)綜合為數(shù)量較少的幾個(gè)因子，以再現(xiàn)原始變量之間的相互關(guān)系，通常被用來(lái)降低樣本維度。

因子分析的數(shù)學(xué)表示為矩陣：X=AF+B，即

(3)

式中 向量X=(x1,x2,x3,…,xp)為原始觀測(cè)變量；F=(f1,f2,f3,…,fp)為X的公共因子;A=(αij)為公因子F的系數(shù)，稱(chēng)為因子載荷矩陣；αij(i=1,2,…,p;j=1,2,…,k)為因子載荷，是第i個(gè)原有變量在第j個(gè)因子上的負(fù)荷，或可將αij看作第i個(gè)變量在j共因子上的權(quán)重。αij為xi與fi的協(xié)方差，亦即xi與fi的相關(guān)系數(shù)，表示xi對(duì)fi的相關(guān)程度。αij的絕對(duì)值越大，表明fi對(duì)xi的載荷量越大。

設(shè)神經(jīng)網(wǎng)絡(luò)的總體樣本為X=(xij)n×p，其中，xij為xi的第j個(gè)指標(biāo)，i=1,2,…,n;j=1,2,…,p。本文神經(jīng)網(wǎng)絡(luò)樣本因子分析的主要步驟：

1)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，采用零均值標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化方法，標(biāo)準(zhǔn)化后的樣本為Xnp。但要注意，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練輸出時(shí)，需要對(duì)輸出的結(jié)果進(jìn)行還原量綱值。

2)計(jì)算總樣本的相關(guān)系數(shù)矩陣R=(rij)p×p，并求解R的特征根及其相應(yīng)的單位特征向量。其中

(4)

求解出R的p個(gè)特征根及其對(duì)應(yīng)的特征向量，分別表示為λ1≥λ2≥…≥λp>0和μ1,μ2,…,μp。根據(jù)貢獻(xiàn)率的要求，取前q個(gè)特征根及其相應(yīng)的特征向量的構(gòu)成因子載荷矩陣A

(5)

3)對(duì)求出的因子載荷矩陣進(jìn)行因子旋轉(zhuǎn)，并計(jì)算出因子得分。旋轉(zhuǎn)后的因子載荷矩陣記為

(6)

因子得分的計(jì)算公式為

(7)

通過(guò)上述的因子分析操作可對(duì)樣本進(jìn)行降維處理，提高樣本精度。

2 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)硬件采用KINECT傳感器捕獲人體動(dòng)作特征向量，實(shí)驗(yàn)數(shù)據(jù)采集軟件環(huán)境為Visual Studio 2010和KINECT SDK v1.8，開(kāi)發(fā)語(yǔ)言為C#.net，神經(jīng)網(wǎng)絡(luò)仿真實(shí)驗(yàn)環(huán)境為MATLAB 2012b。

實(shí)驗(yàn)訓(xùn)練了5組動(dòng)作，分別為坐下、站起、蹲下、喝水和坐在椅子上站起，共5×160=800組訓(xùn)練數(shù)據(jù)。測(cè)試數(shù)據(jù)使用相同的測(cè)試集，每個(gè)動(dòng)作取60組數(shù)據(jù)，共有5×60=300組測(cè)試數(shù)據(jù)。實(shí)驗(yàn)中，設(shè)置網(wǎng)絡(luò)的期望均方誤差為0.01，最大迭代次數(shù)是1 000次。

為了驗(yàn)證本文方法的性能，設(shè)計(jì)了4組對(duì)比實(shí)驗(yàn)：1)采用不刪除不降維的神經(jīng)網(wǎng)絡(luò)算法進(jìn)行實(shí)驗(yàn)，原始數(shù)據(jù)即為訓(xùn)練集；2)采用僅剔除無(wú)效數(shù)據(jù)的識(shí)別方法，對(duì)原始數(shù)據(jù)進(jìn)行無(wú)效數(shù)據(jù)剔除后的數(shù)據(jù)為訓(xùn)練集；3)采用不剔除無(wú)效數(shù)據(jù)僅進(jìn)行因子分析的方法，對(duì)原始數(shù)據(jù)進(jìn)行因子分析，得到訓(xùn)練集；4)采用既剔除無(wú)效數(shù)據(jù)又進(jìn)行因子分析的方法，首先將訓(xùn)練樣本中的無(wú)效數(shù)據(jù)排除，然后進(jìn)行樣本優(yōu)化，對(duì)樣本數(shù)據(jù)進(jìn)行因子分析，組成新的訓(xùn)練集。表1給出了不同方法測(cè)試動(dòng)作在測(cè)試集合上的正確識(shí)別率；表2給出了訓(xùn)練數(shù)據(jù)迭代次數(shù)及測(cè)試數(shù)據(jù)的總體識(shí)別率。

表1 測(cè)試中每個(gè)動(dòng)作的正確識(shí)別率 %

表2 算法的迭代次數(shù)和總體識(shí)別率

由表1看出，采用樣本優(yōu)化后的方法，所有動(dòng)作的識(shí)別準(zhǔn)確率均有所提高，特別是在喝水動(dòng)作的識(shí)別方面，優(yōu)化后可以使得測(cè)試數(shù)據(jù)獲得高達(dá)100%的準(zhǔn)確率；而且在站起動(dòng)作方面，識(shí)別準(zhǔn)確率有了很大提高，由最初的85 %提升至95 %。造成這種現(xiàn)象的原因是，一方面了剔除無(wú)效數(shù)據(jù)，另一方面減少了數(shù)據(jù)的冗余，一些容易混淆的動(dòng)作特征對(duì)比度更大，例如站起和坐在椅子上站起兩個(gè)相似的動(dòng)作區(qū)分更加明顯，識(shí)別更加準(zhǔn)確。通過(guò)表2看出：本文方法實(shí)驗(yàn)(4)在總體的識(shí)別率方面有了提升，由90.7 %增加到了95.7 %，而且在迭代次數(shù)方面也大幅縮減，由375降到了112，主要是因?yàn)閿?shù)據(jù)維度減少，簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)，因此，加快了收斂速度，縮減了訓(xùn)練時(shí)間。

由表2可以看出，4次實(shí)驗(yàn)的迭代次數(shù)分別是375，372，123，112次，分別如圖3所示，迭代次數(shù)由375次下降到了112次，而總體識(shí)別率由未優(yōu)化的90.7 %提高到了優(yōu)化后的95.7 %。

圖3 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)

由實(shí)驗(yàn)結(jié)果可知，由于算法提高了訓(xùn)練樣本的精度，使得訓(xùn)練出的網(wǎng)絡(luò)更加穩(wěn)定，泛化能力更好，因此，神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)更少，準(zhǔn)確率更高。

3 結(jié)束語(yǔ)

本文確定了動(dòng)作描述方法，利用KINECT攝像頭的骨骼關(guān)節(jié)點(diǎn)識(shí)別功能對(duì)人體進(jìn)行建模，以骨骼的關(guān)節(jié)角度作為動(dòng)作特征向量。在分析了幾種傳統(tǒng)的動(dòng)作識(shí)別算法的基礎(chǔ)上，利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)動(dòng)作識(shí)別的算法。為提高識(shí)別率和降低訓(xùn)練網(wǎng)絡(luò)的迭代次數(shù)，根據(jù)實(shí)驗(yàn)本身的特性，對(duì)樣本優(yōu)化方面提出了改進(jìn)，實(shí)驗(yàn)結(jié)果證明：算法取得了較好的性能。

[1] Yuan C,Li X, Hu W, et al. 3D R transform on spatio-temporal interest points for action recognition[C]∥Proc of the IEEE Conference on Computer Vision and Pattern Recognition,2013:724-730.

[2] 朱 煜,趙江坤,王逸寧,等.基于深度學(xué)習(xí)的人體行為識(shí)別算法綜述[J].自動(dòng)化學(xué)報(bào),2016,42(6):848-857.

[3] 沈淑濤,高 飛,許 寧.基于Kinect的頭部康復(fù)虛擬現(xiàn)實(shí)游戲[J].系統(tǒng)仿真學(xué)報(bào),2016(8):1904-1908.

[4] 谷軍霞,丁曉青,王生進(jìn).動(dòng)作分析算法綜述[J].中國(guó)圖像圖形學(xué)報(bào),2009,14(3):377-387.

[5] Sakoe H,Chiba S.Dynamic programming algorithm optimization

for spoken word recognition[J].IEEE Transactions on Acoustics,Speech and Signal Processing,1978,26(1):43-491.

[6] Davis J W,Bobick A F.The representation and recognition of human movement using temporal templates[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,San Juan,Puerto Rico,1997:928-9341.

[7] 李瑞峰,王亮亮,王 珂.人體動(dòng)作動(dòng)作識(shí)別研究綜述[J].模式識(shí)別與人工智能,2014,27(1):35-48.

[8] 韓 旭.應(yīng)用Kinect的人體行為識(shí)別方法研究與系統(tǒng)設(shè)計(jì)[D].濟(jì)南：山東大學(xué),2013.

[9] 楊文璐,王 杰,夏 斌,等.基于Kinect的下肢體康復(fù)動(dòng)作評(píng)估系統(tǒng)[J].傳感器與微系統(tǒng),2017,36(1):91-94.

[10] 李 彬,謝 翟,段渭軍,等.基于Kinect的課堂教學(xué)狀態(tài)檢測(cè)系統(tǒng)[J].傳感器與微系統(tǒng),2017,36(1):67-70.

[11] 戰(zhàn)蔭偉,于芝枝,蔡 俊.基于Kinect的角度測(cè)量的姿勢(shì)識(shí)別[J].傳感器與微系統(tǒng),2014,33(7):129-132.

[12] Partridge D．Network generalization differences quantified[J].Neural Networks，1996，9(2)：263-271.

[13] Li J F,Xu Y H,Chen Y,et al.A real-time 3D human body tra-cking and modeling system[C]∥IEEE International Conference on Image Processing,2006:2809-2812.

[14] Bruderlin A，Calvert T W.Goal-directed,dynamic animation of human walking[J].Computer Graphics,1989,23(3):233-242.

[15] Irani R,Nasimi R.Evolving neural network using real coded genetic algorithm for permeability estimation of the reservoir[J].Expert Systems with Applications,2011,38 (8):9862-9866.

[16] Kim K,Ahn H.Simultaneous optimization of artificial neural networks for financial forecasting[J].Applied Intelligence,2012,36(4):887-898