網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20150603.0901.001.html

改進(jìn)高斯核函數(shù)的人體姿態(tài)分析與識別

林海波，王浩，張毅

(重慶郵電大學(xué) 智能系統(tǒng)及機(jī)器人研究所，重慶 400065)

摘要：為了提高人體動作姿態(tài)的識別率，利用Kinect平臺構(gòu)建人體骨骼模型，提出一種基于關(guān)節(jié)角度的人體姿態(tài)表示方法。同時(shí)針對傳統(tǒng)的高斯核函數(shù)中采用歐氏距離計(jì)算方法難以完全反映人體關(guān)節(jié)運(yùn)動數(shù)據(jù)樣本點(diǎn)與測試點(diǎn)之間位置關(guān)系的問題，提出了改進(jìn)的高斯核函數(shù)多類支持向量機(jī)(MSVM)人體動作姿態(tài)識別方法。在高斯徑向基核函數(shù)中使用測地線距離代替歐氏距離，建立了基于測地線距離的姿態(tài)核函數(shù)，采用二叉樹方法構(gòu)建多類支持向量機(jī)完成12種上肢姿態(tài)的分類。實(shí)驗(yàn)結(jié)果表明，該算法取得了較好的識別效果，能更加有效識別人體姿態(tài)。

關(guān)鍵詞：人體動作姿態(tài)；識別；高斯核函數(shù)；Kinect；歐氏距離；測地線距離；支持向量機(jī)

DOI:10.3969/j.issn.1673-4785.201405049

中圖分類號：TP391.9 文獻(xiàn)標(biāo)志碼：A

收稿日期：2014-05-22. 網(wǎng)絡(luò)出版日期：2015-06-03.

基金項(xiàng)目：科技部國際合作項(xiàng)目(2010DFA12160)；重慶市工業(yè)振興專項(xiàng)資金資助項(xiàng)目(渝財(cái)金[2013]442號).

作者簡介：

中文引用格式：林海波，王浩，張毅. 改進(jìn)高斯核函數(shù)的人體姿態(tài)分析與識別[J]. 智能系統(tǒng)學(xué)報(bào), 2015, 10(3): 436-441.

英文引用格式：LIN Haibo, WANG Hao, ZHANG Yi. Human postures recognition based on the improved Gauss kernel function[J]. CAAI Transactions on Intelligent Systems, 2015, 10(3): 436-441.

Human postures recognition based on the

improved Gauss kernel function

LIN Haibo, WANG Hao, ZHANG Yi

(Research Center of Intelligent System and Robot, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

Abstract：In this paper, a method based on the joint angles of human postures is proposed in order to improve the human posture recognition rate through building a human skeleton model on the Kinect platform. For the traditional method of human postures recognition, Euclidean distance is used in Gaussian kernel function, but the positional relationship of sample point and test point of human body joint can not be reflected completely. So the method of improved Gaussian kernel function and multi-class support vector machines (MSVM) is proposed. Using the geodesic distance instead of the Euclidean distance in the Gaussian radial basis kernel function, a posture kernel function based on the geodesic distance is established. Using the binary tree method, a multi-class support vector machine is built to complete classification of 12 kinds of upper limb postures. Experimental results showed that the improved algorithm can identify body postures more effectively than before, achieving a good recognition effect.

Keywords：human postures; recognition; Gauss kernel function; Kinect; Euclidean distance; geodesic distance; support vector machines (SVM)

通信作者：王浩. E-mail: haoziwang1990@126.com.

基于視覺的人體動作姿態(tài)估計(jì)和識別在高級人機(jī)交互、智能視頻監(jiān)控、三維動畫合成、電影特技制作、體育運(yùn)動分析、醫(yī)學(xué)理療等多個(gè)方面擁有十分廣闊的應(yīng)用前景，正逐漸受到越來越多學(xué)者們的關(guān)注。人體動作姿態(tài)分析主要分為2個(gè)部分：人體姿態(tài)描述和人體姿態(tài)識別。人體動作姿態(tài)識別算法是否有效通常取決于使用的動作姿態(tài)表示特征量,因而針對特定問題提出行之有效的動作姿態(tài)表示方法成為動作姿態(tài)識別研究的重要內(nèi)容之一。D. Weinland等[1]提出用MHV(motion history volumes)模板描述動作姿態(tài)；Wang在2006年提出用輪廓的平均運(yùn)動形狀和運(yùn)動前景的平均運(yùn)動能2個(gè)模板，用最近鄰分類器描述動作姿態(tài)[2]。傳統(tǒng)的基于視覺的人體動作姿態(tài)檢測主要針對二維特征，隨著運(yùn)動捕獲技術(shù)的成熟和推廣，高效、快捷獲取大量三維的運(yùn)動數(shù)據(jù)集已經(jīng)成為現(xiàn)實(shí)。R. Girshick等[3]利用Kinect深度圖像分析人體姿態(tài)變化。S. Sempena等[4]在2011年利用從Kinect深度圖像中得到的人體骨骼模型，采用關(guān)節(jié)角描述人體動作姿態(tài)。結(jié)果表明，相對于二維特征，基于Kinect傳感器的三維運(yùn)動捕獲數(shù)據(jù)較好地保持了運(yùn)動細(xì)節(jié)，并真實(shí)地記錄了運(yùn)動軌跡,數(shù)據(jù)精度高，并且相比于人體深度數(shù)據(jù)，采用骨骼數(shù)據(jù)能夠更加緊湊和鮮明地反應(yīng)人體姿態(tài)。對于人體動作姿態(tài)識別，常用的方法有動態(tài)時(shí)間規(guī)整(dynamic time warping, DTW)、動態(tài)貝葉斯(dynamic Bayesian, DBN)、隱馬爾科夫模型(hidden Markov models, HMM)、神經(jīng)網(wǎng)絡(luò)等。如A. Veeraraghavan等[5]使用DTW方法匹配動作序列，Luo[6]采用動態(tài)貝葉斯網(wǎng)絡(luò)進(jìn)行人體動作姿態(tài)識別研究，并與HMM方法進(jìn)行了比較，F(xiàn). Buccolieri[7]通過徑向基神經(jīng)網(wǎng)絡(luò)(radial-basis function, RBF)分析人體輪廓特征來識別姿態(tài)。

相比上述方法，基于支持向量機(jī)的學(xué)習(xí)算法利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化代替?zhèn)鹘y(tǒng)模式識別中的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，對解決高維數(shù)、非線性和小樣本的問題很有優(yōu)勢。鑒于此，本文提出了一種多類支持向量機(jī)人體動作姿態(tài)識別方法。該方法運(yùn)用Kinect骨骼追蹤技術(shù)提取人體骨骼模型，并針對人體關(guān)節(jié)的特點(diǎn)在關(guān)節(jié)點(diǎn)處建立球坐標(biāo)系，利用關(guān)節(jié)角對人體動作姿態(tài)進(jìn)行描述。同時(shí)，利用高斯核模型設(shè)計(jì)了基于測地線距離的姿態(tài)核函數(shù)，采用二叉樹設(shè)計(jì)多類支持向量機(jī)算法對人體姿態(tài)進(jìn)行識別。

1人體姿態(tài)表示

1.1Kinect簡介

Kinect傳感器是微軟公司開發(fā)的一種3D體感攝像機(jī)，它由1個(gè)紅外投影儀、2個(gè)攝像頭組成，如圖1(a)所示。Kinect工作原理的核心是通過類似結(jié)構(gòu)光法的光編碼(light coding)技術(shù)的方式來獲取深度圖像。紅外發(fā)射器連續(xù)地向空間發(fā)射光，并給空間編碼，通過普通CMOS合成黑白深度圖像，其中純黑代表無窮遠(yuǎn)，純白代表無窮近。由于不需要特制的感光芯片，極大地降低了成本，越來越多的學(xué)者采用它進(jìn)行深度圖像的采集。本文利用分割技術(shù)將人體從深度圖像背景環(huán)境中區(qū)分出來，并采用隨機(jī)森林[8]等分類算法將人體各個(gè)部位進(jìn)行區(qū)分定位，得出骨骼關(guān)節(jié)點(diǎn)的坐標(biāo)信息。每一幀的骨骼圖像中都有被跟蹤人的姿勢，包括20個(gè)關(guān)節(jié)點(diǎn)，并以30幀/s的速度生成骨骼圖像流，實(shí)時(shí)地重現(xiàn)人體的運(yùn)動狀態(tài)，骨骼提取流程如圖1(b)所示。

圖1　當(dāng)Kinect外觀和工作機(jī)理 Fig. 1　The appearance of the Kinect and the mechanism

1.2人體姿態(tài)建模和行為描述

圖2　人體骨架框圖 Fig. 2　Human skeleton diagram

由于人體的動作姿態(tài)描述可以用四肢部分和頭部相對于軀干部分的位置變化來表示。因此，將構(gòu)成骨架框圖的16個(gè)關(guān)節(jié)點(diǎn)分為3個(gè)部分：第1部分是構(gòu)成人體軀干的關(guān)節(jié)點(diǎn)，包括P1,P2,…,P7；第2部分是所有與人體軀干相鄰的關(guān)節(jié)點(diǎn)，包括P8,P9,…,P12；第3部分是與第2部分關(guān)節(jié)點(diǎn)相鄰的關(guān)節(jié)點(diǎn)，包括P13,P14,P15,P16。這樣，通過第2、3部分的9個(gè)關(guān)節(jié)點(diǎn)相對于第1部分人體軀干的各個(gè)關(guān)節(jié)角度變化就可以描述人體動作姿態(tài)。

運(yùn)用PCA主成分析法將第1部分的人體軀干7個(gè)關(guān)節(jié)點(diǎn)用1個(gè)三維向量表示，并將三維向量進(jìn)行施密特正交化處理，用{u,r,t}表示(如圖3)，其中u表示人體的上下運(yùn)動，r表示人體的前后運(yùn)動，t表示人體的左右運(yùn)動，顯然t=u×r。人體的關(guān)節(jié)是球形關(guān)節(jié)，其余2部分的運(yùn)動以此為基準(zhǔn)，分別在與上級部分連接的關(guān)節(jié)點(diǎn)處建立一個(gè)球面坐標(biāo)系。以描述左手臂的運(yùn)動為例，第2部分從左肩到左肘的向量v，第3部分從左肘到左腕的向量w。第2部分的坐標(biāo)系以{u,r,t}為基準(zhǔn)，原點(diǎn)在P3；第3部分的坐標(biāo)系是將{u,r,t}以軸心b=v×r旋轉(zhuǎn)α=cos-1(v·r)角度得到，記作{u′,r′,t′}，原點(diǎn)在P10。給定一個(gè)體，由于人體骨骼長度不變性，根據(jù)球面坐標(biāo)系的定義，關(guān)節(jié)點(diǎn)的運(yùn)動可用仰角θ和方位角φ加以約束。其中θ為v與平面tP3r的夾角以及w在平面t′P10r′的夾角，即仰角；φ為t軸和v在平面tP3r上投影的夾角以及t′軸與w在平面t′P10r′上投影的夾角，即方位角。所以用(θ1,φ1)，(θ2,φ2)可分別表示P10、P14點(diǎn)的運(yùn)動，其他關(guān)節(jié)點(diǎn)計(jì)算類似。綜上，第2、3部分共有9個(gè)關(guān)節(jié)點(diǎn)，可用一個(gè)18維的特征向量：

來表示人體動作姿態(tài)每一幀姿勢，其中每一對(θi,φi)都表示其對應(yīng)關(guān)節(jié)點(diǎn)在相應(yīng)坐標(biāo)系下的位置。如圖3所示。

(a)人體第2部分的表示

(b)人體第3部分的表示 圖3　人體行為描述 Fig. 3　Description of human behavior

2支持向量機(jī)姿態(tài)識別算法

支持向量機(jī)(support vector machine, SVM)方法是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的一種有監(jiān)督的分類和回歸方法。其核心思想是在一個(gè)n維空間中構(gòu)造一個(gè)超平面用來區(qū)分特征空間中的類模式，且模式之間的距離最大。為計(jì)算2類模式的距離，在分類面的2側(cè)構(gòu)建2個(gè)平行于分類面的超平面，在這2個(gè)超平面上的數(shù)據(jù)稱為支持向量。

(1)

(2)

式(1)約束于式(2)。其中，2/‖w‖為分類間隔，b為常數(shù)，C為懲罰系數(shù)，ξi是松弛因子。

通常求解式(1)時(shí)采取其拉格朗日對偶問題的方法：

(3)

(4)

2.1改進(jìn)高斯核模型的姿態(tài)核函數(shù)選取

采用核函數(shù)的作用是簡化映射空間中的內(nèi)積運(yùn)算，將非線性的訓(xùn)練數(shù)據(jù)隱式映射到高維空間，而不增加可調(diào)參數(shù)的個(gè)數(shù)。在常用的核函數(shù)中，高斯函數(shù)因其優(yōu)越性能引起人們的關(guān)注。高斯函數(shù)的表達(dá)式為

(5)

式中：υi,υ∈Rn是樣本點(diǎn)，σ>0是核半徑，‖υi-υ‖表示空間中任一點(diǎn)υi到某一中心υ之間的歐氏距離[9]。然而本文人體姿態(tài)描述的是多個(gè)關(guān)節(jié)在各自球面坐標(biāo)下的關(guān)節(jié)角，樣本點(diǎn)和測試點(diǎn)之間的歐氏距離并不能完全反應(yīng)它們之間的位置關(guān)系。針對人體關(guān)節(jié)運(yùn)動的特點(diǎn)，采用球面上的測地線距離能夠更加準(zhǔn)確地反映各個(gè)關(guān)節(jié)運(yùn)動。因此，基于高斯核模型，在高斯徑向基核函數(shù)中使用測地線距離代替歐氏距離構(gòu)造姿態(tài)核函數(shù)。

假設(shè)給出2個(gè)球面上的點(diǎn)υi=(θi,φi)，υj=(θj,φj)，則這2點(diǎn)間的測地線距離δ(υi,υj)為

(6)

(7)

最后參照高斯核模型，得到姿態(tài)核函數(shù)：

(8)

(9)

2.2多類支持向量機(jī)的構(gòu)建

SVM最初僅用于實(shí)現(xiàn)2類問題的分類，要實(shí)現(xiàn)12種人體姿態(tài)的多類分類，需要對標(biāo)準(zhǔn)SVM進(jìn)行擴(kuò)展，將多個(gè)標(biāo)準(zhǔn)SVM以某種方式組織在一起，構(gòu)建多類支持向量機(jī)。目前構(gòu)建MSVM的方法主要有一對一、一對多方法、導(dǎo)向無環(huán)圖和二叉樹[12]。鑒于二叉樹設(shè)計(jì)方法的諸多優(yōu)點(diǎn)，采用決策二叉樹的多類分類器設(shè)計(jì)方法，如圖4所示。

圖4　二叉樹的多類分類器框架 Fig. 4　The multi-class classifier framework of binary tree

在二叉樹結(jié)構(gòu)中，根據(jù)決策半徑構(gòu)造二叉樹各內(nèi)節(jié)點(diǎn)的最優(yōu)超平面，即從根節(jié)點(diǎn)開始，沿樹的路徑依次得到的類別標(biāo)簽為1，2，…，k。二叉樹各內(nèi)節(jié)點(diǎn)的分類算法流程如下：1)以第1類樣本為正樣本集，其他類樣本為負(fù)樣本集，構(gòu)造二值分類器，將1類從樣本集中剔除；2)以第2類樣本為正樣本集，其他類樣本為負(fù)樣本集，構(gòu)造第2個(gè)內(nèi)節(jié)點(diǎn)處的二值分類器，將2類從樣本集中剔除；3)依次下去，可以得到基于二叉樹的多類支持向量機(jī)分類器。

3實(shí)驗(yàn)結(jié)果與分析

整個(gè)實(shí)驗(yàn)的環(huán)境：Kinect傳感器彩色圖像分辨率為640×480、深度圖像分辨率為320×240；軟件開發(fā)環(huán)境：Window7+Visual Studio 2010、Kinect SDK-v1.7；開發(fā)語言：C#。本文提出的人體姿態(tài)識別算法可分為4個(gè)部分：人體深度圖像分割、骨骼特征提取、姿態(tài)模型和姿態(tài)識別，如圖5所示。

圖5　姿態(tài)識別算法框架 Fig. 5　Human posture recognition algorithm framework

本文主要是研究人體上肢部分的運(yùn)動姿態(tài)，為驗(yàn)證算法的可行性及正確率，選取Kinect Gesture Data Set(the MSR Action3D dataset)數(shù)據(jù)集中人體上肢部分的12種姿態(tài)作為訓(xùn)練姿態(tài)進(jìn)行識別，各個(gè)姿勢如圖6所示。

圖6　人體12種上肢姿態(tài) Fig. 6　12 kinds of human upper limb postures

表 1　改進(jìn)核函數(shù)與傳統(tǒng)核函數(shù)的實(shí)驗(yàn)結(jié)果對比

在實(shí)驗(yàn)中發(fā)現(xiàn)，當(dāng)某些姿態(tài)比較相似時(shí)，例如k7、k9和k12，這些姿態(tài)之間有一定的誤判，但誤判比例較小，整體的分類效果還是比較好的。從表1中可以得出，提出的改進(jìn)高斯核函數(shù)多類支持向量機(jī)算法的平均識別率為96.1%，比傳統(tǒng)的基于歐氏距離的高斯核函數(shù)多類支持向量機(jī)算法提高了3.9%。因此，所采用的分類器在監(jiān)督學(xué)習(xí)機(jī)制下是有效的分類器模型，驗(yàn)證了系統(tǒng)所提取的特征能有效表示特征姿態(tài)。同時(shí)，為了驗(yàn)證本算法對姿態(tài)的分類和識別具有優(yōu)越性，利用RBF神經(jīng)網(wǎng)絡(luò)對采集的k7、k9和k12 3種誤判較高的姿態(tài)進(jìn)行分類，同樣讓10位同學(xué)對每個(gè)姿勢進(jìn)行50次實(shí)驗(yàn)，將實(shí)驗(yàn)結(jié)果與本文方法進(jìn)行比較，見表2所示。由表2對比結(jié)果可以看出，對于k7、k9和k12這3種姿態(tài)的識別，本文方法用時(shí)略快于RBF神經(jīng)網(wǎng)絡(luò)，且識別率更高，具有較好的小樣本分類性能。

表 2　本文算法與RBF神經(jīng)網(wǎng)絡(luò)方法性能對比

4結(jié)束語

在充分研究常用行為表示方法的基礎(chǔ)上，針對人體骨骼關(guān)節(jié)的特點(diǎn)提出了基于球坐標(biāo)系下人體關(guān)節(jié)角的行為表示特征量。并針對歐氏距離計(jì)算方法難以完全反映人體關(guān)節(jié)運(yùn)動數(shù)據(jù)樣本點(diǎn)與測試點(diǎn)之間位置關(guān)系的問題，采用測地線距離代替歐氏距離的對高斯核函數(shù)進(jìn)行改進(jìn)，構(gòu)建基于測地線距離的姿態(tài)核函數(shù)。最后，創(chuàng)建了基于二叉樹的多類支持向量機(jī)對人體12種常見上肢行為姿態(tài)進(jìn)行識別，并通過和其他姿態(tài)識別方法對比，驗(yàn)證了該人體姿態(tài)識別方法的優(yōu)越性，具有較高的識別率。然而，本文的人體姿態(tài)識別只是針對某種特定姿勢，實(shí)際生活中，人體的姿勢往往是連續(xù)的。未來的工作將是把特定姿勢作為人體動作的關(guān)鍵姿勢，并按照一定的順序編排成運(yùn)動序列，完成連續(xù)姿態(tài)序列的行為識別。

參考文獻(xiàn):

[1]WEINLAND D, RONFARD R, BOYER E. Free viewpoint action recognition using motion history volumes[J]. Computer Vision and Image Understanding, 2006, 104(2/3): 249-257.

[2]WANG Liang, SUTER D. Informative shape representations for human action recognition[C]//18th International Conference on Pattern Recognition. Hong Kong, China, 2006, 2: 1266-1269.

[3]GIRSHICK R, SHOTTON J, KOHLI P, et al. Efficient regression of general-activity human poses from depth images[C]//2011 IEEE International Conference on Computer Vision (ICCV). Barcelona, Spain, 2011: 415-422.

[4]SEMPENA S, MAULIDEVI N U, ARYAN P R. Human action recognition using dynamic time warping[C]//2011 International Conference on Electrical Engineering and Informatics (ICEEI). Bandung, Indonesia, 2011: 1-5.

[5]VEERARAGHAVAN A, ROY-CHOWDHURY A K, CHELLAPPA R. Matching shape sequences in video with applications in human movement analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(12): 1896-1909.

[6]LUO Ying, WU T D, HWANG J N. Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks[J]. Computer Vision and Image Understanding, 2003, 92(2/3): 196-216.

[7]BUCCOLIERI F, DISTANTE C, LEONE A. Human posture recognition using active contours and radial basis function neural network[C]//IEEE Conference on Advanced Video and Signal Based Surveillance. Como, Italy, 2005: 213-218.

[8]BACKES M, HRITCU C, MAFFEI M. Type-checking zero-knowledge[C]//Proceedings of the 15th ACM Conference on Computer and Communications Security. New York, USA: ACM, 2008: 357-370.

[9]楊慶, 陳桂明, 劉鯖潔, 等. 基于測地線距離的核主元分析在齒輪泵故障識別中應(yīng)用[J]. 上海交通大學(xué)學(xué)報(bào), 2011, 45(11): 1632-1636.

YANG Qing, CHEN Guiming, LIU Qingjie, et al. Application of kernel principal component analysis based on geodesic distance in pattern recognition of gear pump[J]. Journal of Shanghai Jiao Tong University, 2011, 45(11): 1632-1636.

[10]YUAN Lu, SUN Jian, QUAN Long, et al. Image deblurring with blurred/noisy image pairs[J]. ACM Transactions on Graphics (TOG), 2007, 26(3): 1.

[11]CRISTIANINI N, SHAWE-TAYLOR J. 支持向量機(jī)導(dǎo)論[M]. 李國正, 王猛, 曾華軍, 譯. 北京: 電子工業(yè)出版社, 2004.

[12]DU Chengjin, SUN Dawen. Multi-classification of pizza using computer vision and support vector machine[J]. Journal of Food Engineering, 2008, 86(2): 234-242.

林海波，男，1965年生，副教授，主要研究方向?yàn)闄C(jī)器人技術(shù)及應(yīng)用、自動控制技術(shù)、模式識別。主持完成省部級及其他科研項(xiàng)目4項(xiàng)，申請國家發(fā)明專利2項(xiàng)，重慶市科技創(chuàng)新創(chuàng)業(yè)人才支持計(jì)劃人選，發(fā)表學(xué)術(shù)論文10余篇。

王浩，男，1990年生，碩士研究生，主要研究方向?yàn)橹悄芟到y(tǒng)及機(jī)器人、模式識別。

張毅，男，1966年生，教授，博士生導(dǎo)師，博士，中國計(jì)量測試學(xué)會高級會員，重慶市人工智能學(xué)會理事，重慶市“322”人才工程第二層次人才，英國Essex大學(xué)機(jī)器人研究中心訪問學(xué)者。主要研究方向?yàn)闄C(jī)器人技術(shù)及應(yīng)用、生物信號處理及應(yīng)用、模式識別。主持完成省部級及其他科研項(xiàng)目10余項(xiàng)，申請國家發(fā)明專利4項(xiàng)。發(fā)表學(xué)術(shù)論文60余篇，其中被SCI、EI檢索30余篇，出版專著1部、教材2部。