劉開余，夏 斌

（上海海事大學(xué) 上海 201306）

姿勢(shì)識(shí)別是機(jī)器視覺領(lǐng)域的研究熱點(diǎn)，被廣泛應(yīng)用在人機(jī)交互、行為分析、多媒體應(yīng)用和運(yùn)動(dòng)科學(xué)等領(lǐng)域。

姿勢(shì)識(shí)別主要有兩種方法。第一種是利用可穿戴傳感器，比如戴在身體上的加速度計(jì)[1]或裝在衣服上的張力傳感器[2]?？纱┐鱾鞲衅骶哂芯_直接的特點(diǎn)，但會(huì)對(duì)肢體運(yùn)動(dòng)造成束縛，會(huì)給用戶帶來額外的負(fù)擔(dān)。第二種是利用視覺捕捉技術(shù)[3]，例如視頻或者靜態(tài)圖像，通過對(duì)視覺數(shù)據(jù)的處理來判斷用戶的動(dòng)作?；谝曈X捕捉技術(shù)在特征表達(dá)方面，起初是采用人體輪廓作為姿勢(shì)特征表達(dá)[4-5]。但是輪廓特征從整體角度描述姿勢(shì)，忽略了身體各部位的細(xì)節(jié)，不能精確地表示豐富多彩的人體姿勢(shì)。有研究[6-7]采用基于身體部位的姿勢(shì)表達(dá)，即把人體輪廓分成若干個(gè)身體部位，例如頸部、軀干和腿。由于這些姿勢(shì)特征都是從二維彩色圖像中抽取而來，需要處理人體定位、肢體被遮擋、不同光照條件等問題。

近年來，Kinect等深度傳感器不僅提供彩色圖像數(shù)據(jù)，而且提供了三維深度圖像信息。三維深度圖像記錄了物體與體感器之間的距離，使得獲取的信息更加豐富。利用Kinect的實(shí)時(shí)骨骼跟蹤技術(shù)和支持向量機(jī) （support vector machine，SVM）識(shí)別4種姿勢(shì)（站，躺，坐和彎腰）[8]。本文采用邏輯回歸算法對(duì)54種姿勢(shì)進(jìn)行識(shí)別研究，設(shè)計(jì)開發(fā)實(shí)時(shí)的人體姿勢(shì)識(shí)別系統(tǒng)。

1 方 法

1.1 特征提取

人體姿勢(shì)可定義為某一時(shí)刻身體關(guān)節(jié)點(diǎn)之間的相對(duì)位置。如果得到關(guān)節(jié)點(diǎn)的三維位置信息，那么關(guān)節(jié)點(diǎn)之間的相對(duì)位置就確定。但由于不同人的體型存在差異，原始坐標(biāo)數(shù)據(jù)過于粗糙，所以采用關(guān)節(jié)角度描述姿勢(shì)特征。微軟公司提供的Kinect體感器主要由紅外發(fā)射器、RGB攝像頭、紅外深度圖像攝像頭、傳動(dòng)馬達(dá)和麥克風(fēng)陣列組成，如圖1所示。紅外發(fā)射器和紅外深度圖像攝像頭組合起來獲取深度圖像。RGB攝像頭獲取彩色圖像。傳動(dòng)馬達(dá)用于調(diào)整Kinect設(shè)備的俯仰角。麥克風(fēng)陣列可以捕獲聲音和定位聲源。

圖1 Kinect傳感器Fig.1 Kinect sensor

骨骼跟蹤是在深度圖像的基礎(chǔ)上，利用機(jī)器學(xué)習(xí)方法逐步實(shí)現(xiàn)[9]。第一步是人體輪廓分割，判斷深度圖像上的每個(gè)像素是否屬于某一個(gè)用戶，過濾背景像素。第二步是人體部位識(shí)別，從人體輪廓中識(shí)別出不同部位，例如頭部、軀干、四肢等肢體。第三步是關(guān)節(jié)定位，從人體部位中定位20個(gè)關(guān)節(jié)點(diǎn)。

Kinect的骨骼跟蹤技術(shù)可以主動(dòng)跟蹤2個(gè)用戶，被動(dòng)跟蹤4個(gè)用戶。主動(dòng)跟蹤時(shí)，捕獲用戶身體20個(gè)關(guān)節(jié)點(diǎn)的三維位置信息，如圖2所示，關(guān)節(jié)點(diǎn)名稱詳見表1。被動(dòng)跟蹤時(shí)，只捕獲用戶的脊柱中心位置。骨骼坐標(biāo)系以紅外深度圖像攝像頭為原點(diǎn)，X軸指向體感器的左邊，Y軸指向體感器的上邊，Z軸指向視野中的用戶。

圖2 20個(gè)人體關(guān)節(jié)點(diǎn)Fig.2 Twenty body joints

通過觀察發(fā)現(xiàn)15個(gè)身體關(guān)節(jié)與姿勢(shì)的關(guān)聯(lián)度比較大，分別標(biāo)記為“A”到“O”。另外5個(gè)標(biāo)為黑色的關(guān)節(jié)由于和相鄰的關(guān)節(jié)點(diǎn)距離太近容易產(chǎn)生抖動(dòng)現(xiàn)象而未被使用。從15個(gè)關(guān)節(jié)點(diǎn)中提取可能與姿勢(shì)有關(guān)聯(lián)的25個(gè)關(guān)節(jié)角度特征，如表2所示。其中，角1-4和角16-25是兩個(gè)向量之間的夾角，角5-13是一個(gè)向量和Y軸的夾角，角14-15是一個(gè)向量和X 軸的夾角。 所有角度的范圍在（0°，180°）。

表1 20個(gè)關(guān)節(jié)點(diǎn)命名Tab.1 Names of twenty body joints

1.2 邏輯回歸

邏輯回歸是經(jīng)典的分類算法，應(yīng)用十分廣泛。邏輯回歸的原理是使用梯度下降方法進(jìn)行多次迭代使得代價(jià)函數(shù)逐漸減少。當(dāng)代價(jià)函數(shù)滿足要求時(shí)，記錄模型的參數(shù)。多個(gè)關(guān)節(jié)角度特征提取完成后，利用邏輯回歸分類算法對(duì)姿勢(shì)進(jìn)行分類。 假設(shè) N 維特征向量 x=[x0，x1，…，xN-1]T，參數(shù)向量 θ=[θ0，θ1，…，θN-1]T，函數(shù)模型為

其中g(shù)是內(nèi)核函數(shù)，x0=1。為了使模型輸出范圍在0到1之間，定義內(nèi)核函數(shù)

表2 25個(gè)關(guān)節(jié)角度Tab.2 Twenty-five joint-angles

當(dāng) z 取較大正值時(shí)，g（z）接近 1，當(dāng) z 取較小負(fù)值時(shí)，g（z）接近0。對(duì)于內(nèi)核函數(shù)有兩種理解：1）定義閾值threshold，當(dāng)模型輸出大于threshold時(shí)，判斷為1，否則判斷為0；2）假如模型的輸出為0.8，表示為1的可能性是0.8，為0的可能性是0.2。

在一對(duì)多的邏輯回歸分類中，每一類都要訓(xùn)練一個(gè)模型h（i）θ（x）。 在進(jìn)行預(yù)測(cè)時(shí)，選擇h（i）θ（x）值最大的一類作為分類結(jié)果。假設(shè)訓(xùn)練樣本為

其中 x（i）∈X?RN，y（i）∈Y={0，1}分別表示輸入向量和標(biāo)簽。

參數(shù)矩陣為

其中k表示姿勢(shì)的種類數(shù)。

對(duì)于每一種姿勢(shì)，訓(xùn)練一個(gè)一對(duì)多的分類器 θ（p）=[θ（p）0，θ（p）1，…，θ（p）N-1]T。如果進(jìn)來一個(gè)新的樣本x（i），計(jì)算概率向量p1×K=g（x（i）Tθ），則p1×k中值最大的元素下標(biāo)就是識(shí)別出來的姿勢(shì)編號(hào)。

2 實(shí) 驗(yàn)

在相關(guān)研究[5，10]提出的姿勢(shì)基礎(chǔ)上進(jìn)行擴(kuò)展，建立包含54種全身姿勢(shì)的數(shù)據(jù)庫(kù)。圖3以鏡像小圖標(biāo)的形式展示54種姿勢(shì)。

2.1 離線實(shí)驗(yàn)

招募了5名 （3名男性2名女性）被試進(jìn)行離線實(shí)驗(yàn)。Kinect設(shè)備水平放置，距離地面48 cm。傳動(dòng)馬達(dá)的角度是正10度。背景是一面白墻。被試面對(duì)著Kinect設(shè)備，全身處在視野范圍內(nèi)，距離其240 cm的位置，按順序做完54種姿勢(shì)。對(duì)于被試2～5，每種姿勢(shì)采集109個(gè)樣本，分別有5 886個(gè)樣本。對(duì)于被試1，每種姿勢(shì)采集218個(gè)樣本，共11 772個(gè)樣本，詳見表3。被試1的姿勢(shì)數(shù)據(jù)的50%用于訓(xùn)練，另外50%用于測(cè)試。被試2～5的姿勢(shì)數(shù)據(jù)全部用于測(cè)試。

為了得到準(zhǔn)確率最高的關(guān)節(jié)角度特征數(shù)量，從5個(gè)到25個(gè)逐步增加關(guān)節(jié)角度特征數(shù)量。當(dāng)?shù)玫阶顑?yōu)的關(guān)節(jié)角度特征數(shù)量時(shí)，從2類到54類逐步增加分析邏輯回歸分類方法的準(zhǔn)確率。

圖3 姿勢(shì)數(shù)據(jù)庫(kù)Fig.3 Posture dataset

表3 每位被試的樣本數(shù)量Tab.3 Number of examples for each subject

2.2 在線實(shí)驗(yàn)

利用離線實(shí)驗(yàn)的最優(yōu)關(guān)節(jié)角度特征數(shù)量和邏輯回歸分類算法建立實(shí)時(shí)的姿勢(shì)識(shí)別系統(tǒng)。Kinect體感器以30幀每秒的速度捕獲20個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)數(shù)據(jù)。在實(shí)時(shí)的姿勢(shì)識(shí)別中，連續(xù)采集60幀坐標(biāo)數(shù)據(jù)，然后從每一幀中提取21個(gè)關(guān)節(jié)角度，并送入分類模型對(duì)每一幀進(jìn)行識(shí)別。統(tǒng)計(jì)60幀中每種姿勢(shì)出現(xiàn)的次數(shù)，出現(xiàn)次數(shù)最多的姿勢(shì)認(rèn)為是識(shí)別的姿勢(shì)。實(shí)時(shí)姿勢(shì)識(shí)別系統(tǒng)界面如圖4所示。

圖4 實(shí)時(shí)人體姿勢(shì)識(shí)別系統(tǒng)界面Fig.4 Interface of real-time human posture recognition system

界面中間是實(shí)時(shí)的彩色視頻畫面，當(dāng)被試把手移動(dòng)到開始按鈕上時(shí)，在界面左側(cè)顯示標(biāo)準(zhǔn)姿勢(shì)，引導(dǎo)被試在3秒內(nèi)模仿標(biāo)準(zhǔn)姿勢(shì)并保持2秒鐘。之后界面右側(cè)顯示姿勢(shì)識(shí)別的結(jié)果。如果被試的姿勢(shì)和標(biāo)準(zhǔn)姿勢(shì)相近，則提示“Good”，否則提示“Error”。

選擇被試 1，再招募3名（3名女性）被試進(jìn)行在線實(shí)驗(yàn)。Kinect設(shè)備水平放置，距離地面48 cm。傳動(dòng)馬達(dá)的角度是正10度。背景是一面白墻。被試面對(duì)著Kinect設(shè)備，全身處在視野范圍內(nèi)，距離其240 cm的位置，按順序做完54種姿勢(shì)。

3 結(jié)果

關(guān)節(jié)角度特征數(shù)量從5個(gè)到25個(gè)逐漸增加分析姿勢(shì)識(shí)別準(zhǔn)確率，結(jié)果如圖5所示。

圖5 不同的特征數(shù)量和準(zhǔn)確率Fig.5 Different number of features and accuracy

隨著關(guān)節(jié)角度特征數(shù)量的增加，準(zhǔn)確率總體呈上升趨勢(shì)。當(dāng)關(guān)節(jié)角度特征數(shù)量為21個(gè)時(shí)準(zhǔn)確率最高，為97.32%。當(dāng)關(guān)節(jié)角度特征數(shù)量大于21個(gè)以后，準(zhǔn)確率趨向平穩(wěn)。

姿勢(shì)種類數(shù)從2種到54種逐漸增加分析姿勢(shì)識(shí)別準(zhǔn)確率，結(jié)果如圖6所示。

圖6 不同的姿勢(shì)種類數(shù)和準(zhǔn)確Fig.6 Different categories of postures and accuracy

隨著姿勢(shì)種類數(shù)的增加，姿勢(shì)識(shí)別準(zhǔn)確率總體呈下降趨勢(shì)。當(dāng)姿勢(shì)種類數(shù)為2、3、18和22時(shí)，準(zhǔn)確率達(dá)到了100%。姿勢(shì)種類數(shù)不超過25種時(shí)，準(zhǔn)確率維持一個(gè)較高的水平，超出25種時(shí)，準(zhǔn)確率開始下滑。

在線實(shí)驗(yàn)中，被試1的準(zhǔn)確率高達(dá)96.30%。三位新招募的被試準(zhǔn)確率都在85%以上，如表4所示。

表4 在線姿勢(shì)識(shí)別準(zhǔn)確率Tab.4 Accuracy of real-time posture recognition

4 討 論

利用Kinect的實(shí)時(shí)骨骼跟蹤技術(shù)和邏輯回歸分類算法實(shí)現(xiàn)了實(shí)時(shí)的人體姿勢(shì)識(shí)別。Kinect的實(shí)時(shí)骨骼跟蹤技術(shù)可以獲取身體關(guān)節(jié)點(diǎn)的三維坐標(biāo)數(shù)據(jù)。由于不同人的身高和體重不同，原始三維坐標(biāo)數(shù)據(jù)存在維數(shù)高、泛化效果差等問題。關(guān)節(jié)角度特征可以較好地描述人體姿勢(shì)。

離線實(shí)驗(yàn)中，利用Kinect設(shè)備捕獲關(guān)節(jié)點(diǎn)三維坐標(biāo)數(shù)據(jù)，抽取25個(gè)與姿勢(shì)有關(guān)聯(lián)的關(guān)節(jié)角度，采用邏輯回歸算法訓(xùn)練分類模型。關(guān)節(jié)角度特征數(shù)量從5個(gè)到25個(gè)逐漸增加，分析相應(yīng)的準(zhǔn)確率，得出當(dāng)關(guān)節(jié)角度特征數(shù)量為21個(gè)時(shí)準(zhǔn)確率最高。姿勢(shì)種數(shù)從2種到54種逐漸增加，得到平均準(zhǔn)確率為97.88%。邏輯回歸可以較好地識(shí)別多種人體姿勢(shì)。

結(jié)合骨骼跟蹤和邏輯回歸的姿勢(shì)識(shí)別方法在實(shí)時(shí)性、精確度等方面上都有良好的表現(xiàn)。骨骼跟蹤的速率是30幀每秒，即每秒鐘可以對(duì)姿勢(shì)進(jìn)行30次識(shí)別。當(dāng)用戶做出一個(gè)姿勢(shì)，系統(tǒng)能夠快速地識(shí)別出來并做出反應(yīng)，達(dá)到友好交互的目的。在線實(shí)驗(yàn)中，利用最優(yōu)的關(guān)節(jié)角度特征和邏輯回歸算法設(shè)計(jì)開發(fā)實(shí)時(shí)的姿勢(shì)識(shí)別系統(tǒng)。三位新的被試從未體驗(yàn)過54種姿勢(shì)，她們模仿界面左邊的標(biāo)準(zhǔn)姿勢(shì)做完54種姿勢(shì)。她們做了很多模棱兩可的姿勢(shì)，平均準(zhǔn)確率達(dá)到88.89%（見表4）。如果三位被試不斷體驗(yàn)姿勢(shì)識(shí)別系統(tǒng)、熟悉54種姿勢(shì)，則她們所做的姿勢(shì)可以被正確地識(shí)別。姿勢(shì)的種類可以繼續(xù)擴(kuò)展，對(duì)于一種新的姿勢(shì)，給定一定量的訓(xùn)練樣本，就可以訓(xùn)練出分類模型。

5 結(jié)束語(yǔ)

本文利用Kinect的實(shí)時(shí)骨骼跟蹤技術(shù)獲取身體關(guān)節(jié)點(diǎn)的三維位置信息，建立包含54種人體全身姿勢(shì)的數(shù)據(jù)庫(kù)。提取25個(gè)與姿勢(shì)有關(guān)聯(lián)的關(guān)節(jié)角度作為姿勢(shì)特征，結(jié)合邏輯回歸分類算法進(jìn)行離線實(shí)驗(yàn)，得出當(dāng)關(guān)節(jié)角度特征數(shù)量為21個(gè)時(shí)姿勢(shì)識(shí)別的準(zhǔn)確率最高。設(shè)計(jì)開發(fā)了實(shí)時(shí)的姿勢(shì)識(shí)別系統(tǒng)并進(jìn)行在線實(shí)驗(yàn)。實(shí)驗(yàn)證明，結(jié)合Kinect的骨骼跟蹤和邏輯回歸算法可以準(zhǔn)確實(shí)時(shí)地識(shí)別人體姿勢(shì)。

[1]Allen F R，Ambikairajah E，Lovell N H，et al.Classification ofaknownsequenceofmotionsandposturesfromaccelerometry data using adapted Gaussian mixture models[J].Physiological Measurement，2006，27（10）:935.

[2]Mattmann C，Clemens F，Tr?ster G.Sensor for measuring strain in textile[J].Sensors，2008，8（6）:3719-3732.

[3]Weinland D，Ronfard R，Boyer E.A survey of vision-based methods for action representation， segmentation and recognition[J].Computer Vision and Image Understanding，2011，115（2）:224-241.

[4]Boulay B，Brémond F，Thonnat M.Applying 3d human model in a posture recognition system [J].Pattern Recognition Letters，2006，27（15）:1788-1796.

[5]Cohen I，Li H.Inference of human postures by classification of 3D human body shape[C]//Analysis and Modeling of Faces and Gestures， 2003.AMFG 2003.IEEE International Workshop on.IEEE，2003:74-81.

[6]Mo H C，Leou J J，Lin C S.Human Behavior Analysis Using Multiple 2D Features and Multicategory Support Vector Machine[C]//MVA，2009:46-49.

[7]Souto H，Raupp Musse S.Automatic Detection of 2D Human Postures Based on Single Images[C]//Graphics，Patterns and Images （Sibgrapi）， 2011 24th SIBGRAPI Conference on.IEEE，2011:48-55.

[8]Le T L，Nguyen M Q，Nguyen T T M.Human posture recognition using human skeleton provided by Kinect[C]//Computing， Management and Telecommunications（ComManTel）， 2013 International Conference on.IEEE，2013:340-345.

[9]Shotton J，Sharp T，Kipman A，et al.Real-time human pose recognition in parts from single depth images[J].Communications of the ACM，2013，56（1）:116-124.

[10]Negin F，?zdemir F，Akgül C B， et al.A decision forest based feature selection framework for action recognition from rgb-depth cameras [C]//Image Analysis and Recognition.Springer Berlin Heidelberg，2013:648-657.