呂　潔，劉亞洲，韓慶龍，杜　晶

（1.海軍航空工程學(xué)院基礎(chǔ)部，山東煙臺264001；2.南京理工大學(xué)計算機科學(xué)與工程學(xué)院，南京210094）

基于深度圖像的人體關(guān)節(jié)點定位方法

呂潔1，劉亞洲2，韓慶龍1，杜晶1

（1.海軍航空工程學(xué)院基礎(chǔ)部，山東煙臺264001；2.南京理工大學(xué)計算機科學(xué)與工程學(xué)院，南京210094）

提出了一個基于深度圖像的人體關(guān)節(jié)點定位的方法：首先將圖像中的人體區(qū)域分割出來，然后利用隨機森林分類器對逐個像素點進行分類，得到身體的各個部件并尋找關(guān)節(jié)點的位置。通過實驗發(fā)現(xiàn)，本方法準(zhǔn)確性較高并具有一定實時性。分類的準(zhǔn)確率為68%，相較Kinect技術(shù)（40%）達到了較高的分類水平。預(yù)測人體關(guān)節(jié)點位置的平均時間為每幀150ms，符合實用性要求。

深度圖像；隨機森林；深度梯度特征；關(guān)節(jié)位置定位

人體關(guān)節(jié)點定位是計算機視覺領(lǐng)域的熱點研究問題，其通過實時地估計預(yù)測人體的運動姿態(tài)來達到監(jiān)控、娛樂等目的。隨著計算機軟硬件技術(shù)的發(fā)展，在游戲、監(jiān)控等領(lǐng)域都得到了更為廣泛的應(yīng)用。但基于標(biāo)記或者彩色圖像的傳統(tǒng)方法往往價格昂貴、效果欠佳。

2010年，微軟利用一種新型圖像格式——深度圖像對人體進行關(guān)節(jié)點定位并得到了良好的預(yù)測效果。在深度圖像中，每一個像素的值不再表示顏色信息，而是表示場景中的這一點與攝像機像平面之間的距離，見圖1。由于距離信息不受光照等影響，因而相對于彩色圖像，深度圖像更加有利于建立人體模型并能夠得到更為準(zhǔn)確的關(guān)節(jié)定位結(jié)果。

圖1　彩色圖像和深度圖像Fig.1 Colorful images and depth images

本文提出一個良好的基于深度圖像的人體關(guān)節(jié)點定位方法，可以對輸入的人體深度圖像進行高質(zhì)量的關(guān)節(jié)定位。本文首先簡述了人體關(guān)節(jié)點定位技術(shù)的發(fā)展；然后，比較了典型的深度圖像的體姿態(tài)分析算法；研究對深度圖像進行前景分割：利用RANSAC算法剔除天花板和地板，再根據(jù)目標(biāo)對象表面的深度信息將人物區(qū)域從場景圖像中提取出來；運用隨機森林分類器對人體區(qū)域中的各個像素點進行逐點分類，采用的是帶偏移角度信息的深度梯度特征；利用Mean-shift定位各關(guān)節(jié)點的位置。在此基礎(chǔ)上，利用運動約束的先驗知識優(yōu)化關(guān)節(jié)點的預(yù)測結(jié)果；進行定量和定性的實驗，對結(jié)果做出分析，得出相關(guān)結(jié)論，并與Kinect算法進行對比分析；最后，對于本文方法的性能進行總結(jié)并對本領(lǐng)域的發(fā)展前景做出展望。

1　相關(guān)方法

自從深度攝像機誕生以來，計算機視覺領(lǐng)域的很多學(xué)者都對此持有高度的關(guān)注，并研究了許多利用深度圖像進行人體關(guān)節(jié)定位的方法。

劉國翌等使用深度圖像的輪廓和邊界特征建立目標(biāo)函數(shù)，這種組合特征大大提高了關(guān)節(jié)點定位的準(zhǔn)確性［1］。Daniel等不事先對圖像進行前景分割，而是充分利用深度圖像中的輪廓信息，在復(fù)雜的非靜態(tài)環(huán)境中得到了良好的定位預(yù)測效果［2］。Youding等設(shè)計頭—頸部—軀干模板通過深度圖像的概率推導(dǎo)方法，探測身體部件位置［3］。Zhu等首先利用身體約束粗略地標(biāo)記出深度圖像中的各個主要部件，再在部件的大致位置上進行ICP搜索來定位關(guān)節(jié)點的具體位置［4］。這與在整個圖像上進行搜索的方法相比，不僅僅提高了速度，還可防止陷入算法的局部最小值。Evangelos等利用監(jiān)督學(xué)習(xí)方法訓(xùn)練出Jointboost分類器，然后通過分類器學(xué)習(xí)得到的模型來標(biāo)記出不同人、物的各個部件［5］。算法雖然不需要進行人工調(diào)整，但是需要大量的訓(xùn)練標(biāo)記數(shù)據(jù)。Christian使用Dijkstra算法尋找人體的各個角點，然后利用局部形狀描述對這些點進行識別，同時估計出它們的角度，得出關(guān)于身體各部件的位置信息［6］。Jamie等利用深度圖像中的局域梯度特征，學(xué)習(xí)得到隨機森林分類器。由于使用了身體部件這個中介表示，把難度較大的姿態(tài)估計問題轉(zhuǎn)換成了一個簡單的像素分類問題［7］。在此基礎(chǔ)上，林鵬等在數(shù)據(jù)選擇、特征提取及訓(xùn)練方法3個方面進行簡化，得到了準(zhǔn)確度更高的人體部件分類器［8］，見圖2。

圖2　流程圖Fig.2 Flow chart

2　前景分割

深度圖像由于具有距離信息，使得其相對應(yīng)于彩色圖像更容易地把背景去除。最直接的做法是設(shè)置一個深度閾值將人體大致地從圖像中分割出來，但此方法對閾值的要求較高且分割準(zhǔn)確度較低。

2.1RANSAC算法分割天花板和地板

在深度圖像中，人體表面的深度信息是連續(xù)的，只要定位出部分的人體區(qū)域，就可以根據(jù)深度信息將整個人體從圖像中分割出來［9］。但是在場景中由于人站立在地板上，所以人體與地板之間的深度信息存在一定的連續(xù)。為了避免分割人體時，將地板也分割進來，首先須剔除掉場景中的地板和天花板。

本文使用RANSAC算法［10-11］迭代地計算出不同的模型來擬合全體數(shù)據(jù)中的“局內(nèi)點”（適應(yīng)模型的點）。全體數(shù)據(jù)中的一部分“異常的局外點”（不適應(yīng)模型的點）將不會對模型的建立和優(yōu)化產(chǎn)生影響。針對需要搜索的天花板和地板平面模型，每次從圖像中隨機抽取3個像素點用來構(gòu)成平面模型，并搜索全體數(shù)據(jù)中適合此模型的局內(nèi)點。在迭代次數(shù)內(nèi)找到當(dāng)前最優(yōu)的模型，再利用其所有局內(nèi)點的協(xié)方差矩陣的奇異值分解來得到重新擬合的優(yōu)化模型。得到了如圖3 a）中的不同平面，在圖中利用不同顏色加以區(qū)分顯示。最后，結(jié)合天花板和地板平面的方向來判斷天花板和地板模型如圖3 b）所示。

圖3　分割的場景圖像Fig.3 Segmented images according to scenes

2.2利用深度信息分割前景對象

基于人體表面光滑的特性，可很好地利用深度信息對圖像（圖4 a））進行分割提取人體區(qū)域，此即本系統(tǒng)分割前景的關(guān)鍵依據(jù)。首先，通過圖像幀間的差值處理，得到發(fā)生運動變化的人體部分，見圖4 b）、c），結(jié)合去掉地板后的場景圖像，得到完整的人體區(qū)域。具體方法為：對每個深度值在一定范圍內(nèi)（人體一般處于在333～5 500）且屬于視頻中發(fā)生變化的像素點，將其鄰域深度差較小的像素點標(biāo)記為人體，見圖4 d）。

圖4　前景分割Fig.4 Foreground segmentation

2.3性能評價

與未進行人體前景分割的方法相比，本文的關(guān)節(jié)點定位方法更具有魯棒性。首先，分割方法大大降低了場景中的無關(guān)對象對人體關(guān)節(jié)估計的影響，如圖5所示?？梢钥闯鑫催M行前景分割的圖像中有大量背景像素點被錯誤地分類到人體部件中，從而直接影響關(guān)節(jié)點位置定位的準(zhǔn)確性。其次，系統(tǒng)由于不再需要計算背景像素的特征值，使得本方法的處理速度大大提高。

圖5　進行前景分割和未進行前景分割的比較Fig.5 Comparison of images with and without foreground segmentation

3　關(guān)節(jié)點分類

3.1深度圖像特征提取

典型的深度圖像特征提取方式是：將某像素點周圍鄰域的2個點之間的深度差作為該點的特征值［12］。該方式融合了2D圖像中的點特征和梯度特征，并結(jié)合深度信息，使得像素點周圍局域空間的3D信息被很好地描繪出來，如式（1）。

式（1）中：dI（x）表示圖像I中像素x的深度值；u和v表示一對向量。

這種深度差信息雖然只是傳遞了局部很小的信號量，但在隨機森林中可以發(fā)揮很大的作用。

上述的局部深度梯度特征具有空間平移不變性，這種性質(zhì)使得人體表面上的像素點在發(fā)生平移時，也可以保證深度差的大小不變［13］。事實上，人體的運動除了平移還有旋轉(zhuǎn)運動，上述特征在旋轉(zhuǎn)時將無法繼續(xù)保持深度差不變性，而是根據(jù)旋轉(zhuǎn)角度不同發(fā)生變化，如圖6 a）所示向量得到一個接近為0的特征值，而圖6 b）則返回一個較大的值。這就在一定程度上影響了局域深度差特征對于分類像素點的準(zhǔn)確度。所以，考慮在特征提取中引入偏移的角度信息來修正向量，使得人體的各個部件無論如何旋轉(zhuǎn)，都能夠較為準(zhǔn)確地得到分類。

圖6　深度梯度特征Fig.6 Depth gradient feature

如圖7可以發(fā)現(xiàn)，對于身體任何一點其沿人體表面到人物形心（實心圓）的測地距離是不變的。利用每個像素點的這條最短路徑，可以得到其相對形心的角度，即偏移角度如圖7 b）中箭頭所示，將這個偏移角度加入像素的特征提取后，得到的特征信息就將具有旋轉(zhuǎn)不變性。由于深度圖像包含各個像素點的距離信息，可以輕松獲得路徑和角度信息。

圖7　等高線Fig.7 Contour line

得到的偏移角度作為特征信息的一部分與隨機向量共同參與計算生成新的像素點為：

式（2）、（3）中：angleOri表示為當(dāng)前像素點startPixel的角度值；angleNew、r分別表示隨機生成的一組半徑和角度值，用于生成新的像素點。

3.2像素點分類

對于本文的分類方法，特征向量由半徑、角度和閾值組成，共2 000組。這些特征向量是隨機生成的，其中，半徑和角度用來生成2個新的像素點，閾值用來對當(dāng)前樣本進行判斷。表1中：P表示已知類別的像素點用于訓(xùn)練分類器，f表示特征向量。訓(xùn)練決策樹時，依次對每一組特征向量 f和所有的已知類別的像素點P計算特征提取的結(jié)果，如果得到的特征值大于特征向量中的閾值，則記1，反之，則記0。

表1　特征提取Tab.1 Feature extraction

對于每個特征向量，所有像素點會分別得到0、1兩種分類，進而得到不同特征向量的信息增益，作為分類器節(jié)點的特征，并把當(dāng)前的樣本集劃分到不同的分支走向中，這樣不斷分裂直至滿足一定條件結(jié)束。此時，決策樹中的葉子節(jié)點包含了不同部件類別的像素點集，根據(jù)比例得到關(guān)于各類別的概率分布情況。

本文所用的隨機森林簡單來說是一個包含多個決策樹的分類器，如圖8所示，其輸出的數(shù)據(jù)也是由多個決策樹共同決定的［14-15］。隨機森林分類器［16-17］不會像單獨的樹分類器那樣對同樣的樣本犯同樣的錯誤，所以準(zhǔn)確度在一定程度上會得到提高。

圖8　隨機森林分類器Fig.8 Random forest classifier

4　關(guān)節(jié)點位置定位

通過隨機森林分類器已經(jīng)得到圖像中人物區(qū)域的屬于不同部件類別的各個像素點。在本方法中，將人體分成20個部件，分別是臀部、脊椎、肩膀中心、頭、左肩、左肘、左手腕、左手、右肩、右肘、右手腕、右手、左臀、左膝、左踝、左腳、右臀、右膝、右踝、右腳。

4.1Mean-shift方法定位關(guān)節(jié)點

本文所使用的是Mean-shift［18-20］方法從同一類別的像素點中，找到最能夠代表本類別位置的點，將其作為該部件的關(guān)節(jié)點。

對于某一部件來說，該類別下的所有像素點首先找到各自偏移后的位置，即迭代偏移n次之后達到的目的位置。這一過程像素點不斷向其周圍鄰域內(nèi)密度更大的地方移動，迭代移動直至循環(huán)結(jié)束搜索到平均質(zhì)心點。這些質(zhì)心比原始像素點更能夠表示關(guān)節(jié)位置，因為它是向概率密度大的方向移動后的結(jié)果。最終選取密度最大的質(zhì)心點作為關(guān)節(jié)點的位置。

4.2關(guān)節(jié)點預(yù)測的優(yōu)化機制

由于像素點分類的結(jié)果不完全準(zhǔn)確，有時會導(dǎo)致關(guān)節(jié)點定位偏差。通過對結(jié)果的分析，關(guān)節(jié)點的定位常發(fā)生2類錯誤：①人體骨架比例失調(diào)，如圖9 b）中腿部比例失衡，膝關(guān)節(jié)位置與腳過于接近；②屬于本部件的像素點被過多地分類到其他容易相混淆的部件中時，關(guān)節(jié)點位置的預(yù)測將產(chǎn)生較大偏差，如圖9 d）中左手的預(yù)測位置發(fā)生較大偏移。

圖9　關(guān)節(jié)點定位中出現(xiàn)的問題Fig.9 Erros in positioning joints

導(dǎo)致這2類錯誤發(fā)生的原因主要是像素點分類時的誤差，見圖10。表中數(shù)字表示的是行類部件被分類到列類部件的像素點個數(shù)占行類部件像素點總數(shù)的百分比。紅色代表錯誤分類導(dǎo)致比例失調(diào)的數(shù)據(jù)；藍色代表錯誤分類導(dǎo)致相似部件混淆的數(shù)據(jù)。可以看出頭、肩膀、脊椎以及臀部錯誤率較低，與其他部件相混淆的概率較小。而左、右手和左、右腳的錯誤分類的概率較大。其中，對于手關(guān)節(jié)，主要的分類錯誤包括把手關(guān)節(jié)位置的像素點錯誤地劃分到了相鄰的手肘部件中以及左右手混淆錯誤。對于腳關(guān)節(jié)，主要的分類錯誤包括為左右腳的混淆。

圖10　各部件分類混淆結(jié)果Fig.10 Mistakes in classifications of parts

為了使得關(guān)節(jié)點的定位更加準(zhǔn)確，本文引入目標(biāo)函數(shù)

式（4）中：pˉi表示待優(yōu)化的關(guān)節(jié)點位置；pij表示該類別部件的所有像素點。

希望通過最小化 f（x）來找到關(guān)節(jié)點使其距離同類的其他點的距離和最小。

根據(jù)上面2類定位中的常見錯誤，本文在人體骨架中提取如下2類先驗知識來對目標(biāo)函數(shù)進行約束。

（1）等比例約束，人體的各個部件長度遵循一定的長度比例，人體骨架示意圖見圖11。

圖11人體骨架示意圖Fig.11 Schematic diagram of human skeleton

圖11中，固定頭到肩膀的距離為l0，肩膀中心到左、右肩的距離是l1，肩膀到手肘的距離為l2，手肘到手臂的距離為l3，肩膀到脊椎的距離為l4，脊椎到臀部的距離為l5，臀部到左、右臀的距離為l6，臀部到膝蓋的距離為l7，膝蓋到腳的距離為l8。同時，對于不同身高的人，為其身體部件賦予一個固定的縮放系數(shù)α。這樣，各關(guān)節(jié)間的比例約束可以表示為：

（2）等距離約束，人體骨架結(jié)構(gòu)是具有對稱性的，左右手臂和腿部的長度是分別相等的。依照此關(guān)系，得到的約束為：

此時，構(gòu)造新的輔助函數(shù)為：

由于F（x）是二次的凸函數(shù)，所以當(dāng)利用F（x）對pi分別求偏導(dǎo)時，會沿著函數(shù)梯度方向不斷的迭代移動，這樣逐漸搜索到全局的最小值，即關(guān)節(jié)點的最優(yōu)位置。從圖12可以看出，優(yōu)化后的關(guān)節(jié)點位在整個人體骨架中更加和諧。

圖12　優(yōu)化后的關(guān)節(jié)點位置Fig.12 Ppositions of joints after optimization

5　實驗與分析

5.1系統(tǒng)框架

本文的人體關(guān)節(jié)點定位方法利用輸入的深度圖像來預(yù)測場景中的人體骨架，實時地提供一個較為準(zhǔn)確的人體關(guān)節(jié)的3D位置結(jié)果。具體操作步驟為：首先，利用Kinect技術(shù)得到的人體姿態(tài)骨架位置對數(shù)據(jù)進行自動標(biāo)記得到訓(xùn)練樣本，從而訓(xùn)練出隨機森林分類器并對其使用測試圖像進行評估。當(dāng)對一幅新的深度圖像進行定位識別時，首先對其進行前景分割，利用深度圖像所具有空間距離信息可以較為準(zhǔn)確地將場景中的人體區(qū)域分割出來。對人體區(qū)域的所有像素點進行分類，將其分別劃分到最有可能的部件類別中。最后，在各個身體部件中，利用Mean-shift算法操作尋找密度最大的位置作為可能的關(guān)節(jié)點位置并根據(jù)先驗知識對得到的結(jié)果進行優(yōu)化，見圖13。

圖13　系統(tǒng)框架圖Fig.13 Sketch of system framework

本文在64bit win7系統(tǒng)、3.1 GHz主頻、8 G內(nèi)存、i3-2100CPU的計算機環(huán)境中運行，經(jīng)過試驗證明系統(tǒng)可達實時性要求。

5.2實驗分析

（1）標(biāo)記。本文使用自動標(biāo)記的辦法：在每幅深度圖像中，從Kinect預(yù)測得到的關(guān)節(jié)點像素的鄰域內(nèi)搜索最多15個像素點作為同類別部件的真實標(biāo)記點，這15個標(biāo)記點是按照距關(guān)節(jié)點距離從小到大排序取得的如圖14所示。

圖14　人體關(guān)節(jié)點標(biāo)記Fig.14 Labels of human points

（2）分類結(jié)果評價。從訓(xùn)練樣本集的3 823幅圖像中，每次隨機抽取400幅樣本用于訓(xùn)練一棵決策樹，抽取方法為bagging。

使用訓(xùn)練樣本對分類器的分類效果進行評價時，得到隨機森林的平均分類準(zhǔn)確度為73%。使用測試樣本對分類器的分類效果進行評價時，隨機森林的平均分類準(zhǔn)確度達到68%。這里所說的整體分類準(zhǔn)確度是指所有分類正確的關(guān)鍵點個數(shù)占全部標(biāo)記點個數(shù)的比例。

各部件的分類準(zhǔn)確度見圖15、16。每個柱形數(shù)值表示的是正確分類到此類別的像素點個數(shù)占全部被分類到此類別的像素點個數(shù)的比例。

圖15　利用隨機森林預(yù)測訓(xùn)練樣本中各部件分類結(jié)果Fig.15 Result of different human body parts classification in training samples calculated by random forest

圖16　利用隨機森林預(yù)測測試樣本中各部件分類結(jié)果Fig.16 Result of different human body parts classification in testing samples calculated by random forest

從上面的圖表發(fā)現(xiàn)脊椎、頭部、臀部的分類準(zhǔn)確度比較高，對肢節(jié)的分類準(zhǔn)確度相對較低。這主要是由于相對于頭和軀干，人的四肢的運動復(fù)雜度更高、更加難以捕捉。此外，由于手臂動作很復(fù)雜，且極易出現(xiàn)自遮蔽的姿勢，在有限的訓(xùn)練樣本規(guī)模下，無法對各種形態(tài)的人體部件進行學(xué)習(xí)。加之手臂本身較細，分布的像素點個數(shù)也相對較少，所以對手臂的分類準(zhǔn)確是相對最低的。

（3）關(guān)節(jié)點預(yù)測結(jié)果評價。在對已經(jīng)分類好的圖像進行關(guān)節(jié)點預(yù)測時，估計出骨架的平均時間為每幀0.15 s。本文在對學(xué)習(xí)過的深度圖像進行人體關(guān)節(jié)點定位時，可以得到較為準(zhǔn)確的估計效果。由于系統(tǒng)的真實標(biāo)注點是基于Kinect技術(shù)的估計結(jié)果，所以這里僅進行定性的結(jié)果評價，將生成的骨架圖與采集的深度圖像進行比對，圖17為參與訓(xùn)練的樣本圖像中抽取的幾組人體關(guān)節(jié)定位結(jié)果，第1列表示Kinect獲取的深度圖像的顯示圖像，第2列表示關(guān)節(jié)點的定位結(jié)果?？梢钥闯?，系統(tǒng)對于學(xué)習(xí)過的人體部件能夠較好地預(yù)測得到估計結(jié)果，關(guān)節(jié)點的定位基本準(zhǔn)確。

對于未學(xué)習(xí)過的人體姿態(tài)，本系統(tǒng)同樣有識別定位能力，見圖18，從測試樣本集中抽取的幾組圖像及定位結(jié)果。可以看出，雖然關(guān)節(jié)點定位的效果相較訓(xùn)練樣本集稍有遜色，但也基本可以得到良好的效果。

圖17　訓(xùn)練樣本的人體姿態(tài)Fig.17 Human pose in training samples

圖18　測試樣本的人體姿態(tài)Fig.18 Human pose in testing samples

5.3與其他方法的比較

將本文的系統(tǒng)與文獻［7］中的Kinect算法相比較，有很多方面的改進。

首先，在特征提取方面，Kinect技術(shù)使用的是像素點的鄰域中2點的深度差，且其特征信息的計算及閾值的選擇都是在訓(xùn)練分類器的過程中同時進行的，這樣做的好處是運行效率高，但是特征信息的復(fù)用性較低；而本文為圖像中人物區(qū)域的像素點賦予一個全新的特征：角度信息，與分類器中的每個非葉子節(jié)點中的角度和半徑信息，相結(jié)合來產(chǎn)生新的局域像素點。此外，特征信息在訓(xùn)練分類器之前就已經(jīng)計算獲得，在訓(xùn)練分類器時，只需要進行簡單的比較選擇即可。關(guān)節(jié)點的定位方法文獻采用的Mean-shift的加權(quán)高斯算法找到密度最大點，而本文使用的是Mean-shift的算法，并利用先驗知識進行優(yōu)化約束。

本文的特征提取方法是在Kinect基礎(chǔ)之上引入新的角度信息使得特征信息更加全面、準(zhǔn)確，并通過偏移角度使得身體部件在旋轉(zhuǎn)運動時仍具有不變性。通過實驗證實加入角度信息后，像素點可以得到更準(zhǔn)確的分類結(jié)果，如圖19中各部件第1行柱形圖表示本文分類結(jié)果，第2行柱形圖表示Kinect的分類結(jié)果。

可以看到除了個別的關(guān)節(jié)點分類準(zhǔn)確度稍有降低，基本所有部件的分類效果都得到提升，特別是姿態(tài)多變，旋轉(zhuǎn)自由度相對較大的四肢由于添加了對其偏移角度特征的描述，準(zhǔn)確度大大提升。

圖19　文獻［7］的分類結(jié)果對比Fig.19 Compared with the classification results of［7］

6　總結(jié)與展望

隨著近幾年來深度攝像機的普及和推廣，基于深度圖像的許多圖像處理算法得以發(fā)展、成熟。雖然目前還沒有一個完備的大型深度圖像數(shù)據(jù)庫，但是很多學(xué)者已經(jīng)能夠根據(jù)需要，自建小型的數(shù)據(jù)庫來進行學(xué)習(xí)研究。

本文研究分析了利用深度圖像進行人體關(guān)節(jié)點定位的技術(shù)，主要工作和改進內(nèi)容包括以下幾個方面：簡述人體關(guān)節(jié)點定位技術(shù)的發(fā)展，對近年來出現(xiàn)的各種基于深度圖像處理人體姿態(tài)的方法進行研究；研究從場景的深度圖像中將前景分割的方法：首先利用RANSAC算法將天花板和地板從圖像中剔除，然后利用深度圖像所特有的距離信息將運動的人體從整幅圖像中延伸出來；對本文所使用的深度圖像特征進行一定的分析和研究，從深度信息空間旋轉(zhuǎn)不變性的角度考慮引入改進的特征信息角度信息，以此來進一步優(yōu)化特征提取的效果；討論關(guān)節(jié)點的定位方法，在Mean-shift方法的基礎(chǔ)上，運動身體的先驗知識對關(guān)節(jié)點的定位進行約束和優(yōu)化，得到更加準(zhǔn)確的結(jié)果。

本文的研究是在現(xiàn)有的深度圖像系統(tǒng)的基礎(chǔ)上進行的分析學(xué)習(xí)，提出了合理的改進措施并達到預(yù)期效果，但是當(dāng)人物姿態(tài)比較復(fù)雜時，估計的效果還不是很理想，需要進一步改進。

本文對基于深度圖像的人體關(guān)節(jié)點定位方法進行了研究分析，但對于這個領(lǐng)域來說，只是一個初級的探索和研究，未來還有巨大的發(fā)展和提升空間。進一步的學(xué)術(shù)工作主要可以通過下述幾個方面來開展：對于真實部件的標(biāo)記可以更加完整，從而提高分類的效果以及對于先驗知識的運用如何更加有效、合理。

［1］劉國翌，陳睿，鄧宇.基于視頻的三維人體運動跟蹤［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2006，18（1）：82-88. LIU GUOYI，CHEN RUI，DENG YU.3D human motion tracking based on video［J］.Journal of Computer-Aided Design&Computer Graphics，2006，18（1）：82-88.（in Chinese）

［2］GREST D，KRER V，KOCH R.Single view motion tracking by depth and silhouette information［C］//Lecture Notes in Computer Science.Berlin：Springer，2007，4522：719-729.

［3］ZHU Y，DARIUSH B，F(xiàn)UJIMURA K.Controlled human pose estimation from depth image streams［C］//Computer Vision and Pattern Recognition Workshops.Wright State，Ameirca，2008：1-8.

［4］ZHU Y，F(xiàn)UJIMURA K.Constrained optimization for human pose estimation from depth sequences［C］//Computer Vision-ACCV 2007.Berlin：Springer，2007：408-418.

［5］KALOGERAKIS E，HERTZMANN A，SINGH K.Learning 3D mesh segmentation and labeling［J］.ACM Transactions on Graphics（TOG），2010，29（4）：157-166.

［6］PLAGEMANN C，GANAPATHI V，KOLLER D，et al. Real-time identification and localization of body parts fromdepthimages［C］//RoboticsandAutomation（ICRA）Anchorage.Alaska，2010：3108-3113.

［7］SHOTTON J，SHARP T，KIPMAN A，et al.Real-time human pose recognition in parts from single depth images［J］.Communications of theACM，2013，56（1）：116-124.

［8］林鵬，張超，李竹良.基于深度圖像學(xué)習(xí)的人體部位識別［J］.Computer Engineering，2012，38（16）：185-188. LIN PENG，ZHANG CHAO，LI ZHULIANG.Human body part recognition based on depth image learning［J］. Computer Engineering，2012，38（16）.185-188.（in Chinese）

［9］XIA L，CHEN CC，AGGARWAL JK.Human detectionusing depth information by Kinect［J］.Applied Physics Letters，2011，85（22）：15-22.

［10］SCHNABEL R，WAHL R，KLEIN R.Efficient RANSAC for point-cloud shape detection［J］.Computer Graphics Forum，2007，26（2）：214-226.

［11］CHUM O，MATAS J，KITTLER J.Locally optimized RANSAC［J］.Lecture Notes in Computer Science，2003，2781：236-243.

［12］李紅波，丁林建，冉光勇.基于Kinect深度圖像的人體識別分析［J］.數(shù)字通信，2012，39（4）：21-26. LI HONGBO，DING LINJIAN，RAN GUANGYONG. Analysis of human body recognition based on Kinect depth image［J］.Digital Communication，2012，39（4）：21-26.（in Chinese）

［13］OU Y，HU J，WANG Z.A real-time human imitation system using kinect［J］.International Journal of Social Robotics，2015，7（5）：1-14.

［14］BREIMAN L.Random forests［J］.Machine Learning， 2001，45（1）：5-32.

［15］QUINLAN JR.Induction of decision trees［J］.Machine Learning，1986，1（1）：81-106.

［16］BREIMAN L.Random forest［J］.Machine Learning，2001，45：5-32.

［17］BONISSONE P，CADENAS JM.A fuzzy random forest［J］.International Journal of Approximate Reasoning，2010，51（7）：729-747.

［18］SARAGIH JM，LUCEY S，COHN JF.Deformable model fitting by regularized landmark mean-shift［J］.International Journal of Computer Vision，2011，91（2）：200-215.

［19］COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift［C］//Computer Vision and Pattern Recognition.Grenoble，F(xiàn)rance，2000：142-149.

［20］BEYAN C，TEMIZEL A.Adaptive mean-shift for automated multi object tracking［J］.Iet Computer Vision，2012，6（1）：1-12.

Method of Locationg Human Body Joints Based on Depth-images

LYU Jie1，LIU Yazhou2，HAN Qinglong1，DU Jing1
（1.Department of Basic Sciences，NAAU，Yantai Shandong 264001，China；2.Department of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing 210094，China）

In this paper，a human body part recognition system which was based on depth image learning was proposed. Firstly，segmentation was made between background and people.Secondly，random forest was used to learn the classifier for separating each pixel.Finally，the algorithm of mean-shift was used to find the position of the joint point of human body and optimize it.The result of the system was both more accurate and real-time.The precision rate for this method was 68%，which compared to Kinect，had reached at a high level.The average time to recognize joint point was 150ms/f. All these proved its practicability.

depth images；random forest；depth gradient feature；joint position proposals

TP312

A

1673-1522（2016）05-0538-09

10.7682/j.issn.1673-1522.2016.05.008

2016-07-22；

2016-09-18

國家自然科學(xué)基金資助項目（61300161）；教育部博士點新教師基金資助項目（20133219120033）

呂潔（1988-），女，碩士。