,

(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系,合肥 230000)

0 概述

人體姿態(tài)估計(jì)是人工智能領(lǐng)域一個(gè)很重要的部分,它隸屬于自然人機(jī)交互領(lǐng)域。計(jì)算機(jī)該如何理解人類(lèi)做出的動(dòng)作,不通過(guò)如鼠標(biāo)鍵盤(pán)的媒介,人類(lèi)姿態(tài)如何控制計(jì)算機(jī)進(jìn)行操作,達(dá)到自然交互的目的,這些問(wèn)題都是計(jì)算機(jī)視覺(jué)領(lǐng)域研究的熱點(diǎn)問(wèn)題?，F(xiàn)階段有眾多人體姿態(tài)估計(jì)的方法[1-3],如文獻(xiàn)[4]提出可以由骨架結(jié)構(gòu)近似表示人體姿態(tài),通過(guò)采用人體骨架結(jié)構(gòu)中每個(gè)關(guān)節(jié)的時(shí)間序列數(shù)據(jù)表示人體動(dòng)作序列。2012年微軟推出了體感游戲設(shè)備xbox360,其前端深度相機(jī)Kinect通過(guò)獲取人體深度數(shù)據(jù),使用隨機(jī)森林分類(lèi)器大量訓(xùn)練模擬和真實(shí)人體數(shù)據(jù),獲得了非常好的效果。

文獻(xiàn)[5]提出隨機(jī)森林模型,至今仍被認(rèn)為是最有效的分類(lèi)及回歸算法之一。文獻(xiàn)[6]提出通過(guò)隨機(jī)森林訓(xùn)練經(jīng)過(guò)提取的深度特征,從而完成對(duì)人體全身31個(gè)部件的大致分類(lèi)。特征訓(xùn)練樣本數(shù)量高達(dá)2×109個(gè),并且隨著森林中單個(gè)決策樹(shù)的樹(shù)深d的增加,內(nèi)存消耗為O(2d)。

本文在前人的基礎(chǔ)上,為解決部分傳統(tǒng)量化深度特征響應(yīng)不敏感問(wèn)題而加入新的RGB邊緣特征,并與文獻(xiàn)[7]中提出的決策叢林算法相結(jié)合,提出優(yōu)化的人體部件分類(lèi)流程。根據(jù)文獻(xiàn)[6]的啟發(fā),本文將人的身體分為31個(gè)部件,通過(guò)深度數(shù)據(jù)做特征提取,采用灰度圖像做邊緣特征提取。

1 深度特征與RGB邊緣特征

1.1 深度量級(jí)特征

由于深度圖像不受光照、衣著、皮膚毛發(fā)等因素的影響,可以很好地保留人體輪廓,因此利用深度數(shù)據(jù)作特征提取的案例已經(jīng)愈發(fā)成熟。文獻(xiàn)[8]首次提出了一種快速的量化深度特征,這種特征在Kinect骨骼案例中得到了很好的運(yùn)用,具體如下:

(1)

其中,dI(x)表示在給定圖像I中像素x處的深度,參數(shù)θ=(u,v)是自像素點(diǎn)x的2個(gè)偏移向量,這里均除以dI(x)以保證深度不變性。這種特征在眾多文獻(xiàn)中得到使用與優(yōu)化,如文獻(xiàn)[9-10]。

1.2 RGB邊緣特征

文獻(xiàn)[6]指出,因?yàn)樯疃葓D像具有低光魯棒性、大尺度顏色和細(xì)節(jié)不變性以及可以解決邊界模糊等優(yōu)點(diǎn),所以將深度數(shù)據(jù)用于特征提取比起RGB圖像具有更高的效率。但是如Kinect這樣的體感設(shè)備往往不僅具有紅外設(shè)備,而且同時(shí)兼具獲取傳統(tǒng)RGB圖像的功能。受文獻(xiàn)[11]啟發(fā),結(jié)合RGB圖像與深度圖像往往可以獲取場(chǎng)景更豐富的信息與更好的分類(lèi)性能。經(jīng)典RGB特征算子用于關(guān)鍵點(diǎn)匹配[12]。本文將這種觀念進(jìn)行擴(kuò)展,對(duì)于灰度RGB圖像,從中提取其邊緣比較特征(Edge Comparison Feature,ECF)。

文獻(xiàn)[13-14]中均指出,對(duì)于人體識(shí)別,觀察人體輪廓是一個(gè)非常重要的參考和線索。文獻(xiàn)[15]定義了輪廓的詳細(xì)解釋,輪廓不僅包含物體的外部邊界,而且包括內(nèi)部邊緣信息,可以描述物體的空間結(jié)構(gòu)。因此,將人體RGB圖像的輪廓信息與深度信息結(jié)合可以?xún)?yōu)化分類(lèi)性能。

為了衡量?jī)煞吘増D像的匹配程度,文獻(xiàn)[16]引入了Chamfer匹配算法,Chamfer距離定義為:

(2)

其中,U={ui},V={vi}是邊緣圖像中的邊緣點(diǎn)集合,dCM即Chamfer距離為U中每一個(gè)ui到V中最近邊緣的距離之和的平均值,n=|U|。

同式(1)類(lèi)似,結(jié)合式(2),引入ECF的量級(jí)特征:

(3)

(4)

式(4)用于表示位于圖像I中像素點(diǎn)x處與其邊緣圖像IE上一點(diǎn)x′的距離最小值,式(3)則表示在此像素點(diǎn)x處的2個(gè)偏移位置偏移的存在性。

當(dāng)量級(jí)信息無(wú)法很好地區(qū)分人體部件,比如均為一個(gè)很小的值時(shí),可以嘗試引入方向信息特征,后續(xù)的實(shí)驗(yàn)證明這種組合可以減少噪聲影響,有效提高準(zhǔn)確率。ECF的方向特征如下:

(5)

(6)

在式(6)中方向的定義可以有多種方式,本文采取的是x與x′連線與水平軸正方向的夾角值,因此式(5)中的“-”操作符也充分考慮了角的循環(huán)特性。

同式(1)中的深度偏移參數(shù)相同,本文定義ECF的量級(jí)與方向特征可以捕捉到圖像中特定位置的邊緣分布的微弱信號(hào),可以通過(guò)強(qiáng)分類(lèi)學(xué)習(xí)器學(xué)習(xí)到分類(lèi)間隔參數(shù)。

2 決策DAG與隨機(jī)叢林

2.1 決策DAG

利用有向無(wú)環(huán)圖(Directed Acyclic Graph,DAG)做決策的方法已經(jīng)在眾多文獻(xiàn)中提到。有向無(wú)環(huán)圖是指,給定一個(gè)有向圖G(V,E),V={vi},若從G的任意一個(gè)頂點(diǎn)vi出發(fā)經(jīng)過(guò)若干條邊ej,均無(wú)法回到該點(diǎn),則該圖G被稱(chēng)為有向無(wú)環(huán)圖。本文將一類(lèi)特殊的DAG稱(chēng)為決策DAG。決策DAG具有以下要求:1)只有一個(gè)入度為0的根結(jié)點(diǎn);2)擁有多個(gè)入度≥1,出度為2的分裂結(jié)點(diǎn);3)擁有多個(gè)入度≥1,出度為0的葉子結(jié)點(diǎn)。

由圖1可以看出,決策DAG可以得到優(yōu)化的樹(shù)結(jié)構(gòu),把決策DAG看作一種有向樹(shù)。如果檢測(cè)到兩個(gè)分裂結(jié)點(diǎn)具有類(lèi)似的分類(lèi)概率密度分布,就可以把它們合并起來(lái)。當(dāng)樹(shù)深較大時(shí),決策DAG可以有效地減少內(nèi)存消耗,從后續(xù)實(shí)驗(yàn)看出,DAG還可以捕捉到訓(xùn)練數(shù)據(jù)內(nèi)在關(guān)聯(lián)的程度,提高模型的準(zhǔn)確率。

圖1 決策樹(shù)與決策有向無(wú)環(huán)圖

2.2 隨機(jī)叢林

同隨機(jī)森林類(lèi)型類(lèi)似,通過(guò)集成若干棵決策DAG,最終可以得到包含多棵DAG的整體模型J=(G1,G2,…,GT)。

設(shè)模型J中第i個(gè)決策DAGGi的輸出:

pt=i(y|v)

(7)

表示Gi輸出的標(biāo)簽概率密度分布,這里y是分類(lèi)標(biāo)簽,v是輸入的樣本特征。

具有T棵決策DAG的集成模型J的輸出定義為:

(8)

由于在樣本選取與訓(xùn)練特征篩選時(shí)同樣采取了隨機(jī)bagging的方式,因此可以有效避免模型出現(xiàn)過(guò)擬合。為了將這種整合模型與隨機(jī)森林相區(qū)別,文獻(xiàn)[7]將這種集成式DAG稱(chēng)為決策叢林(Decision Jungle),為了體現(xiàn)該模型同樣通過(guò)隨機(jī)選取樣本與樣本特征的方式進(jìn)行訓(xùn)練的特性,本文將之稱(chēng)為隨機(jī)叢林(Random Jungle)。

2.3 隨機(jī)叢林訓(xùn)練與參數(shù)優(yōu)化

決策DAG訓(xùn)練參數(shù)時(shí)采用逐層(level-wise)的方式,DAG圖結(jié)構(gòu)與特征選擇、閾值訓(xùn)練需要同時(shí)優(yōu)化,這一點(diǎn)與決策樹(shù)分裂準(zhǔn)則不盡相同。在每個(gè)DAG結(jié)點(diǎn)v處,需要優(yōu)化4個(gè)參數(shù):選擇特征dv,閾值θv,左孩子結(jié)點(diǎn)lv,右孩子結(jié)點(diǎn)rv。

假設(shè)s是某種合并方案,如s(D)=min(2D,128),這里D代表DAG的層數(shù)。則DAG分裂算法如下:

1.G←({root},?)

2.for D=1,2,… do

3.將s(D)個(gè)新結(jié)點(diǎn)加入G作為孩子結(jié)點(diǎn)

4.初始化上層父結(jié)點(diǎn)參數(shù)

5.優(yōu)化上層父結(jié)點(diǎn)參數(shù)

6.end for

DAG的逐層參數(shù)優(yōu)化如圖2所示。其中,pi是第i個(gè)父結(jié)點(diǎn),cj是相對(duì)于p的第j個(gè)子結(jié)點(diǎn)。

圖2 決策DAG某層結(jié)構(gòu)示意圖

本文首先給出信息熵的定義,再給出尋找父結(jié)點(diǎn)最優(yōu)參數(shù)的目標(biāo)函數(shù)E:

給定X?n×{1,2,…,C}為訓(xùn)練樣本集,則信息熵H(X)定義為:

(9)

這里:

(10)

定義目標(biāo)函數(shù)E:

(11)

這里:

Θi=(dpi,θpi,lpi,rpi)

(12)

是父結(jié)點(diǎn)pj的待優(yōu)化參數(shù),Spj、Sci分別是落入結(jié)點(diǎn)pj、ci的訓(xùn)練樣本集合。

在式(11)中,Sci與Θ=(Θ1,Θ2,…,Θk)的關(guān)系由下式可以看出:

(13)

參考圖2,給出DAG分裂算法中步驟5的參數(shù)優(yōu)化算法如下所示。

1.function Optimization(Θp1,Θp2,…,Θpk):

2. while Θpi發(fā)生變化 do

3. for i=1,2,…,k do

4.ζ←隨機(jī)特征選擇集合

5. (dpi,θpi)←argmind∈ζ,θ∈RE(…,Θpi-1,(d,p,lpi,rpi),Θpi+1,…)

6. end for

7.for i=1,2,…,k do

8. lpi←argminl=c1,c2,…,clE(…,Θpi-1,(dpi,θpi,l,rpi),Θpi+1,…)

9. rpi←argminr=c1,c2,…,clE(…,Θpi-1,(dpi,θpi,lpi,r),Θpi+1,…)

10. end for

11.end while

12.return Θp1,Θp2,…,Θpk

13.end function

上述參數(shù)優(yōu)化算法是一種坐標(biāo)梯度下降算法,在第1步中,算法依次遍歷每個(gè)父結(jié)點(diǎn)k并試圖找到最優(yōu)分裂參數(shù)(dpi,θpi)最小化目標(biāo)函數(shù)E,同時(shí)保持左右子結(jié)點(diǎn)指向以及其他父結(jié)點(diǎn)的分裂參數(shù)不變。在第2步中,算法重定向由父結(jié)點(diǎn)指向子結(jié)點(diǎn)的分支,以此最小化目標(biāo)函數(shù)E。當(dāng)該層參數(shù)不再發(fā)生變化時(shí),算法終止,上層父結(jié)點(diǎn)參數(shù)優(yōu)化完畢。

3 實(shí)驗(yàn)結(jié)果與分析

本文總樣本數(shù)為4 000個(gè),取其中的20%作為測(cè)試樣本。橫向比較了隨機(jī)叢林與隨機(jī)森林在不同訓(xùn)練樣本數(shù)、弱分類(lèi)器個(gè)數(shù)下完成訓(xùn)練所需的空間與時(shí)間消耗,也比較了單獨(dú)使用經(jīng)典深度特征、RGB邊緣特征,以及兩者融合特征下分別使用隨機(jī)叢林和隨機(jī)森林模型進(jìn)行分類(lèi)的平均正確率。

訓(xùn)練數(shù)據(jù)的制作基于CMU的MotionBuilder骨骼數(shù)據(jù)庫(kù)。圖像如圖3所示。

圖3 訓(xùn)練樣本

3.1 測(cè)試樣本比對(duì)

圖4為輸入圖像與輸出圖像對(duì)比。訓(xùn)練結(jié)果1為帶有經(jīng)典深度梯度特征的隨機(jī)森林訓(xùn)練結(jié)果,訓(xùn)練結(jié)果2為深度特征與RGB邊緣特征融合的隨機(jī)森林訓(xùn)練結(jié)果,訓(xùn)練結(jié)果3為深度特征與RGB特征融合的隨機(jī)叢林訓(xùn)練結(jié)果。通過(guò)對(duì)比可以發(fā)現(xiàn),引入RGB特征可以較好地解決誤分類(lèi)中集簇誤分類(lèi)的情況,即不會(huì)在某個(gè)部件中心出現(xiàn)大規(guī)模誤分的情況,而使用隨機(jī)叢林模型可以提高每類(lèi)的平均準(zhǔn)確率。

圖4 輸入圖像與輸出圖像

3.2 訓(xùn)練過(guò)程耗時(shí)對(duì)比

本文的訓(xùn)練采用8棵決策樹(shù)或決策DAG,偏移向量模值取水平和垂直方向上0～100的高斯采樣,決策DAG的合并策略為:

s(D)=min(128,2min(5,D)×1.2max(0,D-5))

為了比對(duì)實(shí)驗(yàn)效果,分別使用500、1 000、2 000、4 000個(gè)訓(xùn)練樣本進(jìn)行訓(xùn)練,測(cè)試了使用深度梯度特征和深度與RGB融合特征下算法迭代完畢所消耗的時(shí)間,結(jié)果如表1、表2所示。

表1 不同深度梯度特征下的訓(xùn)練消耗時(shí)間比較 s

表2 不同深度梯度與RGB特征的訓(xùn)練消耗時(shí)間比較 s

從表1與表2中可以看出,當(dāng)訓(xùn)練樣本較少時(shí),隨機(jī)森林與隨機(jī)叢林模型消耗時(shí)間基本相同,隨著訓(xùn)練樣本的增多,消耗時(shí)間開(kāi)始出現(xiàn)明顯差異,具體原因是隨機(jī)叢林中非葉子結(jié)點(diǎn)數(shù)目開(kāi)始大大減少,待優(yōu)化的參數(shù)數(shù)目顯著降低。

3.3 測(cè)試過(guò)程耗時(shí)對(duì)比

本文選取訓(xùn)練樣本的20%作為測(cè)試樣本,即使用100、200、400、800張深度圖像作為測(cè)試樣例,對(duì)以3.2節(jié)所述參數(shù)訓(xùn)練完成的模型分別計(jì)算完成一幅圖像分類(lèi)所消耗的平均時(shí)間,結(jié)果如表3、表4所示。

表3 不同深度梯度特征下的測(cè)試消耗時(shí)間比較 s

表4 不同深度梯度與RGB特征下訓(xùn)練消耗時(shí)間比較 s

由表4可以看出,使用隨機(jī)叢林結(jié)合深度與RGB特征的方法每秒鐘可以處理15幀左右的圖像,基本可以滿(mǎn)足實(shí)時(shí)性的要求。

3.4 測(cè)試樣本平均分類(lèi)正確率比較

本文考察測(cè)試樣本的平均分類(lèi)正確率,這里給出弱分類(lèi)器數(shù)量分別為4和8的2種情況。在同一坐標(biāo)系下分別比較了單深度特征下隨機(jī)森林(RFD)與隨機(jī)叢林模型(RJD)、單RGB邊緣特征下隨機(jī)森林(RFRGB)與隨機(jī)叢林模型(RJRGB)、深度特征與RGB特征融合下隨機(jī)森林(RFD+RGB)與隨機(jī)叢林模型(RJD+RGB)的測(cè)試分類(lèi)正確率與訓(xùn)練樣本數(shù)量的關(guān)系,如圖5所示。

圖5 測(cè)試樣本分類(lèi)正確率比較

實(shí)驗(yàn)結(jié)果表明,單獨(dú)的RGB邊緣特征幾乎無(wú)法作為分類(lèi)主特征進(jìn)行人體部件分類(lèi),但是與傳統(tǒng)深度特征的融合可以提高分類(lèi)正確率。通過(guò)相同特征的橫向比較也可以發(fā)現(xiàn),使用決策DAG作為弱分類(lèi)器相比較傳統(tǒng)決策樹(shù)也可以提高整體模型的泛化性能。

4 結(jié)束語(yǔ)

本文在傳統(tǒng)深度梯度特征的基礎(chǔ)上,加入RGB邊緣特征,提出一種新的分類(lèi)方法。由此帶來(lái)的特征維度相應(yīng)變高,為了解決傳統(tǒng)隨機(jī)森林在處理高維特征時(shí)內(nèi)存消耗的指數(shù)級(jí)增長(zhǎng),結(jié)合文獻(xiàn)[7,9]中提出決策DAG模型,目的在于降低內(nèi)存成本消耗,從而降低時(shí)間復(fù)雜度。實(shí)驗(yàn)結(jié)果表明,本文方法不僅可以減少算法的運(yùn)行時(shí)間,而且可以提高模型的分類(lèi)正確率。今后將提出改進(jìn)的隨機(jī)叢林模型,使得分類(lèi)耗時(shí)和準(zhǔn)確率上能有進(jìn)一步提高。

[1] DANTONE M,GALL J,LEISTNER C,et al.Human Pose Estimation Using Body Parts Dependent Joint Reg-ressors[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2013:3041-3048.

[2] GIRSHICK R,SHOTTON J,KOHLI P,et al.Efficient Regression of General-activity Human Poses from Depth Images[C]//Proceedings of International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2011:415-422.

[3] YE M,WANG X,YANG R,et al.Accurate 3D Pose Estimation from a Single Depth Image[C]//Proceedings of International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,2011:731-738.

[4] 汪成峰,王 慶,梅樹(shù)立,等.基于插值小波關(guān)鍵幀提取的動(dòng)作評(píng)價(jià)算法[J].計(jì)算機(jī)工程,2017,43(1):309-315.

[5] BREIMAN L.Random Forests[J].Machine Learning,2001,45(1):5-32.

[6] SHOTTON J,FITZGIBBON A,COOK M,et al.Real-time Human Pose Recognition in Parts from Single Depth Images[J].Communications of the ACM,2013,56(1):116-124.

[7] SHOTTON J,NOWOZIN S,SHARP T,et al.Decision Jungles:Compact and Rich Models for Classification[C]//Proceedings of International Conference on Neural Information Processing Systems.New York,USA:ACM Press,2013:234-242.

[8] LEPETIT V,LAGGER P,FUA P.Randomized Trees for Real-time Keypoint Recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2005:775-781.

[9] 郭天楚,吳曉雨,楊 磊,等.基于改進(jìn)的隨機(jī)森林的人體部件識(shí)別[J].中國(guó)傳媒大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,21(5):32-38.

[10] 徐岳峰,周書(shū)仁,王 剛,等.基于深度圖像梯度特征的人體姿態(tài)估計(jì)[J].計(jì)算機(jī)工程,2015,41(12):200-205.

[11] JIU Mingyuan,WOLF C,BASKURT A.Integrating Spatial Layout of Object Parts into Classification Without Pairwise Terms——Application to Fast Body Parts Estimation from Depth Images[C]//Proceedings of International Joint Conference on Computer Vision,Imaging and Computer Graphics Theory and Applications.Berlin,Germany:Springer,2013.

[12] LEPETIT V,PILET J,FUA P.Point Matching as a Classification Problem for Fast and Robust Object Pose Estimation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2004:244-250.

[13] WU Jianxin,GEYER C,REHG J M.Real-time Human Detection Using Contour Cues[C]//Proceedings of IEEE International Conference on Robotics & Automation.Washington D.C.,USA:IEEE Press,2011:860-867.

[14] ZHANG Huigang,WANG Junxiu,BAI Xiao,et al.Object Detection via Foreground Contour Feature Selection and Part-based Shape Model[C]//Proceedings of the 21st International Conference on Pattern Recognition.Washington D.C.,USA:IEEE Press,2012:2524-2527.

[15] SHOTTON J,BLAKE A,CIPOLLA R.Multiscale Categorical Object Recognition Using Contour Fragments[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2008,30(7):1270-81.

[16] BARROW H G,TENENBAUM J M,BOLLES R C,et al.Parametric Correspondence and Chamfer Matching:Two New Techniques for Image Matching[C]//Proceedings of the 5th International Joint Conference on Artificial Intelligence.New York,USA:ACM Press,1977:659-663.