徐岳峰，周書(shū)仁，王 剛，佘凱晟

（長(zhǎng)沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院，長(zhǎng)沙410004）

1 概述

人體姿態(tài)估計(jì)是計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域下的一個(gè)重點(diǎn)研究課題，該課題是估計(jì)圖像以及視頻序列中的人體各個(gè)部位的位置［1］。然而由于現(xiàn)實(shí)生活中人體姿態(tài)是多種多樣的，以及測(cè)試環(huán)境的復(fù)雜程度，導(dǎo)致了在人體姿態(tài)估計(jì)中有遮擋和自遮擋、服裝和噪聲的干擾、姿態(tài)多樣性等一系列問(wèn)題，從而使得人體姿態(tài)估計(jì)在準(zhǔn)確率和魯棒性上無(wú)法得到顯著地提高，因此人體姿態(tài)估計(jì)是一個(gè)具有挑戰(zhàn)性的課題。

在研究方向方法，一部分學(xué)者是通過(guò)將人體分為多個(gè)部件組合成為模型，通過(guò)部件檢測(cè)器檢測(cè)部件的位置進(jìn)行人體部件之間的概率計(jì)算，從而對(duì)圖像中的人體進(jìn)行姿態(tài)估計(jì)。1973年，F(xiàn)ischler和Elschlager提出了圖模型結(jié)構(gòu)［2］，為后來(lái)的學(xué)者在人體姿態(tài)估計(jì)奠定了基礎(chǔ)。Sapp提出了適用于人體姿態(tài)估計(jì)的級(jí)聯(lián)圖模型結(jié)構(gòu)［3］以及后期提出的3D圖結(jié)構(gòu)模型［4］都是基于這一理論。隨后又有多種人體姿態(tài)估計(jì)的人體模型提出，文獻(xiàn)［5］結(jié)合圖像形態(tài)學(xué)提出了一種新的鉸接式人體姿態(tài)模，以及文獻(xiàn)［6］提出基于關(guān)節(jié)點(diǎn)檢測(cè)的鉸接式人體模型（Articulated Part－based Model，APM）和文獻(xiàn)［7］提出的人體部件集合的擴(kuò)展式人體模型（Expanded Parts Model，EPM）。同時(shí)國(guó)內(nèi)學(xué)者也在這個(gè)方向做出了自己的貢獻(xiàn)，文獻(xiàn)［8］提出基于先驗(yàn)分割的外觀轉(zhuǎn)換人體姿態(tài)估計(jì)模型，以及文獻(xiàn)［9］利用方向梯度直方圖（Histogram of Oriented Gradient，HOG）優(yōu)化后的人體姿態(tài)模型。另外也有部分學(xué)者從無(wú)模型的角度出發(fā)對(duì)人體姿態(tài)估計(jì)這一問(wèn)題進(jìn)行了探索。這種方法是通過(guò)對(duì)每張圖像的像素點(diǎn)進(jìn)行分析，通過(guò)先進(jìn)的特征提取方法來(lái)估計(jì)人體部件的位置。2005年，文獻(xiàn)［10］提出了一種基于新式圖像矩的無(wú)模型人體姿態(tài)估計(jì)方法。由于當(dāng)時(shí)硬件條件不夠發(fā)達(dá)，這一方法并沒(méi)有得到廣泛的應(yīng)用。然而隨著微軟公司在2010年推出的Kinect，使得深度相機(jī)得到了廣泛的使用。進(jìn)一步使得基于深度圖像的無(wú)模型人體姿態(tài)估計(jì)又成為了熱點(diǎn)。文獻(xiàn)［11］提出一種高效的方法將深度圖像人體姿態(tài)估計(jì)回歸到常見(jiàn)的人體姿態(tài)運(yùn)動(dòng)中，以及新的3D人體姿態(tài)估計(jì)方法都為后期學(xué)者們的探索奠定了基礎(chǔ)。同時(shí)國(guó)內(nèi)學(xué)習(xí)者也在深度信息在姿態(tài)估計(jì)方面進(jìn)行了研究，文獻(xiàn)［12］提出的基于部件位置及尺寸特征的人體姿態(tài)估計(jì)方法，以及文獻(xiàn)［13］提出的深度圖像的差分特征都在該方面有較好表現(xiàn)。本文以深度圖像為基礎(chǔ)，結(jié)合深度特征提取方法［14］和GoD特征提取方法，提出一種新的人體姿態(tài)估計(jì)方法。

2 深度圖像

深度信息是指通過(guò)深度相機(jī)所得的數(shù)據(jù)，記錄的是場(chǎng)景空間中物體所在平面與深度相機(jī)所在平面之間的距離。深度圖像是指通過(guò)將深度相機(jī)所得的深度信息進(jìn)行矯正和定標(biāo)后所得的圖像。也就是說(shuō)深度圖像中的像素點(diǎn)所記錄的是圖像中的點(diǎn)在場(chǎng)景空間中與相機(jī)之間的距離。將深度圖像中的每個(gè)像素點(diǎn)的深度信息提取出來(lái)進(jìn)行計(jì)算，就可以對(duì)圖像進(jìn)行特征提取。

3 特征提取

由于深度圖像記錄的是場(chǎng)景中的距離信息，因此與傳統(tǒng)的RGB圖像相比具有更好的不變性、抗干擾能力以及解決了輪廓模糊的問(wèn)題。因?yàn)楹蛡鹘y(tǒng)的圖像記錄的信息不同，所以傳統(tǒng)的圖像特征提取方法并不一定能很好地適應(yīng)深度圖像。如何能有效地利用深度信息是近年來(lái)學(xué)者們所面臨的問(wèn)題。

3．1 傳統(tǒng)的圖像梯度特征

傳統(tǒng)的RGB圖像中圖像梯度是用于描述灰度值的變化率。圖像梯度值G（x，y）定義如下：

I（i，j）為圖像在點(diǎn)（i，j）處的像素值。這個(gè)圖像梯度特征在RGB圖像中有著廣泛的應(yīng)用，后期的多種特征提取方法都與之相關(guān)如尺度不變特征變換（Scale Invariant Feature Transform，SIFT）方法。

3．2 深度圖像的方向梯度特征

由于深度圖像時(shí)記錄場(chǎng)景空間中物體與深度相機(jī)之間的距離，通過(guò)簡(jiǎn)單的圖像梯度計(jì)算和求梯度的反正切值可以得到像素點(diǎn)所在平面與深度相機(jī)所在平面的夾角關(guān)系，即深度圖像的方向梯度特征（Directional Gradient of Depth，DGoD）定義如下：

其中，p（x，y）是深度圖像中在位置為X列Y行處的深度值。方向梯度的取值范圍是［0°，360°］范圍內(nèi)的一個(gè)值。當(dāng)像素點(diǎn)落在同一平面內(nèi)的時(shí)候具有相同的方向梯度。若不在同一平面則有不同的方向梯度。但是在計(jì)算方向梯度有以下2種特殊的情況：

（1）dx＝0＆dy＝0；

（2）dx≠0＆dy＝0。

在上面2種情況下式（4）都等于0。但是2種情況所代表的平面是不相同的，如圖1所示。

圖1 方向梯度特征的特殊情況

圖中平面b在水平和垂直方向都與深度相機(jī)所在平面平行（特殊情況（1）），即dx和dy同時(shí)等于0，則本文將方向梯度置為0。當(dāng)dx不等于0而dy等于0的情況下如圖1中平面a和c表示在垂直方向與相機(jī)所在平面平行，方向梯度的大小只與dx有關(guān)（特殊情況（2））。所以當(dāng)dx大于0時(shí)，方向梯度為360°。當(dāng)dx小于0時(shí)，方向梯度為180°。

3．3 DGoD特征的優(yōu)化

在深度相機(jī)中，由于物體與相機(jī)之間的距離過(guò)近，可能會(huì)導(dǎo)致深度圖像中的相鄰像素點(diǎn)在空間場(chǎng)景中的實(shí)際位置相鄰較近時(shí)，使得相鄰像素點(diǎn)之間的深度值幾乎相等。導(dǎo)致前面所說(shuō)的特殊情況（1）和特殊情況（2）大幅增加。為了避免這種情況的發(fā)生本文提出優(yōu)化后的DGoD特征描述子：

其中，i為步長(zhǎng)，取值范圍為（i，imax），imax是i的最大取值。當(dāng)dx＝0＆dy＝0或者dx≠0＆dy＝0的情況出現(xiàn)時(shí)，i進(jìn)行自加1，使得步長(zhǎng)變長(zhǎng)，將新的i值代入式（5）重新計(jì)算DGoD特征值。當(dāng)i＝imax時(shí)，若dx＝0＆dy＝0或者dx≠0＆dy＝0仍然出現(xiàn)。這時(shí)將依照式（4）中說(shuō)所的方法對(duì)DGoD特征進(jìn)行賦值。DGoD特征計(jì)算流程如圖2所示。

圖2 DGoD特征提取流程

就上半身人體姿態(tài)估計(jì)而言，人體分為軀干（包括頭部）、左右上下臂，以及左右手手掌7個(gè)部件，由于各部件之間通過(guò)關(guān)節(jié)點(diǎn)連接，而部件內(nèi)部無(wú)關(guān)節(jié)點(diǎn)，因此同一部件內(nèi)部的點(diǎn)處于同一空間平面中，但是不同部件內(nèi)部的點(diǎn)可能位于不同平面（如圖3（a）中的左下臂），也可能處于同一平面（如圖3（b）中的左下臂）。由于DGoD特征在處理部件內(nèi)部的點(diǎn)的分類具有較為明顯的優(yōu)勢(shì)，然而無(wú)法處理部件與部件之間的點(diǎn)的分類。所以，需要梯度特征中的量級(jí)梯度來(lái)解決這一問(wèn)題。

圖3 人體部件示意圖

3．4 傳統(tǒng)的深度圖像量級(jí)梯度特征

傳統(tǒng)的深度圖像量級(jí)梯度（Magnitude Gradient of Depth，MGoD）定義式為：

其中，p（x，y）代表深度圖像中在位置為X列Y行處的深度值。MGoD的值為該點(diǎn)與領(lǐng)域點(diǎn)深度值的歐氏距離。

對(duì)于人體估計(jì)這一問(wèn)題而言，很明顯傳統(tǒng)的MGoD不具有很好的表現(xiàn)。為了解決這一問(wèn)題，本文將引入文獻(xiàn)［11］方法對(duì)MGoD進(jìn)行重新定義。

3．5 優(yōu)化的深度圖像量級(jí)梯度特征

本文將深度圖像的量級(jí)梯度MGoD在一個(gè)已知像素點(diǎn)p處定義為：

其中，MGoD（I，x）表示深度圖像I中位置為x 的像素點(diǎn)的量級(jí)梯度特征值；d（·）為該點(diǎn)的深度信息；u和v分別為x點(diǎn)在水平和垂直方向的偏移量。

圖4展示了MGoD特征提取的過(guò)程。其中，黑點(diǎn)為是位置為x的像素點(diǎn)；白點(diǎn)為偏移后的對(duì)比點(diǎn)。分別提取兩點(diǎn)的深度值進(jìn)行相減可得該點(diǎn)的三維MGoD特征值。如圖4（a）所示，向上的偏移量方向在發(fā)現(xiàn)人體的頂部時(shí)具有較大反應(yīng)，而向左和向右的偏移量在發(fā)現(xiàn)人體的豎直結(jié)構(gòu)時(shí)擁有較大反應(yīng)。由圖4（a）可知，當(dāng)x位于部件內(nèi)部時(shí)，MGoD特征值給出的反應(yīng)較小使得容易與背景混淆。所以，MGoD特征可以很好地彌補(bǔ)DGoD特征在處理不同部件位于同一平面的問(wèn)題，同時(shí)，DGoD特征也彌補(bǔ)了MGoD特征的部件內(nèi)部與背景混淆的問(wèn)題。

圖4 MGoD特征提取示意圖

4 隨機(jī)森林的優(yōu)化及姿態(tài)估計(jì)

隨機(jī)森林［15］利用多棵相互獨(dú)立的決策樹(shù)對(duì)同一分類問(wèn)題進(jìn)行投票，分類結(jié)果是待分類對(duì)象屬于所得票數(shù)最高的分類。隨機(jī)森林中決策樹(shù)的建立是通過(guò)利用“bagging”的方法建立n個(gè)數(shù)據(jù)子集，然后利用所建立的每個(gè)數(shù)據(jù)子集建立一棵決策樹(shù)。對(duì)于每一棵決策樹(shù)而言就存在參與建立隨機(jī)森林的數(shù)據(jù)子集稱為In－of－Bag數(shù)據(jù)。而沒(méi)有參與決策樹(shù)建立的數(shù)據(jù)子集稱為Out－of－Bag數(shù)據(jù)。

在實(shí)驗(yàn)過(guò)程中，先設(shè)定決策樹(shù)的數(shù)目N進(jìn)行投票決策，但是決策樹(shù)的數(shù)目過(guò)少則會(huì)減低準(zhǔn)確率，而決策樹(shù)的數(shù)目過(guò)多會(huì)使得運(yùn)行效率減低。因此，本文在盡可能多建立決策樹(shù)的情況下如何選取決策樹(shù)和控制決策樹(shù)的數(shù)量做出了一定的優(yōu)化。優(yōu)化方法步驟如下：

Step1建立N棵決策樹(shù)。產(chǎn)生對(duì)于每棵樹(shù)的In－of－Bag數(shù)據(jù)和 Out－of－Bag數(shù)據(jù)。

Step2對(duì)于每棵樹(shù)進(jìn)行一次測(cè)評(píng)。測(cè)評(píng)的標(biāo)準(zhǔn)為隨機(jī)選取一定量的每棵樹(shù)的Out－of－Bag數(shù)據(jù)，如果該決策樹(shù)對(duì)該數(shù)據(jù)的分類結(jié)果為正確，則對(duì)該決策樹(shù)投贊成票。

Step3將該決策樹(shù)所得的總票數(shù)作為權(quán)重賦予該決策樹(shù)，并將所有決策樹(shù)按照權(quán)重由大到小進(jìn)行排列。

Step4預(yù)測(cè)階段使用前a棵決策樹(shù)進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果為v1。

Step5使用a＋b棵樹(shù)進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果為v2。

Step6將v1，v2做差值計(jì)算，當(dāng)時(shí)（c為人工設(shè)定的閾值），將v2作為預(yù)測(cè)結(jié)果。若，則重復(fù)Step5和Step6直到a＋b＝N。

在上述GoD特征以及隨機(jī)森林的優(yōu)化方法的基礎(chǔ)上按照?qǐng)D5所示的流程進(jìn)行人體姿態(tài)估計(jì)。

圖5 人體姿態(tài)估計(jì)示意圖

5 實(shí)驗(yàn)結(jié)果與分析

利用上述方法進(jìn)行實(shí)驗(yàn)。目前沒(méi)有公認(rèn)的深度圖像在人體姿態(tài)估計(jì)中的通用的數(shù)據(jù)集，所以，本文選取RGBD－GroundT－ruth樣本庫(kù)進(jìn)行實(shí)驗(yàn)，樣本庫(kù)共有492幅分辨率為480×640像素的圖像，按照人物分為3類，且每一類圖像都包含由同一人物所做出的連續(xù)動(dòng)作（主要包括頭和軀干的扭動(dòng)及手和手臂的轉(zhuǎn)動(dòng)）。本文分別在不同方法對(duì)比、魯棒性對(duì)比、改進(jìn)方法不同的imax對(duì)比、改進(jìn)的MGoD與傳統(tǒng)的MGoD對(duì)比，及8隨機(jī)森林優(yōu)化前后耗時(shí)對(duì)比方面進(jìn)行了5組實(shí)驗(yàn)。

5．1 不同實(shí)驗(yàn)方法效果對(duì)比

圖6中軀干部和手臂部分都出現(xiàn)了錯(cuò)誤識(shí)別的情況。

右邊的效果圖出現(xiàn)了將手掌與背景的錯(cuò)誤識(shí)別，3幅圖像的軀干部都有大面積將軀干錯(cuò)誤分為背景的情況。第3行為本文方法，由圖6可知上述的軀干部的大面積錯(cuò)誤識(shí)別得到了解決。同時(shí)并沒(méi)有整個(gè)部件的錯(cuò)分。具體實(shí)驗(yàn)對(duì)比效果如圖7所示。

圖7 深度特征提取實(shí)驗(yàn)效果

圖7分析證明了GoD特征很好地解決了文獻(xiàn)［11］中特征部件內(nèi)部的點(diǎn)反應(yīng)較小的問(wèn)題。同時(shí)，各個(gè)部件并未出現(xiàn)整個(gè)部件的錯(cuò)誤識(shí)別，解決了單一的梯度方向特征無(wú)法區(qū)分不同部件位于同一平面的問(wèn)題。

5．2 不同方法魯棒性對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文方法在姿態(tài)估計(jì)的識(shí)別率上的有效性，將本文方法與文獻(xiàn)［11］的方法對(duì)于GBDGroundTruth樣本庫(kù)中的400幅圖像的正確率進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖8所示。雖然在圖中2條線走勢(shì)相似，但是實(shí)線明顯一直處于虛線上方，并且虛線跳變較大，最高可達(dá)95%最低不到91%，而實(shí)線基本維持在96%～97%之間。證明了本文方法不僅在識(shí)別率上明顯提高，而且在魯棒性上也有著較大提高。

圖8 正確率對(duì)比

5．3 改進(jìn)DGoD方法對(duì)比

為了驗(yàn)證本文方法的有效性，選取樣本庫(kù)中的一部分圖像進(jìn)行實(shí)驗(yàn)，在imax值為1（即不加入優(yōu)化方法），和imax的取值范圍為1～20進(jìn)行部分樣本圖像的平均正確率的比較，結(jié)果如圖9所示。

圖9 imax的取值對(duì)圖像正確率的影響

由圖9可見(jiàn)在imax為1時(shí)，平均正確率為最低。隨著imax的增加平均正確率不斷增加，在imax＞6時(shí)，曲線趨于平穩(wěn)?？芍獌?yōu)化方法較為有效，在平均正確率上提高了將近1%。該效果明顯的原因可能是RGBD－GroundTruth樣本集中樣本圖像大多都是正面對(duì)著相機(jī)，使得空間平面中與相機(jī)處于同一平面的點(diǎn)的概率增加。

5．4 改進(jìn)的MGoD與傳統(tǒng)的MGoD對(duì)比

為了驗(yàn)證本文改進(jìn)的MGoD對(duì)實(shí)驗(yàn)結(jié)果的影響，在同時(shí)都選用同樣為優(yōu)化后的DGoD后，進(jìn)行了與傳統(tǒng)MGoD的實(shí)驗(yàn)效果比較，如圖10所示。由圖10可以看出，傳統(tǒng)MGoD雖然在部件內(nèi)部未出現(xiàn)大面積的背景錯(cuò)分，但是在部件的區(qū)分上只有少部分的部件邊緣區(qū)分正確。將大部分部件都分為了軀干部分。所以，傳統(tǒng)的MGoD不能夠滿足人體姿態(tài)估計(jì)這一復(fù)雜的問(wèn)題。

圖10 傳統(tǒng)MGoD實(shí)驗(yàn)效果

5．5 隨機(jī)森林的優(yōu)化前后耗時(shí)對(duì)比

為了驗(yàn)證本文中隨機(jī)森林的優(yōu)化效果，設(shè)計(jì)了隨機(jī)森林的檢測(cè)階段優(yōu)化前與優(yōu)化后所用時(shí)間的比較，如表1所示。

表1 隨機(jī)森林優(yōu)化前與優(yōu)化后運(yùn)行時(shí)間對(duì)比 s

由表1可知，優(yōu)化后的隨機(jī)森林在測(cè)試階段的時(shí)間開(kāi)銷(xiāo)有所降低，特別是在隨機(jī)森林的決策樹(shù)數(shù)量過(guò)多的情況下，時(shí)間開(kāi)銷(xiāo)降低得更為明顯。并且由于有決策樹(shù)的權(quán)重排列，使得在正確率方面沒(méi)有明顯降低，只在400幅圖像的平均正確率上降低了0．1%左右?？梢?jiàn)該優(yōu)化方法是非常有效的。

6 結(jié)束語(yǔ)

本文在深度信息的特征提取方面提出了新的方法，并且對(duì)隨機(jī)森林分類器進(jìn)行了改進(jìn)。實(shí)驗(yàn)結(jié)果表明，該方法的準(zhǔn)確性較高，并且有著較好的魯棒性。但是就姿態(tài)估計(jì)這一問(wèn)題而言，任何方法都無(wú)法達(dá)到完美的效果。由于受到分類器的局限，運(yùn)行效率并沒(méi)有達(dá)到在實(shí)際生活中運(yùn)用的標(biāo)準(zhǔn)，今后仍需在分類器的選擇和優(yōu)化上做進(jìn)一步研究。

［1］Poppe R．Vision－based Human Motion Analysis：An Overview ［J］． Computer Vision ＆ Image Understanding，2007，108（1／2）：4－18．

［2］Fischler M A，Elschlager R A．The Representation and Matching of Pictorial Structures ［J］．IEEE Transactions on Computers，1973，22（1）：67－92．

［3］Sapp B，Toshev A，Taskar B．Cascaded Models for Articulated Pose Estimation［C］／／Proceedings of ECCV’10．Berlin，Germany：Springer－Verlag，2010：1357－1365．

［4］Belagiannis V，Wang X，Schiele B，et al．Multiple Human Pose Estimation with Temporally Consistent 3DPictorial Structures［C］／／Proceedings of European Conference on Computer Vision．Zurich，Switzerland：［s．n．］，2014：742－754．

［5］Pishchulin L，Jain A，Andriluka M，et al．Articulated People Detection and Pose Estimation：Reshaping the Future［C］／／Proceedings of IEEE Conference on Computer Vision and Pattern Recognition．Washington D．C．，USA：IEEE Press，2012：3178－3185．

［6］Sun M，Savarese S．Articulated Part－based Model for Joint Object Detection and Pose Estimation［C］／／Proceedings of IEEE International Conference on Computer Vision．Washington D．C．，USA：IEEE Press，2011：723－730．

［7］Sharma G，Jurie F，Schmid C．Expanded Parts Model for Human Attribute and Action Recognition in Still Images［C］／／Proceedings of IEEE Conference on Computer Vision and Pattern Recognition．Washington D．C．，USA：IEEE Press，2013：652－659．

［8］李少波，趙毅夫，趙群飛，等．機(jī)器人的人體姿態(tài)動(dòng)作識(shí)別與模仿算法［J］．計(jì)算機(jī)工程，2013，39（8）：181－186．

［9］Ahri O，Chaumette F． Complex Objects Pose Estimation Based on Image Moment Invariants［C］／／Proceedings of IEEE International Conference on Robotics and Auto－mation．Washington D．C．，USA：IEEE Press，2005：436－441．

［10］Girshick R，Shotton J，Kohli P，et al．Efficient Regression of General－activity Human Poses from Depth Images［C］／／Proceedings of IEEE International Conference on Computer Vision．Washington D．C．，USA：IEEE Press，2011：415－422．

［11］Ye M，Wang X，Yang R，et al．Accurate 3dPose Estimation from a Single Depth Image［C］／／Proceedings of IEEE International Conference on Computer Vision．Washington D．C．，USA：IEEE Press，2011：731－738．

［12］趙文闖，程 俊．深度圖像中基于部位位置及尺寸的人體識(shí)別方法［J］．集成技術(shù)，2012，1（3）：10－14．

［13］殷海艷，劉 波．基于部位檢測(cè)的人體姿態(tài)識(shí)別［J］．計(jì)算機(jī)工程與設(shè)計(jì)，2013，（10）：3540－3544．

［14］Shotton J，Sharp T，Kipman A，et al．Real－time Human Pose Recognition in Parts from Single Depth Images［J］．Communications of the ACM，2013，56（1）：116－124．

［15］Breiman L．Random Forests［J］．Machine Learning，2001，45（1）：5－32．