潘　霽　石繁槐

?

基于RGB-D傳感器的人體姿態(tài)估計

潘霽石繁槐

本文提出了一種基于改進(jìn)的樹形圖結(jié)構(gòu)模型的人體姿態(tài)估計方法，利用RGB-D傳感器，將采集到的深度信息加入到人體姿態(tài)估計中。通過使用彩色和深度圖像特征對人體區(qū)域進(jìn)行檢測和預(yù)分割，在此基礎(chǔ)上提出人體深度觀測模型用來改進(jìn)人體表觀模型轉(zhuǎn)換機(jī)制。最后根據(jù)優(yōu)化的圖結(jié)構(gòu)模型估計人體姿態(tài)。由真實(shí)圖像實(shí)驗(yàn)結(jié)果表明，本文方法可以在節(jié)約時間成本的同時提高人體姿態(tài)估計的準(zhǔn)確率。

伴隨人機(jī)交互和視頻監(jiān)控的發(fā)展，人體姿態(tài)估計逐漸成為計算機(jī)視覺領(lǐng)域的一項(xiàng)研究熱點(diǎn)。在人體姿態(tài)估計領(lǐng)域，現(xiàn)有的研究方法大致可分為基于訓(xùn)練學(xué)習(xí)和基于部件模型的方法，基于訓(xùn)練學(xué)習(xí)的方法是以全局人體為導(dǎo)向進(jìn)行建?；蚍指?，其中，Sapp用一個具有代表性的樣例集合來表示姿態(tài)空間，進(jìn)行姿態(tài)估計時尋找與圖像特征最為匹配的樣例去表示姿態(tài)估計結(jié)果，由于人體姿態(tài)變化復(fù)雜，該方法在尋找匹配樣例的部分算法耗時比較多。基于部件模型的方法則是將人體分為若干相互關(guān)聯(lián)的部件，利用關(guān)聯(lián)部件模型表示整個人體。Gaurav Sharma針對靜態(tài)圖像提EPM模型，Eunji Cho在FMM模型的基礎(chǔ)上提出聚合多種姿態(tài)理論，兩種模型針對靜態(tài)圖像有很好的準(zhǔn)確度，但在對于視頻場景中的應(yīng)用卻有局限。Ferrari提出了基于圖結(jié)構(gòu)模型的人體姿態(tài)估計方法，提高了人體姿態(tài)估計的準(zhǔn)確率，但計算人體表觀模型仍然用時較多。此外，還有學(xué)者從粒子的角度將姿態(tài)估計問題從二維空間聚合到三維空間，進(jìn)而實(shí)現(xiàn)三維人體姿態(tài)重建。

本文在Ferrari的基礎(chǔ)上做出改進(jìn)，研究人體上半身姿態(tài)估計，提出了一種基于彩色和深度信息的人體姿態(tài)估計方法。首先根據(jù)彩色和深度圖像的相關(guān)特征，對人體區(qū)域進(jìn)行檢測和預(yù)分割；其次，提出人體深度觀測模型來改善人體的表觀模型；最后，優(yōu)化圖結(jié)構(gòu)模型并估計出人體姿態(tài)。真實(shí)圖像實(shí)驗(yàn)結(jié)果表明本文所提方法可以實(shí)現(xiàn)魯棒且可靠的人體姿態(tài)估計。

基于彩色和深度信息的人體上半身區(qū)域分割

為了減少后期人體搜索成本，首先對前景進(jìn)行預(yù)分割。本文通過加入深度圖像特征，使得在分割人體區(qū)域的同時得到不同部件間的空間結(jié)構(gòu)約束。首先利用AdaBoost算法和HOG特征訓(xùn)練人臉和手部檢測器，將檢測到的人臉和手部區(qū)域用矩形框標(biāo)記在對應(yīng)的深度和彩色圖像中，構(gòu)成圖像的ROI （Region of Interesting）。此時深度圖像記為D ， F則表示候選人臉和手部序列對。最后本文提出最優(yōu)區(qū)域搜索算法，通過結(jié)合人體分布特征以及深度信息確定人體的最佳區(qū)域，并最終提取出人的上半身輪廓。最優(yōu)區(qū)域搜索算法的具體步驟如算法1所示

算法1：最優(yōu)區(qū)域搜索算法

屬于同一主體的臉和手在圖像的位置分布上具有一定的相關(guān)性，利用相關(guān)性特征可以排除一些非同一主體的ROI。本文提出相關(guān)性函數(shù)用來判定人臉和手的相關(guān)性，記為，表達(dá)式如下：

其中分別表示像素在深度圖像中的位置和深度值。根據(jù)式（1）選出符合條件的人臉手部序列對，我們定義最優(yōu)ROI能量函數(shù)Score來確定最佳的人臉和手部ROI，其中Score可由下式計算獲得：

通過計算人體深度距離范圍和最優(yōu)的ROI區(qū)域可以分割出上半身人體區(qū)域。為了確保搜索的準(zhǔn)確性，本文對人體區(qū)域做相應(yīng)比例擴(kuò)大并歸一化到標(biāo)準(zhǔn)尺寸，記為W。最后，本文利用GrabCut分割算法對區(qū)域W作前景提取，進(jìn)一步去除部分背景干擾。圖1為一個人體上半身分割的過程示例。

圖1　人體上半身區(qū)域分割過程示例

人體姿態(tài)估計

基于圖結(jié)構(gòu)模型的人體姿態(tài)估計

本文將人體上半身劃分為6個部件：頭，軀干，左上臂、右上臂、左下臂、右下臂。使用無向圖來表示上半身結(jié)構(gòu)，不同的節(jié)點(diǎn)即代表不同的身體部件。每個節(jié)點(diǎn)用矩形框表示，記為其中表示部件的位置，d表示部件的深度值，θ表示矩形方向。對于某一幅圖像I，人體的姿態(tài)可以定義為。經(jīng)過上一步的預(yù)處理，我們分割了人體區(qū)域，同時也獲得頭部和下臂的空間分布約束關(guān)系。本文將頭與下臂的約束加入到圖結(jié)構(gòu)模型中，重新定義文獻(xiàn)中的人體姿態(tài)后驗(yàn)概率項(xiàng)：

人體表觀模型

與相同，人體表觀模型是根據(jù)初始表觀模型和表觀模型轉(zhuǎn)換機(jī)制估計得到。初始表觀模型則是經(jīng)先驗(yàn)分割計算獲取，之后再由表觀模型轉(zhuǎn)換機(jī)制來修正初始表觀模型，最后獲得不同部件i的表觀模型和背景模型，分別記為。根據(jù)貝葉斯公式 （5）計算出不同像素點(diǎn)屬于部件i的概率，用來計算式（4）中的：

改進(jìn)的人體表觀模型轉(zhuǎn)換機(jī)制

為了得到更加精確的人體表觀模型，本文在文獻(xiàn)的基礎(chǔ)上加入人體深度觀測模型。人體深度觀測模型是根據(jù)檢測到主體區(qū)域以及其所在的深度范圍所確定的，用DM表示。使用深度直方圖模型，將深度范圍分為256份，定義每份深度為d。在計算觀測模型之前，需要將主體區(qū)域的深度值根據(jù)深度范圍進(jìn)行歸一化處理。改進(jìn)后的人體各部件的表觀模型可以表達(dá)為：

實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)使用兩個不同的數(shù)據(jù)集來評估本文的算法：DGait database和本文作者實(shí)驗(yàn)室數(shù)據(jù)集，下文記為A和B數(shù)據(jù)集，其中分別在DGait database取20組人物（1000張）圖像對，實(shí)驗(yàn)室數(shù)據(jù)集取9組人物（450張）圖像對（圖像對是指對應(yīng)的彩色和深度圖），兩個數(shù)據(jù)集都是通過kinect設(shè)備采集。本文采用PCP （Percentage of Correctly estimated body Parts）評估準(zhǔn)則，分別測算不同部件被正確估計的百分比。根據(jù)PCP準(zhǔn)則定義，如果部件估計所得位置與其真實(shí)標(biāo)記區(qū)域重合度高于50%，即認(rèn)為該部件被正確估計。本文硬件環(huán)境為Intel Core i5 CPU， 4GB內(nèi)存。

實(shí)驗(yàn)結(jié)果與分析

本文根據(jù)不同的數(shù)據(jù)集和不同方法做了對比實(shí)驗(yàn)，如圖2所示， （a）是應(yīng)用Ferrari方法的結(jié)果示例，（b）是應(yīng)用Wang方法的結(jié)果示例， （c）是應(yīng)用本文方法的結(jié)果示例。通過觀察發(fā)現(xiàn)，因?yàn)楣饩€或者手臂活動等原因，前景很容易受到背景干擾，本文在增加了深度信息后，彌補(bǔ)了Ferrari 和Wang 方法的不足，得到了更加準(zhǔn)確的人體姿態(tài)估計結(jié)果。表1列出了不同方法在六個部件上的定量PCP值和算法耗時，可以看出，本文的方法在六個部位上都取得了最高的PCP值，平均耗時也是最少的。說明通過加入深度信息，可以有效提高人體姿態(tài)估計的準(zhǔn)確率，并且減少后期人體搜索的成本。此外，本文在生成人體表觀模型時，直接使用深度觀測模型生成最終的表觀模型，得到如圖3的實(shí)驗(yàn)結(jié)果，從實(shí)驗(yàn)結(jié)果可以看出，僅僅利用深度特征是不能提供足夠的區(qū)別性的信息，證明了彩色圖像特征在人體姿態(tài)估計中的重要性。

圖2　不同數(shù)據(jù)集中部分樣本的人體姿態(tài)估計結(jié)果

表1　人體姿態(tài)估計在不同數(shù)據(jù)集的PCP Value

結(jié)束語

基于RGB-D傳感器，本文提出了一種基于改進(jìn)的圖結(jié)構(gòu)模型的人體姿態(tài)估計方法，通過對人體上半身的預(yù)分割以及加入深度觀測模型，得到更加魯棒的人體姿態(tài)估計結(jié)果。實(shí)驗(yàn)結(jié)果表明，與Ferrari等人提出的算法相比，本文的方法可以得到較高的姿態(tài)估計準(zhǔn)確率，并且減少了時間成本。因?yàn)楸疚牡姆椒ê艽蟪潭鹊囊蕾嚾四樅褪植康恼_檢測，所以在未來的研究中，我們將優(yōu)化算法，加入更多的人體信息特征。

潘 霽 石繁槐

同濟(jì)大學(xué)電子與信息工程學(xué)院

潘霽（1993-）女，碩士研究生，主要研究領(lǐng)域?yàn)橛嬎銠C(jī)視覺與模式識別；石繁槐（1974-）男，博士，副教授，主要研究領(lǐng)域?yàn)橛嬎銠C(jī)視覺與模式識別。

10.3969/j.issn.1001-8972.2016.01.015