張小蒙， 方賢勇， 汪粼波， 田利利， 孫有為

(安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院媒體計(jì)算研究所，安徽 合肥 230601)

從圖像或視頻序列中恢復(fù)人體模型的重建技術(shù)，可以應(yīng)用到電影、游戲[1]和虛擬試衣等多個(gè)領(lǐng)域。本文通過(guò)改進(jìn)基于分段鉸鏈變換的人體重建技術(shù)對(duì)著裝寬松衣服下的人體模型恢復(fù)問(wèn)題進(jìn)行了研究。

近些年，研究人員采用多視角、多相機(jī)[2]的方法，或采用單幅 RGB圖[3]進(jìn)行估計(jì)的簡(jiǎn)單方式獲取待建人體模型數(shù)據(jù)信息。多視角方式的不足為，多相機(jī)不能協(xié)同工作，較大的誤差可導(dǎo)致重建結(jié)果失敗。而單幅圖像的方法則相對(duì)部署簡(jiǎn)單，不存在協(xié)同問(wèn)題，是本文感興趣的技術(shù)。

但現(xiàn)有的單幅圖像方法常常因?yàn)槭直邸⒁路葘?duì)身體部位的遮擋以及因視角產(chǎn)生的自我身體遮擋而無(wú)法準(zhǔn)確進(jìn)行關(guān)節(jié)檢測(cè)，從而導(dǎo)致骨骼追蹤失敗和變形區(qū)域的畸變，難以恢復(fù)完整人體模型。在已有的方法中，基于分段回歸的(piecewise regression，PR)的剛性配準(zhǔn)技術(shù)[4]雖然能夠很好地展示出鉸鏈模型的優(yōu)勢(shì)，但難以處理柔性人體中的關(guān)節(jié)、模型姿勢(shì)變化和高維人體模型數(shù)據(jù)問(wèn)題。因此，結(jié)合基于分段鉸鏈變換模型，通過(guò)關(guān)節(jié)連接2個(gè)剛體部分，并允許兩者之間做轉(zhuǎn)動(dòng)操作，在前項(xiàng)分段回歸(FPR-PEM)算法驅(qū)動(dòng)下，最大角度調(diào)節(jié)各肢體姿勢(shì)，并在高維數(shù)據(jù)上具有很出色的表現(xiàn)。在此基礎(chǔ)上，提出了基于單幅圖像的人體重建方法，最大程度減少了關(guān)節(jié)在轉(zhuǎn)動(dòng)時(shí)產(chǎn)生的畸變。該方法利用人體2D關(guān)節(jié)標(biāo)簽和3D人體骨架互補(bǔ)的優(yōu)勢(shì)，實(shí)現(xiàn)更加準(zhǔn)確的3D建模。

目前三維重建領(lǐng)域已有許多獲取自由變形的物體模型方法，如線性變分變形、變形圖、子空間變形、關(guān)節(jié)變形、4D時(shí)空表面、不可壓縮流、動(dòng)畫(huà)制圖[5]、準(zhǔn)剛性運(yùn)動(dòng)和方向場(chǎng)等等。這些技術(shù)常用于多幅圖像、視頻(多視點(diǎn))或單幅圖像(單視點(diǎn))等的人體3D重建。

多視點(diǎn)方法：多視點(diǎn)提供了更多的互補(bǔ)數(shù)據(jù)，可以顯著降低噪聲和遮擋的影響，因此可以有效地解決三維人體重建數(shù)據(jù)信息缺失問(wèn)題。早期的方法[6]需要數(shù)小時(shí)的處理時(shí)間，并且對(duì)于相機(jī)的安裝擺放和校準(zhǔn)都有較高的要求，因此不適合日常使用。新近的方法[7]具有較好的性能，但仍然需要大量的處理時(shí)間；另外，對(duì)于硬件和軟件的要求也非常高。多臺(tái)深度相機(jī)的方法也獲得了較好的實(shí)驗(yàn)結(jié)果，但需要專門(mén)配備具有深度成像功能的相機(jī)。

單視點(diǎn)方法：GUAN等[8]根據(jù)用戶提供的RGB圖像結(jié)合SCAPE模型估計(jì)初始3D人體的姿態(tài)和形狀，并結(jié)合輪廓、邊距等信息對(duì)身體形狀進(jìn)行高度約束估計(jì)，實(shí)現(xiàn)3D人體模型提取。CHEN等[9]采用 2個(gè)階段的方法：①學(xué)習(xí)人體形狀、姿態(tài)和衣服的訓(xùn)練數(shù)據(jù)集；②通過(guò)指定服裝類型和2D關(guān)節(jié)點(diǎn)，以平均形狀初始化模型生成初始3D人體形狀，再結(jié)合二維輪廓信息迭代優(yōu)化參數(shù)進(jìn)行模型匹配。蔡青宏[10]通過(guò) Kinect采集人體正面數(shù)據(jù)，以包圍盒作為約束參照，統(tǒng)一點(diǎn)云與模型高度。首先將模型與點(diǎn)云進(jìn)行粗略的配準(zhǔn)，然后使用法向量約束確立對(duì)應(yīng)關(guān)系，最后使用蒙皮技術(shù)進(jìn)行進(jìn)一步擬合。

近年，基于深度學(xué)習(xí)的單幀圖像恢復(fù)人體模型的方法越來(lái)越多。通常采用給定的二維彩色圖像和SMPL模型，經(jīng)過(guò)網(wǎng)絡(luò)指導(dǎo)訓(xùn)練估計(jì)人體姿勢(shì)。OMRAN等[11]則使用2D體部分分割作為中間表示估計(jì)SMPL參數(shù)。YAO等[12]通過(guò)編碼器-解碼器的CNN直接回歸人體網(wǎng)格，利用UV圖解決3D人體姿勢(shì)和形狀估計(jì)問(wèn)題。TAN[13]利用編碼器-解碼器架構(gòu)估計(jì)SMPL參數(shù)，使用唯一的2D輪廓監(jiān)督。PAVLAKOS等[14]使用2D人體關(guān)節(jié)熱圖和掩模做中間表示，分別預(yù)測(cè) SMPL姿勢(shì)和形狀參數(shù)。VAROL等[15]用3D人體形狀估計(jì)任務(wù)的體積，且將3D關(guān)節(jié)位置預(yù)測(cè)作為中間結(jié)果。上述方法均需要進(jìn)行大量的3D數(shù)據(jù)監(jiān)督和前期訓(xùn)練。本文方法通過(guò)自動(dòng)的檢測(cè)骨骼關(guān)節(jié)點(diǎn)，能夠直接約束模型的姿態(tài)，其創(chuàng)新點(diǎn)為：

(1) 設(shè)計(jì)基于人體分段鉸鏈變換的柔性變形模型。該模型通過(guò)機(jī)械零件思想進(jìn)行人體姿勢(shì)變換，在模型點(diǎn)云部件分割的基礎(chǔ)上結(jié)合 SMPL模型實(shí)現(xiàn)靈活的線性建模，達(dá)到人體模型的機(jī)械式構(gòu)造，實(shí)現(xiàn)模型的柔性變化。

(2) 提出以骨骼和輪廓作為約束，借助改進(jìn)的鉸鏈模型進(jìn)行鉸鏈?zhǔn)骄€性模型的FPR-PEM回歸，得到目標(biāo)圖像人體形狀姿勢(shì)。

1 方法概述

針對(duì)人體骨骼關(guān)節(jié)分布特點(diǎn)，結(jié)合具有零件模型計(jì)算優(yōu)勢(shì)的鉸鏈?zhǔn)饺S重建框架，實(shí)現(xiàn)具有真實(shí)感的形狀姿勢(shì)重建。本文提出新的基于單幅圖像的人體重建方法。

1.1 系統(tǒng)流程

從單幀圖像恢復(fù)三維人體模型，如圖1所示。首先，對(duì)輸入的RGB圖像進(jìn)行數(shù)據(jù)集的輪廓覆蓋和邊緣距離等的計(jì)算，從而固定模型點(diǎn)云表皮的形狀。接著，借助CNN神經(jīng)網(wǎng)絡(luò)[16]預(yù)測(cè)人體關(guān)節(jié)點(diǎn)，從而保障能夠準(zhǔn)確快速地預(yù)測(cè)2D人體關(guān)節(jié)點(diǎn)位置，引導(dǎo)3D模板骨架的定位跟蹤。進(jìn)一步，SMPL模型擁有24個(gè)關(guān)節(jié)旋轉(zhuǎn)向量，本實(shí)驗(yàn)則通過(guò)檢測(cè)的15個(gè)關(guān)節(jié)與SMPL模型進(jìn)行軀干關(guān)節(jié)的對(duì)應(yīng)圖5(b)，以此嵌入到鉸鏈模型的各關(guān)節(jié)部位，形成完整的人體鉸鏈模型。然后，根據(jù)人體鉸鏈模型的原理，將人體三維模型通過(guò)骨骼關(guān)節(jié)和輪廓形狀進(jìn)行姿態(tài)形狀參數(shù)化，其中每個(gè)身體部分對(duì)應(yīng)一個(gè)節(jié)點(diǎn)，軀干位于根節(jié)點(diǎn)。最后，對(duì)這一分段鉸鏈方法處理過(guò)的參數(shù)化模型施加2D輪廓和3D骨骼等約束，并在薄板樣條(thin plate spline，TPS)的插值下進(jìn)行3D模型的恢復(fù)重現(xiàn)。

圖1 系統(tǒng)流程圖

1.2 能量模型

本文提出的基于分段變換鉸鏈的恢復(fù)技術(shù)，通過(guò)輪廓和骨骼雙重約束，能夠較好的回歸人體形狀和姿勢(shì)。總能量式為

其中，λ為各部分權(quán)重；Edata為模型數(shù)據(jù)項(xiàng)；Emodel為鉸鏈?zhǔn)侥Ｐ晚?xiàng)；E2D為模型 2D約束；Ejoint則為關(guān)節(jié)骨骼項(xiàng)。

2 改進(jìn)的鉸鏈模型

分段鉸鏈模型是基于人體零部件的3D形狀姿勢(shì)參數(shù)化的模型。模型由14個(gè)部分組成，每一部分均被設(shè)計(jì)為身體的局部零件，各零件使用骨骼關(guān)節(jié)進(jìn)行連接，并且依賴于各自身關(guān)聯(lián)節(jié)點(diǎn)實(shí)施獨(dú)立的3D旋轉(zhuǎn)變換。

2.1 人體鉸鏈模型

人體鉸鏈模型類似一個(gè)機(jī)械裝置，通過(guò)關(guān)節(jié)部位的轉(zhuǎn)動(dòng)角度改變各部件之間的相對(duì)位置，改變模型的姿勢(shì)變化。每個(gè)身體部分使用規(guī)范的、剛性的3D三角形網(wǎng)格表示，2個(gè)部位之間定義一個(gè)關(guān)節(jié)相連接。身體所有關(guān)節(jié)點(diǎn)分布似樹(shù)形結(jié)構(gòu)的圖形模型[17]，設(shè)置節(jié)點(diǎn)索引為i∈[0,···,14]，節(jié)點(diǎn)部位可表示為

其中，oi為節(jié)點(diǎn)在全局幀位置的3D矢量；di為線性形狀系數(shù)矢量，表示關(guān)節(jié)相關(guān)位置的變形；ri為部件相對(duì)于參考姿勢(shì)的旋轉(zhuǎn)的三維羅德里格斯矢量；t為根基節(jié)點(diǎn)的一個(gè)全局平移向量。

2.2 面向線性建模的SMPL模型改進(jìn)

構(gòu)建SMPL的線性化，需要對(duì)其表面點(diǎn)云進(jìn)行重新分割整合。

(1) 根據(jù)SMPL模型網(wǎng)格拓?fù)浣Y(jié)構(gòu)，預(yù)先定義一個(gè)初始平均形狀s0。對(duì)于每一關(guān)節(jié)部分的形狀dk，模型形狀S為

(2) 從SMPL模型的實(shí)例中學(xué)習(xí)人體鉸鏈模型，確定模型各關(guān)節(jié)分布位置以此分割各模塊(圖2)。為了減弱關(guān)節(jié)剛性變換的影響，對(duì)訓(xùn)練的形狀進(jìn)行普氏分析(Procrustes analysis)對(duì)齊

其中，tp為每個(gè)點(diǎn)的剛體平移向量；R為θ角度的旋轉(zhuǎn)矩陣；sp為一個(gè)重排列的2×N矩陣。

圖2 人體鉸鏈模型

2.3 基于SMPL鉸鏈模型的構(gòu)建

假設(shè)鉸鏈模型肢體在運(yùn)動(dòng)變化的某一范圍內(nèi)服從某種斜率不同的線性關(guān)系，且使用指示變量對(duì)各段(即不同肢體)數(shù)據(jù)同時(shí)擬合，進(jìn)行統(tǒng)一的模型回歸。因此可以將其轉(zhuǎn)化為一個(gè)狀態(tài)估計(jì)問(wèn)題，假設(shè)點(diǎn)集的分布符合高斯混合分布，待配準(zhǔn)的頂點(diǎn)集為x=[x1,x2,···,xn]T，其概率密度函數(shù)為

鉸鏈模型和三維網(wǎng)格數(shù)據(jù)將頂點(diǎn)和法向量之間的匹配關(guān)系定義為模型頂點(diǎn)與3D數(shù)據(jù)之間的距離，能量項(xiàng)為

其中，Ci為第i個(gè)關(guān)節(jié)點(diǎn)所關(guān)聯(lián)的身體部位；Pprior= m inS(ξ) + t ，且姿態(tài)形狀參數(shù)ξ=(rT,dT)T，t為根節(jié)點(diǎn)全局平移向量。

另外，對(duì)于鉸鏈模型部分，采用頂點(diǎn)與線性模型的偏差表示該模型的線性變化，通過(guò)加入一個(gè)法向量約束，使其與臨近點(diǎn)變化方向一致

圖3 鉸鏈模型3D姿態(tài)回歸

3 鉸鏈模型約束

通過(guò)邊界約束和關(guān)節(jié)骨骼約束完成模型形狀姿勢(shì)的正確變換。

3.1 基于SMPL鉸鏈模型的構(gòu)建

邊緣輪廓可以提供更加精確的定位目標(biāo)位置(圖 4)。本文方法通過(guò)邊界約束解決身體部位的遮擋現(xiàn)象，實(shí)現(xiàn)更加準(zhǔn)確的人體建模。使用像素覆蓋分割算法對(duì)圖像進(jìn)行人體分割以獲取輪廓。采用彩色信息聚類和圖像二值化的方法，即：將像素Ii,j的輪廓值Bi,j定義為

其中，Ai,j為Ii,j周圍8-領(lǐng)域內(nèi)所有像素點(diǎn)的幾何；N(Ai,j)為該鄰域內(nèi)的像素點(diǎn)總數(shù)。

圖4 輪廓邊緣

因模型頂點(diǎn)邊緣投影對(duì)應(yīng)于可見(jiàn)圖像輪廓邊界，所以圖像Bi,j和模型可使用標(biāo)準(zhǔn)距離函數(shù)。通過(guò)投影模型表面三角面片法線與相機(jī)到邊緣中點(diǎn)的光線間點(diǎn)積的符號(hào)變化，對(duì)檢測(cè)到的輪廓進(jìn)行歐式距離變換

其中，vs為模型圖像頂點(diǎn)邊界；bs∈{-1,+1}為權(quán)重；γ= 0 .1。

3.2 2D/3D關(guān)節(jié)骨骼約束

為了能夠更好的優(yōu)化鉸鏈模型參數(shù)，需采用雙向約束機(jī)制，即3D到2D姿勢(shì)投影和2D到3D姿勢(shì)變換(圖 5)。在檢測(cè)圖像中所有關(guān)節(jié)點(diǎn)時(shí)，需定義基于2D的重投影約束，即

其中，ΠK是參數(shù)為K的相機(jī)從3D到2D的投影；ωj為 CNN神經(jīng)網(wǎng)絡(luò) 2D關(guān)節(jié)檢測(cè)置信度；ρ為Geman-McClure懲罰函數(shù)；J()β為基于CNN的骨架關(guān)節(jié)回歸網(wǎng)絡(luò)；Rθ(J(β)3D,i)為每一個(gè)3D關(guān)節(jié)j以Rθ的角度進(jìn)行剛性變換。通過(guò)最小化3D骨骼關(guān)節(jié)和檢測(cè)2D關(guān)節(jié)之間的重投影誤差，強(qiáng)制所有投影的關(guān)節(jié)位置均接近其相應(yīng)的檢測(cè)值。另外，定義了模型骨骼J(β)3D,i和 3D檢測(cè)骨骼J3D,i之間的3D-3D對(duì)齊項(xiàng)

其中，t′ ∈ R3為回歸后的三維關(guān)節(jié)位置J3D,i從以根為中心的局部坐標(biāo)系轉(zhuǎn)換為全局坐標(biāo)系的輔助變量。這樣，根據(jù)參數(shù)化骨骼模型的骨骼長(zhǎng)度和姿勢(shì)重新縮放回歸骨骼進(jìn)行2D和3D的關(guān)節(jié)對(duì)準(zhǔn)約束，式(1)中的Ejoint為

其中，ω2j和ω3j的值均設(shè)置為0.1。

圖5 關(guān)節(jié)骨骼

4 人體模型求解

人體模型求解可通過(guò)FPR-PEM的細(xì)節(jié)優(yōu)化及鉸鏈模型點(diǎn)云的重采樣和細(xì)化完成。

4.1 基于FPR-PEM回歸求解

FPR-PEM 算法迭代步驟，首先挑選和當(dāng)前殘差最相關(guān)的自變量，然后計(jì)算自變量的簡(jiǎn)單最小二乘法系數(shù)的當(dāng)前殘差，接著迭代相加到自變量系數(shù)上，直到相關(guān)系數(shù)最小。本文能量式(1)由4項(xiàng)組成，采用從粗到精的漸進(jìn)策略進(jìn)行計(jì)算。首先，對(duì)模型項(xiàng)和數(shù)據(jù)項(xiàng)實(shí)施最小化，恢復(fù)模型的形狀和姿態(tài)；然后通過(guò)關(guān)節(jié)骨骼的約束，獲取精細(xì)的人體細(xì)節(jié)，從而精確計(jì)算出模型。

對(duì)Emodel實(shí)施變形，恢復(fù)2D圖像人體形狀和姿勢(shì)

最小化式(12)時(shí)，需先對(duì)d求偏導(dǎo)，然后轉(zhuǎn)換為線性方程求解。采用列文伯格-馬夸爾特(Levenberg-Marquardt，LM)進(jìn)行非線性求解Edata。根據(jù)FPR-PEM回歸對(duì)于E(r,σ2) 部分進(jìn)行簡(jiǎn)化，即

其中，σ2為超參數(shù)；pold(m|xi)為已知參數(shù)且

式(13)化簡(jiǎn)后得到QTQx=QTe(Q為雅克比矩陣)。

骨骼Ejoint項(xiàng)中的線性方程E3D需采用線性方法求解，而非線性的E2D部分，則首先進(jìn)行Taylor展開(kāi)，然后進(jìn)行梯度迭代求解

其中，F(xiàn)(x)為對(duì)應(yīng)的誤差項(xiàng)。將式(1)的參數(shù)設(shè)置為：γdata=1，γmodel= 0 .1，γ2D=1，γjoint=0 .01。

4.2 重采樣和細(xì)化

基于 Delaunay準(zhǔn)則剖分的三角網(wǎng)格，由于三角形不重疊，得到的曲面更光滑。本實(shí)驗(yàn)采用了TPS中的線性三角網(wǎng)法的空間數(shù)據(jù)插值方法，進(jìn)一步解決模型關(guān)節(jié)部位的變形問(wèn)題。

為尋找一個(gè)通過(guò)所有的控制點(diǎn)且彎曲最小的光滑曲面，需在每一步迭代中，對(duì)模型中的每個(gè)節(jié)點(diǎn)ji(關(guān)節(jié))和肢體頂點(diǎn)x(s)i均進(jìn)行重新采樣。TPS得到的曲面不一定要通過(guò)所有的控制點(diǎn)，所以對(duì)于三角網(wǎng)格化具有很大的幫助，也可以有效地控制變形區(qū)域凹凸的平滑度(圖 6)。首先，對(duì)人體樣本和參考模型進(jìn)行網(wǎng)格劃分，使其具有相同的拓?fù)浣Y(jié)構(gòu)，達(dá)到一個(gè)粗對(duì)齊；然后針對(duì)人體樣本和參考模型對(duì)應(yīng)分塊之間構(gòu)建局部 TPS方程，實(shí)現(xiàn)每一個(gè)分塊的對(duì)齊，從而實(shí)現(xiàn)人體的精對(duì)齊。

圖6 點(diǎn)云細(xì)化重采樣

5 試驗(yàn)和分析

采用定性和定量的方式對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估。實(shí)驗(yàn)操作系統(tǒng)為Ubuntu16.04LTS，硬件設(shè)施是16 G DDR4內(nèi)存和GEFORCE GTX TITAN X顯卡。實(shí)驗(yàn)采用的數(shù)據(jù)集為 Human3.6M 和 UP-3D，其中Human3.6M擁有超過(guò)360萬(wàn)不同姿態(tài)視頻幀圖像數(shù)據(jù)；UP-3D的數(shù)據(jù)集源于Leeds Sports Pose及其本身的擴(kuò)展版本，具有豐富的分割、姿勢(shì)和骨骼關(guān)節(jié)等數(shù)據(jù)信息。利用SMPLify[4]和HMR[18]2種方法對(duì)比重建效果，SMPLify通過(guò)檢測(cè)12個(gè)關(guān)節(jié)點(diǎn)，從單幀圖像中估計(jì) 3D人體形狀姿態(tài)；HMR采用端到端的最小化關(guān)鍵點(diǎn)的重投影損失進(jìn)行形狀姿勢(shì)學(xué)習(xí)估計(jì)任務(wù)。

5.1 定性評(píng)估

本文方法的重建效果如圖7所示。對(duì)輸入圖像(圖7a)分割和計(jì)算邊緣以及估計(jì)出目標(biāo)人體2D關(guān)節(jié)點(diǎn)后(圖7b)，使用3D骨骼進(jìn)行匹配擬合得到完整的人體模型(圖7(c))。

圖7 重建結(jié)果流程圖

圖8為不同方法對(duì)形狀大小、姿勢(shì)各異的人體重構(gòu)對(duì)比。本文與2種方法比較，通過(guò)TPS線性插值能夠平滑地處理關(guān)節(jié)變形處的凹凸褶皺問(wèn)題，并且在 FPR-PEM 算法下展現(xiàn)出良好的重構(gòu)效果。

圖8 人體估計(jì)方法對(duì)比展示

由于 SMPLify方法只能粗略地估計(jì)出人體姿態(tài)，對(duì)于關(guān)節(jié)處的變形與旋轉(zhuǎn)角度均與實(shí)際的姿態(tài)有很大的差距，并且頭部的校準(zhǔn)(脖子彎曲度)也具有較大誤差。HMR的結(jié)果相對(duì)于SMPLify的擬合更加精確，直觀的視覺(jué)效果更好，但是對(duì)于關(guān)節(jié)角度的調(diào)整比較僵硬。另外在某視角下重疊身體部分不能很好地控制各部分之間的距離，導(dǎo)致重建的結(jié)果不理想，且不能準(zhǔn)確地調(diào)整頭部的姿態(tài)。

圖9為大尺度運(yùn)動(dòng)下的重建實(shí)驗(yàn)結(jié)果。本文是以先驗(yàn)形狀姿勢(shì)為基礎(chǔ)且能夠準(zhǔn)確定位人體關(guān)節(jié)，在大尺度運(yùn)動(dòng)的圖像中，也能夠重建出較佳的模型。圖10顯示了本文方法通過(guò)處理預(yù)先訓(xùn)練的女性模型形狀姿勢(shì)，完成了女性模型姿勢(shì)的恢復(fù)。

5.2 定量評(píng)估

采用頂點(diǎn)方向誤差檢驗(yàn)人體鉸鏈建模性能，并與其他方法對(duì)準(zhǔn)確性進(jìn)行比較。在不考慮手部和腳部形狀姿勢(shì)的情況下，直接估計(jì)模型與3D掃描得到的每個(gè)頂點(diǎn)真值之間的距離誤差，圖11采用了熱度圖形式。

圖9 運(yùn)動(dòng)中的人物圖像擬合

圖10 女性模型重建效果

圖11 模型頂點(diǎn)誤差對(duì)比

通過(guò)圖11可以看出，本文方法估計(jì)的模型與真實(shí)模型和其他2種方法相比，總體誤差最小。而其他 2種方法因無(wú)法滿足正常人體姿態(tài)先驗(yàn)，導(dǎo)致結(jié)果具有很大的偏差，所以不能正確地引導(dǎo)模型重建。

另外，圖12從重建結(jié)果深度錯(cuò)誤率角度對(duì)本文方法和其他方法進(jìn)行比較。采用Kinect v2相機(jī)進(jìn)行彩色數(shù)據(jù)和深度數(shù)據(jù)采集，并將彩色圖像恢復(fù)的形狀模型反投影到圖像平面上，從而計(jì)算與對(duì)齊的深度數(shù)據(jù)間的歐氏距離誤差。

圖12 算法深度信息錯(cuò)誤率對(duì)比

進(jìn)一步，計(jì)算骨骼關(guān)節(jié)檢測(cè)的錯(cuò)誤率(圖13)。本文對(duì)軀干上的15個(gè)關(guān)節(jié)點(diǎn)進(jìn)行觀測(cè)并完成計(jì)算。

5.3 不足與分析

本文借助 SMPL模型的特點(diǎn)與鉸鏈模型相結(jié)合，進(jìn)行基于零部件思想的機(jī)械式變換，從2D圖像中恢復(fù)3D人體模型的形狀和姿勢(shì)。某一關(guān)節(jié)的旋轉(zhuǎn)變化影響著其相鄰關(guān)節(jié)角度的旋轉(zhuǎn)變化，即：前節(jié)點(diǎn)的旋轉(zhuǎn)可引起相鄰2個(gè)節(jié)點(diǎn)的變動(dòng)，其可導(dǎo)致鉸鏈模型的錯(cuò)誤形變，而失敗。使用形狀姿勢(shì)先驗(yàn)?zāi)軌蚩s小變化的差距，從而部分減少鉸鏈模型在形變過(guò)程中產(chǎn)生的扭曲變異，使其更加接近于形狀姿勢(shì)的微調(diào)變化形式。

另外，本文中輪廓邊緣的約束在一定范圍內(nèi)具有矯正姿勢(shì)錯(cuò)誤變化的作用，但對(duì)于人體大動(dòng)作雙手、雙腿交叉或者大面積身體的自我遮擋等極端情況還存在一些不足，在后續(xù)的工作中將會(huì)進(jìn)一步研究解決。

6 結(jié) 論

本文基于剛性的前向分段回歸概率期望最大化技術(shù)，提出了一種針對(duì)柔性物體的基于分段鉸鏈模型的人體建模技術(shù)，實(shí)現(xiàn)了僅在單幅RGB圖像上新的任意姿態(tài)下的人體模型重建方法。該方法通過(guò)精確的人體骨骼關(guān)節(jié)點(diǎn)的檢測(cè)并結(jié)合輪廓約束，運(yùn)用局部到全局的層次化迭代，實(shí)現(xiàn)準(zhǔn)確的3D人體建模，克服復(fù)雜遮擋帶來(lái)的建模挑戰(zhàn)。

本文的構(gòu)想為今后的工作開(kāi)辟了許多方向，特別是，身體的形狀和姿勢(shì)不僅可以從輪廓和特征點(diǎn)等其他線索中受益，還可以將其擴(kuò)展到多幀之間實(shí)時(shí)動(dòng)態(tài)轉(zhuǎn)換效果。在將來(lái)的工作中，還可以考慮增加一些額外的約束，如三維特征。另外，還可以考慮利用GPU編程實(shí)現(xiàn)算法的實(shí)時(shí)運(yùn)行。