王欒欒, 嚴(yán) 群,2, 姚劍敏,2, 林志賢

(1.福州大學(xué) 物理與信息工程學(xué)院,福建 福州350108; 2.博感電子科技有限公司,福建 晉江 362200)

0 引 言

隨著圖像處理技術(shù)的發(fā)展,三維人體重建技術(shù)逐漸成為計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)領(lǐng)域中重要的研究課題之一。通過(guò)計(jì)算機(jī)視覺(jué)圖像的方式實(shí)現(xiàn)人體的表面重建,根據(jù)輸入數(shù)據(jù)檢測(cè)出人體的體態(tài)參數(shù),即將這些數(shù)據(jù)轉(zhuǎn)換為三維的數(shù)據(jù)信息。能夠?qū)崿F(xiàn)高效且高還原度的三維人體重建,在面貌還原、游戲與動(dòng)畫、增強(qiáng)現(xiàn)實(shí)(AR),以及虛擬現(xiàn)實(shí)(VR)等領(lǐng)域中具有極為深遠(yuǎn)的意義[1,2]。

目前,三維人體姿態(tài)重建主要分為4種方式：傳統(tǒng)三維建模、深度相機(jī)Kinect建模、基于RGB建模,以及基于模型框架的建模。傳統(tǒng)的三維建模軟件或掃描設(shè)備運(yùn)用Maya,3Ds MAX等軟件構(gòu)建人體模型,該方法創(chuàng)建過(guò)程中存在時(shí)間過(guò)長(zhǎng)的缺點(diǎn)。Kinect(深度)相機(jī)具有較強(qiáng)的環(huán)境適應(yīng)力、高精度數(shù)據(jù)采集、高性價(jià)比而被廣泛應(yīng)用[3],但Kinect Fusion系統(tǒng)僅適用于靜態(tài)場(chǎng)景,而人體并不能保持絕對(duì)靜止的姿態(tài)[4,5]?；赗GB圖像建?？梢允褂枚鄰?RGB 圖像或僅一張RGB圖像的三維建模[6]。文獻(xiàn)[7]在使用圖>片進(jìn)行三維重建的過(guò)程中,仍需要用戶手動(dòng)標(biāo)記數(shù)量繁雜的關(guān)鍵點(diǎn)才能實(shí)現(xiàn)精確的模型。為此，有研究人員提出通過(guò)模型驅(qū)動(dòng)建模,利用現(xiàn)有的模型庫(kù)利用組合、變形、拼接等方法實(shí)現(xiàn)人體模型的重建。第一個(gè)三維人體模型庫(kù)是 CAESAR(Civilian American and European Surface Anthropometry Resource),通過(guò)使用大型激光掃描儀采集將近3 000個(gè)完整的人體數(shù)據(jù)信息。Anguelov D等人在此基礎(chǔ)上加入姿態(tài)變形,建立SCAPE(shape completion and animation of people)模型[8]。研究人員根據(jù)身高體重等參數(shù)來(lái)調(diào)整模型,但人體軟組織在不同姿態(tài)下與人體基本結(jié)構(gòu)仍存在偏差。2015年,Loper M提出基于頂點(diǎn)的SMPL(skinned multi-person linear)模型[9],相較于SCAPE模型更符合人體結(jié)構(gòu)。SMPL模型是參數(shù)化的三維人體模型,可以通過(guò)靜態(tài)圖像自動(dòng)重構(gòu)三維人體模型的姿態(tài)和形狀。2016年Bogo F等人[10]提出經(jīng)典自動(dòng)化人體重建方法,從圖像預(yù)測(cè)2D身體關(guān)節(jié)位置,將SMPL模型的3D關(guān)節(jié)點(diǎn)投影到圖像上,利用最小化目標(biāo)函數(shù)將SMPL模型擬合到2D關(guān)節(jié),該目標(biāo)函數(shù)將懲罰投影與檢測(cè)到的2D關(guān)節(jié)之間的誤差最小化。但由于投影效應(yīng)存在偏差,實(shí)驗(yàn)結(jié)果未能達(dá)到理想的效果。Lassne C等人[11]對(duì)該項(xiàng)目進(jìn)行擴(kuò)展研究,獲得了適用于多個(gè)人體姿勢(shì)數(shù)據(jù)集的3D人體模型,雖然可以生成帶有豐富注釋數(shù)據(jù)的初始數(shù)據(jù)集,但訓(xùn)練結(jié)果仍然差強(qiáng)人意。

為了提高建模的精度和效率,本文提出了一種研究方案,訓(xùn)練U-Net++及PatchGAN對(duì)抗生成網(wǎng)絡(luò),計(jì)算出三維圖像的法線貼圖和位移貼圖,將貼圖信息采用線性差值方法融合到SMPL模型的表面,這種訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)合位移貼圖和法線貼圖數(shù)據(jù)的方法,不需要精密復(fù)雜的儀器就可以完成高效精細(xì)的三維重建。

1 DensePose算法

本文利用DensePose算法對(duì)人體部位進(jìn)行分割操作,把2D圖像坐標(biāo)映射到3D人體表面上,實(shí)現(xiàn)精確定位和姿態(tài)估計(jì),其具體實(shí)現(xiàn)步驟如下：1)先用Faster-RCNN檢測(cè),得到人物區(qū)域檢測(cè)圖。掃描圖像生成一個(gè)有可能包含一個(gè)目標(biāo)的區(qū)域,繼而生成分類標(biāo)簽、邊界框和掩碼。2)用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)分塊,通過(guò)劃分身體部位來(lái)對(duì)應(yīng)標(biāo)注的等距點(diǎn),對(duì)于每個(gè)像素,確定它在貼圖上的位置,并進(jìn)行二維校正。3)分塊后用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在每一塊分點(diǎn)。使用SMPL模型,將人體分成24份,比如將人腦分為左腦、右腦,將手臂分為前、后兩個(gè)面，每個(gè)人體部位包含多個(gè)點(diǎn)信息。4)將點(diǎn)轉(zhuǎn)換成熱力圖IVU,將2D圖像中人的表面的像素投影到3D人體表面上,也可以在估計(jì)出圖像中人體的UV后,將3D模型空間坐標(biāo)轉(zhuǎn)換為UV坐標(biāo)后,輸出包括身體分割部位和UV坐標(biāo)。

2 人體表面貼圖生成與三維重建

2.1 算法流程

首先,輸入多張彩色圖片并對(duì)其進(jìn)行關(guān)節(jié)點(diǎn)的檢測(cè),關(guān)節(jié)點(diǎn)信息和彩色圖片作為輸入數(shù)據(jù)送入CNN中,計(jì)算出估計(jì)SMPL模型所需的參數(shù)。同時(shí),從輸入的多張圖片中通過(guò)計(jì)算角度提取得到一張正面圖像,利用DensePose算法對(duì)圖像進(jìn)行分割,并將分割結(jié)果與原圖一起作為對(duì)抗生成網(wǎng)絡(luò)的輸入,獲得精細(xì)的法線貼圖和位移貼圖。最后,將位移貼圖利用線性差值的方法融合到標(biāo)準(zhǔn)的SMPL模型表面。算法流程如圖1。

圖1 算法流程

2.2 數(shù)據(jù)采集和圖片處理

通過(guò)OpenCV +Visual studio + MATLAB開(kāi)發(fā)環(huán)境對(duì)用戶的照片進(jìn)行采集,獲得多個(gè)1 080像素×1 080像素的圖片。同時(shí),利用位移貼圖將人體表面展開(kāi)到二維圖像上,使得每個(gè)像素對(duì)應(yīng)于人體表面的一個(gè)三維點(diǎn)。利用DensePose網(wǎng)絡(luò)將正面圖的可見(jiàn)圖像像素映射到UV空間,獲得部分紋理映射圖像,并將其作為網(wǎng)絡(luò)的輸入數(shù)據(jù)。

SMPL模型是一個(gè)使用Pose和Shape參數(shù)驅(qū)動(dòng)的線性人體模型,可以表示人體的不同形狀,具有自然的動(dòng)作變形,并且模型的軟組織會(huì)隨著運(yùn)動(dòng)過(guò)程發(fā)生連貫的形變。為了添加更多的細(xì)節(jié),本文在SMPL標(biāo)準(zhǔn)T模型下添加偏移量D,其模型表述如下

M(β,θ,D)=W(T(β,θ,D),J(β),θ,W)

(1)

T(β,θ,D)=T+BS(β)+BP(θ)+D

(2)

式中T為模型處于T位姿時(shí)的模型屬性,W為權(quán)重,J(β)為關(guān)節(jié)點(diǎn)的角度信息,BS(β)和BP(θ)分別為形狀和位置的依賴項(xiàng),偏移量D使模型擁有更多的凹凸細(xì)節(jié),T(β,θ,D)為添加了位置、形態(tài)和偏移量D的模型。

設(shè)計(jì)的CNN可以從一個(gè)語(yǔ)義圖像預(yù)測(cè)三維人體形狀,也可從二維關(guān)節(jié)點(diǎn)檢測(cè)計(jì)算出每個(gè)圖像的位姿信息。姿態(tài)信息通過(guò)渲染可用于細(xì)化人體形狀,經(jīng)過(guò)卷積網(wǎng)絡(luò)后的每幀位姿β和平移參數(shù)D添加到模型中。最終的人體目標(biāo)模型的函數(shù)表達(dá)式為

(3)

(4)

(5)

利用線性回歸因子JB25預(yù)測(cè)三維關(guān)節(jié)

NJ3D(I,J,i)=JB25(N3D(I,J,i))

(6)

JB25經(jīng)過(guò)訓(xùn)練可以按順序輸出25個(gè)與關(guān)節(jié)點(diǎn)位置對(duì)應(yīng)的關(guān)節(jié)點(diǎn)信息,估計(jì)的人體模型網(wǎng)格可以用相機(jī)的內(nèi)置參數(shù)以及圖像的生成函數(shù)RC進(jìn)行渲染

N2D(I,J,i)=RC(N3D(I,J,i))

(7)

同時(shí),可以通過(guò)透視投影法(πc表示投影關(guān)系運(yùn)算符)將關(guān)節(jié)投影到圖像平面

NJ2D(I,J,i)=πc(NJ3D(I,J,i))

(8)

上述公式均可微,利用這些公式可表示損失函數(shù)。

2.3 位移貼圖生成并擬合三維人體模型

本文訓(xùn)練了一個(gè)網(wǎng)絡(luò),該網(wǎng)絡(luò)可以從局部紋理貼圖預(yù)測(cè)并生成法線貼圖和位移貼圖。通過(guò)該網(wǎng)絡(luò)可以根據(jù)圖片數(shù)據(jù)信息計(jì)算出適用于SMPL 模型的法線貼圖和位移貼圖。該網(wǎng)絡(luò)是一個(gè)條件生成對(duì)抗網(wǎng)絡(luò),由一個(gè)U-Net++網(wǎng)絡(luò)[12]和一個(gè)PatchGAN判別器[13]兩部分組成。本文采用了U-Net++網(wǎng)絡(luò)[14](如圖2),相比于以往的U-Net網(wǎng)絡(luò)[15],它可以抓取不同層次的特征,通過(guò)特征疊加的方式整合,加入更淺的U-Net結(jié)構(gòu),使得融合時(shí)的特征圖尺度差異更小。其中,編碼器和解碼器網(wǎng)絡(luò)通過(guò)一系列嵌套的跳躍連接,跳躍連接減小了編碼器和解碼器子網(wǎng)的特征圖之間的語(yǔ)義差距。同時(shí),輸出部分采用了PatchGAN網(wǎng)絡(luò),普通的GAN判別器是將輸入映射成一個(gè)實(shí)數(shù),而PatchGAN網(wǎng)絡(luò)完全由卷積層構(gòu)成,最后輸出的是一個(gè)n×n的矩陣,結(jié)果是將輸出矩陣的均值作為True/False的輸出,輸出矩陣中的每一個(gè)輸出,代表著原圖中一個(gè)感受野,對(duì)應(yīng)原圖的一個(gè)Patch。

圖2 U-Net++網(wǎng)絡(luò)結(jié)構(gòu)

將人體曲面參數(shù)化并映射到紋理貼圖,然后用參數(shù)域上的每個(gè)像素來(lái)記錄三維曲面上相應(yīng)點(diǎn)的位置,從而獲得一張幾何圖像,例如在所有人體的幾何圖像中,左眼角都具有相同的參數(shù)坐標(biāo)。這些人體曲面需要事先被配準(zhǔn),最后生成三維人體曲面模型。

2.4 損失函數(shù)

對(duì)于數(shù)據(jù)集中互相對(duì)應(yīng)的樣本,估計(jì)出模型與掃描得到的真實(shí)模型M之間的損失,這種三維形狀監(jiān)督與姿態(tài)不相關(guān)。

空間中的每個(gè)頂點(diǎn)損失

(9)

(10)

式中b(Ii)為二值分割掩碼,可以直接從RGB圖像估計(jì)。LN2D為二維頂點(diǎn)弱監(jiān)督損失,LN3D為三維頂點(diǎn)弱監(jiān)督損失。

在歐幾里得空間內(nèi)對(duì)關(guān)節(jié)添加損失,對(duì)姿態(tài)訓(xùn)練進(jìn)行正則化處理

(11)

同樣地,對(duì)二維圖片投影損失也設(shè)置了一個(gè)損失函數(shù)

(12)

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)在Ubuntu16.04LTS系統(tǒng)下運(yùn)行,硬件屬性為8 G DDR4內(nèi)存和1060顯卡。實(shí)驗(yàn)采用的數(shù)據(jù)集為Human 3.6M和UP-3D,其中Human 3.6M涵蓋近360萬(wàn)形態(tài)各異的圖像信息；UP-3D 的數(shù)據(jù)集源于 Leeds Sports Pose 及其擴(kuò)展內(nèi)容,具有充足的分割、姿勢(shì)和骨骼關(guān)節(jié)點(diǎn)等圖像數(shù)據(jù)[16]。利用本文算法可以對(duì)任何人體進(jìn)行三維重建。實(shí)驗(yàn)只需要人在相機(jī)前面旋轉(zhuǎn)一周,從中獲得8～10張圖片即可得到人體的三維模型,實(shí)驗(yàn)配置和操作都比較簡(jiǎn)單。

3.1 定性分析

本文重建的效果如圖3所示。對(duì)輸入圖片進(jìn)行人體部位設(shè)置語(yǔ)義標(biāo)簽以及分割后,通過(guò)估計(jì)人體的2D關(guān)鍵點(diǎn)之后,通過(guò)計(jì)算陰影形狀,用對(duì)抗網(wǎng)絡(luò)將UV貼圖信息轉(zhuǎn)換為位移貼圖和法線貼圖等信息,匹配到標(biāo)準(zhǔn)的SMPL模型上,擬合重建三維人體表面細(xì)節(jié)。同時(shí),為了使模型便于使用,將所有的輸出模型的角度參數(shù)都設(shè)置為標(biāo)準(zhǔn)的靜態(tài)T姿勢(shì),擴(kuò)大了模型的適用范圍。

圖3 人體重建效果

圖4為不同方法對(duì)形狀大小、姿態(tài)各異的人體重建對(duì)比。本文與經(jīng)典三維重建算法Octopus[17]進(jìn)行比較,通過(guò)位移貼圖能夠精確地恢復(fù)人體的衣服褶皺及個(gè)性化細(xì)節(jié),并且相比較于Octopus算法,運(yùn)行時(shí)間上也快了1倍。

圖4 人體重建方法對(duì)比展示

在實(shí)際生活中,人體經(jīng)常會(huì)穿著形態(tài)各異的衣服,以衣領(lǐng)為例,由于衣領(lǐng)相對(duì)于人體表面皮膚較為突出,Octopus算法無(wú)法重建；相反,本文算法可以通過(guò)位移貼圖信息精確建立這種與人體模型偏差較大的點(diǎn),如圖5所示,由于衣領(lǐng)突出,在圖5(a)中可以明顯地看到衣服偏離人體皮膚；從圖5(b)中可以看出,Octopus算法重建精度差,其重建的模型沒(méi)有反映出手臂的運(yùn)動(dòng)；實(shí)驗(yàn)表明,本算法能精確的處理這些偏離人體皮膚的人體三維重建。

圖5 不同算法人體重建效果

由于Octopus對(duì)于人體的細(xì)節(jié)處理的不夠完善,如褶皺以及衣領(lǐng)等細(xì)節(jié)顯示較弱,相對(duì)于真實(shí)的人體有較大的差距,并且衣服發(fā)型凹凸細(xì)節(jié)不突出。本文實(shí)驗(yàn)的結(jié)果證明該網(wǎng)絡(luò)可以在13.7 s內(nèi)完成人體的重建工作并能將細(xì)節(jié)展現(xiàn)。對(duì)于人體三維重建技術(shù)的研究方法,大多數(shù)只能重建沒(méi)有穿著衣服的或穿緊身衣的人體表面,對(duì)于穿著衣服的人體重建就沒(méi)辦法表述,本文與Octopus算法方法進(jìn)行對(duì)比,從圖5中可以看出,當(dāng)人體衣服較為寬松時(shí),Octopus算法無(wú)法重建出具有特征的表面,本文算法可以檢測(cè)并重建出衣領(lǐng)、褲腳、衣服褶皺、頭發(fā)等細(xì)節(jié)。

3.2 定量評(píng)估

由表1的數(shù)據(jù)可以看出,本文的重建時(shí)間比Octopus算法的重建時(shí)間短,這是因?yàn)椴捎昧搜杆偕晌灰瀑N圖的網(wǎng)絡(luò)結(jié)構(gòu),提升了重建模型的效率。

表1 不同人物不同算法重建模型所用時(shí)間對(duì)比 s

為了更好地驗(yàn)證網(wǎng)絡(luò)的通用性,本文在三維人體重建檢測(cè)數(shù)據(jù)集Human 3.6 M上訓(xùn)練模型并測(cè)試網(wǎng)絡(luò)檢測(cè)誤差，SMPLify[6]、NBF[18]、HMR[19]、Octopus、本文模型的誤差分別為82.3，59.9，56.8，55.9，56.3 mm。可以看出,本文方法與其他算法相比,重建效果更佳。

4 結(jié) 論

本文基于SMPL模型的人體三維重建,提出根據(jù)圖片進(jìn)行圖像分割及計(jì)算關(guān)節(jié)點(diǎn),然后通過(guò)生成對(duì)抗網(wǎng)絡(luò)計(jì)算出對(duì)應(yīng)的法線貼圖和位移貼圖的方法,使得重建的精細(xì)化程度大大提升,任務(wù)形象更加逼真,細(xì)節(jié)如領(lǐng)口、腰帶等可以充分顯示出來(lái)。