朱新山, 王宏星, 黃向生

(1.天津大學(xué) 電氣與自動化工程學(xué)院，天津 300072;2.中國科學(xué)院 自動化研究所，北京 100190)

?

基于單個深度相機的帶紋理人臉實時重建算法*

朱新山1, 王宏星1, 黃向生2

(1.天津大學(xué) 電氣與自動化工程學(xué)院，天津 300072;2.中國科學(xué)院 自動化研究所，北京 100190)

三維重建的研究是近年來計算機視覺領(lǐng)域的一個熱點?；趩蝹€深度相機的KinectFusion算法具有實時性高、比較廉價等優(yōu)點，在KinectFusion算法基礎(chǔ)上提出了能夠自動識別人臉的有效區(qū)域，通過獲取相應(yīng)的深度數(shù)據(jù)和RGB數(shù)據(jù)來進行帶紋理的人臉三維重建方法。在點云配準(zhǔn)階段引入一個懲罰因子來平滑人臉的非剛體運動。根據(jù)獲取的顏色信息建立顏色信息的場函數(shù)并進行紋理貼圖，得到更加逼真的帶紋理的三維模型；在重建過程中使用了GPU加速實現(xiàn)實時性。

人臉三維重建， 紋理融合， GPU加速

0 引 言

隨著計算機視覺技術(shù)的發(fā)展，三維建模得到越來越多的關(guān)注，特別是在微軟推出Kinect設(shè)備以后，使得三維建模的研究越來越普及，同時也使得深度數(shù)據(jù)獲取變得更為便捷。三維建模的難點之一在于如何得到完整的三維模型，解決這一問題的傳統(tǒng)方法主要有兩種：1)對目標(biāo)進行多次掃描以修復(fù)孔洞；2)多臺設(shè)備從不同角度同時對目標(biāo)進行掃描。獲取完整三維模型的另一個難點是如何使用已經(jīng)獲取的不同方向的數(shù)據(jù)來進行三維重建，形成完整的模型[1]。使用Xtion配合電動轉(zhuǎn)臺采集多視角玉米果穗點云數(shù)據(jù)進行重建[2]。提出了一種旋轉(zhuǎn)平臺點云數(shù)據(jù)配準(zhǔn)方法，因為基于旋轉(zhuǎn)平臺，使用局限性比較明顯[3]。提出的方法對于單一顏色物體重建效果不好，而且對于體積較小的物體無法完成重建。

本文基于KinectFusion[4,5]算法，以Kinect設(shè)備提供的深度數(shù)據(jù)進行三維重建。

1 方法和實現(xiàn)

本文的三維重建方法流程如圖1所示。

圖1 工作流程

1.1 人臉檢測和分割

Kinect以30 Hz的幀率提供640×480的深度數(shù)據(jù)和RGB數(shù)據(jù)。首先需要檢測出人臉的位置，使用的方法是Haar classifier[6]。為提高其魯棒性，分別對人臉進行正臉和側(cè)臉兩次檢測。

在得到人臉區(qū)域以后，可以通過區(qū)域生長來剔除人臉以外的無效數(shù)據(jù)達到分割的目的。

為減少時間開銷，只在算法開始或者重置算法后進行人臉檢測。得到有效的人臉區(qū)域之后，在以后處理過程中就省略了人臉檢測這一步驟。

1.2 深度圖處理

該階段主要包括雙邊濾波和將深度圖轉(zhuǎn)換成頂點圖和法向圖兩個步驟。

1)雙邊濾波：原始數(shù)據(jù)不可避免地包含有噪聲，因此，首先需要進行降噪處理。本文通過雙邊濾波來達到降噪的目的，該方法在降噪的同時可以有效保留邊界信息。雙邊濾波的公式如下

(1)

上述的濾波過程，指數(shù)運算的復(fù)雜度比較大。由于深度圖中兩個像素間的距離為整數(shù)，可以通過查表來加速計算。

2)深度圖的轉(zhuǎn)換：令fx,fy,cx,cy為相機的內(nèi)部參數(shù)，可以利用這些參數(shù)將深度圖轉(zhuǎn)換成頂點圖(Vi表示)，每一個頂點處的法向量可以通過向量的外積得到。

設(shè)(u,v)為深度圖上任意一點，z=Di(u,v)為其深度值，對應(yīng)的頂點Vi計算如下

(2)

由向量外積得到法向量

Ni=(Vi(u+1,v)-Vi(u,v))× (Vi(Vi(u,v+1)-Vi(u,v))

(3)

對其進行標(biāo)準(zhǔn)化Ni/‖Ni‖。

1.3 姿態(tài)估計

在該階段，需要對每幀深度數(shù)據(jù)進行處理，估計人臉的姿態(tài)。主要使用迭代最近點算法(iterativeclosestpoint，ICP)來計算當(dāng)前幀數(shù)據(jù)與前一幀數(shù)據(jù)之間的變換矩陣。

(4)

然后根據(jù)前一幀的頂點圖和法向圖來找到對應(yīng)的點。

在找對應(yīng)點對的過程中，可以通過設(shè)置閾值(包括距離和夾角兩個方面)的方法來有效地排除離群點帶來的影響，同時可以減小對應(yīng)點對的搜索范圍，加速計算過程。

得到對應(yīng)點對之后，最小化點面距離，得到變換矩陣T。本文用E來表示對應(yīng)點對的距離之和，距離是點對之間一個點到另一個點所在處的切平面的距離,公式如下

(5)

若為剛體變換，則有

(6)

則最終的目標(biāo)函數(shù)為

(7)

式(7)可以寫成

(8)

1.4 體融合

文中使用體素表示的方法來進行融合，該方法利用截斷符號距離函數(shù)(truncated signed distance function，TSDF)將三維頂點轉(zhuǎn)換成體素的表達方式。TSDF具體含義是空間中每個點距離其最近界面的距離。

在體融合階段，遍歷每一個體素，并通過加權(quán)平均策略來對每一個體素的tsdf值進行更新。對于一個體素(x,y,z)所表示的世界坐標(biāo)系下的坐標(biāo)vg為

vg(x)=(x+0.5f)×cell_size.x

vg(y)=(x+0.5f)×cell_size.y

vg(z)=(x+0.5f)×cell_size.z

(9)

式中cell_size為體元大小，表達式為

(10)

將vg變換到相機坐標(biāo)得到v，隨后將v映射到像素坐標(biāo)平面得到對應(yīng)的像素p為

(11)

實際應(yīng)用中，一般令wi=1，即可得到不錯的效果，且可以簡化計算。

Kinect最佳掃描范圍為0.5～3.5m。在0.5m之內(nèi)，Kinect的結(jié)果準(zhǔn)確度較低，掃面對象時浪費了掃描空間和分辨率。使掃描空間向前偏移一定量后得到的新空間符合工作要求，獲得更加滿意的結(jié)果，加偏移量之后的變換公式修改如下

vg(z)=(z+0.5f)×cell_size.z+a

(12)

式中 a為偏移量。

本文通過實驗最終選擇的參數(shù)為：分辨率128×128×128，實際大小0.4m×0.4m×0.4m,offset為0.5m。

1.5 光線投射和移動立方體算法

在三維可視化產(chǎn)業(yè)中，大部分三維模型都通過點云或者多邊形網(wǎng)格的形式展現(xiàn)。光線投射和移動立方體可以用來得到點云或者多邊形網(wǎng)格。

光線投射算法[7]的作用是得到更加精細的表面。對于每個像素點(x,y)，可以認為相機會發(fā)出一條光線穿過該像素點，直到遇到重建表面該光線停止傳播。光線和表面的交點可以通過線性插值得到。根據(jù)光線傳播的方向可以得到深度值，然后形成整個深度圖;而法向圖可以通過TSDF得到。光線投射方法的主要作用是給ICP算法提供高質(zhì)量的數(shù)據(jù),當(dāng)呈現(xiàn)在屏幕時，由此得到的噪聲、陰影和孔洞都比原始的深度數(shù)據(jù)少。

移動立方體方法[8,9]可以對得到的重建模型進行網(wǎng)格化。理論上空間中的表面由TSDF值為零的點組成,但由于離散化的分辨率有限，所以不可能所有的零值點都恰好出現(xiàn)在子空間的函數(shù)值中。退而求其次，TSDF將空間分成兩部分：物體內(nèi)側(cè)和外側(cè)。TSDF是一個連續(xù)函數(shù)，所以零點應(yīng)該在具有正值和具有負值的子空間中間。

確定了所有相鄰的異號子空間，可以大致地勾勒出界面的樣子。如果認為一個子空間與其上下左右前后六個相鄰的子空間有棱相連，那么界面會穿過所有兩端異號的棱。為了得到更加精確的結(jié)果，由于實際上棱長很短，認為在任意一條棱上TS-DF值是線性變化的，即使用線性插值的方法可以確定異號棱上TSDF的零點位置。認為棱上的零點都是界面上的點，而將其以子空間為單位組織起來，可以相應(yīng)地連接成面片就得到了完整的對象模型。

2 紋理融合與GPU加速

紋理融合能夠得到更加逼真的模型，而GPU加速可以提高重建速度，滿足實時性的要求。

2.1 紋理融合

Kinect設(shè)備可以同時獲取深度數(shù)據(jù)和RGB數(shù)據(jù)，因此,可以使用獲取的RGB數(shù)據(jù)進行紋理融合。由于Kinect攝像頭得到的RGB數(shù)據(jù)和深度數(shù)據(jù)是同步傳輸?shù)?，因此，在紋理融合過程中可以省去姿態(tài)估計步驟。

由于Kinect設(shè)備的RGB鏡頭和深度鏡頭位置和參數(shù)不同，相同像素點所代表的實際點不同，因此，需要進行信息校對，將信息匹配，使顏色和深度的對應(yīng)關(guān)系相同。對于一個視角而言，RGB數(shù)據(jù)是二維圖像，為了重建出完整的三維帶紋理模型，需要不同視角的顏色信息。獲取的大量數(shù)據(jù)之間存在噪聲和融合的問題。

與深度數(shù)據(jù)處理類似，可以將空間按照相同的分辨率劃分，認為每個子空間內(nèi)的顏色相同，并認為相機所收到的光線是距離該相機最近的子空間發(fā)出的。

然后利用加權(quán)平均的方法將顏色信息融合。

2.2 GPU加速

由于算法計算量較大，同時要求實時性良好，這就需要計算算法高效快速。當(dāng)提高分辨率時，其計算量遠超過CPU所能支持的極限，需要采取其他方法進行優(yōu)化。NVIDIA公司推出的CUDA顯卡編程解決了這個問題。由于算法中存在大量的圖形或類圖形計算，所以使用顯卡的并行結(jié)構(gòu)進行運算，大幅減少了運算時間，提高處理速度，提升了幀率。

3 實 驗

實驗分別進行了不同分辨率下重建效果的對比以及相同分辨率下CPU和使用GPU加速處理效率的對比。

3.1 不同分辨率下重建效果

分別設(shè)置了64×64×64,128×128×128以及256×256×256三種不同的分辨率，重建效果如圖2。

圖2 不同分辨率人臉重建效果

由圖2可以看出，重建的效果并不是嚴格地隨著分辨率的增加而增加，當(dāng)設(shè)置的分辨率達到一定值之后，再增加分辨率重建模型的精細程度變化不明顯,甚至增加分辨率反而使模型表面不夠光滑，原因分析如下：

64×64×64的效果不佳的原因是分辨率不足，導(dǎo)致圖像重建不夠精細；與128×128×128分辨率的模型相比，256×256×256效果不但沒有提升，反而重建模型表面有些凹凸不平，分析原因可能是受到Kinect設(shè)備的限制。Kinect設(shè)備的精度總體為mm到cm級，因此,重建模型精細程度會受到硬件設(shè)備本身的限制。

3.2 紋理融合實驗效果

前面的3幅沒有紋理信息的重建模型，可以看出，雖然能夠得到三維模型，但是不夠形象逼真，而通過紋理融合得到的三維模型將顏色信息融合到三維模型，使得模型更加逼真。本文的實驗分別進行了不同分辨率下的紋理融合，結(jié)果如圖3所示。

圖3 紋理融合示意圖

3.3 GPU加速結(jié)果對比

在同一分辨率下的CPU處理所用時間和使用GPU加速處理所用時間進行對比如表1，分辨率為128×128×128，每次取3幀數(shù)據(jù)進行比較。

由表1可以看出，在release模式下，使用GPU加速后，對重建過程中的每一步都有了明顯的提速，符合實時性的要求。

表1 Release模式下GPU加速實驗 ms

4 結(jié)束語

本文實現(xiàn)了基于單個深度設(shè)備的人臉實時重建，主要通過兩個方面進行加速：1)減少對人臉的檢測，只有在人臉位移超過一定閾值才進行人臉檢測；2)用查表的方法取代運算復(fù)雜的指數(shù)運算。另外，在姿態(tài)估計過程中，引入一個懲罰因子來減小非平滑運動對重建效果帶來的影響。本文還對重建模型進行了紋理貼圖，令三維模型更加形象，逼真。在雙邊濾波、姿態(tài)估計、顏色融合等過程中引入了GPU加速來實現(xiàn)實時性。

[1] 王 可,戈振揚,郭 浩,等.基于Xtion傳感器的玉米果穗三維形態(tài)指標(biāo)測量系統(tǒng)[J].傳感器與微系統(tǒng),2015,34(4):62-65.

[2] 周朗明，鄭順義，黃榮永.旋轉(zhuǎn)平臺點云數(shù)據(jù)的配準(zhǔn)算法[J].測繪學(xué)報，2013,42(1):73-79.

[3] 郭連朋,陳向?qū)?徐萬朋,等.基于Kinect傳感器的物體三維重建[J].四川兵工學(xué)報,2014(11):119-123.

[4] Izadi S,Kim D,Hilliges O,et al.KinectFusion:Real-time 3D reconstr-uction and interaction using a movingdepth camera[C]∥Proceedings of the 24th Annual ACM Symposium on Us-er Interface Software and Technology,ACM,2011:559-568.

[5] Fitzgibbon A.KinectFusion:Real-time dense surface mapping and tra-cking[C]∥2011 10th IEEE Inter-national Symposium on Mixed and Augmented Rea-lity(ISMAR),IEEE,2011:127-136.

[6] Lienhart R,Kuranov A,Pisarevsky V.Pattern Recognition[M].Berlin Heidelberg:Springer,2003:297-304.

[7] Roth S D.Ray casting for modeling solids[J].Computer Graphics & Image Processing,1982,18(2):109-144.

[8] Lorensen W E,Cline H E.Marching cubes:A high resolution 3D surface construction algorithm[C]∥ACM SIGGRAPH Computer Graphics,1987:163-169.

[9] Newman T S,Yi H.A survey of the marching cubes algorithm[J].Computers & Graphics,2006,30(5):854-879.

Real-time human face reconstruction with texture integration based on single depth camera*

ZHU Xin-shan1, WANG Hong-xing1, HUANG Xiang-sheng2

(1.School of Electrical Engineering and Automation,Tianjin University,Tianjin 300072,China;2.Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)

3D reconstruction is a hot spot in the field of computer vision.Based on a depth sensor characteristics of real time and low cost of KinectFusion algorithm，a method which can automatically recognize face region by obtaining depth data and RGB data to reconstruct the 3D model on the basis of KinectFusion.This method adds a penalty factor to smooth the motivation of human face.Texture integration is applied to get a color information.GPU acceleration is applied during the reconstruction.

human face reconstruction; texture integration; GPU acceleration

10.13873/J.1000—9787(2017)08—0126—04

2016—07—14

國家自然科學(xué)基金資助項目(61573356)

TP 301

A

1000—9787(2017)08—0126—04

朱新山(1977-),男,博士，副教授, 主要從事機器學(xué)習(xí)理論與應(yīng)用研究工作。