孫曉斐，宋萬(wàn)忠

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

基于模板的人臉點(diǎn)云補(bǔ)洞方法

孫曉斐，宋萬(wàn)忠

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

為得到完整的三維人臉點(diǎn)云數(shù)據(jù)，首先提出一種在點(diǎn)云生成過程中自動(dòng)提取三維人臉特征點(diǎn)的方法，然后根據(jù)三維特征點(diǎn)對(duì)人臉點(diǎn)云模型進(jìn)行剖分變形。還對(duì)非剛體最近點(diǎn)迭代算法進(jìn)行改進(jìn)，加入以對(duì)應(yīng)點(diǎn)拓?fù)浣Y(jié)構(gòu)為依據(jù)的剔除錯(cuò)誤點(diǎn)對(duì)應(yīng)點(diǎn)機(jī)制和優(yōu)化的迭代策略，實(shí)現(xiàn)更快更好的配準(zhǔn)，繼而完成點(diǎn)云的補(bǔ)洞。試驗(yàn)結(jié)果表明，該方法對(duì)人臉點(diǎn)云孔洞填補(bǔ)效果較好，特別是在人眼、鼻子等復(fù)雜部位，補(bǔ)洞真實(shí)，優(yōu)勢(shì)明顯。

三維人臉；孔洞修補(bǔ)；點(diǎn)云；非剛體最近點(diǎn)迭代算法；三維人臉特征點(diǎn)

0 引言

采用結(jié)構(gòu)光三維面形測(cè)量技術(shù)獲取的原始人臉點(diǎn)云數(shù)據(jù)，因受人臉面形起伏產(chǎn)生的遮擋、局部區(qū)域反射率差異較大（眉毛、眼睛、化妝后臉部反光）等影響，會(huì)導(dǎo)致人臉表面某些區(qū)域無(wú)法測(cè)量，造成測(cè)量的數(shù)據(jù)不完整形成孔洞?？锥床粌H影響美觀，而且不方便紋理等后續(xù)處理，實(shí)際應(yīng)用前需要自動(dòng)孔洞填補(bǔ)。

文獻(xiàn)[1-2]對(duì)通用性的點(diǎn)云孔洞填補(bǔ)方法進(jìn)行了介紹，文獻(xiàn)[3-4]介紹了針對(duì)人體點(diǎn)云孔洞的填補(bǔ)方法。泊松曲面重建[5]是一種隱函數(shù)表面重建方法，將其用于人臉點(diǎn)云孔洞填補(bǔ)時(shí)存在填補(bǔ)后的局部區(qū)域面形明顯失真的問題，比如重建后的眼球是凹陷的。采用曲面擬合的點(diǎn)云孔洞填補(bǔ)方法[6-8]也存在類似問題，其原因是：如需要填補(bǔ)的孔洞原有面形起伏較大，孔洞附近的面形不足以提供生成較為準(zhǔn)確的孔洞填補(bǔ)所需信息。在三維人臉識(shí)別和三維人臉建模應(yīng)用，面形較大的局部區(qū)域常對(duì)應(yīng)三維人臉上的特征區(qū)域，較為準(zhǔn)確地獲?。ɑ蚧謴?fù)）其面形數(shù)據(jù)，直接影響到系統(tǒng)應(yīng)用效果。

本文結(jié)合3D人臉點(diǎn)云模型和非剛體ICP配準(zhǔn)算法[12]，提出了一種基于三維人臉模板的人臉點(diǎn)云自動(dòng)補(bǔ)洞方法，主要包括3個(gè)步驟:（1）根據(jù)人臉點(diǎn)云模型和實(shí)際測(cè)量點(diǎn)云上特征點(diǎn)間的對(duì)應(yīng)關(guān)系，對(duì)人臉點(diǎn)云模板進(jìn)行三維縮放；（2）采用非剛體ICP策略將人臉點(diǎn)云模型向人臉測(cè)量點(diǎn)云配準(zhǔn)；（3）將原始測(cè)量點(diǎn)云中孔洞區(qū)域用變形后的人臉點(diǎn)云模型中的點(diǎn)云來替換實(shí)現(xiàn)補(bǔ)洞。為實(shí)現(xiàn)更快和更準(zhǔn)確的非剛體配準(zhǔn)，本文還對(duì)錯(cuò)誤對(duì)應(yīng)點(diǎn)剔除和迭代策略進(jìn)行了改進(jìn)。

1 人臉點(diǎn)云補(bǔ)洞處理流程及預(yù)處理

本文提出的人臉點(diǎn)云補(bǔ)充處理流程如圖1：

（1）三維人臉特征點(diǎn)提取

本文采用川大智勝研制的三維人臉采集儀同時(shí)獲取人臉的三維面形和彩色紋理，該儀器基于結(jié)構(gòu)光的雙目視覺原理獲取三維人臉面形，測(cè)量精度~0.1mm。同時(shí)采集的彩色人臉圖像和三維點(diǎn)云之間在儀器標(biāo)定階段，已建立對(duì)應(yīng)關(guān)系。采用人臉特征點(diǎn)（Landmark）檢測(cè)算法可檢測(cè)到人臉圖像上的特征點(diǎn)（本文使用了68個(gè)特征點(diǎn)）（圖2（a）），根據(jù)這些特征點(diǎn)的圖像坐標(biāo)與點(diǎn)云上頂點(diǎn)的對(duì)應(yīng)關(guān)系，得到這些特征點(diǎn)的三維坐標(biāo)（圖2 （b））。對(duì)于一些特征點(diǎn)對(duì)應(yīng)的三維坐標(biāo)點(diǎn)在點(diǎn)云中不存在的情況，我們將這些特征點(diǎn)設(shè)為無(wú)效特征點(diǎn)。這些無(wú)效特征點(diǎn)不會(huì)參與后續(xù)的迭代配準(zhǔn)。實(shí)驗(yàn)中，有效的特征點(diǎn)點(diǎn)數(shù)為20~30個(gè)。? %

圖2 三維人臉特征點(diǎn)自動(dòng)

（2）人臉點(diǎn)云模型的預(yù)處理

實(shí)際測(cè)量的人臉點(diǎn)云和用作參考的人臉點(diǎn)云模型之間，存在大小不一致的情況，需要進(jìn)行縮放處理后使得兩者尺寸大致一致，才能進(jìn)行后續(xù)的配準(zhǔn)處理。這里以實(shí)際測(cè)量的人臉點(diǎn)云為準(zhǔn)，對(duì)人臉模型進(jìn)行放縮處理。

步驟1選取測(cè)量點(diǎn)云上特征點(diǎn)P1和P2（P1和P2位于人臉的左右兩側(cè)），以及它們?cè)邳c(diǎn)云模型上的對(duì)應(yīng)點(diǎn)P1'和P2'，縮放人臉點(diǎn)云模型使得D（P1，P2）=D（P1'，P2'）；其中D（P1，P2）為點(diǎn)P1和P2之間的歐氏距離。

步驟2選取測(cè)量點(diǎn)云上特征點(diǎn)P3（位于人臉上半部分）以及它在點(diǎn)云模型上的對(duì)應(yīng)點(diǎn)P3'，放縮模型使得D（P3，O）=D（P3'，O'），其中：O為測(cè)量點(diǎn)云上鼻尖坐標(biāo)為，O'為點(diǎn)云模型上鼻尖坐標(biāo)。

步驟3選取測(cè)量點(diǎn)云上特征點(diǎn)P4（位于人臉下半部分）以及它在模型上的對(duì)應(yīng)點(diǎn)P4'，放縮模型使得D （P4，O）=D（P4'，O'）。

經(jīng)過上述3步后，人臉點(diǎn)云模型和實(shí)際測(cè)量的人臉點(diǎn)云大小近似匹配。

2 改進(jìn)的非剛體ICP配準(zhǔn)算法

2.1 非剛體ICP配準(zhǔn)算法介紹

非剛體ICP配準(zhǔn)算法可以表述為同時(shí)最小化形變能量函數(shù)以及對(duì)應(yīng)點(diǎn)之間的距離之和[12]。設(shè)點(diǎn)云模型為S=（V，E），其中V為n個(gè)頂點(diǎn)的集合，E為邊集合，每個(gè)頂點(diǎn)i的坐標(biāo)為vi=[xi，yi，zi]T（i=1，2，…，n），每個(gè)頂點(diǎn)的形變向量為Xi=[ai，bi，ci]T，則形變矩陣X=[X1，X2，…，Xn]T。點(diǎn)云模型S和實(shí)測(cè)點(diǎn)云P配準(zhǔn)時(shí)，需要最小化的代價(jià)函數(shù)為：

使得可變模型與目標(biāo)點(diǎn)云之間的距離該盡可能的小，函數(shù)dist（P，vi）為頂點(diǎn)vi與vi在目標(biāo)點(diǎn)云上的最近點(diǎn)之間的距離。系數(shù)wi衡量點(diǎn)對(duì)的正確性，對(duì)于模型上的每個(gè)頂點(diǎn)vi，如果未找到目標(biāo)點(diǎn)云上的正確對(duì)應(yīng)點(diǎn)，則為0，否則為1；

剛性系數(shù)項(xiàng)

用來約束相鄰頂點(diǎn)的形變，使得相鄰頂點(diǎn)的形變保持一致；

特征點(diǎn)項(xiàng)

用來初始化和指引配準(zhǔn)，使得配準(zhǔn)更加準(zhǔn)確。

為了求解上述代價(jià)函數(shù)，可將其轉(zhuǎn)換為矩陣形式，通過求解線性方程組來獲得每次迭代的最佳形變矩陣X。構(gòu)造對(duì)角矩陣W=diag（w1，w2，…，wn），矩陣U=[u1，u2，…，un]T（ui為模型頂點(diǎn)i在目標(biāo)點(diǎn)云上的最近點(diǎn)坐標(biāo)）。矩陣M為節(jié)點(diǎn)-弧相關(guān)矩陣，該矩陣每行表示一條邊，每列代表一個(gè)頂點(diǎn)。對(duì)模型上所有頂點(diǎn)編號(hào)，模型上所有邊都是從較小編號(hào)的頂點(diǎn)到較大編號(hào)的頂點(diǎn)。如果邊r連接頂點(diǎn)i和頂點(diǎn)j，則矩陣M第r行的非零元為Mri=-1和Mrj=1。矩陣UL=[l1，l2，…，lk]T。矩陣Q 有k行（k為特征點(diǎn)的對(duì)數(shù)），每行僅有一個(gè)非零元β，該非零元的列坐標(biāo)為L(zhǎng)中vij的下標(biāo)ij（j為非零元的行坐標(biāo)）。則代價(jià)函數(shù)可轉(zhuǎn)化為的

其最小值為X=（A'A）-1A'B。

通常，非剛體ICP配準(zhǔn)算法流程為：

步驟1輸入點(diǎn)云模型S和實(shí)測(cè)點(diǎn)云P，令j=1。

步驟2從{（α1，β1），（α2，β2），…，（αc，βc）}（αi>αi+1）中依次取出第j組參數(shù)（αj，βj），如果j>c，輸出形變后的模型點(diǎn)云S'，終止程序，否則，轉(zhuǎn)步驟3；

步驟3查找模型上每個(gè)頂點(diǎn)vi在目標(biāo)點(diǎn)云上的最近點(diǎn)ri，得到（vi，ri）（i=1，2，…，n）；

步驟4對(duì)第i組點(diǎn)對(duì)（vi，ri）（i=1，2，…，n）執(zhí)行錯(cuò)誤對(duì)應(yīng)點(diǎn)測(cè)試，如果判斷為錯(cuò)誤對(duì)應(yīng)點(diǎn)，則置0，否則置1；

步驟5求解本次迭代的最佳形變矩陣Xj；

步驟6如果||Xj-Xj-1||

2.2 改進(jìn)迭代策略

非剛體ICP配準(zhǔn)算法包含內(nèi)外兩個(gè)循環(huán)。外部循環(huán)控制剛性系數(shù)，使得剛性系數(shù)由大到小遞減變化。當(dāng)剛性系數(shù)較大時(shí)，點(diǎn)云模型近似做剛性形變，即模型和實(shí)測(cè)點(diǎn)云整體上對(duì)齊。當(dāng)剛性系數(shù)較小時(shí)，點(diǎn)云模型能夠產(chǎn)生更局部的形變，使得模型能夠逼近實(shí)測(cè)點(diǎn)云的細(xì)節(jié)部分。由于本文在進(jìn)行非剛體ICP配準(zhǔn)前執(zhí)行了ICP配準(zhǔn)，完成了整體配準(zhǔn)，所以跳過了剛性系數(shù)較大的迭代階段。之所以在這里使用ICP配準(zhǔn)，是因?yàn)榇颂幍腎CP配準(zhǔn)僅使用幾十個(gè)點(diǎn)對(duì)，而執(zhí)行非剛體ICP是對(duì)所有點(diǎn)對(duì)執(zhí)行計(jì)算，這樣可以縮短非剛體ICP執(zhí)行的時(shí)間，進(jìn)而縮短補(bǔ)洞時(shí)間。實(shí)驗(yàn)中系數(shù)取值策略為：進(jìn)行5次外部迭代，每次外部迭代進(jìn)行10次內(nèi)部迭代。剛性系數(shù)α初始化為32，β值初始化為2，每次外部迭代結(jié)束后，α與β值均減半。使用這種迭代策略減少了迭代次數(shù)，使得配準(zhǔn)能夠在數(shù)秒內(nèi)完成，而且配準(zhǔn)結(jié)果好。

2.3 改進(jìn)錯(cuò)誤對(duì)應(yīng)點(diǎn)的排除策略

對(duì)于非剛體ICP變換，當(dāng)剛性系數(shù)很小時(shí)，即使只有一對(duì)對(duì)應(yīng)點(diǎn)錯(cuò)誤，也能使得模型點(diǎn)云在孔洞部分產(chǎn)生較大的畸變。非剛體ICP配準(zhǔn)是一個(gè)內(nèi)在的病態(tài)問題，因?yàn)樗茈y定義一對(duì)對(duì)應(yīng)點(diǎn)是否正確。在實(shí)驗(yàn)中，筆者發(fā)現(xiàn)文獻(xiàn)[12]中的排除錯(cuò)誤對(duì)應(yīng)點(diǎn)的條件不夠充分，會(huì)使模型點(diǎn)云在孔洞部分產(chǎn)生畸變。在文獻(xiàn)[12]中，如果模型上的一個(gè)頂點(diǎn)查找到的對(duì)應(yīng)點(diǎn)位于邊界上，那么視為錯(cuò)誤的對(duì)應(yīng)點(diǎn)。如圖3中，O為人臉模型上一點(diǎn)，在文獻(xiàn)[12]中，點(diǎn)F，E，D，C為測(cè)量點(diǎn)云的邊界。在非剛體ICP進(jìn)行最近點(diǎn)查找時(shí)，O可能查找的最近點(diǎn)為非邊界點(diǎn)G。在剛性系數(shù)較小時(shí)，點(diǎn)O附近的頂點(diǎn)會(huì)朝著G點(diǎn)移動(dòng)，產(chǎn)生畸變。為了改善該問題，我加寬點(diǎn)云的邊界。如果一個(gè)三角面片中有一條邊在邊界上，那么我就將該三角面片上的三個(gè)頂點(diǎn)都視為邊界點(diǎn)，如圖5中，G點(diǎn)會(huì)被視為邊界點(diǎn)。

圖4為截取的非剛體ICP配準(zhǔn)后點(diǎn)云的眼睛部分。白線上部分為采用文獻(xiàn)[12]中錯(cuò)誤點(diǎn)對(duì)排除策略得到的配準(zhǔn)結(jié)果，下部分為采用本文策略得到的配準(zhǔn)結(jié)果。由于錯(cuò)誤的對(duì)應(yīng)點(diǎn)的存在，在白線上面的點(diǎn)云中，眼睛部分的點(diǎn)云會(huì)向邊界移動(dòng)，產(chǎn)生畸變。

圖3 加寬點(diǎn)云邊界

圖4 兩種錯(cuò)誤點(diǎn)對(duì)排除策略的對(duì)比

3 方法實(shí)現(xiàn)與實(shí)驗(yàn)

本文在Windows7上，采用Visual Studio 2012編程實(shí)現(xiàn)了上述人臉點(diǎn)云補(bǔ)洞涉及的相關(guān)算法，其中稀疏矩陣的求解采用了Intel的MKL（Math Kernel Library）[10]。程序運(yùn)行的硬件配置為Intel Core i5-4590處理器，8G內(nèi)存。

論文使用的實(shí)驗(yàn)數(shù)據(jù)為28個(gè)實(shí)測(cè)三維人臉，每個(gè)三維人臉包括大約100K~200K個(gè)頂點(diǎn)和200K~400K個(gè)三角形，部分測(cè)量數(shù)據(jù)信息見表1。人臉圖像分辨率為752×480，圖5（b）為3個(gè)實(shí)測(cè)人臉，可以看到，原始的實(shí)測(cè)人臉點(diǎn)云中眼睛，鼻子等部分存在較多的孔洞；人臉點(diǎn)云模型包括33K個(gè)頂點(diǎn)，66K個(gè)三角形，如圖5 （a）。

圖5 本文實(shí)驗(yàn)使用的人臉模型及三維人臉測(cè)量數(shù)據(jù)

圖6右是采用不同方法對(duì)三幅人臉測(cè)量點(diǎn)云補(bǔ)洞處理的對(duì)比，第一行為本文方法處理的結(jié)果，第二行為采用PCL庫(kù)[11]中的泊松重建方法補(bǔ)洞后的結(jié)果。圖6左為右圖中第一幅點(diǎn)云眼睛部位局部放大的補(bǔ)洞結(jié)果對(duì)比，可以看到本文方法在孔洞部分更加平滑，且能夠保持眼球的凸起，更加真實(shí)。

在表1中，統(tǒng)計(jì)了測(cè)量數(shù)據(jù)及配準(zhǔn)后的點(diǎn)云信息。其中第二列“模型有效點(diǎn)數(shù)”為完成配準(zhǔn)后點(diǎn)云模型上能查找到正確的最近點(diǎn)的個(gè)數(shù)，第三列“點(diǎn)對(duì)平均距離”為模型上頂點(diǎn)到它在實(shí)際測(cè)量點(diǎn)云上對(duì)應(yīng)的最近點(diǎn)的距離的平均值，第四、五、六列為測(cè)量點(diǎn)云的統(tǒng)計(jì)信息，第七列為測(cè)量點(diǎn)云中邊的平均距離。從第三列和第七列可以看到，點(diǎn)對(duì)平均距離僅為邊平均距離的1/4，說明人臉點(diǎn)云模型在非孔洞部分很好地?cái)M合到了測(cè)量人臉。

圖6 本文方法和泊松重建方法補(bǔ)洞效果比較

4 結(jié)語(yǔ)

本文針對(duì)采用結(jié)構(gòu)光雙目測(cè)量得到的三維人臉點(diǎn)云存在的局部孔洞問題，提出了一種基于模板的人臉量的三維人臉數(shù)據(jù)驗(yàn)證了該方法的有效性。此方法在工程上具有一定的應(yīng)用價(jià)值。本文實(shí)驗(yàn)中完成一次補(bǔ)洞平均需要6秒，不能達(dá)到實(shí)時(shí)要求。下一步的工作是提高算法的運(yùn)行速度。

表1 部分測(cè)量數(shù)據(jù)及對(duì)應(yīng)的配準(zhǔn)結(jié)果信息

參考文獻(xiàn)：

[1]Attene M，Campen M，KobbeltL.Polygon Mesh Repairing:An Application Perspective[J].ACM Computing Surveys（CSUR），2013，45 （2）:3472-3476.

[2]岳杰，陸聲鏈，孫智慧等.三維點(diǎn)云孔洞修補(bǔ)算法及在植物形態(tài)重建中的應(yīng)用[J].農(nóng)機(jī)化研究，2013，35（5）:190-195.

[3]周亮，孫志海，吳以凡，張燁.面向人體尺寸測(cè)量系統(tǒng)的點(diǎn)云孔洞修補(bǔ)方法[J].杭州電子科技大學(xué)學(xué)報(bào)，2014，34（5）:73-77.

[4]孫曉東.人體點(diǎn)云數(shù)據(jù)處理中若干問題的研究[D].北京:北京工業(yè)大學(xué)，2012:44-46.

[5]Michael Kazhdan and Hugues Hoppe，Poisson Surface Reconstruction[J].Symposium on Geometry Processing，2006，32（3）:61-70.

[6]謝倩茹，耿國(guó)華.三維模型孔洞修補(bǔ)方法的研究[J].計(jì)算機(jī)應(yīng)用研究，2013，30（10）:3175-3177.

[7]王運(yùn)鋼，徐巖軍，林海榮.基于雙向切片的點(diǎn)云孔洞修補(bǔ)方法研究[J].測(cè)繪與空間地理信息.2015，38（10）:218-220.

[8]晏海平，吳祿慎，陳華偉.基于徑向基函數(shù)的散亂點(diǎn)云孔洞修復(fù)算法[J].計(jì)算機(jī)工程與設(shè)計(jì).2014，35（4）:1253-1257.

[9]羅偉正.RBF函數(shù)的孔洞修復(fù)技術(shù)研究[J].科學(xué)技術(shù)與工程，2012，12（2）:404-406.

[10]張立國(guó)，王靜，金梅，康樂.基于徑向基函數(shù)的點(diǎn)云島嶼孔洞自動(dòng)修補(bǔ)[J].高技術(shù)通訊，2016，26（2）:166-172.

[11]符艷青.基于改進(jìn)的徑向基函數(shù)網(wǎng)絡(luò)的3D隱式曲面重構(gòu)算法研究[D].杭州:中國(guó)計(jì)量學(xué)院，2014

[12]B.Amberg，S.Romdhani，T.Vetter.Optimal Step Nonrigid ICP Algorithms for Surface Registration[J].CVPR，2007，101（1）:1-8.

Template-Based Method for Hole-Filling of Face Point-Clouds

SUN Xiao-fei，SONG Wan-zhong
（College of Computer Science，Sichuan University，Chengdu 610065）

To get complete point clouds,proposes a new algorithm of automatically obtain landmarks of 3D face in the generation of 3D face.With these 3D landmarks,3D face model is deformed.Additionally,improves Nonrigid ICP algorithm including employs a new mechanism of excluding error corresponds and optimizes the strategy of iteration.Experiment results show that this method can fill holes more effective and more realistic,especially in the complicated parts such as eyes.

3D Face;Hole-Filling;Point Clouds;Non-Rigid ICP;3D Landmarks

1007-1423（2017）05-0059-06

10.3969/j.issn.1007-1423.2017.05.014

孫曉斐（1988-），男，河南鄭州人，碩士研究生，研究方向?yàn)辄c(diǎn)云配準(zhǔn)、機(jī)器學(xué)習(xí)

2016-12-06

2017-02-06

國(guó)家重大科學(xué)儀器設(shè)備開發(fā)專項(xiàng)（No.2013YQ4900879-05）

宋萬(wàn)忠（1974-），男，四川成都人，博士，副研究員，研究方向?yàn)橛?jì)算機(jī)圖形學(xué)和圖像處理