林琴，李衛(wèi)軍，董肖莉，寧欣，陳鵬

（1. 中國(guó)科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室，北京 100083; 2. 中國(guó)科學(xué)院大學(xué) 電子學(xué)院，北京100029; 3. 認(rèn)知計(jì)算技術(shù)威富聯(lián)合實(shí)驗(yàn)室，北京 100083）

人臉的三維結(jié)構(gòu)信息廣泛地應(yīng)用在人臉圖像處理中，例如人臉識(shí)別、人臉跟蹤、人臉對(duì)齊、人臉表情識(shí)別等方面。在過去幾年，國(guó)內(nèi)外研究者提出了許多人臉三維重建的方法，一類方法是基于額外的硬件設(shè)備進(jìn)行三維人臉結(jié)構(gòu)的采集，如使用三維激光掃描儀、結(jié)構(gòu)光掃描儀等。這類方法能夠獲得精度較高的人臉三維結(jié)構(gòu)數(shù)據(jù)，但是需要使用硬件設(shè)備，使得此方法具有造價(jià)高、不靈活、復(fù)雜度高等諸多限制，并不適合應(yīng)用于普通場(chǎng)合[1-2]。另一類方法是基于視頻[3]或者基于多角度照片[4]的三維人臉重建方法，這類方法成本低，使用靈活，能夠應(yīng)用在日常生活中。

第二類人臉三維重建的方法主要包含基于立體視覺的[5-6]人臉三維重建方法，基于明暗恢復(fù)形狀(shape from shading，SFS)[7-9]的人臉三維重建方法，基于運(yùn)動(dòng)的SFM(structure from motion)人臉三維重建方法，和基于三維形變模型(3-D morphable model，3DMM)的人臉三維重建的方法等。

SFS方法假設(shè)圖像中的樣本與參考樣本間具有大致相似的形狀和反射率，從單幅圖像中物體表面的明暗變化來恢復(fù)其表面各點(diǎn)的相對(duì)高度或表面法向量等參數(shù)。雖然該方法使用了不同的限制，但其所求得的解的存在性和唯一性仍然是一個(gè)問題[7-8]。SFM方法根據(jù)包含局部運(yùn)動(dòng)信號(hào)的二維圖像序列來估計(jì)三維結(jié)構(gòu)信息。王琨等[9]提出了根據(jù)兩幅正面人臉圖像和一幅側(cè)面圖像重建人臉三維模型，雖然此方法能夠重建出三維人臉，但是結(jié)果并不夠準(zhǔn)確。H. S. Koo等[4]提出了對(duì)一組不同姿態(tài)的人臉圖像進(jìn)行相似變換從而恢復(fù)人臉的三維結(jié)構(gòu)的方法，但是該方法計(jì)算復(fù)雜，運(yùn)算效率低。Z. L. Sun等[10-11]提出了基于非線性最小方差(non-linear least-squares，NLS)模型和基于帶約束的獨(dú)立成分分析(constrained independent component analysis，cICA)的方法，通過使用一個(gè)正面人臉照片和非正面人臉照片來估計(jì)人臉特征點(diǎn)的深度值，該方法提高了運(yùn)算效率。3-D形變模型[12-14]是以人臉空間的基向量為基礎(chǔ)，建立三維人臉的表示模型，通過將形變模型與輸入圖像匹配的方式來實(shí)現(xiàn)對(duì)輸入圖像的三維重建。這類方法在恢復(fù)人臉細(xì)節(jié)特征方面效果不夠理想，并且需要使用通用的模型進(jìn)行訓(xùn)練。

然而如何使用雙目立體圖像來重建人臉的三維結(jié)構(gòu)仍然是一個(gè)有挑戰(zhàn)的問題，這種方法只使用一對(duì)圖像，它們來自雙目攝像頭的左攝像頭和右攝像頭，從而對(duì)人臉的三維信息進(jìn)行恢復(fù)。目前存在很多雙目匹配的方法，如BM[15]算法、SGM[16]算法、Meshstereo[17]算法等。但是人臉區(qū)域的低紋理問題是人臉結(jié)構(gòu)三維重建需要解決的主要問題。因此，提出了專門針對(duì)人臉結(jié)構(gòu)的雙目立體匹配方法，如基于人臉先驗(yàn)的塊匹配方法[18]、基于種子點(diǎn)增長(zhǎng)法[6]等進(jìn)行三維人臉結(jié)構(gòu)的恢復(fù)，這類方法采用高分辨率(1 380×1 030)的攝像頭采集設(shè)備，獲得較高準(zhǔn)確的結(jié)果，或者采取普通分辨率(640×480)的攝像頭，但是獲得的人臉精度比較差。

本文提出了一種通過普通的雙目攝像頭獲取精度較高的三維人臉結(jié)構(gòu)的方法。本文通過立體匹配得到臉部的視差值，從而恢復(fù)出臉部對(duì)應(yīng)三維結(jié)構(gòu)。該方法結(jié)合臉部具有的拓?fù)浣Y(jié)構(gòu)，通過獲取臉部稀疏點(diǎn)的視差值，進(jìn)行線性插值，初始化出臉部稠密的視差值，再利用局部匹配方法PatchMatch[19]對(duì)臉部的視差值進(jìn)行平滑處理，更好地恢復(fù)出臉部的曲面特征。

1 雙目深度測(cè)量原理

在雙目視覺系統(tǒng)中，通過立體匹配算法，找到左右兩幅圖中相匹配的點(diǎn)，如圖1所示。

圖 1 校正后的立體視覺系統(tǒng)的幾何模型Fig. 1 Rectified stereo vision system

根據(jù)相似三角形原理，可以得到式(1)，由此變換后，得到式(2)，從而求得此點(diǎn)對(duì)應(yīng)的深度值。

式中：Z代表深度值，T代表兩個(gè)攝像機(jī)之間的基線長(zhǎng)度，f代表攝像機(jī)的焦距，、分別代表左右攝像機(jī)的列坐標(biāo)，d代表視差值。

由此可知，空間的一點(diǎn)，投射在左右攝像機(jī)平面上，該點(diǎn)在左邊攝像機(jī)的圖像平面上具有圖像點(diǎn)，其坐標(biāo)為，同樣此空間點(diǎn)在右邊攝像機(jī)的圖像平面具有圖像點(diǎn)坐標(biāo)，其坐標(biāo)為，因?yàn)閷?duì)相機(jī)平面進(jìn)行了校正，使得，視差值為左右匹配點(diǎn)的橫坐標(biāo)之差。

在已知兩個(gè)對(duì)應(yīng)點(diǎn)的坐標(biāo)的前提下，根據(jù)式(2)就可以獲取對(duì)應(yīng)點(diǎn)的深度值。

2 基于人臉結(jié)構(gòu)的立體匹配算法

由于人臉具有較多的弱紋理區(qū)域，使用常用的立體匹配算法來恢復(fù)人臉的三維結(jié)構(gòu)具有一定難度，所以本文利用人臉結(jié)構(gòu)的特殊性，通過人臉檢測(cè)技術(shù)和關(guān)鍵點(diǎn)定位技術(shù)，匹配出左右兩幅圖像中的人臉關(guān)鍵點(diǎn)，獲得人臉稀疏的視差值，進(jìn)而通過插值算法得到整個(gè)臉部的粗略的視差值。接著將此視差值作為初值應(yīng)用到稠密匹配方法Patchmath算法中，調(diào)整整個(gè)臉部視差值。最后通過三角測(cè)量原理恢復(fù)出對(duì)應(yīng)點(diǎn)的三維坐標(biāo)。

為了定位出人臉的關(guān)鍵點(diǎn)信息，本算法采用回歸樹集合 (ensemble of regression trees，ERT)[20]算法獲取人臉的初始形狀的關(guān)鍵點(diǎn)。通過ERT算法進(jìn)行初始定位后，能夠得到左右兩幅圖上的臉部關(guān)鍵點(diǎn)的拓?fù)浣Y(jié)構(gòu)，計(jì)算相應(yīng)的視差值，再對(duì)臉部稀疏的視差值進(jìn)行線性插值，得到臉部整體的初始視差值，保證了臉部初始結(jié)構(gòu)連續(xù)性且有一定的平滑性。通過初始化臉部的視差值，可以減小PatchMatch的迭代次數(shù)，使得算法更加快速地計(jì)算出準(zhǔn)確值。

2.1 臉部稀疏視差計(jì)算

為了獲得臉部區(qū)域的初始視差值，本文首先計(jì)算了臉部稀疏的視差值。本文在左右兩個(gè)圖像上分別采用ERT算法定位出關(guān)鍵點(diǎn)，建立臉部關(guān)鍵點(diǎn)的匹配。此算法利用線下訓(xùn)練得到模型，定位檢測(cè)圖像中關(guān)鍵點(diǎn)的位置，恢復(fù)人臉的稀疏結(jié)構(gòu)。至此，獲得人臉先驗(yàn)的稀疏拓?fù)湫畔ⅲ玫阶髨D人臉形狀SL和右邊人臉形狀SR，其中包含的左臉特征點(diǎn)坐標(biāo)，n代表特征點(diǎn)的總數(shù)。右臉特征點(diǎn)坐標(biāo)。如圖2所示，由于左右圖像是經(jīng)過立體校正的，所以左右的匹配點(diǎn)位于同一行。點(diǎn)的視差的計(jì)算如式(3)所示：

至此得到了n個(gè)特征點(diǎn)的視差值，但是對(duì)于人臉的結(jié)構(gòu)來說，這樣的視差值太過稀疏，不能夠很好地描述人臉的結(jié)構(gòu)。

圖 2 臉部關(guān)鍵點(diǎn)定位Fig. 2 Facial landmark

2.2 臉部稠密視差計(jì)算

以上述稀疏的臉部關(guān)鍵點(diǎn)的視差值為基礎(chǔ)，利用以下兩個(gè)步驟來計(jì)算臉部的稠密視差：1)結(jié)合得到的臉部關(guān)鍵點(diǎn)的位置及視差值，對(duì)臉部進(jìn)行Delaunay三角剖分并對(duì)三角形內(nèi)的點(diǎn)進(jìn)行視差插值，得到臉部稠密的視差初始值；2)通過PatchMatch算法對(duì)得到的初始視差值進(jìn)行平滑處理。

首先利用臉部定位出的關(guān)鍵點(diǎn)對(duì)臉部進(jìn)行Delaunay三角剖分，如圖3(a)所示，將臉部劃分成n個(gè)三角形，此處假設(shè)，位于同一三角形內(nèi)的點(diǎn)的視差與三角形3個(gè)頂點(diǎn)的視差成線性關(guān)系，從而通過一個(gè)三角形的3個(gè)頂點(diǎn)視差值獲得三角形內(nèi)點(diǎn)的視差值。如果三角形的3個(gè)頂點(diǎn)為、、，對(duì)于三角形內(nèi)的任意點(diǎn)，都存在一個(gè)和，使得點(diǎn)與、、存在如式(4)的關(guān)系：

從而由式(6)進(jìn)行插值運(yùn)算得到對(duì)p點(diǎn)的視差D(p)：

插值后的臉部視差的偽彩色圖如圖3(b)所示，圖中中間區(qū)域代表距離攝像頭近，邊緣區(qū)域代表距離攝像頭遠(yuǎn)。從圖中可以看出臉部鼻子區(qū)域比眼睛區(qū)域距離攝像頭更近，臉部輪廓的區(qū)域比眼睛區(qū)域距離攝像頭更遠(yuǎn)。獲得的結(jié)構(gòu)與人臉結(jié)構(gòu)基本符合。

圖 3 臉部的三角剖分及視差圖的偽彩色圖集合Fig. 3 Face triangulation and Pseudo color image of disparity maps

圖4(a)和圖4(b)分別是未經(jīng)過初始化和經(jīng)過插值初始化的視差恢復(fù)的三維結(jié)構(gòu)圖，圖4(b)中的人臉額頭部分由于沒有關(guān)鍵點(diǎn)，不能通過上述步驟得到，所以采取使用眉毛部位的視差值對(duì)其進(jìn)行初始化?？梢钥闯鰶]有經(jīng)過初始化的臉部三維結(jié)構(gòu)是一些隨機(jī)點(diǎn)，而經(jīng)過插值初始化后的人臉三維結(jié)構(gòu)已經(jīng)初步具有人臉的基本形狀信息，但是僅經(jīng)過線性初始化的方法得到的人臉三維結(jié)構(gòu)不平滑所以需要通過2.3部分的內(nèi)容進(jìn)行進(jìn)一步優(yōu)化。

圖 4 臉部三維效果圖Fig. 4 Face 3-D renderings

2.3 基于PatchMatch算法的人臉三維結(jié)構(gòu)優(yōu)化

傳統(tǒng)的局部的立體算法以整數(shù)視差作為支持窗，此處假設(shè)，位于同一個(gè)支持窗區(qū)域內(nèi)的像素具有相同的視差值，但是該假設(shè)不適用于傾斜的平面，所以會(huì)導(dǎo)致重建的前向平行的表面出現(xiàn)一定的偏差。PatchMatch立體算法提出使用傾斜的支持窗策略來解決該問題。因此，對(duì)于臉部這樣的曲型平面，PatchMatch方法能夠較好地恢復(fù)。

該算法通過對(duì)每個(gè)像素構(gòu)造一個(gè)平面，然后找到局部最優(yōu)平面，再以此平面來描述此點(diǎn)的視差值。該算法與其他的局部立體匹配算法一致，包含代價(jià)匹配、代價(jià)聚合、代價(jià)計(jì)算和后處理4個(gè)步驟。本文采用的代價(jià)匹配算法是census[21]算法。對(duì)于圖片上的像素，對(duì)應(yīng)的視差為d，對(duì)應(yīng)的視差平面表示平面，單位向量表示平面的法向量。對(duì)于某一個(gè)像素點(diǎn)的聚合視差代價(jià)，如式(7)：

對(duì)于某個(gè)像素點(diǎn)選用具有最小的聚合匹配代價(jià)的平面作為當(dāng)前點(diǎn)的最優(yōu)平面，如式(10)所示：

f代表所有的視差平面，所對(duì)應(yīng)的解是無窮多的。通過下面的方式找到較優(yōu)的平面參數(shù)。

首先初始化平面參數(shù)和視差參數(shù)，Patch-Match方法采用的是隨機(jī)初始化方式，但是人臉重建與場(chǎng)景重建之間存在差別，人臉可以通過檢測(cè)方法確定其所在區(qū)域，并且通過關(guān)鍵點(diǎn)檢測(cè)技術(shù)，初步匹配出左右圖像人臉的關(guān)鍵點(diǎn)，從而獲得稀疏的視差值，結(jié)合線性插值方法恢復(fù)稠密的視差，為視差提供更好的初始化方式，從而使得算法能夠更快地收斂到正確的視差值。本文采用2.1和2.2中的方法得到的臉部視差值進(jìn)行初始化，圖片其余部分視差值進(jìn)行隨機(jī)初始化。平面參數(shù)采用隨機(jī)初始化方式。通過迭代步驟和后處理步驟來更新最優(yōu)平面參數(shù)。迭代步驟中包括空間傳播、視角傳播和平面細(xì)化3個(gè)步驟。

3 實(shí)驗(yàn)結(jié)果及分析

該部分中對(duì)提出的方法從定性和定量?jī)蓚€(gè)方面進(jìn)行分析。首先，使用雙目立體相機(jī)采集人臉圖像，獲取的圖像分辨率為640像素×480像素，構(gòu)建實(shí)驗(yàn)室自主人臉數(shù)據(jù)庫，后文用數(shù)據(jù)庫1表示，由于該數(shù)據(jù)庫上缺乏人臉的基準(zhǔn)三維坐標(biāo)，因此，僅從定性方面進(jìn)行分析。然后在公開的人臉數(shù)據(jù)庫Bosphorus[22]上進(jìn)行了臉部深度的定性分析和定量分析。Bosphorus數(shù)據(jù)庫提供了人臉圖像和對(duì)應(yīng)點(diǎn)的三維坐標(biāo)，有利于對(duì)人臉三維重建結(jié)果做評(píng)估，并且與其他在該庫上進(jìn)行的人臉三維重建[10-11,15]算法進(jìn)行比較。

3.1 數(shù)據(jù)庫1評(píng)估

數(shù)據(jù)庫1包含20人的不同圖像對(duì)，圖像通過雙目相機(jī)采集，圖片大小為640像素×480像素。將該算法與局部立體匹配算法BM和半全局立體匹配算法SGBM(semi-global block matching)進(jìn)行比較。SGBM是opencv基于SGM算法改進(jìn)得到的算法。從圖5可以看出，BM算法雖然能夠得到人臉的總體輪廓，但人臉三維點(diǎn)云很稀疏，說明該算法對(duì)弱紋理區(qū)域重建較差；SGBM算法相比較BM算法，能夠得到更加稠密的點(diǎn)云，但是人臉的下巴與人臉分離，連續(xù)性較差，出現(xiàn)了分層現(xiàn)象。而本文提出的算法能夠得到更加稠密的人臉點(diǎn)云信息，而且得到的人臉結(jié)構(gòu)也更加真實(shí)?？梢钥闯鲠槍?duì)人臉結(jié)構(gòu)的雙目立體匹配的算法能夠更加準(zhǔn)確地恢復(fù)出人臉的三維結(jié)構(gòu)。

圖 5 不同算法對(duì)人臉的三維重建效果Fig. 5 Face 3-D renderings on different algorithms

圖6展現(xiàn)了本文提出的方法對(duì)數(shù)據(jù)庫1中的部分人臉的三維結(jié)構(gòu)恢復(fù)，由于側(cè)面信息能夠更加直觀地展現(xiàn)出人臉的深度信息，所以通過展示人臉的側(cè)臉深度信息來進(jìn)行比較，前5張圖是真實(shí)人臉的三維點(diǎn)云效果圖，最后一張是人臉照片所得到的三維點(diǎn)云效果圖。從圖中可以看出，對(duì)于不同的人都具有能夠區(qū)分的三維結(jié)構(gòu)，而人臉照片并不具有人臉結(jié)構(gòu)，說明重建的效果具有一定的區(qū)分性。

3.2 Bosphorus數(shù)據(jù)庫評(píng)估

現(xiàn)在大多數(shù)基于雙目視覺進(jìn)行人臉三維重建的方法都只進(jìn)行了定性分析，為了對(duì)本文提出的算法進(jìn)行定量分析，使用Bosphorus數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)，但是數(shù)據(jù)庫中只提供了一個(gè)攝像頭采集的照片，需要對(duì)圖像進(jìn)行雙目合成。實(shí)驗(yàn)中，使用數(shù)據(jù)庫中每個(gè)人物的5個(gè)模型，這5個(gè)模型對(duì)應(yīng)不同的姿態(tài)(被命名為PR_D、PR_SD、PR_SU、PR_U和YR_R10，分別代表向下傾斜，輕微向下傾斜，輕微向上傾斜，向上傾斜，向右偏轉(zhuǎn)10°)。利用每一個(gè)模型的照片對(duì)應(yīng)的三維坐標(biāo)，計(jì)算了每個(gè)照片對(duì)應(yīng)的視差圖，從而合成了每一個(gè)照片對(duì)應(yīng)的雙目圖像，即下文提及的左圖和右圖。其中bs003人物對(duì)應(yīng)的雙目圖像和對(duì)應(yīng)的視差圖像如圖7所示。圖7中展示了數(shù)據(jù)庫中人物4(命名為bs003人物)5個(gè)姿態(tài)下(不同列)的圖像，第1行圖像是數(shù)據(jù)庫中的原圖，將此作為雙目立體視覺系統(tǒng)中的左攝像頭獲取的數(shù)據(jù)；第2行是通過雙目立體視覺原理模擬得到的右攝像頭獲取的數(shù)據(jù)；第3行是對(duì)應(yīng)雙目立體視覺系統(tǒng)下的左圖視差值。此值作為后續(xù)估計(jì)的基準(zhǔn)值。

圖 6 不同人物的人臉深度圖Fig. 6 Face 3-D renderings on different person

圖 7 bs003人物不同姿態(tài)Fig. 7 Different poses of bs003

3.2.1 定性分析

使用數(shù)據(jù)庫中的人物7(命名為bs006人物)5個(gè)姿態(tài)下的圖像為例，將本文方法與其他方法進(jìn)行比較，(取迭代次數(shù)為3)，定性分析如圖8所示，第1行是Meshstereo的方法，是一個(gè)全局的算法；第2行是原PatchMatch方法；第3行是本文提出的改進(jìn)方法；第4行是基準(zhǔn)圖。圖8展現(xiàn)了同一個(gè)人臉在不同的姿態(tài)下人臉視差的恢復(fù)，可以看出本文所提出的方法在不同的旋轉(zhuǎn)角度下都最接近基準(zhǔn)圖，對(duì)于同樣的迭代次數(shù)，按照臉部結(jié)構(gòu)初始化視差的方法使得算法更快地收斂到正確的人臉視差值，使得人臉區(qū)域更加接近真實(shí)的深度值。

圖 8 不同方法在不同姿態(tài)下的視差圖效果Fig. 8 Disparity renderings of different face pose on different methods

圖9中展現(xiàn)了不同方法對(duì)不同姿態(tài)人臉進(jìn)行三維重建后的臉部誤差分布圖。第1行是Meshstereo的方法，第2行是原PatchMatch方法，第3行是本文提出的方法。圖中藍(lán)色區(qū)域?yàn)檎_匹配的區(qū)域(即視差誤差小于等于1個(gè)像素)，綠色區(qū)域表示視差誤差小于2像素大于1個(gè)像素，紅色區(qū)域表示視差誤差小于3個(gè)像素大于2個(gè)像素，黃色區(qū)域?yàn)橐暡钫`差大于3個(gè)像素。從錯(cuò)誤點(diǎn)的分布來看，Meshstereo藍(lán)色區(qū)域比較小，參雜了很多綠色區(qū)域，說明視差誤差為2個(gè)像素的區(qū)域偏多，而PatchMatch算法和提出的算法有較多的藍(lán)色區(qū)域，說明能獲得更準(zhǔn)確的視差區(qū)域。還可以看出3個(gè)算法在鼻子區(qū)域和臉部輪廓區(qū)域出現(xiàn)了較大誤差的區(qū)域，這些區(qū)域都是遮擋區(qū)域，說明算法不能很好地對(duì)遮擋區(qū)域進(jìn)行視差的恢復(fù)，但是比起前兩個(gè)方法，本文算法能夠減少誤差較大區(qū)域的面積，從而提高算法的準(zhǔn)確率?？梢钥闯鼋Y(jié)合人臉結(jié)構(gòu)算法有助于人臉區(qū)域的重構(gòu)。

圖 9 不同方法在不同姿態(tài)下的臉部誤差分布圖Fig. 9 Error map of different face pose on different methods

3.2.2 定量分析

將提出的方法與M. Bleyer等提出的Patch-Match方法進(jìn)行比較，如圖10所示?？梢钥闯霎?dāng)?shù)螖?shù)為4時(shí)，兩個(gè)算法基本收斂，并且迭代次數(shù)等于3與等于4差大概3%，差距減小的速度小了很多。本文提出的方法比原方法在同樣的迭代次數(shù)下能夠減小5%的錯(cuò)誤率。

圖 10 PatchMatch與本文方法的錯(cuò)誤率比較Fig. 10 Error rate of PatchMatch and proposed method

表1展示了數(shù)據(jù)庫中前20個(gè)人物對(duì)應(yīng)5個(gè)姿態(tài)下PBM(percentage of bad matching pixel)的平均值，PBM表示錯(cuò)誤匹配點(diǎn)的百分比，計(jì)算如式

(11)所示，PBM值越小表示重建得越準(zhǔn)確。可以看出，在每個(gè)姿態(tài)下，本文提出的方法具有最高的PBM值。

表 1 不同方法在人臉不同姿態(tài)下的PBM值Table 1 PBM of different face pose on different methods %

圖11將本文所提出的算法與NLS[10]方法、ICA算法[11](被稱為cICA_MI算法)，以及基于塊匹配算法[18]的雙目匹配的算法進(jìn)行比較。為了與這些算法進(jìn)行比較，計(jì)算臉部基準(zhǔn)圖中的22個(gè)關(guān)鍵點(diǎn)的深度值與本文提出算法建立的深度圖中對(duì)應(yīng)點(diǎn)的相關(guān)系數(shù)。圖11比較了數(shù)據(jù)庫中的前20個(gè)人物的相關(guān)系數(shù)。從圖7中可以看出，本文算法的相關(guān)系數(shù)普遍高于另外3種算法，只有人物2的相關(guān)性低于別的算法，根據(jù)測(cè)試結(jié)果，分析發(fā)現(xiàn)是22點(diǎn)中的右眼內(nèi)角點(diǎn)與實(shí)際差別較大。

圖 11 不同方法對(duì)應(yīng)的前20個(gè)人物的相關(guān)系數(shù)Fig. 11 The correlation coefficient of the top 20 individuals corresponding to different methods

以人物1(bs000的PR_D姿態(tài))為例，比較人物真實(shí)的22個(gè)特征點(diǎn)的深度值與本文算法重建所得到的值。為了進(jìn)行比較，將深度值進(jìn)行了歸一化，歸一化到[0，1]。通過式(13)對(duì)估計(jì)的深度值進(jìn)行歸一化[11]：

從圖12中可以看出，人臉特征點(diǎn)中的大部分的點(diǎn)得到了正確的估計(jì)?？梢钥闯鏊惴軌蜉^好地恢復(fù)出人臉的三維深度。

圖 12 真實(shí)人臉特征點(diǎn)的深度值與本文方法估計(jì)的人臉特征點(diǎn)深度值的比較Fig. 12 Comparison of depth of face key points between ground truth and estimated value by proposed method

綜上所述，無論是與雙目匹配算法比較，還是與人臉重建算法進(jìn)行比較，本文提出的算法都表現(xiàn)出了較好的性能。

4 結(jié)束語

本文通過分析人臉的拓?fù)浣Y(jié)構(gòu)，結(jié)合雙目立體視覺系統(tǒng)，提出了一種新穎的人臉稠密三維點(diǎn)云的三維重建方法。通過對(duì)人臉進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，獲取稀疏的人臉視差值，然后結(jié)合線性插值獲得初始的稠密視差初始值，最后使用立體稠密匹配算法PatchMatch對(duì)獲得的值進(jìn)行了平滑處理。實(shí)驗(yàn)結(jié)果證明，本文算法能夠得到光滑稠密的三維人臉重建點(diǎn)云模型。下一步研究的問題是人臉的曲面重建工作及其在人臉識(shí)別的應(yīng)用。