林麗皇，陳 俊，2

（1.福州大學(xué) 先進(jìn)制造學(xué)院，福建 泉州 362251；2.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108）

0 引 言

隨著科技的更新迭代，二維人臉圖像已難以滿足市場需求。而三維人臉模型能夠提供更為準(zhǔn)確的信息，實(shí)時(shí)與計(jì)算機(jī)進(jìn)行交互，具有更穩(wěn)定、不易仿造的特點(diǎn)，因此得到越來越廣泛的應(yīng)用。

為獲取真實(shí)三維人臉模型，傳統(tǒng)方法通常依賴于復(fù)雜的采集系統(tǒng)，使用價(jià)格高昂的大型數(shù)字掃描設(shè)備，或者需要進(jìn)行精準(zhǔn)相機(jī)矯正。但這些高精度的采集系統(tǒng)只適用于工業(yè)界，并且搭建這些系統(tǒng)需要不菲的資金和控制嚴(yán)苛的采集環(huán)境，因此難以普及到日常生活的場景中。隨著移動(dòng)智能手機(jī)的快速發(fā)展，日常生活中幾乎每個(gè)人都有手機(jī)，且手機(jī)已具備RGBD 相機(jī)和RGB 相機(jī)兩種輕量級(jí)類型的攝像頭。RGBD 相機(jī)具有三維空間深度信息，但成本較高，所以基于RGBD 相機(jī)的人臉重建技術(shù)并未在廣大消費(fèi)者中遍及。另一種RGB 相機(jī)是大多數(shù)安卓手機(jī)配備的采集設(shè)備，圖片獲取方式比較簡單，雖然缺少了包含幾何信息的深度數(shù)據(jù)，但可以通過低維參數(shù)化模型編碼人臉幾何，將重建問題轉(zhuǎn)化為求解低維系數(shù)的優(yōu)化問題。因此，基于深度學(xué)習(xí)方法的人臉重建可采用RGB 相機(jī)拍攝的圖片進(jìn)行訓(xùn)練。

本文主要分析了基于傳統(tǒng)方法的多視圖人臉重建與基于深度學(xué)習(xí)方法的多視圖重建的思想和特點(diǎn)，并對(duì)接下來的多視圖人臉重建的研究方向進(jìn)行總結(jié)與展望。

1 基于傳統(tǒng)方法的多視圖人臉重建

基于傳統(tǒng)方法的多視圖人臉重建主要是基于被動(dòng)式三維重建技術(shù)。被動(dòng)式三維重建通常充分利用周圍環(huán)境如自然光的反射，使用多個(gè)攝像機(jī)獲取圖像，然后使用特定算法得到物體的三維空間信息。傳統(tǒng)的人臉多視圖三維重建的步驟主要包括使用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)算法中的點(diǎn)檢測與匹配、計(jì)算極線幾何以及光束平差法來估計(jì)相機(jī)參數(shù)的最優(yōu)值；多視點(diǎn)圖像兩兩組成圖像對(duì)，生成特征點(diǎn)稀疏粗糙點(diǎn)云；通過多視角稠密立體匹配，輸出目標(biāo)物的深度圖或是粗糙的點(diǎn)云信息，將所有圖像對(duì)所對(duì)應(yīng)的點(diǎn)云信息整合到一起，提純得到一個(gè)精度較高的目標(biāo)物的立體點(diǎn)云信息；對(duì)高精度密集點(diǎn)云進(jìn)行泊松表面重建獲得人臉三角網(wǎng)格模型，最后選用頂點(diǎn)著色或者是紋理映射貼圖來保存模型表面顏色信息。

早期，PIGHIN[1]等人提出從五個(gè)角度拍攝人臉圖像進(jìn)行三維重建的方法，采用人工標(biāo)注人臉輪廓的特征點(diǎn)進(jìn)行相機(jī)標(biāo)定，計(jì)算出相機(jī)參數(shù)，然后恢復(fù)出特征點(diǎn)的三維坐標(biāo)點(diǎn)，使用線性插值的方法，使用這些三維特征點(diǎn)對(duì)人臉模板進(jìn)行形變和約束，最后重建生成目標(biāo)人臉三維模型。這種方法雖然可以獲得較強(qiáng)的三維空間信息，但是需要高昂的人工成本，對(duì)相機(jī)位置有嚴(yán)格的要求。類似地，BEELER[2]等人憑借帶標(biāo)記點(diǎn)的球體對(duì)相機(jī)進(jìn)行標(biāo)定，在固定的光照條件下，利用多部單反相機(jī)采集多視角的人臉信息，然后基于多視圖稠密匹配算法重建人臉，并針對(duì)人臉本身的特征進(jìn)行多項(xiàng)約束以及優(yōu)化。

多視圖之間的對(duì)應(yīng)關(guān)系和人臉關(guān)鍵點(diǎn)檢測的準(zhǔn)確性，能夠降低人臉重建的復(fù)雜度。蔡麟等人[3]利用重新渲染合成的方式，把參數(shù)化模型擬合到輸入的各角度圖片，然后在紋理域上求解一個(gè)光流問題，得到不同視角之間的對(duì)應(yīng)關(guān)系。最終可以還原出人臉的點(diǎn)云，并基于明暗恢復(fù)結(jié)構(gòu)的方法來還原人臉細(xì)節(jié)。張艷花等人[4]改進(jìn)檢測方法，采用Harr分類器進(jìn)行人臉檢測，利用SURF、K 最近鄰和隨機(jī)抽樣一致對(duì)特征進(jìn)行檢測和匹配，得到圖像對(duì)之間的幾何關(guān)系后，利用相機(jī)焦距等參數(shù)重建稀疏點(diǎn)云模型。選取最佳視圖對(duì)，估計(jì)深度圖將其精細(xì)化生成稠密點(diǎn)云模型，最后使用表面重建算法恢復(fù)人臉模型。

在重建過程中分階段恢復(fù)人臉模型，先重建出粗糙人臉，再在此基礎(chǔ)上優(yōu)化人臉，這樣能夠獲得更高精度、更加逼真的三維人臉模型。張釋如等人[5]將三維人臉重建分為粗糙階段和精細(xì)階段兩個(gè)階段，粗糙階段采用基于改進(jìn)的LBP 特征的稀疏匹配算法，恢復(fù)三維真實(shí)坐標(biāo)，形成粗糙人臉模型；精細(xì)階段增加特征和紋理約束，按照一定比例對(duì)能量函數(shù)重新定義，優(yōu)化粗糙人臉模型。通過特征點(diǎn)和曲線的形變相結(jié)合，讓模型更加貼合真實(shí)人臉的分布。

基于傳統(tǒng)方法的多視圖人臉重建，一方面可能不一定使用人臉結(jié)構(gòu)作為先驗(yàn)知識(shí)，所以重建出的人臉與目標(biāo)人臉存在一定差異，模型的魯棒性較差；另一方面，對(duì)標(biāo)定人臉特征點(diǎn)的精度具有很高的要求，重建過程較復(fù)雜。

2 基于深度學(xué)習(xí)方法的多視圖人臉重建

隨著研究的深入，國內(nèi)外學(xué)者發(fā)現(xiàn)基于深度學(xué)習(xí)方法相比于傳統(tǒng)方法，更有助于加快運(yùn)行速度，減少計(jì)算量。于是他們從網(wǎng)絡(luò)結(jié)構(gòu)、監(jiān)督方式、損失約束等方面，針對(duì)人臉形狀、遮擋、姿態(tài)及光照的問題，對(duì)三維人臉重建進(jìn)行了探索。

在網(wǎng)絡(luò)結(jié)構(gòu)方面，DOU P[6]等人采用深度回歸網(wǎng)絡(luò)的框架，包括深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Networks，DCNN）和循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（Rerrent Neural Network，RNN）。如圖1所示，DCNN 獨(dú)立處理輸入的每一幅圖像，而RNN保留整個(gè)圖像集的所有人臉信息。DCNN 網(wǎng)絡(luò)對(duì)每一幅圖預(yù)測其表情和形狀參數(shù)，近似于一個(gè)非線性函數(shù)，將單個(gè)二維圖像映射到深度特征，然后對(duì)形狀和面部表情進(jìn)行分解，使連續(xù)的RNN 網(wǎng)絡(luò)聚合分析得到所有視點(diǎn)人臉圖像的信息，回歸最終的人臉3DMM 參數(shù)，從而恢復(fù)出三維人臉。

而INNMANN M[7]等人采用多級(jí)優(yōu)化重建人臉的方式，每張人臉經(jīng)過離散殘差網(wǎng)絡(luò)生成相同的兩張?zhí)卣鲌D，同一個(gè)人的多張?zhí)卣鲌D通過自適應(yīng)人臉模塊對(duì)人臉進(jìn)行初步重建。圖2 中，將初始重建的人臉模型、檢測到的人臉關(guān)鍵點(diǎn)信息以及同一個(gè)人的多張?zhí)卣鲌D通過非剛性立體優(yōu)化模塊，生成人臉模型的自適應(yīng)基，用于調(diào)整人臉細(xì)節(jié)。非剛性立體優(yōu)化屬于模型的前向傳遞，可以類比為一個(gè)可微模塊。該模塊采用舊的重建人臉參數(shù)，計(jì)算更新輸出新的重建人臉參數(shù)。然后，對(duì)每次迭代的輸出計(jì)算訓(xùn)練損失，通過整個(gè)非剛性立體優(yōu)化對(duì)其梯度進(jìn)行反向求解，更新可學(xué)習(xí)權(quán)值。

圖2 基于NRMVS 算法的框架

TEWARI[8]等人提出一種由M個(gè)孿生塔組成的神經(jīng)網(wǎng)絡(luò)，如圖3 所示，可同時(shí)處理不同流中的M張圖片。孿生神經(jīng)網(wǎng)絡(luò)的權(quán)重共享，這樣能夠同時(shí)獲取同一個(gè)人的形狀、外觀信息以及不同視角下的頭部姿態(tài)、光照信息。

圖3 FML 算法框架圖

除了上述級(jí)聯(lián)方式不同外，LIANG J[9]等還提出了線性回歸和非線性回歸方法，有效地整合正面和側(cè)面人臉信息。在線性回歸時(shí)，根據(jù)二維關(guān)鍵點(diǎn)偏移量迭代更新三維形狀，使用多層感知器和LeaklyRelu 激活函數(shù)作為非線性回歸器優(yōu)化三維人臉。BAI Z[10]等人則在端到端網(wǎng)絡(luò)中嵌入一個(gè)可微分的網(wǎng)絡(luò)內(nèi)優(yōu)化結(jié)構(gòu)，網(wǎng)絡(luò)首先將面部綁定參數(shù)化為具有神經(jīng)解碼器的潛在代碼，以控制個(gè)人特定方面（如身份），然后通過可學(xué)習(xí)的優(yōu)化來估計(jì)潛在代碼以及每個(gè)圖像的參數(shù)。為了減輕優(yōu)化的難度，他們采用了一種學(xué)習(xí)深度綁定模型和學(xué)習(xí)優(yōu)化的方法，利用深度先驗(yàn)去約束病態(tài)性，達(dá)到了很不錯(cuò)的效果。DENG Y[11]和SHANG J[12]的方法都是簡單地對(duì)多視圖圖像特征的拼接，沒有考慮多視圖圖像特征的深度融合，也沒注意到對(duì)重建質(zhì)量影響最大的區(qū)域（如眼、鼻、口等）。ZHAO W[13]等人設(shè)計(jì)了一個(gè)新穎的端到端弱監(jiān)督多視圖三維人臉重建網(wǎng)絡(luò)（Tri-Unet），利用多視圖編碼到一個(gè)具有跳過連接的單一解碼框架，能夠提取、集成和補(bǔ)償深度特征。此外，他們還開發(fā)了一個(gè)多視圖人臉解析網(wǎng)絡(luò)來學(xué)習(xí)、識(shí)別和強(qiáng)調(diào)關(guān)鍵的公共人臉區(qū)域。

在搭建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)后，進(jìn)行訓(xùn)練時(shí)，通常需要非常龐大的數(shù)據(jù)集，這樣對(duì)模型的訓(xùn)練才能有幫助。但現(xiàn)有的三維人臉數(shù)據(jù)集不足，目前大多數(shù)采用弱監(jiān)督或者無監(jiān)督的方法進(jìn)行訓(xùn)練。為處理三維數(shù)據(jù)集缺乏的問題，SANYAL 等人[14]提出了不需要三維人臉標(biāo)注信息的RingNet 方法，首先輸入同一個(gè)人的多張人臉圖像，利用相同人臉的相似特點(diǎn)來學(xué)習(xí)人臉形狀，借助FLAME 模型來獲得三維人臉模型。為解決二維圖片到三維人臉模型無監(jiān)督問題，GENOVA K 等人[15]采用3DMM 模型參數(shù)來進(jìn)行人臉三維重建，網(wǎng)絡(luò)框架由編碼器和解碼器組成，將人臉識(shí)別網(wǎng)絡(luò)加入訓(xùn)練過程中。這樣不僅可以讓生成的三維人臉更貼近原來的二維圖片，甚至被遮擋的人臉區(qū)域也能取得更逼真的重建結(jié)果。而DENG[11]等人使用無標(biāo)簽訓(xùn)練方式，考慮到感知層信息弱化的問題，先從單張圖片人臉重建的結(jié)果學(xué)習(xí)一個(gè)置信度，并使用這個(gè)置信度收集人臉形狀信息，然后對(duì)每個(gè)人隨機(jī)挑選的5 張圖片，將人臉信息進(jìn)行聚合，實(shí)現(xiàn)多視角人臉重建。該方法對(duì)于抗遮擋以及姿態(tài)有較好的效果。

有了初步的三維人臉后，需要在損失約束上，優(yōu)化三維人臉細(xì)節(jié)。為重建產(chǎn)生高質(zhì)量的三維人臉模型，ROTH J[16]等人利用光度立體技術(shù)進(jìn)行個(gè)體表面法線的估計(jì)。在人臉紋理恢復(fù)效果上，WU F等人提出的MVF-Net[17]中，像素?fù)p失會(huì)導(dǎo)致人臉很多部分的顏色都很相像，于是采用雙向光流減少光流估計(jì)誤差在非感興趣區(qū)域的干擾，達(dá)到像素點(diǎn)對(duì)齊的效果，但是光流計(jì)算復(fù)雜度高，重建速度慢。為了實(shí)現(xiàn)在不調(diào)整任何超參數(shù)的條件下，達(dá)到整個(gè)模型的全局優(yōu)化，RAMON E[18]等根據(jù)重投影誤差的單個(gè)損失，并行學(xué)習(xí)三維形狀和單個(gè)相機(jī)的姿態(tài)。這種損失從單視圖拓展到多視圖，能夠獲得較低的重投影誤差。為了從多視角圖像中提取潛在的三維信息，TIAN L[19]等使用多視角雙線性模型的三維人臉重建方法，該方法結(jié)合特征先驗(yàn)約束和紋理約束，一方面，使用特征先驗(yàn)約束估算出三維面部輪廓信息，另一方面，用紋理約束提取高精度的三維人臉形狀和細(xì)節(jié)。這是傳統(tǒng)方法無法實(shí)現(xiàn)的。為了解決遮擋、大姿態(tài)的情況，SHANG J[12]等人提出了基于遮擋感知的視圖合成方法，計(jì)算兩兩圖片之間共可見像素點(diǎn)，計(jì)算像素一致性損失和深度一致性損失。由于人臉關(guān)鍵點(diǎn)富有語義信息，不容易受到光照和尺度變化的影響，具有較強(qiáng)的魯棒性，所以對(duì)人臉關(guān)鍵點(diǎn)采用對(duì)極幾何方式進(jìn)行監(jiān)督，為人臉姿態(tài)和深度估計(jì)提供了一種可靠的約束條件。為加強(qiáng)交叉視圖的一致性，LI M[20]等人提出了一種新的基于稀疏視圖輸入的三維人臉重建框架，包括一個(gè)幾何網(wǎng)絡(luò)來學(xué)習(xí)三維形狀的可變形隱式神經(jīng)表示，以及一個(gè)繪制網(wǎng)絡(luò)來重建面部紋理。他們提出了一種新的視圖開關(guān)損失，并設(shè)計(jì)了一種新的隱式變形模型的潛在碼空間，這有助于擴(kuò)展底層的形狀空間。

基于深度學(xué)習(xí)方法的人臉重建過程的一般流程是：首先對(duì)圖片進(jìn)行預(yù)處理和人臉檢測，其次輸入卷積神經(jīng)網(wǎng)絡(luò)回歸參數(shù)，根據(jù)參數(shù)調(diào)節(jié)人臉參數(shù)化模型，再次，進(jìn)入可微分渲染器進(jìn)行渲染，輸出渲染圖片，最后與原圖進(jìn)行損失計(jì)算，優(yōu)化人臉模型。

3 結(jié) 語

隨著深度學(xué)習(xí)的迅猛發(fā)展，三維人臉重建技術(shù)也與之緊密聯(lián)系。因此，三維人臉重建還有許多需要研究的內(nèi)容，本文認(rèn)為，以下3 點(diǎn)可能是未來發(fā)展所需要關(guān)注的問題。

（1）豐富的三維人臉數(shù)據(jù)集。當(dāng)前，三維數(shù)據(jù)通常依賴復(fù)雜的采集系統(tǒng)，而對(duì)應(yīng)的多視圖三維人臉數(shù)據(jù)較少。卷積神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中缺少對(duì)困難樣本的學(xué)習(xí)，導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)效率低以及模型魯棒性差。因此需要更多的研究學(xué)者致力于三維人臉數(shù)據(jù)庫采集。

（2）手機(jī)端重建三維人臉。由于三維重建模型計(jì)算量較大，重建時(shí)間長，算法大多數(shù)都通過大型服務(wù)器實(shí)現(xiàn)，難以達(dá)到隨時(shí)使用。因此，需要構(gòu)建輕量級(jí)的模型，方便部署在手機(jī)端上，增強(qiáng)用戶的體驗(yàn)感。

（3）高質(zhì)量的人臉模型。當(dāng)前，三維人臉重建算法重建的人臉細(xì)節(jié)不高，表情不夠生動(dòng)。如斑點(diǎn)、皺紋等人臉紋理恢復(fù)不夠好，且分辨率低，精細(xì)度還有待提高，這將會(huì)是很有潛力的研究方向。