北方工業(yè)大學信息學院 童立靖 張豪杰

在現(xiàn)實生活中，人臉蘊含了個體豐富的信息，在視覺感知中占有非常重要的地位，因此人臉在三維重建中是一個非常重要的對象，具有廣泛的應(yīng)用前景。三維人臉重建具有很高的研究價值和意義。目前有關(guān)三維人臉重建的研究大多是針對單張人臉圖像，雖然單視圖三維人臉重建已經(jīng)在人臉識別、虛擬現(xiàn)實等領(lǐng)域有了廣泛應(yīng)用，但是它仍然存在很大弊端，比如單張圖像重建出的模型準確性和精度不足，但是多張圖像卻可以提供更多的觀測數(shù)據(jù)，從而可以提高人臉三維模型的精度和準確性。同時當單張圖像情況下存在的遮擋、光照變化等因素，重建結(jié)果可能存在噪聲和誤差，而多張圖像可以通過多個視角的信息進行校正和補充，從而減少這些噪聲和誤差。因此本文主要討論多視圖三維人臉重建問題，將目前的研究工作按照使用的技術(shù)分為兩類：第一類工作是基于傳統(tǒng)方法的多視圖三維人臉重建；第二類工作是基于深度學習的多視圖三維人臉重建。最后對多視圖三維人臉重建存在的主要挑戰(zhàn)以及未來的發(fā)展趨勢進行闡述。

1 基于傳統(tǒng)方法的多視圖三維人臉重建

多視圖三維人臉重建是一項十分具有挑戰(zhàn)性的任務(wù)，如圖1 所示給出了本文列舉的多視圖三維人臉重建方法的時間節(jié)點等相關(guān)信息。其中，基于傳統(tǒng)方法的多視圖三維人臉重建主要是利用幾何學的方法，如三角剖分等，對多張圖像進行處理，通過計算相機姿態(tài)、紋理映射等過程，重建出三維人臉模型。下面是基于傳統(tǒng)方法的多視圖三維人臉重建基本流程：

首先是多張圖像的獲?。和ㄟ^攝像機或者其他成像設(shè)備獲取目標人臉的多張圖像；其次是進行特征點檢測與匹配：于每個視角的人臉圖像中檢測出關(guān)鍵的特征點，并將這些特征點進行匹配，以便在后續(xù)的三維重建過程中使用。通過對每個相機進行標定，得到相機內(nèi)參和外參。利用三角剖分和網(wǎng)格重建等技術(shù)，將多個視角的特征點匹配到三維空間中，得到三維人臉模型。將人臉圖像映射到三維人臉模型上，得到帶有紋理信息的三維人臉模型；最后對三維人臉模型進行優(yōu)化，例如平滑處理、形狀調(diào)整等。

基于傳統(tǒng)方法的多視圖三維人臉重建在三維人臉重建的發(fā)展中提供了多種辦法，解決了許多難題。比如為了從多張圖像上重建出帶有高精度幾何細節(jié)的三維人臉模型，蔡麟[1]等人采用了一種多階段優(yōu)化的方式，將整個重建過程分為三個階段，實現(xiàn)從粗糙到精細的三維人臉模型重建過程。

為了創(chuàng)建出高分辨率面部幾何圖形，Ghosh A[2]等人提出了一種使用偏振球面梯度照明從多個視點獲取具有高分辨率漫反射和鏡面光度信息的詳細面部幾何形狀的新過程。實現(xiàn)了多張圖像在給定的球面照明條件下，僅從兩張人臉圖像中進行漫反射分離。在攝像機前使用固定線性偏振器，從而能夠從多個圖像上有效地獲取漫反射、鏡面反照率和法線貼圖。將這些反照率和法線貼圖用作一種新穎的多分辨率自適應(yīng)域消息傳遞立體重建算法的輸入，以創(chuàng)建高分辨率面部幾何圖形。

雖然傳統(tǒng)方法存在著很多的不足，但其促使了基于深度學習的多視圖三維人臉重建方法的出現(xiàn)，為后來的研究提供了基礎(chǔ)和啟示，在三維人臉重建技術(shù)的發(fā)展歷程中具有重要的意義。

2 基于深度學習的多視圖三維人臉重建

基于深度學習的多視圖三維人臉重建主要是使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）等方法進行三維人臉模型的重建，從而可以去更好地處理遮擋和光照變化等帶來的許多問題。下面是基于深度學習的多視圖三維人臉重建基本流程：

首先是數(shù)據(jù)采集：收集多張同一個人的不同角度、表情和光照條件下的圖像；其次是進行特征提?。豪镁矸e神經(jīng)網(wǎng)絡(luò)（CNN）等深度學習方法提取圖像的特征向量。通過三維人臉建模算法將提取到的特征向量轉(zhuǎn)換為三維人臉模型。將采集到的圖像紋理映射到三維人臉模型上。根據(jù)光照條件和環(huán)境設(shè)置對三維人臉模型進行渲染，生成最終的三維人臉重建結(jié)果。

近年來，隨著計算機視覺和深度學習技術(shù)的發(fā)展，多視圖三維人臉重建技術(shù)得到了很大的進展，解決了許多復(fù)雜難題。比如，為了更好地關(guān)注在重建過程中，對于人臉的關(guān)鍵區(qū)域（例如，眼睛、眉毛、鼻子和嘴巴）的重建問題，Weiguang Zhao[3]等人提出了一種新的深度融合MVR（Deep Fusion MVR） 模型，DF-MVR 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示[3]，并設(shè)計了一種具有跳過連接的多視圖編碼到單解碼框架，從多視圖圖像中提取、整合和補償深度特征，從而更好地關(guān)注人臉關(guān)鍵區(qū)域。

圖2 DF-MVR 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 DF-MVR network structure

為了解決單張圖像重建過程中，缺乏可靠3D 約束的問題，F(xiàn)anzi Wu[4]等人提出了一種利用端到端可訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(CNN)從多張圖像的輸入中回歸3DMM 參數(shù)的新方法，從而重建出三維人臉。該方法將不同方向的人臉圖像之間建立對應(yīng)關(guān)系，將幾何約束納入到網(wǎng)絡(luò)中。

為了進行精確三維人臉重建，Yu Deng[5]等人提出了一種利用弱監(jiān)督學習的新方法。該方法分為兩個階段：第一階段，使用深度神經(jīng)網(wǎng)絡(luò)根據(jù)單個圖像預(yù)測三維人臉形狀，該網(wǎng)絡(luò)使用弱監(jiān)督進行訓(xùn)練，只在訓(xùn)練圖像中注釋了二維面部標志；第二階段，使用多視圖立體算法利用圖像集來改進初始的三維估計，該算法利用圖像集中的冗余信息來提高三維重建的準確性。

為了解決不恰當?shù)拿娌孔藙莺蜕疃饶：龁栴}，Jiaxiang Shang[6]等人提出了一種利用多視圖幾何一致性的自監(jiān)督訓(xùn)練架構(gòu)，它為人臉姿態(tài)和深度估計提供了可靠的約束。其設(shè)計了一個令人印象深刻的多視圖框架(MGCNet)，MGCNet 體系結(jié)構(gòu)的訓(xùn)練流程如圖3 所示[6]，MGCNet利用多視圖一致性(包括幾何和光度)來約束網(wǎng)絡(luò)從單一輸入產(chǎn)生視圖一致的面部幾何，這比僅提供2D 信息提供了更好的監(jiān)督。

圖3 MGCNet 體系結(jié)構(gòu)的訓(xùn)練流程圖Fig.3 Training flow chart of MGCNet architecture

3 總結(jié)與展望

多視圖三維人臉重建技術(shù)是使用多個人臉圖像來構(gòu)建出一個三維人臉模型的技術(shù)。該技術(shù)已廣泛應(yīng)用于多個領(lǐng)域，如虛擬現(xiàn)實、人臉識別、醫(yī)療、游戲和動畫等。但多視圖三維人臉重建技術(shù)目前還存在一些困難和挑戰(zhàn)，比如：（1）數(shù)據(jù)采集和處理難度：該技術(shù)需要使用多個角度和不同表情、姿態(tài)的人臉圖像，這就需要對大量的數(shù)據(jù)進行采集和處理。同時，還需要對數(shù)據(jù)進行預(yù)處理、標注和清洗，這些過程都需要耗費大量的人力和時間。（2）復(fù)雜場景下的準確度：在復(fù)雜的場景下，例如光線、遮擋和動態(tài)環(huán)境等條件下，該技術(shù)的準確度會受到影響，可能無法準確地捕捉到人臉的真實形態(tài)和細節(jié)信息。（3）計算資源需求：該技術(shù)需要使用大量的計算資源和算力，以實現(xiàn)高精度和實時的三維重建，這就需要使用高性能的硬件設(shè)備和專業(yè)的軟件工具。

未來，隨著計算機視覺和深度學習技術(shù)的快速發(fā)展，多視圖三維人臉重建技術(shù)有望實現(xiàn)更高的精度和效率，其性能會得到進一步提升。該技術(shù)將在虛擬現(xiàn)實、人臉識別、醫(yī)療、游戲和動畫等領(lǐng)域得到更加廣泛的應(yīng)用。

引用

[1] 蔡麟,郭玉東,張舉勇.基于多視角的高精度三維人臉重建[J].計算機輔助設(shè)計與圖形學學報,2020,32(2):305-314.

[2] GHOSH A,FYFFE G,TUNWATTANAPONG B,et al.Multiview Face Capture Using Polarized Spherical Gradient Illumination[J].ACM Transactions on Graphics,2011,30(6):1-10.

[3] ZHAO W,YANG C,YE J,et al.From 2D Images to 3D Model:Weakly Supervised Multi-View Face Reconstruction with Deep Fusion[J].2022.

[4] WU F,BAO L,CHEN Y,et al.MVF-Net:Multi-view 3D Face Morphable Model Regression[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),2019:959-968.

[5] DENG Y,YANG J,XU S,CHEN D,et al.Accurate 3d Face Reconstruction with Weakly-supervised Learning: From Single Image to Image Set[C]//In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW),2019:285-295.

[6] SHANG J,SHEN T,LI S,et al.Self-supervised Monocular 3D Face Reconstruction by Occlusion-aware multi-view Geometry Consistency[C]//European Conference on Computer Vision,2020:53-70.