熊思博　王琦　劉光潔

關(guān)鍵詞：三維重建；深度學(xué)習(xí)方法；點(diǎn)云；體素；曲面網(wǎng)格；隱式曲面

中圖分類號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）36-0114-04

三維重建技術(shù)是指對(duì)場(chǎng)景或物體建立起能在計(jì)算機(jī)環(huán)境下進(jìn)行處理與分析的數(shù)學(xué)模型的過(guò)程。目前，建立三維物體模型的方法主要分為三種：一是通過(guò)多角度的相機(jī)拍攝，通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)建立三維數(shù)學(xué)模型，也稱為基于圖像的三維重建；二是運(yùn)用傳統(tǒng)的幾何建模技術(shù)構(gòu)建三維模型，例如Nurbs、KitBashing、布爾建模等技術(shù)方法；三是基于點(diǎn)云的三維重建方法，通過(guò)對(duì)物體進(jìn)行掃描，生成該物體點(diǎn)云視角下的三維模型。

圖像的三維重建方法分為兩種：一是基于單幅圖像的三維重建方法，依靠單張圖像獲取物體的形狀、顏色、共面性等信息。該方法獲取的信息有限，另一方面，單幅圖像中的遮擋現(xiàn)象使得重建過(guò)程難度加大；二是基于多幅圖像的三維重建，該方法主要是利用三角測(cè)量計(jì)算多個(gè)視角下物體的三維數(shù)據(jù)，通過(guò)對(duì)關(guān)鍵特征點(diǎn)的提取與匹配，對(duì)物體表面局部紋理進(jìn)行填充與優(yōu)化，恢復(fù)三維模型。基于圖像的三維重建方法能夠快速得到物體的三維模型，且虛擬化后的模型逼真，但是也存在著虛構(gòu)場(chǎng)景無(wú)法重建、基于單幅圖像的三維重建方法在大規(guī)模場(chǎng)景中偽影嚴(yán)重，重建效果差等問(wèn)題。

基于傳統(tǒng)幾何技術(shù)實(shí)現(xiàn)三維重建的方法發(fā)展最為成熟，現(xiàn)在已經(jīng)廣泛地應(yīng)用于生產(chǎn)生活當(dāng)中，利用該方法可以得到高精度的三維模型。但重建過(guò)程中存在對(duì)物體需要進(jìn)行逐一測(cè)量、操作煩瑣、建模周期長(zhǎng)等問(wèn)題。

基于點(diǎn)云的三維重建是通過(guò)移動(dòng)測(cè)繪系統(tǒng)（Mo?bile Mapping System），包括相機(jī)和移動(dòng)激光掃描系統(tǒng)，采集得到點(diǎn)云數(shù)據(jù)，通過(guò)點(diǎn)云數(shù)據(jù)恢復(fù)圖像，經(jīng)過(guò)計(jì)算機(jī)處理得到三維模型，模型的質(zhì)量取決于點(diǎn)云的精細(xì)度和準(zhǔn)確度，所以該方法的重點(diǎn)與難點(diǎn)在于如何獲取高水平的點(diǎn)云數(shù)據(jù)、點(diǎn)云數(shù)據(jù)的后期降噪處理、多個(gè)點(diǎn)云數(shù)據(jù)的拼接。

近些年得益于深度學(xué)習(xí)方法的發(fā)展與應(yīng)用，基于深度學(xué)習(xí)的三維重建技術(shù)得到了充分發(fā)展并取得了一定成就。2014年，D.Eigen[1]首次使用CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行三維重建研究工作，使用三維數(shù)據(jù)的深度特征表示，依靠深度學(xué)習(xí)方法實(shí)現(xiàn)三維模型的構(gòu)建，開(kāi)啟了基于深度學(xué)習(xí)的三維重建方法，也為研究者們指出了未來(lái)新的研究方向。

1 基于點(diǎn)云的表面表示方法進(jìn)行三維重建

點(diǎn)云從字面意思可以理解為“大量的點(diǎn)”，它是三維空間坐標(biāo)系下點(diǎn)分布的樣本集合，通過(guò)掃描儀器得到的物體表面的點(diǎn)數(shù)據(jù)集合被稱為點(diǎn)云數(shù)據(jù)集，該數(shù)據(jù)集中包含有大量信息，如顏色數(shù)據(jù)、距離、點(diǎn)在三維空間坐標(biāo)系中的位置、光反射強(qiáng)度等，點(diǎn)云數(shù)據(jù)集與點(diǎn)云模型如圖1所示。獲取原始點(diǎn)云數(shù)據(jù)的方法主要有LiDAR激光雷達(dá)、RGB-D相機(jī)、多傳感器融合等，其中多傳感器融合得到的原始點(diǎn)云數(shù)據(jù)最為全面，可信度較高。點(diǎn)云數(shù)據(jù)集從獲取到的點(diǎn)數(shù)量上的多少可劃分為稀疏點(diǎn)云與密集點(diǎn)云，兩者在基于深度學(xué)習(xí)的表面重建過(guò)程與方法上有差異。

1.1 稀疏點(diǎn)云重建

稀疏點(diǎn)云重建方法是通過(guò)輸入場(chǎng)景或物體的多視角圖像，通過(guò)sift或者surf求得多對(duì)特征點(diǎn)，并對(duì)特征點(diǎn)進(jìn)行檢測(cè)與匹配，通過(guò)人為地標(biāo)定或者從圖像信息中獲取相機(jī)的初始參數(shù)，然后運(yùn)用SFM（Structurefrom motion）算法，輸出相機(jī)位姿與稀疏點(diǎn)云，根據(jù)輸出的相機(jī)位姿與相機(jī)初始參數(shù)運(yùn)用LM算法進(jìn)行捆綁優(yōu)化，得到更為精確的三維點(diǎn)坐標(biāo)，結(jié)合稀疏點(diǎn)云數(shù)據(jù)恢復(fù)物體或場(chǎng)景的三維結(jié)構(gòu)。使用SFM（Structurefrom motion）算法輸出相機(jī)位姿與稀疏點(diǎn)云容易受到圖像的光照、距離等因素影響，David Lowe[2]在SFM算法的基礎(chǔ)上加以改進(jìn)提出了SIFT算法，在空間尺度中尋找尺度、旋轉(zhuǎn)不變數(shù)，解決了以上因素的影響，使得稀疏點(diǎn)云重建的精度得到了大幅度提高。

Fan[3]在基于PointNet架構(gòu)的基礎(chǔ)上使用點(diǎn)云的表面表示方法進(jìn)行三維重建，為后續(xù)單幅圖像的點(diǎn)云三維重建研究工作指出了方向，體現(xiàn)了深度學(xué)習(xí)方法在三維重建工作中的強(qiáng)大性能。

1.2 稠密點(diǎn)云重建

稠密點(diǎn)云重建是在已經(jīng)過(guò)SFM（Structure frommotion）算法處理得到稀疏點(diǎn)云的基礎(chǔ)上選取全局視角圖像序列生成深度圖，根據(jù)深度圖每個(gè)像素的深度投影到三維空間得到三維稠密點(diǎn)云。在稠密點(diǎn)云重建中對(duì)深度圖的計(jì)算與生成是工作的重點(diǎn)也是難點(diǎn)。

Bleyer[4]將立體匹配算法PatchMatch算法應(yīng)用到深度圖的計(jì)算當(dāng)中，該方法能得到較好的像素值，但是對(duì)于表面紋理較少的物體或場(chǎng)景，由于算法計(jì)算過(guò)程中對(duì)信息的部分丟失，使得效果不佳。Huang[5]提出的DeepMVS 方法通過(guò)構(gòu)建包括PatchMatch匹配網(wǎng)絡(luò)、卷內(nèi)特征聚合網(wǎng)絡(luò)、卷間特征聚合網(wǎng)絡(luò)三部分構(gòu)成的網(wǎng)絡(luò)模型輸出視差圖，后期通過(guò)視差圖得到深度圖的辦法很好地解決了處理紋理缺失表面場(chǎng)景的問(wèn)題，但是處理速度較慢。

考慮到傳統(tǒng)點(diǎn)云重建三維表面過(guò)程中存在的場(chǎng)景丟失、重建效果受場(chǎng)景環(huán)境影響較大等問(wèn)題，基于深度學(xué)習(xí)的稠密點(diǎn)云重建算法應(yīng)運(yùn)而生。Yao[6]在2019年提出了R-MVSNet算法。該方法主要是將深度圖變換到深度不同的深度平面上，結(jié)合像素在不同深度平面上的概率分布得到初始深度圖。R-MVSNet 算法運(yùn)行速度快，適用性廣，可用于任意原始圖像輸入。

利用超網(wǎng)絡(luò)（Hyper Net Works）生成三維點(diǎn)云的方法獨(dú)辟蹊徑，該方法與現(xiàn)有的基于深度學(xué)習(xí)的三維重建方法相反，不像其他的方法返回點(diǎn)云的標(biāo)準(zhǔn)表示，而是以生成的方式找到基于網(wǎng)絡(luò)的三維對(duì)象表示，該方法可以同時(shí)找到對(duì)象及其三維表面表示。其主要思想是建立一個(gè)超網(wǎng)絡(luò)，在點(diǎn)上訓(xùn)練基于流的模型，將點(diǎn)的球分布反射成三維模型。

2 基于體素的表面表示方法進(jìn)行三維重建

基于體素的三維重建方法是通過(guò)在三維空間中描述其實(shí)體區(qū)域來(lái)表示其表面及內(nèi)部形狀，如圖2所示?；隗w素的三維重建在魯棒性、重建效果上與傳統(tǒng)三維重建方法相比有著自己獨(dú)特的優(yōu)勢(shì)，但是在存儲(chǔ)上耗費(fèi)較高并且圖像的二維卷積擴(kuò)展到三維圖像計(jì)算量大。

Wu[7]提出了一個(gè)基于體素表示方法和深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，用損失函數(shù)進(jìn)行回歸，該方法在基于深度學(xué)習(xí)的三維重建方面取得了突破性進(jìn)展。在此基礎(chǔ)之上Tatarchenko[8]提出了一種分割三維空間，將其遞歸細(xì)分為八個(gè)分叉空間的方法，在體素網(wǎng)格上預(yù)測(cè)更高分辨率的形狀。

Stutz[9]首次提出了一種無(wú)監(jiān)督學(xué)習(xí)的三維重建方法，該方法在不降低精確度的基礎(chǔ)上對(duì)物體的體素模型進(jìn)行補(bǔ)全，其主要依靠深度神經(jīng)網(wǎng)絡(luò)（DNN）的數(shù)據(jù)訓(xùn)練和線性優(yōu)化。

Zhang[10] 設(shè)計(jì)了一種使用GAN 網(wǎng)絡(luò)（Generative Adversarial Networks， GAN）三維重建方法，通過(guò)一個(gè)發(fā)生器G（Generator）和一個(gè)鑒別器D（Discriminator）對(duì)輸入的圖像進(jìn)行判別與訓(xùn)練，隨機(jī)生成三維模型，經(jīng)過(guò)多次迭代最終得到精確度最高的三維模型。該方法生成的三位體素模型具有分辨率高、結(jié)構(gòu)詳細(xì)等優(yōu)勢(shì)。

雖然基于體素的表面表示方法進(jìn)行三維重建有其獨(dú)特的優(yōu)勢(shì)，但受限于顯存消耗、存儲(chǔ)占用等問(wèn)題，近年來(lái)基于深度學(xué)習(xí)的三維重建研究更多關(guān)注于基于點(diǎn)云和曲面網(wǎng)格的神經(jīng)網(wǎng)絡(luò)。PointNet模型很大程度上解決了深度學(xué)習(xí)中基于體素的表面表示方法的問(wèn)題，在此之后基于深度學(xué)習(xí)的三維重建訓(xùn)練和結(jié)果輸出大都基于點(diǎn)云和曲面網(wǎng)格。

3 基于曲面網(wǎng)格的表面表示方法進(jìn)行三維重建

基于曲面網(wǎng)格的表面表示方法目前使用最多的是投影網(wǎng)格測(cè)量法，投影網(wǎng)格測(cè)量法的主要流程是將網(wǎng)格投影到被測(cè)物體上，記錄下此時(shí)的網(wǎng)格成像（稱為測(cè)量圖像），計(jì)算出每個(gè)網(wǎng)格的深度，建立三維坐標(biāo)系來(lái)重建三維曲面。

相比于點(diǎn)云和體素的表面表示方法進(jìn)行三維重建，基于曲面網(wǎng)格的表面表示方法進(jìn)行三維重建能夠避免顯存占用問(wèn)題，同時(shí)具有高精準(zhǔn)度，高適應(yīng)性等特點(diǎn)，并且可以呈現(xiàn)更好的細(xì)節(jié)。

在使用深度學(xué)習(xí)方法進(jìn)行基于曲面網(wǎng)格表示的三維重建時(shí)，構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型通常以端到端的形式存在，通過(guò)對(duì)輸入的二維圖像進(jìn)行網(wǎng)格投影得到深度、特征點(diǎn)等信息，構(gòu)建形變網(wǎng)絡(luò)，通過(guò)形變網(wǎng)格與池化層為橢球網(wǎng)格提供深度、特征點(diǎn)等信息，完成對(duì)輸入圖像的三維模型重建工作，該神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)即為形變網(wǎng)格中的頂點(diǎn)。

近年來(lái)使用深度學(xué)習(xí)方法構(gòu)建曲面網(wǎng)格實(shí)現(xiàn)三維重建取得了不錯(cuò)的進(jìn)展，Simonyan[11]設(shè)計(jì)了一個(gè)VGG網(wǎng)絡(luò)（Very Deep Convolutional Networks），通過(guò)小卷積核代替大卷積核，加深神經(jīng)網(wǎng)絡(luò)深度，提高了三維重建模型的精度。Pixel2mesh[12]模型是一種端到端的深度學(xué)習(xí)架構(gòu)，采用由粗糙到精細(xì)的變換策略，將輸入的圖像通過(guò)特征提取轉(zhuǎn)換為橢球網(wǎng)格，經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)的逐步變形將橢球網(wǎng)格重建為物體的三維模型，整個(gè)變形過(guò)程穩(wěn)定，信息損失小，提高了重建的精度。

4 基于隱式曲面的表面表示方法進(jìn)行三維重建

在數(shù)學(xué)與計(jì)算機(jī)圖像學(xué)中，隱式曲面是一種重要的表示方式，基于隱式曲面的表面表示方法進(jìn)行三維重建主要是通過(guò)構(gòu)建隱式曲面函數(shù)，通過(guò)函數(shù)來(lái)表示物體的二維或三維形狀。由于隱式曲面函數(shù)的構(gòu)建靈活，且能夠表示任意復(fù)雜的物體，適用于圖像的檢測(cè)、變形、運(yùn)算等方面。近年來(lái)在三維重建領(lǐng)域，由于隱式曲面函數(shù)能夠很好地解決點(diǎn)云散亂模型，許多研究者開(kāi)始關(guān)注在深度學(xué)習(xí)方法中構(gòu)建隱式曲面函數(shù)來(lái)解決三維重建的問(wèn)題。

現(xiàn)有的隱式曲面重建方法中，較為經(jīng)典的重構(gòu)方法有小波曲面重建算法、RBF曲面重建算法、Poisson 曲面重建算法、MPU曲面重建算法等。在此基礎(chǔ)之上，Jiang[13]引入了一種將隱式解碼器用作在模型上計(jì)算代碼解碼后提高匹配度的優(yōu)化組件，該方法比稀疏點(diǎn)云實(shí)現(xiàn)重建具有更好的效果，適用性更廣，可擴(kuò)展性強(qiáng)。Chen[14]的團(tuán)隊(duì)提出了一種IM-NET的方法，該方法通過(guò)VAE+GAN的深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)，在輸入單視圖實(shí)現(xiàn)三維建模過(guò)程中使用一種新的隱式曲面函數(shù)解碼器替換傳統(tǒng)的重建方式，在重建效果和時(shí)間上取得了較好的效果。

IF-Nets網(wǎng)絡(luò)模型是近兩年非?；馃岬难芯繜狳c(diǎn)，其原理是將點(diǎn)的學(xué)習(xí)轉(zhuǎn)化為判斷分類問(wèn)題，用0或1標(biāo)注曲面內(nèi)或者曲面外，通過(guò)后期對(duì)標(biāo)注的點(diǎn)進(jìn)行分類處理實(shí)現(xiàn)模型曲面化和模型復(fù)原。IF-Nets的優(yōu)勢(shì)在于保留了圖像輸入中的細(xì)節(jié)，補(bǔ)全了形狀的遮擋部分的細(xì)節(jié)，缺陷在于泛化性有待提高。近年新出現(xiàn)的基于遞歸神經(jīng)網(wǎng)絡(luò)模型的三維重建方法。該方法通過(guò)對(duì)圖像提取特征信息，經(jīng)過(guò)多層級(jí)結(jié)構(gòu)編碼，能夠使得該神經(jīng)網(wǎng)絡(luò)模型本身學(xué)習(xí)到部件本身的拓?fù)浜徒Y(jié)構(gòu)特征。

SAGNET模型是一種基于弱監(jiān)督的結(jié)構(gòu)感知生成模型，該方法用成對(duì)關(guān)系反映形狀結(jié)構(gòu)中的不同部分，能獲得較好的視覺(jué)質(zhì)量，在拓?fù)浞矫孑^為靈活。同樣是采用解碼器解開(kāi)特征并重建三維模型，MDIF （多分辨率深度隱式函數(shù)）函數(shù)是一種可從深度圖像中實(shí)現(xiàn)詳細(xì)的解碼器形狀補(bǔ)全的函數(shù)，該模型觀察區(qū)域的細(xì)節(jié)被準(zhǔn)確地保留，而未觀察區(qū)域則用可信的形狀完成。

在最新的研究中，有研究者將遷移學(xué)習(xí)的方法引入三維重建當(dāng)中，將圖像中的三維點(diǎn)信息劃分到幾個(gè)區(qū)域，通過(guò)無(wú)監(jiān)督的遷移學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)，然后基于區(qū)域間的關(guān)系完成三維重建工作，使得三維重建問(wèn)題轉(zhuǎn)換成為二維問(wèn)題。

5 總結(jié)與展望

5.1 總結(jié)

三維重建在制造業(yè)與逆向工程、影視、娛樂(lè)、醫(yī)學(xué)等許多方面有著廣泛的應(yīng)用，不管是已有技術(shù)或方法在三維重建中應(yīng)用或者是隨著三維重建取得巨大進(jìn)展而產(chǎn)生的許多新方法或算法，都體現(xiàn)了三維重建在未來(lái)的發(fā)展前景與市場(chǎng)潛力。

早期的三維掃描儀器價(jià)格昂貴、精度較低、相關(guān)的配套軟件與方法不全面，使得處于起步階段的三維重建工作與研究停留在處理陰影、重疊等問(wèn)題。2010 年，Schmidt設(shè)計(jì)出Meshmixer后，三維重建的軟件配套問(wèn)題得到了很好的解決，促進(jìn)了相關(guān)軟件的開(kāi)發(fā)與技術(shù)突破。

后期三維重建的研究重點(diǎn)更多放在了應(yīng)用領(lǐng)域，如臨床醫(yī)學(xué)中通過(guò)對(duì)患者的身體構(gòu)建三維模型，標(biāo)識(shí)出患者的神經(jīng)、血管、腫瘤等各個(gè)結(jié)構(gòu)；文物保護(hù)工作中，通過(guò)構(gòu)建虛擬化的三維仿真場(chǎng)景，能夠讓游客最大程度上感受到文物的原始樣貌、古遺跡的還原場(chǎng)景等；另外在制造業(yè)中，通過(guò)三維重建方法構(gòu)建所需零部件的模型，由計(jì)算機(jī)控制生產(chǎn)設(shè)備完成加工，實(shí)現(xiàn)了生產(chǎn)流程的全自動(dòng)化，極大地降低了開(kāi)發(fā)與生產(chǎn)成本。

隨著人工智能技術(shù)的發(fā)展，在自動(dòng)駕駛領(lǐng)域，對(duì)駕駛環(huán)境、道路、障礙物等的識(shí)別與三維重建是目前以及今后一個(gè)重要的研究課題與方向。三維掃描設(shè)備的輕量化、民用化是今后的一大發(fā)展趨勢(shì)。

本文基于點(diǎn)云、體素、曲面網(wǎng)格、隱式曲面的這四類表面表示方法展開(kāi)了綜述，重點(diǎn)介紹了這四類方法的原理、發(fā)展過(guò)程與基于深度學(xué)習(xí)方法下的研究進(jìn)展與成果。然后根據(jù)這四個(gè)分類詳細(xì)討論了每個(gè)表面表示方法的優(yōu)缺點(diǎn)及重大改進(jìn)，并對(duì)這些改進(jìn)進(jìn)行比較。使用深度學(xué)習(xí)方法進(jìn)行三維重建是近年來(lái)計(jì)算機(jī)視覺(jué)下一個(gè)新的研究方向與重點(diǎn)，但是存在著方法凌亂、數(shù)據(jù)集體量小等問(wèn)題。

5.2 展望

三維重建研究工作整體不夠成熟，對(duì)于重建過(guò)程與結(jié)果的評(píng)價(jià)算法較少，如何全面地評(píng)價(jià)三維重建算法、模型、方法的存儲(chǔ)占用、時(shí)間損耗、重建精度等是未來(lái)的一個(gè)發(fā)展方向。

在生活和生產(chǎn)應(yīng)用當(dāng)中，物體與場(chǎng)景所處的外部環(huán)境實(shí)時(shí)變化，現(xiàn)有的三維重建方法無(wú)法適用于所有的外部環(huán)境當(dāng)中，現(xiàn)有的研究工作也都是設(shè)置了一個(gè)特殊環(huán)境對(duì)物體和場(chǎng)景進(jìn)行三維重建。如何應(yīng)對(duì)與處置實(shí)時(shí)變化的外部環(huán)境是今后三維重建研究當(dāng)中的一個(gè)難點(diǎn)。

基于深度學(xué)習(xí)方法的三維重建中，由于需要大量數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，導(dǎo)致計(jì)算量較大，對(duì)計(jì)算機(jī)設(shè)備的要求較高，很難完成對(duì)圖像數(shù)據(jù)的實(shí)時(shí)三維重建，如何在不降低重建效果的基礎(chǔ)上縮減三維重建工作中的計(jì)算量是今后研究的重點(diǎn)。