摘要：針對(duì)現(xiàn)有基于多視圖的三維重建方法未充分考慮像素點(diǎn)在其余視圖的可見(jiàn)性，從而導(dǎo)致重建完整度不足，且在弱紋理和遮擋區(qū)域重建困難等問(wèn)題，提出了一種應(yīng)用于高分辨率的三維重建網(wǎng)絡(luò)。首先提出了一種引入可見(jiàn)性感知的自適應(yīng)成本聚合方法用于成本量的聚合，通過(guò)網(wǎng)絡(luò)獲取視圖中像素點(diǎn)的可見(jiàn)性，可以提高遮擋區(qū)域重建完整性；基于方差預(yù)測(cè)每像素視差范圍，構(gòu)建空間變化的深度假設(shè)面用于分階段重建，在最后一階段提出了基于卷積空間傳播網(wǎng)絡(luò)的深度圖優(yōu)化模塊，以獲得優(yōu)化的深度圖；最后采用改進(jìn)深度圖融合算法，結(jié)合所有視圖的像素點(diǎn)與3D點(diǎn)的重投影誤差進(jìn)行一致性檢查，得到密集點(diǎn)云。在DTU數(shù)據(jù)集上與其他方法的定量定性比較結(jié)果表明，提出方法可以重建出細(xì)節(jié)上表現(xiàn)更好的場(chǎng)景。

關(guān)鍵詞：三維重建；自適應(yīng)聚合；空間傳播網(wǎng)絡(luò)；深度圖

中圖分類號(hào)：TP301.6文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）05-049-1595-06

0引言

三維重建技術(shù)作為計(jì)算機(jī)視覺(jué)的熱門方向之一，被廣泛應(yīng)用于醫(yī)療［1］、3D打?。?］、虛擬現(xiàn)實(shí)技術(shù)［3］和3D地圖和導(dǎo)航［4］方面。它不僅可以生成直觀的三維模型，還可以通過(guò)相關(guān)軟件對(duì)生成的模型進(jìn)行分析，隨著科學(xué)技術(shù)的不斷進(jìn)步，三維重建技術(shù)的應(yīng)用范圍越來(lái)越廣。在室內(nèi)外環(huán)境中穩(wěn)定地進(jìn)行全局自定位，重建可用于機(jī)器人導(dǎo)航和避障的可視化三維密集場(chǎng)景地圖。利用三維重建得到一種地理位置信息準(zhǔn)確、道路要素語(yǔ)義信息豐富的地圖數(shù)據(jù)?；趫D像的三維重建算法可以描述為一組對(duì)象或場(chǎng)景的照片，在給定材料、視點(diǎn)、照明的基礎(chǔ)上，重建觀察場(chǎng)景的密集幾何體的任務(wù)。多視圖稠密重建（MVS）技術(shù)輸入一組圖像及其相應(yīng)的相機(jī)參數(shù)，從重疊的圖像中估計(jì)出稠密的三維信息。通過(guò)匹配二維圖像計(jì)算深度值，并離線完成整個(gè)重建。它提供了一種快速獲取精確三維內(nèi)容的方法，而成本僅為其他方法的一小部分。

傳統(tǒng)的三維重建方法使用的相似性度量和正則化方法，如標(biāo)準(zhǔn)化互相關(guān)和半全局匹配［5］等來(lái)計(jì)算光度一致性并恢復(fù)深度信息。盡管目前的一些傳統(tǒng)算法［6～8］在精確度方面表現(xiàn)良好，但它們也有一些共同的局限性，例如在場(chǎng)景的低紋理、鏡面反射和反射區(qū)域的重建較為困難。

與傳統(tǒng)算法相比，基于學(xué)習(xí)的方法能夠?qū)W習(xí)利用場(chǎng)景全局語(yǔ)義信息，包括對(duì)象材質(zhì)、鏡面反射度和環(huán)境照明等條件，以獲得更穩(wěn)健的匹配和更完整的重建。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)在各種計(jì)算機(jī)視覺(jué)任務(wù)中的成功應(yīng)用［9］促進(jìn)了多視圖幾何（MVS）方法的改進(jìn)。立體匹配任務(wù)非常適合應(yīng)用在基于深度學(xué)習(xí)的方法，因?yàn)閷?duì)圖像進(jìn)行預(yù)先矯正，此問(wèn)題變成了水平像素方向的視差估計(jì)，而無(wú)須考慮相機(jī)參數(shù)。在基于深度學(xué)習(xí)的三維重建方面，Ji等人［10］首先提出了SurfaceNet預(yù)先構(gòu)建彩色體素立方體，將所有圖像像素顏色信息和相機(jī)信息組合到單個(gè)體素中，作為網(wǎng)絡(luò)的輸入。相比之下，Kar等人［11］提出的立體學(xué)習(xí)機(jī)（LSM）直接利用可微映射來(lái)實(shí)現(xiàn)端到端的訓(xùn)練。然而，這兩種方法都利用了規(guī)則柵格的體積表示。受三維體積巨大內(nèi)存消耗的限制，其網(wǎng)絡(luò)難以擴(kuò)展：LSM僅處理低體積分辨率的對(duì)象，而SurfaceNet采用啟發(fā)式分治策略，大規(guī)模重建需要很長(zhǎng)時(shí)間。端到端的網(wǎng)絡(luò)如Yao等人［12］提出的MVSNet直接從一系列圖像中估計(jì)場(chǎng)景的深度，利用2DCNN進(jìn)行特征提取，并將多個(gè)視角下的圖像通過(guò)扭曲映射生成成本體，對(duì)成本體的正則化來(lái)預(yù)測(cè)深度圖，能夠達(dá)到更高的預(yù)測(cè)精度。隨后Chen等人［13］進(jìn)一步提出了一種新的基于遞歸神經(jīng)網(wǎng)絡(luò)的可伸縮多視點(diǎn)立體框架，稱為R-MVSNet。通過(guò)順序處理，算法的在線內(nèi)存需求從三次型降低到二次型，能夠?qū)崿F(xiàn)高分辨率的重建。然而這使重建的完整性和準(zhǔn)確性受到了影響，運(yùn)行速率也有所降低。UCS-Net［14］提出用自適應(yīng)薄體積來(lái)劃分局部深度范圍，后續(xù)工作［15，16］將級(jí)聯(lián)式立體網(wǎng)絡(luò)用于多幅RGB圖像的三維重建。

本文提出了一種新的高效級(jí)聯(lián)式立體視覺(jué)網(wǎng)絡(luò)AD-MVSNet。其主要貢獻(xiàn)如下：該模型搭建了一種輕量級(jí)的特征提取模塊，提出了一種引入可見(jiàn)性感知的自適應(yīng)成本聚合方法，在成本量生成階段采用了相似性度量的方法，通過(guò)可見(jiàn)性感知網(wǎng)絡(luò)獲取視圖中像素點(diǎn)是否可見(jiàn)；基于方差預(yù)測(cè)每像素視差范圍，將局部深度范圍劃分在學(xué)習(xí)到的小間隔內(nèi)，按分辨率從低到高分階段進(jìn)行深度估計(jì)，最后一階段提出了融合殘差與空間傳播網(wǎng)絡(luò)的深度圖優(yōu)化模塊，以從粗到精的方式實(shí)現(xiàn)重建；采用改進(jìn)深度圖融合算法，結(jié)合像素點(diǎn)與3D點(diǎn)的重投影誤差進(jìn)行幾何一致性檢查，從而保持準(zhǔn)確的深度值以在融合階段獲取準(zhǔn)確密集的點(diǎn)云。

1成本體構(gòu)建與聚合

1.1模型構(gòu)架

本文提出了如圖1所示的網(wǎng)絡(luò)框架。它包括多尺度特征提取、級(jí)聯(lián)式由粗到細(xì)的迭代匹配框架、自適應(yīng)成本聚合與深度圖優(yōu)化模塊。其輸入為參考圖像與n-1張?jiān)磮D像。

損失函數(shù)采用L1loss，將所有深度估計(jì)和具有相同分辨率的地面真實(shí)之間的損失視為總和Ltol：

1.2多尺度特征提取

以往的方法通常采用多層2DCNN下采樣或是U-Net來(lái)進(jìn)行單一分辨率上的特征提取，為了實(shí)現(xiàn)高分辨率特征通過(guò)學(xué)習(xí)的上采樣過(guò)程以較低的分辨率適當(dāng)?shù)睾喜⑿畔?，本文提出了一個(gè)多尺度特征提取器，如圖1所示，先采用類似FPN［17］的八層降采樣卷積網(wǎng)絡(luò)，然后參考U-Net［18］，在多階段深度預(yù)測(cè)中，每個(gè)階段都使用前一階段中的特征信息，從而進(jìn)行合理的高頻特征提取。編碼器由一組卷積層組成，使用步長(zhǎng)stride=2的卷積對(duì)原始圖像大小進(jìn)行兩次下采樣。之前的網(wǎng)絡(luò)中大量采用BN層接激活層的組合，而現(xiàn)有的深度學(xué)習(xí)框架一定程度上在深度學(xué)習(xí)框架中的內(nèi)存管理不理想。本文采用一種新的統(tǒng)一層INPLACE-ABN［19］，它取代了常用的批量標(biāo)準(zhǔn)化（BN）和非線性激活層。在后向傳遞期間，可以通過(guò)反轉(zhuǎn)前向傳遞計(jì)算有效地從該緩沖區(qū)恢復(fù)所有所需的量，理論上在不引入明顯的計(jì)算開(kāi)銷的情況下在卷積層獲得50%的內(nèi)存增益，即計(jì)算時(shí)間僅增加0.8%～2%。其輸入為參考圖像與N-1張?jiān)磮D像。特征提取器從解碼器提取三個(gè)比例的特征圖F1、F2、F3，用于代價(jià)體構(gòu)建。本文將原始圖像的大小表示為W×H，F(xiàn)1、F2、F3具有W/4×H/4，W/2×H/2和W×H的分辨率。

1.3成本體構(gòu)建

為了從不同的角度來(lái)估計(jì)深度圖，將多張視圖的特征圖聚合為一個(gè)成本體。在大多數(shù)已知的MVS方法中，成本體是通過(guò)將所有提取的特征映射轉(zhuǎn)換為參考圖像的特征映射來(lái)生成的。本文首先在最粗糙的尺度上構(gòu)建成本體（CostVolume）作為初始深度圖的估計(jì)。本文在使用與其他方法不同的特征聚合方法的同時(shí)，對(duì)成本體的生成進(jìn)行了深入研究。

本文通過(guò)類似于平面掃描算法［20］，將提取的特征F1、F2、F3從源視圖扭曲映射到參考視圖，在多個(gè)尺度上構(gòu)建多個(gè)成本體。其過(guò)程通過(guò)可微單應(yīng)性變換（扭曲映射）實(shí)現(xiàn)。與MVSNet［12］的方法類似，根據(jù)參考圖像與第i張?jiān)磮D像的內(nèi)參矩陣{Ki}n-1i與旋轉(zhuǎn)平移矩陣{Ri|ti}n-1i，n為視圖數(shù)，計(jì)算第i張?jiān)磮D像中的一個(gè)像素p在參考圖像中第l層深度假設(shè)dl的對(duì)應(yīng)像素pi，l：=pi（dl）為

式（2）表示源視圖的特征映射和參考圖像之間的像素對(duì)應(yīng)關(guān)系。對(duì)于多視圖立體視覺(jué)，成本體的構(gòu)建必須將任意數(shù)量的源視圖中的信息集成到每個(gè)像素p和深度假設(shè)dl的單一成本中。每個(gè)成本體由多個(gè)假設(shè)平面構(gòu)成。本文使用Qk，l表示在第k階段的第l假設(shè)平面（depth_samples），Qk，l（p）表示其在像素p處的值。在第k階段，通過(guò)可微雙線性插值獲得第i源視圖在第l層深度假設(shè)面扭曲映射后的特征圖Fi，k（pi，l）。使用Nk表示第k階段的平面數(shù)。在第一階段，建立了一個(gè)標(biāo)準(zhǔn)的平面掃描體，從預(yù)定義的深度間隔［dmin，dmax］中均勻采樣得到L個(gè)深度假設(shè)層{dl}Ll=1，使用式（2）扭曲映射得到平面。對(duì)于第二和三階段，其深度假設(shè)根據(jù)基于方差的視差范圍預(yù)測(cè)。

1.4自適應(yīng)成本聚合

為了測(cè)量多視圖特征的相似性，MVSNet［12］采用基于方差的度量來(lái)生成原始的32通道成本體。在將成本體輸入后續(xù)的成本體正則化模塊之前，MVSNet首先將32個(gè)渠道的成本體減少為8個(gè)渠道的成本體。此外，Tulyakov等人［21］證明，將壓縮后的32通道成本體輸入正則化模塊可以達(dá)到類似的精度。對(duì)比以往的MVS網(wǎng)絡(luò)使用基于方差的成本聚合方法，本文采用一種平均分組相關(guān)的相似性度量來(lái)表示結(jié)構(gòu)權(quán)重成本［22］，這大大減輕了本文網(wǎng)絡(luò)的內(nèi)存負(fù)擔(dān)。

在將特征通道劃分為G組后，參考圖像特征F（p）和第i源視圖在第l層深度假設(shè)面扭曲映射后的特征圖Fi（pi，l）在第G組的相似性表示為

其中：C為通道數(shù)；Si（p，l）g表示相應(yīng)的組相似性。對(duì)假設(shè)和像素的聚合提供了張量Si∈EuclidMathTwoRApW×H×D×G。

MVS中的一個(gè)關(guān)鍵點(diǎn)是像素的可見(jiàn)性，即在給定的圖像中，3D點(diǎn)是否可見(jiàn)。在傳統(tǒng)的MVS算法中，可見(jiàn)性問(wèn)題已經(jīng)得到了很好的解決。如COLMAP［23］，計(jì)算可見(jiàn)性信息，并基于概率框架聚合成對(duì)匹配成本；MVSNet［12］及其后續(xù)著作［13，14］將所有視圖中的多視圖功能提供給基于方差的成本度量，而不管像素的可見(jiàn)性如何，未解決的可見(jiàn)性問(wèn)題可能會(huì)不可避免地惡化最終重建。

為此，本文提出了一種新的聚合操作，通過(guò)該方式可以在成本聚合期間學(xué)習(xí)到源視圖像素在參考圖像中的可見(jiàn)信息。本文提出的聚合結(jié)構(gòu)如圖2所示。

可見(jiàn)性感知模塊將參考圖像特征F（p）和源圖像特征Fi（pij）的相似性Si（p，l）作為輸入，并輸出第i視圖的可見(jiàn)性掩碼。在所有像素上共享權(quán)重，從而獨(dú)立預(yù)測(cè)每個(gè)像素的可見(jiàn)性。在最后一層上應(yīng)用基于元素的sigmoid函數(shù)，以將輸出限制在［0，1］。{wi（p）}n-1i=1表示源圖像i在像素p處的可見(jiàn)性掩碼信息，n表示視圖數(shù)。為了減少計(jì)算量，僅在第一階段中計(jì)算一次并保持不變，并在更高分辨率的階段前進(jìn)行上采樣。

過(guò)濾成本體的3D卷積塊的結(jié)構(gòu)類似于MVSNet［12］，多尺度3D卷積網(wǎng)絡(luò)被應(yīng)用于估計(jì)每個(gè)像素的不同深度或殘差假設(shè)的概率。

2深度預(yù)測(cè)與融合

2.1深度預(yù)測(cè)與概率分布

在每個(gè)階段，本文應(yīng)用類似于文獻(xiàn)［12］的3DCNN處理成本體，推斷多視圖對(duì)應(yīng)關(guān)系，并預(yù)測(cè)深度概率分布。在3DCNN的末尾應(yīng)用深度方向的softmax來(lái)預(yù)測(cè)每像素的深度概率。在三個(gè)階段使用相同的網(wǎng)絡(luò)架構(gòu)而不共享權(quán)重，因此每個(gè)階段學(xué)習(xí)以不同的規(guī)模處理其信息。

在k階段的預(yù)測(cè)深度概率體由L個(gè)深度概率圖Pk，l組成，與在第k階段的第l假設(shè)平面Qk，l相關(guān)。Pk，l表示像素p在Qk，l深度的概率值，用加權(quán)和計(jì)算深度圖在k階段的估計(jì)為

2.2基于方差的視差范圍預(yù)測(cè)

本文框架的關(guān)鍵是逐步細(xì)分局部空間，并以更高的分辨率和精度優(yōu)化深度預(yù)測(cè)。參考UCS-Net［14］，本文框架的關(guān)鍵是逐步細(xì)分局部空間，并以更高的分辨率和精度優(yōu)化深度預(yù)測(cè)。其深度假設(shè)根據(jù)基于方差的視差范圍預(yù)測(cè)。像素p在k階段的概率分布的方差vk（p）計(jì)算如下：

其中：λ是一個(gè)用于確定置信區(qū)間大小的標(biāo)量參數(shù)。對(duì)于每個(gè)像素p，本文從第k階段的置信區(qū)間ck（p）均勻采樣Lk+1個(gè)深度值，以獲取該像素在k+1階段的深度假設(shè)平面的深度值Qk+1，1（p），…，Qk+1，Lk+1（p）。通過(guò)這種方式可以構(gòu)建Lk+1個(gè)隨像素在空間變化的深度假設(shè)曲面Qk+1，l。該方法在地面真值表面周圍有一個(gè)概率局部空間，地面真值深度位于視差范圍區(qū)間內(nèi)，具有很高的置信度。由于基于方差的視差范圍估計(jì)是可微的，這使本文網(wǎng)絡(luò)能夠?qū)W習(xí)調(diào)整每個(gè)階段的概率預(yù)測(cè)，以實(shí)現(xiàn)在端到端訓(xùn)練過(guò)程中實(shí)現(xiàn)優(yōu)化的間隔和后續(xù)階段相應(yīng)的深度假設(shè)平面，從而實(shí)現(xiàn)高效的空間劃分。

2.3深度圖優(yōu)化模塊

為了進(jìn)一步提高網(wǎng)絡(luò)性能，本文將卷積空間傳播網(wǎng)絡(luò)［24］應(yīng)用于深度圖細(xì)化上。并且參考MSG-Net［25］，為了避免對(duì)某個(gè)深度比例有偏差，將輸入深度圖預(yù)縮放到［0，1］中，并在優(yōu)化后將其轉(zhuǎn)換回來(lái)。親和矩陣是用于衡量空間中兩個(gè)點(diǎn)相似性的矩陣，它是一個(gè)加權(quán)圖，把每個(gè)像素看做一個(gè)節(jié)點(diǎn)，用一個(gè)邊連接每對(duì)像素。邊上的權(quán)重反映其在不同計(jì)算機(jī)視覺(jué)任務(wù)中的成對(duì)相似性。本文以最后一階段提取的特征圖為引導(dǎo)，卷積空間傳播網(wǎng)絡(luò)產(chǎn)生與輸入圖像空間相關(guān)的親和矩陣；然后，采用親和矩陣來(lái)指導(dǎo)細(xì)化過(guò)程，以提升每像素深度值的準(zhǔn)確性。

卷積空間傳播網(wǎng)絡(luò)采用一個(gè)線性模型，以循環(huán)卷積的形式傳播，在優(yōu)化過(guò)程中每個(gè)像素的深度值在一個(gè)卷積上下文中同時(shí)更新。如圖3所示，上一階段產(chǎn)生的深度圖Dpre將最后一階段提取的特征圖D∈EuclidMathTwoRApH×W×C作為引導(dǎo)，在n個(gè)迭代步驟中得到細(xì)化后的深度圖。在傳播過(guò)程，將深度圖Dpre嵌入到一些隱藏層H中，在t次迭代時(shí)核大小為k的卷積變換函數(shù)如下：

2.4改進(jìn)深度圖融合算法

本文在深度圖過(guò)濾和融合步驟中充分考慮了幾何一致性，并且結(jié)合計(jì)算像素點(diǎn)的重投影誤差和3D點(diǎn)的重投影誤差。對(duì)于光度一致性，遵循文獻(xiàn)［12］并生成三個(gè)階段不同分辨率的置信度圖，并采用第三階段生成的置信度圖，以置信度c過(guò)濾掉不可靠的像素。通過(guò)網(wǎng)絡(luò)獲取圖像i在像素點(diǎn)p處的深度值di（p）。相機(jī)參數(shù)由投影矩陣Pi=［Mi|ti］來(lái)表示。首先將圖像i上的像素點(diǎn)反投影到3D空間中生成3D點(diǎn)Tref（x，y，z）：

使用ξn≤θ2過(guò)濾Tproj中不可靠的3D點(diǎn)。通過(guò)聚集來(lái)自所有鄰居視圖的3D點(diǎn)匹配一致性來(lái)獲得全局多視圖幾何一致性η（p）=∑nj=1ξn，n為視圖數(shù)。通過(guò)η（p）lt;τ過(guò)濾異常3D點(diǎn)。與先前的深度圖融合方法相比，它提高了三維重建點(diǎn)云的魯棒性、完整性和準(zhǔn)確性。

3實(shí)驗(yàn)結(jié)果與分析

3.1實(shí)驗(yàn)設(shè)置

硬件環(huán)境：AMD2700X處理器，64GB內(nèi)存，RTX3090Ti顯卡，訓(xùn)練batch_size設(shè)置為2。軟件環(huán)境為Python3.8，PyTorch1.7，CUDA11.0。在DTU［26］數(shù)據(jù)集上訓(xùn)練本文網(wǎng)絡(luò)。DTU數(shù)據(jù)集中包含各種各樣的場(chǎng)景和物體，還包括非常相似的場(chǎng)景，如房屋模型，這樣可以探索類內(nèi)可變性。數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。與之前基于深度學(xué)習(xí)的方法一樣，采用場(chǎng)景{3，5，17，21，28，35，37，38，40，43，56，59，66，67，82，86，106，117}作為驗(yàn)證集，場(chǎng)景{1，4，9，10，11，12，13，15，23，24，29，32，33，34，48，49，62，75，77，110，114，118}作為測(cè)試集，訓(xùn)練集為其余78個(gè)場(chǎng)景。訓(xùn)練輸入圖片的分辨率為640×512，每批輸入視圖數(shù)為3；使用三個(gè)估計(jì)階段的平面數(shù)，分別為N1=64，N2=32和N3=8來(lái)構(gòu)造平面掃描體。在第一階段從初始深度范圍dmin=425mm，dmax=933.8mm進(jìn)行均勻采樣。使用初始學(xué)習(xí)率設(shè)置為0.0016的Adam優(yōu)化器。從端到端訓(xùn)練完整三階網(wǎng)絡(luò)30個(gè)epoch。

3.2實(shí)驗(yàn)結(jié)論

3.2.1在DTU數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)論

在DTU測(cè)試集上評(píng)估了本文方法，采用每批輸入視圖數(shù)為5，輸入圖片尺寸W=1600，H=1184，初始深度范圍dmin=425mm，dmax=933.8mm，空間傳播迭代次數(shù)n=24。本文使用文獻(xiàn)［24］的距離度量來(lái)比較最終重建的精度。先通過(guò)深度估計(jì)網(wǎng)絡(luò)估計(jì)所有視圖的深度圖，再采用改進(jìn)的深度圖融合算法對(duì)深度圖進(jìn)行濾波與融合，生成點(diǎn)云模型。以下參數(shù)是在點(diǎn)云模型下完成的，真值是結(jié)構(gòu)光掃描得到的點(diǎn)云模型Comp完整性由計(jì)算結(jié)構(gòu)光掃描模型的每個(gè)點(diǎn)到距離MVS重建的模型最近點(diǎn)的距離計(jì)算；Acc精度由在可視掩碼內(nèi)的MVS重建的點(diǎn)到結(jié)構(gòu)光掃描模型最近點(diǎn)的距離；Ovrall衡量準(zhǔn)確性和完整性的總體表現(xiàn)。本文對(duì)傳統(tǒng)方法和基于學(xué)習(xí)的方法進(jìn)行了比較，定量結(jié)果如表1所示。雖然Gipuma［27］在不精確性方面表現(xiàn)最佳，但本文方法在完整性方面優(yōu)于其他方法，并在整體質(zhì)量方面取得了有競(jìng)爭(zhēng)力的性能。值得注意的是，在輸入相同的情況下，MVSNet和R-MVSNet預(yù)測(cè)的深度圖大小僅為W/4×H/4，本文最終的深度圖是在原始圖像尺寸上估計(jì)的，這具有高得多的分辨率，并且獲得明顯更好的完整性。

由表1可知，模型的整體精度誤差（overallerror）比CasMVSNet、CVP-MVSNet、UCSNet、AA-RMVSNet分別降低了9.58%、8.54%、6.68%。

在生成點(diǎn)云的質(zhì)量方面，本文的3D重建結(jié)果與UCSNet、CasMVSNet與地面真值groundtruth在DTU數(shù)據(jù)集上的scan15、scan23、scan32進(jìn)行定性比較，如圖4、5所示。在這些示例中實(shí)現(xiàn)了相當(dāng)?shù)耐暾?，由于能夠處理高輸入分辨率，本文方法的結(jié)果更加密集，門、橫幅和飲料瓶的弱紋理區(qū)域細(xì)節(jié)更加精細(xì)，且在圖5的遮擋區(qū)域表現(xiàn)良好，并且可以更容易地從3D重建結(jié)果中識(shí)別。

3.2.2在tanksandtemples數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)論

為了驗(yàn)證模型的泛化性能，本文使用在DTU數(shù)據(jù)集上的訓(xùn)練模型來(lái)對(duì)tanksandtemples［32］的中間數(shù)據(jù)集進(jìn)行重建。tanksandtemples數(shù)據(jù)集是在實(shí)驗(yàn)室之外獲取的真實(shí)場(chǎng)景，其真實(shí)數(shù)據(jù)是用工業(yè)激光掃描儀捕捉的，包括室外場(chǎng)景和室內(nèi)環(huán)境。實(shí)驗(yàn)設(shè)置輸入視圖數(shù)為5，輸入圖片尺寸W=1920，H=1056，初始深度范圍dmin=425mm，dmax=933.8mm，空間傳播迭代次數(shù)n=24。該數(shù)據(jù)集采用的評(píng)估標(biāo)準(zhǔn)為fscore，度量準(zhǔn)確性和完整性的總體性能。模型在tanksandtemples中的實(shí)驗(yàn)結(jié)果如表2所示。

通過(guò)表2可知，本文方法在其他數(shù)據(jù)集上表現(xiàn)良好，整體的準(zhǔn)確性和完整性優(yōu)于現(xiàn)有方法，與現(xiàn)有方法相比具有一定的優(yōu)勢(shì)。為了證明模型的有效性，對(duì)tanksandtemples數(shù)據(jù)集中的場(chǎng)景分別進(jìn)行深度圖的預(yù)測(cè)，進(jìn)而轉(zhuǎn)換成點(diǎn)云模型作出展示，總共8個(gè)場(chǎng)景，如圖6所示。

3.3消融實(shí)驗(yàn)分析

本節(jié)提供消融實(shí)驗(yàn)和定量分析，以評(píng)估本文框架中關(guān)鍵組件，包括自適應(yīng)成本聚合、深度圖優(yōu)化模塊與改進(jìn)深度圖融合算法的優(yōu)勢(shì)和局限性。在接下來(lái)的所有研究中，實(shí)驗(yàn)都是在DTU數(shù)據(jù)集上進(jìn)行和評(píng)估的，并且準(zhǔn)確性和完整性都被用來(lái)衡量重建質(zhì)量。本文設(shè)置組數(shù)G=4，其他所有設(shè)置與4.1節(jié)中使用的設(shè)置相同，分別為：a）采用多尺度特征提取器+基于方差的視差范圍優(yōu)化的級(jí)聯(lián)式網(wǎng)絡(luò)，稱為F-D；b）采用多尺度特征提取器、基于方差的視差范圍優(yōu)化、自適應(yīng)成本聚合，稱為F-V；c）采用多尺度特征提取器、基于方差的視差范圍優(yōu)化、自適應(yīng)成本聚合，并添加深度圖優(yōu)化模塊后的網(wǎng)絡(luò)模型，稱為F-F；d）采用多尺度特征提取器、基于方差的視差范圍優(yōu)化、自適應(yīng)成本聚合、深度圖優(yōu)化模塊、改進(jìn)深度圖融合算法，稱為F-I。結(jié)果如表3所示。

通過(guò)表3對(duì)比可以看出，本文算法對(duì)于三維重建網(wǎng)絡(luò)有顯著提升。同時(shí)，如圖7所示，針對(duì)本文提出的深度學(xué)習(xí)算法中的各個(gè)模塊，進(jìn)行了對(duì)輸出尺寸為1200×1986的深度圖可視化來(lái)說(shuō)明網(wǎng)絡(luò)對(duì)于圖片全局及可見(jiàn)信息的感知。通過(guò)對(duì)比可以看出，本文網(wǎng)絡(luò)模型深度圖更完整，孔洞更少，邊緣更清晰，能夠達(dá)到更好的預(yù)測(cè)結(jié)果。

4結(jié)束語(yǔ)

針對(duì)MVS問(wèn)題，本文提出了一種級(jí)聯(lián)式自適應(yīng)成本聚合與深度圖優(yōu)化的三維重建網(wǎng)絡(luò)AD-MVSNet，研究主要從多尺度特征提取、級(jí)聯(lián)式由粗到細(xì)的迭代匹配框架、自適應(yīng)成本聚合與深度圖優(yōu)化模塊、改進(jìn)的深度圖融合算法

四個(gè)方面展開(kāi)。結(jié)果表明，本文算法提升了預(yù)測(cè)結(jié)果的整體精度，生成的點(diǎn)云場(chǎng)景細(xì)節(jié)的弱紋理區(qū)域與遮擋區(qū)域處重建效果明顯。與大多數(shù)基于學(xué)習(xí)的MVS方法相比，本文方法實(shí)現(xiàn)了具有競(jìng)爭(zhēng)力的性能。

雖然算法在實(shí)驗(yàn)中能得到較好的重建結(jié)果，但仍有改進(jìn)的空間。級(jí)聯(lián)式網(wǎng)絡(luò)難以從低分辨率階段預(yù)測(cè)的深度圖的錯(cuò)誤中進(jìn)行矯正，從而影響高分辨率預(yù)測(cè)階段的精度以及重建的結(jié)果。因此，在進(jìn)一步的研究中需要探索更有效的策略來(lái)進(jìn)行深度圖計(jì)算，從而提升重建的精度與泛化性能。

參考文獻(xiàn)：

［1］吳海濱，徐若彤，王愛(ài)麗，等.基于計(jì)算機(jī)視覺(jué)的人體內(nèi)腔三維重建技術(shù)綜述［J］.計(jì)算機(jī)工程，2021，47（10）：1-15.（WuHaibin，XuRuotong，WangAili，etal.Overviewof3Dhumanlumenreconstructiontechnologybasedoncomputervision［J］.ComputerEngineering，2021，47（10）：1-15.）

［2］劉錚，龐新磊.3D打印技術(shù)在戰(zhàn)時(shí)車輛裝備維修中的應(yīng)用［J］.軍事交通學(xué)院學(xué)報(bào)，2020，22（6）：34-38.（LiuZheng，PangXinlei.Applicationof3Dprintingtechnologyinwartimevehicleequipmentmaintenance［J］.JournalofMilitaryTransportationCollege，2020，22（6）：34-38.）

［3］李兆歆，蔣浩，劉衍青，等.絲路文化虛擬體驗(yàn)中的多視角立體重建技術(shù)研究［J］.計(jì)算機(jī)學(xué)報(bào)，2022，45（3）：500-512.（LiZhaoxin，JiangHao，LiuYanqing，etal.Researchonmultiperspectivestereoscopicreconstructiontechnologyinvirtualexperienceofsilkroadculture［J］.ChineseJournalofComputers，2022，45（3）：500-512.）

［4］余曉蘭，萬(wàn)云，陳靖照.基于雙目視覺(jué)的機(jī)器人定位與導(dǎo)航算法［J］.江蘇農(nóng)業(yè)科學(xué)，2022，50（6）：154-161.（YuXiaolan，WanYun，ChenJingzhao.Robotpositioningandnavigationalgorithmbasedonbinocularvision［J］.JiangsuAgriculturalSciences，2022，50（6）：154-161.）

［5］HeikoH.Stereoprocessingbysemiglobalmatchingandmutualinformation［J］.IEEETransonPatternAnalysisandMachineIntelligence，2008，30（2）：328-341.

［6］FurukawaY，PonceJ.Accurate，dense，androbustmultiviewstereopsis［J］.IEEETransonPatternAnalysisandMachineIntelligence，2010，32（8）：1362-1376.

［7］VuHH，LabatutP，PonsJP，etal.Highaccuracyandvisibility-consistentdensemultiviewstereo［J］.IEEETransonPatternAnaly-sisamp;MachineIntelligence，2011，34（5）：889-901.

［8］GallianiS，LasingerK，SchindlerK.Massivelyparallelmultiviewstereopsisbysurfacenormaldiffusion［C］//ProcofIEEEInternationalConfe-renceonComputerVision.Piscataway，NJ：IEEEPress，2015：873-881.

［9］WuXiongwei，SahooD，HoiSCH.Recentadvancesindeeplearningforobjectdetection［J］.Neurocomputing，2020，396：39-64.

［10］JiMengqi，GallJ，ZhengHaitian，etal.SurfaceNet：anend-to-end3Dneuralnetworkformultiviewstereopsis［C］//ProcofIEEEInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2017：2307-2315.

［11］KarA，HneC，MalikJ.Learningamulti-viewstereomachine［C］//Procofthe31stInternationalConferenceonNeuralInformationProcessingSystems.RedHook，NY：CurranAssociatesInc.，2017：364-375.

［12］YaoYao，LuoZixin，LiShiwei，etal.MVSNet：depthinferenceforunstructuredmulti-viewstereo［C］//ProcofEuropeanConferenceonComputerVision.Berlin：Springer，2018：767-783.

［13］ChenRui，HanSongfang，XuJing，etal.Point-basedmulti-viewstereonetwork［C］//ProcofIEEE/CVFInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2019：1538-1547.

［14］ChengShuo，XuZexiang，ZhuShilin，etal.Deepstereousingadaptivethinvolumerepresentationwithuncertaintyawareness［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2020：2521-2531.

［15］GuXiaodong，F(xiàn)anZhiwen，ZhuSiyu，etal.Cascadecostvolumeforhigh-resolutionmulti-viewstereoandstereomatching［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2020：2492-2501.

［16］YangJiayu，MaoWei，AlvarezJM，etal.Costvolumepyramidbaseddepthinferenceformulti-viewstereo［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2020：4876-4885.

［17］LinTY，DollárP，GirshickR，etal.Featurepyramidnetworksforobjectdetection［C］//ProcofIEEEConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2017：2117-2125.

［18］RonnebergerO，F(xiàn)ischerP，BroxT.U-Net：convolutionalnetworksforbiomedicalimagesegmentation［M］//NavabN，HorneggerJ，WellsW，etal.MedicalImageComputingandComputer-AssistedIntervention.Cham：Springer，2015：234-241.

［19］BuloSR，PorziL，KontschiederP.In-placeactivatedbatchnormformemory-optimizedtrainingofDNNs［C］//ProcofIEEEConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2018：5639-5647.

［20］CollinsRT.Aspace-sweepapproachtotruemulti-imagematching［C］//ProcofCVPRIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，1996：358-363.

［21］TulyakovS，IvanovA，F(xiàn)leuretF.Practicaldeepstereo（PDS）：towardapplications-friendlydeepstereomatching［J］.AdvancesinNeuralInformationProcessingSystems，2018，31：5875-5885.

［22］XuQingshan，TaoWenbing.Learninginversedepthregressionformulti-viewstereowithcorrelationcostvolume［C］//ProcofAAAIConferenceonArtificialIntelligence.2020：12508-12515.

［23］TolaE，StrechaC，F(xiàn)uaP.Efficientlarge-scalemulti-viewstereoforultrahigh-resolutionimagesets［J］.MachineVisionandApplications，2012，23（5）：903-920.

［24］ChengXinjing，WangPen，YangRuigang.Depthestimationviaaffinitylearnedwithconvolutionalspatialpropagationnetwork［EB/OL］.（2018-08-01）.https：//arxiv.org/abs/1808.00150.

［25］HuiTW，LoyCC，TangX.Depthmapsuper-resolutionbydeepmulti-scaleguidance［C］//ProcofEuropeanConferenceonComputerVision.Cham：Springer，2016：353-369.

［26］AansH，JensenRR，VogiatzisG，etal.Large-scaledataformultiple-viewstereopsis［J］.InternationalJournalofComputerVision，2016，120（2）：153-168.

［27］GallianiS，LasingerK，SchindlerK.Massivelyparallelmultiviewstereopsisbysurfacenormaldiffusion［C］//ProcofIEEEInternationalConfe-renceonComputerVision.Piscataway，NJ：IEEEPress，2015：873-881.

［28］FurukawaY，PonceJ.Accurate，dense，androbustmultiviewstereopsis［J］.IEEETransonPatternAnalysisandMachineIntelligence，2009，32（8）：1362-1376.

［29］YaoYao，LuoZixin，LiShiwei，etal.RecurrentMVSNetforhigh-resolutionmulti-viewstereodepthinference［C］//ProcofIEEE/CVFConfe-renceonComputerVisionandPatternRecognition.2019：5525-5534.

［30］YuZehao，GaoShenghua.Fast-MVSNet：sparse-to-densemulti-viewstereowithlearnedpropagationandGauss-Newtonrefinement［C］//ProcofIEEE/CVFConferenceonComputerVisionandPatternRe-cognition.2020：1949-1958.

［31］WeiZizhuang，ZhuQingtian，MinChen，etal.AA-RMVSNet：adaptiveaggregationrecurrentmulti-viewstereonetwork［C］//ProcofIEEE/CVFInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2021：6187-6196.

［32］KnapitschA，ParkJ，ZhouQianyi，etal.Tanksandtemples：benchmarkinglarge-scalescenereconstruction［J］.ACMTransonGra-phics，2017，36（4）：articleNo.78.