韓 燮,王若藍(lán),趙 融

(1.中北大學(xué) 大數(shù)據(jù)學(xué)院,山西 太原 030051;2.山西省視覺(jué)信息處理及智能機(jī)器人工程研究中心,山西 太原 030051;3.機(jī)器視覺(jué)與虛擬現(xiàn)實(shí)山西省重點(diǎn)實(shí)驗(yàn)室,山西 太原 030051)

0 引 言

計(jì)算機(jī)視覺(jué)領(lǐng)域的三維重建技術(shù)[1-2]已經(jīng)應(yīng)用于生活中的各個(gè)領(lǐng)域,如自動(dòng)駕駛、文物修復(fù)、虛擬現(xiàn)實(shí)、智能家居等。多視立體視覺(jué)(Multi-Vision Stereo,MVS)[3]方法作為三維重建技術(shù)中的一種,使用人工設(shè)計(jì)的特征計(jì)算立體匹配的代價(jià),聚合代價(jià)并進(jìn)行視差計(jì)算和優(yōu)化,得到像素的深度值,實(shí)現(xiàn)場(chǎng)景的三維重建,是計(jì)算機(jī)視覺(jué)領(lǐng)域中的經(jīng)典方法。

傳統(tǒng)的MVS方法主要分為四類(lèi),分別是基于點(diǎn)云擴(kuò)散的MVS方法[4-5]、曲面演化的MVS方法[6]、基于體素的MVS方法[7-8]和基于深度圖的MVS方法[9-10]。

基于點(diǎn)云的MVS方法是將初始的點(diǎn)云生成面片,并對(duì)面片迭代地傳播以進(jìn)行三維重建,難以并行化操作;曲面演化的MVS方法需要對(duì)待恢復(fù)場(chǎng)景的表面進(jìn)行猜測(cè),并根據(jù)多視圖之間的光度一致性進(jìn)行迭代重建表面,易出現(xiàn)離散型錯(cuò)誤;基于體素的MVS方法將場(chǎng)景空間表示為3D體素,通過(guò)標(biāo)記場(chǎng)景表面的體素以實(shí)現(xiàn)重建,占用內(nèi)存較大,不適用于大場(chǎng)景空間的重建任務(wù);基于深度圖的方法將三維重建分解為多個(gè)根據(jù)立體圖像對(duì)進(jìn)行單深度圖估計(jì)的小任務(wù),快速靈活并且占用內(nèi)存較小,適用于海量圖像的大場(chǎng)景重建任務(wù)。目前很多優(yōu)秀的MVS方法都是基于深度圖的MVS方法。

隨著深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域中的快速發(fā)展,將深度學(xué)習(xí)技術(shù)與多視立體視覺(jué)方法結(jié)合以提高重建效果也成為一種趨勢(shì)。深度學(xué)習(xí)技術(shù)中的卷積神經(jīng)網(wǎng)絡(luò)[11](Convolutional Neural Networks,CNN)能夠從圖像中抽取高層語(yǔ)義特征,通過(guò)學(xué)習(xí)并利用場(chǎng)景全局語(yǔ)義信息,獲得更穩(wěn)健的匹配和實(shí)現(xiàn)更完整的重建。卷積神經(jīng)網(wǎng)絡(luò)在許多基于深度學(xué)習(xí)技術(shù)的MVS方法中展現(xiàn)出了很大的優(yōu)勢(shì)。PVAMVSNet(Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation)方法[12]提出了一種有效且高效的多視圖立體網(wǎng)絡(luò),使用基于2D全連接卷積神經(jīng)網(wǎng)絡(luò)的UNet網(wǎng)絡(luò)進(jìn)行特征提取,并在自適應(yīng)視圖聚合網(wǎng)絡(luò)的基礎(chǔ)上,配合多尺度圖像的輸入進(jìn)行準(zhǔn)確和完整的三維重建。TransMVSNet方法[13]對(duì)特征提取步驟進(jìn)行研究,提出了一個(gè)基于2D CNN的特征匹配轉(zhuǎn)換器,利用注意力聚合圖像內(nèi)和圖像之間的遠(yuǎn)程上下文信息,改善了三維重建的效果。CasMVSNet[14](Cascade Cost Volume for High-resolution Multi-view Stereo)在圖像的特征提取階段,使用特征金字塔網(wǎng)絡(luò)進(jìn)行圖像特征的提取,在提取圖像的高級(jí)特征的同時(shí),融合了多種不同尺度下的信息,有利于深度值的準(zhǔn)確預(yù)測(cè)。目前,雖然基于深度學(xué)習(xí)的MVS方法利用卷積神經(jīng)網(wǎng)絡(luò)大大提高了重建效果,取得了巨大的成功,但仍有一定的問(wèn)題。在卷積神經(jīng)網(wǎng)絡(luò)中,不同層次產(chǎn)生的特征圖的語(yǔ)義特征具有巨大差異。淺層的特征圖語(yǔ)義信息較少,但細(xì)節(jié)特征較多,目標(biāo)位置準(zhǔn)確;深層的特征圖語(yǔ)義信息豐富,但目標(biāo)位置模糊。上述基于深度學(xué)習(xí)的MVS方法使用卷積神經(jīng)網(wǎng)絡(luò)提取的包含高級(jí)語(yǔ)義特征但缺乏低級(jí)更精細(xì)表示的特征圖構(gòu)建成本體,忽視了深層特征圖的語(yǔ)義信息缺陷,導(dǎo)致在弱紋理區(qū)域的重建效果較差。

針對(duì)上述問(wèn)題,該文提出使用基于卷積層的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)代替普通的CNN提取圖像特征,這有助于在空間上層層抽取圖像的高級(jí)特征時(shí),利用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的記憶功能來(lái)增強(qiáng)高層特征圖中的低級(jí)語(yǔ)義信息,彌補(bǔ)了單純CNN提取的特征圖中低級(jí)特征缺失,提高了精細(xì)特征的表達(dá),提升了弱紋理區(qū)域的重建效果。

與此同時(shí),許多基于深度學(xué)習(xí)的主流MVS方法也致力于研究如何讓匹配代價(jià)或者深度圖預(yù)測(cè)更加精確[15-18]。其中,2019年Luo等人[16]設(shè)計(jì)了匹配置信度模塊,先學(xué)習(xí)聚合提取的圖像特征的像素級(jí)對(duì)應(yīng)信息,再通過(guò)匹配置信度模塊對(duì)不同采樣平面匹配置信度進(jìn)行聚合,該模塊可以有效地抑制數(shù)據(jù)的噪聲部分。Fast-MVSNet方法[17]在局部區(qū)域中利用CNN編碼像素之間的深度相關(guān)性,產(chǎn)生密集的高分辨深度,并利用高斯牛頓層(Gaussian Newton)對(duì)深度進(jìn)行持續(xù)優(yōu)化。Luo等人又提出了AttMVS(Attention-Aware Deep Neural Network)方法[18],設(shè)計(jì)了一種新的注意增強(qiáng)匹配置信度模塊,在一般由圖像特征得到的像素級(jí)匹配置信度的基礎(chǔ)上加入了局部區(qū)域的上下文信息,逐層次聚合并正則化為概率體,增強(qiáng)了匹配置信度。在上述研究的基礎(chǔ)上,該文提出可見(jiàn)性網(wǎng)絡(luò)與紋理特征提取,通過(guò)提取紋理特征增加紋理信息,并將源圖像與參考圖像轉(zhuǎn)換為灰度圖,消除顏色對(duì)光照變化的敏感,然后使用CNN計(jì)算相似度之后歸一化,通過(guò)可見(jiàn)度值區(qū)別可見(jiàn)區(qū)域與不可見(jiàn)區(qū)域,并作用在特征提取網(wǎng)絡(luò)中,增強(qiáng)可見(jiàn)區(qū)域的特征,提高3D重建的魯棒性和完整性。

綜上所述,該文在VA-MVSNet方法的基礎(chǔ)上進(jìn)行改進(jìn),主要貢獻(xiàn)體現(xiàn)在以下三個(gè)方面：

(1)提出了一種使用ConvLSTM網(wǎng)絡(luò)的新型特征提取網(wǎng)絡(luò)。在對(duì)圖像進(jìn)行特征提取的同時(shí),通過(guò)使用每層的特征圖來(lái)預(yù)測(cè)最終的特征圖,在深層的特征圖語(yǔ)義中豐富缺失的淺層的語(yǔ)義信息,進(jìn)行穩(wěn)健的全局語(yǔ)義信息聚合。

(2)提出了一種可見(jiàn)性網(wǎng)絡(luò),首先進(jìn)行灰度圖像的提取,排除光照變化的影響,其次突出可見(jiàn)區(qū)域的特征,并指導(dǎo)特征圖的生成,加深了可見(jiàn)區(qū)域在特征圖中的影響,有助于提高三維重建效果。

(3)對(duì)圖像進(jìn)行紋理特征的提取,增加紋理特征的影響,提升目標(biāo)場(chǎng)景的三維結(jié)構(gòu)的重建效果。

1 網(wǎng)絡(luò)架構(gòu)

文中方法的整體網(wǎng)絡(luò)架構(gòu)如圖1所示。假設(shè)圖像大小為(H×W×3),深度假設(shè)的范圍為D,方法的輸入由1個(gè)參考圖像和N-1個(gè)源圖像構(gòu)成。該方法在VA-MVSNet方法的基礎(chǔ)上主要通過(guò)ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)、可見(jiàn)性網(wǎng)絡(luò)和紋理特征提取模塊進(jìn)行語(yǔ)義特征的提取和增強(qiáng),之后通過(guò)可微單應(yīng)性變換扭曲到參考圖像的相機(jī)視錐內(nèi)建立3D特征體(H×W×D×C),之后使用VA-MVSNet方法的自適應(yīng)視圖聚合方法得到代價(jià)體,最后使用3D正則化網(wǎng)絡(luò)進(jìn)行深度圖的預(yù)測(cè)。

圖1 網(wǎng)絡(luò)架構(gòu)

該方法主要通過(guò)在特征提取階段利用語(yǔ)義增強(qiáng)的思想進(jìn)行改進(jìn),即特征提取時(shí)的ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)(第1.1節(jié))、可見(jiàn)性網(wǎng)絡(luò)(第1.2節(jié))、紋理特征提取模塊(第1.3節(jié)),以增強(qiáng)特征圖中的語(yǔ)義信息,提升三維結(jié)構(gòu)的重建效果。

1.1 ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)

在基于深度學(xué)習(xí)的多視圖立體重建方法中,特征提取網(wǎng)絡(luò)通常由深層卷積神經(jīng)網(wǎng)絡(luò)組成,以提取更抽象的高層語(yǔ)義特征。雖然這些特征更高級(jí)、更抽象,但缺少了低層語(yǔ)義信息所具備的優(yōu)勢(shì),過(guò)分強(qiáng)調(diào)高層特征會(huì)影響到細(xì)節(jié)語(yǔ)義信息的提取和準(zhǔn)確位置的獲取,不利于提升整體三維重建效果。ConvLSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò),可以記憶很久之前的信息,捕捉和學(xué)習(xí)長(zhǎng)期依賴(lài)關(guān)系,并提取空間特征,非常適合于處理和預(yù)測(cè)具有長(zhǎng)時(shí)間間隔和延遲的卷積神經(jīng)網(wǎng)絡(luò)之間的圖像[19]。

因此,該文提出了一個(gè)基于ConvLSTM的語(yǔ)義聚合網(wǎng)絡(luò)。該網(wǎng)絡(luò)利用ConvLSTM的記憶功能和空間相關(guān)性提取功能,將高層語(yǔ)義和低層語(yǔ)義聚合,生成特征圖。這樣生成的特征圖,除了具備更高層次的語(yǔ)義信息之外,還具備更低層次的語(yǔ)義信息,避免了普通多層卷積神經(jīng)網(wǎng)絡(luò)的缺點(diǎn),從而提高了整體場(chǎng)景空間的重建效果。ConvLSTM的內(nèi)部運(yùn)行過(guò)程如圖2所示。

圖2 ConvLSTM內(nèi)部運(yùn)行圖

該方法利用ConvLSTM的優(yōu)勢(shì)通過(guò)疊加多個(gè)ConvLSTM層設(shè)計(jì)了基于ConvLSTM語(yǔ)義在每個(gè)時(shí)間步上產(chǎn)生的隱藏狀態(tài),可以在這些隱藏狀態(tài)上應(yīng)用一個(gè)卷積層來(lái)提取中級(jí)特征,然后將這些特征輸入到后續(xù)的層中進(jìn)行處理,進(jìn)而增加底層語(yǔ)義信息的權(quán)重,如圖3所示。

圖3 ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)圖

1.2 可見(jiàn)性網(wǎng)絡(luò)結(jié)構(gòu)

圖像內(nèi)容隨著不同視角的變化而有所不同。不同視角可能會(huì)產(chǎn)生遮擋,這可能會(huì)大大減少圖像中的有用信息,進(jìn)而影響良好的三維重建效果。此外,顏色對(duì)光照變化的敏感性也增加了三維重建的難度。為了克服這些問(wèn)題,該文提出一種使用灰度圖像以及卷積神經(jīng)網(wǎng)絡(luò)來(lái)表達(dá)可見(jiàn)性的方法,這有助于增強(qiáng)可見(jiàn)區(qū)域的判別特征,并抑制不可見(jiàn)區(qū)域的影響,從而提高三維重建的效果,如圖4所示。

圖4 可見(jiàn)性網(wǎng)絡(luò)結(jié)構(gòu)

卷積層的輸出特征圖的通道數(shù)對(duì)模型的性能和效果有著重要的影響。首先,較大的輸出通道數(shù)可以增加卷積層的自由度,從而使得模型能夠?qū)W習(xí)到更多、更復(fù)雜的特征,這樣可以提高模型的判別性和泛化能力,使得模型更加適用于復(fù)雜的任務(wù)。其次,卷積核的輸出通道數(shù)也可以控制特征圖的維度和質(zhì)量。具體來(lái)說(shuō),較大的輸出通道數(shù)可以使得特征圖的維度更高,包含更多的特征信息,從而提高模型的表達(dá)能力,同時(shí),增加輸出通道數(shù)還可以降低特征圖中的噪聲和冗余信息,使得特征圖的質(zhì)量更高,進(jìn)而提高模型的準(zhǔn)確率和魯棒性,與此同時(shí),使用權(quán)值共享的方式,即對(duì)輸入數(shù)據(jù)中的不同位置使用相同的卷積核,從而可以使模型具有平移不變性,能夠識(shí)別輸入數(shù)據(jù)中的不同位置的相同特征。

圖5展示了一個(gè)3通道的數(shù)據(jù)經(jīng)過(guò)一個(gè)大小為3的卷積核作用的過(guò)程。

圖5 卷積計(jì)算過(guò)程

因此,該方法使用PIL庫(kù)內(nèi)的函數(shù)對(duì)RGB圖像進(jìn)行灰度的轉(zhuǎn)換之后,使用了5層卷積網(wǎng)絡(luò)進(jìn)行提取,通道數(shù)逐漸疊加,卷積核使用(3,1,1)的卷積核,然后經(jīng)過(guò)激活函數(shù)形成可見(jiàn)性度量值并與ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)提取的低級(jí)特征相乘,繼續(xù)進(jìn)行網(wǎng)絡(luò)中高級(jí)特征的提取。

1.3 紋理特征提取

在特征抽取過(guò)程中,該文采用經(jīng)典的局部二值化模型(Local Binary Pattern,LBP)抽取圖像中的紋理特征,以改善紋理區(qū)域的重構(gòu)結(jié)果,體現(xiàn)圖像中每個(gè)像素與局部區(qū)域內(nèi)像素之間的關(guān)系。LBP算法可以使用不同的鄰域半徑和鄰域像素?cái)?shù)量來(lái)生成不同尺度的紋理特征。一般來(lái)說(shuō),LBP算法會(huì)計(jì)算每個(gè)像素的LBP值,并將其與周?chē)袼氐腖BP值進(jìn)行比較,從而得到該像素的紋理特征向量。在實(shí)際應(yīng)用中,可以使用LBP算法提取圖像的紋理特征,并將其作為分類(lèi)器的輸入,從而實(shí)現(xiàn)圖像分類(lèi)和識(shí)別等任務(wù)。

該方法使用圓形范圍半徑為1的LBP算子對(duì)輸入圖像進(jìn)行紋理特征的提取,并設(shè)置領(lǐng)域像素點(diǎn)的數(shù)量為8,LBP算子如圖6所示。

圖6 LBP(8,1)算子

該方法將彩色的三維圖像(H×W×3)轉(zhuǎn)成灰度圖像,并對(duì)灰度圖像進(jìn)行LBP算子運(yùn)算,得到對(duì)應(yīng)的LBP特征圖,部分LBP特征圖如圖7所示,然后將LBP特征圖與輸入圖像在通道方向上進(jìn)行拼接,作為ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)的輸入(H×W×4)。

圖7 LBP特征圖示例

2 實(shí)驗(yàn)結(jié)果與分析

該方法在DTU[20]數(shù)據(jù)集上訓(xùn)練,按照一般的做法,在訓(xùn)練時(shí),將所輸入圖像的尺寸設(shè)定為W×H=640×512,并且設(shè)置輸入圖像的數(shù)量為5。深度假設(shè)的范圍是425 mm至935 mm,從這個(gè)范圍內(nèi)采樣假定的深度值,深度平面的數(shù)量是192,當(dāng)前的網(wǎng)絡(luò)是在PyTorch上實(shí)現(xiàn)的,并且利用Adam進(jìn)行16個(gè)epoch的端到端的訓(xùn)練,初始的學(xué)習(xí)速率是0.001,每個(gè)epoch衰減是0.9。批量長(zhǎng)度設(shè)為4。對(duì)于測(cè)試,該方法在原始輸入圖像分辨率為1 600×1 184的DTU數(shù)據(jù)集上評(píng)估,使用7個(gè)圖像視圖,D=192進(jìn)行深度平面掃描,并使用MVSNet方法中使用的訓(xùn)練損失,如式1所示。對(duì)于Tanks and Temples數(shù)據(jù)集[21],輸入圖像的分辨率設(shè)置為1 920×1 056。

(1)

其中,D(p)表示預(yù)測(cè)深度圖,DGT(p)表示真值深度圖。

2.1 實(shí)驗(yàn)環(huán)境

該方法的研究與實(shí)驗(yàn)均在Linux環(huán)境下進(jìn)行,操作系統(tǒng)是Ubuntu 20.04,使用2塊NVIDIA RTX TITAN的GPU卡進(jìn)行實(shí)驗(yàn),具體信息如表1所示。

表1 實(shí)驗(yàn)環(huán)境信息

2.2 數(shù)據(jù)集

DTU數(shù)據(jù)集是一個(gè)大規(guī)模的MVS數(shù)據(jù)集,包括49或64個(gè)視角,并且提供了真實(shí)點(diǎn)云和深度圖,可以將通過(guò)實(shí)驗(yàn)得到的預(yù)測(cè)值與其進(jìn)行比較。每個(gè)視角由一幅圖像和對(duì)應(yīng)的相機(jī)參數(shù)組成,圖像的原始尺寸為1 600×1 200像素,包含8位RGB顏色。124個(gè)場(chǎng)景中包含80個(gè)測(cè)試場(chǎng)景。其中,59個(gè)場(chǎng)景包含49個(gè)攝像機(jī)位置,21個(gè)場(chǎng)景包含64個(gè)攝像機(jī)位置。

為了提升MVS方法在大規(guī)模場(chǎng)景重建中的泛化能力,Arno Knapitsch等人提供了Tanks and Temples數(shù)據(jù)集。該數(shù)據(jù)集基準(zhǔn)更大,更多樣化,包括完整的大型室外結(jié)構(gòu)以及復(fù)雜的室內(nèi)環(huán)境。這個(gè)數(shù)據(jù)集包括兩組不同的場(chǎng)景：中等和高級(jí)。中等組包括各種建筑,如雕像、大型車(chē)輛和房屋,鏡頭路徑從外向內(nèi)。該方法選擇中等組場(chǎng)景進(jìn)行泛化實(shí)驗(yàn)。

2.3 評(píng)價(jià)指標(biāo)

點(diǎn)云的準(zhǔn)確度、完整度、F-Score等是評(píng)價(jià)三維重構(gòu)算法性能的重要指標(biāo)。在不同的算法或數(shù)據(jù)集下,點(diǎn)云準(zhǔn)確度和完整度的度量并不完全一致,F-Score的計(jì)算方法也不完全一樣。

(1)準(zhǔn)確度(Accuracy)。

假設(shè)G為真實(shí)點(diǎn)云集,R為預(yù)測(cè)點(diǎn)云集,對(duì)于一個(gè)預(yù)測(cè)點(diǎn)云r∈R,當(dāng)滿(mǎn)足式2的條件時(shí),對(duì)預(yù)測(cè)點(diǎn)云中的任何點(diǎn),將被視為與重構(gòu)點(diǎn)云中的點(diǎn)相匹配的很好：

(2)

其中,λ是與場(chǎng)景有關(guān)的被指派給該數(shù)據(jù)組的參數(shù)。將較大的場(chǎng)景設(shè)定為較大的數(shù)值。在DTU數(shù)據(jù)集,其準(zhǔn)確度并非以百分?jǐn)?shù)來(lái)度量,而以絕對(duì)平均數(shù)來(lái)度量。平均絕對(duì)值愈小,準(zhǔn)確度愈小時(shí),則表示該方法的精度愈高,如式3所示。

(3)

(2)完整度(Completeness)。

完整度是指真實(shí)點(diǎn)云在重建后的點(diǎn)云中可以匹配的像素點(diǎn)百分比的度量。同準(zhǔn)確度一樣,對(duì)于一個(gè)真實(shí)點(diǎn)云r∈R,就會(huì)認(rèn)為對(duì)于重建后的點(diǎn)云,該點(diǎn)具有良好的匹配性,如式4所示。

(4)

其中,λ是由數(shù)據(jù)集分配的與場(chǎng)景相關(guān)的參數(shù)。對(duì)于比較大的場(chǎng)景設(shè)置為較大的值。距離的定義與倒角距離定義相同,在DTU數(shù)據(jù)集中,完整度是指真實(shí)點(diǎn)云與預(yù)測(cè)點(diǎn)云之間的相對(duì)距離,平均絕對(duì)距離越小,認(rèn)為其準(zhǔn)確度越優(yōu)秀,如式5所示。

(5)

(3)F-score。

F-score是衡量多視立體視覺(jué)方法性能的重要指標(biāo),是對(duì)準(zhǔn)確度與完整度的調(diào)和平均值。在DTU數(shù)據(jù)集中,F-score設(shè)置為完整度與準(zhǔn)確度兩者的平均數(shù),稱(chēng)作平均值;在Tanks and Temples數(shù)據(jù)集中,F-score設(shè)置為真實(shí)點(diǎn)云G與預(yù)測(cè)點(diǎn)云R之間的差異百分比與預(yù)測(cè)點(diǎn)云R與實(shí)際點(diǎn)云G之間的差異百分比的調(diào)和平均值,值越高,表明該方法的性能越優(yōu)秀。

對(duì)于一個(gè)預(yù)測(cè)點(diǎn)云r∈R,它到真實(shí)點(diǎn)云的距離定義如式6所示,則設(shè)預(yù)測(cè)點(diǎn)云R與實(shí)際點(diǎn)云G之間的差異小于某一特定閾值d的比例為P(d),如式7所示。

(6)

(7)

同樣,對(duì)于一個(gè)真實(shí)點(diǎn)云g∈G,它到預(yù)測(cè)點(diǎn)云的距離定義如式8所示,則真實(shí)點(diǎn)云G與預(yù)測(cè)點(diǎn)云之間差異程度的指標(biāo)可以用式9所示。

(8)

(9)

則F-score的計(jì)算公式如式10所示。

(10)

2.4 結(jié)果分析

該方法在DTU數(shù)據(jù)集的定量結(jié)果如表2所示,定性結(jié)果如圖8、圖9所示。

表2 DTU數(shù)據(jù)集指標(biāo)結(jié)果對(duì)比

圖8 點(diǎn)云結(jié)果對(duì)比

圖9 局限性展示

由表2可知,該方法在完整度上面表現(xiàn)不錯(cuò),比VA-MVSNet方法提高了0.038,同時(shí)實(shí)現(xiàn)了具有競(jìng)爭(zhēng)力的整體性能,但通過(guò)與一些經(jīng)典的方法以及先進(jìn)方法的比較,還有所差距,與基礎(chǔ)網(wǎng)絡(luò)性能以及所用方法有關(guān),還需進(jìn)一步改善與提高。

除了在重建的三維點(diǎn)云模型上的定量比較,圖8、圖9展示了文中方法與其他先進(jìn)方法的定性比較。

得益于集成了高層語(yǔ)義特征信息和低層語(yǔ)義特征信息以及多尺度特征信息的ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò),該方法能夠?yàn)槿跫y理區(qū)域估計(jì)更完整和更精細(xì)的空間表面。由圖8可看出,該方法在精細(xì)結(jié)構(gòu)處的重建效果更好,驗(yàn)證了該方法的有效性,但是由圖9也可以看出,該方法也具有一定的局限性,重建的精準(zhǔn)度不足,重建場(chǎng)景模糊。

與此同時(shí),該文使用在DTU數(shù)據(jù)集上訓(xùn)練好的參數(shù)模型在Tanks and Temples數(shù)據(jù)集的中級(jí)數(shù)據(jù)集上進(jìn)行泛化能力的驗(yàn)證。由表3的數(shù)據(jù)對(duì)比可以看出,該方法在一些場(chǎng)景如Family,Francis,Light-house,Panther上的重建結(jié)果較好,具有一定的泛化能力,在其他場(chǎng)景泛化能力不足,可以分析得到其他方法如PVA-MVSNet方法結(jié)合多尺度信息進(jìn)行三維重建是有可取之處的。

表3 Tanks and Temples數(shù)據(jù)集指標(biāo)結(jié)果對(duì)比

除此之外,在本節(jié)中,進(jìn)行消融實(shí)驗(yàn)來(lái)定量分析該方法中關(guān)鍵組件的優(yōu)勢(shì)和有效性。對(duì)于以下所有研究,均在DTU數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)和評(píng)估,并使用準(zhǔn)確性和完整性衡量重建質(zhì)量。

本節(jié)比較了ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)、可見(jiàn)性網(wǎng)絡(luò)以及紋理特征提取的有效性。定量結(jié)果如表4所示。由表4可知,ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)、可見(jiàn)性網(wǎng)絡(luò)都可以顯著提高重建標(biāo)準(zhǔn)的結(jié)果,并且互補(bǔ),以取得最佳效果。

表4 不同組件的消融實(shí)驗(yàn)在DTU數(shù)據(jù)集的結(jié)果

3 結(jié)束語(yǔ)

該文提出了一種具有語(yǔ)義增強(qiáng)功能的多視立體視覺(jué)方法。該方法通過(guò)使用ConvLSTM語(yǔ)義聚合網(wǎng)絡(luò)增強(qiáng)高層特征圖中的低層語(yǔ)義信息,增強(qiáng)了細(xì)節(jié)語(yǔ)義特征以及多尺度語(yǔ)義信息,利于弱紋理區(qū)域的重建,同時(shí)通過(guò)紋理特征提取模塊提取圖像的紋理特征,加深了紋理語(yǔ)義信息在高層特征圖的影響,提升了三維重建的整體效果,有效地提高了低紋理表面的性能,這兩個(gè)模塊是輕量級(jí)、有效和互補(bǔ)的。除此之外,提出了一種可見(jiàn)性網(wǎng)絡(luò),一定程度上排除了光照變化的影響,突出了可見(jiàn)區(qū)域的特征,加深了可見(jiàn)區(qū)域在特征圖中的影響,有助于提高三維重建效果。在DTU數(shù)據(jù)集和Tanks and Temples數(shù)據(jù)集上的實(shí)驗(yàn),證實(shí)了該方法的合理性和有效性。

后續(xù)的工作將考慮不同層次的語(yǔ)義特征與匹配成本體之間的關(guān)系,進(jìn)一步研究不同語(yǔ)義特征對(duì)于匹配代價(jià)的影響,以更準(zhǔn)確地進(jìn)行代價(jià)匹配。