張錫英，王厚博，邊繼龍

（東北林業(yè)大學(xué) 信息與計算機工程學(xué)院，哈爾濱 150040）

0 概述

人們主要利用視覺系統(tǒng)獲取信息，即通過雙眼將獲得的特征信息傳入到大腦并進一步感知與理解。隨著深度學(xué)習(xí)的發(fā)展，傳統(tǒng)機器學(xué)習(xí)方法難以滿足現(xiàn)在的應(yīng)用對精準(zhǔn)度和速度的要求，因此以神經(jīng)網(wǎng)絡(luò)為主的深度學(xué)習(xí)方法成為主要發(fā)展方向［1］。計算機開始被用于模擬人們的雙眼和大腦以感知世界，計算機視覺成為目前人工智能領(lǐng)域的研究熱點。立體匹配是計算機視覺領(lǐng)域中的關(guān)鍵技術(shù)，其主要解決在兩幅圖像中真實場景點與投影點的對應(yīng)問題，即參考圖像中每個待匹配點在其匹配圖像中準(zhǔn)確地找出對應(yīng)點，并計算對應(yīng)點之間的距離，即視差。高效且準(zhǔn)確的立體匹配算法對于許多需要快速、可靠響應(yīng)的應(yīng)用場景至關(guān)重要，例如機器人導(dǎo)航、增強現(xiàn)實、自動駕駛［2-3］等。

雙目立體視覺技術(shù)更加適用于實際生產(chǎn)生活中三維物體信息的采集，具有廣闊的發(fā)展空間和應(yīng)用前景［4］。傳統(tǒng)的立體匹配方法分為成本計算、成本聚合、視差計算和視差優(yōu)化4 個步驟［5］。文獻(xiàn)［6-7］提出DispNet，利用端到端的方式訓(xùn)練網(wǎng)絡(luò)，將立體匹配方法的4 個步驟整合到1 個網(wǎng)絡(luò)中。文獻(xiàn)［8］提出了GC-Net，使用3D 卷積的方法獲得更多的特征信息。首先從左右圖像對中提取特征圖，將左右特征圖連接起來以形成一個用深度特征表示的匹配代價卷；然后將3D 卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于匹配代價卷，并使用回歸的方式生成最終的視差圖［9］。與2D 卷積神經(jīng)網(wǎng)絡(luò)相比，3D 卷積神經(jīng)網(wǎng)絡(luò)可以捕獲更優(yōu)的幾何結(jié)構(gòu)，并在3D 空間中進行光度匹配，以減少因透視變換和遮擋導(dǎo)致圖像失真情況的發(fā)生［10］。文獻(xiàn)［11］使用編碼-解碼結(jié)構(gòu)解決網(wǎng)絡(luò)運算量過大的問題。DispNet 通過一維相關(guān)性近似得到匹配代價，而GC-Net 是使用3D 卷積得到匹配代價，能夠更充分地提取圖像信息。文獻(xiàn)［12］基于GC-Net 提出PSMNet，該網(wǎng)絡(luò)解決了GC-Net 在特征提取上不足的問題，并將殘差神經(jīng)網(wǎng)絡(luò)（ResNet）［13］作為特征提取部分的主要網(wǎng)絡(luò)，進而利用SPP［14］模塊提取多尺度信息，將不同分辨率的照片統(tǒng)一輸出為同一尺寸的特征圖，通過結(jié)合全局特征和局部特征來構(gòu)建匹配代價卷。文獻(xiàn)［15］在PSMNet 基礎(chǔ)上改進了堆疊沙漏結(jié)構(gòu)，提出GWCNet，以增加沙漏結(jié)構(gòu)的輸出和特征信息的豐富度。

隨著立體匹配研究的不斷深入，網(wǎng)絡(luò)的特征提取方法也越來越多。PSMNet［12］采用空間金字塔池化［14］（Spatial Pyrmaind Pooling，SPP）模塊提取特征，采用不同尺度和次級區(qū)域信息的分層全局池化，但降低了分辨率和感受野。文獻(xiàn)［16］在ASPP 模塊的基礎(chǔ)上結(jié)合稠密鏈接原理，提出了DenseASPP 模塊，通過稠密鏈接方式將不同擴張率得到的特征圖連接起來，使得前面層的擴張率低，后面層的擴張率逐層增大，最終得到更大的感受野和更高精準(zhǔn)度的視差圖。使用空洞卷積方法的立體匹配網(wǎng)絡(luò)在特征提取部分普遍采用SPP 模塊獲得不同尺度的特征信息，但是該模塊存在感受野不夠大的問題，從而無法充分獲取圖像的特征信息。

近年來，注意力模型在卷積神經(jīng)網(wǎng)絡(luò)中得到廣泛應(yīng)用，文獻(xiàn)［17］提出一個輕量的通用注意力模塊CBAM，使用通道注意力模塊和空間注意力模塊優(yōu)化特征，不僅保證了模塊的獨立性，而且將CBAM 集成到已有的網(wǎng)絡(luò)架構(gòu)中。

本文結(jié)合注意力模型，提出一個多成本融合的立體匹配網(wǎng)絡(luò)DCNet，以充分地提取圖像特征信息。在特征提取部分中引入密集空洞卷積和空間金字塔池化提取多尺度特征信息，并使用輕量化注意力模塊對其進行優(yōu)化。同時采用3D 卷積神經(jīng)網(wǎng)絡(luò)聚合特征信息，通過回歸方式生成視差圖。

1 DCNet 網(wǎng)絡(luò)

DCNet 網(wǎng)絡(luò)主要由多成本融合的特征提取模塊和堆疊沙漏模塊構(gòu)成。DCNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，將原始RGB 圖片輸入到特征提取網(wǎng)絡(luò)，使用多成本融合特征提取模塊來提取特征，通過擴大感受野形成更稠密的特征圖，從而獲得更多的特征信息，通過CBAM 注意力模塊優(yōu)化提取出的特征，采用特征融合方法來構(gòu)建匹配代價卷。在3D 卷積神經(jīng)網(wǎng)絡(luò)中使用3 個沙漏結(jié)構(gòu)的3D 卷積神經(jīng)網(wǎng)絡(luò)聚合特征信息，通過賦予權(quán)值的方法整合最終的特征點對應(yīng)關(guān)系，最終使用回歸的方法得出視差圖。

圖1 DCNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of DCNet network

1.1 密集特征提取網(wǎng)絡(luò)

1.1.1 ResNet 網(wǎng)絡(luò)

ResNet［13］是一種深層殘差卷積神經(jīng)網(wǎng)絡(luò)。隨著網(wǎng)絡(luò)深度的加深，特征信息的豐富程度增大，但是增加網(wǎng)絡(luò)的層數(shù)存在梯度爆炸和梯度消失的問題，最終無法收斂，優(yōu)化效果反而變差。為解決深層網(wǎng)絡(luò)的退化問題，ResNet 通過殘差網(wǎng)絡(luò)將淺層網(wǎng)絡(luò)的輸出跳躍連接到深層網(wǎng)絡(luò)的輸入中，殘差網(wǎng)絡(luò)的表示如式（1）所示：

式（1）是在恒等映射Y=X的基礎(chǔ)上改進得到的，當(dāng)F(X)=0 時即為恒等映射。

殘差塊結(jié)構(gòu)如圖2 所示。殘差塊包括淺層網(wǎng)絡(luò)ResNet18、ResNet34 和深層網(wǎng)絡(luò)ResNet101、ResNet152等。

圖2 殘差塊結(jié)構(gòu)Fig.2 Structure of residual block

ResNet 通過學(xué)習(xí)殘差F(X)的方式解決了傳統(tǒng)深層卷積網(wǎng)絡(luò)梯度消失的問題，利用跳躍連接減少了參數(shù)量。但是ResNet 仍存在一些不足，即當(dāng)網(wǎng)絡(luò)層數(shù)過多時會出現(xiàn)過擬合的情況，1 000 層以上的網(wǎng)絡(luò)相對于淺層網(wǎng)絡(luò)的優(yōu)化效果更差。

1.1.2 DenseNet 網(wǎng)絡(luò)

DenseNet［18］是一種深層的稠密卷積神經(jīng)網(wǎng)絡(luò)。受ResNet 中跳躍連接思想的影響，DenseNet 每一層都將前面所有層的輸出作為其的輸入。DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，通過連接模塊DenseBlock 實現(xiàn)神經(jīng)網(wǎng)絡(luò)的密集連接，每個Block 包含一定數(shù)量的神經(jīng)元。

圖3 DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of DenseNet network

在DenseBlock 中，每個神經(jīng)元由BN（Batch Normalization）層、ReLU層和Conv（Convolution）層3個部分組成。由于每個神經(jīng)元都與之前的神經(jīng)元相連接，因此最終輸出特征圖的數(shù)量增多。在每兩個Block 之間添加一個卷積層和一個池化層，增加卷積層的作用是使用1×1 的卷積來降低特征圖數(shù)量，從而減少網(wǎng)絡(luò)開銷。池化層能夠減少輸入到下一個Block 中的特征圖數(shù)量，達(dá)到改善網(wǎng)絡(luò)參數(shù)量的效果。相比ResNet，DenseNet 解決了梯度消失的問題并減少了參數(shù)量。

1.1.3 CBAM 模塊

CBAM 是一種通用的輕量化注意力模塊，其分為通道注意力模塊和空間注意力模塊2 個部分［17］。CBAM 模塊結(jié)構(gòu)如圖4 所示。

圖4 CBAM 模塊結(jié)構(gòu)Fig.4 Structure of CBAM module

在通道注意力模塊中，將最大池化和平均池化并行鏈接相比于單一池化的方法可以有效減少信息的丟失。CBAM 結(jié)合通道注意力模塊和空間注意力模塊，在兩個子模塊中通過與輸入的特征相乘可以自適應(yīng)地對特征進行優(yōu)化。因此CBAM 注意力模塊可以直接集成到CNN 中，與原網(wǎng)絡(luò)一起進行端到端的訓(xùn)練。

1.1.4 多成本融合的特征提取模塊

將SPP 和基于ASPP 改進的DenseASPP 相連，利用CBAM 注意力機制中的通道注意力模塊和空間注意力模塊對提取到的特征進行優(yōu)化。多成本融合的特征提取模塊結(jié)構(gòu)如圖5 所示，其中，C0是普通卷積，C1是使用殘差塊的卷積。將原始RGB 圖像輸入到卷積模塊中，其由3 個卷積核為3×3 的卷積層組成，第1 層C0_1步長為2，將圖像尺寸縮小1/2，第2 層C0_2和第3 層C0_3步長均為1，第3 層得到尺寸為H/2×W/2×32 的輸出，這樣可以保留更多的信息并輸入到殘差模塊中。殘差模塊利用基本的殘差塊來提取一元特征，其由4 個殘差塊組成：前2 個模塊C1_1和C1_2分別為3 個兩層的殘差塊和16 個兩層的殘差塊，將特征圖尺寸縮小到H/4×W/4×64；后2 個模塊C1_3和C1_4為使用空洞卷積的殘差塊，分別是擴張率為2 的3 個兩層的殘差塊和擴張率為4 的3 個兩層的殘差塊，在保持尺寸不變的前提下將通道數(shù)提高到128，得到H/4×W/4×128 的輸出。

圖5 多成本融合的特征提取模塊結(jié)構(gòu)Fig.5 Structure of feature extraction module with multi-cost fusion

卷積塊的擴張率越大，獲得的感受野也就越大，擴張卷積模塊的計算如式（2）所示：

其中：dl為第l層的擴張率；[…]為級聯(lián)操作；[yl-1，yl-2，…，y0]為連接之前卷積層的輸出。

為更充分地提取特征信息，在本文提出的特征提取模塊中將改進的DenseASPP 模塊和SPP 模塊并連，同時對C1_4模塊得到的特征圖進行特征提取，并與C1_2得到的特征圖相連。由于DenseASPP 采用的空洞卷積會對小物體的分割產(chǎn)生影響，因此將C1_2引入到匹配成本中可以減少小物體特征的損失，通過CBAM 注意力模塊對得到的特征圖進行優(yōu)化，并將優(yōu)化過的特征圖連接以組成匹配代價卷。

本文采用融合特征圖的方法構(gòu)造匹配代價卷，通過將左右圖片生成的特征圖相連接以得到一個4 維的匹配代價卷（高度、寬度、視差、特征數(shù)量），并將其作為匹配代價聚合網(wǎng)絡(luò)的輸入，從而在匹配代價卷中保留更多的特征維度。

1.2 堆疊沙漏模塊

在匹配代價聚合網(wǎng)絡(luò)部分，本文在高度、寬度以及視差3 個維度上利用3D CNN 方法對匹配代價卷中的特征信息進行規(guī)則化。為解決3D CNN 參數(shù)量過大的問題，GC-Net 使用編碼-解碼的結(jié)構(gòu)以減少參數(shù)量。

文獻(xiàn)［11］提出了堆疊沙漏網(wǎng)絡(luò)，通過下采樣和上采樣操作可以更好地混合全局和局部信息，將原始特征加入到上采樣過程中，進而減少因上采樣導(dǎo)致的特征損失。堆疊沙漏模塊結(jié)構(gòu)如圖6 所示，c3通過下采樣操作得到c4，c6通過上采樣操作擴大尺寸后與b3相連接組成c7，b3作為c3的副本，使得c7的特征圖保留了中間層的所有信息，且與c3具有相同尺寸。

圖6 堆疊沙漏模塊結(jié)構(gòu)Fig.6 Structure of stacked hourglass module

本文在圖1 中用方框標(biāo)記堆疊沙漏模塊。堆疊的沙漏網(wǎng)絡(luò)由3 個主要的沙漏網(wǎng)絡(luò)構(gòu)成，每個沙漏網(wǎng)絡(luò)生成的損失分別為L1、L2和L3。沙漏網(wǎng)絡(luò)的輸入經(jīng)過上采樣和回歸得到的損失為L0，結(jié)合密集連接的思想將每個模塊和之前模塊的輸出L0、L1、L2和L3相連接，賦予4 個不同的權(quán)值0.1、0.3、0.7、1，得到最終的損失是4 個值的加權(quán)和。沙漏網(wǎng)絡(luò)首先用兩個模塊進行下采樣，每個模塊包含一個步長為2 的3D 卷積層和一個步長為1 的3D 卷積層，然后使用兩個步長為2 的反卷積將特征卷恢復(fù)到原始尺寸D/4×H/4×W/4×32。沙漏網(wǎng)絡(luò)通過反卷積方法進行上采樣，使每個像素學(xué)習(xí)固定的上采樣參數(shù)［19］。

1.3 視差回歸

本文利用回歸方法建立視差圖，預(yù)測視差d是由成本cd通過Softmax 方法計算得到：

1.4 損失函數(shù)

SmoothL1損失函數(shù)相比于L2損失函數(shù)具有對離群點和異常值不敏感的特點［20］，且梯度變化相對較小，能夠解決函數(shù)不光滑的問題，被廣泛應(yīng)用于目標(biāo)檢測領(lǐng)域。SmoothL1損失函數(shù)如式（4）、式（5）所示：

其中：N為標(biāo)記像素的總數(shù)；di為真實的視差值為預(yù)測的視差值。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集

實驗在SceneFlow、KITTI2015 和KITTI2012 這3 個公開數(shù)據(jù)集上進行訓(xùn)練和測試。

SceneFlow數(shù)據(jù)集包含分辨率為960像素×540像素的35 454 對訓(xùn)練圖像和4 370 對測試圖像，包括FlyingThings、Monkaa、Driving3 個部分。

KITTI2015 數(shù)據(jù)集包含分辨率為1 241像素×375 像素的200 對訓(xùn)練圖像和200 對測試圖像，其中訓(xùn)練圖像包含視差信息，將測試圖像上傳到KITTI網(wǎng)站進行評測。在200 對圖像中，其中160 對作為訓(xùn)練集，40 對作為測試集。數(shù)據(jù)是在街道場景中使用汽車上的雙目攝像頭拍攝得到的圖像，包括車輛、數(shù)目、車道、路標(biāo)等公路場景。

KITTI2012 數(shù)據(jù)集包含分辨率為1 226像素×370 像素的194 對訓(xùn)練圖像和195 對測試圖像，其中訓(xùn)練圖像包含視差的信息，將測試圖像上傳到KITTI 網(wǎng)站進行評測。在訓(xùn)練圖像中，160 對作為訓(xùn)練集，34 對作為測試集。

2.2 實驗環(huán)境

實驗環(huán)境為Linux 系統(tǒng)，使用PyTorch 深度學(xué)習(xí)框架。硬件配置為：內(nèi)存128 GB，CPU 為Inter?Xeon?Silver 4116 CPU @ 2.10 GHz，GPU 為NVIDIA Tesla V100（16 GB）x2。

2.3 訓(xùn)練

網(wǎng)絡(luò)模型使用Adam 優(yōu)化器，其參數(shù)為β1=0.9，β2=0.999。在預(yù)訓(xùn)練SceneFlow 數(shù)據(jù)集上，訓(xùn)練圖像被裁剪成512 像素×256 像素，迭代周期設(shè)置為10，學(xué)習(xí)率設(shè)置為0.001，最大視差設(shè)置為192，批量（batch_size）設(shè)置為8。

KITTI2015 數(shù)據(jù)集在SceneFlow 數(shù)據(jù)集訓(xùn)練結(jié)果的基礎(chǔ)上進行優(yōu)化訓(xùn)練，首先在SceneFlow 數(shù)據(jù)集上進行預(yù)訓(xùn)練，然后在KITTI2015 數(shù)據(jù)集上進一步優(yōu)化，當(dāng)圖像裁剪成d像素后，將其輸入到網(wǎng)絡(luò)，迭代周期（epoch）設(shè)置為1 000，其中前200 個周期學(xué)習(xí)率為0.001，剩余周期學(xué)習(xí)率為0.000 1，批量（batch_size）設(shè)置為8。在KITTI2012 在KITTI2015 結(jié)果上進行優(yōu)化訓(xùn)練，參數(shù)設(shè)置與KITTI2015 相同。KITTI2015 和KITTI2012 的測試集分別在對應(yīng)的模型上計算得到對應(yīng)的視差圖，并上傳到KITTI 網(wǎng)站進行評測。

2.4 實驗對比

SceneFlow 數(shù)據(jù)集的評價采用終點誤差（End-Point Error，EPE）的方式衡量匹配的精準(zhǔn)程度，誤差越大則準(zhǔn)確率越低。KITTI2015 數(shù)據(jù)集的評價采用3 像素誤差（3px-Error）的方式表示匹配的精準(zhǔn)程度，3 像素誤差是指視差的絕對值超過3 像素的像素點占總像素點的比率，其值越高表示匹配效果越差，準(zhǔn)確率越低。KITTI2015 數(shù)據(jù)集測試結(jié)果由D1-bg、D1-fg 和D1-ALL 3 個部分組成，其值越低效果越好。KITTI2012數(shù)據(jù)集采用>2px、>3px、>5px以及Mean Error 這4 個指標(biāo)評價匹配的精度程度。

2.4.1 特征提取模塊對比

不同的特征提取方式不僅影響生成特征圖的質(zhì)量，而且影響最終生成視差圖的準(zhǔn)確性。實驗以本文提出的網(wǎng)絡(luò)為主干，在特征提取部分選用不同的特征提取模塊進行對比，數(shù)據(jù)集采用KITTI 2015 和SceneFlow，其中KITTI 2015 是在SceneFlow 的結(jié)果上進行訓(xùn)練得到的，目的是選取最優(yōu)的特征提取模塊。不同特征提取模塊的誤差對比如表1 所示。

表1 不同特征提取模塊的誤差對比Table 1 Errors comparison among different feature extraction modules

從表1可以看出，實驗采用SPP模塊、Dense ASPP模塊和本文提出的多成本融合的特征提取模塊3 個模塊進行對比，可以發(fā)現(xiàn)，通過擴大網(wǎng)絡(luò)的感受野可以得到更充分的特征信息，進而降低誤差。將DenseASPP 和SPP 相融合得到的多成本融合的特征提取模塊提取圖像特征，雖然增加了網(wǎng)絡(luò)參數(shù)的數(shù)量，但能夠降低網(wǎng)絡(luò)誤差。相比SPP 和Dense ASPP模塊，采用多成本融合的特征提取模塊的網(wǎng)絡(luò)誤差較低，因此，在本網(wǎng)絡(luò)的特征提取部分驗證了多成本融合的特征提取模塊的有效性。

2.4.2 堆疊沙漏模塊輸出權(quán)值對比

堆疊沙漏 模塊具有L0、L1、L2和L34 個輸出，這4 個輸出的權(quán)值對深度圖產(chǎn)生很大影響。為選擇最優(yōu)的權(quán)值，本文實驗在SceneFlow 數(shù)據(jù)集上對這4 個輸出的不同權(quán)重進行對比，如表2 所示。

表2 堆疊沙漏模塊輸出權(quán)值對比Table 2 Output weights comparison of stacked hourglass modules

由于每個沙漏模塊都包含上一個模塊的特征信息，因此第3 個沙漏模塊中的信息含量達(dá)到最大。從表2 可以看出，隨著L0、L1和L2權(quán)值的增加，終點誤差逐漸減小，說明L0、L1和L2中的信息能夠有效提高預(yù)測深度圖的準(zhǔn)確度。當(dāng)L0、L1、L2和L3權(quán)值為0.1、0.3、0.7、1.0 時終點誤差為0.89；當(dāng)L0、L1和L2繼續(xù)增大時，終點誤差反而逐漸增大，這說明深層沙漏模塊的輸出包含更多有效信息，需要較大比重的權(quán)值。

2.4.3 消融實驗

為選擇最優(yōu)的網(wǎng)絡(luò)整體結(jié)構(gòu)，本文對網(wǎng)絡(luò)中的各個模塊進行消融實驗。本節(jié)將多成本融合模塊簡寫為MIM，具有權(quán)值的堆疊沙漏模塊簡寫為SH_W，沒有權(quán)值的堆疊沙漏模塊簡寫為SH。

從特征提取模塊實驗中可以得出，本文提出的MIM具有較優(yōu)的特征提取性能，因此，將MIM 作為基礎(chǔ)特征提取方法。訓(xùn)練集采用KITTI2015 數(shù)據(jù)集，不同模塊的3 像素誤差對比如表3 所示。

表3 不同模塊的3 像素誤差對比Table 3 3-px error comparison among different modules %

從表3 可以看出，使用MIM、CBAM 和SH_W 模塊的3 像素誤差較低，其具有最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。相比僅使用MIM 和SH_W 的網(wǎng)絡(luò)，3 像素誤差降低了0.14 個百分點。使用SH_W、CBAM 和MIM 模塊的誤差為2.02，相比僅MIM 和CBAM、SH 網(wǎng)絡(luò)的誤差降低了0.02 個百分點，說明CBAM 和帶有權(quán)值的堆疊沙漏模塊可以有效提高網(wǎng)絡(luò)的視差預(yù)測精度。

2.4.4 其他網(wǎng)絡(luò)對比

為驗證網(wǎng)絡(luò)的整體性能，本文使用經(jīng)典網(wǎng)絡(luò)PSMNet、AANet 和ResNet-101［21］進行對比實驗，在KITTI 2015 和SceneFlow 數(shù)據(jù)集上分析4 個網(wǎng)絡(luò)評價指標(biāo)的差異，其中KITTI 2015 是在SceneFlow 的結(jié)果上進行優(yōu)化訓(xùn)練。不同網(wǎng)絡(luò)的評價指標(biāo)對比如表4 所示，加粗表示最優(yōu)數(shù)據(jù)。

表4 不同網(wǎng)絡(luò)的評價指標(biāo)對比Table 4 Evaluation indexs comparison among different networks

從表4 可以看出，本文所提DCNet 網(wǎng)絡(luò)的準(zhǔn)確度最高，其相較于PSMNet 在KITTI2015 數(shù)據(jù)集3 像素誤差減小了0.31 個百分點，SceneFlow 終點誤差下降了0.13 個百分點。本文使用多成本融合的特征提取模塊，增加了特征圖包含的特征信息，能夠有效提高網(wǎng)絡(luò)的精確度，且其在3 像素誤差和終點誤差中的結(jié)果優(yōu)于僅使用SPP 模塊。

在KITTI2015 數(shù)據(jù)集上不同網(wǎng)絡(luò)的背景區(qū)域內(nèi)的異常值百分比D1-bg、前景區(qū)域內(nèi)的異常值百分比D1-fg 和D1-all 對比如表5 所示，相比主流網(wǎng)絡(luò)，DCNet 的D1-bg 和D1-fg 均減少，其中在D1-fg相較于PSMNet 降低了10.17%。

表5 在KITTI2015 數(shù)據(jù)集上不同網(wǎng)絡(luò)的實驗結(jié)果對比Table 5 Experimental results comparison among different networks on the KITTI2015 data set %

在KITTI2012 數(shù)據(jù)集上不同網(wǎng)絡(luò)的實驗結(jié)果對比如表6 所示，Noc 是指非遮擋區(qū)域，即匹配的區(qū)域?qū)?yīng)關(guān)系在圖片域內(nèi)，All 是指所有區(qū)域。DCNet 網(wǎng)絡(luò)在>2px、>3px、>5px 以及Mean Error 4 個指標(biāo)中均優(yōu)于GCNet、PSMNet、AANet 等先進匹配網(wǎng)絡(luò)。與在特征提取和3D 卷積均使用注意力機制的MGNet［22］相比，DCNet在>3px、>5px 的誤匹配率中的指標(biāo)較高，這說明在特征提取過程中，本文使用的多成本融合模塊能夠提取更豐富的特征信息。

表6 在KITTI 2012 數(shù)據(jù)集上不同網(wǎng)絡(luò)的實驗結(jié)果對比Table 6 Experimental results comparison among different networks on the KITTI2012 data set %

圖7為PSMNet、GC-Net和DCNet網(wǎng)絡(luò)在KITTI2015測試集上的部分視差圖、原圖和誤差圖，所有圖片均取自于KITTI 測試服務(wù)器反饋的結(jié)果。圖中視差預(yù)測效果較差的部分用黑色框標(biāo)記，其通常出現(xiàn)在柵欄、標(biāo)識等包含較小結(jié)構(gòu)的圖像部分。DCNet使用了多成本融合的提取模塊，結(jié)合SPP 和DenseASPP 的優(yōu)點提取圖像的特征信息，利用注意力模塊進一步優(yōu)化得到的特征信息。相比使用SPP 模塊的PSMNet，DCNet可以得到包含更多特征信息的特征圖，進而提升網(wǎng)絡(luò)預(yù)測的視差圖精準(zhǔn)度。從圖7 可以看出，DCNet能夠提高在電線桿、陰影部分等區(qū)域的匹配精準(zhǔn)度，尤其是在小物體的邊緣區(qū)域。

圖7 在KITTI2015 測試集上不同網(wǎng)絡(luò)的視差圖與誤差圖對比Fig.7 Disparity images and error image comparison among different networks on the KITTI2015 test data

圖8 為PSMNet、GC-Net和DCNet在KITTI2012 測試集上的部分視差圖、原圖和誤差圖，使用黑色方框標(biāo)記了視差預(yù)測效果較差的部分，所有圖片取自于KITTI測試服務(wù)器反饋的結(jié)果。從圖8可以看出，在KITTI2012測試集中，DCNet網(wǎng)絡(luò)在欄桿、路燈等物體中具有較優(yōu)的匹配精準(zhǔn)度，說明使用注意力模塊和多成本融合的特征提取方法能夠完整地提取細(xì)小物體的特征信息。

圖8 在KITTI2012 測試集上不同網(wǎng)絡(luò)的視差圖對比Fig.8 Disparity images and error image comparison among different networks on the KITTI2012 test data

圖9 為DCNet在ScnenFlow 測試集上的部分原圖、真實視差圖以及DCNet預(yù)測視差圖。從圖9可以看出，DCNet預(yù)測視差圖與真實視差圖在復(fù)雜紋理部分均有較優(yōu)的匹配效果，這說明DCNet 網(wǎng)絡(luò)的性能較優(yōu)。

圖9 DCNet 的視差圖Fig.9 Disparity image of DCNet

3 結(jié)束語

本文構(gòu)建一個多成本融合的立體匹配網(wǎng)絡(luò)DCNet，利用基于DenseASPP 和SPP 的特征提取網(wǎng)絡(luò)提取較多的特征信息，通過引入輕量化注意力模塊對提取的特征進行優(yōu)化，并融合左右特征圖形成匹配代價卷，通過3D 卷積神經(jīng)網(wǎng)絡(luò)聚合特征信息，以回歸的方式生成視差圖。實驗結(jié)果表明，與PSMNet、GC-Net、AANet 等網(wǎng)絡(luò)相比，DCNet網(wǎng)絡(luò)具有較高的精確度，能夠改進對于格柵、電線桿等區(qū)域的匹配效果。DCNet 網(wǎng)絡(luò)在紋理重復(fù)密集區(qū)域的匹配效果較差，因為使用3D 卷積神經(jīng)網(wǎng)絡(luò)導(dǎo)致網(wǎng)絡(luò)參數(shù)較多，且訓(xùn)練時間較長。后續(xù)將在保證精確度不變的前提下減少網(wǎng)絡(luò)參數(shù)量，提高網(wǎng)絡(luò)的匹配效率，構(gòu)造一個輕量化的立體匹配網(wǎng)絡(luò)。