張晶晶， 杜興卓， 支 帥， 丁國鵬*

（1. 中國地質(zhì)大學（武漢） 自動化學院，湖北 武漢 430074；2. 復(fù)雜系統(tǒng)先進控制與智能自動化湖北省重點實驗室，湖北 武漢 430074；3. 地球探測智能化技術(shù)教育部工程研究中心，湖北 武漢 430074；4. 中國科學院 微小衛(wèi)星創(chuàng)新研究院，上海 201203；5. 上海微小衛(wèi)星工程中心，上海 201203）

1 引 言

立體匹配是三維重建的關(guān)鍵步驟。隨著計算機視覺技術(shù)和圖像處理技術(shù)的快速發(fā)展，基于雙目視覺圖像的立體匹配技術(shù)在三維建模、機器人視覺導航、增強現(xiàn)實以及汽車自動駕駛領(lǐng)域得到了廣泛的應(yīng)用［1-2］，其思想是通過估計校正后的立體圖像對中同一水平線上像素，找到空間像素的對應(yīng)關(guān)系。

近年來，基于深度學習的方法在立體匹配領(lǐng)域展示出巨大的潛力［3］。相對于傳統(tǒng)方法，三維卷積神經(jīng)網(wǎng)絡(luò)（Three-Dimensional Convolutional Neural Networks，3D CNN）可以大幅度地提升立體匹配的精度，也有眾多優(yōu)秀網(wǎng)絡(luò)脫穎而出。目前，基于3D CNN 的立體匹配方法面臨的主要問題就是如何以盡可能小型的網(wǎng)絡(luò)利用到更多的上下文信息。Geometry and Context Network（GC-Net）［4］， 金字塔立體匹配網(wǎng)絡(luò)（Pyramid Stereo Matching Network， PSM-Net）［5］以及Guided Aggregation Net（GA-Net）［6］則采用不同的模型實現(xiàn)了較高精度的立體匹配。Attention Concatenation Volume Network（ACV-Net）［7］采用一種新穎的注意力權(quán)重代價體構(gòu)建方法，設(shè)計的立體匹配網(wǎng)絡(luò)精度得到了大幅度提升。Cascaded Recurrent Network（CRE-Net）［2］設(shè)計一個層次網(wǎng)絡(luò)以提取更細致的特征，同時提出自適應(yīng)的群體關(guān)聯(lián)層來減輕錯誤校正的影響。盡管這些網(wǎng)絡(luò)都具有較高的精度，但是網(wǎng)絡(luò)龐大、消耗大以及實時性差仍是不可忽略的問題。

為解決這些問題，本文提出了一種精度較高且較為輕量的立體匹配網(wǎng)絡(luò)，稱之為基于空洞卷積和雙邊格網(wǎng)的立體匹配網(wǎng)絡(luò)（Atrous convolution and Bilateral grid Network，ABNet）。首先，使用一個簡化的殘差模塊以略微降低網(wǎng)絡(luò)精度的代價大幅度縮減網(wǎng)絡(luò)規(guī)模；其次，采用空洞卷積的池化金字塔模塊（Atrous Spatial Pyramid Pooling，ASPP）［8］來進一步提升感受視野，目的是提取更多的上下文細節(jié)信息以提升立體匹配精度；最后，在引用堆疊沙漏的3D CNN 模塊的同時，在網(wǎng)絡(luò)中引入雙邊網(wǎng)絡(luò)模塊［9］以整合各個維度的圖像特征并建立其對應(yīng)關(guān)系，從而在保證網(wǎng)絡(luò)精度的同時進一步提高效率。AB-Net 在KITTI 2012、KITTI 2015數(shù)據(jù)集［10］以及Scene Flow 數(shù)據(jù)集［11］都實現(xiàn)了較高的精度。

2 相關(guān)工作

近年來，基于深度學習的立體匹配取得了飛速發(fā)展。Kendall 等［4］提出了GC-Net，該網(wǎng)絡(luò)是一個使用3D 卷積層進行匹配代價計算端到端的網(wǎng)絡(luò)，使用編碼器-解碼器的架構(gòu)來合并多尺度的特征以實現(xiàn)代價聚合。為了更加有效地利用上下文信息，PSM-Net［5］使用空間金字塔池（SPP）模塊來集成不同尺度的特征，并使用堆疊的沙漏結(jié)構(gòu)3D 卷積層進行成本聚合，有效地提高了立體匹配精度。Zhang 等［6］提出的GA-Net使用了兩個新的神經(jīng)網(wǎng)絡(luò)層，進一步提升了立體匹配精度。Xu［7］提出了多級自適應(yīng)補丁立體匹配，以提高匹配成本在不同差異下的顯著性，進而提升立體匹配精度。為了更好地恢復(fù)深度細節(jié)，Li［8］提出CRE-Net，該網(wǎng)絡(luò)利用多次細化特征、疊加的級聯(lián)結(jié)構(gòu)以及自適應(yīng)的群體關(guān)聯(lián)層，以提高精細細節(jié)周圍的渲染結(jié)果。同年，Wang［3］提出了一種不確定性估計方式，它從概率分布中學習相關(guān)結(jié)果，可以量化不確定性，加入到目前主流的立體匹配網(wǎng)絡(luò)中以提升精度。

目前，精度已經(jīng)趨于極限，學者們開始著手提升效率。為了追求實時性能，Stereo-Net［7］以低分辨率（例如1/8 分辨率）使用3D 卷積進行立體匹配計算，得到的網(wǎng)絡(luò)能以60 frame/s 的高幀率實時運行，但卻降低了立體匹配的精確性。

3 基于空洞卷積和雙邊格網(wǎng)的立體匹配網(wǎng)絡(luò)

本文提出的AB-Net 包括用于有效合并全局上下文信息的ASPP 的特征提取模塊、用于代價聚合的堆疊沙漏模塊以及雙邊格網(wǎng)模塊。

3.1 網(wǎng)絡(luò)體系架構(gòu)

AB-Net 結(jié)構(gòu)如圖1 所示。特征提取模塊由ASPP 模塊和殘差層組成，其作用是盡可能多地提取雙目圖像不同尺寸的特征；3D 卷積堆疊沙漏模塊由多個3D CNN 組成，其作用是聚合且正則化四維匹配代價卷的視差信息以及其余特征信息；雙邊格網(wǎng)模塊的作用是對前序的數(shù)據(jù)進行切片操作，以低分辨率執(zhí)行大部分計算，獲得精度更高的視差圖，最后進行上采樣與視察回歸計算即可完成雙目立體匹配。

圖1 AB-Net 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of AB-Net

3.2 特征提取模塊

殘差網(wǎng)絡(luò)塊可以在防止梯度消失的同時最大程度地提取圖像特征信息，因此廣泛應(yīng)用在特征提取的任務(wù)中，但殘差層的參數(shù)量巨大，非常消耗資源。與以往由較為復(fù)雜的殘差層組成的特征提取模塊不同，本文采用一個較為輕型的殘差層來提取圖像特征。最初的三層使用卷積核為3×3，步長分別為2，1，1 的三個卷積對輸入圖像進行下采樣。然后使用步長為1，2，2，1 的4 個殘差層，以1/8 的分辨率快速生成圖像的一維語義信息特征。PSMNet 的參數(shù)量為5 224 768 Byte，修改后參數(shù)量減少至2 896 192 Byte，大幅縮減了網(wǎng)絡(luò)的規(guī)模與體積。

單純的依靠像素級別的特征來確定上下文之間的關(guān)系是不現(xiàn)實的，高效地利用物體周圍的環(huán)境信息作為特征并加以提取則有助于一致性估計。由于AB-Net 特征提取模塊使用層數(shù)較少的殘差層，感受視野的尺寸受限，后續(xù)必須使用感受視野更大的模塊。本文采用ASPP 結(jié)構(gòu)以擴大網(wǎng)絡(luò)的感受視野。

卷積層的感受視野受卷積核尺寸的影響，擴大其感受視野的方法主要有兩種，分別是擴大卷積核的尺寸或者將多個小卷積核的卷積層級聯(lián)。它們都會擴大網(wǎng)絡(luò)的規(guī)模，降低網(wǎng)絡(luò)效率。與普通的卷積層相比，空洞卷積通過調(diào)整擴張率來擴大立體匹配網(wǎng)絡(luò)的感受視野，其示意圖如圖2所示。

圖2 空洞卷積不同擴張率示意圖Fig.2 Schematic diagram of atrous convolution with different expansion rates

ASPP 模塊由空洞卷積組成，采用不同的擴張率（rate）：2，12，24，36 并采用上采樣將由殘差層輸出的低維特征圖像恢復(fù)到原始尺寸，再將layer2，layer4 以及branch1，branch2，branch3，branch4 進行級聯(lián)操作。特征提取模塊示意圖如圖3 所示。

圖3 特征提取模塊結(jié)構(gòu)示意圖Fig.3 Schematic diagram of feature extraction module structure

3.3 3D 卷積堆疊沙漏模塊

與PSM-Net 類似，為了聚合且正則化四維匹配代價卷的視差信息以及其余特征信息，本文采用3D CNN 從多個維度提取特征信息。然后使用沙漏對稱型架構(gòu)，編碼器的架構(gòu)是2 個步長為2 的3D CNN 卷積層，執(zhí)行下采樣操作；對稱地，解碼器的架構(gòu)是2 個步長為2 的3D CNN反卷積層，執(zhí)行上采樣操作以恢復(fù)尺寸。編碼器與解碼器以跳躍方式連接。整體沙漏架構(gòu)如圖4 所示。

圖4 3D CNN 堆疊沙漏模塊結(jié)構(gòu)示意圖Fig.4 Schematic diagram of stacked hourglass module of 3D CNN

3.4 雙邊格網(wǎng)模塊

為了搭建一種能夠?qū)崿F(xiàn)高精度立體匹配同時保持高效率的立體匹配網(wǎng)絡(luò)，本文在3D 卷積堆疊沙漏模塊后使用一個基于雙邊網(wǎng)絡(luò)的上采樣模塊，此模塊通過雙邊網(wǎng)絡(luò)處理的切片操作，以低分辨率執(zhí)行大部分計算，同時還可以用高分辨率的成本量獲得精度更高的視差圖。該模塊主要包括雙邊網(wǎng)絡(luò)創(chuàng)建以及切片兩個操作，將圖像特征集合作為指導特征，對數(shù)據(jù)雙邊網(wǎng)絡(luò)的低分辨率成本量進行切片操作，如圖5所示。

圖5 雙邊格網(wǎng)模塊示意圖Fig.5 Schematic diagram of Bilateral grid

對于雙邊網(wǎng)絡(luò)的創(chuàng)建，首先輸入一個低分辨率（本文采用的分辨率為1/8）的四維成本量（包括寬度、高度、視差以及特征），通過一個卷積核為3 的三維卷積層即可轉(zhuǎn)換為雙邊網(wǎng)絡(luò)B，包括寬度x、高度y、視差d以及指導特征g4 個維度，該雙邊網(wǎng)絡(luò)表示為B（x，y，d，g）。

對雙邊網(wǎng)絡(luò)進行切片操作，目的是生成高分辨率的成本量CH，操作過程如下：

其中：G是殘差層輸出的圖像特征maps 通過1×1 的卷積層生成指導特征，s∈（0，1）是雙邊網(wǎng)絡(luò)尺寸與高分辨率代價卷CH的寬高比，sG∈（0，1）是雙邊網(wǎng)絡(luò)的灰度值與指導特征G灰度值的比。

3.5 視差回歸計算

這里使用Soft Argmin［4］方法，通過微分獲得效果好的視差值圖。經(jīng)過網(wǎng)絡(luò)處理后可獲得每個圖像在一定視差值范圍內(nèi)的匹配成本，成本越高表示越不匹配。然后，利用Softmax 操作正則化可以算出各個圖像屬于一定區(qū)域內(nèi)不同視差值的概率，通過加權(quán)求和可以得出各種像素點的平均視差值，即有：

3.6 損失函數(shù)

本文采用的基礎(chǔ)函數(shù)是L1損失函數(shù)，該函數(shù)穩(wěn)定性較強且對于數(shù)據(jù)異常的值不敏感，定義如下：

其中：N是像素的數(shù)量，di是真實的視差值是預(yù)測的視差值。L1表達式如下：

4 實驗與分析

為驗證AB-Met 網(wǎng)絡(luò)的精度與性能，實驗測試與分析在Scene Flow 數(shù)據(jù)集和KITTI 2015 數(shù)據(jù)集上進行。

4.1 數(shù)據(jù)集介紹

Scene Flow 立體匹配數(shù)據(jù)集是一個規(guī)模較大的人工數(shù)據(jù)集，由35 434 對訓練圖像以及4 370 對測試圖像組成，其像素分辨率為960×540，同時該數(shù)據(jù)集也為每對圖像生成了一張高精度的稠密視差圖作為真實值。在實驗過程中，該數(shù)據(jù)集部分圖像的部分像素視差值超過了本文所設(shè)定的最大視差，因此本文在計算誤差與損失時將這部分忽略。

KITTI 數(shù)據(jù)集具體分為KITTI 2012 以及KITTI 2015，其是由德國卡爾斯魯厄理工學院和豐田美國技術(shù)研究院聯(lián)合創(chuàng)辦，在真實的道路場景下利用雙目相機以及激光雷達等設(shè)備獲取的立體匹配數(shù)據(jù)集。KITTI 2012 提供194 個訓練和195 個測試圖像，KITTI 2015 提供200 個訓練和200 個測試圖像，每幅圖像的像素分辨率為1 240×376。該數(shù)據(jù)集還利用激光雷達為每對圖像生成了一張高精度的稀疏視差圖作為真實值。本文將訓練集的圖像數(shù)據(jù)隨機劃分為訓練集（70%）與測試集（30%）。

Middlebury［12］數(shù)據(jù)集是計算機視覺領(lǐng)域中廣泛使用的一個數(shù)據(jù)集，包含多個場景下的圖像序列和對應(yīng)的視差圖，共計15 對訓練圖像與15 對測試圖像。

4.2 實驗細節(jié)與性能指標

實驗在Ubuntu18.04 環(huán)境下，采用Pytorch 深度學習框架，圖形處理器為NVIDIA GeForce 3090 完成AB-Net 的訓練與測試。在訓練過程中采用了Adam 優(yōu)化器［10］，其延遲率參數(shù)設(shè)置分別為β1=0.9，β2=0.99。所有訓練數(shù)據(jù)的尺寸均設(shè)置為512×256。對于Scene Flow 數(shù)據(jù)集，本文以0.001 的學習率訓練30 輪，再以0.000 1 的學習率訓練10 輪；對于KITTI 2015 數(shù)據(jù)集，由于其圖像對較少，直接從0 開始訓練易導致網(wǎng)絡(luò)過擬合，因此本文采用遷移學習的方法，將Scene Flow 訓練好的模型作為KITTI2012 和KITTI 2015 預(yù)訓練的模型并對網(wǎng)絡(luò)進行微調(diào)，先以0.001 的學習率訓練200 輪，再以0.000 1 的學習率訓練100 輪。

Scene Flow 數(shù)據(jù)集訓練時，本文采用終點誤差（End-point Error， EPE）作為評價指標。EPE越大，匹配率越低。其表達式如下：

KITTI 2015 數(shù)據(jù)集訓練時，本文采用3 像素誤差（3px-Error）作為評價指標。3px-Error 越大，匹配率越低。其表達式如下：

其中：

式中：N是像素的數(shù)量，di是真實的視差值，d?i是預(yù)測的視差值。

4.3 消融實驗

AB-Net 的基準網(wǎng)絡(luò)為PSM-Net 網(wǎng)絡(luò)，首先對優(yōu)化后的殘差模塊進行測試，然后對引入ASPP 模塊的網(wǎng)絡(luò)進行測試，最后對引入雙邊格網(wǎng)的模塊進行測試，并與PSM-Net 進行對比。其中，Res-CV 表示構(gòu)建的成本量的分辨率，EPE 為Scene Flow 數(shù)據(jù)集的測試指標，結(jié)果如表1所示。

表1 消融實驗結(jié)果Tab.1 Results of ablation experiment

由表1 可知，僅進行殘差層優(yōu)化后的模型EPE 提升為1.16，運行時間縮短約50%，仍能取得不錯的精度；在引入ASPP 模塊后，隨著更多的特征細節(jié)信息被提取，修改后網(wǎng)絡(luò)的EPE 進一步下降至1.01，但運行時間在增大；引入雙邊格網(wǎng)模塊后，成本量的體積縮減為原尺寸的1/8，并對其加速處理，精度大幅度提升的同時網(wǎng)絡(luò)的運行時間也大幅縮減。AB-Net 的運行時間低于PSM-Net 和AA-Net 的運行時間。PSM-Net，AA-Net 的EPE 分別是1.09 和0.87，AB-Net 的EPE 是0.86，誤差下降了約21%和1%。

4.4 與其他算法對比結(jié)果

本文將AB-Net 的測試結(jié)果與GC-Net［4］，PSM-Net［13］，CRL，AA-Net［14］和AED-Net［15］進行比較，首先在Scene Flow 數(shù)據(jù)集上進行測試，結(jié)果如表2 所示?？梢钥闯?，由于AB-Net 對殘差層進行了大量刪減，網(wǎng)絡(luò)規(guī)模相較于其他網(wǎng)絡(luò)縮小很多，同時引入ASPP 模塊以及雙邊格網(wǎng)模塊來保證網(wǎng)絡(luò)具有較高的精度。與基準網(wǎng)絡(luò)PSMNet 相比，AB-Net 的網(wǎng)絡(luò)規(guī)模參數(shù)量減少了約38%，立體匹配精度提升了約21%。

表2 SceneFlow 測試集結(jié)果Tab.2 Result of different methods on SceneFlow dataset

圖6 展示了3 個測試實例，從圖像中可以看出，AB-Net 在非常復(fù)雜、重疊的場景下也能獲取精準的視差圖，并且在一些細節(jié)上的表現(xiàn)比PSM-Net 更加優(yōu)秀（見圖中黑色圓圈部分）。

圖6 SceneFlow 數(shù)據(jù)集上不同算法的結(jié)果對比Fig.6 Result of different methods on SceneFlow dataset

其次測試KITTI 2015 數(shù)據(jù)集，將200 對圖像輸入網(wǎng)絡(luò)中得到預(yù)測的視差圖，上傳至KITTI 官網(wǎng)以評估分析，并與其他網(wǎng)絡(luò)進行比較，結(jié)果如表3 所示。其中，D1表示視差圖中錯誤匹配點所占的比例，bg表示背景區(qū)域，fg表示前景區(qū)域，all表示整張視差圖的全部區(qū)域。由表4 可以看出，AB-Net 在全部區(qū)域的匹配錯誤率均為最低，為2.26%；同時所有像素的前景區(qū)域、背景區(qū)域，以及非遮擋像素的前景區(qū)域、全部區(qū)域的誤差也較低，分別是1.91%，4.34%，1.82%以及2.11%；而非遮擋像素的背景區(qū)域誤差則較高，為4.17%。

表3 KITTI 2015 雙目立體匹配數(shù)據(jù)集測試結(jié)果Tab.3 Test result on KITTI 2015 binocular stereo matched dataset

表4 KITTI 2012 雙目立體匹配數(shù)據(jù)集測試結(jié)果Tab.4 Test results on KITTI 2012 binocular stereo matched dataset

圖7 展示了PSM-Net，GC-Net 以及AB-Net的預(yù)測視差圖效果對比以及AB-Net 的預(yù)測誤差圖?？梢郧宄乜吹剑珹B-Net 的預(yù)測效果在細節(jié)方面相較于其他網(wǎng)絡(luò)更勝一籌，能夠更清晰地展示復(fù)雜背景、路燈以及柵欄的深度信息和清晰的輪廓（見圖中黑色圓圈部分）。

圖7 不同方法在SceneFlow 數(shù)據(jù)集上結(jié)果對比Fig.7 Result of different methods on SceneFlaw dataset

最后測試KITTI 2012 數(shù)據(jù)集，將KITTI 2012 測試集的195 對圖像輸入網(wǎng)絡(luò)中得到預(yù)測的視差圖，上傳至KITTI 官網(wǎng)以評估分析，并與其他網(wǎng)絡(luò)進行比較，結(jié)果如表4 所示。其中，ONoc和OAll分別表示非遮擋區(qū)域和整個區(qū)域的視差圖中誤匹配點所占的比例；ANoc和AAll分別表示非遮擋區(qū)域和整個區(qū)域的視差圖中匹配點的平均誤差。

由表4 可知，本文網(wǎng)絡(luò)在特征提取模塊對殘差層進行刪減，減少了網(wǎng)絡(luò)的參數(shù)量，相較于其他網(wǎng)絡(luò)而言，在網(wǎng)絡(luò)規(guī)模上有了較大縮減，非遮擋區(qū)域的視差圖中誤匹配點所占的比例（ONoc）為1.44%，在幾個網(wǎng)絡(luò)中排名第一。AB-Net 在網(wǎng)絡(luò)規(guī)模上有一定的優(yōu)越性，與其他考慮運行效率、注重實時性的網(wǎng)絡(luò)相比，本文網(wǎng)絡(luò)的精度略高。實驗表明，本文所提網(wǎng)絡(luò)在保證精度的情況下能高效實現(xiàn)立體匹配。

為進一步驗證AB-Net 網(wǎng)絡(luò)的精度，本文在Middlebury 2014 數(shù)據(jù)集［18］上進行評估。將該數(shù)據(jù)集中的15 對訓練集圖像在上述網(wǎng)絡(luò)模型中進行微調(diào)，測試結(jié)果如表5 所示。其中，Bad2.0 指的是絕對誤差大于2 像素的點的百分比，該值越低表示網(wǎng)絡(luò)對該數(shù)據(jù)集的預(yù)測能力越好。預(yù)測的視差圖如圖8 所示。

表5 Middlebury 2014 數(shù)據(jù)集測試分析Tab.5 Result on middlebury 2014 dataset analysis

圖8 Middlebury 2014 測試結(jié)果Fig.8 Test results on Middlebury 2014

由表5 可知，AB-Net 在該數(shù)據(jù)集上的Bad2.0 誤差為7.56%，相較于PSM-Net 的18.58%、GA-Net 的17.43% 均有較大的提升。通過量化分析說明AG-Net 對于風格迥異的數(shù)據(jù)集擁有較強的預(yù)測能力。

圖8 展示了利用PSM-Net 和AB-Net 對未經(jīng)訓練的雙目視覺圖像的視差預(yù)測結(jié)果?？梢郧逦乜闯?，面對復(fù)雜地圖背景的場景、雜物場景以及景深較大的教室場景，本文網(wǎng)絡(luò)均能較好地生成高質(zhì)量、邊緣清晰、層次分明、深度信息一目了然的視差圖，而PSM-Net 的表現(xiàn)一般，場景物體邊緣不清晰，圖像邊緣也出現(xiàn)了大量的匹配錯誤。

4.5 泛化實驗

為驗證AB-Net 的泛化能力，本文在訓練網(wǎng)絡(luò)時，僅對Scene Flow，KITTI2015 以及KITTI2012 數(shù)據(jù)集訓練后，就直接對Middlebury 2014 數(shù)據(jù)集［18］進行預(yù)測評估。同時與PSM-Net，GA-Net 和AA-Net 進行泛化性測試對比，結(jié)果如表6 所示。其中，Bad2.0 指的是絕對誤差大于2像素的點的百分比，該值越低表示網(wǎng)絡(luò)對該數(shù)據(jù)集的泛化性越好。預(yù)測的視差圖如圖9 所示。

表6 Middlebury 2014 數(shù)據(jù)集泛化能力數(shù)據(jù)分析Tab.6 Analysis of generalization ability data on Middlebury 2014 dataset

圖9 未經(jīng)訓練Middlebary 2014 數(shù)據(jù)集預(yù)測結(jié)果對比Fig.9 Untrained results on Middlebury 2014 dataset

由表5 可知，AB-Net 在Middlebury 2014 數(shù)據(jù)集上的Bad2.0 誤差為17.4%，相較于PSMNet 的24.8%、GA-Net 的19.1% 和AA-Net 的18.7%，分別降低了7.4%，1.7% 和1.3%。通過量化分析說明AG-Net 對于風格迥異、未經(jīng)訓練的數(shù)據(jù)集擁有較強的泛化能力。

4.6 現(xiàn)實場景實驗

本文使用雙目相機對現(xiàn)實不同復(fù)雜度的場景進行拍攝，將獲取到的雙目圖像輸入訓練好的網(wǎng)絡(luò)中進行視差預(yù)測，效果如圖10 所示。

圖10 現(xiàn)實場景實驗結(jié)果Fig.10 Experimental results of real scene

圖10 展示了利用AB-Net 對現(xiàn)實場景進行視差預(yù)測并利用預(yù)測的視差圖得到的三維重建結(jié)果。可以清晰地看出，面對雜物場景、復(fù)雜玩偶場景以及復(fù)雜地形場景，AB-Net 能較好地生成高質(zhì)量、邊緣清晰、層次分明的視差圖，利用生成的視差圖進行三維重建的結(jié)果也與現(xiàn)實場景無異。由此說明，AB-Net 擁有較強的泛化能力，面對復(fù)雜的、未經(jīng)訓練的現(xiàn)實場景也能取得較好的效果。

5 結(jié) 論

本文提出了一種AB-Net 立體匹配網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過精簡冗余的殘差層和引入ASPP 模塊，能夠在保持較小網(wǎng)絡(luò)規(guī)模的同時，擴大感受視野，提取更多細節(jié)信息，并獲取足夠的上下文信息。此外，本文還采用3D 卷積層來提高立體匹配的準確性，并引入雙邊格網(wǎng)模塊，在較低分辨率的成本量下獲取更精確的視差圖。

本文在KITTI 2012，KITTI 2015，Scene Flow 及Middlebury 2014 數(shù)據(jù)集上對AB-Net 進行測試，結(jié)果顯示與PSM-Net 等立體匹配網(wǎng)絡(luò)相比，AB-Net 在參數(shù)量減少38%的情況下仍能保持較高的實驗精度。對于KITTI 2015 數(shù)據(jù)集，AB-Net 在全部區(qū)域的匹配錯誤率為2.26%；對于KITTI 2012 數(shù)據(jù)集，非遮擋區(qū)域的視差圖中誤匹配點所占比例為1.44%；而在Scene Flow數(shù)據(jù)集上，終點誤差（EPE）為0.86。對于Middlebury 2014 數(shù)據(jù)集，AB-Net 也表現(xiàn)出較強的預(yù)測能力，Bad2.0 誤差為8.56%，優(yōu)于對比網(wǎng)絡(luò)。此外，使用AB-Net 對現(xiàn)實場景數(shù)據(jù)進行預(yù)測，并獲得了邊緣清晰、深度信息明確且無遮擋的視差圖，驗證了AB-Net 的高準確性和泛化性能。