黃怡潔 朱江平 楊善敏

(四川大學 四川 成都 610065)

0 引 言

給定一對極線矯正后的雙目立體圖像，通過立體匹配可預測出視差，進一步可根據(jù)視差得到深度信息。立體匹配是計算機視覺領域中一個非常重要的課題，廣泛應用于自動駕駛[1]、三維重建[2]、機器智能[3]等領域。

傳統(tǒng)的立體匹配算法包含四個步驟，分別為代價聚合、視差計算、視差優(yōu)化和后處理[4]。依據(jù)優(yōu)化理論的不同，主要分為全局立體匹配算法、局部立體匹配算法[5]和半全局立體匹配算法。局部立體匹配算法采用局部優(yōu)化的理論進行視差估計，包括SSD(Sum of Squared Differences)、SAD(Sum of Absolute Differences)等算法。全局匹配以全局優(yōu)化理論估計視差，建立全局能量函數(shù)，進一步地，通過最小化全局能量函數(shù)得到最優(yōu)視差值，包括GC(Group Cut)[6-7]、BP(Belief Propagation)[8-9]和DP(Dynamic Programming)[10]等算法。半全局立體匹配算法是將局部與全局的方法結(jié)合起來，如SGM[11]算法，先計算每個像素點的視差求得視差圖，再設置一個與視差圖相關聯(lián)的全局能量函數(shù)，將能量函數(shù)最小化來求解每個像素的最優(yōu)視差解。

近年來，國內(nèi)外許多研究利用CNN[12]搭建神經(jīng)網(wǎng)絡來研究立體匹配問題。將極線矯正后的雙目立體圖像對輸入到神經(jīng)網(wǎng)絡中，網(wǎng)絡輸出預測的視差圖。Mayer等[13]提出了端到端的網(wǎng)絡DispNet進行視差估計，并創(chuàng)建了大型的合成數(shù)據(jù)集SceneFlow；Pang等[14]對DispNet[13]進一步擴展，提出了一個兩階段的網(wǎng)絡CRL，網(wǎng)絡的第一階段產(chǎn)生一個初始的視差圖，第二階段在不同的尺度上進一步對初始視差圖進行優(yōu)化；Kendall等[15]提出了GC-Net，串聯(lián)左圖和右圖的特征構(gòu)建匹配代價集，并使用3D卷積聚合匹配代價集；Chang等[16]提出的PSMNet利用pyramid pooling模塊計算匹配代價，再用stacked hourglass塊聚合匹配代價集，進行視差預測；曾軍英等[17]提出自適應的立體匹配算法，在網(wǎng)絡中嵌入無監(jiān)督損失模塊與殘差細化模塊，提高了立體匹配的實時性；王玉鋒等[18]的研究將稀疏損失體用于視差維度上進行立體匹配；肖進勝等[19]提出縮小型網(wǎng)絡的立體匹配方法，利用左右圖像塊的相似度計算出立體匹配的匹配代價，提高了匹配的精度。盡管這些方法都取得了不錯的精度，但是在遮擋區(qū)域以及反射表面仍然存在誤匹配問題。

因此，本文提出基于注意力機制的立體匹配網(wǎng)絡(AMSN)。該網(wǎng)絡主要包含兩大模塊：注意力機制模塊[20-21]以及代價聚合模塊。注意力機制模塊由通道注意力模塊和空間注意力模塊并行而成，用于獲取大范圍的語境信息，不僅使得提取的特征包含豐富的語境信息，還使特征更具有表示力以更準確地進行視差估計。代價聚合網(wǎng)絡，在PSMNet[16]中的stacked hourglass網(wǎng)絡基礎上的兩點改進：(1) 在hourglass塊的內(nèi)部結(jié)構(gòu)增加了一個卷積層，并做了進一步的特征融合；(2) 去掉hourglass塊之間的連接，以此提高匹配的精確度并減少內(nèi)存消耗。

1 基于注意力機制的立體匹配網(wǎng)絡(AMSN)

1.1 注意力機制與網(wǎng)絡結(jié)構(gòu)

近年來，注意力機制模塊被廣泛應用于各個領域。文獻[22]將注意力機制應用于機器翻譯領域；SENet[23]利用通道注意力機制模塊提高特征的表示力；CDANet[20]將注意力機制應用于語義分割；還有學者將注意力機制模塊融入到GAN[24]網(wǎng)絡中，使之成為一個更好的圖像生成器，

本文將注意力機制引入立體匹配網(wǎng)絡，用通道注意力模塊和空間注意力模塊捕獲全局信息，使網(wǎng)絡學習到的特征含有豐富語境信息，有助于在視差估計時進一步確定像素點間的相關性，提高匹配的準確度。尤其在弱紋理區(qū)域等，這些區(qū)域含有較少的信息，網(wǎng)絡提取的語境信息可以更加準確地預測出視差，減少誤匹配的問題。

提出的基于注意力機制的立體匹配網(wǎng)絡如圖1所示。該網(wǎng)絡由特征提取模塊、匹配代價集構(gòu)建模塊和3D代價聚合模塊三部分構(gòu)成。

圖1 基于注意力機制的立體匹配網(wǎng)絡

特征提取模塊：首先將圖像輸入殘差網(wǎng)絡提取圖像特征，然后將其結(jié)果分別輸入到通道注意力模塊和空間注意力模塊中，最后將注意力圖與殘差網(wǎng)絡輸出的特征進行融合。

匹配代價集的構(gòu)建：將極線校正后的圖像對輸入到特征提取網(wǎng)絡中，分別得到左圖和右圖的特征圖，將左右特征圖沿著視差的維度串聯(lián)起來，得到D×C×H×W的四維向量，即為匹配代價集。

代價聚合模塊：代價聚合網(wǎng)絡主要由3D卷積層構(gòu)成。首先經(jīng)過四個3D卷積層，再通過3個hourglass塊，每個hourglass模塊預測出一個視差圖。hourglass塊使用編碼解碼結(jié)構(gòu)很好地解決了遮擋區(qū)域等問題區(qū)域的誤匹配問題。基于PSMNet[16]中提出的代價聚合網(wǎng)絡，本文做了一些改進，以提高算法的性能以及推理速度。

1.2 特征提取模塊

現(xiàn)有的立體匹配算法在遮擋區(qū)域以及反射表面易發(fā)生誤匹配。因此，從圖像提取的特征包含豐富的語境信息和大范圍的全局信息對于后期的視差精確預測非常重要。本文通過兩個注意力模塊來聚合大范圍的語境信息，進一步確定像素間的關系，從而提高特征的表示能力。整個特征提取網(wǎng)絡如圖2所示，由三部分構(gòu)成：下采樣模塊、局部特征提取模塊和注意力機制模塊。

圖2 特征提取網(wǎng)絡結(jié)構(gòu)

下采樣模塊：使用3個3×3的卷積層，把圖像的分辨率變?yōu)檩斎雸D像的1/4，減小特征圖的尺寸以降低網(wǎng)絡負擔。

局部特征提取模塊：由四個殘差層layer1、layer2、layer3和layer4構(gòu)成，四個殘差層中殘差塊的數(shù)量分別為8、9、8、3。為了使淺層特征中融入更多的信息，在淺層分配更多的塊數(shù)，實現(xiàn)更好的性能，且有利于網(wǎng)絡生成更加精確的注意力機制映射。

注意力機制模塊：受到CDANet[20]中雙注意力機制模塊的啟發(fā)，本文將通道注意力機制模塊與空間注意力機制模塊并行。將經(jīng)過殘差模塊產(chǎn)生的特征向量分別輸入到通道注意力模塊和空間注意力模塊中，得到兩個1/4H×1/4W的特征向量Fs和Fc，將Fs和Fc相加得到向量Fa，進一步地，再將layer2、layer4與Fa進行特征融合，得到特征提取網(wǎng)絡的輸出。

1.2.1通道注意力模塊

在深層特征中，通道圖之間是彼此相關聯(lián)的,網(wǎng)絡學習到通道圖之間的相關性十分重要。學習通道圖之間的依賴關系，不僅可以增強特征圖內(nèi)部之間的依賴，獲取豐富的語境信息，還可以提高特征的表示能力。因此，本文使用注意力模塊來學習通道圖之間的相關性，將通道圖之間的相關性作為權重，把通道圖與權重相乘再求和作為新的通道圖，實現(xiàn)通道層面更好的特征融合。如圖3所示，是通道注意力機制模塊的具體實現(xiàn)。

圖3 通道注意力模塊結(jié)構(gòu)

局部特征提取網(wǎng)絡輸出的特征F作為注意力模塊的輸入，該特征分別經(jīng)過兩個全局平均池化層，得到特征Favg1和Favg2。使用1×1的池化層代替全連接層不僅減小了計算量，且有助于網(wǎng)絡推理出更加準確的注意力映射。

Favg1=Avgpool(F)

(1)

Favg2=Avgpool(F)

(2)

再將Favg1和Favg2相乘并經(jīng)過Softmax層，將權重值歸一化，得到注意力映射AMchannel。

AMchannel=softmax(Favg1×Favg2)

(3)

同時，F(xiàn)經(jīng)過1×1的卷積層得到F1×1，再將F1×1與注意力機制映射AMchannel相乘，最后與輸入特征F相加，即得到最終的輸出Fc。

Fc=AMchannel×F1×1+F

(4)

1.2.2空間注意力模塊

在網(wǎng)絡深層提取的特征對細節(jié)信息的感知力較差，含有較少的空間位置信息，而捕獲大范圍的語境信息是提高匹配精度的關鍵,本文使用空間注意力模塊來解決這一問題。計算空間中某一像素點與其他位置像素點的特征相似度作為權重，將權重與位置信息加權得到該像素點新的特征。因此，空間中任意位置都聚合了其他位置的信息，特征中包含有豐富的位置信息。空間注意力模塊的具體實現(xiàn)如圖4所示。

圖4 空間注意力模塊結(jié)構(gòu)

空間注意力模塊的實現(xiàn)與通道注意力模塊是類似的。輸入特征為F，F(xiàn)先經(jīng)過一個全局平均池化層再通過1×1的卷積層得到F1與F2，將F1與F2相乘后的特征圖經(jīng)過Softmax層得到注意力機制映射AMspatial，C表示1×1的卷積操作。

AMspatial=softmax(C(F1)×C(F2))

(5)

此外，F(xiàn)經(jīng)過1×1的卷積得到特征F3，將特征F3與注意力映射AMspatial相乘后再與輸入特征F相加，即為最終通道注意力機制模塊的輸出Fs。

Fs=AMspatial×F3+F

(6)

在網(wǎng)絡中加入空間注意力模塊，不僅使特征中融入了豐富的語境信息，還提高了特征內(nèi)部的關聯(lián)。

1.2.3特征融合

空間注意力模塊的輸出特征Fs和通道注意力模塊輸出特征Fc相加融合后的特征，即為注意力模塊的輸出特征。輸出的特征再與殘差模塊layer2、layer4的特征進行特征融合，得到特征提取網(wǎng)絡提取的特征。該特征中包含豐富的語境信息，有助于推測出準確的視差圖。

1.3 匹配代價集構(gòu)建

在MC-CNN[25]和GC-Net[15]中，匹配代價集的構(gòu)建是直接把特征提取網(wǎng)絡得到的左圖和右圖特征圖串聯(lián)，再利用深度網(wǎng)絡構(gòu)建匹配代價集，得到的匹配代價集是一個三維向量。本文采用的方法是沿著視差的維度，把左右特征圖串聯(lián)起來，形成一個4維的向量作為匹配代價集。

1.4 3D代價聚合模塊

在PSMNet[16]網(wǎng)絡中，hourglass利用編碼解碼結(jié)構(gòu)使得特征中包含豐富的信息，并將三個hourglass塊串聯(lián)。同時，在三個hourglass塊之間用跳層連接。本文在PSMNet[16]工作的基礎上，提出了如圖5所示的代價聚合網(wǎng)絡。

圖5 代價聚合模塊網(wǎng)絡結(jié)構(gòu)

與PSMNet相比，本文方法對代價聚合模塊做了以下幾點改進：1) 在hourglass的第四個卷積層后，增加一個3×3的卷積層Conv5，并把Conv5與Conv3用卷積層連接起來(具體如圖6所示)；2) 在尺寸1/4H×1/4W、1/8H×1/8W、1/16H×1/16W的特征層分別進行特征融合，以使學習到的特征包含更豐富的語境信息；3) 取消三個hourglass塊與3DConv2之間的連接，以減少計算代價。

圖6 hourglass網(wǎng)絡結(jié)構(gòu)

1.5 損失函數(shù)

本文采用的損失函數(shù)為SmoothL1。

(7)

式中：λi表示的是第i個視差預測的權重；di表示的是預測的第i個視差圖；d*表示視差值的真值。

(8)

式中：x表示預測視差值與視差真值之間的差值。

2 實驗過程與結(jié)果分析

在SceneFlow[13]數(shù)據(jù)集以及KITTI[26-27]數(shù)據(jù)集上，對本文提出的立體匹配算法進行評估。

2.1 數(shù)據(jù)集簡介

Scene Flow[13]數(shù)據(jù)集：用于網(wǎng)絡的預訓練，是一個大規(guī)模的合成數(shù)據(jù)集，由Flyingthings 3D、Driving和Monkaa三個數(shù)據(jù)集構(gòu)成。數(shù)據(jù)集中包含雙目立體圖像對以及視差圖的真值數(shù)據(jù)，共有35 454組訓練數(shù)據(jù)和4 370組測試數(shù)據(jù)。圖像的分辨率為960×540。

KITTI 2012[26]：包含從車上拍攝的街景真實場景數(shù)據(jù)，包含194組訓練數(shù)據(jù)以及195組測試數(shù)據(jù)。訓練集中包含雙目立體圖像以及視差圖真值數(shù)據(jù)，真值數(shù)據(jù)由Lidar生成，測試集中無視差圖的標簽數(shù)據(jù)。

KITTI 2015[27]：KITTI 2015是KITTI 2012數(shù)據(jù)集的擴充，包含200組訓練數(shù)據(jù)和200組測試數(shù)據(jù)，訓練數(shù)據(jù)中包含雙目立體圖像對和視差圖的真值數(shù)據(jù)，視差的真值數(shù)據(jù)是由Lidar產(chǎn)生，測試集中僅包含雙目立體圖像對。圖像的分辨率為1 242×375。

對于SceneFlow[13]數(shù)據(jù)集，使用EPE(預測視差值與該像素點視差真值之差的絕對值的平均值)作為評估指標。KITTI[26-27]數(shù)據(jù)集評估指標為3-px-error(誤差大于三個像素點的像素占所有像素的比例)。

2.2 實驗細節(jié)介紹

本文提出的立體匹配網(wǎng)絡使用PyTorch搭建，在預訓練和微調(diào)的過程中，均使用Adam[28]優(yōu)化器，具體參數(shù)設置為β1=0.9，β2=0.999。訓練整個網(wǎng)絡用一張Nvidia 1080 Ti，batchsize設置為2。

預訓練使用SceneFlow數(shù)據(jù)集，一共訓練17個epoch，學習率固定為0.001。網(wǎng)絡輸入圖像的分辨率為960×540，經(jīng)過網(wǎng)絡處理后得到大小為960×540的視差圖，視差最大值設置為192。使用KITTI數(shù)據(jù)集在預訓練模型的基礎之上進行微調(diào)，共訓練1 000個epoch，前600個epoch的學習率設置為0.001，后400個epoch的學習率設置為0.000 1。KITTI 2015共有200組數(shù)據(jù)，其中160組作為訓練集，余下的40組數(shù)據(jù)作為測試集。KITTI 2012 共有194組數(shù)據(jù)，160組數(shù)據(jù)作為訓練集，另外34組數(shù)據(jù)作為測試集。

2.3 定量分析

本文提出的方法分別在SceneFlow[13]數(shù)據(jù)集和KITTI數(shù)據(jù)集上進行評估，與已有的一些匹配效果較好的方法如DispNet[13]、CRL[14]、GC-Net[15]、PSMNet[16]等方法進行對比。在SceneFlow[13]數(shù)據(jù)集上，使用EPE作為評估指標，幾種方法的評估結(jié)果如表1所示?？梢钥闯觯赟ceneFlow[13]合成數(shù)據(jù)集上，本文提出的算法誤差更小，與PSMNet[16]相比，誤差減小了0.2，結(jié)果證明了本文算法的有效性。

表1 不同算法在SceneFlow數(shù)據(jù)集上的誤差

使用KITTI[26-27]測試集對本文算法進行測試，把生成的視差圖提交到KITTI[26-27]網(wǎng)站上進行評估，結(jié)果如表2所示，將測試集在整個圖像區(qū)域和非遮擋區(qū)域分別進行評估。其中：All表示圖像的整個區(qū)域；Noc表示圖像中非遮擋區(qū)域；D1-all表示所有區(qū)域；D1-fg表示圖像的前景區(qū)域；D1-bg表示圖像后景區(qū)域。表格的最后一行是生成一幅視差圖算法所耗的時間。

表2 各種方法在KITTI 2015上的評估

可以看出，本文方法在一些指標上有一定的優(yōu)勢，如在D1-all和D1-bg視差圖誤差更小。本文方法與PSMNet[16]相比，在圖像整個區(qū)域(All)上，背景區(qū)域的誤差(D1-bg)減少了0.13百分點，整個區(qū)域(D1-all)的誤差減少0.08百分點；在非遮擋區(qū)域(Noc)，背景區(qū)域(D1-bg)誤差減少了0.12百分點，整個區(qū)域(D1-all)的誤差減少了0.11百分點。但本文算法在前景區(qū)域(D1-fg)誤差較大，主要由于前景區(qū)域中含有車輛、樹木等物體，在物體細節(jié)處(如樹葉處)立體匹配誤差較大。此外，本文實驗中代價聚合模塊使用hourglass編碼解碼結(jié)構(gòu)，與未使用類似編碼解碼結(jié)構(gòu)的網(wǎng)絡如CRL[14]相比，在整個區(qū)域和非遮擋區(qū)域中，D1-all誤差明顯減小，平均誤差減少了0.165，由此證明了hourglass結(jié)構(gòu)有助于解決遮擋區(qū)域等問題區(qū)域的誤匹配問題。因此，本文算法在背景區(qū)域上的匹配有一定的優(yōu)勢，且在含遮擋像素的區(qū)域匹配精度更高，視差圖更精確。

圖7是本文算法與PSMNet[16]實驗結(jié)果對比圖。從矩形框標出的區(qū)域可以看出，本文算法匹配與PSMNet[16]相比，結(jié)果更具健壯性。由于本文算法中加入注意力模塊提取含有豐富語境信息的特征，視差預測更加精確，且整個視差圖的平均誤差更小。

圖7 KITTI 2015實驗效果圖

在KITTI 2012[26]數(shù)據(jù)集上，將本文算法AMSN與一些目前性能較好的算法如GC-Net[15]、PSMNet[16]、iResNet-i2[29]進行對比。實驗結(jié)果如表3所示。其中：All表示圖像的整個區(qū)域；Noc表示圖像的非遮擋區(qū)域。

表3 各種方法在KITTI 2012上的評估(%)

可以看出，本文方法在匹配精度上有一定的優(yōu)勢。在圖像整個區(qū)域(All)，誤差大于3像素的點占所總像素數(shù)比例為1.78%，與PSMNet[16]相比，精度提升了5.8%；在圖像的非遮擋區(qū)域(Noc),三像素誤差(3-px-error)為1.38%，比PSMNet[16]降低了7.3%的誤差。此外，與iResNet-i2[29]相比，本文算法在代價聚合網(wǎng)絡加入hourglass塊，在整個區(qū)域和非遮擋區(qū)域三像素誤差(3-px-error)分別減少0.33和0.38。由此看出hourglass塊的編碼解碼結(jié)構(gòu)對于解決遮擋區(qū)域誤匹配問題的有效性。因此，本文算法在遮擋區(qū)域的匹配有一定的優(yōu)勢。

圖8是本文算法與PSMNet[16]在KITTI 2012數(shù)據(jù)集上的視差圖與誤差圖的對比?？梢钥闯?，本文方法在匹配精確度上具有優(yōu)勢，整個結(jié)果更具健壯性，在整個圖像區(qū)域上，本文算法進行匹配的平均誤差更小，匹配更加精準。

圖8 KITTI 2012實驗效果圖

2.4 消融學習

本文在PSMNet[16]的基礎上做了一些改進，如殘差塊結(jié)構(gòu)的調(diào)整(Layers Rearrange)、增加了注意力模塊(Attention Module)、hourglass塊結(jié)構(gòu)進行了調(diào)整(Modified Hourglass1)，以及去掉hourglass塊之間的連接(Modified Hourglass2)。實驗分別在KITTI[26-27]和SceneFlow[13]數(shù)據(jù)集上評估基于注意力機制的立體匹配算法(AMSN)的性能。對比實驗結(jié)果如表4所示。

表4 不同設置對AMSN的評估

可以看出，使用注意力機制模塊的網(wǎng)絡在KITTI[26-27]和SceneFlow[13]數(shù)據(jù)集上的誤差更小。在對hourglass塊結(jié)構(gòu)進行調(diào)整之后，3-px-error有所減小，去掉hourglass塊之間的連接后3-px-error進一步減小。為了使特征中融入更多的淺層信息，在局部特征提取網(wǎng)絡給淺層的殘差網(wǎng)絡分配更多的塊數(shù)，并在特征提取網(wǎng)絡中加上注意力機制模塊捕獲全局信息，使得特征中包含豐富的語境信息。代價聚合模塊中做了進一步的特征融合，有助于更加準確的視差預測。因此，在立體匹配網(wǎng)絡中對殘差塊進行調(diào)整，融入注意力機制模塊并對代價聚合網(wǎng)絡進行改進，取得了較好的實驗效果，在KITTI 2015[27]上的誤差為1.80%，超越了已有一些性能較好的算法(如PSMNet[16])。

3 結(jié) 語

本文提出基于注意力機制的立體匹配算法，在特征提取網(wǎng)絡用注意力模塊探索全局語境信息，為代價聚合網(wǎng)絡提供具有含有豐富語境信息的特征。在SceneFlow[13]以及KITTI[26-27]數(shù)據(jù)集上分別進行實驗，與傳統(tǒng)的匹配算法和部分基于學習的性能較好的算法相比，本文提出的基于注意力機制的立體匹配網(wǎng)絡有以下幾點優(yōu)勢：1) 將通道和空間注意力模塊融入立體匹配網(wǎng)絡捕獲全局信息，提取包含豐富語境信息的特征；2) 對hourglass塊進行改進，提高匹配精度且減少內(nèi)存消耗；3) 在SceneFlow[13]和KITTI[26-27]數(shù)據(jù)集上獲得了較好的效果，提高視差匹配精度，并減少了在遮擋區(qū)域等的誤匹配問題。但其也有不足之處：如在圖像前景區(qū)域，物體細節(jié)處預測出視差的誤差相對較大。未來，研究重點將放在減小前景區(qū)域誤差以及對網(wǎng)絡的進一步優(yōu)化。