陳裕如，趙海濤

（華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237）

引言

深度信息對理解三維場景有著重要的影響，并有助于完成諸如三維重建[1-2]、三維目標(biāo)檢測[3]、即時(shí)定位與地圖構(gòu)建（SLAM）[4]等任務(wù)，也是無人駕駛技術(shù)環(huán)境感知中的重要一環(huán)[5]。深度估計(jì)的目標(biāo)是為場景中的每個像素指定觀察者與由該像素表示的場景點(diǎn)之間的距離。從單視角圖像中估計(jì)場景的像素深度已經(jīng)引起了廣泛的研究[1,4,6-8]。依賴于Kinect 深度相機(jī)（室內(nèi)）和雷達(dá)傳感器（室外）的發(fā)展，場景深度數(shù)據(jù)的大量獲得成為可能。近年來，基于深度學(xué)習(xí)的單目深度估計(jì)得到了巨大發(fā)展，其中卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）被大量應(yīng)用于該領(lǐng)域[6,8-10]。

作為開創(chuàng)性的工作，Eigen[6]等人首先提出了一個多尺度的粗糙-精細(xì)模型，其中精細(xì)網(wǎng)絡(luò)對粗糙網(wǎng)絡(luò)的全局預(yù)測進(jìn)行改進(jìn)，得到了更準(zhǔn)確的結(jié)果。為了解決深度數(shù)據(jù)分布中由重尾效應(yīng)導(dǎo)致的樣本不平衡，Laina[4]等人提出了比L2 回歸損失更適合深度估計(jì)的反向Huber 損失，因?yàn)槠鋵π≌`差更敏感。Garg[9]等人提出了一種基于圖像重建的無監(jiān)督的單目深度估計(jì)框架，在該設(shè)定下，Godard[10]等人進(jìn)一步提出將L1 損失和結(jié)構(gòu)相似性指數(shù)的組合作為重建損失進(jìn)一步提高了成像效果。Wu[8]等人提出一種雙向遞歸神經(jīng)網(wǎng)絡(luò)來提取視頻序列信息以提高深度估計(jì)的穩(wěn)定性與準(zhǔn)確性。此外，基于紅外圖像的深度估計(jì)也受到了廣泛的關(guān)注[8,11-12]，因?yàn)榧t外熱成像的特性使其在夜間場景下更具有優(yōu)勢，但由于其缺乏紋理、梯度等細(xì)節(jié)特征使得預(yù)測精度與成像質(zhì)量不如可見光。

雖然基于CNN 的深度估計(jì)模型已經(jīng)取得了巨大的成功，但仍然存在一些難以解決的問題。從CNN 的結(jié)構(gòu)角度來看，為了學(xué)習(xí)抽象表示和融合全局特征，基于CNN 的模型通常會隨著網(wǎng)絡(luò)中連續(xù)的池化或帶步長的卷積操作而不斷縮小特征圖的空間尺度，這些操作可能會破壞圖像的空間信息。深度估計(jì)的另一個挑戰(zhàn)來自場景中對象的深度分布，Huang[13]等人研究了自然場景的距離圖像（range image）的統(tǒng)計(jì)特性（距離圖像在深度估計(jì)領(lǐng)域稱為深度圖），表明距離圖像可以分解成分段平滑的區(qū)域，彼此之間幾乎沒有依賴性，對象邊界中通常存在尖銳的不連續(xù)性。因此，在場景中“對象”的概念應(yīng)該更準(zhǔn)確地從深度值的變化來定義，而不是從顏色、強(qiáng)度或紋理等低層次特征來定義，所以深度估計(jì)的關(guān)鍵在于捕捉對象內(nèi)和對象間的長距離上下文信息[14]。針對該問題，Yu[15]等人使用擴(kuò)張卷積（dilated convolution）來擴(kuò)展卷積核的感受野，文獻(xiàn)[14]實(shí)現(xiàn)了一個“擴(kuò)張空間金字塔池化（astrous spatial pyramid pooling，ASPP）”框架，其通過并聯(lián)放置多個不同擴(kuò)張率的擴(kuò)張卷積來捕獲多尺度對象和上下文信息。然而，離散化的擴(kuò)張率不能覆蓋復(fù)雜和連續(xù)的場景深度，很容易引入網(wǎng)格偽影[16]，其原因在于當(dāng)擴(kuò)張率增加，采樣點(diǎn)之間相隔較遠(yuǎn)，局部信息丟失，而長距離上的一些信息并不相關(guān)，因此可能會破壞局部信息之間的連續(xù)性。

針對這些挑戰(zhàn)，本文提出了一種新的單目深度估計(jì)算法，即基于注意力的自適應(yīng)上下文聚合網(wǎng)絡(luò)（adaptive context aggregation network, ACANet）用于生成高質(zhì)量的深度圖。本文設(shè)計(jì)的監(jiān)督自注意力模型（supervised self-attention, SSA）可以自適應(yīng)地獲得像素級的相似性，其反映了整個特征圖中每個像素與任何其他像素之間的關(guān)系，從而捕捉了圖像特征空間中連續(xù)的上下文信息，提高了深度估計(jì)的細(xì)粒度的同時(shí)也抑制了生成圖像中的噪點(diǎn)。本文方法的優(yōu)點(diǎn)如下：

1） 提出的基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)，可以捕捉特征圖空間中與每個像素相關(guān)聯(lián)的有意義的上下文信息，顯著提高了單目深度估計(jì)的成像效果與準(zhǔn)確率。

2） 為了消除二維圖像和深度圖的語義差異，本文引入KL 散度作為注意力損失函數(shù)。對注意力損失函數(shù)的優(yōu)化可以最小化注意力分布與通過真實(shí)深度值獲取的相似性分布之間的散度。分解實(shí)驗(yàn)驗(yàn)證了注意力損失函數(shù)的有效性。

3） 提出的易于實(shí)現(xiàn)的軟推理策略與傳統(tǒng)的硬推理相比，可以減少離散化誤差，生成更加真實(shí)的深度圖，提高成像質(zhì)量。

4） 在深度估計(jì)數(shù)據(jù)集（NYU Depth v2）上的實(shí)驗(yàn)結(jié)果表明了本文提出的算法的優(yōu)越性。

1 算法框架

1.1 ACANet 網(wǎng)絡(luò)結(jié)構(gòu)

ACANet 網(wǎng)絡(luò)架構(gòu)如圖1 所示。本文使用殘差神經(jīng)網(wǎng)絡(luò)（residual network，ResNet）[17]作為骨架網(wǎng)絡(luò)來提取RGB 圖像的密集特征，其在深層網(wǎng)絡(luò)中顯示出很好的梯度傳播能力。但原始ResNet 的過度下采樣會阻礙細(xì)粒度深度圖的重建。因此本文將ResNet 中的block3 和block4 替換為擴(kuò)張率分別為2 和4 的殘差塊，這使得后續(xù)特征圖的尺度保持不變。在場景解析模塊中，SSA 能夠捕獲有辨別力的像素級上下文信息，提取特征圖中每個像素的全局空間依賴性，下方的恒等映射（identity）作為捷徑連接減輕網(wǎng)絡(luò)優(yōu)化的難度，上方的1×1 卷積進(jìn)行通道間的特征融合,最后通過有序回歸[18-19]對網(wǎng)絡(luò)輸出進(jìn)行分類。

圖 1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1 Structure diagram of network

1.2 有監(jiān)督的自注意力模型

自注意力模型最早被應(yīng)用于機(jī)器翻譯[20]中，之后擴(kuò)展到計(jì)算機(jī)視覺任務(wù)中，如視頻分類[21]等。本文將改進(jìn)的有監(jiān)督自注意力模型引入深度估計(jì)中。SSA 的細(xì)節(jié)如圖2 所示。

圖 2 SSA 結(jié)構(gòu)Fig. 2 Structure diagram of SSA

式中：wi,j表示了第j 個像素與第i 個像素具有語義特性的上下文信息的相關(guān)程度。借助于學(xué)習(xí)到的注意力權(quán)重，上下文信息的聚合可以被定義為

由于注意力權(quán)重wi,j經(jīng)過softmax 歸一化，因此上式相當(dāng)于全局的加權(quán)池化。通過這種方式，特征提取過程可以通過顯示的融合上下文的全局特征表示并被強(qiáng)化。

1.3 損失函數(shù)

損失函數(shù) L 包括注意力損失 Latt和有序回歸損失 Lord，如下式：

如圖2 所示，為了彌補(bǔ)RGB 圖像和深度圖之間的語義鴻溝，本文設(shè)計(jì)將KL 散度作為訓(xùn)練自注意力模型的損失函數(shù)，用來度量自注意力模型產(chǎn)生的注意力分布與由真實(shí)深度生成的相似性分布之間的差異，定義為

式中：wi,j是由式（1）產(chǎn)生的注意力權(quán)重；wi,j*由下式計(jì)算得到：

本文將深度值在對數(shù)空間平均離散化為K 個子間隔，即：

本文采用有序回歸作為分類損失函數(shù)。有序回歸旨在學(xué)習(xí)附加序數(shù)先驗(yàn)知識來預(yù)測標(biāo)簽的規(guī)則，以解決順序回歸算法。有序回歸將一個多分類的問題轉(zhuǎn)化為一系列更簡單的二分類問題，其中每一個分類器只決定該樣本是否大于類別標(biāo)簽。設(shè) Y ∈RN×2K表示網(wǎng)絡(luò)的輸出概率圖，在第i 個位置的損失為

式中：?i表示預(yù)測的深度標(biāo)簽；ρik表示?i大于k 的概率。整體的有序回歸損失為

1.4 有序推理策略

基于分類的深度估計(jì)在先前的文獻(xiàn)已經(jīng)被廣泛研究，其可以獲得深度分布的置信度[19,22-23]。輸出置信度圖中的每一個元素僅關(guān)注特定的深度間隔，這簡化了網(wǎng)絡(luò)的學(xué)習(xí)，提高了模型的閾值準(zhǔn)確率。然而，分類模型的離散化會引入誤差。此外，基于硬閾值的推理策略[19,23]只從網(wǎng)絡(luò)輸出中得到了類別信息，忽略了獲得的置信度分布，因此在反離散化的計(jì)算中可能引入階梯偽影，這可以在本文的后續(xù)實(shí)驗(yàn)圖中觀測到。本文將直接的硬推理推廣到軟推理版本，稱為軟性有序推理（soft ordinal inference，SOI）來解決上述問題。SOI 充分利用預(yù)測的置信度得到了更加真實(shí)的預(yù)測。

在獲得每個像素的K 個二分類概率后，深度值的硬閾值推理[19]計(jì)算式為

式中：η(·)為指示函數(shù)。硬閾值推理的取整運(yùn)算丟棄了網(wǎng)絡(luò)預(yù)測的置信度，這會破壞在一些難分區(qū)域的預(yù)測結(jié)果，降低模型效果。

相反，本文提出的SOI 能夠?qū)㈩A(yù)測概率轉(zhuǎn)化為連續(xù)平滑的深度圖，公式如下：

式中：γi∈[0,1) 為預(yù)測類別接近?i+1的程度。當(dāng)γi=0 時(shí)，（13）式與（11）式等效，因此SOI 能夠充分利用網(wǎng)絡(luò)的更多輸出信息，即預(yù)測置信度來推斷像素的深度值。

2 實(shí)驗(yàn)與結(jié)果

2.1 評價(jià)指標(biāo)

本文遵循當(dāng)前研究中常用的評價(jià)方式[4,6-7]，引入深度估計(jì)領(lǐng)域的通用評價(jià)指標(biāo)，公式為

式中：di*表示真實(shí)深度；di表示預(yù)測深度；N 表示有效像素總數(shù)。rmse、rel 和rmselog誤差用來度量預(yù)測深度和真實(shí)深度之間的差異，值越小越好。閾值準(zhǔn)確度用來度量預(yù)測深度，由thr 閾值界定范圍內(nèi)的像素百分比，值越大越好。

2.2 NYU Depth v2 數(shù)據(jù)集

本文實(shí)驗(yàn)使用了室內(nèi)深度數(shù)據(jù)集NYU Depth v2[1]，由464 個室內(nèi)場景大約240 k 張RGB-D 圖像組成，由Microsoft Kinect 攝像機(jī)拍攝的視頻序列處理得到，深度范圍為0.6 m～10 m。在官方的訓(xùn)練測試集劃分中，249 個場景用于訓(xùn)練，其余215個場景用于測試。對于訓(xùn)練集，本文從每個訓(xùn)練場景的視頻序列中以固定采樣頻率采樣了大約12 k張圖像。原始圖像分辨率為480×640 pixel，為減小內(nèi)存消耗，首先使用雙線性插值將其下采樣到240×320 pixel，然后再隨機(jī)裁剪到224×304 pixel，作為網(wǎng)絡(luò)的輸入。在官方給出的654 張測試圖像上計(jì)算評價(jià)指標(biāo)。

2.3 實(shí)驗(yàn)細(xì)節(jié)

本文使用深度學(xué)習(xí)框架Pytorch 在單個Nvidia GTX1080Ti GPU 上 實(shí) 現(xiàn) 提 出 的 模 型。ACANet 使用ResNet-50 和ResNet-101 作為骨架網(wǎng)絡(luò)，其參數(shù)在ImageNet 分類任務(wù)[24]上預(yù)訓(xùn)練得到。在所有實(shí)驗(yàn)中，深度間隔設(shè)置為K=80。學(xué)習(xí)速率策略應(yīng)用多項(xiàng)式衰減，衰減公式為 lr×(1?iter/max_iter)power，初始學(xué)習(xí)率lr 設(shè)為2e-4，衰減率power=0.9。優(yōu)化算法采用隨機(jī)梯度下降，其中動量和權(quán)重衰減分別設(shè)置為0.9 和5e-4。

2.4 注意力模型與注意力損失的有效性

為了進(jìn)行定性分析，本文分別訓(xùn)練有注意力損失和無注意力損失的模型，并將注意力模型所產(chǎn)生的注意力圖可視化，如圖3 所示。圖3 中第1 行和第2 行分別給出了在使用 Latt訓(xùn)練和沒有使用 Latt訓(xùn)練的SSA 生成的注意力圖，同一列表示相同綠色“+”位置處的注意力圖。圖3 表明：1） 本文提出的SSA 能夠預(yù)測有意義的上下文區(qū)域，捕獲了大范圍的依賴關(guān)系；2） 通過視覺對比發(fā)現(xiàn)，有 Latt約束的模型可以自適應(yīng)地給出更豐富和全局的上下文區(qū)域。如圖3 中無 Latt約束的注意力圖只能點(diǎn)亮紋理上相似的局部區(qū)域，而有 Latt約束的注意力圖能夠充分捕捉在深度上相似的大范圍區(qū)域，這說明模型學(xué)習(xí)到了圖像整體的遠(yuǎn)近布局。因此SSA 可以根據(jù)語義相關(guān)性，而不是局部或低級圖像特征（如亮度或紋理）的相似性來提取上下文信息。

圖 3 注意力圖可視化Fig. 3 Visualization of attention map

定量結(jié)果見表1 所示。其中“w/o”表示沒有注意力損失約束的模型，“w”表示有注意力損失約束的模型。數(shù)據(jù)表明帶注意力損失的ACANet 在所有評價(jià)指標(biāo)中獲得了更好的結(jié)果。因?yàn)樵谏舷挛男畔⒕酆系倪^程中，當(dāng)前像素位置（綠色“+”處）的特征由上下文區(qū)域的特征進(jìn)行線性組合，線性權(quán)重wi,j由注意力模型給出（見（1）式和（2）式）。由圖3 可見，在有注意力約束的模型中，獲得的注意

力權(quán)重wi,j分布可以更加廣泛而有效地覆蓋有意義的上下文區(qū)域（注意力圖亮度越高，即wi,j越大的物理意義為其深度與像素“+”位置的深度越接近）。因此特征圖中任意像素位置的特征值經(jīng)過上下文聚合能夠更加穩(wěn)定，有效地提高最終的預(yù)測結(jié)果。

表 1 注意力損失函數(shù)的比較Table 1 Comparison of attention loss function

2.5 有序回歸分類與軟性有序推理的有效性

為了驗(yàn)證有序損失的有效性，本文比較了通過有序損失和常用的交叉熵?fù)p失訓(xùn)練得到的深度估計(jì)結(jié)果。圖4 為歸一化的混淆矩陣，對角線元素顯示了訓(xùn)練網(wǎng)絡(luò)正確估計(jì)其真實(shí)類別的像素百分比，非對角線元素顯示深度估計(jì)出錯的位置。從圖4 中可以看出，有序損失的混淆矩陣比交叉熵?fù)p失的混淆矩陣更具有簇狀結(jié)構(gòu)。

圖 4 歸一化混淆矩陣Fig. 4 Normalized confusion matrix

為了說明軟性有序推理的有效性，本文進(jìn)行了定性和定量實(shí)驗(yàn)，所有實(shí)驗(yàn)都采用ResNet-50 為骨架網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果如表2 所示。表2 中“HCE（hard-max cross entropy）”表示采用基于交叉熵分類 的 硬 閾 值 推 理，“SCE（soft-weighted-sum cross entropy）”表示采用基于交叉熵分類的軟加權(quán)推理[22]，“HOI”表示由公式（11）和（12）中定義的基于有序分類的硬閾值推理[19]，“SOI”是采用公式（13）～（15）中定義的軟性有序推理。同時(shí)也給出了現(xiàn)有方法中基于ResNet-50 的模型效果。比較結(jié)果表明：1） 軟推理的方法優(yōu)于硬閾值推理（SCE 好于HCE，SOI 好于HOI）；2） SOI 相比HOI 的提升幅度比SCE 相比HCE 提升幅度大（例如rmse：0.524 到0.508 下降3%，0.536 到0.532 只下降了0.7%）；3） 軟性有序推理得到了最佳的結(jié)果。從以上分析中可以看出SOI 能夠有效提高預(yù)測結(jié)果，因?yàn)槠涑浞掷昧四Ｐ偷念A(yù)測置信度，彌補(bǔ)了由于離散化帶來的誤差。直得一提的是，在同樣使用SCE 的Li[22]與ACANet 的對比中可以看出，ACANet 的網(wǎng)絡(luò)模型更優(yōu)。

表 2 推理策略的比較Table 2 Comparison of inference strategies

硬閾值推理和軟性有序推理的定性比較如圖5所示。由圖5 可以看出，HOI 產(chǎn)生了失真的預(yù)測結(jié)果，而SOI 的結(jié)果平滑且連續(xù)，與真實(shí)深度圖更為相似。這很好地表明了本文提出的軟性有序推理可以在不引入階梯狀偽影的情況下給出更加真實(shí)的深度圖。

圖 5 硬閾值推理和軟性有序推理的定性比較Fig. 5 Qualitative comparison of hard threshold inference and soft ordered inference

2.6 與現(xiàn)有方法的對比

本文對ACANet 與現(xiàn)有方法進(jìn)行了比較，對比結(jié)果如表3 所示。括號中的“Rx”表示以ResNetx 為骨架網(wǎng)絡(luò)。從表3 中可以看出，在分別基于ResNet-50 和ResNet-101 的 方 法 中，ACANet 都 取得了較好的效果，特別是在rmse 和rmselog指標(biāo)上。在同樣是基于分類的深度估計(jì)的方法中Fu[19]，Li[22]和Cao[23]與ACANet 的閾值準(zhǔn)確率較為接近。一方面，可能是由于其使用了更強(qiáng)大的骨架網(wǎng)絡(luò)或模型參數(shù)量更大（如Cao[23]使用了ResNet-152）；另一方面，由于其使用了更大的訓(xùn)練集（見2.7 節(jié)分析），但在rmse 和rmselog指標(biāo)上ACANet 取得了最好的結(jié)果，這是由于本文提出的SOI 能夠減小預(yù)測深度圖的離散化誤差。因此綜合以上分析，本文的方法取得了有競爭力的實(shí)驗(yàn)結(jié)果，并在一些評價(jià)指標(biāo)，如閾值準(zhǔn)確率，rmse 和rmselog上取得了最優(yōu)，體現(xiàn)了本文方法的優(yōu)越性。

定性比較結(jié)果如圖6 所示。圖6 中文獻(xiàn)[4]的結(jié)果也給出了語義化的預(yù)測，但是由于文獻(xiàn)[4]的方法對特征圖施加了過度的下采樣，從而缺少局部的細(xì)節(jié)重建機(jī)制，導(dǎo)致預(yù)測結(jié)果退化為簡單幾何體的組合。文獻(xiàn)[6]的結(jié)果雖然包含大量細(xì)節(jié)，但深度估計(jì)失真較為明顯。例如，在圖6 的第3 行中，從文獻(xiàn)[6]的深度估計(jì)結(jié)果中不難發(fā)現(xiàn)，人的深度信息估計(jì)的不夠準(zhǔn)確。文獻(xiàn)[25]的結(jié)果較為模糊。與已有方法的定性分析可以發(fā)現(xiàn)，本文的深度估計(jì)結(jié)果更富細(xì)節(jié)，并且與整體的真實(shí)情況更匹配，其原因在于本文的有監(jiān)督注意力模型能夠自適應(yīng)地提取長距離的上下文特征，對于復(fù)雜多變的場景更具有魯棒性。

表 3 與現(xiàn)有方法的比較Table 3 Comparison with existing methods

另外，基于擴(kuò)張卷積的方法[15,19]同樣聚焦于提取像素的上下文信息,如圖7 所示。從圖7 的對比結(jié)果中可以看出，其產(chǎn)生的深度圖容易產(chǎn)生網(wǎng)格狀的偽影。原因在于擴(kuò)張卷積在2 個采樣像素之間插入0 值，如果擴(kuò)張率過大，卷積會過于稀疏，容易導(dǎo)致局部信息的丟失，使得信息之間的連續(xù)性被破壞[16]。相反，本文基于注意力模型的方法能夠提取連續(xù)的上下文信息，不會帶來明顯的失真。

圖 6 定性比較結(jié)果Fig. 6 Qualitative comparison results

圖 7 對比結(jié)果Fig. 7 Comparison results

2.7 模型復(fù)雜度的對比

本文比較了ACANet 與現(xiàn)有方法的模型復(fù)雜度，如表4 所示。綜合考慮了模型所占內(nèi)存（memory），所用訓(xùn)練集大小（#trainset）與測試階段的運(yùn)行速度（fps）。從表4 可以看出：基于ResNet-101 的ACANet相比Fu[19]的模型所占內(nèi)存更小，卻取得了更好的性能；基于ResNet-18 的ACANet 占用內(nèi)存最小，但也取得了較好的結(jié)果；Eigen[6]的運(yùn)行速度最高，但其rmse 也最高，其他模型的運(yùn)行速度與內(nèi)存基本呈線性關(guān)系。訓(xùn)練集大小比較結(jié)果如圖8 所示。從圖8 可以看出，F(xiàn)u[19]的模型與ACANet 的rmse最接近，但其使用的訓(xùn)練集大小為本文的10 倍。以上分析結(jié)果表明，本文的方法較好地保證了精確性和運(yùn)行時(shí)間之間的平衡。

表 4 模型容量的比較Table 4 Comparison of model capacity

圖 8 訓(xùn)練集大小的比較Fig. 8 Comparison of training set size

3 結(jié)論

本文提出了一種基于CNN 的單目深度估計(jì)方法，即基于注意力模型的自適應(yīng)上下文聚合網(wǎng)絡(luò)（ACANet）。該算法利用有監(jiān)督的自注意模型（SSA），自適應(yīng)地學(xué)習(xí)像素級的注意圖來捕捉到長距離的上下文信息，這對于細(xì)粒度的深度估計(jì)至關(guān)重要。上下文信息的聚合有利于增強(qiáng)圖像特征的提取，有效地提高了深度估計(jì)的準(zhǔn)確率。本文還提出了軟性有序推理（SOI），充分利用輸出置信度來減小離散化誤差，提高了生成圖像的質(zhì)量。NYU Depth v2 數(shù)據(jù)集上的實(shí)驗(yàn)很好地證明了ACANet的優(yōu)越性。之后的研究工作將進(jìn)一步改進(jìn)深度估計(jì)的網(wǎng)絡(luò)架構(gòu)，并將ACANet 擴(kuò)展到其他的密集標(biāo)記任務(wù)，如語義分割和法向量估計(jì)等。