張 蕾，王園宇，張文濤

(1.太原理工大學軟件學院,山西 晉中 030600;2.太原理工大學信息與計算機學院,山西 晉中 030600)

1 引言

獲取霧霾情況下的圖像深度信息對于場景理解、三維立體重建[1]、障礙物檢測[2,3]和視覺導航[4,5]等研究領域都具有重要的意義。目前利用激光、結構光等在物體表面的反射獲取深度點云，從而完成景物表面建模與場景深度估算的方法，在一些專業(yè)場景下的應用已經相當成熟[6,7]，然而要獲取精確的深度信息通常需要極高的成本，甚至難以實現。此外，在霧霾環(huán)境中，懸浮微粒對光線的吸收與散射十分嚴重，采用上述方法進行測量，精度難以滿足要求。傳統(tǒng)的方法，如根據視頻或多個攝像頭進行深度測量的方法[8]、單目圖像深度估計方法[9]，都沒有考慮霧霾造成的影響，而通過圖像獲取霧霾情況下的場景深度信息具有成本低廉、布置靈活和測量方便等優(yōu)點。本文在估計圖像深度的同時，兼顧了霧霾情況下可見度低的情況，因此具有一定的理論創(chuàng)新性；且霧霾天是一種經常出現的天氣現象，相較于清晰圖像的深度估計，本文研究內容適用性和普遍性更高，因此也具有很強的實際意義。

由于處理單幅圖像的技術具有相對的優(yōu)勢，本文將對霧霾情況下的單幅圖像的深度信息進行估計。在現有研究中，對圖像進行深度估計主要有2個方向：在無霧霾情況下，對圖像進行深度估計，以及在霧霾圖像恢復中，計算圖像的深度信息。

1.1 無霧霾情況下的單幅圖像的深度估計

傳統(tǒng)的單幅圖像深度估計方法主要依靠手工提取特征，構建預測的概率圖形模型，對場景做出幾何假設。Saxena等[10]在2005年使用馬爾可夫隨機場MRF(Markov Random Field)模型從圖像中提取局部和全局特征來推斷深度，該工作后來被擴展到三維場景重建[11]。其他方法,如結合語義標簽，也可以改善深度估計的精度。Liu等[12]將單目深度估計轉化為一個離散連續(xù)優(yōu)化問題，但該方法依賴于RGB圖像中區(qū)域之間的相似性。2014年，Karsch等[13]提出了使用最近鄰搜索的方法，通過融合前景和背景信息來獲取深度信息，但是該方法需要對數據庫中所有數據進行分析，導致計算量大、效率低，且結果依賴數據庫的完整性。綜上所述，傳統(tǒng)方法通常包含多個階段來估算深度，如特征提取、結構預測和細化。然而，每個階段都可能存在估計誤差，積累的錯誤必然會降低整體的估計精度。

隨著深度學習的發(fā)展，得益于神經網絡強大的計算能力和學習能力，使用基于卷積神經網絡CNN(Convolutional Neural Network)的深度估計方法可以端到端地輸出預測深度圖，在保證精確度的前提下提高了場景的深度估計質量。2014年，Eigen等[14]利用CNN在雙尺度網絡結構中預測單幅圖像的深度，雙尺度網絡結構由全局粗尺度網絡和局部細尺度網絡2部分組成。這項工作后來加入基于VGG(Visual Geometry Group)[16]的模型，使用三尺度網絡，以此來預測除場景深度信息以外的法線信息和標簽信息。2017年，Jun等[17]在此基礎上加入一些跳躍連接，用來加速網絡的收斂；并且引入了新的損失函數，以增強網絡泛化能力。2016年，Laina等[18]提出了一種包含殘差網絡的全卷積神經網絡結構，同時構造了一種新的損失函數對單目圖像的深度圖估計進行建模。在這之后，大量研究人員采用這類神經網絡結構進行研究均取得了很好的結果[19,20]。Liu等[21]引入了超像素池和超像素反池策略，將CNN架構與超像素分割相結合，進行超像素深度估計。由于每個超像素內的所有像素都具有相同的深度預測，因此預測深度圖中常常存在塊效應。由于深度具有連續(xù)性，可以用條件隨機場CRF(Conditional Random Field)模型進行深度估計。Liu等[22]在深度學習模型的基礎上加入概率圖模型，將CNN與條件隨機場結合，端對端地訓練并得到了較好的單目圖像深度估計結果。Li等[23]將單目深度估計作為一種分類任務，同時使用擴張卷積和分層特征融合來學習尺度感知深度線索。

以上方法都是針對清晰圖像的深度估計，由于大多數情況下室外大氣條件比較復雜，特別是有霧霾的情況下，光線在傳播過程中與大量懸浮顆粒發(fā)生交互作用，導致可見度下降，若直接使用上述方法進行深度估計，呈現出來的效果較差。

1.2 霧霾圖像恢復中對圖像深度的獲取

為了改善在霧霾情況下圖像的深度估計結果存在的對比度低、細節(jié)特征被覆蓋、色彩嚴重失真等問題，在基于圖像恢復的方法中，使用去霧算法將霧圖還原為清晰圖像?？紤]到霧霾情況下圖像退化的原因，Narasimhan等[24]提出了大氣散射模型,模擬霧霾情況下圖像的退化過程。在還原清晰圖像過程中，通過求解霧霾圖像的大致深度信息，反解出無霧圖像，改善圖像質量，進而得到單幅霧圖的清晰圖像[25,26]。但在求解過程中，由于霧霾情況下介質干擾引起的圖像退化現象較為嚴重，使得利用傳統(tǒng)方法得到的預測深度圖與真實深度圖存在較大的差距，無法表示精確的深度信息。

綜上所述，清晰圖像的深度估計模型缺乏普遍性和適用性，不適用于霧霾圖像，但神經網絡卓越的性能為本文研究提供了思想基礎和理論基礎；而在基于圖像恢復的去霧過程中，場景的深度信息作為去霧算法的中間變量，其精度得不到保證，故無法產生高質量的預測深度圖。針對以上研究現狀，本文主要進行了如下工作：(1)提出雙尺度模型，用于單幅霧霾圖像的深度估計。該模型對單幅霧霾圖像先進行粗提取，再將其融合到更細致的深度估計中，和現有深度估計模型相比，深度估計精度更高，可以得到更多細節(jié)信息。(2)提出多卷積核上采樣，在圖像上采樣階段使用多個小的卷積核來代替大卷積核，分別與特征圖進行運算，將得到的圖像再進行融合。小卷積核可以加快運算速度，省略無用零運算，進而加快了網絡訓練速度，提高了預測深度估計圖的質量。(3)為了得到更好的深度估計效果，提出了新的復合損失函數，將像素級的均方誤差MSE(Mean Squared Error)損失函數與感知損失函數相結合，使用訓練好的網絡提取霧霾圖像的特征，在視覺上更接近真實深度圖，降低了霧霾干擾下圖像的噪聲，保留更多細節(jié)信息的同時提高了深度估計的精度。

Figure 1 Network structure of the proposed method

2 雙尺度網絡模型

2.1 模型設計

2.1.1 網絡模型介紹

受VGG網絡啟發(fā)，本文設計了雙尺度網絡模型，如圖1所示，雙尺度網絡首先使用尺度1(粗尺度)網絡對霧霾圖像的深度信息進行粗提取，然后對粗提取特征使用尺度2(細尺度)網絡進行細化，提高霧霾圖像的深度估計精度。尺度1網絡基于VGG16網絡設計，連接了13層特征提取層(conv-1～conv-5)，每一個卷積層之后都連接批量標準化層(Batch Normalization Layer)，卷積層之間使用5個最大池化層(Max Pooling Layer)對特征圖進行壓縮。VGG16網絡采用修正線性單元ReLU(Rectified Linear Unit)，而在本文方法中，除全連接層外，其他層均采用指數線性單元ELU(Exponential Linear Unit)函數[27]進行非線性激活。在融合了Sigmoid函數和ReLU函數優(yōu)點的同時，ELU函數還使得網絡在梯度下降過程中在負區(qū)間的梯度不為0，有效緩解了梯度消失問題，并在噪聲條件下具有更好的魯棒性。在2個全連接層(第14，15層(fc6、fc7))使用Dropout方法來防止網絡模型過擬合。尺度1網絡最后在經過全連接層后得到4 800維向量，并重塑為1×60×80的粗略深度圖。

尺度1網絡對霧霾圖像進行全局深度預測后，得到霧霾圖像的粗尺度特征，然后將全局粗尺度特征送入尺度2網絡進行局部細化。為了進一步提取霧霾圖像中的深度信息，尺度2網絡融合了尺度1網絡在下采樣過程中提取到的深度特征，有效地利用了場景的全局信息，使得雙尺度網絡在獲取精細深度信息的同時，保留了更多的場景局部細節(jié)特征，在保證精度的前提下獲得了良好的預測深度圖。如圖1所示，尺度2網絡將尺度1網絡經過第1次卷積(Conv-1)和第2次卷積(Conv-2)后的特征圖與尺度2網絡經過細尺度卷積后的特征圖進行融合，然后使用多卷積核上采樣方法將特征圖放大為240×320的預測深度圖。模型的網絡結構和具體參數如表1所示。

2.1.2 多卷積核上采樣方法

上采樣的主要任務是對網絡下采樣提取到的高維特征圖進行放大，最終得到預測深度圖。常用的上采樣方法是插值方法，在高維特征圖的像素點之間插入新的經過計算的像素，但該方法存在場景物體邊界模糊的問題；此外，采用反卷積方式進行上采樣得到的結果往往存在較嚴重的棋盤效應；在深度學習模型中，有一種上采樣方法是對高維特征圖進行2倍放大，空像素點用0進行填充，再使用7×7的卷積核對插入0像素的特征圖進行反卷積。這種方法的缺點是放大后的特征圖中含有大量0像素，因此增加了較多無用運算。

Table 1 Network parameters of two-scale neural network

為了解決上述方法中出現的問題，本文將7×7的反卷積核替換為4個較小的卷積核。如圖2所示，卷積核大小分別為2×2，2×3，3×2，3×3，將高維特征圖與4個不同大小的卷積核分別進行卷積運算，然后將得到的4幅新的特征圖在通道維度上進行連接，之后使用激活函數(ELU)、歸一化層和卷積層，最終使特征圖的大小擴大為原來的2倍。本文的多卷積核上采樣方法在降低棋盤效應，保留邊緣信息的同時，跳過了多余的0運算，縮短了網絡的訓練時間。

Figure 2 Multi-convolution kernel upsampling method

Figure 3 Proposed joint loss of cascaded network

2.2 融合感知損失的復合損失函數

深度學習中，損失函數是訓練網絡模型過程中的重要一環(huán)，使用恰當的損失函數可以提高網絡的訓練速度和深度估計性能，從而保證網絡具有良好的訓練效果和收斂性。

2.2.1 像素損失

目前常用的損失函數為均方誤差函數MSE，用以計算預測深度圖與真實深度圖之間的像素級誤差，以最小化預測結果與真實值逐像素差的歐氏范數平方作為收斂方向，MSE損失函數定義如式(1)所示：

(1)

2.2.2 感知損失

傳統(tǒng)的像素損失是逐像素比較預測深度圖和真實深度圖的差異，重建出的預測深度圖存在模糊的問題。最近研究發(fā)現[28,29]，預訓練的VGG16網絡所提取的特征可以作為圖像合成任務中損失的度量標準，通過比較特征之間的差異來衡量圖像的感知相似性?？梢栽谔崛鼍吧疃刃畔⒌耐瑫r保留更多的場景結構信息，提升預測深度圖的視覺質量。

為了提高網絡的深度估計精度，解決霧霾干擾情況下圖像模糊對模型的影響，本文引入感知損失函數，使預測深度圖在視覺效果上更加接近于真實深度圖。相對于其他網絡，VGG16具有更深的網絡層數和更小的卷積核，使用預訓練的VGG16作為特征提取器，可以在保證感受野的前提下減少模型參數，提取豐富的細節(jié)信息。由于感知損失不需要成對的圖像訓練網絡，這使得網絡訓練時的參數量減小。感知損失將真實深度圖與預測深度圖輸入VGG16網絡隱含層，在隱含層提取高級特征信息，經過網絡第4層之后計算感知損失，如式(2)所示：

(2)

2.2.3 融合感知損失的復合損失函數

本文提出將像素損失和感知損失結合的復合損失函數，如式(3)所示:

L=WMSELMSE+WPLP

(3)

其中，WMSE和Wp為權重，LMSE為像素損失函數，LP為感知損失函數。本文的復合損失函數的實現過程如圖3所示，首先將加霧圖像與真實深度圖作為雙尺度神經網絡的輸入，使用MSE損失函數逐像素比較預測深度圖與真實深度圖的不同。然后將預測深度圖與真實深度圖輸入到已訓練好的VGG16網絡中，并從網絡第4層中提取兩者的高級特征，定義感知損失函數，與MSE損失函數結合成為復合損失函數。通過最小化復合損失函數繼續(xù)學習兩者差異，使兩者在特征感知上更相似，最終生成深度估計圖。

3 實驗與結果分析

3.1 實驗數據及數據預處理

本文實驗使用2種不同的數據集，分別是NYU Depth v2室內數據集[30]和Make3D室外數據集[10,11]。

NYU Depth v2數據集由微軟Kinect的RGB圖像和Depth攝像機記錄的各種室內場景的視頻序列組成，原始數據集中圖像尺寸均為640×480，數據集中包含了1 449對密集標記的RGB圖像和深度圖像，本文將其中1 000對作為訓練集，200對作為測試集，249對作為驗證集。

Make3D數據集是Saxena等建立的數據集，該數據集是一個包含不同室外場景真實景深的標準訓練數據集，目前已廣泛應用于三維重建的研究。Make3D數據集提供400對圖像組成訓練集，134對圖像組成測試集，其戶外圖像的真實場景深度由激光設備測量得到。

將2個數據集中的圖像分別降采樣到320×240大小，由于訓練集數據量較少，所以本文將圖像對進行數據擴充，方法如下所示：(1)左右翻轉：將圖像水平、左右翻轉。(2)尺度變換：RGB圖像和深度圖分辨率按照等比例縮放，尺度因子s∈[1.1,1.5]。(3)色彩變換：將彩色圖的亮度、對比度和飽和度等比例縮放，縮放因子k∈[0.6，1.3]。根據上述方法，在2個數據集上都分別得到了12 000個訓練樣本。

由于用于深度估計的數據集中大部分都是室內外的清晰圖像以及對應的深度圖，所以在實驗時需要將數據集進行預處理，將清晰的圖像人工加霧用于網絡模型訓練。本文分別從增強后的數據集中獲取無霧圖像及其真實場景深度圖，再結合He等[31]的方法以及PS技術進行加霧，制作成為所需的加霧數據集，得到的部分加霧圖像如圖4所示。

Figure 4 Adding fog on NYU Depth v2 and Make3D datasets

3.2 實驗環(huán)境與設置

本文在Ubuntu系統(tǒng)下，基于PyTorch框架進行實驗，編程語言為Python 3.6。所有模型均使用2塊NVIDIA 2080Ti顯卡訓練，顯存容量為20 GB；CPU型號為Intel(R)Xeon(R)E5-2680 v3，主頻為2.50 GHz，內存為64 GB。批尺寸(Batch Size)設置為8，初始學習率為0.001，學習率衰減因子α=0.9。優(yōu)化器采用隨機梯度下降法，動量為0.9。模型訓練過程為：首先對尺度1網絡進行訓練，當尺度1網絡收斂至穩(wěn)定時，固定尺度1網絡的參數；然后對尺度2網絡進行訓練，待尺度2網絡的參數收斂后，對2部分網絡同時更新至收斂。

3.3 評價指標

本文將與同樣在加霧后的數據集上開展的其他研究成果進行對比，采用了常用的衡量指標來評估結果。

(1)準確率。

(2)平均相對誤差REL(mean RELative error)。REL計算方法如式(4)所示：

(4)

(3)對數空間平均誤差ALE(Mean Log10 Error)。ALE計算方法如式(5)所示：

(5)

(4)均方根誤差RMSE(Root Mean Squared Error)。RMSE計算方法如式(6)所示：

(6)

其中，T為測試圖像的像素數量總和。

3.4 NYU Depth v2數據集實驗結果

將NYU Depth v2數據集按照6∶2∶2的比例劃分為訓練集、驗證集和測試集，使用約7 200對霧圖-深度圖訓練樣本對模型進行訓練。模型訓練損失曲線圖如圖5所示。從圖5中可以看到，隨著迭代次數的不斷增加，網絡模型的精度損失逐漸降低，當達到300次后，模型開始收斂至穩(wěn)定，表明本文提出的模型可達到預期訓練效果。

Figure 5 Loss curvs of training on NYU Depth v2 dataset

為了提高預測深度圖中物體的邊緣質量，本文提出了多卷積核上采樣方法，加快了網絡的訓練速度。為了證明本文提出的多卷積核上采樣方法的有效性，在保持相同實驗設置和模型參數的情況下，分別使用7×7卷積核與多卷積核進行上采樣，網絡的訓練時間如圖6所示。從圖6中可以看出，當網絡收斂時，7×7卷積核上采樣訓練時間約23 h，而多卷積核上采樣訓練時間約20.2 h，比7×7卷積核直接上采樣的訓練時間縮短約12%。圖7為定性實驗結果，從圖7中可以看出，相比于使用7×7卷積核上采樣方法，多卷積核上采樣進一步細化了場景物體邊緣輪廓(臺燈)。同時，對比圖7b和圖7c，使用復合函數也使得預測深度圖的模糊問題得到改善，在保證深度值精度的前提下提高了預測深度圖的視覺質量。

Figure 6 Comparison of training time on NYU Depth v2

Figure 7 Comparison of upsampling on NYU Depth v2 dataset

為了進一步驗證本文方法的有效性，將本文方法與文獻[14,18,23]等的方法進行比較，結果如圖8所示。從圖8中可發(fā)現，在相同實驗條件下，本文方法生成的深度預測圖中物體邊緣結構(桌椅、墻壁等)更為清晰，深度值識別更為準確。相較于其他對比方法，本文方法的預測深度圖在場景的邊緣區(qū)域(臺燈、書架等)具有更好的效果。這是因為本文的雙尺度模型融合了2次特征信息，使得網絡可以充分地提取霧霾圖像的深度信息和結構信息；并且本文在尺度2網絡收斂后繼續(xù)訓練雙尺度網絡，使得網絡可以學習到更好的參數，在霧霾干擾下取得良好的深度估計效果。

Figure 8 Comparison of depth predictions on NYU Depth v2 dataset

如圖8g所示，基于MSE的損失函數得出的結果對場景深度信息的還原較為平滑，這是因為MSE損失函數在像素空間對預測深度圖的深度值做了平均。如圖8h所示，使用融合感知損失的復合損失函數后，邊緣信息和細節(jié)信息保留較充分。相較于只使用MSE損失函數，第2行中臺燈的邊緣更為清晰；第4行中書架的結構輪廓和細節(jié)信息預測更為準確。這是因為感知損失結合了已訓練好的神經網絡的高級特征信息，提取的細節(jié)更為豐富，當融合MSE損失函數后，會得到更好的結果。

在NYU Depth v2室內數據集上，本文方法與其他方法對比的定量實驗結果如表2所示。從表2中可以看出，引入了感知損失函數的方法各項評價指標都有較大提高，相比于MSE損失函數，使用復合損失函數得到了較小的誤差數據，并且在準確率上也有了較大提升。通過對比可以看到，本文提出的方法在各項指標上都有比較好的表現。

Table 2 Comparison of experimental results on NYU Depth v2 dataset

Figure 9 Loss curves of trianing on Make3D dataset

3.5 Make3D數據集實驗結果

將預處理之后的Make3D數據集中的訓練集用于模型的訓練，約7 200對圖像，訓練后的loss-Epoch圖如圖9所示。圖9表明隨著迭代次數的增加，模型的損失在逐漸降低，在Epoch=300時逐漸收斂至穩(wěn)定狀態(tài)，表明復合損失函數對雙尺度網絡起到了有效的監(jiān)督，可達預期效果。

如圖10所示，在迭代到300次時，使用多卷積核上采樣方法(22.4 h)比7×7卷積核(25.5 h)訓練時間更短。同時從圖11可以看出，使用多尺度卷積核上采樣得到的預測深度圖中，物體的邊緣較為清晰，改善了較大卷積核對圖像的影響。

Figure 10 Comparison of training time on Make3D dataset

Figure 11 Comparison of upsampling on Make3D dataset

將本文方法在Make3D數據集上的實驗結果與文獻[12,13,22]方法的實驗結果進行對比，結果如圖12所示。從圖12中可以看到，本文方法對較遠(?70 m)區(qū)域(如第1行與第2行)的邊緣信息識別良好。由于添加了復合損失函數，一些邊緣信息保留完好，比如第1行中房屋門洞的邊緣信息。對近處(<70 m)區(qū)域的識別也有很大提升，相較于其他方法，第3行中樹木的邊緣清晰度，以及樹左邊的深度估計，都比較逼真地還原了真實深度圖。

Figure 12 Comparison of depth map predictions on Make 3D dataset

在Make3D數據集上的對比實驗定量評價結果如表3表示，表中C1誤差表示計算真實深度值小于70 m的圖像區(qū)域，C2誤差表示全部圖像區(qū)域都將參與誤差的計算?？梢钥闯霰疚姆椒ㄔ贑1和C2誤差上均低于其他對比方法。

Table 3 Comparison of experimental results on Make3D dataset

4 結束語

本文提出了雙尺度網絡模型對單幅霧霾圖像進行深度估計，該模型結合感知損失函數與MSE損失函數，并使用多卷積核上采樣方法進行優(yōu)化，能夠更加快速地對模型進行訓練，準確地對單幅霧霾圖進行深度估計。在加霧預處理后的NYU Depth v2和make3D數據集上進行了實驗，結果表明本文方法對霧霾圖像深度估計有著良好的適應性，提高了霧霾情況下的估算精度，滿足實際應用的基本要求。然而，所提網絡模型只能處理大小固定的圖像，不具有靈活性和普適性，將在下一步工作中，對輸入圖像尺寸固定這一不足進行改進。