李宇琦，趙海濤

（華東理工大學 信息科學與工程學院，上海 200237）

引言

深度估計是計算機視覺研究領域中一個至關重要的問題[1-4]。它主要研究如何從二維圖像中恢復場景的深度信息，這種深度信息有助于理解物體與周圍環(huán)境之間的幾何關系，在提升無人車駕駛安全性[2]和機器人[3]等方面有重要的應用。

目前對深度估計的研究大多數是以可見光圖像作為輸入。這些研究中，傳統方法通常需要提取手工特征[5-6]。隨著卷積神經網絡（convolutional neural network, CNN）的發(fā)展，越來越多基于CNN的深度估計方法[2,7-8]被提出。Eigen 等學者[7]提出了第一個基于CNN 的深度估計方法，該方法先對輸入圖像進行深度圖的粗預測，然后對粗預測進一步精細化得到最終的深度圖。Li 等學者[8]提出了一個深度CNN 來獲得可見光圖像的深度圖，然后使用條件隨機場精細化深度圖。然而可見光圖像對光照的變化十分敏感，在光強很低的情況下很難提取出有效的特征。

針對可見光圖像對場景中光照條件的限制，很多學者提出使用紅外圖像來進行場景的深度估計[1,9-10]。Sun 等學者[9]提出了基于核主成分分析（kernel principal component analysis, KPCA）和全連接神經網絡的方法，該方法首先使用KPCA 提取出適用于紅外圖像的非線性特征，然后利用該特征和真實深度標簽訓練神經網絡。Xi 等學者[10]提出了基于多尺度和空間上下文的特征提取方法，然后通過獨立成分分析來選擇適合于深度估計任務的紅外特征，最后使用支持向量回歸來估計深度。由于紅外圖像缺乏紋理信息，對比度低，因此單獨使用紅外圖像作為輸入得到的深度圖邊緣不清晰，準確率不高。

通過以上分析可知，基于單一類型傳感器進行深度估計很難在任何光照下都得到理想的結果，因此很多圖像融合的方法被提出[11-12]。Prabhakar等學者[11]提出了利用CNN 融合兩種圖像的亮度通道，利用加權平均融合策略融合色度通道，最后將各個通道融合結果相加?，F有的圖像融合方法中大多是將兩種圖像特征等權重相加，沒有考慮不同類型圖像對不同場景深度估計的不同貢獻。與此同時，普遍認為較深層的特征可提取全局上下文信息，而較淺層的特征可提取更多的空間細節(jié)信息，現有的圖像融合方法只在最后一層卷積后進行融合，忽視了淺層卷積特征對深度估計的作用。

針對以上問題，本文提出了基于紅外和可見光圖像逐級自適應融合的深度估計方法（progressively fusion convolution neural network of infrared and visible light images, PF-CNN），自適應地融合不同卷積層下兩種圖像的特征，并逐級學習各層融合特征的結合以獲得具有更多細節(jié)信息的深度圖。該方法包含3 個部分，雙流濾波器部分耦合卷積神經網絡（two-stream filter coupled network, TFCNet），自適應多模態(tài)特征融合網絡（adaptive multi-model feature fusion network, AMFNet）和自適應逐級特征融合網絡（adaptive progressively feature fusion network,APFNet）。受文獻[13]啟發(fā)，濾波器在TFCNet 中部分耦合以學習紅外和可見光圖像之間的非線性轉換，使兩者特征進一步增強。AMFNet 中利用殘差密集塊提取兩種圖像的殘差特征[14]，同時設計自適應加權融合的方法將不同卷積層中兩種圖像的特征進行融合，充分考慮了兩種圖像對場景深度估計時的不同貢獻。APFNet 利用自適應加權融合方法學習多級融合特征，充分考慮到不同卷積層的特征對深度估計的不同作用。

1 網絡結構

下面介紹基于紅外和可見光圖像逐級融合的深度估計方法，該方法的網絡示意圖如圖1 所示。

圖1 網絡結構圖（PF-CNN）Fig.1 Structure diagram of network (PF-CNN)

1.1 雙流濾波器部分耦合卷積神經網絡

如前所述，單一類型的圖像包含的信息不充分，導致估計的深度圖不精確，因此本文提出的PF-CNN 采用將紅外和可見光圖像同時作為輸入的雙流卷積神經網絡。由于每一對紅外和可見光圖像表示同一場景的不同類型圖像，所以兩者之間存在相關性。Wang 等學者[13]認為有一定相關性的兩種特征可以通過濾波器耦合來相互表示和轉換。然而，即使經過十分復雜的操作，也不是所有的紅外和可見光圖像的特征都可以相互轉換。

基于以上分析，本文設計了雙流濾波器部分耦合卷積神經網絡（TFCNet），如圖1 紅色虛線框中所示，每一束卷積流都采用AlexNet 作為基礎網絡框架。在TFCNet 中，紅外圖像和其對應的可見光圖像分別作為輸入，不同于傳統的雙流CNN，TFCNet在每一層卷積中都將兩種圖像的濾波器部分耦合。如圖1 所示，濾波器分為3 個部分：綠色部分為提取紅外特征的濾波器，紅色部分為提取可見光特征的濾波器，黃色部分為兩者部分耦合的濾波器。耦合的濾波器既要提取紅外圖像的特征，也要提取可見光圖像的特征。通過濾波器部分耦合的方式可以將紅外和可見光圖像視為彼此的“輔助變量”。紅外圖像可以幫助可見光圖像捕捉到在光線較暗情況下難以提取到的有辨別力的特征，可見光圖像可以幫助紅外圖像中提取到更多細節(jié)信息。非耦合濾波器學習兩種圖像各自的特征。各層中耦合濾波器的數量與濾波器總數的比值被稱為耦合率：

式中：Ki為第i層的耦合率；ni是第i層耦合濾波器的數量；totali為第i層濾波器的總數。耦合率都采用網格搜索法來設定，從最后一層卷積開始設置耦合率逐漸以0.25 的步長增大，以均方根誤差作為評價指標，若均方根誤差下降，則耦合率繼續(xù)增大，若均方根誤差上升，則返回至原來的狀態(tài)并增大前一層的耦合率，以此方式依次進行?；诒疚牡木W絡結構和數據集耦合率依次為0，0.25，0.5，0.75?？梢钥闯鲴詈下手饾u增大，這是因為在較淺層的紋理等細節(jié)特征上紅外和可見光圖像有較大的差異，較深的結構和輪廓等特征上紅外和可見光圖像有較大的相似性，容易學習兩者的可轉換特征。

在TFCNet 中，采用反向傳播算法更新濾波器的參數。非耦合的濾波器參數在每次訓練過程中迭代1 次，耦合的濾波器參數迭代2 次。因此，假設在參數更新過程中，先更新紅外卷積流的參數，再更新可見光卷積流的參數。參數α更新如下：

式中：n是迭代次數；μ為學習率；L為損失函數。耦合濾波器的權重更新過程如下：

濾波器耦合的設計利用兩者優(yōu)勢，彌補了可見光圖像對光線敏感以及紅外圖像紋理缺失的不足。

1.2 融合網絡

為了充分利用兩種圖像特征的互補信息，本文設計了一種自適應融合策略來融合多種特征。同時，大多數網絡各個卷積層提取的特征一般用來參與后一層卷積的特征生成，并沒有直接參與最終的深度估計，導致預測結果細節(jié)缺失。針對以上分析，本文的融合網絡包含2 個部分，分別為自適應多模態(tài)特征融合網絡（adaptive multi-model feature fusion network, AMFNet）和自適應逐級特征融合網絡（adaptive progressively feature fusion network,APFNet）。

1.2.1 自適應多模態(tài)特征融合網絡

考慮到紅外和可見光圖像的特征在不同場景對不同目標進行深度估計時所起的作用不同，本文設計了自適應多模態(tài)特征融合網絡（AMFNet）。

AMFNet 網絡的具體形式如圖2 所示，主要由殘差密集塊（residual dense blocks, RDB）和自適應加權融合組成。通過TFCNet 得到紅外和可見光圖像的特征，將兩種特征均進行一個1×1 的卷積，對每一個特征降低維度，避免出現參數爆炸問題。然后將每個特征通過m個RDB，如圖2 中紅色虛線框所示。RDB 允許將每一層的輸出與當前塊中后續(xù)所有層直接相連，也允許將前一個RDB的輸出與當前塊中的每一層連接，則第s個RDB中第i層的輸入如下：

式中：s表示第s個RDB；i表示當前RDB 中第i層。如果每個RDB 最終輸出N0個特征，且每一層輸出N個特征，則第i-1 層的輸出可以得到N0+（i-1）N個特征，本文令m=2，N=N0=32。相較于傳統的CNN，RDB 可以充分利用原始特征的所有分層特征，使得各層之間的信息最大化，使邊緣等細節(jié)信息增強。隨后進行一個3×3 卷積，該操作對特征進行適當的縮放起到關鍵的作用。

圖2 自適應多模態(tài)特征融合網絡（AMFNet）Fig.2 Adaptive multi-model feature fusion network (AMFNet)

令fhw∈Rb×w×h×c和fkj∈Rb×w×h×c分別表示從兩種模態(tài)最終提取出來的紅外和可見光特征。由于紅外和可見光圖像的特征不同，本文設計了自適應加權融合策略，如圖2 中綠色虛線框所示。首先，將兩種特征在第三維度上連接，此時通道數為2c。其次，為了獲得與兩種特征相同維度的系數，矩陣引入了1×1 卷積，該操作學習兩種特征之間的相關性并得到了系數矩陣M。最后，通過Sigmoid層使M中的每個元素轉換為0～1 之間的概率形式，即為最終的系數矩陣G，令紅外圖像特征的系數矩陣Ghw=G，則可見光圖像特征的系數矩陣Gkj=1-G，兩者分別表示了紅外和可見光特征對深度估計任務的貢獻程度。即：

式中⊙表示點積。自適應加權融合策略決定了可以依賴紅外或可見光圖像的特征來進行深度估計的程度。

由于較淺層的卷積中提取到更多的細節(jié)信息，較深層的卷積提取到更多的輪廓等特征，若只利用最后一層的融合特征，則會忽略淺層信息，導致估計出的深度圖細節(jié)缺失。因此本文希望各層雙流卷積特征均通過AMFNet 進行融合，充分利用各層的特征?？紤]到第一層卷積太淺，特征無法進行可靠的預測，所以本文所設計的網絡不會對第一層卷積特征進行融合。

1.2.2 自適應逐級特征融合網絡

為了學習各層的融合特征，充分利用深層特征和淺層特征，讓各層級的特征直接參與最終的深度估計，本文設計了APFNet，自適應地學習不同層融合特征的結合，如圖3 所示。

圖3 自適應逐級特征融合網絡（APFNet）Fig.3 Adaptive progressive feature fusion network(APFNet)

APFNet 中采用與AMFNet 中相同的自適應加權融合策略來融合不同卷積層的融合特征。首先對最后2 層的融合特征進行自適應加權融合，得到分辨率與第2 層卷積相同的融合特征，然后將該融合特征同第2 層融合特征進行自適應加權融合，得到最終的紅外與可見光融合特征。但是該策略在這兩個部分所起的作用截然不同。在APFNet 中，自適應加權策略是通過網絡自適應地學習細節(jié)特征和輪廓特征對深度估計任務的不同貢獻，在AMFNet 中自適應加權融合策略，衡量可以依賴紅外和可見光圖像進行深度估計的程度。隨后3×3 卷積自適應地學習全部特征，我們設計了上采樣層，輸出分辨率為256×512 像素的深度圖。

1.3 網絡訓練

本文使用Tensorflow 深度學習框架，參數采用截斷正態(tài)分布進行初始化。學習率初始化為1e-4，每迭代20 000 次以0.9 的因子進行衰減，共迭代80 000 次。將交叉熵作為損失函數，利用Adam 優(yōu)化器最小化損失函數：

式中：L為損失函數；ypredictedi為真實預測值；yi為期望預測值。

實驗數據集NUST-SR 由無人車在白天和夜間采集的真實道路場景組成，采集設備如圖4 所示。原始圖像由分辨率為768×576 像素的紅外和可見光圖像及其深度值所組成，并利用NYUDepth 開發(fā)工具中Levin 等人[7]的方案對沒有深度值的點進行補點。此外，本文使用分類方法進行深度估計，將真實深度圖在對數空間劃分為32 個類，該分類方法可以使近處的場景準確度較高，遠處的場景準確度較低。最后將紅外圖像、可見光圖像以及深度圖剪裁為分辨率256×512 像素的圖像，最終訓練集3 000 張，測試集1 000 張。

圖4 采集圖像設備Fig.4 Device of image acquisition

2 實驗及結果

介紹了評估實驗結果所用的評價指標，然后對PF-CNN 進行全面分析，證明該方法中濾波器部分耦合、自適應加權融合方法以及逐級融合的有效性，通過對比不同深度估計方法[1,7,15-21]得到的深度圖以及不同方法的參數內存，發(fā)現PF-CNN 在本文數據集上得到了最好的表現。

2.1 評價指標

為了在測試集上定量地證明基于紅外和可見光圖像逐級自適應融合的深度估計方法的性能，本文引入在深度估計領域中通用的評價指標，如下所示：

式中：pgti表示真實深度；pi表示預測深度；t表示像素總數。RMSE、Rel 和log10誤差用來度量預測深度和真實深度之間的差異，值越小越好。閾值準確度用來度量預測深度和對應真實深度之間的相似度，值越大越好。

2.2 濾波器部分耦合效果

在雙流卷積網絡[11-12]中，紅外和可見光圖像的卷積核相互獨立，紅外和可見光圖像的特征相互沒有影響。但是在本文TFCNet 中采用了濾波器部分耦合的方式，使提取到的特征進一步增強。

將兩者濾波器部分耦合和不耦合得到的深度圖進行對比，結果如圖5 所示。從圖5 可以看出，將濾波器部分耦合后得到的深度圖更接近真實深度，物體輪廓更加清晰，說明兩種圖像提取的特征通過濾波器部分耦合得到了增強。從上述4 個測試圖像中隨機選取100 個像素的分類結果如圖6所示，將其與該像素點的真實類別比較，可以看到使用濾波器部分耦合方法后的預測分類結果更接近真實深度分類。

圖5 紅外和可見光圖像的濾波器是否耦合得到的深度圖對比Fig.5 Comparison of depth diagram whether filters coupled of IR/visual light

圖6 4 個場景中濾波器是否耦合的分類結果比較Fig.6 Comparison of classification whether filters coupled in 4 scenes

2.3 紅外和可見光圖像融合的效果

為了證明基于紅外和可見光圖像逐級融合的方法相較于單獨使用紅外或可見光圖像進行深度估計的優(yōu)勢，將PF-CNN 與單獨使用紅外和可見光圖像估計深度以及只在最后一層卷積處融合兩種圖像特征估計深度進行對比，4 個指標的比較結果見表1 所示?？梢钥闯?，基于紅外和可見光圖像的特征逐級融合的方法在RMSE、Rel 和log10誤差指標上數值最小，在閾值指標上，結果恰好相反。

表1 PF-CNN 與單獨使用紅外或可見光以及只在最后一層融合的4 個指標對比Table 1 Comparison of four indicators when using PF-CNN , using infrared or visible light only and fusing at last layer only

L1 范數融合、相加融合、加權融合和連接融合是兩種圖像進行融合經常用到的方法。本文將這些方法同自適應加權融合方法相比較，如圖7 所示。通過比較可以看出，基于自適應加權融合方法預測的深度圖在不同對象的邊緣和細節(jié)方面具有相當大的優(yōu)勢。

2.4 相關深度估計方法的比較

圖7 不同融合方法比較Fig.7 Comparison of different fusion methods

圖8 不同深度估計方法的深度圖對比Fig.8 Comparison of depth diagrams by different depth estimation methods

本文PF-CNN 得到的深度圖同其他經典方法得到的深度圖進行對比，如圖8 所示。從圖8 可以看出，不論是圖像中的樹還是行人，本文方法都有更清晰的輪廓。通過融合紅外和可見光圖像的信息，PF-CNN 可以增加紅外圖像的細節(jié)信息，減少可見光圖像的冗余信息，同時，AMFNet 中的殘差密集塊可以增強融合特征并恢復細節(jié)信息。

為了說明PF-CNN 的性能優(yōu)勢，將上述4 種評價指標進行比較，如表2 所示?？梢钥闯鯬F-CNN在各項指標上都得到了最好的表現，特別是閾值指標提高了5%。表3 為各種方法的參數內存比較，可以看出PF-CNN 比Eigen 等學者[11]的多尺度方法少了6.1 M，這是因為紅外和可見光圖像的濾波器耦合大大減少了參數的數量，說明本文方法在參數較少的情況下達到了最好的效果。

3 結論

為了解決單一類型圖像在深度估計中受場景不同光照的限制問題，同時使紅外和可見光圖像在不同場景下對深度估計起不同的貢獻，本文提出了基于紅外和可見光圖像逐級融合的PF-CNN網絡，它將紅外和可見光圖像的濾波器部分耦合，進一步增強兩者的特征，并將除第一層外的紅外和可見光特征進行自適應加權融合，解決了在不同光照條件下不能準確估計深度的問題。同時PF-CNN 將各層的融合特征進一步逐級自適應融合，使不同卷積層的特征對深度估計做出不同的貢獻。

未來將在不同的數據集上驗證PF-CNN 的效果，并在此基礎上進一步改進深度估計網絡架構。將嘗試采用遞歸神經網絡來處理圖像序列的不同幀之間的相關信息。

表2 不同深度估計方法的指標對比Table 2 Comparison of indicators by different depth estimation methods

表3 各種方法參數內存比較Table 3 Comparison of parameters memory by different methods