宋建輝，周 航，劉硯菊，崔 潔

(沈陽理工大學 自動化與電氣工程學院，沈陽 110159)

圖像融合是一種增強技術，其可將多種信息源的圖像融合在一塊，給人眼提供更多的視覺信息[1]。紅外圖像提供了熱輻射信息，而可見光圖像提供了細節(jié)信息，兩者相融合能夠有效提取可見光圖像的細節(jié)信息，顯示紅外圖像中的區(qū)域目標和背景[2]。目前紅外與可見光圖像融合已經(jīng)很好地應用在軍事、醫(yī)療、工業(yè)等方面。

圖像融合包括了像素級融合、特征級融合和決策級融合，目前最成熟的融合方法依舊是像素級融合[3]。像素級融合中最簡單的方法還是加權平均法[4]。像素級融合方法還包括拉普拉斯金字塔(LaplAcianPyramid，LAP)[5]、離散小波變換(Discrete Wavelet Transform，DWT)[6-7]、非下采樣剪切波變換(Non-Subsampled Shearlet Transform，NSST)[8]等。Zhou Zhiqiang等[9]提出使用高斯和雙邊濾波混合的多尺度分解，但這些多尺度變換方法在特征處理上還有很多不足。有些研究者利用深度學習對圖像進行特征處理，深度學習算法使用大量的圖像訓練網(wǎng)絡，進而獲得圖像的更多特征，如Hou R C等[10]在對醫(yī)學圖像的融合里應用了卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)，且取得不錯的融合結果。Liu D等[11]將深度學習網(wǎng)絡VGG19應用于多聚焦圖像融合，也獲得了良好的性能。深度學習在圖像融合方面，相較于傳統(tǒng)融合算法具有很大的優(yōu)勢，然而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡一般會由于網(wǎng)絡層數(shù)的增加，梯度會不斷的變小甚至消失，計算量增大，于是研究者們在卷積神經(jīng)網(wǎng)絡的基礎上進行改進，提出了殘差網(wǎng)絡、密集卷積神經(jīng)網(wǎng)絡等。

將密集卷積神經(jīng)網(wǎng)絡與殘差網(wǎng)絡的兩種網(wǎng)絡相結合，既能充分處理深度特征，也減少了參數(shù)冗余等問題，從而獲得更好的融合性能。本文將紅外與可見光圖像分解為高頻和低頻部分，低頻部分使用平均融合策略進行融合；利用雙路徑網(wǎng)絡(Dual Path Networks，DPN)對高頻部分進行深度特征處理；然后對得到的特征進行正則化、卷積處理，利用最大選擇策略得到高頻部分融合圖；最后對低頻與高頻部分融合圖像進行重構，得到最終融合圖像。

1 相關工作

DPN是由ResNet的改進版ResNeXt與DenseNet結合組成的網(wǎng)絡。ResNet是一種殘差網(wǎng)絡，使用捷徑鏈接和殘差表示方法，因此更易優(yōu)化。殘差網(wǎng)絡的殘差跳躍結構改變了傳統(tǒng)神經(jīng)網(wǎng)絡固定輸出模式，使神經(jīng)網(wǎng)絡中某一層輸出跨過好幾層作為后面某一層的輸入；這種跳躍式輸出結構增加了網(wǎng)絡的準確率。ResNeXt是ResNet的改進版，是ResNet和Inception的結合體。Inception就是拆分轉換再合并的一種結構。ResNeXt將一條殘差路徑變成了多條殘差路徑。圖1為殘差塊結構圖，其中左邊是ResNet殘差塊結構，右邊是ResNeXt殘差塊結構；右邊是將一條路徑分成32條路徑，再將其進行卷積操作，然后相加，兩者通道數(shù)不變。

2017年由清華大學、康奈爾大學和Facebook研究者們共同提出了基于卷積神經(jīng)網(wǎng)絡改進的網(wǎng)絡，稱為密集卷積神經(jīng)網(wǎng)絡[12]。該網(wǎng)絡將所有網(wǎng)絡層兩兩連接，既所有的先前層特征都可以作為輸入，每層的特征加上先前層的特征作為輸出，使得特征在不斷重復使用，減少了特征丟失，同時也減輕了隨著網(wǎng)絡層數(shù)的增加梯度不斷減少的問題。其網(wǎng)絡結構如圖2所示。

密集塊是密集卷積神經(jīng)網(wǎng)絡核心，過渡層在兩個密集塊之間，過渡層的存在不僅降低了計算量，還避免了網(wǎng)絡訓練時過擬合的問題，增加了網(wǎng)絡的魯棒性。DPN是ResNeXt與DenseNet兩個網(wǎng)絡的結合體，圖3為兩個網(wǎng)絡結合的結構圖，其左邊為DenseNet，右邊為ResNeXt；兩邊進行相加操作，然后進行3×3的卷積操作且再進行1×1的維度變換；接著通道分裂，左邊的原輸入進行合并操作，右邊的原輸入進行相加操作，既形成了DPN網(wǎng)絡，其網(wǎng)絡結構如圖4所示。

2 融合算法

(1)

(2)

(3)

2.1 低頻部分融合

(4)

2.2 高頻融合部分

(1)提取深度特征。利用DPN網(wǎng)絡對圖像高頻部分的深度特征進行提取，定義網(wǎng)絡的特征提取層為H，提取到的特征層為Lk，m表示特征層的通道數(shù)量，則

(5)

(6)

(7)

(8)

2.3 重構圖像

最后對獲得低頻融合圖像和高頻融合圖像進行重構，得到最終的融合圖像F(x，y)，其表達式為

F(x，y)=Fb(x，y)+Fd(x，y)

(9)

3 實驗結果及分析

本文實驗在Pycharm平臺完成。選取三組紅外與可見光圖片進行實驗，第一組紅外圖像的特征較強；第二組可見光圖像特征較強；第三組紅外與可見光的圖像特征較為均衡。分別將本文算法融合結果與RestNet融合方法和DenseNet融合方法的融合結果做對比。

第一組實驗結果如圖6所示。

從圖6中可以看出，對比ResNet融合方法與DenseNet融合方法，本文算法相對來說亮度更高，清晰度也更好，另外在圖中的小框標注處的孔洞處輪廓也最為明顯。

第二組實驗結果如圖7所示。

圖7中可以看出，ResNet融合方法中上方的框中的樹葉間隙處信息近乎完全丟失，DenseNet融合方法該處信息也有所丟失，前兩種算法在豎框處有重影，而本文算法很好地保留了可見光圖像中的信息。

第三組實驗結果如圖8所示。

圖8中可以看出，ResNet算法的融合圖像在車窗處信息丟失；DenseNet融合方法的融合圖像在車窗處較為清晰，但車窗內(nèi)的座椅信息丟失；本文算法的整體清晰度高，且車窗內(nèi)信息保留較好。本文算法在該處信息保留較為完整，本文算法比另外兩種融合方法清晰度高。

本文采用互信息(IMI)、信息熵(IEN)、邊緣信息保留(IQAB)、結構相似度(ISSIM)等客觀評價參數(shù)對融合結果進行對比分析。其中圖像的互信息指的是源圖像與融合后圖像之間的信息量；信息熵是指融合圖像信息量的大??；邊緣信息保留指的是融合圖像的邊緣信息保留效果；結構相似度是評判源圖像與融合圖像之間的相似性。上述評價參數(shù)數(shù)值越大，表示融合效果越好。各客觀評價參數(shù)如表1、表2、表3所示。

表1 第一組實驗各算法融合性能評估

表2 第二組實驗各算法融合性能評估

表3 第三組實驗各算法融合性能評估

從表1中的數(shù)據(jù)可以看出，本文提出的融合算法客觀評價參數(shù)值比另外兩種算法參數(shù)值高，說明本文算法的結構相似度更高，邊緣信息保留更多。

從表2中的數(shù)據(jù)可以看出，本文提出的融合算法客觀評價參數(shù)值比另外兩種算法參數(shù)值高，說明本文算法得到的融合圖像效果更好。

從表3中的數(shù)據(jù)可以看出，本文提出的融合算法客觀評價參數(shù)值更好，結構相似度數(shù)值比另外兩種算法的參數(shù)值更高，證明了本文算法在紅外與可見光圖像的融合上的優(yōu)越性。

4 結論

提出的基于DPN深度網(wǎng)絡的紅外與可見光圖像融合方法，很好地結合了兩種網(wǎng)絡的優(yōu)勢，即有殘差網(wǎng)絡參數(shù)少、計算快，又有密集卷積神經(jīng)網(wǎng)絡的可以重復使用特征的特點，更好的突出了圖像的高頻部分特征，對圖像的細節(jié)信息利用率更大，背景信息保留完整，人物目標突出，圖像整體清晰度更高。