黃玲琳，李強,2，路錦正，賀賢珍，彭波,2

（1.西南科技大學 信息工程學院，四川 綿陽 621010；2.西南科技大學 特殊環(huán)境機器人技術四川省重點實驗室，四川 綿陽 621010）

0 引言

對多模態(tài)圖像進行融合從而得到更全面的描述信息是國內外圖像研究與應用關注的重點方向[1]。進行融合的源圖像主要來自于視覺傳感器，在光照條件良好的情況下，使用普通視覺傳感器，當光照不足時就需要用到紅外相機[2]。紅外圖像的抗干擾能力強，能夠彌補可見光圖像的缺點，但是紅外圖像的分辨率低和紋理細節(jié)模糊[3-4]。所以，考慮將紅外圖像與可見光圖像進行融合，獲得更加完整的場景信息。

目前，國內外已提出較多的圖像融合算法，如陳潮起[5]等人提出了一種基于多尺度低秩分解的圖像融合方法，通過多尺度低秩分解將紅外與可見光圖像分別分解為顯著圖和細節(jié)圖，根據(jù)分解圖像的特點，有針對地設計最優(yōu)融合策略，通過此算法生成的融合圖像目標清晰、細節(jié)豐富。林子慧[6]等人將顯著性檢測算法進行改進，得到一種能夠提取紅外圖像顯著圖的算法，利用此算法指導高低頻分解圖像的融合策略，得到的融合圖像有較好的視覺效果。但是，傳統(tǒng)方法的數(shù)據(jù)量多，且往往根據(jù)圖像的單一特征進行圖像融合，導致融合圖像信息量不多。隨著神經(jīng)網(wǎng)絡在圖像處理領域的發(fā)展，由于神經(jīng)網(wǎng)絡的計算能力強大，基于深度學習的圖像融合算法被提出來，利用神經(jīng)網(wǎng)絡對源圖像進行特征提取能夠彌補傳統(tǒng)圖像融合方法的缺陷。馬旗[7]等人提出了基于VGG（visual geometry group）網(wǎng)絡的雙波段圖像融合方法，將源圖像輸入VGG 模型提取特征圖，通過 ZCA（zero-phase component analysis）白化加歸一化處理將特征降為二維，再通過3 次插值將特征恢復為源圖像的尺寸，最后加權平均得到融合圖。該方法的融合速度明顯高于其他方法。Li[8]等人提出基于Resnet 和零相位分量分析的圖像融合方法，首先用Resnet50 將源圖像的特征提取出來，然后將提取到的樣式特征和內容特征用零相位分析投影到同一空間，再通過零相位的反向操作得到最終的轉換特征，最后通過解碼網(wǎng)絡獲得融合圖像，該方法在主客觀評價上均具有較好融合性能。

基于深度學習的圖像融合框架包括編碼網(wǎng)絡、融合層以及解碼網(wǎng)絡3 部分。在編碼網(wǎng)絡采用卷積神經(jīng)網(wǎng)絡提取源圖像的特征；在融合層將提取到的特征圖進行融合，獲得融合的特征圖；在解碼網(wǎng)絡將融合的特征圖恢復為源圖像大小。此框架有利于源圖像特征的提取以及融合圖像的生成，基于此框架，本文提出一種基于多尺度特征的圖像融合框架（feature pyramid network fuse,FPNFuse），更好地提取源圖像的特征以及融合多尺度特征。同時采用兩階段注意力模型的融合策略，突出融合圖像的目標。

1 算法思想

本文通過編碼網(wǎng)絡提取紅外與可見光源圖像不同尺度的特征圖，將兩階段注意力模型加入融合層，融合提取的特征圖。在解碼網(wǎng)絡將融合層輸出的多尺度特征圖進一步融合，解碼融合的特征圖，得到最終的融合圖像。

1.1 多尺度特征融合框架FPNFuse

采用深度學習框架進行圖像融合，傳統(tǒng)的方法是直接使用訓練好的VGG[7]或者Resnet[8]深度卷積網(wǎng)絡進行特征提取。這些網(wǎng)絡的卷積層數(shù)多，且隨著卷積層數(shù)的增加，特征圖的空間分辨率減少，尺寸減小，高級語義特征被提取出來。但是只使用最后一層的深度特征進行圖像融合，可能使小目標完全丟失，不利于圖像中小目標的融合。因此借鑒特征金字塔結構[9]，提出多尺度特征圖像融合框架FPNFuse，進行圖像特征的提取與多尺度特征的融合。

在編碼網(wǎng)絡通過不同倍數(shù)的下采樣獲得不同尺寸的特征圖，在解碼網(wǎng)絡將不同尺寸的特征圖融合在一起。尺寸大的特征圖分辨率高，能夠保留小目標的特征，尺寸小的特征圖有較高語義信息，能夠提取深度的特征信息，將多尺度特征圖融合起來就能兼具這兩種優(yōu)點。

多尺度融合框架FPNFuse 如圖1 所示，在編碼網(wǎng)絡，將紅外與可見光圖像分別進行2 倍下采樣、4 倍下采樣、8 倍下采樣以及16 倍下采樣，提取到5 種不同尺度的特征圖。將每個尺度的紅外與可見光特征圖輸入融合層進行融合，得到不同尺寸的融合特征圖，使得源圖像不同尺度的特征信息能夠被提取出來。在解碼層，將不同尺度的融合特征圖進行相應倍數(shù)的上采樣，然后與該尺度的融合特征圖進行連接，使多尺度的融合特征圖進一步被融合。最后，解碼得到與源圖像尺寸相同的融合圖像。圖中C1 表示步長為1 卷積核為3×3 的卷積操作，ECB10-ECB50 表示4 個下采樣層組成的編碼網(wǎng)絡，F(xiàn)S 代表融合策略，DCB41-DCB11 表示4 個上采樣層組成的解碼網(wǎng)絡。

圖1 多尺度融合框架FPNFuseFig.1 Multi-scale image fusion framework FPNFuse

1.2 基于兩階段注意力模型的融合層

人眼在觀察物體時容易被目標區(qū)域所吸引，這種現(xiàn)象被稱為注意力機制。通過此原理得到的注意力模型通常作為一個單獨的模塊被加入卷積神經(jīng)網(wǎng)絡結構[10]用于目標檢測，其使用可以提高目標檢測的準確度。深度神經(jīng)網(wǎng)絡提取的特征圖眾多，為了更好地利用這些深度特征圖，使目標在融合圖像中更突出，并且融合圖像更適合于人類視覺。因此，將注意力模型引入融合層[11]。目前融合層的融合策略主要是加權平均以及基于L1 范數(shù)，這兩種策略幾乎沒有對將要融合的特征圖進行篩選，融合圖像容易引入噪聲造成偽影，在融合層引入注意力模型能夠盡量少地引入噪聲?，F(xiàn)今融合層添加的主要是空間注意力模型，但是卷積神經(jīng)網(wǎng)絡提取的特征是三維張量，對于特征圖的通道信息也應該進行篩選。所以，將通道注意力模型和空間注意力模型結合起來共同對深度特征進行融合。

紅外與可見光圖像經(jīng)過編碼網(wǎng)絡分別得到5 種尺度的特征圖，將兩類圖像相同尺度的特征圖同時輸入融合層，得到融合兩種圖像特征的空間增強特征圖與通道增強特征圖，最后將兩種增強特征圖進行加權平均獲得最終的融合特征圖。這個過程見下式(1)：

式中：m表示提取的深度特征級數(shù)，文中m＝5；表示每個尺度融合層輸出的特征圖；γ＝0.5 表示進行相加的空間注意力與通道注意力的特征權重相等；表示空間注意力模型得到的紅外與可見光融合特征圖；表示通道注意力模型得到的紅外與可見光融合特征圖。

1.2.1 空間注意力模型

將源圖像的特征圖輸入到融合層，利用L1-norm計算特征圖對應通道數(shù)維度向量的各元素之和，再根據(jù)軟最大算子（soft-max）計算該尺度下深層特征的權重映射，將該權重與未經(jīng)處理的特征向量相乘得到增強特征，最后紅外和可見光圖像的增強特征圖相加得到空間融合特征圖。其過程見下式(2)：

式中：k＝2，表示進行融合的紅外與可見光圖像；φKm(x,y)表示通道數(shù)維度的特征向量；(x,y)表示其對應的位置；表示對特征向量進行L1 正則化運算；表示利用空間注意力模型在同一尺度下融合兩類圖像得到的增強特征圖。

1.2.2 通道注意力模型通道注意力模型的計算方式是使用全局池化計算初始加權向量，然后利用軟最大算子（soft-max）計算初始加權向量的三維加權向量，最后將三維加權向量與各通道提取到的深度特征向量相乘得到增強特征，將紅外和可見光圖像的增強特征圖相加得到通道融合特征圖。其過程見下式(3)：

式中：P()表示全局池化運算；K＝2，表示進行融合的紅外與可見光圖像；n表示深度特征φKm(n)的通道索引。

2 實驗結果分析

2.1 圖像質量評價指標

融合圖像的質量評價分為主觀和客觀兩種方式，目前，圖像融合的客觀評價標準分為基于熵、互信息、邊緣信息保持度、自然場景分析等[12]。本文選擇熵（entropy,EN）、互信息（mutual information,MI）、標準差（standard deviation,SD）、小波特征互信息（feature mutual information based on wavelet,FMI_w、邊緣保持度（Qab/f）和視覺信息保真度（visual information fidelity,VIF）等作為融合圖像質量評價度量。En 越大，表示融合圖像包含的信息越多。MI 越大，表示融合圖像的信息越真實。SD 和FMI_w 越大，表示融合圖像的有效信息越多。Qab/f越大，表示融合到結果圖像的邊緣信息越多。VIF 越大，表示越符合人眼視覺。除此之外，增加融合圖像的平均用時（average time,AT）作為融合速率評價指標，平均用時越短表示融合效率越高。

2.2 實驗設置

首先訓練FPNFuse 圖像融合框架，實驗中學習率設置為lr＝1×10－4，批處理大小batch_size＝4，epoch＝2，使用256×256 的紅外與可見光圖像進行測試。模型的損失為像素損失與結構相似性損失的加權和，結構相似性損失由結構相似性的值乘以權值λ。經(jīng)過試驗對比λ分別為1,10,100,1000，當λ＝100時，模型的損失函數(shù)收斂的最快，于是在后續(xù)試驗均基于λ等于100。將此模型與已有的經(jīng)典圖像融合模型作對比，驗證所提圖像融合算法和兩階段注意力模型的效果。

FPNFuse 框架的編碼器網(wǎng)絡與解碼器網(wǎng)絡每層的卷積核、步長、輸入輸出通道數(shù)如表1 所示，除池化層以外，編解碼網(wǎng)絡的激活函數(shù)均使用ReLu，步長均為1。解碼網(wǎng)絡的最后一個卷積層將融合特征圖恢復為一張圖像，因此將卷積核設置為1×1，最終的輸出通道數(shù)為1。

表1 編碼網(wǎng)絡和解碼網(wǎng)絡的設置Table 1 The setting of encoder and decoder networks

由于配準好的紅外與可見光圖像數(shù)據(jù)集很少，同時訓練階段主要訓練模型提取特征的能力，圖像類型對模型提取圖像特征的能力影響較小。所以使用Microsoft COCO 數(shù)據(jù)集[13]作為訓練樣本，從中選擇80000 張圖片作為訓練集，直到損失函數(shù)達到收斂結束訓練。每50 次記錄一下?lián)p失值，選擇前400 次迭代畫出損失曲線如圖2 所示，從圖中可以看出在50次迭代后圖像融合模型開始收斂。

圖2 模型訓練損失曲線圖：（左）結構相似性損失（右）像素損失Fig.2 The loss curve during model training: (Left) SSIM loss;(Right): Pixel loss

2.3 注意力模型對融合性能的影響

為了驗證注意力模型對圖像融合的影響，使用TNO[14]紅外與可見光圖像數(shù)據(jù)集，隨機選取23 組配準的紅外與可見光圖片作為測試集。使用FPNFuse 和DenseFuse[15]圖像融合框架進行實驗，改變模型的融合策略，融合策略包括加權平均（add），以及添加了兩階段注意力模型的融合策略，其中通道注意力模型的全局池化函數(shù)選擇平均池化（avg）。

每個評價度量的平均值如表2 所示，在FPNFuse和DenseFuse 模型中添加注意力模塊的圖像融合模型在熵、標準差、互信息量、邊緣保持度、小波特征互信息量以及視覺保真度等指標均優(yōu)于直接加權平均策略。

表2 不同融合策略下融合圖像質量評價均值Table 2 The mean value of image quality evalution under different fusion strategies

2.4 不同圖像融合框架對比實驗結果

將 FPNFuse 與 DeepFuse[16]、WLS[17]、Dense Fuse[15]等圖像融合框架進行對比實驗。DenseFuse 圖像融合框架的融合層選擇加權平均（DenseFuse_add），以及添加兩階段注意力模型的融合策略，其中通道注意力模型的全局池化函數(shù)選擇平均池化（avg）。FPNFuse 圖像融合框架的融合層添加兩階段注意力模型，其中通道注意力模型的全局池化函數(shù)選擇平均池化（avg）、最大池化（max）和核函數(shù)（nuclear）。使用23 組測試圖像在7 個質量評價標準上進行對比，每個評價度量的平均值如表3 所示，這7 個指標的最佳值均在FPNFuse_avg 和FPNFuse_nu-clear 中產(chǎn)生，最佳值在表中加粗?？陀^評價指標表明所提出的FPNFuse 框架能夠使融合圖像保留更多源圖像的邊緣信息，且融合效率更高，更適合人類的視覺系統(tǒng)。

表3 不同算法融合圖像質量度量均值Table 3 The mean value of image quality evalution under different fusion algorithms

選擇一張有代表性的融合圖像“房子”作為示例，F(xiàn)PNFuse 與各圖像融合框架所獲得的融合圖像如圖3所示。對于天空中的云朵，DeepFuse、WLS 和使用加權平均的FPNFuse 算法得到的融合圖像均產(chǎn)生了很多偽影，其效果如圖3 的紅色矩形框所示。WLS、DeepFuse、DenseFuse（add）以及FPNFuse（add）的融合圖像的云朵部分均產(chǎn)生了偽影。只有添加兩階段注意力模型的FPNFuse（avg）算法得到的融合圖像的亮度與源可見光圖像最相似，且云朵的形狀未產(chǎn)生偽影與源圖像最接近。房子前的人，只有添加了注意力模型的算法在融合時以紅外圖像為主，在光線不足的條件下融合圖像更能夠突出目標的輪廓。這些表現(xiàn)與客觀評價結果一致，因此，本文提出的算法在主客觀評價上均優(yōu)于對比算法。

圖3 “房子”圖像不同算法融合結果Fig.3 The fusion results of the same image of different fusion algorithms

多尺度特征融合結合注意力模型同樣適用于近紅外與熱紅外圖像等異源圖像的融合，融合結果如圖4，該融合圖像融合了兩種圖像的特征，保留很多細節(jié)部分且無偽影。

圖4 近紅外與熱紅外的融合圖像Fig.4 The fusion image of near and thermal infrared images

3 結論

本文提出了一種基于多尺度和注意力模型的圖像融合算法，通過對源圖像多尺度特征的提取與融合，使得融合圖像能夠保留源圖像的特征且不會產(chǎn)生偽影。在融合層加入了兩階段注意力模型，突出融合圖像的輪廓。在公開數(shù)據(jù)集TNO 上進行實驗，從主觀上可以看出，融合圖像的亮度合理，細節(jié)紋理清晰，滿足預期效果?？陀^評價指標表明，多數(shù)指標接近或優(yōu)于對比算法，尤其是標準差、邊緣保持度、視覺信息保真度和平均用時等指標較對比算法具有較大提升。實驗結果表明基于對尺度和注意力模型能夠有效融合可見光與紅外圖像。