李國(guó)梁，向文豪，張順利，張博勛

（1.北京交通大學(xué)軟件學(xué)院，北京 100044；2.中國(guó)船舶工業(yè)系統(tǒng)工程研究院，北京 100036）

1 引 言

無人機(jī)因其具有造價(jià)低、安全風(fēng)險(xiǎn)系數(shù)小和機(jī)動(dòng)性強(qiáng)等優(yōu)點(diǎn)，在軍民領(lǐng)域有著廣泛的應(yīng)用[1-5]。以無人機(jī)為載體對(duì)目標(biāo)進(jìn)行航拍獲取目標(biāo)信息一直是無人系統(tǒng)領(lǐng)域的研究熱點(diǎn)和應(yīng)用熱點(diǎn)。無人機(jī)航拍可以獲得包含目標(biāo)和復(fù)雜背景的紅外圖像、可見光圖像、灰度圖像、多光譜圖像等。然而在復(fù)雜的背景條件下，單一類型的圖像成像存在局限。例如，雖然紅外圖像具有很好的抗干擾能力，能很好地捕獲發(fā)熱目標(biāo)信息，但其圖像缺乏豐富的細(xì)節(jié)紋理信息，對(duì)比度也較差；可見光圖像的空間分辨率較高，且具有清晰的細(xì)節(jié)紋理信息，更易被人眼視覺系統(tǒng)所理解，但其成像過程對(duì)外部環(huán)境依賴較大，如光照條件差、目標(biāo)信息被遮擋等都容易造成可見光成像效果變差。對(duì)此，研究人員提出了紅外與可見光圖像融合技術(shù)，將兩種圖像的優(yōu)點(diǎn)全部呈現(xiàn)在融合圖像上[6-8]。深入研究紅外與可見光圖像融合算法能夠用于軍事、航空、資源勘探、安防監(jiān)控等眾多領(lǐng)域，具有非常重要的應(yīng)用與研究?jī)r(jià)值。

目前，紅外與可見光圖像融合算法包括基于多尺度變換的方法、基于稀疏表示的方法、基于神經(jīng)網(wǎng)絡(luò)的方法等。Toet 等[9]提出了基于對(duì)比度金字塔的圖像融合算法。Burt 等[10]為解決對(duì)比度金字塔融合算法的噪聲問題而提出了基于梯度金字塔分解的圖像融合算法。此后，還出現(xiàn)了高斯金字塔變換[11]、比例低通金字塔[12]等圖像融合方法。然而，金字塔分解不具有方向性，一般融合圖像的質(zhì)量不盡如人意?；谛〔ㄗ儞Q的融合方法在金字塔變化的基礎(chǔ)上進(jìn)一步繼承和發(fā)展了多尺度融合的思想。在金字塔變換的基礎(chǔ)上，Yan等[13]提出了小波變換。小波變換在頻域上對(duì)圖像進(jìn)行分解，且具有方向性。在不同的頻域上對(duì)圖像分量進(jìn)行融合，有助于提升融合圖像的視覺效果。不同尺度的方向分量具有的圖像特征明顯，針對(duì)性地進(jìn)行融合操作能更好地保留圖像的結(jié)構(gòu)信息，有助于融合效果的提升。此外，離散小波變換[14]、提升小波變換[15]、多小波變換[16]等都是常見的基于小波變換的圖像融合方法。

稀疏表示是一種非常有效的圖像表示理論，目前已經(jīng)成功應(yīng)用于計(jì)算機(jī)視覺、模式識(shí)別等領(lǐng)域，并取得了良好的效果。與基于多尺度的融合方法不同，基于稀疏表示的融合算法利用圖像數(shù)據(jù)字典對(duì)源圖像進(jìn)行稀疏表示，進(jìn)而實(shí)現(xiàn)圖像的融合。該類融合算法一般首先將源圖像通過滑動(dòng)窗口策略劃分為許多帶重疊的圖像塊，然后基于學(xué)習(xí)到的完備字典對(duì)每個(gè)圖像塊進(jìn)行系數(shù)編碼，得到圖像的稀疏表示系數(shù)；之后根據(jù)融合規(guī)則融合圖像系數(shù)，最后利用完備字典對(duì)系數(shù)進(jìn)行重構(gòu)，得到融合圖像。近年來，一些學(xué)者基于圖像表示理論進(jìn)行圖像融合，并取得了一定的研究成果。Yang 等[17]提出了基于稀疏表示的圖像融合算法。Li 等[18]提出了基于聯(lián)合稀疏表示模型的圖像融合算法。除此之外，還有基于非負(fù)稀疏表示模型[19]、基于自適應(yīng)稀疏表示模型[20]的圖像融合算法等，也取得了較好的融合效果。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，深度學(xué)習(xí)在圖像融合領(lǐng)域得到了廣泛的應(yīng)用。例如，李輝等[21]提出一種深度學(xué)習(xí)框架，用于圖像融合。該算法將源圖像分解為基礎(chǔ)部分和細(xì)節(jié)部分，基礎(chǔ)部分用加權(quán)平均法融合，細(xì)節(jié)部分內(nèi)容使用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行多層特征的提取，并以此生成多個(gè)候選融合細(xì)節(jié)內(nèi)容，然后使用最大選擇策略來生成融合的細(xì)節(jié)內(nèi)容。最后，將融合后的基礎(chǔ)部分與細(xì)節(jié)內(nèi)容相結(jié)合，重建融合后的圖像。Li 等[22]還提出了一種基于稠密網(wǎng)絡(luò)和自編碼器結(jié)構(gòu)的新型融合框架，整個(gè)框架分為編碼器、融合策略、解碼器三部分，編碼器部分使用了稠密網(wǎng)絡(luò)提取并保留圖像的深層特征，從而確保使用融合策略融合后圖像的顯著特征不會(huì)丟失，然后基于制定的融合規(guī)則對(duì)紅外和可見光圖像的深層特征進(jìn)行融合，再使用一個(gè)包含卷積層的解碼器對(duì)融合后的圖像特征信息進(jìn)行解碼，得到融合圖像。Ma等[23]將生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks, GAN）用于紅外和可見光圖像融合任務(wù)，生成器的目標(biāo)是提取源圖像中的重要信息，并將這些信息融入到一張圖像中，鑒別器判別融合的圖像是否具有更多的可見信息，通過二者的對(duì)抗訓(xùn)練提升圖像融合效果。與現(xiàn)有的融合方法相比，這些基于卷積神經(jīng)網(wǎng)絡(luò)或GAN 的融合框架都具有良好的融合性能。

鑒于深度學(xué)習(xí)技術(shù)的優(yōu)點(diǎn)，本文提出了一種基于殘差網(wǎng)絡(luò)和注意力機(jī)制的紅外與可見光圖像融合算法，分別對(duì)源圖像的高頻細(xì)節(jié)信息和低頻背景信息進(jìn)行特征提取，然后再使用解碼器網(wǎng)絡(luò)對(duì)圖像特征信息進(jìn)行恢復(fù)重建，得到融合圖像。

2 基于殘差網(wǎng)絡(luò)與注意力機(jī)制的圖像融合方法

隨著深度學(xué)習(xí)的不斷發(fā)展，目前已經(jīng)有部分學(xué)者和研究人員嘗試使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行紅外與可見光圖像的圖像融合，并且取得了較好的效果。采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像融合的方法大多采用了自編碼器結(jié)構(gòu)進(jìn)行模型訓(xùn)練，在測(cè)試階段再結(jié)合設(shè)定的融合規(guī)則進(jìn)行圖像融合。這類基于自編碼網(wǎng)絡(luò)的圖像融合方法能很好地利用現(xiàn)有的大量圖像數(shù)據(jù)集，但網(wǎng)絡(luò)中的融合規(guī)則往往需要人工制定和選擇，模型訓(xùn)練時(shí)的學(xué)習(xí)目標(biāo)也不夠直觀。因此，本文提出了一種基于殘差網(wǎng)絡(luò)和注意力機(jī)制的圖像融合算法。

2.1 融合算法網(wǎng)絡(luò)結(jié)構(gòu)

融合算法的整體框架示意圖如圖1所示。主要分為圖像預(yù)處理、圖像編碼網(wǎng)絡(luò)、特征融合、圖像解碼網(wǎng)絡(luò)幾部分。首先利用引導(dǎo)濾波將紅外與可見光圖像分解為背景層和細(xì)節(jié)層，之后使用編碼網(wǎng)絡(luò)分別提取背景層和細(xì)節(jié)層圖像的特征信息，使得編碼網(wǎng)絡(luò)可以只專注于提取源圖像中高頻細(xì)節(jié)信息或低頻背景信息的圖像特征，降低了網(wǎng)絡(luò)提取圖像特征的難度，有助于提取更為全面的特征信息。在編碼網(wǎng)絡(luò)中，使用上下文特征提取模塊來提取圖像的上下文特征信息，提升圖像特征提取的效果。之后，將兩種圖像特征信息進(jìn)行融合，利用解碼網(wǎng)絡(luò)對(duì)圖像進(jìn)行恢復(fù)重建。在解碼網(wǎng)絡(luò)中，本文設(shè)計(jì)了一種注意力特征融合模塊，對(duì)殘差網(wǎng)絡(luò)單元進(jìn)行加強(qiáng)，提升了殘差單元對(duì)特征信息的選擇效果。該模塊有利于保留重要的圖像特征信息，提升圖像的恢復(fù)重建效果。另外，考慮到紅外和可見光圖像含有的信息量不同，兩者對(duì)融合圖像產(chǎn)生的影響也不同，因此在損失函數(shù)中設(shè)計(jì)了一種基于梯度信息的自適應(yīng)權(quán)重計(jì)算方法，將此權(quán)重作為紅外和可見光圖像的信息保留度，以此來調(diào)節(jié)不同源圖像對(duì)融合圖像的影響程度。

圖1 融合算法框架圖Fig.1 Image fusion algorithm framework

在網(wǎng)絡(luò)結(jié)構(gòu)中，使用卷積層后一般緊跟著批歸一化操作和激活層。在算法模型中，輸出層采用TanH激活函數(shù)，并將值映射到[0,1]范圍內(nèi)，從而將圖像從特征空間轉(zhuǎn)化為灰度空間；其余卷積層后的激活函數(shù)采用ReLU函數(shù)，該函數(shù)計(jì)算復(fù)雜度低，可以有效抑制模型訓(xùn)練中的梯度消失問題。

2.2 圖像預(yù)處理

圖像的頻域信息反映了圖像中像素值的變化，其隱藏著豐富的圖像信息。一般認(rèn)為，圖像頻域中的高頻分量對(duì)應(yīng)圖像的細(xì)節(jié)信息，低頻分量對(duì)應(yīng)圖像的輪廓信息。因此，不同于其他基于深度學(xué)習(xí)的圖像融合方法將紅外圖像與可見光圖像直接拼接，進(jìn)行特征提取或者分別進(jìn)行特征信息提取。本文方法在圖像預(yù)處理環(huán)節(jié)使用引導(dǎo)濾波[24]將紅外與可見光圖像分解為背景層和細(xì)節(jié)層，背景層對(duì)應(yīng)圖像的低頻分量，含有圖像的背景輪廓信息，細(xì)節(jié)層中對(duì)應(yīng)圖像的高頻分量，含有圖像的細(xì)節(jié)紋理信息。引導(dǎo)濾波是一種自適應(yīng)權(quán)重的濾波器，能夠在平滑圖像的同時(shí)起到保持邊界的作用。圖像I與其背景層Ibase、細(xì)節(jié)層Idetail之間的關(guān)系為：

圖像的背景層和細(xì)節(jié)層包含了圖像的全部信息，故在圖像分解的過程中不存在圖像信息的缺失。通過對(duì)圖像進(jìn)行分解，編碼網(wǎng)絡(luò)可以更專注于提取圖像的高頻特征信息或低頻特征信息，減小編碼網(wǎng)絡(luò)提取圖像特征的難度，從而提取到更為全面的圖像特征信息。

2.3 上下文特征提取模塊

為了更好地提取圖像的特征信息，設(shè)計(jì)了一種上下文特征提取模塊（Context Feature Refine Block，CFR Block）。該模塊可以提取輸入信息的上下文特征信息，其結(jié)構(gòu)如圖2所示。該模塊將神經(jīng)網(wǎng)絡(luò)分為三個(gè)分支，每個(gè)分支中都包括兩個(gè)卷積層，三個(gè)分支分別使用大小為3×3、5×5 和7×7 的卷積核，對(duì)應(yīng)三個(gè)分支網(wǎng)絡(luò)的感受野分別可以達(dá)到5、9、13，從而提取到圖像的上下文特征信息。同時(shí)，為了減少參數(shù)個(gè)數(shù)，該模塊將5×5和7×7 卷積核替換為卷積核大小為3×3、擴(kuò)張尺寸分別為2 和3 的空洞卷積。最后，將三個(gè)分支的特征信息進(jìn)入相加融合，即可得到圖像的上下文特征信息。CFR Block 的網(wǎng)絡(luò)參數(shù)如表1所示。

表1 圖像融合網(wǎng)絡(luò)參數(shù)信息Table 1 Parameters of image fusion network

圖2 上下文特征提取模塊結(jié)構(gòu)Fig.2 Structure of context feature refine block

2.4 注意力特征融合模塊

本文設(shè)計(jì)了一種注意力特征融合模塊（Attention Feature Fusion Block, AFF Block）來對(duì)殘差網(wǎng)絡(luò)單元進(jìn)行加強(qiáng)，以提升其保留重要特征信息的能力。

該特征融合模塊包括空間注意力融合模塊和通道注意力融合模塊。注意力特征融合模塊的框架圖如圖3所示，其中，f1、f2為待融合的特征圖信息，二者經(jīng)空間注意力融合模塊可得到空間區(qū)域信息加強(qiáng)后的融合特征圖fspatial，經(jīng)通道注意力融合模塊可對(duì)特征圖的通道信息通過注意力進(jìn)行加強(qiáng)，得到融合特征圖fchannel。最后，將兩種融合的特征圖進(jìn)行融合，即得到融合特征ffuse，三者關(guān)系可表示為：

圖3 注意力特征融合模塊框架Fig.3 Frame of attention feature fusion block

如圖4所示，本文將此注意力特征融合模塊用于殘差網(wǎng)絡(luò)單元中，得到殘差注意力網(wǎng)絡(luò)模塊（ Residual Attention Feature Fusion Block,Res-Aff-Block），使得殘差網(wǎng)絡(luò)單元在特征融合過程中能保留更多重要的圖像特征信息。本文方法選擇采用圖4（b）中所示的Res-Aff-Block 用于紅外與可見光圖像的融合算法中，模塊內(nèi)卷積層的通道數(shù)為64、64、128。Res-Aff-Block 的網(wǎng)絡(luò)參數(shù)如表1所示。

圖4 殘差注意力模塊示意圖Fig.4 Diagram of Res-Aff-Block

2.4.1 空間注意力特征融合模塊

空間注意力特征融合模塊示意圖如圖5所示。f1、f2為待融合的特征圖信息，其維度為H×W×C，H、W、C分別表示圖像的高度、寬度和通道維數(shù)。首先提取特征圖的空間統(tǒng)計(jì)信息，其通過在通道維度上對(duì)f1、f2分別進(jìn)行全局平均池化和全局最大池化，并將池化結(jié)果在通道維度上進(jìn)行拼接，得到維度為H×W×2的池化特征圖。之后，基于f1、f2的空間統(tǒng)計(jì)信息進(jìn)行空間權(quán)重的計(jì)算。該模塊利用一個(gè)輸出通道為1、卷積核大小為1、步長(zhǎng)為1 的卷積層對(duì)池化特征圖進(jìn)行空間特征信息的提取，之后將提取的特征信息經(jīng)sigmoid激活函數(shù)后，將其作為特征圖f1、f2的空間權(quán)重信息v1、v2。這里，對(duì)f1、f2的池化特征圖進(jìn)行特征提取時(shí)卷積層權(quán)重共享。最后，根據(jù)空間權(quán)重對(duì)特征f1、f2進(jìn)行空間區(qū)域信息的增強(qiáng)，再將增強(qiáng)后的特征圖進(jìn)行相加，即可得到融合特征圖fspatial：

圖5 空間注意力特征融合模塊Fig.5 Spatial attention feature fusion block

2.4.2 通道注意力特征融合模塊

通道注意力特征融合模塊示意圖如圖6所示。f1、f2為待融合的特征圖信息，其維度為H×W×C。首先，對(duì)f1、f2進(jìn)行平均池化操作對(duì)通道信息進(jìn)行統(tǒng)計(jì)，具體計(jì)算形式如下所示：

圖6 通道注意力特征融合模塊Fig.6 Channel attention feature fusion block

其中，S1、S2分別為特征圖f1、f2的通道統(tǒng)計(jì)信息，且S1∈Rc，S2∈Rc；c為特征通道維數(shù)的下標(biāo)。之后，利用輸出通道為d、卷積核大小為1、步長(zhǎng)為1 的卷積層對(duì)特征S1、S2進(jìn)行卷積操作，以獲得更緊湊的特征Z1、Z2。特征Z1、Z2的維數(shù)d可以通過比率r和最小值l來控制，其表示為：

然后，通過輸出通道為C、卷積核大小為1、步長(zhǎng)為1 的卷積層對(duì)特征Z1、Z2進(jìn)行卷積操作，并將輸出結(jié)果進(jìn)行softmax運(yùn)算，得到不同特征的通道權(quán)重v1、v2。與空間注意力模塊相同，此處對(duì)f1、f2的通道統(tǒng)計(jì)信息進(jìn)行特征提取轉(zhuǎn)化的卷積層權(quán)重共享。

最后，根據(jù)通道權(quán)重信息對(duì)特征f1、f2進(jìn)行加權(quán)計(jì)算，得到通道注意力特征融合結(jié)果fchannel：

2.5 損失函數(shù)設(shè)計(jì)

不同類型的圖像所具有的信息差別很大，圖像融合的目的是盡可能多地保留源圖像中的互補(bǔ)信息，去除其中的冗余信息。具體到紅外與可見光圖像融合領(lǐng)域，即融合圖像能從紅外圖像中獲得更多的熱輻射信息，從可見光中獲得更多的背景細(xì)節(jié)紋理信息。紅外圖像的熱輻射信息一般主要表現(xiàn)在圖像的像素強(qiáng)度信息中，其與背景信息的差異較大，因而高亮目標(biāo)信息的邊緣處也會(huì)存在較豐富的梯度信息?？梢姽鈭D像的細(xì)節(jié)紋理信息較多表現(xiàn)在圖像的梯度信息中，一般梯度信息較豐富的地方往往便是圖像細(xì)節(jié)紋理較多的區(qū)域。

如果一幅源圖像中的信息量更加豐富，則其對(duì)融合圖像產(chǎn)生的影響可能更大，融合圖像也應(yīng)與該源圖像保持更大的相似度。而不同的圖像具有的信息量也不盡相同，因而本文希望利用一種信息度量的方法來確定紅外圖像與可見光圖像中含有重要信息的比重，使得在模型學(xué)習(xí)的過程中可以自適應(yīng)地調(diào)整不同源圖像對(duì)網(wǎng)絡(luò)融合結(jié)果的影響，從而得到更好的融合效果。

本文通過源圖像的梯度信息來度量紅外與可見光圖像的信息量。與其他度量方法相比，圖像梯度是一種具有較小接受域的基于局部空間結(jié)構(gòu)的度量方法。在深度學(xué)習(xí)框架中，梯度信息在計(jì)算和存儲(chǔ)方面也非常方便和有效，非常適合在卷積神經(jīng)網(wǎng)絡(luò)中用于信息衡量。該度量方法可表示為：

其中，gI表示圖像I的信息量，H、W、C分別表示圖像的高度、寬度、通道維數(shù)，在圖像為灰度圖時(shí)，C即為1。||*||F表示F范數(shù)，?表示使用拉普拉斯算子計(jì)算得到的圖像的二階梯度信息。

基于以上信息度量方法，可以計(jì)算出可見光圖像V和紅外圖像I所具有的信息量gV和gI。進(jìn)一步地，本文將其轉(zhuǎn)化為自適應(yīng)權(quán)重，并將其作為紅外與可見光圖像在融合結(jié)果中的信息保留度，其計(jì)算方式如下：

在計(jì)算紅外圖像與可見光圖像的信息量占總信息量的比重之后，使用softmax函數(shù)對(duì)其進(jìn)行處理。wV和wI可以用來調(diào)整融合圖像與可見光、紅外圖像之間的相似度。權(quán)重越大，表明對(duì)應(yīng)源圖像與融合圖像間的相似度越高，對(duì)應(yīng)源圖像的信息保存程度越高。

損失函數(shù)用于在模型訓(xùn)練時(shí)引導(dǎo)模型進(jìn)行誤差修正，促使模型能保留更多的源圖像信息，使得融合圖像與源圖像之間具有很高的相似度。在損失函數(shù)設(shè)計(jì)中，本文從圖像結(jié)構(gòu)相似性和像素強(qiáng)度分布兩個(gè)方面來實(shí)現(xiàn)融合圖像和可見光、紅外圖像間的相似性約束。

結(jié)構(gòu)相似性度量方法（Structural Similarity Index Measure, SSIM）是在圖像領(lǐng)域使用最廣泛的指標(biāo)之一，該方法基于圖像的亮度、對(duì)比度、結(jié)構(gòu)三部分來衡量圖像之間的相似性。在深度學(xué)習(xí)中，SSIM 也被廣泛應(yīng)用于圖像處理相關(guān)模型的損失函數(shù)中。本文使用SSIM 約束紅外圖像I、可見光圖像V與融合圖像F之間的相似性，并結(jié)合權(quán)重wV和wI來調(diào)整源圖像的信息保留度，其計(jì)算公式表示為：

然而SSIM 更多關(guān)注的是圖像在結(jié)構(gòu)和對(duì)比度上的變化，對(duì)圖像強(qiáng)度分布差異的約束較弱。因此，本文使用均方誤差損失來對(duì)其進(jìn)行補(bǔ)充。在計(jì)算均方誤差MSE 時(shí)，同樣使用權(quán)重wV和wI來調(diào)節(jié)源圖像對(duì)融合圖像的影響程度，MSE 損失計(jì)算公式如下：

均方誤差損失對(duì)圖像強(qiáng)度分布差異的約束較強(qiáng)，在單獨(dú)作為損失函數(shù)時(shí)，容易導(dǎo)致圖像模糊等現(xiàn)象?？梢?，SSIM 和MSE 具有很強(qiáng)的互補(bǔ)作用，在使用時(shí)，本文通過常數(shù)α來控制二者的比重，最終本文設(shè)計(jì)的損失函數(shù)定義為

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證提出的圖像融合算法的有效性，本文在公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

3.1 實(shí)驗(yàn)設(shè)置

TNO 數(shù)據(jù)集[25]是紅外與可見光圖像融合領(lǐng)域使用廣泛的數(shù)據(jù)集之一，其中包含很多圖像內(nèi)容豐富且經(jīng)過矯正配準(zhǔn)的紅外與可見光的圖像數(shù)據(jù)。本文將TNO 數(shù)據(jù)集中42 對(duì)常用的不同場(chǎng)景下的紅外與可見光圖像作為訓(xùn)練和測(cè)試數(shù)據(jù)。實(shí)驗(yàn)中對(duì)圖像進(jìn)行了裁剪，裁剪過程中步長(zhǎng)設(shè)為20，裁剪圖像尺寸為186×186，最終得到16958對(duì)紅外與可見光圖像。同時(shí)，對(duì)圖像的像素值進(jìn)行縮放映射到[0,1]范圍內(nèi)。本文提出的融合算法基于Tensoflow 2 深度學(xué)習(xí)框架進(jìn)行模型的搭建和訓(xùn)練，模型訓(xùn)練的硬件環(huán)境為GTX 1080Ti 和Intel i7-8700K。融合結(jié)果的客觀質(zhì)量評(píng)價(jià)指標(biāo)結(jié)果在Matlab 2019b 上計(jì)算得到。

將圖像融合算法與12 個(gè)方法進(jìn)行比較，其中包括6 個(gè)傳統(tǒng)圖像融合算法：基于交叉雙邊濾波（Cross Bilateral Filter，CBF）的[26]、基于曲波變換（Curvelet Transform，CVT）的[27]、基于雙樹復(fù)小波變換（ Dual-tree Complex Wavelet Transform, DTCWT）的[28]、基于梯度轉(zhuǎn)移融合（Gradient Transfer Fusion，GTF）的[16]、基于多分辨率奇異值分解（Multi-Resolution Singular Value Decomposition，MSVD）的[29]、基于比率低通金字塔（Ratio of Low-Pass Pyramid，RP）[12]的圖像融合算法。6 個(gè)基于深度學(xué)習(xí)的圖像融合算法：Fusion GAN[23]、IFCNN[30]、DenseFuse[22]、NestFuse[31]、U2Fusion[32]、RFN-Nest[33]融合算法。其中，DenseFuse 融合算法中采用L1 融合規(guī)則，NestFuse 融合算法的注意力融合模塊中采用平均融合策略，其他對(duì)比方法的參數(shù)設(shè)置根據(jù)其對(duì)應(yīng)的參考文獻(xiàn)進(jìn)行設(shè)置。本文所提出的圖像融合算法在模型訓(xùn)練過程中，使用Adam 優(yōu)化器對(duì)模型進(jìn)行訓(xùn)練，損失函數(shù)中參數(shù)α設(shè)置為20。

3.2 主觀評(píng)價(jià)分析

如圖7所示為不同圖像融合算法對(duì)“街道”圖像進(jìn)行融合后的結(jié)果，其中(a)和(b)分別為紅外圖像和可見光圖像，(c)～(n)為各種對(duì)比融合算法的融合圖像，(o)為本文提出的圖像融合算法的實(shí)驗(yàn)結(jié)果。為了方便實(shí)驗(yàn)結(jié)果的觀察對(duì)比，將融合圖像中的行人和廣告牌區(qū)域用紅色方框進(jìn)行了標(biāo)記。

通過觀察融合結(jié)果可以發(fā)現(xiàn)，CBF 和RP 算法的融合圖像中具有大量噪聲，導(dǎo)致許多圖像細(xì)節(jié)信息丟失，很多圖像區(qū)域也因此變得模糊。例如，CBF 融合圖像中的廣告牌和RP 融合圖像中的行人區(qū)域，圖像的細(xì)節(jié)信息被噪聲所干擾，其中CBF 融合圖像中的噪聲甚至造成了圖像背景的模糊。CVT、DTCWH 算法的融合圖像中也含有少量噪音，但圖像的紋理細(xì)節(jié)信息基本得到了保留。GTF、MSVD、Fusion GAN、RFN-Nest 融合算法的融合圖像中產(chǎn)生的噪聲很少，關(guān)鍵目標(biāo)信息也呈現(xiàn)出了高亮輪廓，但是圖像中的很多細(xì)節(jié)區(qū)域模糊不清，丟失了很多細(xì)節(jié)紋理信息。如GTF 融合圖像中丟失了廣告牌區(qū)域光照漸變的細(xì)節(jié)紋理信息，MSVD 和Fusion GAN 在此處的融合效果相比于GTF 較好，但光照細(xì)節(jié)信息也有些模糊，不夠清晰；RFN-Nest 融合圖像中的細(xì)節(jié)信息丟失嚴(yán)重，對(duì)廣告牌上的文字信息都未能保留。NestFuse 算法的融合圖像很好地保留了圖像的細(xì)節(jié)信息，但圖像的對(duì)比度稍弱，U2Fusion 算法的融合圖像整體色調(diào)偏暗，二者的視覺體驗(yàn)略差。相比之下，IFCNN、DenseFuse 和本文提出的圖像融合算法的融合圖像對(duì)比度較高，圖像中的廣告牌區(qū)域字跡清晰，光照漸變紋理信息保留較好，行人區(qū)域的高亮目標(biāo)輪廓清晰，易于辨識(shí)，融合效果自然。通過對(duì)融合圖像的觀察比較，可以發(fā)現(xiàn)提出的融合算法不僅很好地保留了圖像中的細(xì)節(jié)紋理信息，而且圖像的背景區(qū)域信息也融合得較好，圖像整體的視覺效果很好。可見，本文提出的圖像融合算法將可見光和紅外圖像中的信息進(jìn)行了很好的融合，融合圖像對(duì)比度高，視覺效果好。

3.3 客觀評(píng)價(jià)分析

為了客觀驗(yàn)證融合結(jié)果的效果，選取了信息熵（Entropy, EN）、交叉熵（Cross Entropy, CE）、SCD、SSIM、多尺度結(jié)構(gòu)相似性（Multi-Scale Structural Similarity Index Measure, MSSSIM）、視覺信息保真度（Visual Information Fiedity, VIF）作為融合圖像質(zhì)量的評(píng)價(jià)指標(biāo)。其中，EN 可以反映圖像中含有信息量的大小，值越大表明融合圖像質(zhì)量越好，但是其容易受到噪聲的干擾，可作為參考指標(biāo)。CE 可以用來衡量信息量之間的距離，其值越小，表明融合圖像的信息與源圖像越相近，融合圖像的質(zhì)量越好。SCD 可以衡量融合圖像含有的源圖像的信息量，其值越大，表明融合圖像從源圖像中獲取了更多的細(xì)節(jié)信息，圖像的融合效果更好。SSIM 可以從圖像的結(jié)構(gòu)、亮度、對(duì)比度三方面衡量圖像間的相似度，MSSSIM 則是在SSIM 的基礎(chǔ)上引入了多尺度機(jī)制，其與人眼視覺系統(tǒng)的視覺感知更加一致。二者的值越大，表明融合圖像與源圖像越相似，圖像融合質(zhì)量越好。VIF 可以衡量融合圖像相對(duì)于原始圖像的VIF，值越大，則圖像融合的效果越好。

表2展示了本文方法和12 個(gè)對(duì)比融合算法在TNO 數(shù)據(jù)集的42 對(duì)圖像上所取得的客觀質(zhì)量評(píng)價(jià)指標(biāo)的平均值。為方便觀察，將每項(xiàng)指標(biāo)中取得前三的結(jié)果分別用粗體、紅色、綠色進(jìn)行了標(biāo)注。從表中結(jié)果可以看出，本文所提出的圖像融合算法在CE、SCD、SSIM、MSSSIM 指標(biāo)上都取得了最優(yōu)的結(jié)果，VIF 的結(jié)果也僅次于U2Fusion。其中，SSIM 和MSSSIM 指標(biāo)上的結(jié)果最優(yōu)，表明本算法的融合結(jié)果在圖像的結(jié)構(gòu)相似度上與源圖像最接近，融合圖像很好地繼承了源圖像的亮度、對(duì)比度和結(jié)構(gòu)信息。SCD 指標(biāo)取得最優(yōu)結(jié)果也說明了融合圖像含有的源圖像信息量較多，獲取到的源圖像的細(xì)節(jié)較多。本文的融合算法在VIF 指標(biāo)上取得了僅次于U2Fusion 的結(jié)果，表明融合圖像的VIF 較高，視覺觀感很好。NestFuse 算法融合結(jié)果的EN 指標(biāo)最高，但觀察融合結(jié)果，其圖像對(duì)比度略差于本文算法。在其他指標(biāo)上，本文算法也優(yōu)于NestFuse。另外，EN 的計(jì)算容易受到噪點(diǎn)的干擾，圖像中的噪點(diǎn)較多會(huì)導(dǎo)致EN 的計(jì)算偏高，如CBF 算法的EN 指標(biāo)較高，但其融合圖像中噪點(diǎn)較多。本文算法雖未能在EN指標(biāo)上取得較好的成績(jī)，但圖像中噪點(diǎn)較少，而且本文算法的融合結(jié)果在CE 上取得了最優(yōu)結(jié)果，說明融合圖像與源圖像的信息相似程度最高，融合圖像從源圖像中獲取的信息保留程度較好。

3.4 圖像預(yù)處理作用分析

為驗(yàn)證本文所提出的紅外與可見光圖像融合算法中圖像預(yù)處理步驟的作用，設(shè)計(jì)了以下對(duì)比實(shí)驗(yàn)：

（A）將紅外圖像與可見光圖像分別從兩路編碼網(wǎng)絡(luò)輸入進(jìn)行特征提取，網(wǎng)絡(luò)其余部分保持不變；

（B）兩路編碼網(wǎng)絡(luò)合并，將紅外圖像與可見光圖像進(jìn)行拼接后輸入網(wǎng)絡(luò)進(jìn)行特征提取和圖像融合。為保證模型規(guī)模相當(dāng)，合并后的編碼網(wǎng)絡(luò)各層間的順序保持不變，但層數(shù)變?yōu)樵鹊膬杀丁?/p>

實(shí)驗(yàn)結(jié)果如表3所示。從表中可以看出，對(duì)源圖像進(jìn)行分解預(yù)處理后再進(jìn)行特征提取的方法在除CE 外的客觀評(píng)級(jí)指標(biāo)上都取得了最好的結(jié)果，而且融合結(jié)果雖然未能在CE 上取得最好結(jié)果，但其結(jié)果與實(shí)驗(yàn)A 的差距也很小。這表明該圖像預(yù)處理步驟有助于提取到紅外和可見光圖像更為全面的特征信息，有利于提升源圖像的融合效果。

表3 圖像預(yù)處理分析實(shí)驗(yàn)結(jié)果Table 3 Ablation study of different image preprocessing operations

3.5 CFR Block 作用分析

為驗(yàn)證本文所提出的圖像融合算法中 CFR Block 的作用，設(shè)計(jì)了以下對(duì)比實(shí)驗(yàn)：

（A）為驗(yàn)證上下文特征的作用，將該模塊中的卷積核大小統(tǒng)一設(shè)為3×3，其余部分保持不變；

（B）為驗(yàn)證多個(gè)分支進(jìn)行特征提取的作用，將該模塊中的卷積層合并為1 路，加深網(wǎng)絡(luò)深度；

（C）將該模塊合成為1 路網(wǎng)絡(luò)，并使用三個(gè)標(biāo)準(zhǔn)殘差單元如圖4(a)中所示替代CFR Block 中的卷積層，三個(gè)殘差單元的輸入輸出通道數(shù)分別設(shè)為32、64、64，另外將原先該模塊后的卷積層移至第一個(gè)和第二個(gè)殘差單元之間，用來提升特征的維度。

實(shí)驗(yàn)結(jié)果如表4所示。從表中可以看出，使用CFR Block 進(jìn)行特征提取，融合圖像在EN、SCD、SSIM、MSSSIM 等客觀質(zhì)量評(píng)級(jí)指標(biāo)上都呈現(xiàn)出了更好的結(jié)果，雖然未能在CE 和VIF 指標(biāo)上保持最好結(jié)果，但差異較小。同實(shí)驗(yàn)A 的對(duì)比結(jié)果來看，CFR Block 可以有效提取到圖像的上下文特征，有助于提升圖像的融合效果。同實(shí)驗(yàn)B 和C 的結(jié)果來分析，該模塊雖然網(wǎng)絡(luò)深度較淺，但其提取的圖像特征更加豐富全面，融合結(jié)果中源圖像的結(jié)構(gòu)信息和細(xì)節(jié)信息保留更好。

表4 上下文特征分析實(shí)驗(yàn)結(jié)果Table 4 Ablation study of context feature refine block

3.6 注意力特征融合模塊作用分析

為驗(yàn)證本文圖像融合算法中注意力特征融合模塊的作用，設(shè)計(jì)了以下對(duì)比實(shí)驗(yàn)：

（A）將解碼網(wǎng)絡(luò)中殘差注意力單元的注意力特征融合模塊去除，替換為標(biāo)準(zhǔn)的殘差單元結(jié)構(gòu)。

（B）將注意力特征融合模塊中的通道注意力特征融合模塊去除，僅使用空間注意力特征融合模塊融合殘差單元中的特征信息。

（C）將注意力特征融合模塊中的空間注意力特征融合模塊去除，僅使用通道注意力特征融合模塊融合殘差單元中的特征信息。

實(shí)驗(yàn)結(jié)果如表5所示。將實(shí)驗(yàn)B 與A 相對(duì)比發(fā)現(xiàn)，使用空間注意力特征融合模塊會(huì)導(dǎo)致融合圖像在除VIF 以外的指標(biāo)上都有所下降，這說明對(duì)特征的空間信息進(jìn)行增強(qiáng)可能會(huì)導(dǎo)致圖像特征信息的丟失，但是這有利于提升圖像的視覺保真程度。將實(shí)驗(yàn)C 與A 相對(duì)比發(fā)現(xiàn)，通道注意力特征融合模塊有效地提升了融合圖像對(duì)源圖像中信息的保留程度。將以上實(shí)驗(yàn)結(jié)果和本文融合算法相比較可以發(fā)現(xiàn)，將空間注意力和通道注意力相結(jié)合后，融合圖像的EN、MSSSIM、SCD 等指標(biāo)都得到了增強(qiáng)，融合圖像從源圖像獲取的信息量更多，同時(shí)融合圖像的視覺保真度也較好，說明本文提出的注意力特征融合模塊有效地結(jié)合了空間注意力和通道注意力模塊的優(yōu)勢(shì)，取得了一個(gè)相對(duì)更加平衡且有效的成績(jī)。

表5 注意力特征融合模塊分析實(shí)驗(yàn)結(jié)果Table 5 Ablation study of attention feature fusion block

4 結(jié) 論

本文提出了基于殘差網(wǎng)絡(luò)和注意力機(jī)制的紅外與可見光圖像融合算法。該算法通過引導(dǎo)濾波實(shí)現(xiàn)對(duì)紅外圖像與可見光圖像的分解，通過編碼器網(wǎng)絡(luò)分別對(duì)分解后的圖像進(jìn)行特征提取，然后進(jìn)行融合，并通過構(gòu)建解碼器實(shí)現(xiàn)對(duì)融合圖像的重建。其中，利用殘差網(wǎng)絡(luò)作為模型的主干網(wǎng)絡(luò)，引入注意力機(jī)制提高感興趣區(qū)域的權(quán)重。實(shí)驗(yàn)證明，本文方法可以取得良好的融合效果，改善了單一類型圖像信息量不足的問題，可用于無人機(jī)的航拍圖像處理，提升無人機(jī)航拍圖像捕捉目標(biāo)信息的能力。然而，本文方法的融合效率還有待提高，在未來的研究工作中，可以采用更輕量化的網(wǎng)絡(luò)進(jìn)行特征提取和特征融合，在保證融合效果的同時(shí)提高運(yùn)行效率，以滿足實(shí)際場(chǎng)景的需要。