王天元，羅曉清，張戰(zhàn)成

（1.江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院，江蘇 無錫 214122；2.蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215009）

0 引言

圖像融合是一種圖像增強(qiáng)技術(shù)，旨在合并通過不同類型的傳感器獲得的多幅圖像，來生成一幅魯棒性更好，信息更加豐富的圖像，便于源圖像的進(jìn)一步的后處理[1]，圖像融合技術(shù)被廣泛應(yīng)用于遙感[2]，醫(yī)學(xué)[3]和軍事[4]等領(lǐng)域。紅外與可見光圖像融合是該領(lǐng)域的一項(xiàng)重要課題，紅外圖像可以獲取到物體的熱輻射信息，而可見光圖像可以獲取到更多的細(xì)節(jié)信息，這兩種類型的圖像可以提供具有互補(bǔ)屬性的不同方面的場景信息[5]。紅外和可見光圖像融合的目標(biāo)是得到一張既保留了紅外圖像中目標(biāo)突出的區(qū)域，又具有可見光圖像中豐富細(xì)節(jié)信息的融合圖像。

在過去的幾十年中，許多傳統(tǒng)的圖像融合方法被提出，這些圖像融合算法大致可以分為兩類，即空間域算法和變換域算法?？臻g域算法[6]首先根據(jù)某種策略將源圖像劃分為若干個(gè)圖像塊，然后對每對圖像塊根據(jù)計(jì)算活動度量融合在一起。而變換域圖像融合算法[7]首先通過多尺度幾何分解將源圖像分解為具有不同頻帶的子圖像，然后根據(jù)分解后的頻帶系數(shù)的特征設(shè)計(jì)融合規(guī)則，最后通過相應(yīng)的逆變換獲得融合圖像。這些方法雖然都取得了一定的效果，但都存在著一些缺陷，例如空間域算法的結(jié)果取決于圖像塊的選擇，在不同明暗的圖像上具有較大的差別；而變換域算法需要選擇多尺度分解方法并手工設(shè)計(jì)融合規(guī)則，無法在多種場景下都自適應(yīng)地取得好的效果。

近年來，深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于各種計(jì)算機(jī)視覺任務(wù)，并在圖像融合領(lǐng)域取得了顯著效果。例如Liu 等人[8]將多焦點(diǎn)圖像融合問題轉(zhuǎn)化為基于卷積神經(jīng)網(wǎng)絡(luò)的二進(jìn)制分類問題。在其第一階段，根據(jù)圖像塊的模糊程度，對許多帶有聚焦和未聚焦標(biāo)簽的小圖像塊進(jìn)行分類器訓(xùn)練。然后，由訓(xùn)練好的分類器預(yù)測標(biāo)簽圖，并通過基于該圖的得分情況融合圖像。但是在紅外和可見光圖像融合任務(wù)中難以預(yù)測標(biāo)簽圖，原因在于紅外和可見光圖像具有不同的模態(tài)，并且其特征在模態(tài)和圖像場景之間存在很大差異，因此，Liu 的方法不能直接用于融合紅外和可見光圖片。之后，Ma等人[9]提出了一種基于生成對抗網(wǎng)絡(luò)的無監(jiān)督融合模型，通過生成器和鑒別器的對抗游戲，生成了基于紅外光和可見光的融合圖像并獲得更多可見光圖像中的細(xì)節(jié)信息，但是在生成器和鑒別器的對抗學(xué)習(xí)中，圖像的一部分細(xì)節(jié)信息會丟失，這不利于最后的融合結(jié)果。同年，Li 等人[10]利用密集卷積網(wǎng)絡(luò)來融合紅外和可見光圖像，圖像特征的跳躍鏈接可以很好地保留源圖像的細(xì)節(jié)信息，但是在融合過程中沒有很好地考慮源圖像特征的內(nèi)部相關(guān)性，手動融合規(guī)則的設(shè)計(jì)使得最后的融合結(jié)果并不完美。這些基于深度學(xué)習(xí)的融合方法的不足主要表現(xiàn)在：①根據(jù)網(wǎng)絡(luò)中某一層的輸出來設(shè)計(jì)融合策略，忽略了其他層的重要信息；②受卷積神經(jīng)網(wǎng)絡(luò)感受野維度的限制，很難提取圖像中的長距離依賴；③忽略了人眼主觀感知對融合結(jié)果的需求。

在卷積神經(jīng)網(wǎng)絡(luò)，由于卷積一般是局部操作，受到感受野大小的限制很難提取到圖像中長距離依賴。一般的策略是增加網(wǎng)絡(luò)深度或擴(kuò)大卷積核的尺寸，然而這種處理方式并不高效，會使網(wǎng)絡(luò)的訓(xùn)練參數(shù)大幅度增加，失去參數(shù)迭代的效率優(yōu)勢。2017年，Wang 等人[11]提出了非局部神經(jīng)網(wǎng)絡(luò)，計(jì)算圖像中某個(gè)位置的響應(yīng)時(shí)，考慮到所有位置的加權(quán)。通過結(jié)合自注意力模型和卷積運(yùn)算，來捕獲特征圖像間的中長距離依賴關(guān)系，有效地提取圖像特征，加強(qiáng)特征間的聯(lián)系。Zhang 等人[12]將自注意力機(jī)制引入到生成對抗網(wǎng)絡(luò)中，通過加強(qiáng)特征圖各局部位置和全局位置的聯(lián)系，使生成對抗網(wǎng)絡(luò)在多類別圖像上生成高質(zhì)量圖像。自注意力機(jī)制不僅能夠捕捉全局的信息來獲得更大的感受野和上下文信息，而且將所有位置的特征加權(quán)和作為單個(gè)位置的注意力度，在建立長距離依賴模型和提高計(jì)算效率間實(shí)現(xiàn)平衡。楊等人[13]提出了一種注意力機(jī)制的多波段圖像特征級融合方法，該方法通過特征圖與注意力權(quán)重圖的點(diǎn)乘和相加獲得特征增強(qiáng)圖，在保留背景信息的同時(shí)增強(qiáng)了細(xì)節(jié)特征。Jian等[14]提出了一種具有殘差塊的對稱自編碼網(wǎng)絡(luò)，根據(jù)訓(xùn)練網(wǎng)絡(luò)獲得的模型提取紅外圖像和可見光圖像的中間特征，并將根據(jù)中間特征手工生成的注意力圖與輸入特征均值融合后輸入解碼層重構(gòu)得融合圖像。然而，楊等的方法[13]通過注意力機(jī)制對特征圖進(jìn)行增強(qiáng)，未利用注意力圖獲取特征間長距離依賴關(guān)系的特性進(jìn)行特征融合；Jian 等的方法[14]利用注意力圖設(shè)計(jì)了加權(quán)平均的融合策略，但注意力引導(dǎo)機(jī)制僅在測試階段進(jìn)行，設(shè)計(jì)的融合策略無法適合所有圖像場景，不能保證注意力圖的有效性。

在圖像融合任務(wù)中，建模源圖像間圖像特征的全局信息至關(guān)重要。受此啟發(fā)，本文提出了一種自注意力引導(dǎo)的紅外與可見光圖像融合算法。在訓(xùn)練階段，通過密集卷積網(wǎng)絡(luò)可以更好地提取圖像的特征，在融合階段，基于自注意力機(jī)制設(shè)計(jì)了平均融合策略，這使得本文方法的特征在融合時(shí)既包含特征圖上的全局信息又包含源圖像之間的特征通道信息，最后根據(jù)注意力圖調(diào)整損失函數(shù)，以期獲得更好的融合效果，提高融合圖像的質(zhì)量。

1 本文算法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文算法的網(wǎng)絡(luò)架構(gòu)主要由生成器和鑒別器兩部分組成。生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，由編碼層，融合層和解碼層組成。編碼層包含紅外圖像分支和可見光圖像分支，每個(gè)分支包括5 個(gè)可訓(xùn)練的卷積層，卷積核大小為3×3，為了保留圖像的細(xì)節(jié)信息，本文的編碼器的前4 個(gè)卷積層中添加了密集的短連接操作。融合層將編碼層輸出的特征圖插入到3 個(gè)可訓(xùn)練的卷積層中，其卷積核大小為1×1，并通過矩陣運(yùn)算和softmax 函數(shù)獲得紅外圖像和可見光圖像的注意力圖，根據(jù)平均加權(quán)策略融合紅外和可見光的特征圖。解碼層包含3 個(gè)可訓(xùn)練卷積層，卷積核大小為1×1。由于每次下采樣會丟失源圖像中的細(xì)節(jié)信息[9]，因此，本文網(wǎng)絡(luò)中只含有卷積層，而不進(jìn)行下采樣操作，故將每層的步幅設(shè)置為1，除此之外，每個(gè)卷積層都使用批標(biāo)準(zhǔn)化[15]和Leaky ReLU 激活函數(shù)，而最后一個(gè)卷積層使用tanh 激活函數(shù)來輸出融合圖像。

圖1 生成器的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network architecture of generator

鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，由4 個(gè)卷積層和1 個(gè)全連接層組成，所有卷積層的卷積核大小均為3×3，并將內(nèi)核步幅設(shè)置為2，用于提取輸入圖像的特征圖，然后將它們的特征圖遞送至全連接層進(jìn)行處理，輸出該圖像來自真實(shí)圖像還是融合圖像的概率。由于鑒別器與生成器具有對稱性，故鑒別器的第一個(gè)卷積層中僅使用Leaky ReLU 激活函數(shù)，而其他卷積層使用批標(biāo)準(zhǔn)化和Leaky ReLU 激活函數(shù)，對于最后一層，最終輸出的是圖像來自真實(shí)圖像還是融合圖像的概率，因此，最后一層使用Sigmoid 激活函數(shù)。

圖2 鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network architecture of discriminator

1.2 基于自注意力機(jī)制的融合規(guī)則

大多數(shù)基于神經(jīng)網(wǎng)絡(luò)的圖像融合方法一般使用卷積層搭建網(wǎng)絡(luò)架構(gòu)，然而由于卷積操作在局部區(qū)域處理信息，僅利用卷積層對于圖像中長距離的依賴關(guān)系無法進(jìn)行良好的建模。在本文中，改進(jìn)了Zhang 等人[12]的自注意力生成對抗網(wǎng)絡(luò)，使紅外和可見光圖像在空間域上建立有效的關(guān)系模型。

如圖3 所示，定義編碼層的輸出為，x∈RC×H×W其中C，H和W是編碼層輸出特征圖的通道數(shù)，寬和高。首先將x轉(zhuǎn)換至f，g和h的特征空間中，如式(1)所示：

圖3 融合層框架Fig.3 Fusion layer framework

式中：Wf、Wg和Wh是1×1 卷積層的可學(xué)習(xí)權(quán)重矩陣，然后對特征空間f，g和h進(jìn)行維度轉(zhuǎn)換，將它們的維度變?yōu)镃×N，即f(x),g(x),h(x),x∈RC×H×W，其中N＝H×W。接下來，計(jì)算f(x)、g(x)的自相關(guān)矩陣并將其進(jìn)行標(biāo)準(zhǔn)化，如式(2)所示：

式中：Si,j＝f(xi)T·g(xi)，βj,i表示特征圖中第j個(gè)像素點(diǎn)對第i個(gè)像素點(diǎn)的影響，這樣可以獲得一個(gè)N×N的自注意力圖β。在本文的網(wǎng)絡(luò)中，紅外圖像和可見光圖像分別獲得一個(gè)注意力圖βir和βvr，最后利用加權(quán)平均融合策略結(jié)合自注意力機(jī)制獲得注意力層的輸出，如式(3)所示：

式中：δ是可學(xué)習(xí)的標(biāo)量，并將其初始化為0。

1.3 損失函數(shù)

本文方法的損失函數(shù)由兩部分組成，分別是鑒別器損失LD和生成器損失LG。鑒別器的損失只包含對抗損失，本文方法使用的是交叉熵?fù)p失來充當(dāng)對抗損失，鑒別器的對抗損失如式(5)所示：

式中：Igt和If分別表示的是真實(shí)圖像和融合圖像；D(Igt)是真實(shí)圖像通過鑒別器輸出的概率值；D(If)是融合圖像通過鑒別器輸出的概率值。生成器的損失包括對抗損失，內(nèi)容損失和感知損失，生成器的損失如式(6)所示：

式中：內(nèi)容損失Lcon和對抗損失Ladv旨在獲得一幅視覺良好，細(xì)節(jié)豐富的融合圖像，而感知損失Lper可以使融合圖像獲取到更多源圖像中的細(xì)節(jié)信息。在公式中，α，γ和ε用于平衡不同的損失函數(shù)，下面分別介紹這3 個(gè)損失函數(shù)。本文生成器的對抗損失采用的是與鑒別器的對抗損失相對應(yīng)的交叉熵?fù)p失，生成器的對抗損失如式(7)所示：

式中：D(If)與式(5)相同。內(nèi)容損失是測量融合圖像與真實(shí)圖像之間的距離，相似度計(jì)算算法SSIM(x,y)是用于計(jì)算兩個(gè)圖像x和y之間的亮度，對比度和結(jié)構(gòu)差異的值，本文使用的SSIM 來構(gòu)造內(nèi)容損失函數(shù)：

式中：If為融合的圖像；Igt為真實(shí)圖像。感知損失是融合圖像與真實(shí)圖像高級特征圖之間的均方差，在本文中，使用在ImageNet 上預(yù)訓(xùn)練VGG19 網(wǎng)絡(luò)最后一個(gè)池化層前的特征圖來構(gòu)造感知損失，公式如下所示：

式中：C、W和H表示特征圖的通道數(shù)、高度和寬度；?f和?gt分別表示融合圖像和真實(shí)圖像的特征圖。

2 實(shí)驗(yàn)

多焦點(diǎn)圖像數(shù)據(jù)集與其他類型的圖像數(shù)據(jù)集相比，更容易生成真實(shí)圖像，更重要的是，當(dāng)使用多焦點(diǎn)圖像數(shù)據(jù)集訓(xùn)練模型時(shí)，該模型可以更好地完成紅外和可見光圖像的融合[16]。因此，在本文中，通過對NYU-D2 數(shù)據(jù)集[17]的訓(xùn)練序列進(jìn)行統(tǒng)一采樣，構(gòu)建了大規(guī)模的訓(xùn)練集，該訓(xùn)練數(shù)據(jù)集由大約50000 對RGB圖像組成，所有這些圖像已調(diào)整為120×120。此外，本文從TNO 數(shù)據(jù)庫中選擇所有紅外和可見光圖像對作為測試數(shù)據(jù)，測試數(shù)據(jù)集由43 對紅外和可見光圖像組成。

為了評估本文提出算法的融合性能，我們與基于卷積稀疏表示的圖像融合方法（convolutional sparse representation,CSR）[18]，基于梯度轉(zhuǎn)移的圖像融合方法（gradient transfer fusion,GTF）[19]，基于密集卷積網(wǎng)絡(luò)的圖像融合方法（DenseFuse）[10]，基于卷積神經(jīng)網(wǎng)絡(luò)的通用圖像融合框架（image fusion with convolutional neural network,IFCNN）[16]，基于生成對抗網(wǎng)絡(luò)的圖像融合方法（fusion with generative adversarial network,FusionGAN）[9]，基于雙鑒別器生成對抗網(wǎng)絡(luò)的圖像融合方法（dual-discriminator conditional generative adversarial network,DDcGAN）[20]和基于殘差塊的對稱自編碼網(wǎng)絡(luò)的圖像融合方法（symmetric encoderdecoder with a residual block fusion,SEDRFuse）[14]進(jìn)行實(shí)驗(yàn)結(jié)果的對比，這7 種方法的實(shí)現(xiàn)都是公開可用的，它們的參數(shù)均使用文獻(xiàn)中的默認(rèn)參數(shù)，其中訓(xùn)練的數(shù)據(jù)集與本文算法相同。本文算法中參數(shù)α，γ，ε設(shè)置如下：α＝1，γ＝100，ε＝1，優(yōu)化器為Adam，學(xué)習(xí)率為0.0001，在tensorflow 中實(shí)現(xiàn)并在NVIDIA GTX 1080Ti 的平臺上訓(xùn)練和測試。

2.1 主觀評價(jià)

本文選擇TNO 數(shù)據(jù)集中的兩對圖像（Kaptein_1123 和Marne_04）為例進(jìn)行主觀評價(jià)。

如圖4 所示，從熱紅外目標(biāo)的顯著上檢視，由于FusionGAN 中鑒別器將可見光圖像作為鑒別器的真實(shí)圖像，故丟失了大量紅外目標(biāo)信息，融合圖像中紅外目標(biāo)較模糊；DDcGAN 中具有兩個(gè)鑒別器，融合圖像比FusionGAN 突出顯示紅外目標(biāo)，但由于對抗性損失的復(fù)雜性，雙重鑒別器難以達(dá)到納什平衡，DDcGAN 的融合圖像紅外目標(biāo)仍然模糊；CSR 和GTF的融合圖像中缺少地磚紋理的表達(dá)；我們的方法在全局紋理和目標(biāo)顯著性方面比較均衡。

圖4 場景1 融合效果Fig.4 Image fusion results (Scene 1)

圖5 進(jìn)一步放大顯示融合圖像中其他部分的細(xì)節(jié)信息，可以看到，DenseFuse 和IFCNN 由于其手動調(diào)整融合規(guī)則的優(yōu)越性，DenseFuse 和IFCNN 的融合圖像具有較高的對比度熱目標(biāo)，然而，預(yù)訓(xùn)練網(wǎng)絡(luò)提取的特征具有不確定性，丟失大量源圖像的紋理細(xì)節(jié)信息，例如車窗和樹木；CSR，GTF，F(xiàn)usionGAN 和DDcGAN 的融合圖像保留了部分的細(xì)節(jié)信息，但其融合圖像較為模糊；SEDRFuse 與本文所提出的方法同樣使用了自注意力圖進(jìn)行融合，保留了較好的紋理信息和紅外目標(biāo)信息。本文方法的融合結(jié)果包含了更多的紅外目標(biāo)區(qū)域和紋理細(xì)節(jié)信息，并且很好地保留了圖像的顯著區(qū)域，對一些微弱的邊緣也起到了增強(qiáng)的效果，融合的結(jié)果對不同清晰度的圖像具有較強(qiáng)的魯棒性，但在圖像部分區(qū)域重建的過程中，由于注意力學(xué)習(xí)的誤差，存在過度增強(qiáng)，例如圖5 中天空和云朵的融合效果，需要進(jìn)一步改進(jìn)。

圖5 場景2 融合效果Fig.5 Image fusion results (Scene 2)

2.2 客觀評價(jià)

本文采用了熵（Entropy,EN），標(biāo)準(zhǔn)差（standard deviation,SD），相關(guān)系數(shù)（correlation coefficent,CC），空間頻率（spatial frequency,SF），平均梯度（mean gradient,MG），邊緣強(qiáng)度（edge intensity,EI）作為評價(jià)指標(biāo)對融合效果進(jìn)行客觀評價(jià)。EN 用于測量圖像信息，SD 用于衡量圖像中的灰度值分布，CC 測量兩圖像之間的線性相關(guān)程度，SF 能夠衡量圖像的紋理細(xì)節(jié)信息，MG 用于計(jì)算圖像的梯度信息，EI 是指邊緣與鄰近像素的對比強(qiáng)度，所有評價(jià)指標(biāo)的值與圖像的融合質(zhì)量成正比例關(guān)系。

表1 中給出了測試集中所有圖片客觀評價(jià)指標(biāo)的平均值，所提出的方法能夠在評估指標(biāo)SF，MG 和EI上獲得最大的平均值，這進(jìn)一步說明本文算法感知損失的細(xì)節(jié)留存與自注意力機(jī)制的注意力分配的重要作用；對于EN，本文的方法僅次于DDcGAN，這是由于DDcGAN 中雙鑒別器的作用，可以使融合圖像盡最大可能地獲得源圖像的細(xì)節(jié)紋理信息，融合圖像的信息更豐富，信息量更大；對于SD，本文的方法僅次于DDcGAN，這說明本文的方法融合圖像有較好的主觀視覺效果；對于 CC，本文的方法僅次于DenseFuse，這是由于DenseFuse 手動設(shè)計(jì)了更適合紅外與可見光圖像融合的融合規(guī)則，使融合圖像與源圖像的線性相關(guān)性更高。

表1 不同融合方法的客觀評價(jià)結(jié)果Table 1 Objective evaluation results of different fusion methods

綜合對紅外和可見光圖像數(shù)據(jù)集定性和定量的評估結(jié)果表明，本文算法使用的自注意力機(jī)制使網(wǎng)絡(luò)對熱輻射目標(biāo)和紋理細(xì)節(jié)分配更多的關(guān)注，同時(shí)損失函數(shù)中的內(nèi)容損失和感知損失使源圖像更多的細(xì)節(jié)信息留存在融合圖像中。

2.3 自注意力機(jī)制可視化分析

為了更好地了解自注意力機(jī)制學(xué)習(xí)的內(nèi)容，驗(yàn)證網(wǎng)絡(luò)學(xué)習(xí)到每個(gè)點(diǎn)的長距離依賴的可靠性，本文對自注意力機(jī)制進(jìn)行了可視化，如圖6 所示。

對于每對輸入圖像，選擇兩個(gè)點(diǎn)，并在接下來的兩列中顯示它們對應(yīng)的注意力圖，注意到位置注意模塊可以捕獲清晰的語義相似性和長距離關(guān)系。例如，對于圖6(a)，紅點(diǎn)標(biāo)記在人上，圖6(b)顯示了人所在的大部分區(qū)域，而藍(lán)點(diǎn)標(biāo)記在墻壁上，圖6(c)不僅突出顯示了墻壁的區(qū)域，還獲得了大部分人所在的區(qū)域，對于圖6(d)，紅點(diǎn)標(biāo)記在墻壁邊緣上，圖6(e)突出顯示了與墻壁邊緣梯度相似的區(qū)域，藍(lán)點(diǎn)標(biāo)記在草叢和墻壁的邊緣上，圖6(f)顯示了草叢和墻壁的大多數(shù)位置。第二組圖像也是如此，紅外圖像的注意力圖不僅可以獲得標(biāo)記的區(qū)域，還可以獲得大多數(shù)紅外目標(biāo)的區(qū)域，而可見光圖像的注意力圖可以盡最大可能地獲取到標(biāo)記的區(qū)域，還可以獲得圖像中梯度相似的區(qū)域。從圖中可看出，本文算法能夠根據(jù)顏色和紋理的相似性分配注意力，這進(jìn)一步驗(yàn)證了本文自注意力機(jī)制的有效性。

圖6 TNO 數(shù)據(jù)集上自注意力模塊的可視化結(jié)果Fig.6 Visualization results of the self-attention module on TNO dataset

3 結(jié)論

本文提出了一種自注意力引導(dǎo)的紅外和可見光圖像融合算法，采用端到端無監(jiān)督訓(xùn)練方式，簡化了傳統(tǒng)圖像融合算法中活動水平測量和權(quán)重分配的復(fù)雜性。為了強(qiáng)化特征表達(dá)能力和關(guān)鍵信息提取能力，引入了自注意力機(jī)制至融合網(wǎng)絡(luò)中與卷積操作形成互補(bǔ)以在獲取局部特征的同時(shí)捕獲圖像中的長距離依賴。特別的是，本文設(shè)計(jì)了3 個(gè)損失函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)以改善融合性能。在TNO 數(shù)據(jù)集上，從定量和定性層面，與7 種主流融合算法對比檢驗(yàn)了本文算法在保留紅外圖像中的熱輻射目標(biāo)和保留可見光圖像中豐富的紋理細(xì)節(jié)的能力。