曲海成，王宇萍，謝夢婷，肖葦

（1.遼寧工程技術(shù)大學(xué) 軟件學(xué)院，遼寧 葫蘆島 125105;2.中國鐵路沈陽局集團(tuán)有限公司阜新車務(wù)段，遼寧 阜新 123100）

圖像融合是一種圖像增強(qiáng)技術(shù)，其目的是融合不同傳感器提供的圖像，生成信息更豐富的圖像，以便于后續(xù)處理。其中紅外與可見光圖像融合是計算機(jī)視覺領(lǐng)域中非常重要的部分。首先，紅外圖像與可見光圖像的信號來自不同的模式，因此可以從不同方面提供場景信息；其次，二者幾乎呈現(xiàn)了物體的所有特性，并且具有互補(bǔ)性?？梢姽鈭D像捕獲反射光，通常具有較高的空間分辨率和可觀的細(xì)節(jié)和明暗度，但很容易受到惡劣條件如光照差、煙霧等的影響，而捕獲物體熱輻射的紅外圖像能夠抵抗這些干擾，但通常分辨率低，紋理較差。根據(jù)二者的成像特點(diǎn)進(jìn)行圖像融合，得到的互補(bǔ)融合圖像可以廣泛應(yīng)用到遙感圖像分類[1-2]、目標(biāo)檢測[3-4]和視頻監(jiān)控[5]等領(lǐng)域。

圖像融合分為像素級融合、特征級融合和決策級融合。在過去的幾十年里，國內(nèi)外學(xué)者提出了多種紅外與可見光圖像融合方法。在像素級融合方法中，具有代表性的方法有變換域的ADF[6]、CBF[7]和WLS[8]和稀疏域的ASR[9]、LP[10]等方法。變換域中基于多尺度變換[11]的方法最為活躍，將源圖像分解成多個層次，用特定的規(guī)則融合相應(yīng)的層次，再重建目標(biāo)圖像，但由于其忽略了融合過程中的空間一致性，容易在融合圖像中引入光暈。稀疏域的方法[12]需要構(gòu)建一個過完備字典，需要多次迭代，非常耗時。圖像融合中合適的信息提取方法和有效的融合原理是保證融合性能的關(guān)鍵[13]。近年來隨著深度學(xué)習(xí)的興起，國內(nèi)外學(xué)者提出了許多基于深度學(xué)習(xí)的融合方法。2017 年，Prabhakar 等[14]針對多曝光融合問題提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法(Deep-Fuse)，該方法網(wǎng)絡(luò)結(jié)構(gòu)過于簡單，并且只使用編碼網(wǎng)絡(luò)中最后一層計算的結(jié)果，中間層獲得的有用信息會丟失。2019 年，Ma 等[15]提出了一種基于生成對抗網(wǎng)絡(luò)的融合方法(a GAN network for image fusion,FusionGAN)，在保留熱輻射信息的同時保留細(xì)節(jié)紋理信息，達(dá)到了較好的性能。但生成器與判別器網(wǎng)絡(luò)結(jié)構(gòu)相對簡單，損失函數(shù)只考慮梯度來衡量紋理信息，從而導(dǎo)致一些重要信息的丟失。2018 年，Li 等[16]提出了一種基于深度網(wǎng)絡(luò)的紅外與可見光圖像融合方法，這種方法將源圖像通過導(dǎo)向?yàn)V波的方式進(jìn)行分解，得到圖像的基礎(chǔ)部分和細(xì)節(jié)內(nèi)容，對基礎(chǔ)部分和細(xì)節(jié)內(nèi)容分別融合。該方法耗費(fèi)大量計算資源。2019 年，Li 等[17]提出了帶有密集連接的紅外與可見光圖像融合方法(Dense-Fuse)，網(wǎng)絡(luò)由編碼網(wǎng)絡(luò)、融合層和解碼網(wǎng)絡(luò)組成。該方法采用相同的編碼網(wǎng)絡(luò)對紅外圖像與可見光圖像進(jìn)行特征提取，會存在特征丟失問題。2020 年,Xu 等[18]提出了一種端到端的統(tǒng)一無監(jiān)督學(xué)習(xí)圖像融合方法(U2Fusion)，是一種通用圖像融合方法，但訓(xùn)練起來非常復(fù)雜，占用大量資源。

上述研究主要針對光照條件較好的場景圖像進(jìn)行融合。由于光照條件好時，可見光圖像的紋理細(xì)節(jié)特征清晰，而光照條件差時，可見光圖像的偽影和噪聲會影響融合質(zhì)量。于是，為消除光照條件對融合圖像性能的影響，提高暗條件下融合圖像目標(biāo)的清晰度，提出一種結(jié)合亮度感知與密集卷積的紅外與可見光圖像融合方法（BPDFusion）。本文的主要工作：1）建立可見光圖像暗區(qū)域增強(qiáng)模型，消除光照條件對融合性能的影響；2）將密集卷積嵌入特征提取網(wǎng)絡(luò)，提取圖像深層特征同時保留淺層特征，避免梯度消失問題；3）由多損失函數(shù)構(gòu)建端到端的無監(jiān)督學(xué)習(xí)圖像融合過程；4）將提出的方法在TNO 和KAIST數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)。

1 相關(guān)研究

1.1 FusionGAN 方法

Ma 等[15]提出的FusionGAN 方法首次將對抗生成網(wǎng)絡(luò)應(yīng)用于圖像融合領(lǐng)域。FusionGAN 方法整體框架如圖1 所示。生成器是整個模型的主要網(wǎng)絡(luò)，影響最終融合圖像的質(zhì)量。判別器的目的是將可見光圖像的細(xì)節(jié)信息加入到融合圖像。訓(xùn)練階段，生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)協(xié)同、交替更新網(wǎng)絡(luò)參數(shù)；測試時直接利用訓(xùn)練好的生成器生成融合圖片。通過生成器與判別器對抗訓(xùn)練，使得最終的融合結(jié)果中既包含紅外熱輻射信息，又包含可見光圖像的細(xì)節(jié)特征。

圖1 FusionGAN 的整體框架Fig.1 Entire process of FusionGAN

FusionGAN 方法存在的問題：1）未考慮暗條件下可見光圖像暗區(qū)域會給融合圖像引入干擾信息；2）生成器與判別器網(wǎng)絡(luò)結(jié)構(gòu)相對簡單，突出特征提取不當(dāng)；3）損失函數(shù)只考慮可見光梯度和紅外強(qiáng)度來衡量融合圖像與源圖像的關(guān)系，會導(dǎo)致一些重要信息的丟失。

1.2 密集卷積網(wǎng)絡(luò)

為解決特征提取過程中特征丟失問題，對密集卷積網(wǎng)絡(luò)進(jìn)行了調(diào)研。Huang 等[19]為了使網(wǎng)絡(luò)中所有層之間的信息流最大，將網(wǎng)絡(luò)中的所有層兩兩進(jìn)行連接，使得網(wǎng)絡(luò)中每一層都接受它前面所有層的特征作為輸入，并將這種網(wǎng)絡(luò)結(jié)構(gòu)稱為DenseNet。密集卷積網(wǎng)絡(luò)實(shí)現(xiàn)了信息流動最大化，通過多個前層與后層的連接，保證前層信息得到充分利用，使所有中間層信息得以保留。為了進(jìn)行特征復(fù)用，在跨層連接時使用的是在特征維度上的 Concatenate 操作，每經(jīng)過一個單元模塊，下一層的特征維度數(shù)量就會增加k，k值越大意味著在網(wǎng)絡(luò)中流通的信息越大，但是整個模型的尺寸和計算量也會增加。為了避免隨著網(wǎng)絡(luò)層數(shù)的增加，后面層的特征維度增長過快，本文方法在每個階段之后進(jìn)行下采樣時，首先通過一個卷積層將特征維度壓縮至當(dāng)前輸入一個適當(dāng)值，然后再進(jìn)行Pooling 操作，這樣能適當(dāng)降低網(wǎng)絡(luò)復(fù)雜度和計算量。

1.3 多損失函數(shù)

在無監(jiān)督學(xué)習(xí)圖像融合方法中，損失函數(shù)在融合圖像生成過程中發(fā)揮重要作用。FusionGAN的生成器損失主要由對抗損失、紅外強(qiáng)度損失及可見光梯度損失組成，沒有考慮到紅外圖像的熱輻射信息和可見光圖像的紋理信息不能單純靠強(qiáng)度梯度損失來約束，忽略了源圖像與融合圖像整體信息關(guān)聯(lián)性。結(jié)構(gòu)相似性是衡量兩幅圖像相似度的指標(biāo)，本文方法提出多損失函數(shù)模型來提高網(wǎng)絡(luò)的學(xué)習(xí)能力，在內(nèi)容損失中增加結(jié)構(gòu)相似性損失和像素?fù)p失，更具針對性地保留源圖像特征信息。

2 BPD-Fusion

由于亮度對紅外與可見光圖像融合性能有較大影響，本文提出結(jié)合亮度感知與密集卷積的紅外與可見光圖像融合方法（BPD-Fusion）。BPDFusion 方法整體框架如圖2 所示，訓(xùn)練時，對于生成器，首先將可見光圖像輸入亮度感知模塊，得到暗區(qū)域增強(qiáng)的可見光圖像；然后，將可見光圖像與紅外圖像Concat，通過密集卷積模塊提取豐富的圖像特征，將特征圖經(jīng)特征重構(gòu)生成融合圖像。對于判別器，輸入可見光圖像或生成器輸出的初步融合圖像，由卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，輸出對兩類圖像的判別值，以便于將可見光圖像的細(xì)節(jié)信息不斷地加入到融合圖像中。整個過程以多損失函數(shù)約束融合圖像與源圖像的關(guān)系，增強(qiáng)模型圖像生成與重構(gòu)能力。

圖2 BPD-Fusion 整體框架Fig.2 Overall framework of BPD-Fusion

生成器包含了亮度感知模塊、輸入層、特征提取模塊、特征重構(gòu)模塊和輸出層5 個部分。將可見光圖像輸入亮度感知模塊，得到暗區(qū)域增強(qiáng)的可見光圖像，然后將可見光圖像與紅外圖像Concat 作為2 通道輸入圖像，進(jìn)入密集卷積模塊進(jìn)行特征提取，得到264 通道特征圖，通過特征重構(gòu)得到單通道融合圖像。其具體網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見表1。Conv1 采用5×5 大小的卷積核，以較大感受野獲取源圖像特征。

表1 亮度感知機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Brightness sensing mechanism and network structure

判別器的目的是將可見光圖像的細(xì)節(jié)信息加入到融合圖像中。若對可見光圖像的判別結(jié)果越大，則判別能力越強(qiáng)[20]。判別器包含4 個卷積層和1 個線性層，卷積層以3×3 大小的卷積核進(jìn)行特征提取，填充方式均為VALID，激活函數(shù)為LeakyReLU，除第一個卷積層外，均使用Batch-Norm 進(jìn)行參數(shù)批歸一化處理，提高模型收斂速度。線性層輸出對輸入圖像的判別結(jié)果。判別器的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)信息見表2。

表2 判別器網(wǎng)絡(luò)整體結(jié)構(gòu)Table 2 Overall structure of the discriminator network

2.1 亮度感知與暗區(qū)域亮度增強(qiáng)

為了提高融合圖像質(zhì)量，消除光照環(huán)境對融合性能的影響，設(shè)計了亮度感知模塊。該模塊對可見光圖像進(jìn)行亮度計算，按亮度權(quán)重為圖像暗區(qū)域進(jìn)行亮度增強(qiáng)，避免光照條件差時可見光圖像向融合圖像引入較多噪聲。該模塊對輸入的多通道可見光圖像以YCbCr 模式讀取。首先，取第一個通道Y 即亮度通道將其轉(zhuǎn)為灰度圖像，此時圖像的灰度值即亮度值；然后，通過卷積操作得到特征圖，使用平均池化計算平均亮度；最后，使用Sigmoid 操作將圖像亮度轉(zhuǎn)換到0 到1 之間作為亮度權(quán)重，在通道維對圖像進(jìn)行亮度加權(quán)，在保持較亮區(qū)域亮度同時，增強(qiáng)暗區(qū)域的亮度，并與源圖像做殘差處理，避免特征丟失問題。預(yù)處理完畢后，得到增強(qiáng)的可見光圖像作為下一個模塊的輸入。該模塊整體結(jié)構(gòu)如圖3所示。

圖3 亮度感知模塊整體結(jié)構(gòu)圖Fig.3 Structural diagram of the brightness sensing module

模塊的輸入為多通道彩色或灰度可見光圖像，然后將其轉(zhuǎn)換成單通道灰度圖像輸入卷積神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)的第一層Conv_l1 和第二層Conv_l2 均由Conv+ReLU+MaxPooling 組成，第三層gap 由Conv+ReLU+Avg_Pooling+Sigmoid 組成。圖3 中數(shù)字代表圖像通道數(shù)。

網(wǎng)絡(luò)的參數(shù)設(shè)置及功能如下：

1）卷積核與激活函數(shù)。Conv_l1、Conv_l2 和gap 這3 個卷積層均使用3×3 大小的卷積核進(jìn)行內(nèi)部特征提取，激活函數(shù)使用ReLU。

2）步長與填充設(shè)置。每個卷積的步長均為1，在特征通道數(shù)增加的同時，在Conv_l1 和Conv_l2 階段后，使用最大池化減小特征圖尺寸，卷積時不需填充，因此填充方式為VALID。

3）平均池化與Sigmoid 輸出。在gap 層，使用平均池化reduce_mean 操作得到平均亮度，然后，通過Sigmoid 函數(shù)將圖像的平均亮度值轉(zhuǎn)換成（0,1）之間的值得到亮度權(quán)重，對圖像進(jìn)行暗區(qū)域亮度增強(qiáng)，得到增強(qiáng)的可見光圖像。

2.2 密集卷積結(jié)構(gòu)

為保證融合圖像包含更多源圖像信息，將密集卷積網(wǎng)絡(luò)應(yīng)用于圖像融合。從Conv1 階段得到的44 通道特征圖輸入密集卷積模塊，對于塊內(nèi)每一層，其輸入特征圖為前面所有層輸出特征通道的級聯(lián)。增長率設(shè)置為44，為提高模型計算速度，使內(nèi)部每個卷積塊均輸出44 通道特征圖，在保留淺層特征的同時，又增加深層特征。最后整個密集塊的輸出為264 通道特征圖。具體網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計如圖4 所示。

圖4 密集卷積模塊結(jié)構(gòu)圖Fig.4 Structural diagram of the dense convolution module

網(wǎng)絡(luò)的參數(shù)設(shè)置及功能如下：

1）卷積核大小設(shè)置。密集卷積模塊為了提取深層特征，5 個卷積層均使用3×3 大小的內(nèi)核進(jìn)行內(nèi)部特征提取，將特征進(jìn)行通道維級聯(lián)可避免特征丟失，使融合圖像內(nèi)容更豐富。

2）步長與填充設(shè)置。每個卷積的步長均為1，為保證特征圖尺寸不變，卷積時使用SAME 方式進(jìn)行填充，減少了中間層的特征丟失，層與層之間的特征關(guān)聯(lián)更強(qiáng)，使得融合圖像與源圖像具有高度相關(guān)性。

3）批歸一化與激活函數(shù)。BatchNorm 操作對卷積層輸出進(jìn)行批歸一化處理，可加快模型收斂速度，前向傳播時每一層直接與密集塊輸入相連，反向傳播時誤差可以更早地傳播到前層，可有效避免梯度消失問題，有利于提高模型訓(xùn)練的穩(wěn)定性[15]。每層使用LeakyReLU 激活函數(shù)。

2.3 多損失函數(shù)

BPD-Fusion 的損失函數(shù)包括生成器損失和判別器損失兩部分：生成器損失計算融合圖像與源圖像之間的差別；判別器以可見光圖像作為標(biāo)簽，訓(xùn)練辨別可見光圖像與融合圖像的能力。

1）生成器損失函數(shù)

生成器損失（LG）包含對抗損失（LAdv）及內(nèi)容損失（Lcon），其定義為

LG=100LAdv+Lcon

內(nèi)容損失（Lcon）是生成器的主要損失函數(shù)，決定了融合圖像與源圖像間的相關(guān)性及重點(diǎn)提取紅外圖像與可見光圖像的哪些特征。內(nèi)容損失越小，融合圖像中源圖像的特征越多。本文方法在內(nèi)容損失中加入結(jié)構(gòu)相似性損失和像素?fù)p失，更具針對性地保留源圖像特征信息。BPD-Fusion 的內(nèi)容損失由強(qiáng)度梯度損失（LGrad）、結(jié)構(gòu)相似度損失（LSSIM）和像素?fù)p失（LPixel）組成，其定義為

對抗損失（LAdv）是生成器與判別器交互的損失函數(shù)，其定義為

D(F)為判別器對融合圖像的判別結(jié)果，在（0,1）之間，a為軟標(biāo)簽（取值不確定的標(biāo)簽）。a值越大，意味著融合圖像正在向可見光圖像靠近，又要保證損失最小，根據(jù)文獻(xiàn)[15]將軟標(biāo)簽a的取值范圍設(shè)置為（0.7,1.2）。

2）判別器損失函數(shù)

判別器損失函數(shù)（LD）的目的是約束判別器網(wǎng)絡(luò)反向傳播參數(shù)更新，訓(xùn)練判別器對可見光圖像和融合圖像的判別能力，其定義為

式中：D(V)為判別器對可見光圖像的判別結(jié)果；D(F)為判別器對融合圖像的判別結(jié)果；b、c為軟標(biāo)簽（取值不確定的標(biāo)簽），根據(jù)文獻(xiàn)[15]將b的范圍設(shè)置為（0.7,1.2），將c的范圍設(shè)置為（0,0.3）。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)在Windows10 操作系統(tǒng)和NVIDIA GTX 1080Ti GPU 上完成，采用深度學(xué)習(xí)框架Tensor-Flow 1.12.0。訓(xùn)練過程學(xué)習(xí)率設(shè)為0.000 01，batch_size 設(shè)置為32，訓(xùn)練迭代次數(shù)設(shè)置為20，其中每次判別器訓(xùn)練次數(shù)設(shè)置為2。BPD-Fusion 方法主要目的是解決暗條件紅外與可見光圖像融合效果差的問題，本節(jié)采用TNO[21]數(shù)據(jù)集的35 對白天圖像和KAIST[22]數(shù)據(jù)集的21 對夜間圖像評估提出方法的性能。選擇ADF[6]、CBF[7]、WLS[8]、Deepfuse[14]、deeplearning[16]和Densefuse[17]這6 種方法與本文方法作對比實(shí)驗(yàn)，對融合圖像進(jìn)行主觀評價和客觀評價。對比實(shí)驗(yàn)圖片由PyCharm和Matlab 程序生成，客觀評價指標(biāo)計算通過MATLAB 軟件實(shí)現(xiàn)。

3.1 主觀評價

BPD-Fusion 與對比方法在TNO 數(shù)據(jù)集中傍晚的“房屋與車輛”實(shí)驗(yàn)結(jié)果如圖5 所示。

圖5 TNO 數(shù)據(jù)集中“房屋與車輛”融合結(jié)果Fig.5 Fusion results of“house and vehicle”in TNO dataset

從圖5 的實(shí)驗(yàn)結(jié)果可以看出：圖（c）中，房屋左側(cè)的樹輪廓模糊，整幅圖像清晰度較低；圖（d）中，整體噪聲大，視覺效果較差；圖（e）中，天空中的云邊緣不清晰，整體紋理細(xì)節(jié)信息少；圖（f）、（g）中，紅外目標(biāo)較亮，可見光圖像紋理信息部分丟失，房屋前的路燈周圍有光暈；圖（h）中，整體背景偏暗，有輕微偽影；圖（i）中，整體背景較亮且清晰，目標(biāo)突出，能清楚地識別地磚、樹木、云、房屋、路燈和車輛等。

BPD-Fusion 與對比方法在KAIST 數(shù)據(jù)集中路燈下的“行人與自行車”實(shí)驗(yàn)結(jié)果如圖6 所示。

圖6 KAIST 數(shù)據(jù)集中“行人與車輛”融合結(jié)果Fig.6 Fusion results of“pedestrian and vehicles”in KAIST dataset

從圖6 的實(shí)驗(yàn)結(jié)果可以看出：圖（c）、（e）中，左側(cè)樹旁邊的暗處細(xì)節(jié)不清晰；圖（d）中，圖像整體上有明顯的黑塊，不夠平滑；圖（f）、（g）中，人與汽車的輪廓都比較模糊；圖（h）中，右邊一排暗處的自行車邊緣不清晰；圖（i）中，自行車與路中間的人輪廓清晰可見，圖像整體平滑，細(xì)節(jié)信息與熱輻射信息都能較好地體現(xiàn)。

BPD-Fusion 與對比方法在KAIST 數(shù)據(jù)集中夜晚照明條件差的“行人”實(shí)驗(yàn)結(jié)果如圖7 所示。

圖7 KAIST 數(shù)據(jù)集中“行人”融合結(jié)果Fig.7 Fusion results of“pedestrian”in the KAIST dataset

從圖7 的實(shí)驗(yàn)結(jié)果可以看出：圖（c）中，背景較暗，道路中間的兩個行人模糊；圖（d）中，路燈中心有黑塊，整體噪聲較大；圖（e），圖像整體不夠平滑，暗處物體特征丟失；圖（f）、（g）中，人的輪廓信息不清楚，丟失了可見光圖像的細(xì)節(jié)信息；圖（h）中，整體偏暗，目標(biāo)與背景沒有很好地區(qū)分開；圖（i）中，整體較亮，可以看到每層樓的窗戶輪廓，道路中間和左邊的行人輪廓清晰，墻壁、樹、路障的細(xì)節(jié)信息豐富。

3.2 客觀評價

為了進(jìn)一步評價融合圖像的融合效果，使用客觀評價方法進(jìn)行評估。選取信息熵（information entropy,EN）[23]、互信息（mutual information,MI）[24]、差異相關(guān)和（sum of correlation and difference,SCD）[25]和平均梯度（average gradient,AG）為測評指標(biāo)，從圖像信息豐富度、互補(bǔ)性和紋理細(xì)節(jié)等不同角度對融合圖像進(jìn)行評價。以下為測評指標(biāo)的計算公式。

1）信息熵（EN）。其值大小能夠體現(xiàn)融合圖像中平均信息量的多少，其定義為

式中：pi為灰度值為i的像素數(shù)與圖像總像素數(shù)之比，信息熵越大，表明圖像所含信息越豐富。

2）互信息（MI）。該指標(biāo)的大小表示融合圖像中源圖像信息量的多少，用于衡量二者之間的信息相關(guān)性，互信息值越大，代表融合圖像包含源圖像的信息越多，圖像融合效果越好，計算方法為

式中：A、B為源圖像；F為融合圖像。

3）差異相關(guān)和。該指標(biāo)衡量兩源圖像之間信息的互補(bǔ)性，差異之和越大，說明融合圖像中互補(bǔ)信息越多，圖像融合效果越好，其定義為

式中：F為融合圖像；r為計算DA和DB與兩張源圖像A與B的相關(guān)系數(shù)；DA和DB分別定義融合圖像與源圖像之間的差異。

4）平均梯度。該指標(biāo)反映了圖像中細(xì)節(jié)反差與紋理變化特征及圖像的清晰度，其值越大，圖像越清晰，其定義為

式中：Δxf(i,j)、Δyf(i,j)分別為像素(i,j)在x，y方向上的一階差分值。

首先，在TNO 數(shù)據(jù)集中選取了35 對照明條件一般的紅外與可見光圖像，由BPD-Fusion 與6 種對比方法分別生成融合圖像進(jìn)行測評，測評結(jié)果見表3。表3 中數(shù)值均為每種方法生成的35 張融合圖像在EN、MI 和SCD 指標(biāo)上測評結(jié)果的平均值，所有指標(biāo)的值越大越好。

由表3 可以看出，BPD-Fusion 在EN、MI 兩個指標(biāo)中取得最大值，相比其他方法有明顯的提高，說明得到的融合圖像信息更豐富。本組源圖像光線稍好，保留了更多的可見光圖像有利細(xì)節(jié)信息，互補(bǔ)性不是最大，差異相關(guān)和較最優(yōu)值稍低一點(diǎn)，但主觀評價和客觀評價上仍然達(dá)到了較好的效果。

表3 TNO 數(shù)據(jù)集35 組融合圖像客觀評價指標(biāo)均值Table 3 Mean value of the objective evaluation of the fusion images of 35 groups in the TNO dataset

然后，為了驗(yàn)證BPD-Fusion 在暗條件下融合的優(yōu)越性，在KAIST 數(shù)據(jù)集中選取21 對照明條件較差的紅外與可見光圖像，與6 種對比方法的測評結(jié)果見表4。表4 中數(shù)值均為每種方法生成的21 張融合圖像在EN、MI 和SCD 指標(biāo)上測評結(jié)果的平均值，其值越大越好，計算時間越小越好。

由表4 可見，BPD-Fusion 在KAIST 數(shù)據(jù)集上的融合圖像其EN、MI 和SCD 這3 個方面都是最優(yōu)的。KAIST 數(shù)據(jù)集中圖像偏暗，BPD-Fusion 中的亮度感知機(jī)制很好地感知了亮度條件，提取源圖像中有用的信息，抑制干擾信息，使融合圖像測評指標(biāo)值提高。

表4 KAIST 數(shù)據(jù)集21 組融合圖像客觀評價指標(biāo)均值Table 4 Mean values of the objective evaluation of the fusion images of 21 groups in KAIST dataset

最后，為驗(yàn)證BPD-Fusion 中亮度感知暗區(qū)域增強(qiáng)模型、密集卷積模塊及多損失函數(shù)的作用，使用KAIST 數(shù)據(jù)集中的21 對典型紅外與可見光圖像做消融實(shí)驗(yàn)，采用客觀評價對所有方法生成的融合圖像進(jìn)行測評，測評結(jié)果見表5。表5 中數(shù)值均為每種方法生成的21 張融合圖像在EN、MI、SCD 和AG 指標(biāo)上測評結(jié)果的平均值，所有指標(biāo)的值越大越好。

表5 KAIST 數(shù)據(jù)集消融實(shí)驗(yàn)客觀評價Table 5 Objective evaluation of the ablation experiment in KAIST data set

由表5 可以看出，方法2 在方法1 基礎(chǔ)上采用多損失函數(shù)，3 個指標(biāo)較方法1 均有提升，在生成器損失函數(shù)中加入結(jié)構(gòu)相似度損失和像素?fù)p失，更加全面地優(yōu)化了融合圖像。方法3 在方法2 基礎(chǔ)上，在生成器的Conv1 階段后嵌入密集卷積模塊，指標(biāo)值較方法2 均有提升，密集卷積提取深層特征同時保留淺層特征，優(yōu)化時避免了梯度消失問題，使融合圖像中的互補(bǔ)信息增多。方法4 在方法3 的基礎(chǔ)上加入亮度感知模塊，對可見光圖像的暗區(qū)域進(jìn)行亮度增強(qiáng)，充分利用了可見光圖像的細(xì)節(jié)特征與紅外圖像的熱輻射特征，使測評結(jié)果大幅提高。方法4 即BPD-Fusion 生成的融合圖像如圖5、圖6 和圖7 所示，圖像中的信息更豐富，視覺效果良好。

4 結(jié)束語

針對弱光照條件下紅外與可見光圖像融合效果較差的問題，本文提出一種結(jié)合亮度感知與密集卷積的紅外與可見光圖像融合方法。該方法使用亮度感知機(jī)制，對可見光圖像暗區(qū)域進(jìn)行亮度增強(qiáng)處理，向融合圖像中加入有利的可見光圖像細(xì)節(jié)信息，抑制不利信息的引入。同時，在生成器特征提取階段嵌入密集卷積，減少了中間層的特征丟失，同時解決了梯度消失問題，使得融合圖像與源圖像具有高度相關(guān)性。此外，使用多損失函數(shù)構(gòu)建端到端的無監(jiān)督學(xué)習(xí)圖像融合過程，增強(qiáng)模型學(xué)習(xí)能力。主觀評價和客觀評價結(jié)果表明，提出的方法在圖像的視覺觀察、目標(biāo)清晰度和信息互補(bǔ)性等方面具有良好的性能。本文方法可應(yīng)用于目標(biāo)檢測和目標(biāo)追蹤等領(lǐng)域，進(jìn)一步探索如何保留色彩信息是今后的工作方向。