郝 帥， 李 彤， 馬 旭， 何 田， 孫曦子， 李嘉豪

（西安科技大學(xué) 電氣與控制工程學(xué)院，陜西 西安 710054）

1 引 言

異源圖像融合旨在將不同模態(tài)傳感器捕獲的圖像信息進(jìn)行合并，以獲取符合人類視覺認(rèn)知的融合圖像，最具代表性的是紅外與可見光圖像融合［1］。根據(jù)熱輻射成像原理，紅外傳感器獲得的熱紅外圖像不易受天氣條件及光照變化影響，但其對(duì)比度往往較低、細(xì)節(jié)信息不足。依據(jù)光學(xué)反射成像原理，可見光圖像通常具有較高的分辨率和豐富的細(xì)節(jié)紋理，但易受到外界環(huán)境的干擾。因此，通過設(shè)計(jì)合適的融合策略使兩類圖像優(yōu)勢(shì)互補(bǔ)，就可以得到前景目標(biāo)突出、背景信息豐富的融合圖像［2］。目前，紅外與可見光圖像融合已廣泛應(yīng)用于目標(biāo)檢測(cè)［3］、行為識(shí)別［4］、軍事偵察［5］以及醫(yī)學(xué)分析［6］等領(lǐng)域。

現(xiàn)有的融合算法大致可分為傳統(tǒng)算法和基于深度學(xué)習(xí)的算法兩大類［7］。傳統(tǒng)融合算法通常在空間域中對(duì)像素進(jìn)行處理，或在變換域中對(duì)變換系數(shù)進(jìn)行處理，然后通過人工設(shè)計(jì)合適的融合規(guī)則來完成融合任務(wù)，代表性方法包括多尺度分解、稀疏表示等。Jiang 等［8］通過多重差分梯度來實(shí)現(xiàn)紅外與可見光的融合，將差分圖像和梯度圖像相融合，以保留大量的背景信息。Bavirisetti等［9］將各向異性擴(kuò)散和KL 變換用于紅外與可見光圖像融合，該方法能有效提取紅外與可見光圖像中的有用信息。基于多尺度變換的圖像融合方法雖然可以有效保留圖像的背景信息，但融合結(jié)果缺少對(duì)紋理細(xì)節(jié)的體現(xiàn)，存在偽影，且隨著尺度分解層數(shù)的不斷增加，噪聲干擾愈加強(qiáng)烈，進(jìn)而導(dǎo)致融合圖像質(zhì)量下降［10］。Li等［11］將稀疏約束和保真度約束相結(jié)合，設(shè)計(jì)出一種基于范數(shù)優(yōu)化的紅外與可見光融合算法，并通過實(shí)驗(yàn)證明該方法可以有效保留細(xì)節(jié)信息。稀疏表示雖然能夠較好地保留圖像的結(jié)構(gòu)和灰度信息，但其邊緣檢測(cè)能力弱，最終融合圖像存在邊緣模糊的問題［12］。

近年來，深度學(xué)習(xí)因具有較強(qiáng)的特征提取能力，在融合領(lǐng)域受到了廣泛的關(guān)注［13］。Ma 等［14］提出了FusionGAN 融合算法，其主要利用生成器與鑒別器之間的對(duì)抗關(guān)系來完成融合任務(wù)，融合結(jié)果不易受紅外圖像噪聲的影響。但是由于生成對(duì)抗網(wǎng)絡(luò)在訓(xùn)練時(shí)具有不穩(wěn)定性，融合結(jié)果易丟失部分紋理信息。Yang 等［15］將基于窗口經(jīng)驗(yàn)?zāi)B(tài)分解與生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network,GAN）相結(jié)合，解決了GAN 網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定及圖像分解中信號(hào)隱藏的問題，增強(qiáng)了算法的細(xì)節(jié)提取能力。Cao 等［16］將卷積神經(jīng)網(wǎng)絡(luò)與非下采樣輪廓波變換相結(jié)合，利用卷積神經(jīng)網(wǎng)絡(luò)分離目標(biāo)與背景，可以有效提取紅外圖像中的目標(biāo)信息。Li 等［17］自編碼設(shè)計(jì)多級(jí)殘差編碼器模塊和混合傳輸解碼器模塊，以此構(gòu)建多級(jí)混合傳輸?shù)膱D像融合網(wǎng)絡(luò)，融合結(jié)果能夠保留較多的紋理細(xì)節(jié)。雖然基于深度學(xué)習(xí)的融合算法具有較強(qiáng)的自適應(yīng)能力，但時(shí)效性低且融合效果受限于訓(xùn)練樣本的完備性［18］。

現(xiàn)有的融合算法主要聚焦于特征信息的提取和融合決策的制定，忽略了原始圖像質(zhì)量對(duì)融合效果的影響。針對(duì)融合結(jié)果存在偽影、目標(biāo)邊緣不清晰以及紋理信息丟失等問題，本文提出一種基于目標(biāo)增強(qiáng)與蝴蝶優(yōu)化的紅外與可見光圖像融合算法（infrared and visible image fusion method based on Target Enhancement and Butterfly Optimization， TEBOFuse）。為解決因可見光圖像質(zhì)量較低而造成融合圖像細(xì)節(jié)缺失的問題，搭建基于帶色彩恢復(fù)因子的多尺度Retinex（Multi-scale Retinex with Color Restoration， MSRCR）可見光圖像增強(qiáng)模塊。針對(duì)紅外圖像因成像機(jī)理導(dǎo)致融合目標(biāo)邊緣模糊問題，通過雙邊濾波（Bilateral Filter， BF）減少原始圖像中的噪聲干擾，利用直方圖均衡灰度映射（Histogram equalization Grayscale Mapping， HGM）提高原始紅外圖像的對(duì)比度，采用Canny 算子對(duì)原始圖像進(jìn)行邊緣提取以突出目標(biāo)邊緣信息，從而構(gòu)造了基于目標(biāo)邊緣強(qiáng)化（Target Edge Enhancement，TEE）的紅外圖像增強(qiáng)模塊。為減少融合結(jié)果中目標(biāo)邊緣出現(xiàn)的偽影，采用四階局部微分方程-主成分分析（Fourth order Partial Differential Equations-Principal Component Analysis， FPDEPCA）算法對(duì)紅外和可見光增強(qiáng)圖像分別進(jìn)行邊緣平滑處理。為使重構(gòu)出的融合圖像能夠同時(shí)保留目標(biāo)信息和紋理細(xì)節(jié)，設(shè)計(jì)基于蝴蝶優(yōu)化（Butterfly Optimization Algorithm， BOA）的圖像重構(gòu)模塊，通過BOA 來自適應(yīng)尋找最優(yōu)的重構(gòu)權(quán)重系數(shù)。

2 原 理

2.1 算法流程

TEBOFuse 算法流程如圖1 所示，具體步驟如下：

圖1 TEBOFuse 算法流程Fig.1 Flowchart of TEBOFuse method

（1）搭建基于MSRCR 的可見光增強(qiáng)模塊對(duì)原始可見光圖像進(jìn)行增強(qiáng)。首先，將原可見光圖像分解為RGB 三通道，并進(jìn)行高斯濾波；然后，引入色彩恢復(fù)因子來增強(qiáng)圖像中的暗色區(qū)域；最后，將三通道合并從而得到亮度增強(qiáng)且紋理信息豐富的可見光增強(qiáng)圖像。

（2）構(gòu)建基于TEE 的紅外圖像增強(qiáng)模塊。首先，對(duì)原紅外圖像進(jìn)行雙邊濾波，并與原始圖像做差得到輪廓?dú)埐顖D像；然后，對(duì)原紅外圖像進(jìn)行直方圖均衡灰度映射以及Canny 邊緣提取，分別得到對(duì)比度增強(qiáng)圖像和邊緣強(qiáng)化圖像；最后，將輪廓?dú)埐顖D像、對(duì)比度增強(qiáng)圖像和邊緣強(qiáng)化圖像進(jìn)行線性重構(gòu)，從而得到高對(duì)比度且目標(biāo)清晰的紅外圖像。

（3）采用FPDE 分別對(duì)可見光增強(qiáng)圖像和紅外增強(qiáng)圖像進(jìn)行多尺度分解，得到各自對(duì)應(yīng)的基礎(chǔ)層與細(xì)節(jié)層；利用PCA 對(duì)細(xì)節(jié)層進(jìn)行融合，通過區(qū)域特性量測(cè)對(duì)基礎(chǔ)層進(jìn)行融合。

（4）構(gòu)造基于空間頻率、平均梯度和像素特征互信息的自適應(yīng)目標(biāo)函數(shù)，通過蝴蝶優(yōu)化獲得重構(gòu)權(quán)重系數(shù)，從而重建出目標(biāo)清晰、紋理細(xì)節(jié)豐富的最終融合圖像。

2.2 基于MSRCR 的可見光增強(qiáng)

針對(duì)原可見光圖像因圖像質(zhì)量較低導(dǎo)致融合圖像細(xì)節(jié)缺失、邊緣模糊的問題，搭建基于MSRCR 的可見光增強(qiáng)模塊。首先，將原可見光圖像分解為RGB 三通道，并對(duì)各個(gè)通道進(jìn)行高斯濾波，其表達(dá)式為［19］：

式中：RMSRi(x，y)為多尺度Retinex（Multi Scale Retinex， MSR）對(duì)第i個(gè)顏色通道圖像的計(jì)算結(jié)果；IVIS(x，y)為可見光圖像；Li(x，y)為入射分量；Ri(x，y)為反射分量；“?”表示高斯卷積運(yùn)算；G(x，y)表示高斯核，σ為高斯函數(shù)尺度因子；ωi為第i個(gè)參數(shù)所對(duì)應(yīng)的權(quán)重因子，且滿足

在各通道中引入色彩恢復(fù)因子，可以表示為：

式中：N為RGB 三通道；β為增益系數(shù)；α為非線性強(qiáng)度調(diào)節(jié)因子。則具有色彩恢復(fù)能力的MSRCR 算法表達(dá)式如下：

式中：RMSRCRi(x，y)為MSRCR 對(duì)第i個(gè)顏色通道的計(jì)算結(jié)果，部分增強(qiáng)實(shí)驗(yàn)結(jié)果如圖2 所示。

圖2 可見光圖像增強(qiáng)實(shí)驗(yàn)結(jié)果Fig.2 Experimental results of visible light image enhancement

從圖2 可以看出，增強(qiáng)后的可見光圖像暗區(qū)域亮度增強(qiáng)，紋理細(xì)節(jié)相比于原始圖像更加清晰，如方框區(qū)域標(biāo)注的人和灌木叢輪廓以及地面磚塊紋路。

2.3 基于TEE 的紅外圖像增強(qiáng)

針對(duì)紅外圖像特殊的成像機(jī)理導(dǎo)致的融合圖像對(duì)比度較差、目標(biāo)清晰度較低的問題，本文設(shè)計(jì)了基于TEE 的紅外圖像增強(qiáng)模塊。首先，利用雙邊濾波對(duì)原紅外圖像IIR進(jìn)行去噪，得到圖像可表示為：

式中：IIR(i，j)為IIR中心點(diǎn)的像素值；IIR(k，l)為中心點(diǎn)鄰域的像素值；σd為空間域標(biāo)準(zhǔn)差，決定了空間位置對(duì)中心點(diǎn)的影響力度，其值越大表示距離中心像素越遠(yuǎn)的像素占的權(quán)重越??；σr為值域標(biāo)準(zhǔn)差，決定了像素差值對(duì)中心點(diǎn)的影響力度，其值越大表示灰度差異越大的像素占的權(quán)重越小。

對(duì)IIR與做差獲得輪廓?dú)埐顖D像如下：

然后，為提高紅外圖像對(duì)比度以及增強(qiáng)目標(biāo)特征，對(duì)IIR進(jìn)行直方圖灰度映射，從而得到對(duì)比度增強(qiáng)的圖像根據(jù)鄰域灰度均值和方差大小對(duì)IIR進(jìn)行裁剪，IIR(i，j)鄰域內(nèi)的局部均值和方差可以表示為：

如果此像素點(diǎn)所在鄰域滿足mx(i，j)≥k0×MG，σx(i，j)≤k1×σG（k0為亮度強(qiáng)度閾值，k1為方差閾值，MG為整幅原始灰度圖像的均值，σG為灰度方差），則判定該像素點(diǎn)為四周的高亮點(diǎn)，需要裁剪。

將所有的剪裁圖像進(jìn)行直方圖均衡化，則圖像的離散灰度直方圖和概率分布函數(shù)分別為：

式中：ni為IIR中灰度級(jí)為i的像素點(diǎn)個(gè)數(shù)；N為像素點(diǎn)總數(shù)。ni的分布函數(shù)表達(dá)式為：

式中：0 ≤F(i)≤1。將灰度值相等或相近的直方圖合并，結(jié)果如下：

將直方圖均衡化后的圖像根據(jù)灰度級(jí)別從大到小排序，得到灰度矩陣IG，其映射公式為：

式中：B表示最終的灰度映射矩陣；m為裁剪后圖像的灰度級(jí)別個(gè)數(shù)；i為灰度級(jí)別序號(hào)，1 ≤i≤m-1。

最后，通過Canny 算子對(duì)IIR進(jìn)行邊緣紋理提取，得到邊緣強(qiáng)化圖像最后通過線性重構(gòu)，得到增強(qiáng)后的紅外圖像：

部分實(shí)驗(yàn)結(jié)果如圖3 所示。從圖3 可看出，經(jīng)過紅外目標(biāo)邊緣強(qiáng)化模塊處理后的圖像與原圖像相比，目標(biāo)人物對(duì)比度更加顯著，樹木、河流的輪廓更加清晰。

圖3 紅外圖像增強(qiáng)實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of infrared image enhancement

2.4 基于FPDE-PCA 的偽影去除

為解決融合結(jié)果中存在的偽影問題，首先，利用FPDE 對(duì)可見光增強(qiáng)圖像與紅外增強(qiáng)圖像分別進(jìn)行邊緣平滑，以減少融合結(jié)果中的偽影；然后，采用PCA 對(duì)細(xì)節(jié)層進(jìn)行融合，最大限度地保留細(xì)節(jié)圖像中的邊緣、線條和輪廓信息，進(jìn)一步解決融合圖像中存在的偽影問題。

2.4.1 FPDE 圖像分解

采用梯度下降法對(duì)偏微分方程進(jìn)行求解，得到：式中：?u?t是對(duì)圖像強(qiáng)度函數(shù)u進(jìn)行FPDE 的過程；?2為拉普拉斯算子；c( ?)為擴(kuò)散系數(shù)；s為變量，則用迭代法得到式

（18）中偏微分方程的解近似為：

從原圖像中減去基礎(chǔ)圖像得到細(xì)節(jié)圖像：

2.4.2 基于PCA 的細(xì)節(jié)層融合

求出Crr的特征值λ1，λ2和特征向量?1=并找出最大特征值λmax=max(λ1，λ2)；λmax對(duì)應(yīng)的最大特征向量為?max，則其對(duì)應(yīng)的主成分P1和P2的計(jì)算公式如下：

將P1和P2作為權(quán)重來融合細(xì)節(jié)圖像ID，得到：

2.4.3 基于區(qū)域特性量測(cè)的基礎(chǔ)層融合

局部區(qū)域的匹配度M(i，j)可表示如下：

若M(i，j)≥T，則：

2.5 基于蝴蝶優(yōu)化的圖像重建

為有效保持和平衡紅外與可見光圖像中的固有信息，設(shè)計(jì)了一種基于蝴蝶優(yōu)化的圖像重建模塊，通過蝴蝶優(yōu)化尋找重構(gòu)權(quán)重系數(shù)x，生成最終融合圖像，即：

重構(gòu)權(quán)重系數(shù)的確定主要包括兩個(gè)部分：目標(biāo)函數(shù)構(gòu)建和基于BOA 的自適應(yīng)優(yōu)化。

2.5.1 目標(biāo)函數(shù)構(gòu)建

為使融合圖像清晰、質(zhì)量高，融合結(jié)果保留更多的原圖像信息，選取空間頻率、平均梯度和像素特征互信息3 個(gè)圖像評(píng)價(jià)指標(biāo)構(gòu)建目標(biāo)函數(shù)，設(shè)M和N分別代表融合圖像的高度和寬度，目標(biāo)函數(shù)表達(dá)式如下：

式中QSF為空間頻率，反映圖像灰度的變化率，其定義為：

其中：FR和FC分別為圖像的行頻率和列頻率。

QAG為平均梯度，用于衡量融合圖像的清晰度。其計(jì)算公式如下：

QPMI_pixel為像素特征互信息，是基于互信息的圖像融合質(zhì)量評(píng)價(jià)指標(biāo)，定義如下：

式中：HIIR，HIVIS和HF分別表示基于直方圖圖像IIR，IVIS和F的熵。

式中：PF(i，j)為融合圖像F梯度對(duì)應(yīng)的邊緣分布，同理可計(jì)算出PIIR(i，j)和PIVIS(i，j)。提取融合圖像F與原圖像（IIR或IVIS）的聯(lián)合分布如下：

F包含的關(guān)于IIR和IVIS的特征信息量IFIIR，IFIVIS如下：

2.5.2 基于BOA 的自適應(yīng)優(yōu)化

針對(duì)本文構(gòu)建的目標(biāo)函數(shù)即式（33），通過模擬蝴蝶覓食行為和信息共享策略（蝴蝶根據(jù)散發(fā)香味的濃度相互吸引，濃度越高就會(huì)吸引越多的蝴蝶）［21］，以此求解最優(yōu)重構(gòu)權(quán)重系數(shù)x。本文設(shè)置的蝴蝶數(shù)量為40，最大迭代次數(shù)為30 次。在BOA 中，蝴蝶感知到香味大小f的數(shù)學(xué)表達(dá)式如下：

式中：c為感覺模態(tài)；I為刺激強(qiáng)度；a為激勵(lì)指數(shù)，反映吸收程度的變化。c與a可取[0，1]。在搜索階段中，蝴蝶向最優(yōu)解x前進(jìn)，表示為：

圖4 融合結(jié)果Fig.4 Fusion results

由圖4（c）可看出，通過最優(yōu)權(quán)重系數(shù)融合出的圖像無(wú)偽影、目標(biāo)清晰、細(xì)節(jié)紋理豐富，如紅框標(biāo)注區(qū)域所示。

本文提出的TEBOFuse 融合算法主要由4個(gè)步驟構(gòu)成，其偽代碼如下：

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)條件

本文算法實(shí)驗(yàn)平臺(tái)如表1 所示。為了驗(yàn)證所提TEBOFuse 融合算法的優(yōu)勢(shì)，實(shí)驗(yàn)在4 個(gè)公共數(shù)據(jù)集上進(jìn)行，即TNO 數(shù)據(jù)集［22］、INO 數(shù)據(jù)集、多場(chǎng)景多模態(tài)數(shù)據(jù)集M3FD［23］以及RoadScene 數(shù)據(jù)集［24］，并在相同的實(shí)驗(yàn)環(huán)境下與6 種經(jīng)典紅外與可見光圖像融合方法進(jìn)行比較，包括：基于高斯和雙邊濾波器的混合多尺度分解實(shí)現(xiàn)紅外和可見光圖像的融合算法（HMSD）［25］、基于卷積神經(jīng)網(wǎng)絡(luò)的算法（CNN）［26］、基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法（IFCNN）［27］、紅外與可見光圖像的端到端殘差融合網(wǎng)絡(luò)（RFN-Nest）［28］、基于自編碼網(wǎng)絡(luò)的融合方法（DenseFuse）［29］，以及基于嵌套連接的融合算法（NestFuse）［30］。

表1 實(shí)驗(yàn)平臺(tái)Tab.1 Experimental platform

實(shí)驗(yàn)中，采用信息熵（Entropy， EN）、空間頻率（Spatial frequency， SF）、均方差（Standard deviation， SD）、聯(lián)合熵（Joint entropy， JE）、視覺信息保真度（Visual information fidelity， VIF）和自然圖像統(tǒng)計(jì)（Natural scene statistics， NSS）作為圖像質(zhì)量評(píng)估指標(biāo)［31］。其中，EN 可測(cè)量融合圖像所包含信息量的豐富程度；SF 反映圖像的灰度變化率，可用于測(cè)量圖像的整體活動(dòng)水平，其值越大表示融合圖像越清晰；SD 通過計(jì)算像素值的色散程度來反映其對(duì)比度；JE 用于計(jì)算圖像的信息量，其值越大表明融合圖像與原圖像的關(guān)聯(lián)性越強(qiáng)；VIF 通過計(jì)算融合圖像與原圖像之間的互信息來衡量融合圖像的質(zhì)量?jī)?yōu)劣；NSS 用于計(jì)算原圖像與融合圖像之間交互信息的多少。

3.2 消融實(shí)驗(yàn)

由于TEBOFuse 算法中包含4 個(gè)模塊，為了驗(yàn)證各模塊的有效性，進(jìn)行了消融實(shí)驗(yàn)。實(shí)驗(yàn)一：去除MSRCR 可見光增強(qiáng)模塊；實(shí)驗(yàn)二：去除TEE 紅外圖像增強(qiáng)模塊；實(shí)驗(yàn)三：去除FPDEPCA 偽影去除模塊；實(shí)驗(yàn)四：去除蝴蝶優(yōu)化圖像重建模塊。通過對(duì)選取的105 組圖像進(jìn)行不同模塊獨(dú)立的融合實(shí)驗(yàn)，分別得出EN，SF，SD，JE，VIF 和NSS 評(píng)價(jià)指標(biāo)數(shù)據(jù)，計(jì)算其平均值以進(jìn)行客觀分析，對(duì)比結(jié)果如表2 所示，其中最優(yōu)值用粗體表示。消融實(shí)驗(yàn)的主觀對(duì)比結(jié)果如圖5 所示。

表2 消融實(shí)驗(yàn)的客觀對(duì)比結(jié)果Tab.2 Objective comparison of ablation experimental results

圖5 消融實(shí)驗(yàn)的主觀對(duì)比結(jié)果Fig.5 Subjective comparison results of ablation experiments

從圖5 可以看出：首先，與TEBOFuse 相比，實(shí)驗(yàn)一得到的融合圖像所包含的可見光細(xì)節(jié)信息量減少，磚塊與樹叢輪廓模糊；其次，雖然實(shí)驗(yàn)二的融合方法可以保持融合圖像的整體亮度，但在融合過程中人與背景區(qū)域之間的明暗比有一定程度的損失，對(duì)比度降低；第三，通過實(shí)驗(yàn)三得到的融合圖像路燈處存在偽影問題，無(wú)法較好保留原圖像中豐富的紋理信息；最后，實(shí)驗(yàn)四的融合結(jié)果中存在亮度信息和細(xì)節(jié)信息的不平衡，原圖像中的固有信息有所丟失。與上述4 種消融實(shí)驗(yàn)相比，本文提出的TEBOFuse 在保證信息豐富、目標(biāo)突出的同時(shí)，能有效平衡融合圖像中的亮度和細(xì)節(jié)信息，提高了融合質(zhì)量。

從表2 可以看出，TEBOFuse 6 個(gè)指標(biāo)的平均值最優(yōu)。由此可知：EN 與SD 值最優(yōu)，表明基于MSRCR 的可見光增強(qiáng)模塊與基于TEE 的紅外圖像增強(qiáng)模塊能有效增強(qiáng)原始圖像中的對(duì)比度以及紋理信息；SF 與VIF 值最優(yōu)，表明基于FPDE-PCA 的偽影去除模塊能有效提取原圖像的特征信息，融合圖像清晰；NSS 值最優(yōu)，表明基于蝴蝶優(yōu)化的圖像重建模塊使得最終融合圖像與原圖像之間的相關(guān)性增強(qiáng)，融合結(jié)果充分保留了原始圖像信息，且具有良好的視覺效果。

3.3 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證BOA 的優(yōu)勢(shì)，在相同的實(shí)驗(yàn)條件下與4 種經(jīng)典優(yōu)化算法進(jìn)行比較，包括：差異進(jìn)化（Differential Evolution， DE）［32］、螢火蟲算法（Firefly Algorithm， FA）［33］、遺傳算法（Genetic Algorithm， GA）［34］以及粒子群優(yōu)化（Particle Swarm Optimization， PSO）［35］。對(duì)比結(jié)果如表3所示，其中粗體表示最優(yōu)值。

表3 優(yōu)化算法的客觀對(duì)比結(jié)果Tab.3 Objective comparison results of optimization algorithms

從表3 可以看出，與4 種經(jīng)典優(yōu)化算法相比，BOA 的EN，SF，SD，JE 和VIF 值均為最優(yōu)。EN和JE 值最大，說明通過BOA 得到的融合圖像信息含量最豐富，圖像融合性能最高。SF，SD 和VIF 值優(yōu)于其他優(yōu)化算法，從而證明經(jīng)過BOA優(yōu)化可以獲得最清晰的融合圖像，具有更好的視覺觀測(cè)效果。NSS 值雖然沒有達(dá)到最優(yōu)值，仍取得次優(yōu)值。

3.4 主觀分析

為了驗(yàn)證TEBOFuse 算法的優(yōu)越性，從TNO，INO，M3FD 以及RoadScene 數(shù)據(jù)集中隨機(jī)選取5 組紅外和可見光圖像（第一組和第二組圖像選自TNO 數(shù)據(jù)集，第三組圖像選自INO 數(shù)據(jù)集，第四組圖像選自M3FD 數(shù)據(jù)集，第五組圖像選自RoadScene 數(shù)據(jù)集），并與6 種經(jīng)典融合算法進(jìn)行比較，對(duì)比結(jié)果如圖6 所示。為了便于后續(xù)的觀察與分析，融合結(jié)果的局部細(xì)節(jié)用方框進(jìn)行標(biāo)注。

圖6 主觀對(duì)比實(shí)驗(yàn)結(jié)果Fig.6 Subjective comparison of experimental results

圖6 中，HMSD 算法較好地保存了紅外目標(biāo)信息，但丟失了部分可見光信息，如第二組融合結(jié)果中的廣告牌、第四組實(shí)驗(yàn)中的車牌號(hào)以及第五組中的路牌信息。CNN 和IFCNN 更加注重提取紅外圖像的特征，丟失了少量細(xì)節(jié)信息，如第一組的灌木叢輪廓和磚塊紋理以及第三組與第五組實(shí)驗(yàn)中的樹枝紋理。RFNNest 和NestFuse 算法能夠有效保存樹木紋理等局部特征，但存在目標(biāo)邊緣輪廓模糊的問題，如第三組與第四組實(shí)驗(yàn)中人的輪廓。此外，DenseFuse 算法雖然融合效果較好，但目標(biāo)邊緣輪廓存在偽影，且高亮區(qū)域未突出顯示，如第二組實(shí)驗(yàn)結(jié)果中的人。與6 種經(jīng)典融合算法相比，本文算法突出了紅外目標(biāo)，保留了大量的紋理細(xì)節(jié)，減少了融合結(jié)果中存在的偽影，在方框標(biāo)記處具有最高的圖像對(duì)比度以及最佳的視覺效果。

3.5 客觀分析

為了客觀評(píng)價(jià)所提算法的優(yōu)勢(shì)，在4 種數(shù)據(jù)集中隨機(jī)選取的105 組圖像進(jìn)行客觀評(píng)價(jià)。其中，在TNO 數(shù)據(jù)集中隨機(jī)選取21 組圖像，INO數(shù)據(jù)集中隨機(jī)選取20 組圖像，M3FD 數(shù)據(jù)集中隨機(jī)選取14 組圖像，RoadScene 數(shù)據(jù)集中隨機(jī)選取50 組圖像。采用EN，SF，SD，JE，VIF 和NSS 等客觀評(píng)價(jià)指標(biāo)對(duì)最終融合結(jié)果進(jìn)行分析，上述6個(gè)評(píng)價(jià)指標(biāo)值越大，融合效果越好，實(shí)驗(yàn)結(jié)果如表4 所示，最優(yōu)值用粗體表示。

從表4 可以看出，TEBOFuse 算法在6 個(gè)評(píng)價(jià)指標(biāo)上均為最優(yōu)，EN，SF，SD，JE，VIF 和NSS分別平均提高了9.24%，38.88%，51.11%，4.65%，35.44%，19.36%。SD 值最大，說明通過TEBOFuse 融合的圖像具有最高的對(duì)比度和清晰度。由EN 和NSS 可知，TEBOFuse 算法的融合結(jié)果能夠更好地保留原始圖像信息。由SF，JE 和VIF 可知，TEBOFuse 算法生成的融合圖像細(xì)節(jié)表達(dá)能力最強(qiáng)。

4 結(jié) 論

本文提出了一種基于TEBOFuse 的紅外與可見光圖像融合算法，該方法通過設(shè)計(jì)圖像增強(qiáng)模塊來減少因原始圖像質(zhì)量較低而產(chǎn)生的不利影響，有效解決了融合結(jié)果中出現(xiàn)的目標(biāo)邊緣模糊、紋理細(xì)節(jié)丟失問題。利用FPDEPCA 模塊可在一定程度上去除偽影，增強(qiáng)圖像的結(jié)構(gòu)和紋理信息表達(dá)能力。通過蝴蝶優(yōu)化計(jì)算重構(gòu)權(quán)重系數(shù)并進(jìn)行自適應(yīng)分配，能夠有效保持和平衡原始圖像中的固有信息。在4 個(gè)公開數(shù)據(jù)集上與6 種經(jīng)典算法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明，TEBOFuse 算法能夠較好地解決偽影以及融合圖像難以兼顧目標(biāo)清晰與紋理細(xì)節(jié)豐富的問題。 然而，由于引入了BOA，TEBOFuse 算法的實(shí)時(shí)性不高，后續(xù)將在保證圖像融合質(zhì)量的基礎(chǔ)上針對(duì)算法的實(shí)時(shí)性展開進(jìn)一步研究。