郝 帥, 李 彤, 馬 旭, 何 田, 孫曦子, 李嘉豪
(西安科技大學(xué) 電氣與控制工程學(xué)院,陜西 西安 710054)
異源圖像融合旨在將不同模態(tài)傳感器捕獲的圖像信息進(jìn)行合并,以獲取符合人類視覺認(rèn)知的融合圖像,最具代表性的是紅外與可見光圖像融合[1]。根據(jù)熱輻射成像原理,紅外傳感器獲得的熱紅外圖像不易受天氣條件及光照變化影響,但其對(duì)比度往往較低、細(xì)節(jié)信息不足。依據(jù)光學(xué)反射成像原理,可見光圖像通常具有較高的分辨率和豐富的細(xì)節(jié)紋理,但易受到外界環(huán)境的干擾。因此,通過設(shè)計(jì)合適的融合策略使兩類圖像優(yōu)勢(shì)互補(bǔ),就可以得到前景目標(biāo)突出、背景信息豐富的融合圖像[2]。目前,紅外與可見光圖像融合已廣泛應(yīng)用于目標(biāo)檢測(cè)[3]、行為識(shí)別[4]、軍事偵察[5]以及醫(yī)學(xué)分析[6]等領(lǐng)域。
現(xiàn)有的融合算法大致可分為傳統(tǒng)算法和基于深度學(xué)習(xí)的算法兩大類[7]。傳統(tǒng)融合算法通常在空間域中對(duì)像素進(jìn)行處理,或在變換域中對(duì)變換系數(shù)進(jìn)行處理,然后通過人工設(shè)計(jì)合適的融合規(guī)則來完成融合任務(wù),代表性方法包括多尺度分解、稀疏表示等。Jiang 等[8]通過多重差分梯度來實(shí)現(xiàn)紅外與可見光的融合,將差分圖像和梯度圖像相融合,以保留大量的背景信息。Bavirisetti等[9]將各向異性擴(kuò)散和KL 變換用于紅外與可見光圖像融合,該方法能有效提取紅外與可見光圖像中的有用信息。基于多尺度變換的圖像融合方法雖然可以有效保留圖像的背景信息,但融合結(jié)果缺少對(duì)紋理細(xì)節(jié)的體現(xiàn),存在偽影,且隨著尺度分解層數(shù)的不斷增加,噪聲干擾愈加強(qiáng)烈,進(jìn)而導(dǎo)致融合圖像質(zhì)量下降[10]。Li等[11]將稀疏約束和保真度約束相結(jié)合,設(shè)計(jì)出一種基于范數(shù)優(yōu)化的紅外與可見光融合算法,并通過實(shí)驗(yàn)證明該方法可以有效保留細(xì)節(jié)信息。稀疏表示雖然能夠較好地保留圖像的結(jié)構(gòu)和灰度信息,但其邊緣檢測(cè)能力弱,最終融合圖像存在邊緣模糊的問題[12]。
近年來,深度學(xué)習(xí)因具有較強(qiáng)的特征提取能力,在融合領(lǐng)域受到了廣泛的關(guān)注[13]。Ma 等[14]提出了FusionGAN 融合算法,其主要利用生成器與鑒別器之間的對(duì)抗關(guān)系來完成融合任務(wù),融合結(jié)果不易受紅外圖像噪聲的影響。但是由于生成對(duì)抗網(wǎng)絡(luò)在訓(xùn)練時(shí)具有不穩(wěn)定性,融合結(jié)果易丟失部分紋理信息。Yang 等[15]將基于窗口經(jīng)驗(yàn)?zāi)B(tài)分解與生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)相結(jié)合,解決了GAN 網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定及圖像分解中信號(hào)隱藏的問題,增強(qiáng)了算法的細(xì)節(jié)提取能力。Cao 等[16]將卷積神經(jīng)網(wǎng)絡(luò)與非下采樣輪廓波變換相結(jié)合,利用卷積神經(jīng)網(wǎng)絡(luò)分離目標(biāo)與背景,可以有效提取紅外圖像中的目標(biāo)信息。Li 等[17]自編碼設(shè)計(jì)多級(jí)殘差編碼器模塊和混合傳輸解碼器模塊,以此構(gòu)建多級(jí)混合傳輸?shù)膱D像融合網(wǎng)絡(luò),融合結(jié)果能夠保留較多的紋理細(xì)節(jié)。雖然基于深度學(xué)習(xí)的融合算法具有較強(qiáng)的自適應(yīng)能力,但時(shí)效性低且融合效果受限于訓(xùn)練樣本的完備性[18]。
現(xiàn)有的融合算法主要聚焦于特征信息的提取和融合決策的制定,忽略了原始圖像質(zhì)量對(duì)融合效果的影響。針對(duì)融合結(jié)果存在偽影、目標(biāo)邊緣不清晰以及紋理信息丟失等問題,本文提出一種基于目標(biāo)增強(qiáng)與蝴蝶優(yōu)化的紅外與可見光圖像融合算法(infrared and visible image fusion method based on Target Enhancement and Butterfly Optimization, TEBOFuse)。為解決因可見光圖像質(zhì)量較低而造成融合圖像細(xì)節(jié)缺失的問題,搭建基于帶色彩恢復(fù)因子的多尺度Retinex(Multi-scale Retinex with Color Restoration, MSRCR)可見光圖像增強(qiáng)模塊。針對(duì)紅外圖像因成像機(jī)理導(dǎo)致融合目標(biāo)邊緣模糊問題,通過雙邊濾波(Bilateral Filter, BF)減少原始圖像中的噪聲干擾,利用直方圖均衡灰度映射(Histogram equalization Grayscale Mapping, HGM)提高原始紅外圖像的對(duì)比度,采用Canny 算子對(duì)原始圖像進(jìn)行邊緣提取以突出目標(biāo)邊緣信息,從而構(gòu)造了基于目標(biāo)邊緣強(qiáng)化(Target Edge Enhancement,TEE)的紅外圖像增強(qiáng)模塊。為減少融合結(jié)果中目標(biāo)邊緣出現(xiàn)的偽影,采用四階局部微分方程-主成分分析(Fourth order Partial Differential Equations-Principal Component Analysis, FPDEPCA)算法對(duì)紅外和可見光增強(qiáng)圖像分別進(jìn)行邊緣平滑處理。為使重構(gòu)出的融合圖像能夠同時(shí)保留目標(biāo)信息和紋理細(xì)節(jié),設(shè)計(jì)基于蝴蝶優(yōu)化(Butterfly Optimization Algorithm, BOA)的圖像重構(gòu)模塊,通過BOA 來自適應(yīng)尋找最優(yōu)的重構(gòu)權(quán)重系數(shù)。
TEBOFuse 算法流程如圖1 所示,具體步驟如下:
圖1 TEBOFuse 算法流程Fig.1 Flowchart of TEBOFuse method
(1)搭建基于MSRCR 的可見光增強(qiáng)模塊對(duì)原始可見光圖像進(jìn)行增強(qiáng)。首先,將原可見光圖像分解為RGB 三通道,并進(jìn)行高斯濾波;然后,引入色彩恢復(fù)因子來增強(qiáng)圖像中的暗色區(qū)域;最后,將三通道合并從而得到亮度增強(qiáng)且紋理信息豐富的可見光增強(qiáng)圖像。
(2)構(gòu)建基于TEE 的紅外圖像增強(qiáng)模塊。首先,對(duì)原紅外圖像進(jìn)行雙邊濾波,并與原始圖像做差得到輪廓?dú)埐顖D像;然后,對(duì)原紅外圖像進(jìn)行直方圖均衡灰度映射以及Canny 邊緣提取,分別得到對(duì)比度增強(qiáng)圖像和邊緣強(qiáng)化圖像;最后,將輪廓?dú)埐顖D像、對(duì)比度增強(qiáng)圖像和邊緣強(qiáng)化圖像進(jìn)行線性重構(gòu),從而得到高對(duì)比度且目標(biāo)清晰的紅外圖像。
(3)采用FPDE 分別對(duì)可見光增強(qiáng)圖像和紅外增強(qiáng)圖像進(jìn)行多尺度分解,得到各自對(duì)應(yīng)的基礎(chǔ)層與細(xì)節(jié)層;利用PCA 對(duì)細(xì)節(jié)層進(jìn)行融合,通過區(qū)域特性量測(cè)對(duì)基礎(chǔ)層進(jìn)行融合。
(4)構(gòu)造基于空間頻率、平均梯度和像素特征互信息的自適應(yīng)目標(biāo)函數(shù),通過蝴蝶優(yōu)化獲得重構(gòu)權(quán)重系數(shù),從而重建出目標(biāo)清晰、紋理細(xì)節(jié)豐富的最終融合圖像。
針對(duì)原可見光圖像因圖像質(zhì)量較低導(dǎo)致融合圖像細(xì)節(jié)缺失、邊緣模糊的問題,搭建基于MSRCR 的可見光增強(qiáng)模塊。首先,將原可見光圖像分解為RGB 三通道,并對(duì)各個(gè)通道進(jìn)行高斯濾波,其表達(dá)式為[19]:
式中:RMSRi(x,y)為多尺度Retinex(Multi Scale Retinex, MSR)對(duì)第i個(gè)顏色通道圖像的計(jì)算結(jié)果;IVIS(x,y)為可見光圖像;Li(x,y)為入射分量;Ri(x,y)為反射分量;“?”表示高斯卷積運(yùn)算;G(x,y)表示高斯核,σ為高斯函數(shù)尺度因子;ωi為第i個(gè)參數(shù)所對(duì)應(yīng)的權(quán)重因子,且滿足
在各通道中引入色彩恢復(fù)因子,可以表示為:
式中:N為RGB 三通道;β為增益系數(shù);α為非線性強(qiáng)度調(diào)節(jié)因子。則具有色彩恢復(fù)能力的MSRCR 算法表達(dá)式如下:
式中:RMSRCRi(x,y)為MSRCR 對(duì)第i個(gè)顏色通道的計(jì)算結(jié)果,部分增強(qiáng)實(shí)驗(yàn)結(jié)果如圖2 所示。
圖2 可見光圖像增強(qiáng)實(shí)驗(yàn)結(jié)果Fig.2 Experimental results of visible light image enhancement
從圖2 可以看出,增強(qiáng)后的可見光圖像暗區(qū)域亮度增強(qiáng),紋理細(xì)節(jié)相比于原始圖像更加清晰,如方框區(qū)域標(biāo)注的人和灌木叢輪廓以及地面磚塊紋路。
針對(duì)紅外圖像特殊的成像機(jī)理導(dǎo)致的融合圖像對(duì)比度較差、目標(biāo)清晰度較低的問題,本文設(shè)計(jì)了基于TEE 的紅外圖像增強(qiáng)模塊。首先,利用雙邊濾波對(duì)原紅外圖像IIR進(jìn)行去噪,得到圖像可表示為:
式中:IIR(i,j)為IIR中心點(diǎn)的像素值;IIR(k,l)為中心點(diǎn)鄰域的像素值;σd為空間域標(biāo)準(zhǔn)差,決定了空間位置對(duì)中心點(diǎn)的影響力度,其值越大表示距離中心像素越遠(yuǎn)的像素占的權(quán)重越??;σr為值域標(biāo)準(zhǔn)差,決定了像素差值對(duì)中心點(diǎn)的影響力度,其值越大表示灰度差異越大的像素占的權(quán)重越小。
對(duì)IIR與做差獲得輪廓?dú)埐顖D像如下:
然后,為提高紅外圖像對(duì)比度以及增強(qiáng)目標(biāo)特征,對(duì)IIR進(jìn)行直方圖灰度映射,從而得到對(duì)比度增強(qiáng)的圖像根據(jù)鄰域灰度均值和方差大小對(duì)IIR進(jìn)行裁剪,IIR(i,j)鄰域內(nèi)的局部均值和方差可以表示為:
如果此像素點(diǎn)所在鄰域滿足mx(i,j)≥k0×MG,σx(i,j)≤k1×σG(k0為亮度強(qiáng)度閾值,k1為方差閾值,MG為整幅原始灰度圖像的均值,σG為灰度方差),則判定該像素點(diǎn)為四周的高亮點(diǎn),需要裁剪。
將所有的剪裁圖像進(jìn)行直方圖均衡化,則圖像的離散灰度直方圖和概率分布函數(shù)分別為:
式中:ni為IIR中灰度級(jí)為i的像素點(diǎn)個(gè)數(shù);N為像素點(diǎn)總數(shù)。ni的分布函數(shù)表達(dá)式為:
式中:0 ≤F(i)≤1。將灰度值相等或相近的直方圖合并,結(jié)果如下:
將直方圖均衡化后的圖像根據(jù)灰度級(jí)別從大到小排序,得到灰度矩陣IG,其映射公式為:
式中:B表示最終的灰度映射矩陣;m為裁剪后圖像的灰度級(jí)別個(gè)數(shù);i為灰度級(jí)別序號(hào),1 ≤i≤m-1。
最后,通過Canny 算子對(duì)IIR進(jìn)行邊緣紋理提取,得到邊緣強(qiáng)化圖像最后通過線性重構(gòu),得到增強(qiáng)后的紅外圖像:
部分實(shí)驗(yàn)結(jié)果如圖3 所示。從圖3 可看出,經(jīng)過紅外目標(biāo)邊緣強(qiáng)化模塊處理后的圖像與原圖像相比,目標(biāo)人物對(duì)比度更加顯著,樹木、河流的輪廓更加清晰。
圖3 紅外圖像增強(qiáng)實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of infrared image enhancement
為解決融合結(jié)果中存在的偽影問題,首先,利用FPDE 對(duì)可見光增強(qiáng)圖像與紅外增強(qiáng)圖像分別進(jìn)行邊緣平滑,以減少融合結(jié)果中的偽影;然后,采用PCA 對(duì)細(xì)節(jié)層進(jìn)行融合,最大限度地保留細(xì)節(jié)圖像中的邊緣、線條和輪廓信息,進(jìn)一步解決融合圖像中存在的偽影問題。
2.4.1 FPDE 圖像分解
采用梯度下降法對(duì)偏微分方程進(jìn)行求解,得到:式中:?u?t是對(duì)圖像強(qiáng)度函數(shù)u進(jìn)行FPDE 的過程;?2為拉普拉斯算子;c( ?)為擴(kuò)散系數(shù);s為變量,則用迭代法得到式
(18)中偏微分方程的解近似為:
從原圖像中減去基礎(chǔ)圖像得到細(xì)節(jié)圖像:
2.4.2 基于PCA 的細(xì)節(jié)層融合
求出Crr的特征值λ1,λ2和特征向量?1=并找出最大特征值λmax=max(λ1,λ2);λmax對(duì)應(yīng)的最大特征向量為?max,則其對(duì)應(yīng)的主成分P1和P2的計(jì)算公式如下:
將P1和P2作為權(quán)重來融合細(xì)節(jié)圖像ID,得到:
2.4.3 基于區(qū)域特性量測(cè)的基礎(chǔ)層融合
局部區(qū)域的匹配度M(i,j)可表示如下:
若M(i,j)≥T,則:
為有效保持和平衡紅外與可見光圖像中的固有信息,設(shè)計(jì)了一種基于蝴蝶優(yōu)化的圖像重建模塊,通過蝴蝶優(yōu)化尋找重構(gòu)權(quán)重系數(shù)x,生成最終融合圖像,即:
重構(gòu)權(quán)重系數(shù)的確定主要包括兩個(gè)部分:目標(biāo)函數(shù)構(gòu)建和基于BOA 的自適應(yīng)優(yōu)化。
2.5.1 目標(biāo)函數(shù)構(gòu)建
為使融合圖像清晰、質(zhì)量高,融合結(jié)果保留更多的原圖像信息,選取空間頻率、平均梯度和像素特征互信息3 個(gè)圖像評(píng)價(jià)指標(biāo)構(gòu)建目標(biāo)函數(shù),設(shè)M和N分別代表融合圖像的高度和寬度,目標(biāo)函數(shù)表達(dá)式如下:
式中QSF為空間頻率,反映圖像灰度的變化率,其定義為:
其中:FR和FC分別為圖像的行頻率和列頻率。
QAG為平均梯度,用于衡量融合圖像的清晰度。其計(jì)算公式如下:
QPMI_pixel為像素特征互信息,是基于互信息的圖像融合質(zhì)量評(píng)價(jià)指標(biāo),定義如下:
式中:HIIR,HIVIS和HF分別表示基于直方圖圖像IIR,IVIS和F的熵。
式中:PF(i,j)為融合圖像F梯度對(duì)應(yīng)的邊緣分布,同理可計(jì)算出PIIR(i,j)和PIVIS(i,j)。提取融合圖像F與原圖像(IIR或IVIS)的聯(lián)合分布如下:
F包含的關(guān)于IIR和IVIS的特征信息量IFIIR,IFIVIS如下:
2.5.2 基于BOA 的自適應(yīng)優(yōu)化
針對(duì)本文構(gòu)建的目標(biāo)函數(shù)即式(33),通過模擬蝴蝶覓食行為和信息共享策略(蝴蝶根據(jù)散發(fā)香味的濃度相互吸引,濃度越高就會(huì)吸引越多的蝴蝶)[21],以此求解最優(yōu)重構(gòu)權(quán)重系數(shù)x。本文設(shè)置的蝴蝶數(shù)量為40,最大迭代次數(shù)為30 次。在BOA 中,蝴蝶感知到香味大小f的數(shù)學(xué)表達(dá)式如下:
式中:c為感覺模態(tài);I為刺激強(qiáng)度;a為激勵(lì)指數(shù),反映吸收程度的變化。c與a可取[0,1]。在搜索階段中,蝴蝶向最優(yōu)解x前進(jìn),表示為:
圖4 融合結(jié)果Fig.4 Fusion results
由圖4(c)可看出,通過最優(yōu)權(quán)重系數(shù)融合出的圖像無(wú)偽影、目標(biāo)清晰、細(xì)節(jié)紋理豐富,如紅框標(biāo)注區(qū)域所示。
本文提出的TEBOFuse 融合算法主要由4個(gè)步驟構(gòu)成,其偽代碼如下:
本文算法實(shí)驗(yàn)平臺(tái)如表1 所示。為了驗(yàn)證所提TEBOFuse 融合算法的優(yōu)勢(shì),實(shí)驗(yàn)在4 個(gè)公共數(shù)據(jù)集上進(jìn)行,即TNO 數(shù)據(jù)集[22]、INO 數(shù)據(jù)集、多場(chǎng)景多模態(tài)數(shù)據(jù)集M3FD[23]以及RoadScene 數(shù)據(jù)集[24],并在相同的實(shí)驗(yàn)環(huán)境下與6 種經(jīng)典紅外與可見光圖像融合方法進(jìn)行比較,包括:基于高斯和雙邊濾波器的混合多尺度分解實(shí)現(xiàn)紅外和可見光圖像的融合算法(HMSD)[25]、基于卷積神經(jīng)網(wǎng)絡(luò)的算法(CNN)[26]、基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法(IFCNN)[27]、紅外與可見光圖像的端到端殘差融合網(wǎng)絡(luò)(RFN-Nest)[28]、基于自編碼網(wǎng)絡(luò)的融合方法(DenseFuse)[29],以及基于嵌套連接的融合算法(NestFuse)[30]。
表1 實(shí)驗(yàn)平臺(tái)Tab.1 Experimental platform
實(shí)驗(yàn)中,采用信息熵(Entropy, EN)、空間頻率(Spatial frequency, SF)、均方差(Standard deviation, SD)、聯(lián)合熵(Joint entropy, JE)、視覺信息保真度(Visual information fidelity, VIF)和自然圖像統(tǒng)計(jì)(Natural scene statistics, NSS)作為圖像質(zhì)量評(píng)估指標(biāo)[31]。其中,EN 可測(cè)量融合圖像所包含信息量的豐富程度;SF 反映圖像的灰度變化率,可用于測(cè)量圖像的整體活動(dòng)水平,其值越大表示融合圖像越清晰;SD 通過計(jì)算像素值的色散程度來反映其對(duì)比度;JE 用于計(jì)算圖像的信息量,其值越大表明融合圖像與原圖像的關(guān)聯(lián)性越強(qiáng);VIF 通過計(jì)算融合圖像與原圖像之間的互信息來衡量融合圖像的質(zhì)量?jī)?yōu)劣;NSS 用于計(jì)算原圖像與融合圖像之間交互信息的多少。
由于TEBOFuse 算法中包含4 個(gè)模塊,為了驗(yàn)證各模塊的有效性,進(jìn)行了消融實(shí)驗(yàn)。實(shí)驗(yàn)一:去除MSRCR 可見光增強(qiáng)模塊;實(shí)驗(yàn)二:去除TEE 紅外圖像增強(qiáng)模塊;實(shí)驗(yàn)三:去除FPDEPCA 偽影去除模塊;實(shí)驗(yàn)四:去除蝴蝶優(yōu)化圖像重建模塊。通過對(duì)選取的105 組圖像進(jìn)行不同模塊獨(dú)立的融合實(shí)驗(yàn),分別得出EN,SF,SD,JE,VIF 和NSS 評(píng)價(jià)指標(biāo)數(shù)據(jù),計(jì)算其平均值以進(jìn)行客觀分析,對(duì)比結(jié)果如表2 所示,其中最優(yōu)值用粗體表示。消融實(shí)驗(yàn)的主觀對(duì)比結(jié)果如圖5 所示。
表2 消融實(shí)驗(yàn)的客觀對(duì)比結(jié)果Tab.2 Objective comparison of ablation experimental results
圖5 消融實(shí)驗(yàn)的主觀對(duì)比結(jié)果Fig.5 Subjective comparison results of ablation experiments
從圖5 可以看出:首先,與TEBOFuse 相比,實(shí)驗(yàn)一得到的融合圖像所包含的可見光細(xì)節(jié)信息量減少,磚塊與樹叢輪廓模糊;其次,雖然實(shí)驗(yàn)二的融合方法可以保持融合圖像的整體亮度,但在融合過程中人與背景區(qū)域之間的明暗比有一定程度的損失,對(duì)比度降低;第三,通過實(shí)驗(yàn)三得到的融合圖像路燈處存在偽影問題,無(wú)法較好保留原圖像中豐富的紋理信息;最后,實(shí)驗(yàn)四的融合結(jié)果中存在亮度信息和細(xì)節(jié)信息的不平衡,原圖像中的固有信息有所丟失。與上述4 種消融實(shí)驗(yàn)相比,本文提出的TEBOFuse 在保證信息豐富、目標(biāo)突出的同時(shí),能有效平衡融合圖像中的亮度和細(xì)節(jié)信息,提高了融合質(zhì)量。
從表2 可以看出,TEBOFuse 6 個(gè)指標(biāo)的平均值最優(yōu)。由此可知:EN 與SD 值最優(yōu),表明基于MSRCR 的可見光增強(qiáng)模塊與基于TEE 的紅外圖像增強(qiáng)模塊能有效增強(qiáng)原始圖像中的對(duì)比度以及紋理信息;SF 與VIF 值最優(yōu),表明基于FPDE-PCA 的偽影去除模塊能有效提取原圖像的特征信息,融合圖像清晰;NSS 值最優(yōu),表明基于蝴蝶優(yōu)化的圖像重建模塊使得最終融合圖像與原圖像之間的相關(guān)性增強(qiáng),融合結(jié)果充分保留了原始圖像信息,且具有良好的視覺效果。
為了驗(yàn)證BOA 的優(yōu)勢(shì),在相同的實(shí)驗(yàn)條件下與4 種經(jīng)典優(yōu)化算法進(jìn)行比較,包括:差異進(jìn)化(Differential Evolution, DE)[32]、螢火蟲算法(Firefly Algorithm, FA)[33]、遺傳算法(Genetic Algorithm, GA)[34]以及粒子群優(yōu)化(Particle Swarm Optimization, PSO)[35]。對(duì)比結(jié)果如表3所示,其中粗體表示最優(yōu)值。
表3 優(yōu)化算法的客觀對(duì)比結(jié)果Tab.3 Objective comparison results of optimization algorithms
從表3 可以看出,與4 種經(jīng)典優(yōu)化算法相比,BOA 的EN,SF,SD,JE 和VIF 值均為最優(yōu)。EN和JE 值最大,說明通過BOA 得到的融合圖像信息含量最豐富,圖像融合性能最高。SF,SD 和VIF 值優(yōu)于其他優(yōu)化算法,從而證明經(jīng)過BOA優(yōu)化可以獲得最清晰的融合圖像,具有更好的視覺觀測(cè)效果。NSS 值雖然沒有達(dá)到最優(yōu)值,仍取得次優(yōu)值。
為了驗(yàn)證TEBOFuse 算法的優(yōu)越性,從TNO,INO,M3FD 以及RoadScene 數(shù)據(jù)集中隨機(jī)選取5 組紅外和可見光圖像(第一組和第二組圖像選自TNO 數(shù)據(jù)集,第三組圖像選自INO 數(shù)據(jù)集,第四組圖像選自M3FD 數(shù)據(jù)集,第五組圖像選自RoadScene 數(shù)據(jù)集),并與6 種經(jīng)典融合算法進(jìn)行比較,對(duì)比結(jié)果如圖6 所示。為了便于后續(xù)的觀察與分析,融合結(jié)果的局部細(xì)節(jié)用方框進(jìn)行標(biāo)注。
圖6 主觀對(duì)比實(shí)驗(yàn)結(jié)果Fig.6 Subjective comparison of experimental results
圖6 中,HMSD 算法較好地保存了紅外目標(biāo)信息,但丟失了部分可見光信息,如第二組融合結(jié)果中的廣告牌、第四組實(shí)驗(yàn)中的車牌號(hào)以及第五組中的路牌信息。CNN 和IFCNN 更加注重提取紅外圖像的特征,丟失了少量細(xì)節(jié)信息,如第一組的灌木叢輪廓和磚塊紋理以及第三組與第五組實(shí)驗(yàn)中的樹枝紋理。RFNNest 和NestFuse 算法能夠有效保存樹木紋理等局部特征,但存在目標(biāo)邊緣輪廓模糊的問題,如第三組與第四組實(shí)驗(yàn)中人的輪廓。此外,DenseFuse 算法雖然融合效果較好,但目標(biāo)邊緣輪廓存在偽影,且高亮區(qū)域未突出顯示,如第二組實(shí)驗(yàn)結(jié)果中的人。與6 種經(jīng)典融合算法相比,本文算法突出了紅外目標(biāo),保留了大量的紋理細(xì)節(jié),減少了融合結(jié)果中存在的偽影,在方框標(biāo)記處具有最高的圖像對(duì)比度以及最佳的視覺效果。
為了客觀評(píng)價(jià)所提算法的優(yōu)勢(shì),在4 種數(shù)據(jù)集中隨機(jī)選取的105 組圖像進(jìn)行客觀評(píng)價(jià)。其中,在TNO 數(shù)據(jù)集中隨機(jī)選取21 組圖像,INO數(shù)據(jù)集中隨機(jī)選取20 組圖像,M3FD 數(shù)據(jù)集中隨機(jī)選取14 組圖像,RoadScene 數(shù)據(jù)集中隨機(jī)選取50 組圖像。采用EN,SF,SD,JE,VIF 和NSS 等客觀評(píng)價(jià)指標(biāo)對(duì)最終融合結(jié)果進(jìn)行分析,上述6個(gè)評(píng)價(jià)指標(biāo)值越大,融合效果越好,實(shí)驗(yàn)結(jié)果如表4 所示,最優(yōu)值用粗體表示。
從表4 可以看出,TEBOFuse 算法在6 個(gè)評(píng)價(jià)指標(biāo)上均為最優(yōu),EN,SF,SD,JE,VIF 和NSS分別平均提高了9.24%,38.88%,51.11%,4.65%,35.44%,19.36%。SD 值最大,說明通過TEBOFuse 融合的圖像具有最高的對(duì)比度和清晰度。由EN 和NSS 可知,TEBOFuse 算法的融合結(jié)果能夠更好地保留原始圖像信息。由SF,JE 和VIF 可知,TEBOFuse 算法生成的融合圖像細(xì)節(jié)表達(dá)能力最強(qiáng)。
本文提出了一種基于TEBOFuse 的紅外與可見光圖像融合算法,該方法通過設(shè)計(jì)圖像增強(qiáng)模塊來減少因原始圖像質(zhì)量較低而產(chǎn)生的不利影響,有效解決了融合結(jié)果中出現(xiàn)的目標(biāo)邊緣模糊、紋理細(xì)節(jié)丟失問題。利用FPDEPCA 模塊可在一定程度上去除偽影,增強(qiáng)圖像的結(jié)構(gòu)和紋理信息表達(dá)能力。通過蝴蝶優(yōu)化計(jì)算重構(gòu)權(quán)重系數(shù)并進(jìn)行自適應(yīng)分配,能夠有效保持和平衡原始圖像中的固有信息。在4 個(gè)公開數(shù)據(jù)集上與6 種經(jīng)典算法進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果表明,TEBOFuse 算法能夠較好地解決偽影以及融合圖像難以兼顧目標(biāo)清晰與紋理細(xì)節(jié)豐富的問題。 然而,由于引入了BOA,TEBOFuse 算法的實(shí)時(shí)性不高,后續(xù)將在保證圖像融合質(zhì)量的基礎(chǔ)上針對(duì)算法的實(shí)時(shí)性展開進(jìn)一步研究。