李 威，田時(shí)舜，劉廣麗，鄒文斌

M-SWF域紅外與可見(jiàn)光圖像結(jié)構(gòu)相似性融合

李 威，田時(shí)舜，劉廣麗，鄒文斌

（深圳大學(xué) 電子與信息工程學(xué)院，廣東 深圳 518060）

為了解決常規(guī)濾波器組在紅外與可見(jiàn)光圖像融合領(lǐng)域中存在提取結(jié)構(gòu)信息不充分和融合視覺(jué)效果不佳的問(wèn)題，本文提出了一種基于多尺度滑動(dòng)窗口濾波器（Multi-scale Sliding Window Filter，M-SWF）圖像融合方法。首先，提出一種基于SWF的多尺度圖像分解方法實(shí)現(xiàn)對(duì)源圖像的結(jié)構(gòu)細(xì)節(jié)層和基礎(chǔ)層提??；其次，采用L1范數(shù)融合規(guī)則（L1-Fusion, L1F）整合結(jié)構(gòu)細(xì)節(jié)層，提取圖像的結(jié)構(gòu)信息；然后，利用一種圖像能量貢獻(xiàn)融合規(guī)則（Energy Attribute-Fusion, EAF）整合基礎(chǔ)層，突出顯著性目標(biāo)；最后，融合圖像通過(guò)疊加整合后的多尺度結(jié)構(gòu)細(xì)節(jié)層和基礎(chǔ)層得到。實(shí)驗(yàn)首先通過(guò)分析能量貢獻(xiàn)系數(shù)，從主客觀方面得到M-SWF域內(nèi)紅外與可見(jiàn)光圖像融合較為適宜的能量貢獻(xiàn)系數(shù)；其次，在該取值下，本文提出的M-SWF融合模型與其他的融合方法相比，不僅提高了對(duì)源圖像結(jié)構(gòu)信息的提取能力，而且通過(guò)整合圖像的能量屬性，改善了融合效果不佳問(wèn)題，有效地突出了顯著性目標(biāo)。

紅外圖像；可見(jiàn)光圖像；圖像融合；滑動(dòng)窗口濾波器；結(jié)構(gòu)相似性

0 引言

紅外成像傳感器根據(jù)熱輻射機(jī)理實(shí)現(xiàn)對(duì)目標(biāo)物體的捕獲，然而缺乏對(duì)場(chǎng)景的細(xì)節(jié)呈現(xiàn)；相反，可見(jiàn)光成像傳感器通過(guò)光學(xué)反射機(jī)制能夠細(xì)膩地顯示同一場(chǎng)景下的目標(biāo)紋理和細(xì)節(jié)信息。多源圖像融合領(lǐng)域內(nèi)的紅外與可見(jiàn)光圖像融合能夠生成單幅具有魯棒性的圖像，提供給后臺(tái)決策者更全面的場(chǎng)景信息，方便決策者做出最佳的決定，因此被應(yīng)用于目標(biāo)跟蹤、遙感遙測(cè)和物聯(lián)網(wǎng)系統(tǒng)等領(lǐng)域[1-9]。

近年來(lái)，為了滿(mǎn)足不同圖像平滑和銳化的需求，具有邊緣保持特性的濾波器組被應(yīng)用于圖像融合領(lǐng)域，如：高斯濾波器和導(dǎo)向?yàn)V波器。2013年，Li等人基于導(dǎo)向?yàn)V波器提出了一種快速有效的圖像融合模型（Guided Filtering Fusion，GFF[10]），該方法利用導(dǎo)向?yàn)V波的加權(quán)技術(shù)保障了源圖像與融合結(jié)果之間的空間一致性，但細(xì)節(jié)信息存在局部丟失；為了保留更多的邊緣信息，2015年，Kumar等人提出了一種基于交叉雙邊濾波器的融合方法（Cross Bilateral Filtering，CBF[11]），CBF考慮了相鄰像素之間的相似性，有效地提高了細(xì)節(jié)信息的提??；雖然基于CBF的融合方法對(duì)圖像邊緣紋理提取有較好的表現(xiàn)，但是融合過(guò)程將圖像噪音和圖像信息混淆，導(dǎo)致融合結(jié)果不佳；而為了避免噪音的生成，Kun等人在2017年基于結(jié)構(gòu)濾波器提出了一種快速濾波圖像融合方法（Fast Filtering Image Fusion，F(xiàn)FIF[12]），F(xiàn)FIF通過(guò)圖像的均值和方差有效地避免了噪音的生成，但無(wú)法突出目標(biāo)信息。

隨著機(jī)器學(xué)習(xí)研究的深入，神經(jīng)網(wǎng)絡(luò)逐漸成為圖像融合方向較為熱門(mén)的研究工具。2019年，Wu等人提出了一種殘差網(wǎng)絡(luò)（Residual Network, Resnet[13]）新穎融合框架。該方法首先將Resnet用于從源圖像中提取深度特征；其次利用ZCA和l1-norm對(duì)深度特征進(jìn)行歸一化并獲得初始權(quán)重圖；最后通過(guò)加權(quán)平均融合策略重構(gòu)融合圖像；該方法能夠較好地提高圖像視覺(jué)效果，但是由于算法過(guò)于復(fù)雜，融合結(jié)果存在一定的人為影響。為了實(shí)現(xiàn)深度次的特征提取，Tan等人在2021年基于加權(quán)平均曲率濾波器和脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）提出了一種多模態(tài)融合方法（Multi-Level Edge Preserving Filtering，MLEPF）[14]，該方法雖然通過(guò)加權(quán)平均曲率濾波器實(shí)現(xiàn)了源圖像多級(jí)特征信息提取，但受限于源圖像曝光度，容易使得融合結(jié)果存在斑塊。

基于上述的分析可知，當(dāng)前紅外與可見(jiàn)光圖像融合的研究目的主要有兩方面：①加大提取源圖像的特征信息量，使得融合圖像與源圖像之間具有較為完整的相似契合度；②在實(shí)現(xiàn)源圖像結(jié)構(gòu)相似度融合的同時(shí)，一方面減少或抑制噪斑及人造偽影的產(chǎn)生，另一方面顯著性地突出目標(biāo)物體，以便能夠滿(mǎn)足人體的視覺(jué)感知系統(tǒng)。為了達(dá)成上述目的，本文基于多尺度滑動(dòng)窗口濾波器（Multi-scale Sliding Window Filter，M-SWF）提出了一種紅外與可見(jiàn)光圖像結(jié)構(gòu)相似性融合方法，該方法利用滑動(dòng)窗口濾波器（Sliding Window Filter，SWF[15]）對(duì)源圖像實(shí)現(xiàn)多尺度水平分解，得到源圖像的多層級(jí)結(jié)構(gòu)細(xì)節(jié)層和基礎(chǔ)層；該方法簡(jiǎn)練，避免了因算法復(fù)雜性帶來(lái)的人為干擾，同時(shí)為了保留結(jié)構(gòu)細(xì)節(jié)信息，L1范數(shù)融合規(guī)則（L1-Fusion，L1F）被應(yīng)用于整合結(jié)構(gòu)信息；另外，一種基于圖像能量貢獻(xiàn)融合規(guī)則（Energy Attribute-Fusion，EAF）被用于突出目標(biāo)，以提高視覺(jué)效果。

1 M-SWF域紅外與可見(jiàn)光圖像融合

圖1為本文在M-SWF域內(nèi)提出的紅外與可見(jiàn)光圖像融合框架。M-SWF融合模型主要分為四步：

1）M-SWF域內(nèi)源圖像分解

利用M-SWF實(shí)現(xiàn)源圖像的多尺度分解，得到對(duì)應(yīng)的多尺度結(jié)構(gòu)細(xì)節(jié)層和基礎(chǔ)層。

2）多尺度結(jié)構(gòu)細(xì)節(jié)層融合

利用L1-fusion融合規(guī)則實(shí)現(xiàn)多尺度結(jié)構(gòu)信息融合，以保留較完整的細(xì)節(jié)信息。

3）基礎(chǔ)層融合

利用EAF融合規(guī)則實(shí)現(xiàn)基礎(chǔ)層融合，以顯著地突出目標(biāo)。

4）源圖像重構(gòu)

采用疊加求和的融合方法實(shí)現(xiàn)源圖像的重構(gòu)，得到融合圖像。

1.1 M-SWF域內(nèi)源圖像分解

SWF是一種強(qiáng)邊緣結(jié)構(gòu)保持濾波器，SWF利用不同尺寸窗口（）在單個(gè)像素中心實(shí)現(xiàn)8鄰域圖像結(jié)構(gòu)信息的保留。圖2為可見(jiàn)光圖像“Road”在不同尺寸窗口下的處理結(jié)果，從圖2可以看出，值越小對(duì)圖像的邊緣信息保留越多，圖像更加清晰立體?；赟WF對(duì)圖像邊緣結(jié)構(gòu)信息的敏感性，一種用于圖像多尺度水平分解方法M-SWF被提出并且用于對(duì)源圖像多尺度成分的提取。圖3為可見(jiàn)光圖像“Road”的分解實(shí)例，其中VI為“Road”圖像，SWF為SWF圖像處理過(guò)程，VI1，VI2和VI分別是經(jīng)過(guò)SWF處理后的圖像；VID1，VID2和VID分別是分解后利用對(duì)數(shù)放大后的多尺度結(jié)構(gòu)細(xì)節(jié)；VIB為基礎(chǔ)層。通過(guò)M-SWF多尺度分解得到源圖像的多尺度結(jié)構(gòu)細(xì)節(jié)層和基礎(chǔ)層，詳細(xì)的M-SWF多尺度水平分解過(guò)程用公式表示如下：

VID1＝VI－VI1(1)

VID＝(VID－1)－VID(2)

VIB＝SWF(VID－1) (3)

圖1 M-SWF圖像融合框架

1.2 多尺度結(jié)構(gòu)細(xì)節(jié)層融合

從圖3 M-SWF的分解框架可以看出隨著分解層數(shù)的變大，VI圖像變得更加清晰和立體，圖像當(dāng)中的保留的能量信息和邊緣信息越來(lái)越明顯。在自然圖像處理過(guò)程，如果圖像當(dāng)中某點(diǎn)的像素較大，反映在圖像上是人體視覺(jué)感知最為明顯的一個(gè)區(qū)域或者一個(gè)位置，這也是圖像當(dāng)中較為重要的一個(gè)信息點(diǎn)。而L1范數(shù)融合規(guī)則[16]主要是把圖像中每個(gè)像素的絕對(duì)值作為圖像活動(dòng)水平測(cè)量值來(lái)評(píng)估該點(diǎn)的重要性。因此為了最大程度地保留細(xì)節(jié)信息，通過(guò)L1范數(shù)對(duì)圖像處理取最大值，以保證融合結(jié)果存在較為明顯和重要的圖像信息點(diǎn)；融合后的多尺度結(jié)構(gòu)細(xì)節(jié)層FD1:n通過(guò)公式(4)得到：

圖3 M-SWF圖像分解

1.3 基礎(chǔ)層融合

在M-SWF圖像分解過(guò)程中，基礎(chǔ)層圖像是不斷地經(jīng)過(guò)SWF進(jìn)行保邊處理，層層篩選出多尺度結(jié)構(gòu)細(xì)節(jié)信息的同時(shí)得到一個(gè)包含源圖像最粗糙的近似圖像，其中以能量強(qiáng)度信息較為明顯。為了實(shí)現(xiàn)融合結(jié)果不模糊，并且融合目標(biāo)突出以達(dá)到契合人體視覺(jué)系統(tǒng)的效果，一種基于圖像能量貢獻(xiàn)的融合規(guī)則被引入整合基礎(chǔ)層圖像，從而得到融合后的基礎(chǔ)層圖像FB。EAF的融合過(guò)程如下：

1）分別利用均值濾波器和中值濾波器得到基礎(chǔ)層圖像的均值和中值圖像屬性，進(jìn)而構(gòu)造基礎(chǔ)層圖像的能量屬性值；

A＝1I＋2I(5)

式中：（∈IRB，VIB）為待處理的源圖像基礎(chǔ)層；1和2分別為均值濾波處理和中值濾波處理；A表示為基礎(chǔ)層的能量屬性值。

2）利用能量屬性值構(gòu)建能量貢獻(xiàn)函數(shù)，從而提取基礎(chǔ)層的能量強(qiáng)度信息；

I＝exp(|－A|) (6)

式中：exp為指數(shù)函數(shù)；為能量屬性參數(shù)量。

3）重構(gòu)融合后的基礎(chǔ)層；

式中：IRB和VIB分別為IRB和VIB的能量強(qiáng)度信息。

1.4 源圖像重構(gòu)

融合圖像通過(guò)公式(8)疊加求和得到：

2 實(shí)驗(yàn)分析

實(shí)驗(yàn)的數(shù)據(jù)圖像集全都來(lái)自于文獻(xiàn)[17]中的TNO[18]數(shù)據(jù)集（包含21組數(shù)據(jù)組），本節(jié)選取了3對(duì)圖像組進(jìn)行主客觀分析。實(shí)驗(yàn)仿真軟件為MATLAB R2018b，電腦是搭載3.6GHz AMD Ryzen 5 2600X六核處理器的Win10系統(tǒng)。5種圖像融合算法被用于對(duì)比評(píng)價(jià)M-SWF，分別為GFF、CBF、FFIF、Resnet和MLEPF；其中GFF、CBF、FFIF和MLEPF都是以常規(guī)濾波器進(jìn)行融合，另外GFF、CBF和MLEPF也為多尺度圖像融合，F(xiàn)FIF為以結(jié)構(gòu)信息為重心的融合方法，而Resnet和MLEPF都是最近與神經(jīng)網(wǎng)絡(luò)相結(jié)合的融合算法。為了綜合評(píng)價(jià)M-SWF，首先對(duì)M-SWF融合過(guò)程中能量屬性變量進(jìn)行分析，得到M-SWF融合模型下的較佳值；其次，在該取值下，對(duì)融合結(jié)果進(jìn)行主客觀兩個(gè)方面進(jìn)行分析，其中客觀定量分析方面，選取了6種融合評(píng)價(jià)指標(biāo)進(jìn)行定量分析，分別為基于梯度信息指標(biāo)（Gradient-based Fusion Performance,abf[19]）、基于像素的互信息量（Mutual information based on Pixel, MIP[13]）、差異相關(guān)性的總和（Sum of the Correlations of Differences, SCD[20]）、基于結(jié)構(gòu)相似性的度量（Structural Similarity, SSIM[1]）、多層次結(jié)構(gòu)相似性度量（Multilevel structural similarity, MSSIM[1]）和視覺(jué)保真度（Visual Information Fildelity for Fusion, VIFF[1]），以上評(píng)價(jià)指標(biāo)數(shù)值越大融合效果越好；此外，通過(guò)計(jì)算融合方法的運(yùn)行時(shí)間（RT）來(lái)分析算法的時(shí)效性，越小越好。

2.1 能量屬性變量分析

能量屬性變量用于整合源圖像的基礎(chǔ)層信息，以實(shí)現(xiàn)突出目標(biāo)的目的。實(shí)驗(yàn)仿真過(guò)程通過(guò)調(diào)節(jié)變量，得到融合結(jié)果圖4；其中紅色方框標(biāo)記的是人，藍(lán)色標(biāo)記的是路面。由圖4能夠較為清楚地發(fā)現(xiàn)，隨著值增大行人越加突出，能量強(qiáng)度越大；但是，路面的紋理越來(lái)越不清楚，丟失了VI圖像當(dāng)中的紋理成分。因此為了獲得M-SWF最佳的融合效果，對(duì)圖4當(dāng)中的融合結(jié)果進(jìn)行了定量分析，得到的客觀數(shù)據(jù)如表1所示，其中粗體字標(biāo)記的為最佳數(shù)據(jù)。從表1能夠觀察到圖4(d)（＝2）的數(shù)據(jù)值在abf、SSIM較好，但是隨著值增大，abf和SSIM評(píng)價(jià)指標(biāo)減小，這主要源于引入的紅外光譜信息過(guò)多，掩蓋了可見(jiàn)光細(xì)節(jié)層信息，導(dǎo)致融合圖像紋理細(xì)節(jié)不清晰；而另一方面SCD和VIFF定量值卻不斷增大，這表明融合結(jié)果保留了大量的紅外顯著性能量信息，能夠突出主要目標(biāo)；其次RT運(yùn)行時(shí)間保持在0.510s左右不會(huì)對(duì)整體算法的時(shí)效性形成太大的影響；而由于融合指標(biāo)MIP和MSSIM的最優(yōu)值分別位于＝6和＝8，因此為了使得M-SWF的融合結(jié)果一方面能夠減少或抑制噪斑及人造偽影的產(chǎn)生，另一方面能夠突出顯著性目標(biāo)，從整體綜合的角度考慮，將能量屬性參數(shù)值取為各個(gè)評(píng)價(jià)參數(shù)較為適中的數(shù)值，不會(huì)使得某個(gè)參數(shù)過(guò)低或過(guò)高影響融合效果，因此令＝4進(jìn)行后續(xù)的主客觀分析。

圖4 不同參數(shù)P的M-SWF融合結(jié)果

表1 不同P值下的融合定量數(shù)據(jù)

2.2 主觀分析

實(shí)驗(yàn)首先選取了3對(duì)圖像數(shù)據(jù)組進(jìn)行主觀分析，分別為“Camp_1811”、“Trees_4917”和“Kaptein_1123”，融合結(jié)果如圖5～圖7所示。

圖5源圖像數(shù)據(jù)組呈現(xiàn)的是一個(gè)從高往低處看的屋頂視角，選取分析的是紅色方框標(biāo)記的人；與GFF、Resnet和MLEPF的融合結(jié)果相對(duì)比，M-SWF得到的融合結(jié)果當(dāng)中“人”更加地突出，能量強(qiáng)度更為明顯；CBF得到的融合結(jié)果中被標(biāo)記的人存在一個(gè)黑色小斑點(diǎn)，另外FFIF的融合結(jié)果中人物目標(biāo)附近存在光暈；而M-SWF表現(xiàn)良好。圖6源圖像數(shù)據(jù)組描述一幅樹(shù)下行人的場(chǎng)景，選取分析的是樹(shù)下的人；整體上看，GFF、CBF和MLEPF得到的融合結(jié)果存在噪音或者人造偽影現(xiàn)象，另外與FFIF和Resnet相比，M-SWF在融合“人”有不錯(cuò)的表現(xiàn)。圖7源圖像數(shù)據(jù)組是一幅行人路過(guò)涼亭的畫(huà)面，選取分析的是行人的后背；從被標(biāo)記的區(qū)域觀察到，M-SWF具有良好的融合效果，并且無(wú)人造偽影等不佳現(xiàn)象。

2.3 客觀分析

客觀分析指的是從實(shí)際出發(fā)，對(duì)結(jié)果進(jìn)行客觀公正的定量評(píng)價(jià)。表2為圖5～圖7中各個(gè)融合結(jié)果的客觀定量數(shù)據(jù)，其中粗體字標(biāo)記的為最佳數(shù)據(jù)。從“Camp_1811”客觀數(shù)據(jù)可以發(fā)現(xiàn)：M-SWF在abf、SCD、MSSIM和VIFF指標(biāo)上表現(xiàn)最佳，這表明M-SWF能較好地規(guī)避人造偽影現(xiàn)象，并且融合效果較好；其次從“Trees_4917”定量數(shù)據(jù)觀察到：M-SWF在abf、SCD、SSIM和MSSIM上排名第一，這說(shuō)明M-SWF能夠很好地整合源圖像的結(jié)構(gòu)信息，并且融合結(jié)果不含或存在較少的人為影響；而從“Kaptein_1123”的數(shù)據(jù)可以看出：除了SSIM和運(yùn)行時(shí)間表現(xiàn)略差，其他的數(shù)據(jù)都是最佳，這表征M-SWF對(duì)Kaptein_1123融合有很好的融合效果；而在運(yùn)行時(shí)間上，M-SWF的略高于GFF和FFIF，低于CBF常規(guī)濾波器組融合方法和Resnet、MLEPF神經(jīng)網(wǎng)絡(luò)的融合方法；針對(duì)個(gè)別評(píng)價(jià)指標(biāo)略差的情況，這主要受到能量屬性參數(shù)影響，從表1可以看出，值在MIP、SSIM和MSSIM指標(biāo)上，具有小范圍的峰值，因此合適值的選取，會(huì)對(duì)M-SWF有小尺度的影響。表3為T(mén)NO數(shù)據(jù)集21組數(shù)據(jù)圖像的平均客觀定量數(shù)據(jù)，從表3能夠看出M-SWF在MIP、SCD、SSIM、MSSIM和VIFF評(píng)價(jià)指標(biāo)上略?xún)?yōu)于其他對(duì)比的融合方法，而在運(yùn)行時(shí)間上僅高于GFF，這表明提出的融合方法M-SWF能夠較快地提取源圖像的結(jié)構(gòu)細(xì)節(jié)信息，在保證融合效果的同時(shí)，能夠顯著性地突出目標(biāo)；在abf評(píng)價(jià)指標(biāo)略低于CBF，這主要來(lái)源基礎(chǔ)層EAF融合引入了過(guò)多的顯著性能量，使得紅外光譜信息過(guò)多而掩蓋了可見(jiàn)光細(xì)節(jié)信息；而在運(yùn)行時(shí)間上略低于GFF，這主要在于GFF僅通過(guò)簡(jiǎn)便的濾波圖像處理和加權(quán)疊加融合，減少了融合過(guò)程中的計(jì)算參數(shù)量。整體而言，M-SWF在實(shí)現(xiàn)多源圖像融合方面具有一定的優(yōu)勢(shì)，能夠?qū)崿F(xiàn)多源圖像之間時(shí)效的結(jié)構(gòu)相似性融合。

圖5 不同方法在“Camp_1811”圖像下的融合結(jié)果

圖7 不同方法在“Kaptein_1123”圖像下的融合結(jié)果

表2 客觀評(píng)價(jià)數(shù)據(jù)

表3 TNO數(shù)據(jù)集上的平均客觀評(píng)價(jià)數(shù)據(jù)

3 結(jié)論

針對(duì)圖像融合過(guò)程中提取結(jié)構(gòu)信息不充分和融合效果不佳的問(wèn)題，本文基于SWF提出了一種多尺度水平圖像融合方法M-SWF。利用SWF對(duì)圖像邊緣結(jié)構(gòu)信息的敏感性，對(duì)源圖像進(jìn)行了多尺度水平特征信息提取，得到多尺度結(jié)構(gòu)細(xì)節(jié)層和基礎(chǔ)層；采用L1F融合規(guī)則實(shí)現(xiàn)了多尺度結(jié)構(gòu)信息層的融合；采用EAF圖像能量貢獻(xiàn)融合規(guī)則實(shí)現(xiàn)了基礎(chǔ)層融合；最后疊加求和重構(gòu)源圖像。實(shí)驗(yàn)首先分析了M-SWF下較為合適的能量屬性參數(shù)取值；其次對(duì)融合圖像進(jìn)行主客觀分析，結(jié)果表明M-SWF與常規(guī)的濾波器組融合相比具有一定的優(yōu)勢(shì)，能夠保留結(jié)構(gòu)細(xì)節(jié)信息的同時(shí)不產(chǎn)生人造偽影現(xiàn)象，并且融合結(jié)果能夠突出目標(biāo)，符合人體的視覺(jué)系統(tǒng)。

[1] MA Jiayi, MA Yong, LI Chang. Infrared and visible image fusion methods and applications: a survey [J]., 2019, 45: 153-178. DOI: 0.1016/j.inffus.2018.02.004。

[2] ZHAO Z, XU S, ZHANG C, et al. Bayesian fusion for infrared and visible images[J]., 2020, 177: 165-168. DOI: 10.1016/ j.sigpro.2020.107734

[3] HUAN Kewei, LI Xiangyang, CAO Yutong, et al. Infrared and visible image fusion of convolutional neural network and NSST[J]., 2022, 51(3): 20210139. DOI: 10.3788/IRLA20210139.

[4] CHENG Boyang, LI Ting, WANG Yulin. Fusion of infrared and visible light images based on visual saliency weighting and maximum gradient singular value[J]., 2022, 15(4): 675-688. DOI: 10.37188/CO.2022-0124

[5] 李威, 李忠民. 一種基于EASSF的紅外與可見(jiàn)光圖像視覺(jué)保真度融合[J]. 紅外技術(shù), 2022, 44(7): 686-692. LI Wei, LI Zhongmin. Visual fidelity fusion of infrared and visible image using edge-aware smoothing-sharpening filter[J]., 2022, 44(7): 686-692.

[6] 李永萍, 楊艷春, 黨建武, 等. 基于變換域VGGNet19的紅外與可見(jiàn)光圖像融合[J]. 紅外技術(shù), 2022, 44(12): 1293-1300. LI Yongping, YANG Yanchun, DANG Jianwu, et al. Infrared and visible image fusion based on transform domain VGGNet19[J]., 2022, 44(12): 1293-1300.

[7] 雷大江, 杜加浩, 張莉萍, 等. 聯(lián)合多流融合和多尺度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)遙感圖像融合方法[J]. 電子與信息學(xué)報(bào), 2022, 44(1): 237-244. Doi: 10.11999/JEIT200792. LEI Dajiang, DU Jiahao, ZHANG Liping, et al. Multi-stream architecture and multi-scale convolutional neural network for remote sensing image fusion [J]., 2022, 44(1): 237-244. Doi: 10.11999/JEIT200792.

[8] 馬梁, 茍于濤, 雷濤, 等. 基于多尺度特征融合的遙感圖像小目標(biāo)檢測(cè)[J]. 光電工程, 2022, 49(4): 49-65. MA Liang, GOU Yutao, LEI Tao, et al. Small object detection based on multi-scale feature fusion using remote sensing images[J], 2022, 49(4): 49-65.

[9] 錢(qián)金卓, 馬駿, 李峰, 等. 面向CMOS遙感相機(jī)的多曝光圖像融合方法[J]. 遙感信息, 2022, 37(4): 51-57. QIAN Jinzhuo, MA Jun, LI Feng, et al. Multi-exposure image fusion method for CMOS remote sensing camera [J]., 2022, 37(4): 51-57.

[10] LI Shutao, KANG Xudong, HU Jianwen. Image fusion with guided filtering[J]., 2013, 22(7): 2864-2875. Doi: 10.1109/TIP.2013.2244222.

[11] Shreyamsha Kumar B K. Image fusion based on pixel significance using cross bilateral filter[J]., 2015, 9(5): 1193-1204. Doi:10.1007/s11760-013-0556-9.

[12] ZHAN K, XIE Yuange, MIN Yufang. Fast filtering image fusion[J]., 2017, 26(6): 063004. Doi: 10.1117/1.JEI.26.6.063004.

[13] LI Hui, WU Xiaojun, Tariq S Durrani. Infrared and visible image fusion with ResNet and zero-phase component analysis[J]., 2019, 102: 1030390. Doi: 10.1016/j.infrared.2019.-103039.

[14] TAN Wei, Thitn W, XIANG P, et al. Multi-modal brain image fusion based on multi-level edge-preserving filtering[J]., 2021, 64: 102280. Doi: 10.1016/j. bspc.2020.102280.

[15] YIN Hui, GONG Yuanhao, QIU Guoping. Side window guided filtering[J]., 2019, 165: 315-330. Doi: 10.1016/j.sigpro. 2019.07.026.

[16] LI Xiaosong, ZHOU Fuqiang, TAN Haishu, et al. Multimodal medical image fusion based on joint bilateral filter and local gradient energy[J]., 2021, 569: 302-325.

[17] LI Hui, WU Xiaojun. DenseFuse: a fusion approach to infrared and visible images [J].2019, 28(5): 2614-2623. Doi: 10.1109/TIP.2018.2887342.

[18] Toet A. TNO Image Fusion Dataset[EB/OL]. [2022-10-30]. http://figshare.com/articles/-TNO_Image_ Fusion_Dataset/1008029.

[19] Xydeas C S, Petrovic V. Objective image fusion performance measure [J]., 2000, 36(4): 308-309. Doi: 10.1109/ICCV.2005.175.

[20] Aslantas V, Bendes E. A new image quality metric for image fusion: the sum of the correlations of differences[J]., 2015, 69(12): 1890-1896. Doi: 10.1016/j.aeue.2015.09.004.

Structural Similarity Fusion of Infrared and Visible Image in the M-SWF Domain

LI Wei，TIAN Shishun，LIU Guangli，ZOU Wenbin

(College of Electronics and Information Engineering, Shenzhen University, Shenzhen 518060, China)

This study introduces a multiscale sliding window filter (M-SWF) image fusion method to address issues with traditional filter banks in infrared and visible image fusion. First, a multiscale image decomposition method based on SWF is proposed to extract the structural detail layers and base layers of the source image. Second, the L1 norm fusion rule (L1-Fusion, L1F) is used to integrate the structural detail layers, which can extract the structure of the image. Then, to highlight the salient objects, energy attribute fusion (EAF), which is a rule for fusing image energy contributions, is used to integrate the base layers, and the fusion results are obtained by stacking the integrated multiscale structure detail layers and base layers. The energy contribution coefficient was analyzed, and a suitable energy contribution coefficient was obtained for the fusion of infrared and visible images in the M-SWF domain from subjective and objective perspectives. Compared with other fusion methods, the M-SWF not only improves the ability to extract the structural information of the source image but also improves the poor fusion effect and effectively highlights salient targets by integrating the energy attributes of the image.

infrared image, visible image, image fusion, side window filter, structural similarity

A

1001-8891(2024)03-0280-08

2022-11-14；

2023-03-08.

李威（1997-），男，博士研究生，主要從事圖像處理的研究，E-mail：lv2881314@163.com。

鄒文斌（1981-），男，博士，副教授，主要從事圖像處理的研究，E-mail：wzou@szu.edu.cn。

國(guó)家自然科學(xué)基金項(xiàng)目（62171294，62101344），廣東省自然科學(xué)基金（2022A1515010159），深圳自然科學(xué)基金（JCYJ20200109105832261, JCYJ20190808122409660），深圳市科技計(jì)劃重點(diǎn)項(xiàng)目（20220810180617001）。