陳 峰，李 敏，馬 樂，邱曉華

〈圖像處理與仿真〉

基于滾動引導(dǎo)濾波的紅外與可見光圖像融合算法

陳 峰，李 敏，馬 樂，邱曉華

（高新技術(shù)研究所，陜西 西安 710025）

針對紅外與可見光圖像融合時，易產(chǎn)生細(xì)節(jié)丟失、噪聲抑制不佳等問題，本文提出了一種改進(jìn)的滾動引導(dǎo)濾波融合算法。該算法充分利用了滾動引導(dǎo)濾波邊緣和局部亮度保持特性，在通過均值濾波將輸入圖像分解為基礎(chǔ)層與細(xì)節(jié)層的基礎(chǔ)上，結(jié)合滾動引導(dǎo)濾波與高斯濾波獲取輸入圖像的顯著圖，利用不同尺度參數(shù)的引導(dǎo)濾波對顯著圖優(yōu)化得到權(quán)重圖，將權(quán)重圖作為權(quán)重分別指導(dǎo)基礎(chǔ)層與細(xì)節(jié)層的融合，最后聯(lián)合融合后的子圖重構(gòu)得到融合圖像。針對3類測試數(shù)據(jù)進(jìn)行的融合實驗表明，與非下采樣輪廓波變換、基于引導(dǎo)濾波、基于顯著性檢測的兩個尺度的圖像融合等經(jīng)典方法相比，本文方法得到的融合圖像不但從主觀視覺效果上細(xì)節(jié)信息更豐富、目標(biāo)對比度加強，并且在非線性相關(guān)信息熵、相位一致性等6項客觀評價指標(biāo)上均具有較好的效果。

滾動引導(dǎo)濾波；顯著圖；圖像融合；權(quán)重圖

0 引言

圖像融合本質(zhì)上是一種圖像增強技術(shù)，旨在通過提取不同傳感器（如紅外與可見光）或同種傳感器采集的圖像（如多聚焦圖像）的互補信息進(jìn)行融合，生成信息更豐富、圖像特征更多的融合圖像。紅外與可見光圖像融合技術(shù)是當(dāng)前圖像融合領(lǐng)域研究的熱點之一。紅外傳感器通過捕捉目標(biāo)的熱輻射信息，可生成黑暗和雨霧等惡劣氣候條件下的圖像，圖像中紅外目標(biāo)突出，但空間分辨率較低、細(xì)節(jié)信息較少，而場景對應(yīng)的可見光圖像紋理、邊緣等細(xì)節(jié)信息豐富，分辨率較高。故綜合這兩類圖像的互補信息，可生成一幅紅外目標(biāo)突出、紋理、邊緣細(xì)節(jié)信息豐富的圖像，此類圖像在檢測跟蹤、目標(biāo)識別、監(jiān)控等軍事和民用領(lǐng)域的應(yīng)用更有優(yōu)勢。

根據(jù)采用的理論和工具的差異，目前的圖像融合算法一般可分為基于多尺度變換、基于稀疏表示、基于神經(jīng)網(wǎng)絡(luò)、基于子空間、基于顯著性以及上述方法結(jié)合的混合模式，其中基于多尺度變換的方法是當(dāng)前該領(lǐng)域中研究最多的[1-2]。最早用于圖像融合中的理論是基于金字塔變換和小波變換的圖像融合算法[3]，比如拉普拉斯金字塔[4-5]、對比度金字塔[6-7]、離散小波變換（discrete wavelet transformation，DWT）[8]等。針對離散小波變換不具有平移不變性、方向選擇有限的問題，又有學(xué)者提出了融合性能更好的雙樹復(fù)小波變換[9]。此外，方向靈敏度更高的輪廓波變換（contourlet transform）、剪切波變換（shearlet transform）以及具有平移不變性的非下采樣輪廓波變換（non-subsampled contourlet transform，NSCT）、非下采樣剪切波變換（nonsubsampled shearlet transform，NSST）等多尺度變換工具也相繼被眾多學(xué)者用于圖像融合領(lǐng)域，2019年Ma等人在文獻(xiàn)[1]中對這些方法進(jìn)行了綜述。NSCT等多尺度變換方法首先將圖像分解為高頻與低頻系數(shù)，然后采用不同的權(quán)重分別對高低頻系數(shù)進(jìn)行組合，再經(jīng)逆變換得到融合圖像。此類方法的融合質(zhì)量較高，但時間消耗較大。

由于保邊濾波器具有噪聲平滑、邊緣保留等特性，近年來，眾多學(xué)者開始將保邊濾波成功運用于圖像融合中[10-13]。2013年Li等人提出一種基于引導(dǎo)濾波的圖像融合算法[10]（Image fusion with guided filtering，GFF），采用均值濾波對圖像分解，結(jié)合拉普拉斯濾波和高斯濾波來獲取顯著圖，并首次將引導(dǎo)濾波用于權(quán)重圖的構(gòu)造，解決了初始權(quán)重圖目標(biāo)邊緣未對齊的問題。2019年，Zhang等人在文獻(xiàn)[13]中設(shè)計了一個梯度濾波器來獲取顯著圖，可提取更多的梯度特征。同年，Ma等人在文獻(xiàn)[14]中提出用中值濾波圖像與均值濾波圖像做差值，取絕對值后，再經(jīng)高斯濾波得到顯著圖，該方法保留的細(xì)節(jié)特征較多，但中值濾波在去噪的同時也會去除一些高頻信息。2014年Zhang等人提出一種滾動引導(dǎo)濾波（the Rolling Guidance Filter，RGF）框架[15]，區(qū)別于雙邊濾波、引導(dǎo)濾波，該濾波器可以有效消除光暈，在平滑小尺度目標(biāo)的同時恢復(fù)大尺度目標(biāo)邊緣，2017年Ma等人結(jié)合滾動引導(dǎo)濾波與高斯濾波對源圖像進(jìn)行多尺度分解[12]。

在以上研究的基礎(chǔ)上，本文提出結(jié)合滾動引導(dǎo)濾波與高斯濾波獲取顯著圖，再利用大、小尺度參數(shù)的引導(dǎo)濾波對其優(yōu)化分別得到基礎(chǔ)層與細(xì)節(jié)層的權(quán)重圖，利用權(quán)重圖分別指導(dǎo)基礎(chǔ)層與細(xì)節(jié)層的融合，最后聯(lián)合融合的子圖像，得到融合圖像。針對3種測試數(shù)據(jù)，將本文算法與NSCT、GFF、基于多尺度變換與稀疏表示（LP and sparse representation，LPSR）等經(jīng)典算法進(jìn)行了實驗對比分析，驗證了本文算法的優(yōu)越性。

1 基于滾動引導(dǎo)濾波的顯著圖提取

1.1 滾動引導(dǎo)濾波

滾動引導(dǎo)濾波是一種高效的尺度感知濾波器，在平滑小尺度目標(biāo)及紋理細(xì)節(jié)時，可以迭代恢復(fù)大尺度目標(biāo)的邊緣。該濾波器的原理結(jié)構(gòu)可細(xì)分為：小尺度結(jié)構(gòu)平滑和大尺度結(jié)構(gòu)邊緣恢復(fù)。首先采用高斯濾波器對源圖像進(jìn)行小尺度結(jié)構(gòu)的平滑。設(shè)為輸入圖像，為高斯模糊后的圖像，表示為：

滾動引導(dǎo)濾波的第二步是采用雙邊濾波（bilateral filter，BF）[16]將第一步中高斯濾波的結(jié)果作為引導(dǎo)圖像，初始輸入圖像作為輸入圖像，迭代恢復(fù)被模糊的大尺度結(jié)構(gòu)邊緣。下一次迭代的引導(dǎo)圖像和輸入圖像分別為上一次迭代的輸出圖像、初始的輸入圖像。隨著迭代次數(shù)的增加，被模糊掉的大尺度結(jié)構(gòu)邊緣會越來越清晰。據(jù)文獻(xiàn)[15]所述，此處的雙邊濾波可根據(jù)實際應(yīng)用需求采用引導(dǎo)濾波（guided filter，GF）[17]、域變換（domain-transform filter，DTF）[18]等濾波器替代，本文采用雙邊濾波的方案，表示為：

設(shè)＝0時，0為常數(shù)，可得到滾動引導(dǎo)濾波的定義式：

＝rgf(,s,r,) (3)

式中：為輸入圖像；為輸出圖像；為總的迭代次數(shù)。

1.2 顯著圖提取方法

自然圖像由不同尺度的目標(biāo)組成，且包含了不同的尺度結(jié)構(gòu)[15]，圖像的顯著特征通常指圖像中不同目標(biāo)的邊緣、角等信息。

滾動引導(dǎo)濾波在迭代過程中通過s和r兩參數(shù)控制濾波的空間（距離）權(quán)重和范圍（強度）權(quán)重，可實現(xiàn)對圖像不同尺度的有效分割，最終平滑小尺度結(jié)構(gòu)的同時可準(zhǔn)確保留目標(biāo)的邊緣。將滾動引導(dǎo)濾波用于平滑圖像時，在一定范圍內(nèi)，s值越大，平滑掉的細(xì)節(jié)越多；r值越大，圖像中保留的目標(biāo)邊緣也會趨于模糊。依據(jù)這一特性，可利用該濾波器提取圖像的高通圖像，即利用原圖與經(jīng)該濾波平滑后的圖像做差值并取絕對值。此時s和r取值越小，高通圖像保留的細(xì)節(jié)信息豐富。由于該高通圖像仍含有噪聲，需經(jīng)高斯濾波去噪，得到噪聲較少的顯著圖。結(jié)合滾動引導(dǎo)濾波與高斯濾波提取顯著圖的表達(dá)式可表示為：

式中：表示提取的顯著圖；rgf(×)表示滾動引導(dǎo)濾波；表示高斯濾波；g和g為高斯濾波核的窗口大小和標(biāo)準(zhǔn)差，均設(shè)置為5。為進(jìn)一步分析s和r兩參數(shù)對提取的顯著圖的影響，下面分別對一組經(jīng)嚴(yán)格配準(zhǔn)后的紅外與可見圖像進(jìn)行實驗分析，實驗圖像如圖1(a)、圖1 (b)所示。

在圖1中，左邊3列是對可見光圖像提取的顯著圖。由圖可知，當(dāng)取定s（或者r）時，在一定范圍內(nèi)，r（或s）取值越大，提取的顯著圖包含的細(xì)節(jié)信息越豐富，當(dāng)s和r分別取16、0.5時，提取的細(xì)節(jié)信息最多，即右邊三列最右上角的圖像。圖1中最右邊兩列為s取不同值、r取0.05和0.5時，當(dāng)s和r分別取16、0.5時提取的顯著圖包含的紅外目標(biāo)特征最多，輪廓最清晰，即右邊兩列最右上角的圖像。綜上所述，當(dāng)s與r分別取16與0.5時，所提方法對紅外與可見光圖像提取的顯著圖包含的細(xì)節(jié)信息最豐富。

2 基于滾動引導(dǎo)濾波的圖像融合

在文獻(xiàn)[10]中提出將引導(dǎo)濾波用于權(quán)重圖優(yōu)化的框架，并基于均值濾波提出了一種融合方法，本節(jié)首先從融合框架、權(quán)重圖構(gòu)造方法進(jìn)行介紹，然后對本文的權(quán)重圖構(gòu)造方法詳細(xì)論述。由于均值濾波分解圖像效率較高，文中仍采用均值濾波將圖像分解為基礎(chǔ)層與細(xì)節(jié)層。

圖1 不同ss和sr下提取的顯著圖

Fig 1 The saliency images extracted under differentsandr

2.1 融合框架

設(shè)I（的值為1、2）為輸入源圖像，通過均值濾波將源圖像分解為對應(yīng)的基礎(chǔ)層B和細(xì)節(jié)層D，分解函數(shù)表示為：

式中：ave為均值濾波；“*”為濾波運算，源圖像經(jīng)均值濾波后可得到包含大量低頻信息的基礎(chǔ)層，表示圖像的整體對比度和尺度較大的目標(biāo)邊緣。

設(shè)為融合的結(jié)果圖像，分別對式(6)融合后的基礎(chǔ)層與細(xì)節(jié)層融合圖像賦予值為1的權(quán)重，重構(gòu)得到最終的融合圖像，表示為：

2.2 權(quán)重圖構(gòu)造方法

權(quán)重圖的構(gòu)造過程包括顯著圖、初級權(quán)重圖、最終權(quán)重圖構(gòu)造3個步驟。文獻(xiàn)[10]利用了一個3×3的拉普拉斯濾波和高斯濾波來構(gòu)造顯著圖，其中拉普拉斯濾波可以增強圖像的特征，但同時也會增強噪聲，高斯濾波用于對圖像去噪得到顯著圖，可表示為：

式中：為拉普拉斯濾波器；為高斯濾波器；“*”為濾波運算；1、2為提取的顯著圖。

通過比較顯著圖1、2中相應(yīng)像素點的顯著值，得到初級權(quán)重圖（二進(jìn)制圖）1與2，表示為：

或者：

2＝1－1(10)

式中：1(x,y)、2(x,y)分別為各顯著圖中像素點(x,y)的灰度值。

由于初級權(quán)重圖中仍包含噪聲，且有的目標(biāo)邊緣未對齊，直接作為權(quán)重圖融合，可能會產(chǎn)生偽影，故采用引導(dǎo)濾波對其進(jìn)行優(yōu)化。分別以源圖像（1、2）為引導(dǎo)圖像，初級權(quán)重圖為輸入圖像，經(jīng)引導(dǎo)濾波優(yōu)化后可獲得最終的權(quán)重圖。表示為：

2.3 改進(jìn)的權(quán)重圖構(gòu)造方法

上述融合方法中采用拉普拉斯濾波器獲取源圖像的顯著特征圖，拉普拉斯濾波的原理是利用3×3模板遍歷整個輸入圖像，取模板內(nèi)所有像素點的平均值代替中間像素點，但加權(quán)平均的方式會導(dǎo)致獲取的邊緣、紋理等高頻信息不充分，最終的融合圖像細(xì)節(jié)信息保留不夠充分。

在上文中，論證了將滾動引導(dǎo)濾波用于構(gòu)造顯著圖的可行性。結(jié)合式(4)與式(8)后可得新的顯著圖構(gòu)造算法，如下所示：

式中：1￠、2￠分別為經(jīng)滾動引導(dǎo)濾波和高斯濾波后獲得的顯著圖。

圖2是分別采用拉普拉斯濾波與高斯濾波（LP-G）、中值濾波-均值濾波與高斯濾波（ME-AV-G）以及本文方法對紅外與可見光圖像獲得的顯著圖。比較紅外顯著圖可知，本文方法得到的顯著圖中目標(biāo)的輪廓更清晰，其他方法保留的紅外目標(biāo)較模糊；比較可見光顯著圖可知，本文方法保留的細(xì)節(jié)信息更豐富。

圖2 不同方法獲取的顯著圖

2.4 融合算法

基于滾動引導(dǎo)濾波的圖像融合具體步驟如下所示：

Step1：利用均值濾波將紅外與可見光圖像分別分解為基礎(chǔ)層與細(xì)節(jié)層{B、D}；

Step2：利用滾動引導(dǎo)濾波與高斯濾波獲得源圖像的顯著圖{1、2}；

Step3：比較顯著圖中的顯著值，獲得初始權(quán)重圖{1、2}；

Step4：利用不同尺度的引導(dǎo)濾波優(yōu)化初始權(quán)重圖得到基礎(chǔ)層與細(xì)節(jié)層的權(quán)重圖{W、W}；

Step5：將得到的權(quán)重圖作為權(quán)重系數(shù)分別指導(dǎo)基礎(chǔ)層與細(xì)節(jié)層的融合；

Step6：將融合后的基礎(chǔ)層與細(xì)節(jié)層分別以1為權(quán)重系數(shù)，重構(gòu)得到最終的融合圖像

圖3中，圖(a)為采用均值濾波對圖像單尺度分解的融合框架圖，圖(b)為源圖像經(jīng)滾動引導(dǎo)濾波、高斯濾波、引導(dǎo)濾波等運算的基礎(chǔ)層與細(xì)節(jié)層權(quán)重圖構(gòu)造流程圖。

3 實驗結(jié)果與分析

3.1 實驗條件

為進(jìn)一步驗證本文方法的有效性，選擇了3類典型背景目標(biāo)進(jìn)行實驗，所選擇的實驗數(shù)據(jù)均為公開且經(jīng)嚴(yán)格配準(zhǔn)后的圖像。如圖4所示。實驗的運行環(huán)境為：Intel i5，2.3GHz，內(nèi)存4GB，64位Windows7操作系統(tǒng)，Matlab2017a。此外，將本文方法與DWT[8]和NSCT[19]兩種經(jīng)典的多尺度變換方法，LPSR[20]、基于顯著性檢測的兩個尺度的圖像融合方法[21]（two-scale image fusion based on visual saliency，TSIFVS）兩種最新提出的方法，以及文獻(xiàn)[10]所提出的GFF方法（這5種方法進(jìn)行比較，各方法的參數(shù)設(shè)置均與原文獻(xiàn)中保持一致，本文方法的尺度參數(shù)s和r分別設(shè)置為16和0.5，迭代次數(shù)采用文獻(xiàn)[15]中的最佳次數(shù)4。

圖3 紅外與可見光圖像融合流程圖

圖4 3對紅外與可見光圖像

3.2 實驗結(jié)果分析

圖5為不同方法對測試數(shù)據(jù)“UN Camp”的融合結(jié)果，對比分析融合結(jié)果，DWT（圖5(c)）、NSCT（圖5(d)）兩種傳統(tǒng)的多尺度變換方法得到的融合圖像，目標(biāo)不夠突出，整體亮度偏暗；GFF方法（圖5(e)），目標(biāo)附近植被和遠(yuǎn)處山丘紋理不清晰，表示對紅外噪聲抑制不充分；TSIFVS方法（圖5(f)），目標(biāo)較突出，且目標(biāo)周圍的柵欄也較清晰，但屋頂背景較暗，目標(biāo)右邊的植被較模糊，表明融合了較多的紅外信息；LPSR方法（圖5(g)），目標(biāo)較突出，但目標(biāo)右邊的植被不清晰；本文方法（圖5(h)），目標(biāo)突出，且目標(biāo)周圍的柵欄、屋頂及遠(yuǎn)近位置的植被等背景都較清晰。

圖6為不同方法在測試數(shù)據(jù)“Marne”上的融合結(jié)果，汽車為帶內(nèi)熱源的目標(biāo)，相比于圖5中人這一小目標(biāo)，汽車的紅外與可見光特征分布更復(fù)雜。觀察房子、車輛、天空、地面等目標(biāo)背景，圖6(c)、(d)兩種經(jīng)典的方法融合的圖像亮度信息較少，含有的噪聲較多，整體視覺效果較差。圖6(e)方法融合的可見光細(xì)節(jié)信息較多，但目標(biāo)的紅外特征較少且融合圖像中間較亮，周圍較暗，特征融合存在不銜接的缺點。圖6(f)方法融合的紅外信息較少，圖6(g)車輛融合特征較明顯，但車窗處的細(xì)節(jié)信息較少一些，房子整體外觀，有的地方較亮，有的偏暗。本文的方法（圖6(h)）車輛紅外特征較明顯，房子外觀整體較亮，融合效果較好。

圖7是針對測試數(shù)據(jù)“Smog environment”進(jìn)行的融合，比較不同方法的融合結(jié)果可得出：(c)、(d)兩種方法融合的結(jié)果包含的噪聲較多，整體偏暗，目標(biāo)不突出；(e)方法融合了較多的煙霧信息，紅外特征融合較少；(f)方法，目標(biāo)突出，細(xì)節(jié)信息豐富，但整體偏暗；(g)方法融合的結(jié)果，目標(biāo)突出，背景細(xì)節(jié)信息豐富；(h)方法融合結(jié)果，目標(biāo)突出、輪廓清晰，房子間的天空融合自然，具有與(g)方法相當(dāng)?shù)囊曈X效果。

圖5 不同方法在測試數(shù)據(jù)“UN Camp”上的融合結(jié)果

圖6 不同方法在測試數(shù)據(jù)“Marne”上的融合結(jié)果

圖7 不同方法在測試數(shù)據(jù)“Smog environment”上的融合結(jié)果

3.3 客觀指標(biāo)評價

僅通過視覺效果來評價算法的融合效果，評價結(jié)果帶有一定的主觀性，為更加客觀地評價本文方法的有效性，還需利用客觀評價指標(biāo)進(jìn)行評價。在文獻(xiàn)[1]與文獻(xiàn)[22]中對一些經(jīng)典及其衍生的客觀評價指標(biāo)進(jìn)行了實驗分析與驗證，本文選擇其中的6項指標(biāo)：基于信息論的評價指標(biāo)，標(biāo)準(zhǔn)化互信息（NMI）和非線性相關(guān)信息熵（NCIE）；基于圖像特征的評價指標(biāo)，特征互信息（FMI）和相位一致性（P）；基于結(jié)構(gòu)相似度的評價指標(biāo)，局部結(jié)構(gòu)相似度（Y）；基于人類視覺感知的評價指標(biāo)（CB）。

標(biāo)準(zhǔn)化互信息表示從輸入圖像轉(zhuǎn)換到融合圖像中的信息量；非線性相關(guān)信息熵表示融合圖像與輸入圖像之間的非線性相關(guān)程度；特征互信息從邊緣、細(xì)節(jié)、對比度這3個方面綜合評價從輸入圖像到融合圖像轉(zhuǎn)換的特征信息；相位一致性表示融合圖像包含的邊緣、角度信息；局部結(jié)構(gòu)相似度表示融合圖像與輸入圖像的局部結(jié)構(gòu)相似程度；基于人類視覺感知的評價（CB）表示融合圖像獲得的對比度信息。

從表1、2可以發(fā)現(xiàn)經(jīng)本文改進(jìn)的方法在非線性相關(guān)信息熵（NCIE）、標(biāo)準(zhǔn)化互信息（NMI）、特征互信息（FMI）、相位一致性（P）、局部結(jié)構(gòu)相似度（Y）、人類視覺感知（CB）這6個評價指標(biāo)方面都有較大幅度的提升。在表1中，本文方法的CB數(shù)值比NSCT算法的低一些，但其他的指標(biāo)綜合評價均高于NSCT算法。在表3中，本文方法的FMI、Q、Y、CB客觀評價指標(biāo)均高于其它方法，NCIE比GFF方法的值略低，但NMI這一基于信息熵的評價指標(biāo)比GFF方法高；本文的NMI值低于LPSR方法，但NCIE值比其高。

表1 測試數(shù)據(jù)“UN Camp”融合結(jié)果客觀指標(biāo)比較

表2 測試數(shù)據(jù)“Marne”融合結(jié)果客觀指標(biāo)比較

表3 測試數(shù)據(jù)“Smog environment”融合結(jié)果客觀指標(biāo)比較

4 總結(jié)

本文利用滾動引導(dǎo)濾波在邊緣和局部亮度保持的特性，結(jié)合高斯濾波去噪的特性來獲取顯著圖，利用不同尺度的引導(dǎo)濾波對其優(yōu)化，得到基礎(chǔ)層與細(xì)節(jié)層的權(quán)重圖，利用權(quán)重圖指導(dǎo)基礎(chǔ)層與細(xì)節(jié)層的融合，聯(lián)合融合后的子圖像重構(gòu)得到融合圖像。文中分析了滾動引導(dǎo)濾波的尺度參數(shù)s和r對提取的顯著圖的影響。通過與LP-G方法、ME-AV-G方法提取的顯著圖比較，結(jié)合滾動引導(dǎo)濾波與高斯濾波的方法提取的顯著圖邊緣、亮度等細(xì)節(jié)特征更多。最后針對3種不同的測試數(shù)據(jù)進(jìn)行實驗，結(jié)果表明：本文方法較好地保留了紅外與可見光圖像中的目標(biāo)背景等信息，與NSCT、GFF、TSIFVS等方法相比較，融合圖像在主觀視覺分析和客觀評價指標(biāo)上均更有優(yōu)勢，是一種有效的融合方法。但本文方法僅對圖像進(jìn)行了兩個尺度的分解，下一步將對更多尺度級的分解與融合進(jìn)行研究。

[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]., 2019, 45:153-178.

[2] XIN J, QIAN J, YAO S, et al. A Survey of Infrared and Visual Image Fusion Methods[J]., 2017, 85: 478-501.

[3] 封子軍. 像素級圖像融合算法研究[D]. 成都: 電子科技大學(xué), 2014.

FENG Z J. Research on pixel-level image fusion method[D]. Chengdu: University of Electronic Science and Technology, 2014.

[4] YU X, REN J, CHEN Q, et al. A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space[J]., 2014, 125(20): 6010-6016.

[5] Vanmali A V, Gadre V M. Visible and nir image fusion using weight- map-guided Laplacian-Gaussian pyramid for improving scene visibility[J]., 2017, 42(7): 1063-1082.

[6] JIN H, XI Q, WANG Y, et al. Fusion of visible and infrared images using multi-objective evolutionary algorithm based on decomposition[J]., 2015, 71: 151-158.

[7] XU H, WANG Y, WU Y, et al. Infrared and multi-type images fusion algorithm based on contrast pyramid transform[J]., 2016, 78: 133-146.

[8] Chipman L J, Orr T M, Graham L N. Wavelets and image fusion[C]//. 1995: 248-251.

[9] ZUO Y, LIU J, BAI G, et al. Airborne infrared and visible image fusion combined with region segmentation[J]., 2017, 17(5): 1127.

[10] LI S, KANG X, HU J. Image Fusion With Guided Filtering[J]., 2013, 22(7): 2864-2875.

[11] ZHU J, JIN W, LI L, et al. Multiscale infrared and visible image fusion using gradient domain guided image filtering[J]., 2017: S1350449517305042.

[12] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[13] ZHANG Y, WEI W, YUAN Y. Multi-focus image fusion with alternating guided filtering[J]., 2019, 13(4): 727-735.

[14] MA T, JIE M, BIN F, et al. Multi-scale decompotion based fusion of infrared and visible image via total variation and saliency analysis[J]., 2018, 92: 154-162.

[15] ZHANG Q, SHEN X, XU L, et al. Rolling Guidance Filter[C]//, 2014: 815-830.

[16] Tomasi C, Manduchi R. Bilateral Filtering for Gray and Color Images[J]., 1998: 839-846.

[17] HE K, SUN J, TANG X. Guided Image Filtering[J]., 2013, 35(6): 1397-1409.

[18] Gastal E S L, Oliveira M M . Domain transform for edge-aware image and video processing[J]., 2011, 30(4): 1.

[19] Adu J, GAN J, WANG Y, et al. Image fusion based on nonsubsampled contourlet transform for infrared and visible light image[J]., 2013, 61: 94-100.

[20] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[21] Bavirisetti D P, Dhuli R. Two-scale image fusion of visible and infrared images using saliency detection[J]., 2016, 76: 52-64.

[22] LIU Z, Blasch E, XUE Z, et al. Objective Assessment of Multiresolution Image Fusion Algorithms for Context Enhancement in Night Vision: A Comparative Study[J]., 2011, 34(1): 94-109.

Infrared and Visible Image Fusion Algorithm Based on the Rolling Guidance Filter

CHEN Feng，LI Min，MA Le，QIU Xiaohua

(High-tech Institute, Xi’an 710025, China)

For the fusion of infrared and visible images, it is easy to produce problems such as missing detail information and suppressing less noise. In this paper, an improved fusion algorithm is proposed by applying the characteristics of a rolling guidance filter, which preserves edge and local brightness. First, the input images are decomposed into base and detail layers by mean filtering. Second, the saliency maps of the input images are obtained by combining the rolling guidance and Gaussian filters. The weight maps are then optimized by guided filters of different scales. The optimized maps are used to instruct the fusion of the base and detail layers. Finally, the fused image is reconstructed by combining the merged sub-images. The method of this paper is superior on the six indicators, such as nonlinear correlation information entropy and phase consistency, compared to the classical methods such as non-subsampled contourlet transform(NSCT), image fusion with guided filtering(GFF), and two-scale image fusion based on visual saliency(TSIFVS).

the rolling guidance filter(RGF), the saliency features, image fusion, edge preserving filter, weight map

TN219

A

1001-8891(2020)01-0054-08

2019-04-24；

2019-11-29.

陳峰（1994-），男，碩士研究生，研究領(lǐng)域為圖像處理，E-mail:1204858129@qq.com。

李敏（1971-），博士研究生導(dǎo)師，主要研究方向：紅外圖像處理與目標(biāo)識別，E-mail：clwn@163.com。

國家自然科學(xué)基金項目（61102170）；國家社科基金項目（15GJ003-243）。