張 慧，韓新寧，韓惠麗，常莉紅

基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合

張 慧1，韓新寧2，韓惠麗1，常莉紅1

（1. 寧夏師范學(xué)院 數(shù)學(xué)與計算機(jī)科學(xué)學(xué)院，寧夏 固原 756000；2. 寧夏師范學(xué)院 資源環(huán)境與生命科學(xué)學(xué)院，寧夏 固原 756000）

為了降低多尺度分解融合算法的復(fù)雜性，并提高融合圖像適應(yīng)人類視覺特點，本文提出一種基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合的方法。首先利用引導(dǎo)濾波對可見光圖像實施增強(qiáng)的圖像預(yù)處理，然后利用引導(dǎo)濾波將源圖像分解為基礎(chǔ)層和細(xì)節(jié)層。在細(xì)節(jié)層的融合規(guī)則中我們采用能量保護(hù)和細(xì)節(jié)提取的方法，最后將融合后的細(xì)節(jié)層與基礎(chǔ)層合成融合結(jié)果。實驗結(jié)果表明所給方法在提高視覺感知、細(xì)節(jié)處理、邊緣保護(hù)等方面都有良好的效果。本文最后還討論了可見光圖像增強(qiáng)對融合方法的影響：從實驗數(shù)據(jù)可知，增強(qiáng)可以提升融合效果，但在圖像融合中融合方法才是關(guān)鍵。

引導(dǎo)濾波的二尺度分解；圖像增強(qiáng)；能量保護(hù)

0 引言

在軍事、導(dǎo)航、探測等領(lǐng)域的應(yīng)用場景中，會使用紅外和可見光成像系統(tǒng)來監(jiān)測目標(biāo)以獲得所需信息。但從成像效果來看，紅外圖像可以提供目標(biāo)的細(xì)節(jié)，而可見光圖像能夠提供植被、紋理、面積和土壤等背景細(xì)節(jié)。通過紅外和可見光圖像的融合，將兩幅圖像中相關(guān)聯(lián)的有效信息合成為一個圖像，從而彌補(bǔ)單一圖像的不足、獲取更豐富的圖像細(xì)節(jié)[1-2]。

在可見光與紅外圖像融合中，根據(jù)數(shù)據(jù)信息處理的抽象程度以及提取圖像的不同層次可以將圖像的融合方法分為三種類型，分別為基于像素級、特征級和決策級的圖像融合，我們研究的重點放在像素級的多尺度融合方法上[3-6]。一個有效的像素級融合方法應(yīng)該將大部分有用的內(nèi)容從源圖像轉(zhuǎn)移到合成圖像，同時在融合過程中盡量減少信息丟失、避免引入偽影。為了實現(xiàn)這些要求，在多尺度分解中首先選用合適的分解變換策略如離散小波變換（Discrete Wavelet Transform，DWT）、曲波變換（Curvelet Transform，CVT）等對圖像進(jìn)行分解。但利用DWT和CVT分解過程中有可能產(chǎn)生偽影、邊緣容易產(chǎn)生光暈反應(yīng)等缺點，因此邊緣保持技術(shù)應(yīng)運而生。常用的保邊濾波器有引導(dǎo)濾波（Guided ?ltering，GF）、滾動方向濾波（Rolling Guidance Filter，RGF）及交叉雙邊濾波器（Cross Bilateral Filter，CBF）等，這些濾波器將源圖像分解為基礎(chǔ)層和連續(xù)的細(xì)節(jié)層，同時保留邊緣信息。文獻(xiàn)[7]中所提方法（Multi-Scale Guided Fusion，MGF）利用引導(dǎo)濾波分解、構(gòu)造顯著性權(quán)重，最終所得良好的融合效果，這也證實選引導(dǎo)濾波作為分解工具有一定的優(yōu)勢。

大多數(shù)多尺度融合方法需要兩個以上的分解級別才能獲得令人滿意的結(jié)果，因此需要更多的內(nèi)存和計算時間；有些濾波器的分解過程實現(xiàn)起來很復(fù)雜，因此較為耗時。為了減少融合時間并降低多尺度融合算法的復(fù)雜性，有些研究者提出了兩尺度分解的圖像融合方法。在文獻(xiàn)[8]中提出利用引導(dǎo)濾波將圖像兩尺度分解并構(gòu)造加權(quán)平均系數(shù)，充分利用空間一致性進(jìn)行基礎(chǔ)層和細(xì)節(jié)層的融合。該方法（Guided ?ltering Fusion，GFF）在結(jié)構(gòu)相似度上表現(xiàn)的非常好，但是整個融合過程耗時較長。為了實現(xiàn)快速融合，文獻(xiàn)[9]中提出了一種基于顯著性檢測的兩尺度的融合方法（Two-Scale Image Fusion，TSF）。該方法利用平均濾波器實現(xiàn)兩尺度分解，再基于顯著性的權(quán)重圖構(gòu)造算法將源圖像的有用和互補(bǔ)信息集成到融合圖像中。TSF方法耗時少、速度快，但是顯著性權(quán)重構(gòu)造不利于圖像特征的保留，融合圖像視覺效果相較其他方法還待提高。通過研究以上方法的優(yōu)、缺點發(fā)現(xiàn)，為了降低算法的復(fù)雜性同時兼顧融合圖像保邊性的考慮，本文采用基于引導(dǎo)濾波的二尺度分解融合方法。

通過上面的分析，二尺度分解中構(gòu)造顯著性權(quán)重作為融合規(guī)則有缺點，所以必須考慮適合二尺度分解方法的融合規(guī)則。有些研究將稀疏表示[10]（Sparse Representation，SR）和脈沖耦合神經(jīng)網(wǎng)絡(luò)[11]（Pulse Coupled Neural Network，PCNN）作為融合規(guī)則引入圖像融合的研究中。但基于稀疏的方法會導(dǎo)致融合圖像細(xì)節(jié)過于平滑，圖像局部模糊不清；基于PCNN的融合方法耗時太長，不適用于某些快速融合圖像應(yīng)用的要求。分析二尺度分解特點，由于分解的層數(shù)少，導(dǎo)致在細(xì)節(jié)層中仍然包含一些細(xì)節(jié)信息和能量，所以二尺度分解方法的融合規(guī)則必須解決細(xì)節(jié)層的能量保護(hù)和細(xì)節(jié)提取。

綜上，本文提出一種基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合的方法。首先使用引導(dǎo)濾波進(jìn)行二尺度分解，在細(xì)節(jié)層的融合中需采用能量保護(hù)和細(xì)節(jié)提取的融合規(guī)則，最后將融合后的基礎(chǔ)層和細(xì)節(jié)層合并成融合圖像。同時，我們之前針對可見光圖像增強(qiáng)的研究也取得很好的效果，在本文中也會利用引導(dǎo)濾波先對可見光圖像進(jìn)行增強(qiáng)的預(yù)處理，以期取得好的融合效果。

1 相關(guān)理論

1.1 引導(dǎo)濾波

引導(dǎo)濾波是一種基于局部線性模型的邊緣保護(hù)的濾波器。

假設(shè)引導(dǎo)圖像為，為通過線性變換所將輸出圖像，由文獻(xiàn)[8]給出的線性變換的如下：

式中：是以像素為中心的一個正方形鄰域窗，本文取3×3。利用式(2)來計算式(1)中的系數(shù)(c,d)：

式中：表示待處理圖像；是為了防止c過大的正則化參數(shù)。

式(2)可以利用式(3)、式(4)的線性回歸求解：

d＝P－c(4)

式中：||代表的是在窗體中像素的個數(shù)；和2是圖像在內(nèi)的均值和方差；P是在內(nèi)的均值。由于像素領(lǐng)域塊之間是有重疊的，因此最后的濾波輸出是通過計算所有可能的平均值得到，如下：

1.2 基于引導(dǎo)濾波的可見光圖像增強(qiáng)

為了實現(xiàn)對可見光圖像的增強(qiáng)，采用基于引導(dǎo)濾波的高動態(tài)范圍壓縮的圖像增強(qiáng)方法[12]，標(biāo)記引導(dǎo)濾波算子為GF,(×)，則基本步驟可以表述如下（凡公式中涉及的參數(shù)可參閱文獻(xiàn)[12]）：

首先，引導(dǎo)濾波作用于可見光圖像，得到基礎(chǔ)層b＝GF,()。

增強(qiáng)后的圖像為：

1.3 基于引導(dǎo)濾波的二尺度分解

設(shè)EIV是經(jīng)過增強(qiáng)的可見光圖像，R代表紅外圖像。首先，引導(dǎo)濾波分解EIV和R，分別得到各自的基礎(chǔ)層：

接下來，通過公式(12)、(13)獲得細(xì)節(jié)層，完成二尺度分解：

基于引導(dǎo)濾波二尺度分解的融合框架如圖1所示。

圖1 基于引導(dǎo)濾波二尺度分解的圖像融合流程

2 分解后的信息合成

2.1 基礎(chǔ)層的信息合成

由于基礎(chǔ)層系數(shù)的絕對值越大，對應(yīng)的特征越顯著，所以在基礎(chǔ)層上采用傳統(tǒng)的“絕對值最大”融合規(guī)則進(jìn)行合并。

首先給出絕對值最大的系數(shù)：

那么在基礎(chǔ)層的復(fù)合信息利用下式進(jìn)行計算：

2.2 細(xì)節(jié)層的信息合成

由于二尺度分解特點，細(xì)節(jié)層在分解后包含一些細(xì)節(jié)和能量，根據(jù)文獻(xiàn)[13]提出一種基于能量保護(hù)和細(xì)節(jié)提取的細(xì)節(jié)層融合規(guī)則。

首先給出一個活躍水平的測量方法記為WLE，定義如下：

這里＝{EIV,R}，是半徑為，(2＋1)×(2＋1)的帶權(quán)矩陣。中的每一個元素的值被設(shè)定為22r－，是4領(lǐng)域元素到中心的距離。

為了從源圖像中完全提取細(xì)節(jié)信息，本文使用測量活躍水平的方法記為WSEML，定義如下：

EML如下定義：

細(xì)節(jié)層的最終活躍水平測量被定義為WLE和WSEML的乘法，因此細(xì)節(jié)層融合的規(guī)則如下：

最后，圖像的融合結(jié)果通過＝B＋D完成。

3 實驗結(jié)果與分析

3.1 測試集與相比較的融合方法

為了驗證本文所提出方法的融合效果，選取如圖2所給的9組紅外與可見光圖像的測試集。本文所提的方法記為E_GF_TSF，與本文所提方法進(jìn)行比較的融合方法有TSF[9]，GFF[8]和MGF[7]方法，以及SR方法（DWT＋SR）和PCNN方法（CVT＋PCNN）。

圖2 測試集

3.2 圖像質(zhì)量評價指標(biāo)

為了更加客觀地評價融合的效果，本文采用6種常見的融合指標(biāo)對各種融合方法進(jìn)行客觀質(zhì)量評價。6種融合指標(biāo)分別為度量圖像中信息豐富程度的熵（Entropy, EN）；度量融合圖像中結(jié)構(gòu)信息的標(biāo)準(zhǔn)偏差（Standard deviation, SD）；度量保留源圖像信息量的互信息（Mutual information, MI）[14]；基于結(jié)構(gòu)相似度的梯度評價指標(biāo)G[15]和度量圖像的感知顯著性（Perceptual Saliency, PS）[12]，最后一個是運行時間。在評價指標(biāo)中除了時間，這些評價指標(biāo)的數(shù)值越大說明融合效果越好。

3.3 融合后的主觀評價

鑒于文章篇幅的限制，從9組融合結(jié)果中給出其中兩組的融合結(jié)果進(jìn)行比較，如圖3所示。

通過觀察融合結(jié)果可以發(fā)現(xiàn)每種方法之間的融合差異。在SR方法的融合結(jié)果中，第一組圖像中白板比較虛，第二組的圖像明顯有“塊效應(yīng)”，這是稀疏表示方法的弱點?；赑CNN方法的兩個融合結(jié)果，無論是第一組的樹葉還是第二組整個圖像都很模糊，對比度較低，視覺效果比較差。GFF方法和TSF方法的融合結(jié)果較為相似，比前兩種方法效果要好一些，但是也有一些缺憾，兩種方法的融合結(jié)果丟失了一些紋理信息。如果將第一組圖像放大后會發(fā)現(xiàn)樹葉比較的模糊；第二組的圖像中，兩種方法的融合結(jié)果遠(yuǎn)處的樹木輪廓還是比較模糊，層次不清。MGF方法整個融合效果還是不錯的，但是在細(xì)節(jié)信息和灰度層次感的處理上還是有待提高。圖4是我們將第一組融合圖像的部分進(jìn)行了放大，從圖4中我們看出MGF方法融合的結(jié)果中白板周圍的物體不清晰；利用MGF融合方法所得第二組圖像中遠(yuǎn)處的樹木顯得比較“黑”，不太好辨識。本文所提E_GF_TSF方法的融合效果整體不錯，在MGF方法中所出現(xiàn)的弊端，在本文的方法中都得到了改善。整個圖像的對比度好，物體的辨識度高、細(xì)節(jié)信息處理較好，輪廓也比較分明。

圖3 兩組實驗結(jié)果對比

圖4 第一組實驗結(jié)果放大圖

通過實驗結(jié)果展示和分析可以看出，本文所提出的方法無論是在邊緣保護(hù)還是在對比度上都有很好的表現(xiàn)，所得融合圖像適應(yīng)人類視覺感知，有很好的視覺效果。

3.4 融合后的客觀評價

表1給出的是9組圖像經(jīng)不同融合方法后所得客觀評價指標(biāo)的結(jié)果，由于篇幅原因，表中的數(shù)據(jù)是9組圖像在同一方法、同一指標(biāo)取平均值。通過觀察6種客觀評價指標(biāo)的測試數(shù)據(jù)（加粗表明結(jié)果最好），本文所提出的方法在其中4項的評價指標(biāo)中都是最好的，一項指標(biāo)在6種方法中是排在第二。所以可以看出本文給出的融合方法在邊緣保護(hù)、細(xì)節(jié)的融合處理以及視覺效果等方面都有不錯的表現(xiàn)。TSF方法和MGF方法主要是融合快速為特點，所以這兩種方法在時間上表現(xiàn)最好。本文所提方法由于還要進(jìn)行可見光圖像的預(yù)處理，因此較為耗時，但時間指標(biāo)上與其他方法還有較大差距，這也是今后需要提高的地方。

表1 用SR 、PCNN、GFF、TSF、MGF和E_GF_TSF方法融合得到的指標(biāo)

3.5 關(guān)于圖像增強(qiáng)的討論

在之前的研究中發(fā)現(xiàn)對可見光圖像進(jìn)行增強(qiáng)后，融合所得的結(jié)果無論是視覺效果還是評價指標(biāo)方面表現(xiàn)都非常好，如果使用其他方法將可見光圖像增強(qiáng)，是否就會比本文所提方法效果更好？帶著疑問，我們進(jìn)行了圖像融合實驗來對圖像增強(qiáng)情況討論。由于SR方法和PCNN方法融合效果一般，GFF方法耗時太長，因此下面就TSF、MGF和本文所提方法進(jìn)行增強(qiáng)的討論。圖5是3種方法可見光圖像未增強(qiáng)和增強(qiáng)后的效果圖對比。

在圖5中，GF_TSF是本文所提方法，只是沒有進(jìn)行可見光圖像增強(qiáng)。而E_TSF、E_MGF分別代表將可見光圖像增強(qiáng)后再使用TSF和MGF兩個方法融合。通過效果圖可以發(fā)現(xiàn)，在未增強(qiáng)的3張效果圖中MGF和GF_TSF方法的融合效果較好，MGF方法人物等比較清晰，而GF_TSF方法路面的輪廓清晰。在增強(qiáng)后的3張圖像中，是我們所提方法的融合效果好一些，尤其是路面上的細(xì)節(jié)都處理的很好。因此，我們所提方法無論是細(xì)節(jié)還是對比度上都比較適合人類的視覺感官。

表2是6種方法融合后的數(shù)據(jù)，和表1的數(shù)據(jù)處理方法一樣，都是測試集中9組源圖像評價指標(biāo)的平均值。從表2中可以看出，可見光圖像在未增強(qiáng)前，GF_TSF方法的數(shù)據(jù)整體最好，同樣增強(qiáng)后也是我們所提方法的數(shù)據(jù)最好。

圖5 不同融合方法的效果對比

表2 用TSF, MGF, GF_TSF, E_TSF, E_MGF和E_GF_TSF方法融合得到的指標(biāo)

因此，我們從主觀評價和評價指標(biāo)的數(shù)據(jù)分析都可以發(fā)現(xiàn)，我們所提方法無論是在可見光圖像未增強(qiáng)前還是增強(qiáng)后在融合效果和數(shù)據(jù)表現(xiàn)都比較好，增強(qiáng)后提高了對比度，使得融合后的效果更好。所以，對可見光圖像的增強(qiáng)是可以提升融合效果，但是最終決定融合結(jié)果的還是要看融合方法是否有效。

4 結(jié)論

本文提出了一種基于引導(dǎo)濾波二尺度分解的紅外與可見光圖像融合的方法，首先利用引導(dǎo)濾波對可見光圖像增強(qiáng)，以便在融合圖像中獲取更好的視覺效果。然后，再次利用引導(dǎo)濾波對處理后的源圖像進(jìn)行二尺度分解得到基礎(chǔ)層和細(xì)節(jié)層，在細(xì)節(jié)層選用細(xì)節(jié)提取和能量保護(hù)的融合規(guī)則。最后，將融合后的基礎(chǔ)層和細(xì)節(jié)層進(jìn)行融合得到融合結(jié)果。主觀評價與客觀評價也證實了本文方法的有效性。

[1] ZHANG H, HAN X, ZHANG R. Multimodal image fusion method based on guided filter[J]., 2022, 36(1): 2254003-1-2254003-16.

[2] MA J, MA Y, LI C. Infrared and image fusion methods and applications: a survey[J]., 2019, 45: 153-178.

[3] ZHANG H, MA X, TIAN Y S. An Image fusion method based on curvelet transform and guided filter enhancement[J/OL]., 2020, https://doi.org/10.1155/2020/9821715.

[4] 張慧, 常莉紅, 馬旭, 等. 一種基于曲波變換與引導(dǎo)濾波增強(qiáng)的圖像融合方法[J]. 吉林大學(xué)學(xué)報: 理學(xué)版, 2020, 58(1): 113-119. ZHANG H, CHANG L H, MA X. An image fusion method based on curvelet transform and guide filtering enhancement[J]: Science Edition, 2020, 58(1): 113-119.

[5] 張慧, 常莉紅. 基于方向?qū)Рㄔ鰪?qiáng)的紅外與可見光圖像融合[J]. 激光與紅外, 2020, 50(4): 508-512. ZHANG H, CHANG L H. Infrared and visible image fusion based on guided filtering enhancement[J]., 2020, 50(4): 508-512.

[6] 張慧, 韓新寧, 韓惠麗. 基于滾動引導(dǎo)濾波的紅外與可見光圖像融合[J]. 紅外技術(shù), 2022, 44(6): 598-603.ZHANG Hui, HAN Xinning, HAN Huili. Infrared and visible image fusion based on a rolling guidance filter[J]., 2022, 44(6): 598-603.

[7] Bavirisetti, XIAO D P, ZHAO G H, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]., 2019, 38: 5576-5605.

[8] LI S T, KANG X D, HU J W. Image fusion with guided ?ltering[J]., 2013, 22(7): 2864 2875.

[9] Durga Prasad Bavirisetti, Ravindra Dhuli. Two-scale image fusion of visible and infrared images using saliency detection[J]., 2016, 76: 52-64.

[10] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[11] Ganasala Padadma, Kumar Vinod. Feature-motivated simplified adaptive PCNN-based medical image fusion algorithm in NSST domain[J]., 2016, 29(1): 73-85.

[12] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]., 2016, 55(23): 6480-6489.

[13] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

[14] Xydeas C S, Petrovi? V. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

[15] Hossny M, Nahavandi S, Creighton D. Comments on ‘Information measure for performance of image fusion’[J]., 2008, 44(18): 1066-1067.

Two-scale Image Fusion of Visible and Infrared Images Based on Guided Filtering Decomposition

ZHANG Hui1，HAN Xinning2，HAN Huili1，CHANG Lihong1

(1. School of Mathematics and Computer Science, Ningxia Normal University, Guyuan 756000, China;2. School of Resources Environment and Life sciences, Ningxia Normal University, Guyuan 756000, China)

We proposed atwo-scale image-fusion method for infrared and visible light image fusion based on guided filtering to reduce the complexity of multi-scale decomposition fusion algorithms and improve the adaptability of fused images to human visual characteristics. First, we used guided filtering to enhance the visible image and decomposed the source images into base and detail layers using guided filtering. In the fusion rules of the detail layer, we adopted the energy protection methods and detail extraction. Finally, we combined the fused detail layer with the base layer to synthesize the fusion results. The experimental results showed that the proposed method improves the visual effect, detail processing, and edge protection. We discussed the impact of visible image enhancement on fusion methods from experimental data. Enhancement can improve the fusion effect, but the fusion method is key in image fusion.

two scale decomposition of guided filtering, image enhancement, energy protection

TN911.7

A

1001-8891(2023)11-1216-07

2023-05-19；

2023-06-21.

張慧（1977-），女，寧夏固原人，碩士，教授，主要研究方向為圖形圖像處理。E-mail：2466437143@qq.com。

寧夏自然科學(xué)基金（2022AAC03331；2021AAC03028；2022AAC03300；2023AAC03330）。