摘要：針對(duì)NSCT變換在紅外與可見(jiàn)光圖像融合中的不足，提出一種基于NSCT和動(dòng)靜態(tài)聯(lián)合濾波的紅外與可見(jiàn)光圖像融合方法。首先，采用NSCT將源圖像分解為低頻子帶和高頻子帶，進(jìn)一步采用動(dòng)靜態(tài)聯(lián)合濾波將低頻子帶分解為低頻紋理分量和低頻結(jié)構(gòu)分量；再分別針對(duì)低頻紋理分量、低頻結(jié)構(gòu)分量和高頻子帶的特征，采用不同的融合規(guī)則。其中，低頻紋理分量以改進(jìn)拉普拉斯能量和取大為權(quán)重圖，低頻結(jié)構(gòu)分量以絕對(duì)值最大和引導(dǎo)濾波為融合規(guī)則，高頻子帶融合以梯度和改進(jìn)拉普拉斯能量和綜合信息作為權(quán)重。最后，通過(guò)NSCT逆變換得到融合圖像。通過(guò)對(duì)比多組融合圖像主、客觀評(píng)價(jià)結(jié)果表明，該方法能有效保留邊緣信息，保留較多的源圖像信息，在視覺(jué)質(zhì)量和客觀評(píng)價(jià)方法優(yōu)于其他圖像融合方法。

關(guān)鍵詞：圖像融合；紅外與可見(jiàn)光圖像；動(dòng)靜態(tài)聯(lián)合濾波；非下采樣輪廓波變換

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）08-0001-04

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

紅外與可見(jiàn)光圖像融合技術(shù)在軍事和民用領(lǐng)域中占有重要地位，如目標(biāo)檢測(cè)、監(jiān)控和情報(bào)收集等[1]。 NSCT能更好地保持圖像的邊緣信息和輪廓結(jié)構(gòu)，增強(qiáng)圖像的平移不變性。因此，許多學(xué)者[2-4]將NSCT變換應(yīng)用到紅外與可見(jiàn)光圖像融合中，取得了較好的融合效果。例如，朱亞輝等人[2]用NSCT將源圖像分解為低頻子帶和高頻子帶，進(jìn)一步采用潛在低秩表示模型將低頻子帶分解為低頻基礎(chǔ)子帶和低頻顯著子帶。劉佳等人[3]采用NSCT對(duì)源圖像進(jìn)行分解，利用改進(jìn)的引導(dǎo)濾波算法提取紅外圖像顯著性圖自適應(yīng)加權(quán)融合低頻圖像，對(duì)高頻圖像使用基于馬氏距離加權(quán)的拉普拉斯能量和取大融合。Selvaraj等人[4]應(yīng)用NSCT和滾動(dòng)濾波器將源圖像分解為基本層、細(xì)節(jié)層和高頻系數(shù)。

雖然NSCT變換能夠增強(qiáng)圖像的平移不變性，但也導(dǎo)致低頻子帶分解不充分。為了解決這類問(wèn)題，對(duì)低頻子帶采用濾波器再次分解，常用的濾波器分為靜態(tài)濾波器和動(dòng)態(tài)濾波器兩大類。其中，靜態(tài)濾波器能夠保持邊緣結(jié)構(gòu)信息，但邊緣區(qū)域容易出現(xiàn)光暈現(xiàn)象；動(dòng)態(tài)濾波雖然從正則化輸入圖像得到權(quán)重函數(shù)，但忽略靜態(tài)引導(dǎo)圖像可用的附加信息[5]。參考文獻(xiàn)[6]給出了動(dòng)靜態(tài)聯(lián)合濾波（Static and Dynamic joint Filters， SDF） ，它既克服了單一引導(dǎo)結(jié)構(gòu)出現(xiàn)的邊緣結(jié)構(gòu)模糊，也解決粗糙邊緣邊界定位差的問(wèn)題，具有良好的邊緣保持特性。

通過(guò)上述分析可知，本文綜合NSCT和SDF的優(yōu)勢(shì)，提出了基于NSCT和SDF的紅外與可見(jiàn)光圖像融合方法。其中，NSCT將原圖像分解為低頻子帶和高頻子帶；再采用SDF將低頻子帶分解為結(jié)構(gòu)分量和紋理分量；根據(jù)高頻子帶、低頻結(jié)構(gòu)分量、低頻紋理分量的特征，采用不同的融合策略；最后將低頻結(jié)構(gòu)分量和低頻紋理分量疊加，再與高頻子帶進(jìn)行逆NSCT，得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明，本文融合方法在主、客觀評(píng)價(jià)中都有較好的性能。

1 動(dòng)靜態(tài)聯(lián)合濾波

動(dòng)靜態(tài)聯(lián)合濾波（Static and Dynamic joint Filters，SDF）是以加權(quán)最小二乘濾波為目標(biāo)函數(shù)，輔以滾動(dòng)導(dǎo)向?yàn)V波算法的迭代模型。

令[f]為輸入圖像，[g]為靜態(tài)引導(dǎo)圖像，[u]為輸出圖像，SDF的目標(biāo)函數(shù)定義為：

[εu=iciui-fi2+λΩu，g]? ? ?（1）

其中[λ]和[ci]分別為正則化參數(shù)和輸入圖像調(diào)節(jié)參數(shù)，[Ωu，g]為正則項(xiàng)，即

[Ωu，g=i，j∈N?ugi-gj?vui-ujφvui-uj]

[?ux=e-μx2;φvx=1-?vxv]

其中，[μ，v]分別控制靜態(tài)引導(dǎo)和動(dòng)態(tài)引導(dǎo)的平滑帶寬。

記靜態(tài)引導(dǎo)圖像權(quán)重矩陣[Wμ]和動(dòng)態(tài)引導(dǎo)的權(quán)重矩陣[Wv]分別為：

[Wμ=φμgi-gjN×N，Wv=ψμui-ujN×N]

令[W=Wμ×Wv，C=diagc1，…，cN]。公式（1） 可表示為

[εu=u-fTCu-f+λvWμ-W]

采用最小最優(yōu)算法，則有

[?kuk=εuk?ku≥εu]

經(jīng)過(guò)迭代可以求出[u]。

2 融合框架及融合規(guī)則

設(shè)圖像[I，V]分別為紅外圖像和可見(jiàn)光圖像，圖像[F]為融合圖像，圖1給出了基于NSCT和SDF的紅外與可見(jiàn)光圖像融合方法流程圖。

其中，HI和LI分別表示紅外圖像的高頻子帶和低頻子帶；HV和LV分別表示可見(jiàn)光圖像的高頻子帶和低頻子帶；LI_T和LI_S分別表示紅外圖像的低頻紋理分量和低頻結(jié)構(gòu)分量；LV_T和LV_S分別表示可見(jiàn)光圖像的低頻紋理分量和低頻結(jié)構(gòu)分量；LF_T和LF_S分別表示融合后圖像的低頻紋理分量和低頻結(jié)構(gòu)分量；LF和HF分別表示融合后的低頻子帶和高頻子帶。

2.1 低頻子帶融合規(guī)則

低頻子帶包含了圖像的大部分信息，其存在分解不完全問(wèn)題。因此，針對(duì)低頻子帶的融合，本文采用SDF將低頻子帶分解為低頻結(jié)構(gòu)分量和低頻紋理分量，并根據(jù)分量的特征，采用不同的融合規(guī)則。圖2給出了低頻子帶的分解結(jié)果圖。

由圖2可以看出：在低頻紋理分量中，目標(biāo)等關(guān)鍵區(qū)域能夠有效區(qū)分；在結(jié)構(gòu)分量中，結(jié)構(gòu)能夠被有效識(shí)別出來(lái)，且具有良好的邊緣保持性。

1）? 低頻紋理分量的融合規(guī)則。由圖2 （a1）和（b1）可以看出，低頻結(jié)構(gòu)分量可以看作不同的聚焦區(qū)域，改進(jìn)的拉普拉斯能量和既反映圖像邊緣特征信息，也能反映圖像的聚焦特性。因此，本文采用改進(jìn)的拉普拉斯能量和取大作為權(quán)重，具體融合公式如下。

[LF_T=w?LI_T+1-w?LV_T]? ? ?（2）

其中，權(quán)重[w=maxELI_T，ELV_T]；[ELI_T，ELV_T]分別表示紅外低頻紋理分量和可見(jiàn)光低頻紋理分量的拉普拉斯能量和，拉普拉斯能量和公式如下。

[EHi，j=1mnp=-mmq=-nnIML（i+p，j+q）]

[IMLi，j=2Hi，j-Hi-1，j-Hi+1，j+2Hi，j-Hi，j-1-Hi，j+1+122Hi，j-Hi-1，j-1-Hi+1，j+1+122Hi，j-Hi+1，j-1-Hi-1，j+1]

2） 低頻結(jié)構(gòu)分量的融合規(guī)則。通過(guò)對(duì)比圖2（a2）和（b2）可以看出，這兩幅低頻結(jié)構(gòu)分量是互補(bǔ)的，因此選擇灰度值最大作為權(quán)重，即：

[w1=1，LI_S>LV_S0，LI_SLI_S0，LV_S

為將邊緣對(duì)齊，對(duì)權(quán)重圖[w1，w2]進(jìn)行引導(dǎo)濾波[7]，獲得新的權(quán)重圖：

[w1=guide_filterw1，LI_S，r，ε;w2=guide_filterw2，LV_S，r，ε]

其中，函數(shù)[guide_filter?]為引導(dǎo)濾波。

融合后的低頻結(jié)構(gòu)分量為：

[LF_S=w1?LI_S+w2?LV_S]? ? （3）

3） 低頻融合子帶的獲取。應(yīng)用公式（2）和公式（3）分別獲得低頻紋理分量和低頻結(jié)構(gòu)分量，將其疊加獲得低頻融合子帶，即

[LF=LF_T+LF_S]

由圖3可以看出，低頻融合規(guī)則能夠有效識(shí)別紅外目標(biāo)，且對(duì)可見(jiàn)光圖像的低頻信息保留完整，具有良好的邊緣保持性。這說(shuō)明本融合方法的低頻融合規(guī)則設(shè)計(jì)合理。

2.2 高頻子帶融合規(guī)則

高頻子帶主要描述源圖像的邊緣信息，改進(jìn)拉普拉斯能量和及局部梯度幅值均可有效描述圖像的邊緣信息。因此，本文結(jié)合改進(jìn)拉普拉斯能量和[E]及局部梯度幅值[G]作為決策圖，獲得融合后的高頻子帶：

[HF=wHI+1-wHV]

其中，[HI，HV]分別表示紅外圖像和可見(jiàn)光圖像的高頻子帶；權(quán)重

[w=1，ENTI>ENTV0，ENTI

這里，[ENTI=GI+EI，ENTV=GV+EV]分別表示紅外高頻子帶和可見(jiàn)光高頻子帶的綜合信息，[GI，GV]分別為紅外高頻子帶和可見(jiàn)光高頻子帶的梯度幅值；[EI，EV]分別為紅外高頻子帶和可見(jiàn)光高頻子帶的拉普拉斯能量和。

3 實(shí)驗(yàn)及結(jié)果分析

在本節(jié)中，通過(guò)主、客觀評(píng)價(jià)多組融合圖像的效果。采用的融合方法包括：VSM_WLS[8]、MLGCF[9]、NSCT[2]和本文方法。本文融合方法的參數(shù)設(shè)置為：在NSCT分解中，級(jí)數(shù)為4級(jí)，濾波器參數(shù)為'pyrexc'和'vk'，分解方向數(shù)為[2 3 3 4]；在SDF中，參數(shù)[μ=50，v=400，K=10，][λ=0.8×103]。多種方法的融合結(jié)果見(jiàn)圖4所示。圖中，每行分別是以Road、Camp、Kaptein、UNcamp為例。

3.1 融合圖像的主觀評(píng)價(jià)

對(duì)比“Road”融合結(jié)果可以看出，在VSM_WLS和MLGCF融合結(jié)果中，道路上的折痕與周圍整個(gè)路面的對(duì)比度不是很明顯；在基于NSCT方法融合結(jié)果中，第一輛汽車的尾燈模糊不清；基于本文方法的融合結(jié)果不僅保留了可見(jiàn)光場(chǎng)景的細(xì)節(jié)信息，且行人、車輛、紅綠燈紅外熱目標(biāo)邊緣清晰，接近自然場(chǎng)景。

對(duì)比“Camp”的融合結(jié)果可以看出：在基于NSCT方法融合結(jié)果中，目標(biāo)人物存在明顯光暈；雖然在基于VSM_WLS和基于MLGCF方法的融合結(jié)果能夠看出樹(shù)的紋理，但目標(biāo)人物周圍的柵欄比較模糊?；诒疚娜诤戏椒ǖ娜诤辖Y(jié)果較好地保留了可見(jiàn)光圖像的豐富場(chǎng)景信息，也突出了紅外圖像的熱目標(biāo)信息，尤其能較明顯地看出樹(shù)杈的紋理信息。

本文融合方法的優(yōu)勢(shì)同樣體現(xiàn)在“Kaptein”“UNcamp”中。因此，本文融合方法在視覺(jué)質(zhì)量上較優(yōu)于其他圖像融合方法。

3.2 融合圖像的客觀評(píng)價(jià)

為了更加客觀地評(píng)價(jià)本文融合方法的有效性，應(yīng)用QAB[10]、SSIM[11]、FSIM[12]、Entropy和MI評(píng)價(jià)融合圖像質(zhì)量，表1為多組融合圖像的客觀評(píng)價(jià)指標(biāo)值。

由表1可知：1） 對(duì)于評(píng)價(jià)指標(biāo)MI和Entropy，本文融合方法均優(yōu)于其他融合方法，表明本文融合方法包含豐富的信息；2） 對(duì)于評(píng)價(jià)指標(biāo)QAB，本文融合方法在“Road”和“UNcamp”圖像融合效果評(píng)價(jià)值最優(yōu)，而在其他三組融合圖像上，本文融合方法次之，但與最優(yōu)評(píng)價(jià)值比較接近，表明了本文融合方法較好地保留了源圖像的特征；3） 對(duì)于評(píng)價(jià)指標(biāo)SSIM，本文融合方法在“Road”“Kaptein”“UNcamp”的融合效果評(píng)價(jià)值最優(yōu)，表明本文融合方法較好地保留了源圖像的結(jié)構(gòu)相似性；4） 對(duì)于評(píng)價(jià)指標(biāo)FSIM，本文融合方法在“Road”和“Camp”上評(píng)價(jià)值最優(yōu)，在其他2組融合圖像的評(píng)價(jià)值位于第二?？傊瑥恼w上，本文融合方法具有較好的融合結(jié)果。

4 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)基于多尺度變換的紅外與可見(jiàn)光圖像融合算法的不足，提出一種基于NSCT和SDF的紅外與可見(jiàn)光圖像融合方法。該方法采用NSCT和SDF將源圖像分解為低頻紋理分量、低頻結(jié)構(gòu)分量和高頻子帶；再根據(jù)各個(gè)子帶的特征，分別采用改進(jìn)拉普拉斯能量和取大、絕對(duì)值最大和引導(dǎo)濾波、梯度和改進(jìn)拉普拉斯能量作為融合規(guī)則。最后，通過(guò)NSCT逆變換得到融合圖像。通過(guò)對(duì)多組融合結(jié)果的主、客觀評(píng)價(jià)，分析了本文方法是切實(shí)可行的，能夠得到具有豐富信息且較為清晰的融合圖像，在視覺(jué)質(zhì)量和客觀評(píng)價(jià)方法較優(yōu)于其他圖像融。

參考文獻(xiàn)：

[1] 張亞峰，耿則勛，王軍敏.基于擴(kuò)展相位拉伸變換的多聚焦圖像融合算法[J].激光與光電子學(xué)進(jìn)展，2020，57（22）：111-120.

[2] 朱亞輝，高邐.基于復(fù)合分解與直覺(jué)模糊集的紅外與可見(jiàn)光圖像融合方法[J].西北工業(yè)大學(xué)學(xué)報(bào)，2021，39（4）：930-936.

[3] 劉佳，李登峰.馬氏距離與引導(dǎo)濾波加權(quán)的紅外與可見(jiàn)光圖像融合[J].紅外技術(shù)，2021，43（2）：162-169.

[4] SELVARAJ A，GANESAN P.Infrared and visible image fusion using multi-scale NSCT and rolling-guidance filter[J].IET Image Processing，2020，14（16）：4210-4219.

[5] 田小平，鄭娜，吳成茂.多尺度動(dòng)靜態(tài)聯(lián)合彩色圖像濾波處理[J].西安郵電大學(xué)學(xué)報(bào)，2017，22（3）：39-43.

[6] HAM B，CHO M，PONCE J.Robust guided image filtering using nonconvex potentials[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（1）：192-207.

[7] 鞏稼民，吳藝杰，劉芳，等.基于NSST域結(jié)合SCM與引導(dǎo)濾波的圖像融合[J].光電子·激光，2021，32（7）：719-727.

[8] MA J Y，CHEN C，LI C，et al.Infrared and visible image fusion via gradient transfer and total variation minimization[J].Information Fusion，2016，31（C）：100-109.

[9] TAN W，ZHOU H X，SONG J，et al.Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J].Applied Optics，2019，58（12）：3064-3073.

[10] XYDEAS C S，PETROVIC? V.Objective image fusion performance measure[J].Electronics Letters，2000，36（4）：308.

[11] MA K D，ZENG K，WANG Z.Perceptual quality assessment for multi-exposure image fusion[J].IEEE Transactions on Image Processing，2015，24（11）：3345-3356.

[12] ZHANG L，ZHANG L，MOU X Q，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

【通聯(lián)編輯：王 力】