朱亞輝, 高邐

(1.陜西學(xué)前師范學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院, 陜西 西安 710100; 2.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院, 陜西 西安 710072)

紅外與可見(jiàn)光圖像融合技術(shù)在軍事和民用領(lǐng)域中占有重要地位，如目標(biāo)檢測(cè)、監(jiān)控和情報(bào)收集等。其中，可見(jiàn)光圖像含有豐富的細(xì)節(jié)和紋理信息，但易受光線和天氣等因素的影響，難以捕捉到場(chǎng)景內(nèi)的所有信息；紅外圖像是經(jīng)紅外成像傳感器獲得的圖像，易丟失許多空間細(xì)節(jié)信息，視覺(jué)感受不自然。紅外與可見(jiàn)光圖像融合的目的是充分利用紅外圖像和可見(jiàn)光圖像的優(yōu)勢(shì)，生成1幅含有豐富細(xì)節(jié)背景和熱目標(biāo)的高質(zhì)量圖像，便于計(jì)算機(jī)視覺(jué)任務(wù)[1]。

由于成像機(jī)理的不同，同一空間位置的紅外和可見(jiàn)光圖像的像素強(qiáng)度往往差異很大，為了得到具有良好視覺(jué)感知的融合結(jié)果，引入多尺度變換(multi-scale transformation,MST)。常用的MST方法包括：Curvelet、Contourlet、DTCWT等，雖然這些方法能將圖像分解為低頻子帶和高頻子帶，但它們不具有平移不變性，容易造成偽Gibbs現(xiàn)象。非下采樣contourlet(non-subsampled contourlet transform,NSCT)的變換過(guò)程包括非下采樣結(jié)構(gòu)濾波和非下采樣方向?yàn)V波，且它們相互獨(dú)立，這樣能更好地保持圖像的邊緣信息和輪廓結(jié)構(gòu)，增強(qiáng)圖像的平移不變性。因此，許多學(xué)者將NSCT變換應(yīng)用到紅外與可見(jiàn)光圖像融合中，取得了較好的融合效果[2-5]。例如，Wu等[2]充分利用了NSCT靈活的多分辨率和多向性，以及PCNN的全局耦合和脈沖同步激勵(lì)特性，有效地將紅外圖像的特征與可見(jiàn)光圖像的紋理細(xì)節(jié)相結(jié)合；Wang等[3]從NSCT分解的近似子帶中提取亮/暗圖像特征，將提取的亮圖像特征和暗圖像特征與基于不同尺度局部能量圖的最大選擇規(guī)則進(jìn)行融合。Zhao等[4]通過(guò)灰度能量差異性提取紅外圖像中的目標(biāo)特征，再應(yīng)用NSCT對(duì)紅外圖像和可見(jiàn)光圖像進(jìn)行高低頻的分解，將灰度能量差異圖作為融合權(quán)重對(duì)紅外圖像和可見(jiàn)光圖像的低頻部分進(jìn)行融合,對(duì)于高頻部分采用加權(quán)方差的規(guī)則進(jìn)行融合；Zhang等[5]采用NSCT將源圖像分解為低頻子帶和高頻子帶，分別采用能量和與直覺(jué)模糊熵作為低頻子帶和高頻子帶的融合規(guī)則。

雖然NSCT變換增強(qiáng)了圖像的平移不變性，但在融合過(guò)程中未考慮空間一致性，容易引起亮度失真。隨著機(jī)器學(xué)習(xí)的發(fā)展，稀疏表示具有良好的去噪能力和空間一致性等特征，因此基于稀疏表示的圖像融合方法已成為主流方法之一。其中，潛在低秩表示(latent low-rank representation,LatLRR)具有較好的空間一致性，已有學(xué)者將其應(yīng)用到紅外與可見(jiàn)光圖像融合中，并取得較好的融合結(jié)果[6-8]。

通過(guò)上述分析可知，NSCT變換能較好地保留了圖像的邊緣信息和輪廓結(jié)構(gòu)，LatLRR方法能更好地平滑圖像紋理信息。因此，本文綜合NSCT和LatLRR的優(yōu)勢(shì)，提出了基于復(fù)合分解與直覺(jué)模糊集的紅外與可見(jiàn)光圖像融合方法。實(shí)驗(yàn)結(jié)果表明，本文融合方法在主、客觀評(píng)價(jià)中都有較好的性能。

1 相關(guān)理論

1.1 圖像NSCT分解

NSCT是由非下采樣方向?yàn)V波器組(NSDFB)和非下采樣塔式結(jié)構(gòu)濾波器組(NSP)組成的，圖1給出了NSCT變換的結(jié)構(gòu)圖。

圖1 NSCT變換三級(jí)分解結(jié)構(gòu)圖

1.2 潛在低秩表示方法

LatLRR方法[9-10]具有較好的空間一致性，能有效提取原始數(shù)據(jù)中的全局結(jié)構(gòu)和局部結(jié)構(gòu)。它將圖像分解為基礎(chǔ)子帶與顯著子帶，其表達(dá)式為

X=BX+DX+N

式中：X是輸入圖像；B是基礎(chǔ)系數(shù)；D是顯著系數(shù)；XB,DX分別表示基礎(chǔ)子帶和顯著子帶；N表示稀疏噪聲。

將LatLRR問(wèn)題進(jìn)行最優(yōu)化求解,其表達(dá)式為

2 融合方法及融合規(guī)則

設(shè)紅外圖像I與可見(jiàn)光圖像V融合后的圖像為F,圖2給出了本文融合算法。

圖2 本文融合方法的流程圖

其中,①表示NSCT分解方法;②表示LatLRR方法;③表示絕對(duì)值最大運(yùn)算;④表示以視覺(jué)顯著度為權(quán)重的加權(quán)融合規(guī)則;⑤表示基于局部梯度幅值和拉普拉斯能量和的直覺(jué)模糊數(shù),并以直覺(jué)模糊熵的最大選擇為融合規(guī)則;⑥表示NSCT的逆運(yùn)算。

2.1 低頻子帶的融合規(guī)則

低頻子帶包含了大量的圖像基本信息,通過(guò)分解低頻子帶挖掘更多的有用信息,能有效進(jìn)行低頻子帶融合。本文通過(guò)LatLRR方法提取低頻子帶的基礎(chǔ)信息和顯著信息。圖3是 “Camp”紅外低頻圖像的LatLRR分解示意圖,其中λ=0.8。

圖3 低頻圖層的LatLRR分解圖示

由圖3可以看出:采用LatLRR方法將低頻子帶分解為低頻基礎(chǔ)子帶和低頻顯著子帶,挖掘更多子帶信息,其不足之處在于紅外目標(biāo)不顯著。

視覺(jué)顯著圖(visual saliency map,VSM)[11]不僅能夠捕捉顯著性目標(biāo)、突出顯著性區(qū)域,而且能夠忽略噪聲。因此,計(jì)算低頻顯著子帶的視覺(jué)顯著圖,即

(1)

圖4 低頻顯著子帶和視覺(jué)顯著圖

由圖4可以看出,經(jīng)V獲得的視覺(jué)顯著圖特征提取效果更好,紅外目標(biāo)更加突出。

融合圖像的低頻子帶LF融合公式為

2.2 高頻子帶融合規(guī)則

直覺(jué)模糊集(intuitionistic fuzzy set,IFS)可以表示“非此非彼”的中立狀態(tài),在刻畫(huà)事物的模糊性時(shí)更準(zhǔn)確。如何確定融合區(qū)域隸屬于紅外區(qū)域還是可見(jiàn)光區(qū)域顯然是一個(gè)模糊問(wèn)題。因此,許多學(xué)者將直覺(jué)模糊集應(yīng)用到圖像融合方法中,并取得了較好的融合效果[5,12-14]。但這些融合方法均是通過(guò)圖像灰度值定義隸屬度,而高頻子帶主要描述源圖像的結(jié)構(gòu)信息和紋理信息。

因此,結(jié)合局部梯度幅值En和拉普拉斯能量和Em,本文定義高頻子帶的隸屬度μ、非隸屬度vIFS和猶豫度πIFS分別為

式中

η(i,j)=Em(i,j)+En(i,j)

這里

L(i,j)=|2H(i,j)-H(i-1,j)-H(i+1,j)|+

|2H(i,j)-H(i,j-1)-H(i,j+1)|+

En(i,j)=max{G0,G45,G90,G135,G180,G225,G270,G315}

式中,H(i,j)表示源圖像的高頻子帶。

模糊熵是模糊集合論中的一個(gè)重要概念。模糊熵越大,模糊集包含的信息量越多。其局部模糊熵描述如下

融合圖像的高頻子帶HF融合公式為

式中：HI,HV分別表示紅外源圖像和可見(jiàn)光源圖像的高頻子帶;EI,EV分別表示紅外和可見(jiàn)光源圖像的局部模糊熵。

3 實(shí)驗(yàn)及結(jié)果分析

在本節(jié)中,通過(guò)主、客觀評(píng)價(jià)多組融合圖像的效果,分析本文融合方法的有效性。其中,5組紅外與可見(jiàn)光源圖像對(duì)分別是“Road”、“Camp”、“Kaptein”、“UNcamp”和“Leaves”,它們均來(lái)自于TNO Image Fusion Dataset;采用的融合方法包括:Curvelet、DTCWT、LatLRR[6]、GCF[15]和本文方法。其中,Curvelet和DTCWT分別采用5層和4層分解,DTCWT濾波器參數(shù)為“l(fā)egall”、“qshift-06”; LatLRR方法中設(shè)置參數(shù)α=0.8;本文融合方法的參數(shù)設(shè)置為:NSCT分解級(jí)數(shù)為4級(jí),濾波器參數(shù)為‘pyrexc’和‘vk’,分解方向數(shù)為[2 3 3 4];圖像塊大小為3×3;α=0.8,λ=10。多種方法的融合結(jié)果如圖5所示,其中,圖5a)為紅外源圖像、圖5b)為可見(jiàn)光源圖像、圖5c)～5g)分別為Curvelet、DTCWT、LatLRR、GCF和本文融合方法。

圖5 源圖像及多種融合結(jié)果示意圖(從左至右依次為Road,Camp,Kaptein,UNcamp,Leaves)

3.1 融合圖像的主觀評(píng)價(jià)

對(duì)比Road組融合結(jié)果可以看出，基于Curvelet方法和DTCWT方法的融合結(jié)果存在明顯的光暈，例如行人、紅綠燈等，整體視覺(jué)效果較模糊；在基于LatLRR的融合結(jié)果中，行人存在很明顯的偽Gibbs效應(yīng)，整幅圖像較為模糊；在基于GCF的融合結(jié)果中，能夠看出廣告牌上的字較為模糊；基于本文方法的融合結(jié)果不僅保留了可見(jiàn)光場(chǎng)景的細(xì)節(jié)信息，且行人、車(chē)輛、紅綠燈等紅外熱目標(biāo)邊緣清晰，接近自然場(chǎng)景。

對(duì)比Camp組的融合結(jié)果可以看出，在基于Curvelet、DTCWT和LatLRR方法的融合結(jié)果中，左右兩側(cè)樹(shù)的辨識(shí)度相對(duì)較低，尤其是基于LatLRR融合結(jié)果中樹(shù)的紋理幾乎看不清；在基于Curvelet和DTCWT的融合結(jié)果中，行人周?chē)嬖诿黠@光暈；雖然基于GCF的融合結(jié)果優(yōu)于上述3種融合方法，但該方法保留了過(guò)多紅外信息，房頂處可見(jiàn)光信息幾乎全部丟失。基于本文融合方法的融合結(jié)果較好地保留了可見(jiàn)光圖像的豐富場(chǎng)景信息，也突出了紅外圖像的熱目標(biāo)信息，尤其能較明顯地看出樹(shù)杈的紋理信息。

本文融合方法的優(yōu)勢(shì)同樣體現(xiàn)在Kaptein組、Uncamp組和Leaves組的融合圖像中。例如，在Kaptein組中，本文方法較好地保留了地面、左側(cè)草叢等紋理信息，行人周?chē)鷽](méi)有明顯的光暈現(xiàn)象；在Uncamp組中，在本文方法的融合結(jié)果中，“人”在結(jié)果圖像中對(duì)比度適中，燈光等背景細(xì)節(jié)信息清晰；在Leaves組中，基于本文方法融合結(jié)果的目標(biāo)板更接近紅外源圖像，目標(biāo)板與周?chē)?xì)節(jié)信息更豐富?？傮w來(lái)說(shuō)，在視覺(jué)質(zhì)量上，本文融合方法較優(yōu)于其他圖像融合方法。

3.2 融合圖像的客觀評(píng)價(jià)

為了更加客觀地評(píng)價(jià)本文融合方法的有效性，應(yīng)用邊緣信息傳遞量QAB|F[16]、結(jié)構(gòu)相似度SSIM[17]、特征相似度FSIM[18]和歸一化互信息NMI[19]分別從邊緣信息保留程度、結(jié)構(gòu)相似度、特征相似度和信息相關(guān)程度評(píng)價(jià)融合圖像質(zhì)量。這4個(gè)指標(biāo)數(shù)值越大，則融合效果越好。圖6給出了多組融合圖像的客觀評(píng)價(jià)指標(biāo)值。

圖6 多組融合圖像客觀評(píng)價(jià)指標(biāo)值

由圖6可知，對(duì)于QAB|F,本文融合方法均優(yōu)于其他融合方法(見(jiàn)圖6a))，表明本文融合方法很好地保留更多的邊緣信息；對(duì)于SSIM，本文融合方法在Road、Camp、Uncamp和Leaves圖像融合效果評(píng)價(jià)值最優(yōu)，但在Kaptein融合圖像上本文融合方法次之(見(jiàn)圖6b))，表明了本文融合方法較好地保持源圖像的結(jié)構(gòu)信息；對(duì)于FSIM，本文融合方法在Road、Camp、Kaptein和Uncamp融合圖像上對(duì)應(yīng)的評(píng)價(jià)值最優(yōu)，而在Leaves融合圖像上本文融合方法次之(見(jiàn)圖6c))，表明了本文融合方法較好地保持源圖像的特征信息；對(duì)于NMI，本文融合方法均優(yōu)于其他融合方法(見(jiàn)圖6d))，表明了本文融合方法很好地保留源圖像的信息。從整體上，本文融合方法較其他融合方法具有更好的融合效果。

4 結(jié) 論

本文結(jié)合NSCT和LatLRR的優(yōu)勢(shì)，將源圖像分解為低頻基礎(chǔ)子帶、低頻顯著子帶和高頻子帶，分別以加權(quán)和法、絕對(duì)值最大法、基于局部梯度幅值和區(qū)域拉普拉斯能量和的直覺(jué)模糊熵選擇最大為融合規(guī)則，最后通過(guò)NSCT逆變換獲得融合圖像。通過(guò)對(duì)多組融合結(jié)果的主、客觀評(píng)價(jià)，分析了本文方法是切實(shí)可行的，能夠得到具有豐富信息且較為清晰的融合圖像，在視覺(jué)質(zhì)量和客觀評(píng)價(jià)方法較優(yōu)于其他圖像融合方法。