常莉紅,馮福存

(寧夏師范學(xué)院數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,寧夏 固原 756000)

1 引 言

紅外視覺技術(shù)是一種常用的夜視背景增強(qiáng)技術(shù)。紅外傳感器通過采集物體表面的熱輻射來獲取圖像信息,它能探測(cè)到人眼在黑暗或者遮擋條件下看不見得物體,而夜間可見光圖像通常是用低感光度的CCD相機(jī)拍攝,它能提供更適合人類感知的細(xì)節(jié)和背景物體,因此紅外視覺技術(shù)常見的一種技術(shù)就是將兩種不同類型的電磁光譜圖像信息進(jìn)行融合,獲得增強(qiáng)的、更全面的場(chǎng)景信息。

近十幾年來,人們提出了多種像素級(jí)的紅外線與可見光圖像的融合方法。其中基于多尺度的圖像融合算法是最流行的。經(jīng)典的多尺度圖像融合方法主要包括金字塔分解方法,小波變換方法,非下采樣輪廓波方法(nonsubsampled contourlet transform,NSCT)[1],脊波變換方法(curvelet transforms,CVT)[2]等。大多數(shù)基于多尺度變換的方法的目標(biāo)是在分解過程中獲得更多的定向子帶或在各種尺度上獲得更好的細(xì)節(jié)選擇。然而,由于紅外線圖像和可見光圖像之間的亮度響應(yīng)存在著較大的差異,當(dāng)圖像之間的細(xì)節(jié)不互補(bǔ)時(shí),它們可能會(huì)降低可見光圖像中的原始感知信息。因此后續(xù)的研究工作中出現(xiàn)了許多改進(jìn)的方法,比較優(yōu)秀的方法有:①基于學(xué)習(xí)的方法,比如基于脈沖神經(jīng)網(wǎng)絡(luò)的方法[3]和卷積神經(jīng)網(wǎng)絡(luò)的方法(convolutional neural network,CNN)[4]等。②基于微分方程的方法,其代表方法有基于四階微分方程的方法(the fourth order partial differential equations,FPDE)[5]、基于各向異性擴(kuò)散方程的融合方法(anisotropic diusion and principal component analysis based fusion,ADPCA)[6]等。③基于保邊濾波器的方法,比如基于方向?yàn)V波的方法(the guided image filter,GF)[7]、高斯濾波融合方法[8]等。這些方法都取得了很好的效果。

在弱光條件下獲得的細(xì)節(jié)通常在可見光圖像中以極低的對(duì)比度顯示,在這種情況下,直接將它與紅外線圖像進(jìn)行融合,并不能改善融合結(jié)果中的夜視場(chǎng)景,圖1(a)所示,融合結(jié)果夜視場(chǎng)景的細(xì)節(jié)信息模糊不清,圖1(b)是對(duì)可見光圖像進(jìn)行增強(qiáng)后融合的結(jié)果,對(duì)比很明顯,融合結(jié)果中包含了更多的場(chǎng)景細(xì)節(jié)信息。因此,增強(qiáng)可見光圖像的對(duì)比度是十分有必要的。另外,紅外線與可見光圖像融合的結(jié)果中還要很好的保留紅外線圖像中的顯著性目標(biāo),這樣在后續(xù)的應(yīng)用中才是有意義的。

圖1 融合結(jié)果Fig.1 Fusion results

因此本文基于上述目的,提出了一種基于內(nèi)容增強(qiáng)的可見光圖像和紅外線圖像的融合方法。與現(xiàn)有的融合方法相比,該方法的主要貢獻(xiàn)是利用L1-L0約束的新型圖像分解方法[9]對(duì)圖像進(jìn)行信息表示,并利用二尺度下的細(xì)節(jié)層與源圖像的差建立視覺顯著性權(quán)重圖對(duì)細(xì)節(jié)層進(jìn)行融合,利用加權(quán)局部能量的融合規(guī)則對(duì)基礎(chǔ)層進(jìn)行融合,在融合結(jié)果中保留了豐富的場(chǎng)景細(xì)節(jié)和顯著性目標(biāo)信息。

2 相關(guān)理論

2.1 方向?qū)Рǖ膱D像增強(qiáng)方法

迄今為止,人們提出了各種增強(qiáng)算法,其中方向?qū)Рǖ膱D像增強(qiáng)算法[7]表現(xiàn)出了優(yōu)秀的性能,能很好的將可見光圖像中的每個(gè)弱光區(qū)域的細(xì)節(jié)增強(qiáng),以盡可能提高圖像的可見性。具體實(shí)施方法是通過對(duì)圖像成份的分解結(jié)合高動(dòng)態(tài)范圍壓縮實(shí)現(xiàn)的。

方向?qū)Рㄊ且环N局部線性模型,其輸出結(jié)果qi是引導(dǎo)圖Ii在像素k的局部窗ωk中的一個(gè)線性輸出,其數(shù)學(xué)表達(dá)式為:

(1)

(2)

其中,ε是正則化參數(shù)；pi是輸入圖。

為了方便表示,我們把(1)式中方向?qū)Р▽?duì)圖像的作用記作GFr,ε(·),其所實(shí)現(xiàn)的圖像增強(qiáng)方法可以表示如下四步:

1)利用方向?qū)Р▽?duì)圖像I進(jìn)行分解,先得到圖像的基礎(chǔ)層Ib=GFr,ε(I)。

(3)

(4)

3)利用比例因子β對(duì)基礎(chǔ)層進(jìn)行動(dòng)態(tài)范圍壓縮,然后利用因子γ恢復(fù)整體對(duì)比度:

(5)

4)最后將增強(qiáng)的圖像轉(zhuǎn)換到空間域,其結(jié)果為:

(6)

圖2給出了一組基于方向?qū)Рㄔ鰪?qiáng)方法的效果圖。圖2(a)是未增強(qiáng)的可見光圖像,光照條件比較差,很多場(chǎng)景內(nèi)容都無法清晰的看到,圖2(b)是所給算法的增強(qiáng)結(jié)果,從圖中明顯看出來,經(jīng)過該算法增強(qiáng)后,源圖像中低對(duì)比的夜視場(chǎng)景細(xì)節(jié)均顯示出來了,大大地提高了圖像的視覺效果。

圖2 可見光圖像的增強(qiáng)結(jié)果Fig.2 Enhancement results for s set of visible images

2.2 基于L1-L0約束的圖像分解方法

Zhang[9]等人通過對(duì)圖像的細(xì)節(jié)層和基礎(chǔ)層分別施加L1范數(shù)結(jié)構(gòu)先驗(yàn)和L0范數(shù)的邊緣保護(hù)先驗(yàn)提出了一種新型的圖像分解方法。一方面,由于L1范數(shù)的先驗(yàn)約束條件具有離群拒絕性,保留了基礎(chǔ)層的大梯度,使得基礎(chǔ)層是分段光滑的。另一方面用L0范數(shù)的約束條件能產(chǎn)生扁平效應(yīng)來約束細(xì)節(jié)層,這樣可以強(qiáng)制細(xì)節(jié)層的小紋理梯度為零(可以去除噪聲的影響)的同時(shí)保持了視覺上重要的邊緣信息和主結(jié)構(gòu)的紋理信息。基于L1-L0約束的圖像分解方法的數(shù)學(xué)優(yōu)化模型可以表示為:

(7)

其中,P是像素點(diǎn)；N是像素的總個(gè)數(shù)；Ip是輸入的原圖像；Bp是它的基礎(chǔ)層；(Ip-Bp)是細(xì)節(jié)層；(IP-BP)2是強(qiáng)制基礎(chǔ)層接近原圖像；|?iBP| 是對(duì)基礎(chǔ)層所施加的L1范數(shù)的約束條件；?i表示偏導(dǎo)數(shù)符號(hào),F(?i(IP-BP))指對(duì)細(xì)節(jié)層加入L0的梯度約束；λ1和λ2是兩個(gè)參數(shù)(文中取λ1=λ2=0.3)。F是如下指示函數(shù):

(8)

式(7)的優(yōu)化求解可以用交替迭代法[10]獲得。這樣對(duì)圖像I基于L1-L0的二尺度分解可以寫為:

(9)

D1=I-B1

(10)

B2=modelL1-L0(B1)

(11)

D2=B1-B2

(12)

其中,modelL1-L0(·)是指對(duì)圖像通過公式(7)的求解結(jié)果；B1是對(duì)圖像I第一次分解得到的基礎(chǔ)層；D1是第一次分解得到細(xì)節(jié)層；B2是對(duì)圖像B1再次分解得到的基礎(chǔ)層,即是圖像二尺度分解下的基礎(chǔ)層；D2是二尺度分解下的細(xì)節(jié)層。

最后通過將各個(gè)分解層疊加起來就得到了合成的圖像:

I=D1+D2+B2

(13)

圖3給出了基于L1-L0約束分解的一個(gè)例子。從圖3中我們明顯看到基礎(chǔ)層B2是大結(jié)構(gòu)信息,不同尺度下的細(xì)節(jié)層D1和D2保護(hù)了不同的紋理細(xì)節(jié)。

他也許是在說他自己，內(nèi)心不夠純凈，做久了playboy，懶得再相信真心？但是他在努力，他在努力接受她的真心。

圖3 基于L1-L0的圖像分解Fig.3 Based on L1-L0 image decomposition

3 所提的圖像融合方法

第二步:對(duì)I1和I2利用(8)～(13)式進(jìn)行L1-L0的圖像分解,分別得到不同尺度下圖像的基礎(chǔ)層和細(xì)節(jié)層;

(14)

(15)

第三步:在基礎(chǔ)層和細(xì)節(jié)層上選取不同的融合規(guī)則進(jìn)行融合。

由于基礎(chǔ)層B2i(i=1,2)集中了圖像的主要能量,因此本文選取加權(quán)局部能量(weighted local energy,WLE)[11]的融合規(guī)則,其表達(dá)式為:

(i+m,j+n)2

(16)

其中，S∈{B21,B22}；W是半徑為r,大小為(2r+1)×(2r+1)的加權(quán)矩陣,本文取r=1,有:

這樣得到融合的基礎(chǔ)層為:

(17)

細(xì)節(jié)層包含了圖像的紋理細(xì)節(jié)和噪聲,反映的是源圖像的小梯度變化,因此可以根據(jù)圖像梯度構(gòu)建細(xì)節(jié)層的梯度顯著性圖。常見的梯度算子中,Sobel算子相對(duì)來說更能平滑圖像中的噪聲,有效的保留紋理信息,降低噪聲的影響。Sobel(·)算子是如下定義的:

Sobel(D(x,y))=|(D(x+1,y-1)+2D(x+1,y)+

D(x+1,y+1)-(D(x-1,y-1)+2D(x-1,y)+D(x-1,y+1))|+

|(D(x-1,y-1)+2D(x,y+1)+D(x+1,y+1)-(D(x-1,y-1)+

2D(x,y-1)+D(x+1,y-1))|

(18)

這樣由Sobel(·)算子可以得到可見光和紅外線圖像細(xì)節(jié)層的梯度顯著性圖:

S1i(x,y)=Sobel(D1i) (i=1,2)

(19)

S2i(x,y)=Sobel(D2i) (i=1,2)

(20)

為了增加梯度對(duì)權(quán)重的影響范圍,常常用高斯濾波器對(duì)梯度顯著性進(jìn)行擴(kuò)散,得到最終的梯度顯著性圖:

ζ1i(x,y)=Gaussian(S1i,δ,r)

(21)

ζ2i(x,y)=Gaussian(S2i,δ,r)

(22)

其中,(x,y)是對(duì)應(yīng)的像素位置；Gaussian(·)是高斯濾波器；δ,r是高斯濾波器的參數(shù),文中取δ=r=5。

這樣細(xì)節(jié)層的權(quán)重可以定義為:

(23)

(24)

圖4給出了細(xì)節(jié)層D11和D21的顯著性圖ζ11(x,y)、ζ21(x,y)和權(quán)重圖ψ11(x,y)、ψ21(x,y)。

圖4 細(xì)節(jié)層、顯著性圖和權(quán)重圖Fig.4 Sources,visual saliency,weight maps

利用顯著性和權(quán)重圖得到融合的最后的細(xì)節(jié)層為:

Df(x,y)=ψ11(x,y)D11(x,y)+ψ21(x,y)·

D21(x,y)+ψ21(x,y)D12(x,y)+

ψ22(x,y)D22(x,y)

(25)

第四步:將融合的基礎(chǔ)層和細(xì)節(jié)層進(jìn)行疊加得到融合的圖像,即:

If(x,y)=Bf+Df

(26)

4 實(shí)驗(yàn)結(jié)果及分析

4.1 測(cè)試圖集

為了測(cè)試所提方法的有效性,我們選取了14對(duì)紅外線圖像和可見光圖像(如圖5所示)進(jìn)行測(cè)試,這些圖像來自:http://figshare.com/articles/TNO_Image_fusion_dataset/1008029.

圖5 測(cè)試集Fig.5 Test set

4.2 客觀評(píng)價(jià)指標(biāo)

融合結(jié)果從兩方面進(jìn)行評(píng)價(jià),一方面是主觀的視覺效果,另一方面是通過四種專門評(píng)價(jià)融合結(jié)果的客觀指標(biāo),它們是標(biāo)準(zhǔn)偏差(Standard deviation,SD),熵(Entropy,EN),互信息(Mutual information,MI)[12]和基于結(jié)構(gòu)相似度的梯度QG[13]評(píng)價(jià)指標(biāo),實(shí)驗(yàn)結(jié)果的指標(biāo)值越大說明融合效果越好。

4.3 結(jié)果與分析

為了說明所提算法的有效性,將本文所提方法分兩種情況(一種是可見光未增強(qiáng)直接與紅外線圖像進(jìn)行融合,另一種是可見光被增強(qiáng)后與紅外線圖像進(jìn)行融合,為了方便前者記作L0L1,后者記作EL0L1)與下面選取的三類5種關(guān)于紅外線與可見光圖像具有代表性的圖像融合方法作比較,它們是基于多尺度變換的融合方法(CVT[1],NSCT[2]),基于深度學(xué)習(xí)的方法(CNN[4])和基于微分方程的方法(ADPCA[5],FDEP[6])。各個(gè)方法的參數(shù)選取均是對(duì)應(yīng)參考文獻(xiàn)中給出的最優(yōu)選擇下的參數(shù)設(shè)置。

圖6和圖7給出了兩組測(cè)試圖集中前段所提各個(gè)方法的融合效果圖。

圖6 不同方法對(duì)“Nato-camp”圖的融合結(jié)果Fig.6 Fusion results of different methods for “Nato-camp” image

圖7 不同方法對(duì)“Street” 圖的融合結(jié)果Fig.7 Fusion results of different methods for “Street” image “Street” image

圖6給出了一組關(guān)于“Nato-camp”圖的融合結(jié)果圖。所給的場(chǎng)景中主要包含人、樹木、道路、柵欄和屋頂?shù)忍卣?是一組靜態(tài)目標(biāo)圖,通過本組圖像的對(duì)比,六種方法增強(qiáng)后均有效的使紅外線圖和可見光圖的信息得到互補(bǔ),視覺效果都有了很大的改善。通過山路的路畔和柵欄等清晰度的對(duì)比,FPDE圖的整體效果相對(duì)模糊點(diǎn)。本文所提方法與其他幾種方法相比較,L0L1算法保留了紅外線圖像中的高亮目標(biāo),人像比其他方法清晰,但是由于弱光圖像的影響,融合后場(chǎng)景中的許多細(xì)節(jié)信息丟失,例如從視覺上草木處出現(xiàn)了較大的黑影,柵欄也分辨不清。EL0L1算法所得圖像的亮度比前五種方法有較大的提高,柵欄和房頂上的煙囪清晰可辨,房屋前樹冠上的樹葉的輪廓更加清晰。若選取同一對(duì)比物,以圖中的人像為例,通過放大圖像的對(duì)比,發(fā)現(xiàn)ADPCA圖和FPDE圖的結(jié)果比較模糊,在局部放大的圖像中,其他幾種方法都出現(xiàn)了人物邊緣的偽影,而EL0L1的方法邊沒有這種現(xiàn)象,這表明所提方法具有很好的保邊緣作用,同時(shí)還保留了更多的場(chǎng)景細(xì)節(jié)。

圖7給出了各個(gè)方法對(duì)“Street” 圖的融合結(jié)果。圖像主要包含行人、公交站點(diǎn)、文字、汽車和信號(hào)燈等目標(biāo)特征,此圖中涉及光源目標(biāo)、動(dòng)態(tài)目標(biāo)較多,是一組動(dòng)靜結(jié)合目標(biāo)圖。通過本組圖像的對(duì)比,六種方法增強(qiáng)后均有效的使紅外線圖和可見光圖的信息得到互補(bǔ),視覺效果都有了較大的改善。通過各光源點(diǎn)的亮度、站臺(tái)上方字母、人行道上的路燈桿及行人等清晰度的對(duì)比,CNN圖的整體效果相對(duì)模糊點(diǎn)。本文所提方法與其他幾種方法相比較,L0L1圖和EL0L1圖像的亮度均比前五種方法有較大的提高,L0L1圖相對(duì)于其他五種方法清晰度沒有較大優(yōu)勢(shì),但EL0L1圖的亮度更高,圖像也更清晰,第一輛汽車頂部路燈的反射光,第二輛汽車后方的路燈桿及沒有發(fā)光的路燈泡,站臺(tái)下的一組護(hù)欄等在前六圖中基本看不到。字母標(biāo)識(shí)牌上的字母比前六圖更加清晰。若選取同一對(duì)比物,以圖中局部放大的行人為例,發(fā)現(xiàn)圖CVT和FPDE圖的結(jié)果比較模糊,其他幾種方法能較清晰的看到人頭部的輪廓,而EL0L1方法比其他方法融合結(jié)果的亮度更高一點(diǎn)。通過本文算法加強(qiáng)后EL0L1圖的效果較好,更能較多的顯示出場(chǎng)景中的細(xì)節(jié)信息。

圖8給出了本文所提各個(gè)算法在測(cè)試集(14組圖像)上每組圖像融合結(jié)果的EN、SD、MI、 QG指標(biāo)值的折線圖。每張子圖上方給出了各算法對(duì)該指標(biāo)值的平均值。從四個(gè)指標(biāo)圖像中能清楚的看到本文所提的算法L0L1和EL0L1算法相比較其他五個(gè)算法從各個(gè)指標(biāo)上取得了好的結(jié)果,特別是EL0L1更為突出,在四個(gè)指標(biāo)上均值都取得了最大,在單個(gè)的圖像上除了個(gè)別圖像上單個(gè)指標(biāo)未達(dá)到最大,大多數(shù)圖像上都取得了最大。EN指標(biāo)圖說明了算法能保留更多的源圖像中的平均信息,SD指標(biāo)說明所提算法得到融合圖像的對(duì)比度。MI是指融合圖像中從源圖像中攜帶的信息量,所提方法都取得了較好的效果。QG是指的所給方法的保邊的信息,EL0L1算法的值最大,這說明圖像中包含了更多邊緣信息,因此從視覺上圖像更加清晰,這與前面的效果圖的分析是一致的。圖7的實(shí)驗(yàn)結(jié)果也再次證實(shí)了所提方法可以取得好的結(jié)果,這也表明了所提方法能很好的從源圖像中保留更多的信息,也具有很好的保護(hù)邊緣的性能。

圖8 各個(gè)指標(biāo)值及其平均值Fig.8 Each metric and its average value

表1給出了幾種算法在測(cè)試集上運(yùn)行的平均時(shí)間(均為MATLAB語言成像,在Dell Intel?CoreTMi7-7600U CPU@2.80GHz 2.90 GHz 機(jī)上測(cè)試),本文所提算法EL0L1所用的時(shí)間相對(duì)于算法CNN少得多,相比較除CNN算法外本文所提的其他算法所用時(shí)間差距最大是1.5965 s,最小是0.6223 s,比算法L0L1多1.3164 s,運(yùn)算的時(shí)間成本不是太大,但比較圖像融合結(jié)果,無論從視覺效果還是指標(biāo)值的取值,算法EL0L1均是最好的。

表1 各個(gè)算法在測(cè)試圖集上運(yùn)行的平均時(shí)間Tab.1 Average running time of each algorithm on test set

5 總 結(jié)

本文基于L1-L0圖像分解方法提出了一種可見光圖像和紅外線圖像的融合方法,并結(jié)合方向?qū)Рǖ膱D像增強(qiáng)方法進(jìn)一步提高了融合圖像的細(xì)節(jié)信息。通過L1-L0的圖像分解方法是通過先驗(yàn)約束對(duì)圖像進(jìn)行分解的,所得的基礎(chǔ)層包含了圖像的大的結(jié)構(gòu),集中了圖像的主要能量,因此在該層采用了局部能量保護(hù)的融合規(guī)則,而細(xì)節(jié)層包含了主要紋理、噪聲和小的結(jié)構(gòu),都屬于小梯度信息,因此采用了梯度顯著性圖的融合規(guī)則。通過實(shí)驗(yàn)及其數(shù)據(jù)分析證明了所提方法,尤其是增強(qiáng)后的算法與不同類型的融合方法比較,無論從視覺上還是客觀指標(biāo)上都取得了較好的效果。