楊艷春,閆 巖,王 可

(蘭州交通大學(xué)電子與信息工程學(xué)院,甘肅 蘭州 730070)

1 引 言

圖像融合的目的是為了將不同的圖像融合在一起生成更適于人類觀察的圖像,從而方便得到兩幅圖像中的有用信息[1]。紅外圖像中,物體熱輻射與其對應(yīng)在圖像中的灰度值成正比關(guān)系,熱輻射越高的物體,灰度值也就越高,能夠較好地突出發(fā)熱目標(biāo);可見光圖像中,主要突出反射亮度較高的物體,具有豐富紋理細(xì)節(jié)信息,符合人類視覺感知[2-6]。將紅外與可見光圖像進(jìn)行融合之后的圖像既能夠凸顯紅外圖像中的熱輻射較高的目標(biāo),也能夠保持可見光圖像中的紋理細(xì)節(jié)以及邊緣信息,提高在視覺效果不佳時(shí)(如降水、大霧或有遮擋情況下)對發(fā)熱目標(biāo)的檢測和識別的能力[7-10]。目前在電力設(shè)備監(jiān)測、軍事目標(biāo)識別與自動駕駛等領(lǐng)域有廣泛應(yīng)用[11]。

目前大多數(shù)學(xué)者廣泛認(rèn)可的圖像融合方法可分為兩類:傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。多尺度變換方法是傳統(tǒng)方法的一個(gè)重要分支,其中包括有金字塔變換方法[12]、小波變換[13]以及非下采樣剪切波變換(Non-Subsampled Shearlrt Transform,NSST)[14]等。近年來,由于深度學(xué)習(xí)具有較強(qiáng)的非線性特征學(xué)習(xí)和復(fù)雜特征表達(dá)能力,因此在圖像融合領(lǐng)域中得到了深入研究。Ma等人[15]利用兩個(gè)神經(jīng)網(wǎng)絡(luò)同步訓(xùn)練的模式,訓(xùn)練出的生成器負(fù)責(zé)向紅外圖像中添加紋理細(xì)節(jié),鑒別器負(fù)責(zé)識別生成器生成的融合圖像,有效提升了融合質(zhì)量;Zhang等人[16]提出了將多個(gè)融合問題轉(zhuǎn)化為梯度和強(qiáng)度信息的提取和重建,并據(jù)此設(shè)計(jì)了一種由強(qiáng)度項(xiàng)和梯度項(xiàng)組成的通用形式的損失函數(shù)的一種壓縮分解網(wǎng)絡(luò)(SDNet);Tang等人[17]提出了一種基于光照感知的漸進(jìn)式圖像融合網(wǎng)絡(luò)(PIAFusion),自適應(yīng)地保持顯著目標(biāo)的強(qiáng)度分布,并保留背景中的紋理信息;Xu等人[18]提出的U2Fusion通過特征提取和信息測量,自動估計(jì)相應(yīng)源圖像的重要性,并提出自適應(yīng)信息保留度。目前利用深度學(xué)習(xí)工具進(jìn)行融合取得了較好的融合效果,然而紅外與可見光圖像在融合過程中存在不能很好地結(jié)合尺度信息,出現(xiàn)紅外目標(biāo)不夠突出,邊緣模糊及細(xì)節(jié)丟失等問題。

為了解決上述問題,由于快速引導(dǎo)濾波的邊緣保護(hù)特性,在平滑操作中不丟失基礎(chǔ)層的邊緣信息,本文提出了一種基于FGF和VGGNet19的紅外與可見光圖像融合方法。首先,利用快速引導(dǎo)濾波器有效實(shí)現(xiàn)源圖像雙尺度分解。其次,利用VGGNet19網(wǎng)絡(luò)得到初步融合權(quán)重圖,采用最大類間方差法提取前景與背景,進(jìn)行二值化。然后,對得到的二值圖像再次使用快速引導(dǎo)濾波器得到最終融合權(quán)重矩陣,利用加權(quán)融合重建各層的融合圖像以獲得初步融合圖像。最后,重構(gòu)再利用FGF和增強(qiáng)處理實(shí)現(xiàn)圖像最終融合。通過對比實(shí)驗(yàn),本文方法能夠有效保留顯著熱目標(biāo),邊緣細(xì)節(jié)清晰,融合圖像具有較好的可視性。

2 相關(guān)工作介紹

2.1 快速引導(dǎo)濾波器

快速引導(dǎo)濾波器(Fast Guided Filter,FGF)[19]是一種保邊平滑濾波器,是對引導(dǎo)濾波器(Guided Filter)[20]的一個(gè)改進(jìn)方法。

引導(dǎo)濾波器的局部線性關(guān)系為:

qi=ajIi+bj,?i∈ωj

(1)

在公式(1)、(2)和(3)中Ii,pi與qi分別為引導(dǎo)圖像、輸入圖像與輸出圖像對應(yīng)像素點(diǎn)的值。對給定的輸入圖像p,使p與q之間的重構(gòu)誤差最小,因此可將aj與bj的求解問題轉(zhuǎn)化為如下兩式:

(2)

(3)

其中,λj與?j是濾波窗口j中的均值與方差;δ為防止當(dāng)輸入圖像p和引導(dǎo)圖像I相同時(shí)導(dǎo)致aj=1的正則化參數(shù)。

快速引導(dǎo)濾波進(jìn)行了針對性的改進(jìn),在(1)式中aj和bj為兩個(gè)系數(shù)圖,q中的邊緣與結(jié)構(gòu)主要通過引導(dǎo)圖像I給出,但引導(dǎo)濾波器的主要計(jì)算是針對aj和bj,不需要以全分辨率執(zhí)行。所以對輸入圖像p和引導(dǎo)圖像I進(jìn)行下采樣(最近鄰下采樣或雙線性下采樣)。所有的盒式濾波器都在低分辨率圖像上執(zhí)行,這是引導(dǎo)濾波器的核心計(jì)算過程。在得到最終輸出圖像之前,將兩個(gè)系數(shù)圖aj和bj雙線性上采樣到原始大小。輸出q仍然由qi=ajIi+bj計(jì)算。在最后一步中,圖像I是未經(jīng)下采樣的全分辨率引導(dǎo)圖像,所以引導(dǎo)圖像分辨率沒有變化。

2.2 VGGNet19網(wǎng)絡(luò)框架

因?yàn)椴捎酶嗟姆蔷€性層可以增加網(wǎng)絡(luò)深度,有效提取圖像特征,而且生成的參數(shù)還相對較少,提高網(wǎng)絡(luò)性能,所以VGGNet19網(wǎng)絡(luò)設(shè)計(jì)利用多個(gè)小卷積核代替單一大卷積核[21],在相同感受野的前提下,效果得到提升。更深一層的神經(jīng)網(wǎng)絡(luò)都會利用上一層輸出的參數(shù)來更加精確的提取特征,所以,可以認(rèn)為每層神經(jīng)網(wǎng)絡(luò)都是由多個(gè)不同卷積核所組成的多個(gè)局部特征提取器。與此同時(shí),也驗(yàn)證了在一定程度上,增加網(wǎng)絡(luò)卷積層的數(shù)量,可以提升網(wǎng)絡(luò)最終的特征提取結(jié)果。VGGNet19網(wǎng)絡(luò)包括16個(gè)卷積層與3個(gè)全連接層,其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 VGGNet19網(wǎng)絡(luò)結(jié)構(gòu)模型圖

3 本文方法

本文提出的方法如圖2所示,具體步驟如下:

圖2 所提方法處理流程

(1)將紅外圖像I1與可見光圖像I2通過使用快速引導(dǎo)濾波器,得到相應(yīng)的基礎(chǔ)圖B1和B2與細(xì)節(jié)圖D1和D2;

(2)將I1、I2輸入到VGGNet19預(yù)訓(xùn)練模型中得到得分圖S,將S經(jīng)過最大類間方差法(OTSU),分割圖像前景與背景并且二值化,得到特征圖T,基礎(chǔ)層與細(xì)節(jié)層權(quán)重圖(WB1,WB2)、(WD1,WD2)由FGF得到;

(3)將得到B和D求和,再經(jīng)過快速引導(dǎo)濾波和圖像增強(qiáng)得到融合圖像。

3.1 雙尺度分解

均值濾波通常作為傳統(tǒng)的雙尺度圖像分解方法,但是由于均值濾波器的特性,它不僅消除了高頻噪聲,還使圖像邊緣模糊,同時(shí),細(xì)節(jié)層的邊緣會產(chǎn)生冗余信息,這對融合結(jié)果產(chǎn)生不利影響。因此,本文使用快速引導(dǎo)濾波器對源圖像進(jìn)行雙尺度分解?？焖僖龑?dǎo)濾波器具有更好的邊緣保護(hù)特性,可以在不模糊圖像邊緣的情況下獲得圖像的基礎(chǔ)層,通過源圖像減去基礎(chǔ)層得到細(xì)節(jié)層不會生成冗余信息,并且比傳統(tǒng)方法更真實(shí)地恢復(fù)圖像細(xì)節(jié)。通過快速引導(dǎo)濾波得到的可表示為:

Bn=FGF(In,pn,r,eps,s)

(4)

其中,In為引導(dǎo)圖像,pn為輸入圖像,將源圖像作為引導(dǎo)圖像此處引導(dǎo)圖像與輸入圖像為同一組紅外與可見光圖像,r為FGF窗口尺寸,eps為正則化參數(shù),s為子采樣率。細(xì)節(jié)層Dn如下所示:

Dn=In-Bn

(5)

3.2 特征圖與權(quán)重矩陣

VGGNet19網(wǎng)絡(luò)最大的特點(diǎn)是源圖像通過預(yù)訓(xùn)練框架得到的特征圖能夠充分提取圖像特征,得到有用的部分,去除冗余數(shù)據(jù)與偽影,使得后續(xù)得到的融合權(quán)重圖更加精準(zhǔn)。因此將紅外圖像I1與可見光圖像I2輸入VGGNet19預(yù)訓(xùn)練框架,可表示為:

(6)

(7)

(8)

其中,r確定平均算子窗口大小。在本文的方法中r=1。

(9)

(10)

(11)

選取得到的四個(gè)初始得分圖中每個(gè)對應(yīng)像素點(diǎn)的最大值,輸出有且僅有一個(gè)的最終得分圖S:

S(x,y)=max[Si(x,y)|i∈{1,2,3,4}]

(12)

最大類間方差法[22](OTSU)其自適應(yīng)性強(qiáng),在任何前景與背景灰度值差異較大的情況下都可以取得很好的效果,且計(jì)算簡單。

將得分圖S通過OTSU算法得到初始特征圖T′,可由式(13)表示:

T′(x,y)=OTSU[S(x,y)]

(13)

然后將T′進(jìn)行二值分割,得到最終特征圖T可由式(14)表示:

(14)

由于快速引導(dǎo)濾波器可以通過引導(dǎo)圖像中的邊緣部分將輸入圖像的邊緣進(jìn)行平滑,去除噪聲與冗余,因此利用FGF對特征圖T進(jìn)行處理,特征圖T分別由In與Dn作為引導(dǎo)圖像,基礎(chǔ)層和細(xì)節(jié)層的融合權(quán)重圖(WB1,WB2)、(WD1,WD2)是利用FGF后得到,可由式(15)、(16)表示:

WBn=FGF(In,T,r,eps,s)

(15)

WDn=FGF(Dn,T,r,eps,s)

(16)

3.3 圖像重構(gòu)

對應(yīng)于紅外和可見光雙尺度分解的基礎(chǔ)層Bn和細(xì)節(jié)層Dn乘以相應(yīng)的權(quán)重矩陣,以獲得基礎(chǔ)層和細(xì)節(jié)層的融合圖像,其公式如下:

B=WB1×B1+WB2×B2

(17)

D=WD1×D1+WD2×D2

(18)

初步的融合圖像FC如下:

FC=B+D

(19)

初步融合圖像FC只保留了紅外和可見光圖像的細(xì)節(jié)部分,而并沒有突出融合圖像中的紅外目標(biāo)。為了得到細(xì)節(jié)豐富、目標(biāo)突出的融合圖像,利用快速引導(dǎo)濾波具有圖像增強(qiáng)的特性,對初步融合圖像進(jìn)行增強(qiáng):

G=FGF(FC,FC,r,eps,s)

(20)

F=(FC-G).*n+G

(21)

其中,G是以FC作為引導(dǎo)圖像與輸入圖像的快速引導(dǎo)濾波結(jié)果;n是增強(qiáng)系數(shù);F是最終融合圖像,其中n=2。由于快速引導(dǎo)濾波對灰度值變化較大的邊緣區(qū)域作用明顯,所以通過式(21)增強(qiáng)圖像邊緣信息,然后將其疊加在G上以達(dá)到提取圖像邊緣信息的目的。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)說明

本文紅外與可見光源圖像選取公共數(shù)據(jù)集TNO中的42組圖像進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)仿真平臺采用AMD Ryzen 7 5800H CPU,RTX 3060 GPU編程環(huán)境為Matlab2016a。為驗(yàn)證算法性能,本文選定6組已配準(zhǔn)圖像進(jìn)行實(shí)驗(yàn)分析,其大小分別為768×576 pixel、596×328 pixel、620×450 pixel、768×576 pixel、768×576 pixel、632×496 pixel。本文快速引導(dǎo)濾波器參數(shù)為r=32;eps=0.3;s=4。

本文使用在ImageNet上訓(xùn)練的固定VGGNet19來提取特征。硬件平臺為四個(gè)NVIDIA Titan Black GPU,訓(xùn)練時(shí)網(wǎng)絡(luò)設(shè)置Batch size為32,學(xué)習(xí)率為10-3,訓(xùn)練輪數(shù)為150次,訓(xùn)練過程在Caffe框架上實(shí)現(xiàn)。

為驗(yàn)證本文算法的可行性與有效性,將本文方法的融合結(jié)果與引導(dǎo)濾波[20](GFF)、梯度濾波[23](GRFF)、壓縮分解網(wǎng)絡(luò)[16](SDNet)、基于融合網(wǎng)絡(luò)體系結(jié)構(gòu)[24](RFN-Nest)和漸進(jìn)式圖像融合網(wǎng)絡(luò)[17](PIAFusion)五種方法進(jìn)行了對比。

4.2 主觀評價(jià)

通過6組實(shí)驗(yàn)的融合結(jié)果如圖3所示,Img 1中GRFF右上角出現(xiàn)偽影,GFF與RFN-Nest中樹木與背景分界輪廓不清,SDNet中樹木與房屋輪廓不夠清晰,PIAFusion包含一定紋理信息,但是不如OURS豐富,本文算法中樹木細(xì)節(jié)清晰,紅外人像突出;Img 2中GRFF紅外目標(biāo)不夠清晰,GFF中樹木上方出現(xiàn)白色偽影,SDNet中森林與天空分界輪廓不清,RFN-Nest與PIAFusion紅外圖像部分細(xì)節(jié)丟失,本文算法中紅外目標(biāo)輪廓與森林細(xì)節(jié)明顯;Img 3中GRFF中人物部分沒有體現(xiàn)紅外細(xì)節(jié),GFF中背景出現(xiàn)紋理缺失,SDNet中手持雨傘與背景無法區(qū)分,RFN-Nest人物雖顯示出來,但是并不十分明顯,PIAFusion中人物亮度過高,易于背景混淆,本文算法既突出了紅外圖像中的人物,又使得可見光圖像中的雨傘與背景相區(qū)分;Img4中GRFF中道路護(hù)欄部分細(xì)節(jié)缺失,GFFusion中道路中間的細(xì)節(jié)無法區(qū)分,SDNet與RFN-Nest左下角紋理細(xì)節(jié)缺失,PIAFusion中道路與兩旁輪廓不清,不易區(qū)分,本文算法對紅外圖像中的護(hù)欄部分細(xì)節(jié)提取完整,可見光圖像中的草木紋理信息最為凸顯;Img 5中GRFF中水域部分紅外細(xì)節(jié)缺失,GFFusion圖像水域中細(xì)節(jié)無法區(qū)分,SDNet圖像大部分紋理信息缺失,RFN-Nest圖像中心水草部分細(xì)節(jié)明顯缺失,PIAFusion圖像左側(cè)明顯缺失紅外圖像細(xì)節(jié),本文算法將可見光圖像中的水草紋理信息完整保留,同時(shí)與紅外圖像中的水域相區(qū)分;Img 6中GRFF圖像右上角紅外細(xì)節(jié)缺失,GFFusion圖像人物邊緣出現(xiàn)偽影,SDNet圖像整體偏暗,細(xì)節(jié)區(qū)分不清,RFN-Nest圖像紅綠燈無法分辨,PIAFusion圖像燈牌細(xì)節(jié)無法區(qū)分,本文算法既保留了可見光圖像中的發(fā)光目標(biāo),如燈牌、路燈等,又突出了紅外圖像中的車輛、行人等發(fā)熱目標(biāo)。在所選取的六組圖像中,本文方法能夠有效保留顯著熱目標(biāo),細(xì)節(jié)邊緣清晰,更加符合人類視覺感知,均優(yōu)于其他五種對比方法。

圖3 實(shí)驗(yàn)結(jié)果圖

圖4 指標(biāo)對比折線圖

4.3 客觀評價(jià)指標(biāo)

為驗(yàn)證算法性能及圖像融合質(zhì)量,本文采用反映灰度變化情況的SF(空間頻率)、衡量圖像清晰程度的AG(平均梯度)、體現(xiàn)圖像失真和噪聲的PSNR(峰值信噪比)、評估融合圖像和源圖像差異的MSE(均方誤差)和表達(dá)圖像所含信息的EN(信息熵)進(jìn)行客觀地分析[25]。其中只有MSE為數(shù)值越小,說明圖像融合質(zhì)量越好,其余五個(gè)指標(biāo)均為數(shù)值越大,融合質(zhì)量越好。

6組實(shí)驗(yàn)圖像的客觀評價(jià)指標(biāo)值如表1所示。通過實(shí)驗(yàn)指標(biāo)值可以看出本文方法的Img4在本文選定的五種指標(biāo)中都處于最優(yōu),其余五幅圖像絕大多數(shù)指標(biāo)處于最優(yōu)。表明本文方法所獲得的融合圖像包含的圖像細(xì)節(jié)更豐富,融合質(zhì)量更好與源圖像差異程度小。綜上,本文方法具有更優(yōu)的融合效果。

表1 客觀評價(jià)指標(biāo)對比

5 結(jié) 語

本文提出了一種基于快速引導(dǎo)濾波器與VGGNet19的紅外與可見光圖像融合算法,不僅能夠在進(jìn)行圖像平滑的過程中保留邊緣信息,而且有效提取目標(biāo)信息,使得融合圖像同時(shí)具有豐富的紋理細(xì)節(jié)和較高的目標(biāo)識別能力。利用FGF算法進(jìn)行圖像的雙尺度變換,有效保留邊緣細(xì)節(jié);使用VGGNet19提取得分圖,再使用OTSU算法進(jìn)行前景與背景分割,進(jìn)一步提取紅外目標(biāo);再次利用FGF算法得到融合權(quán)重圖;最后將初步融合圖像經(jīng)過FGF進(jìn)行圖像平滑和圖像增強(qiáng)得到最終的融合圖像。與其他方法相比,本文方法得到的融合圖像具有更豐富的紋理細(xì)節(jié)與突出的紅外目標(biāo),更加符合人類視覺感知,是一種有效的融合方法。為了更好地提取源圖像特征信息,今后將進(jìn)一步改進(jìn)網(wǎng)絡(luò)的具體架構(gòu)、融合規(guī)則、嘗試使用其他深度學(xué)習(xí)網(wǎng)絡(luò),來提高融合效果。