李 文,葉坤濤,李 晟

(江西理工大學(xué)理學(xué)院,江西 贛州 341000)

1 引 言

圖像融合技術(shù)表示為獲取同一場景下的多幅傳感器圖像后,在圖像配準(zhǔn)基礎(chǔ)上采取某種方法融合成一幅對場景信息描述更為清晰、準(zhǔn)確的圖像[1]。圖像融合技術(shù)中應(yīng)用較廣的一類為紅外與可見光圖像融合,紅外圖像的細節(jié)信息丟失較嚴(yán)重,對比度和空間分辨率低,但成像時不受反射光的影響；而可見光圖像能夠捕獲場景中的豐富細節(jié)信息,對比度和空間分辨率高,但成像時易受外界環(huán)境的干擾。紅外與可見光圖像融合所形成的融合圖像可將二者的優(yōu)勢信息進行互補,獲取更全面的場景信息,在目標(biāo)跟蹤、軍事、醫(yī)學(xué)和航空等領(lǐng)域均有著重要應(yīng)用[2]。

當(dāng)前,圖像融合方法一般分為三類,即基于空間域、基于變換域和基于神經(jīng)網(wǎng)絡(luò)等其他相關(guān)方法。雖然后兩類融合方法均屬于研究的熱點,但第三類方法的參數(shù)較多且相關(guān)配置較復(fù)雜,融合效果也十分依賴相關(guān)參數(shù)的選取,因此,基于多尺度多方向的變換域方法一直深受研究學(xué)者們青睞。從早期的金字塔變換[3]起,一系列的多尺度分析方法相繼被研究學(xué)者們所提出,如離散小波變換、脊波變換、曲波變換、輪廓波變換、非下采樣輪廓波變換(non-subsampled contourlet transform,NSCT)及剪切波變換等[4]。早期的金字塔變換缺乏方向性、融合后的圖像冗余度較高,且與離散小波變換、脊波變換、曲波變換、輪廓波變換及剪切波變換均易在圖像邊緣處產(chǎn)生偽吉布斯現(xiàn)象,從而丟失融合圖像的部分邊緣信息。NSCT屬于輪廓波的改進,雖然能夠克服偽吉布斯現(xiàn)象外,具有平移不變性,但計算的復(fù)雜度偏高且分解的方向數(shù)有限,無法實現(xiàn)對圖像的實時處理。

近期由剪切波變換改進而來的非下采樣剪切波變換[5](non-subsampled shearlet transform,NSST)得到廣泛應(yīng)用,NSST不僅能夠克服圖像邊緣處的偽吉布斯現(xiàn)象,而且具有平移不變性與各向異性,還具有良好的稀疏表示性能與低計算成本的特點[6],成為應(yīng)用在于圖像融合當(dāng)中的一種更為理想的多尺度分析方法。研究表明NSST能在紅外與可見光圖像融合時獲取更多的源圖像細節(jié)信息,但仍存在著融合圖像的紋理細節(jié)與邊緣信息缺失、目標(biāo)特征不夠突出的現(xiàn)象[7-8]。

為了解決上述可見光圖像紋理細節(jié)與邊緣信息缺失、紅外目標(biāo)不夠突出問題,同時改善融合圖像視覺信息保真度,綜合更多的紅外與可見光圖像優(yōu)勢信息,本文提出一種基于優(yōu)化脈沖耦合神經(jīng)網(wǎng)絡(luò)(pluse coupled neural network,PCNN)與區(qū)域特征引導(dǎo)法則的紅外與可見光圖像融合算法。通過NSST將紅外與可見光圖像分解為低高頻分量,利用圖像低高頻成分不同的特點,提出優(yōu)化PCNN模型和區(qū)域特征引導(dǎo)法則分別對圖像低高頻分量進行融合。最后,對融合后的低高頻分量進行NSST逆變換獲取融合圖像。實驗對比其他7種傳統(tǒng)及流行融合算法,表明了本文算法的優(yōu)越性與可行性。

2 基本原理

2.1 NSST分解

2007年Guo等[9]在傳統(tǒng)的仿射系統(tǒng)基礎(chǔ)上結(jié)合幾何與多尺度變換,構(gòu)造了剪切波變換。具有合成膨脹的仿射系統(tǒng)MAB(ψ)在空間維數(shù)n=2,滿足如下條件:

(1)

式(1)中,ψ∈L2(2),L2(2)表示可積空間,通過對基函數(shù)ψj,l,k(x)進行旋轉(zhuǎn)、剪切和平移變換來構(gòu)造仿射系統(tǒng),A與B為2×2的可逆矩陣,且|detB|=1,A為各向異性膨脹矩陣,B為剪切矩陣,j為分解尺度,l為方向參數(shù),k為平移參數(shù),為整數(shù)域。

圖1為2級NSST分解的示意圖。

圖1 2級NSST分解示意圖Fig.1 Schematic two level decomposition of NSST

由圖1可知NSST分解主要由非下采樣金字塔(non-subsampled pyramid,NSP)分解和方向局部化組成[11]。NSP分解是采用非下采樣金字塔濾波器組對源圖像進行k級多尺度分解,產(chǎn)生1個低頻子帶和k個高頻子帶,k+1個子帶圖像的尺寸與源圖像相同。方向局部化是通過剪切濾波器(shearlet filter,SF)對高頻子帶進行l(wèi)級多方向分解,每個高頻子帶的SF分解都將產(chǎn)生2l個不同方向的子帶圖像,其尺寸與源圖像相同。

2.2 優(yōu)化PCNN

PCNN稱為第三代人工神經(jīng)網(wǎng)絡(luò),是由若干個神經(jīng)元相互鏈接形成的二維反饋型神經(jīng)網(wǎng)絡(luò),每個神經(jīng)元由接收域、調(diào)制域和脈沖發(fā)生器共三部分組成。目前,PCNN已被廣泛運用在圖像分割、圖像融合及圖像細化等方面[12],尤其在與多尺度分析方法相結(jié)合進行圖像融合時取得突出效果。

PCNN中的每個神經(jīng)元對應(yīng)源圖像中的每個像素,本文在傳統(tǒng)PCNN模型基礎(chǔ)上簡化,同時對PCNN中的閾值函數(shù)進行改進,使圖像中較亮像素與較低像素之間的部分處理更為平滑,提出優(yōu)化PCNN模型,其示意圖如圖2所示。

圖2 優(yōu)化PCNN模型Fig.2 Optimized PCNN model

優(yōu)化PCNN模型對應(yīng)的數(shù)學(xué)表達式如下:

Fij[n]=Dij

(2)

(3)

Uij[n]=Fij[n](1+βijLij[n])

(4)

(5)

Tij[n]=Tij[n-1]-Δ+VTYij[n]

(6)

式(2)～(6)中,(i,j)為神經(jīng)元位置;Fij、Dij、Lij、Uij、Tij分別為神經(jīng)元的反饋輸入、外部輸入激勵、鏈接項輸入、內(nèi)部活動項和動態(tài)閾值;βij為鏈接強度;n為迭代次數(shù);(k,l)為神經(jīng)元的周圍連接;αL為鏈接衰減常數(shù);Δ為閾值衰減因子,用于控制閾值的衰減程度;VL為鏈接放大系數(shù);VT為閾值放大系數(shù)；Wijkl為神經(jīng)元之間的突觸鏈接權(quán)值;Yij為神經(jīng)元的脈沖輸出,其值1或0表示神經(jīng)元成功點火與否。

Yij為1時,表示神經(jīng)元成功點火一次。在n次迭代中,計算PCNN輸出的點火總次數(shù),作為低頻融合系數(shù)選取的依據(jù),n次迭代中點火總次數(shù)Zij[n]為:

Zij[n]=Zij[n-1]+Yij[n]

(7)

3 本文融合算法設(shè)計

本文算法首先對已配準(zhǔn)的紅外圖像A和可見光圖像B進行NSST分解,獲取相應(yīng)的低頻分量和高頻分量。其次,對源圖像A和B分解后所獲取的低頻分量采用優(yōu)化PCNN模型進行融合,對于高頻分量采用區(qū)域特征引導(dǎo)法則進行融合。最后,對融合后的低頻高頻分量進行NSST逆變換,獲取融合圖像F。圖3顯示了本文算法的融合過程。

圖3 本文算法的融合過程Fig.3 The fusion process of this algorithm

3.1 低頻分量的融合規(guī)則

NSST分解后的低頻分量為源圖像的近似成分,包含著圖像的主要信息和大部分能量。傳統(tǒng)的融合算法為簡單加權(quán)或取平均的融合規(guī)則,這類方法融合后將丟失圖像的細節(jié)信息,還降低圖像的整體亮度,而PCNN能夠突出圖像的細節(jié)部分,同時保留圖像的輪廓部分,適用于低頻分量融合,因此,本文提出一種基于優(yōu)化PCNN模型的融合規(guī)則進行低頻分量融合。

(8)

(9)

(10)

(11)

式(11)中,β0為初始鏈接強度,本文使用以往文獻的經(jīng)驗取值,取β0=3.0。

基于優(yōu)化PCNN模型的融合規(guī)則,包括以下4步:

Step2:對優(yōu)化PCNN模型的參數(shù)進行初始化設(shè)置,Lij[0]=Uij[0]=Tij[0]=Yij[0]=0,Zij[0]=0,設(shè)模型最大迭代次數(shù)為Nmax;

(12)

3.2 高頻分量的融合規(guī)則

圖像的高頻分量存儲著圖像絕大部分紋理細節(jié)與邊緣信息,反映著圖像的突變特性,高頻分量融合效果直接關(guān)系著融合圖像的清晰程度和視覺感官。為了更好地融合高頻分量,本文提出利用圖像的區(qū)域能量、改進空間頻率和區(qū)域方差匹配度等特征,對圖像間的關(guān)聯(lián)性進行分析,提出自適應(yīng)的區(qū)域方差匹配度閾值和調(diào)節(jié)因子,并將分析結(jié)果作為選擇不同融合規(guī)則的引導(dǎo)信息,由此構(gòu)造區(qū)域特征引導(dǎo)法則對高頻分量進行融合。

(13)

(14)

(15)

(16)

(17)

(18)

(19)

(20)

式(20)中,λ1為紅外調(diào)節(jié)因子;λ2為可見光調(diào)節(jié)因子,二者滿足條件λ1+λ2=1。由于可見光圖像相比于紅外圖像有更豐富的細節(jié)信息,而圖像的高頻部分主要為細節(jié)信息,設(shè)定可見光調(diào)節(jié)因子λ2大于紅外調(diào)節(jié)因子λ1,即λ2>0.5,保證融合圖像有較多細節(jié)信息。

(21)

(22)

(23)

式(22)～(23)可確保λ2總是大于λ1,保證融合圖像有較多細節(jié)信息。

確定λ2后,根據(jù)λ1+λ2=1獲得相應(yīng)的λ1。本文提出的紅外調(diào)節(jié)因子λ1與可見光調(diào)節(jié)因子λ2,可以保證融合圖像有較多細節(jié)信息。

(24)

(25)

通過上述區(qū)域特征引導(dǎo)法則,完成高頻分量的融合。最后,對融合后的低高頻分量進行NSST逆變換,獲取融合圖像F。

4 實驗結(jié)果與分析

為了驗證本文算法的優(yōu)勢與有效性,對多組已配準(zhǔn)的紅外與可見光圖像進行融合實驗,實驗環(huán)境為:Intel Core i5-9750H,CPU主頻為2.60GHz,內(nèi)存16GB,Windows10操作系統(tǒng),Matlab2019a仿真平臺。

實驗中,本文算法與LP[3]、CVT[14]、DTCWT[15]、NSCT[16]、NSCT-PCNN[17]、NSST-PCNN[2]、NSST-EOGPCNN[18]共7種融合算法進行了比較,由于篇幅所限,現(xiàn)給出其中3組經(jīng)典的紅外與可見光圖像融合結(jié)果為例,對8種算法的融合性能進行分析。

圖4、圖5和圖6為上述7種融合算法及本文算法分別對三組紅外與可見光圖像進行融合所獲取的

圖4 Camp圖像的8種算法融合結(jié)果Fig.4 Fusion results of eight algorithms of Camp images

圖5 Dune圖像的8種算法融合結(jié)果Fig.5 Fusion results of eight algorithms of Dune images

融合圖像。實驗中,本文算法的參數(shù)設(shè)置為:NSST分解中,選用maxflat為NSST分解濾波器,分解層數(shù)為4層,分解方向數(shù)為{4,4,8,8}；優(yōu)化PCNN模型參數(shù)設(shè)置為:Wijkl=[0.707 1 0.707；1 0 1；0.707 1 0.707]、Nmax=200、αL=1.0、Δ=0.01、VL=1.0、VT=20,β自適應(yīng)選取。

從主觀視覺效果比較圖4、圖5和圖6,發(fā)現(xiàn)基于LP算法、CVT算法、DTCWT算法和NSCT算法所獲取的融合圖像整體偏暗,對比度較低,存在著紋理細節(jié)與邊緣信息的丟失,同時基于CVT算法、DTCWT算法和NSCT算法的融合圖像在人物目標(biāo)周圍有較明顯的偽影現(xiàn)象；基于NSCT-PCNN算法和NSST-PCNN算法融合效果較好,能夠大體保留圖像的人物目標(biāo)特征和顯著信息,但圍欄、樹木、山路等背景細節(jié)信息有部分丟失,山坡輪廓不夠清晰；基于NSST-EOGPCNN算法的融合圖像整體亮度過高且人物目標(biāo)較模糊；本文算法的融合圖像具有較高的對比度,亮度適中,綜合了紅外圖像與可見光圖像各自的有效信息,捕獲了更多的紋理細節(jié)與邊緣信息,人物目標(biāo)更清晰突出,同時圍欄、樹木、山坡及山路等背景細節(jié)信息保留更完整。由此表明本文算法在主觀視覺上優(yōu)于其他7種融合算法。

圖6 Sandpath圖像的8種算法融合結(jié)果Fig.6 Fusion results of eight algorithms of Sandpath images

同時,本文選取平均梯度AG、空間頻率SF、信息熵EN、標(biāo)準(zhǔn)差SD、總體交叉熵RCE和視覺信息保真度VIFF共6項客觀指標(biāo)對7種算法及本文算法的性能進行客觀評價。表1、表2和表3為3組經(jīng)典紅外與可見光圖像融合時的客觀指標(biāo)結(jié)果。由表1～3中的6項客觀指標(biāo)對比分析,發(fā)現(xiàn)本文算法僅在RCE上略高于NSCT-PCNN、NSST-PCNN或LP算法,其余5項客觀指標(biāo)均明顯優(yōu)于另外7種傳統(tǒng)及流行算法,說明本文算法在6項指標(biāo)上表現(xiàn)更好,表明了本文算法具有較強的優(yōu)越性。綜合主觀視覺和客觀指標(biāo)對比分析而言,本文算法具有明顯優(yōu)于另外7種算法的融合效果,有效地提取融合圖像的紅外目標(biāo)特征、同時保留可見光邊緣細節(jié)信息。

表1 Camp圖像融合的客觀指標(biāo)結(jié)果Tab.1 Objective index results of Camp image fusion

表2 Dune圖像融合的客觀指標(biāo)結(jié)果Tab.2 Objective index results of Dune image fusion

表3 Sandpath圖像融合的客觀指標(biāo)結(jié)果Tab.3 Objective index results of Sandpath image fusion

5 結(jié) 論

本文提出一種基于優(yōu)化PCNN與區(qū)域特征引導(dǎo)法則的紅外與可見光圖像融合算法,充分利用了NSST的多分辨率特性及各向異性,將圖像分解為低高頻分量,針對低高頻成分各自的特點,提出優(yōu)化PCNN模型和區(qū)域特征引導(dǎo)法則分別對圖像低高頻分量進行融合。采用3組經(jīng)典紅外與可見光圖像對本文算法、7種傳統(tǒng)及流行算法進行融合性能對比實驗為例,實驗結(jié)果表明本文算法有效綜合了紅外與可見光圖像各自的優(yōu)勢信息,解決紅外與可見光圖像融合所存在的邊緣信息缺失、目標(biāo)特征不夠突出問題,并在主觀視覺和客觀指標(biāo)上均具有明顯的優(yōu)勢。