賈 鑫

(北華大學 機械工程學院,吉林 吉林 132021)

隨著信息化時代的到來,集成電路、電子信息、計算機等技術的飛速發(fā)展,單傳感器在信息采集方面具有單一性,無法滿足實際生產生活需要,多傳感器構成圖像采集系統(tǒng)能夠實現信息互補,可見光圖像能夠提供觀察域場景信息[1],但無足夠支撐光源時,進行觀察域目標提取較為困難,紅外光能夠在極端溫度下觀察目標,能夠用于可見光源不足時目標信息提取,進行完整場景描述,可見光圖像和紅外圖像優(yōu)勢互補[2],能夠得到細節(jié)豐富、特征明顯、目標突出、對比度高的圖像,廣泛應用于航天航空、電子產品檢測、資源勘測等多個領域[3]。

近些年來,紅外與可見光圖像融合領域研究中,涌現出許多具有創(chuàng)新意義的研究成果,但仍然存在目標信息提取不完善或細節(jié)處理不完整等問題。如Ma[4]等人提出了一種通過細節(jié)保留對抗學習的紅外與可見光圖像融合方法,得到細節(jié)保留較為完整的融合圖像,但紅外圖像對比度較低。葉坤濤[5]等人提出了一種改進顯著檢測與NSST的紅外與可見光圖像融合算法,能夠保留豐富背景信息,提高圖像清晰度,但紅外目標顯示不夠突出。Li[6]等人提出了一種基于潛在低秩表示的多級圖像分解方法,通過平均融合策略很好地融合圖像細節(jié),但融合圖像失去可見光部分細節(jié)背景。閔莉等人[7]提出了一種改進生成對抗網絡的紅外與可見光圖像融合方法,能夠解決傳統(tǒng)對抗網絡不易訓練問題,同時提升融合精度,但融合圖像存在較大噪聲干擾。

針對以上問題,本文提出了一種基于NSCT域平均梯度能量驅動的紅外與可見光圖像融合算法,通過NSCT變換對紅外圖像和可見光圖像進行分解,得到三頻段信息,通過各個頻段融合規(guī)則對三頻段進行融合處理,最后通過INSCT變換得到最終融合圖像。通過三組對比實驗證明本文提出的方法能夠獲得圖像分辨率高、細節(jié)完整、圖像邊緣高度清晰的融合圖像。

1 相關理論

1.1 非下采樣輪廓波變換

非下采樣輪廓波(Nonsubsampled Contourlet,NSCT)分解過程通過非下采樣金字塔濾波器(Nonsubsampled Pyramid Filter Bank,NBPFB)和非下采樣方向濾波器(Nonsubsampled Direction Filter Bank,NBDFB)實現。NSCT分解先通過NBPFB將輸入圖像一級分解,得到低頻子帶圖像和高頻子帶圖像(又稱帶通子帶圖像),高頻子帶圖像經過NBDFB進行多方向分解,獲得帶通方向子帶圖(Bandpass Directional Subpass,BDS),對于相同高頻子帶的奇異點進行融合,獲得高頻子帶系數。一級低頻子帶圖像通過NBPFB繼續(xù)分解,以此類推可以獲得1+∑X2K個子帶系數(其中1為低頻系數;2K為高頻系數;X為分解級數)[8-9],NSCT分解過程見圖1(a),圖1(b)為帶通方向子帶。

(a) NSCT分解

1.2 脈沖耦合神經網絡理論

脈沖耦合神經網絡(Pulse Coupled Neural Network,PCNN)是對哺乳動物視覺皮層神經元的同步振蕩現象進行模擬[10],使用 PCNN 進行分割處理對參數的選擇較為重要[11],單脈沖耦合神經元的組成部分包括接收域、調制域、脈沖產生器。單個PCNN神經元模型見圖2。

圖2 單PCNN神經元

PCNN數學描述:

Fij(n)=Sij(n) ,

(1)

Lij(n)=e-αLLij(n-1)+VL∑klWij,klYij,kl(n-1) ,

(2)

Uij(n)=Fij(n)[1+βLij(n)] ,

(3)

θij(n)=e-αθθij(n-1)+VθYij(n-1) ,

(4)

(5)

(i,j)為網絡當中神經元所處位置;Sij為外部刺激輸入;Fij為反饋輸入;Uij為內部活動項;θij為動態(tài)閾值;Lij為鏈接輸入;β所表示的是耦合的鏈接強度系數;Wij,kl表示權重系數矩陣;α、αL為衰減系數;Vθ為輸出閾值的幅值系數;VL為鏈接域;Yij為脈沖輸出。

閾值θ高于U時,關閉脈沖生成器,隨后進行θ指數衰減;當閾值θ低于U時,打開脈沖生成,神經元會形成周期性點火,通常情況下只產生一次脈沖的神經元點火,單位階躍函數類似于神經模擬器的工作原理,點火次數數學表達式見公式(6)。

Tij(n)=Tij(n-1)+Yij(n) ,

(6)

其中Tij為點火次數。

2 本文方法

本研究提出了一種基于NSCT域AVGE驅動的紅外與可見光圖像的融合算法。首先使用NSCT變換對IFR和VBI分別進行分解,得到低頻、中頻、高頻三個頻段信息,再對IFR和VBI相同頻段進行融合,低頻段采用AVGE取最大進行融合處理,中頻段采用STF取最大進行融合處理,高頻部分采用AVGE-PCNN進行融合,最后經逆非下采樣輪廓波變換(INSCT)得到最終融合圖像,該融合方法流程圖見圖3。

圖3 本文圖像融合方法流程圖

2.1 低頻融合規(guī)則

低頻子帶圖包含較多源圖像能量,帶有信息與原圖相近,低頻融合采用平均梯度能量進行融合,平均梯度(Average Gradient,AVG)是指圖像[12]的邊緣或者是影像兩側相鄰范圍內有較為顯著深度不同的灰色(即灰度的改變程度率顯著增加),灰度改變程度率的大小能夠體現圖像的清晰程度,表示圖像在細微細節(jié)上差別調度的變化速率,是圖像多個維度、多個方向上密度改變的速率,體現圖像的相對清晰程度。平均梯度所表示的是圖像的真切程度,反映圖像細微處的呈現能力。

對于低頻區(qū)域采用平均梯度取最大的原則來獲得非下采樣輪廓波融合系數,對IFR和VBI以區(qū)域大小為M×N進行分解,圖像分別以位置(i,j)像素點為中心,得到區(qū)域大小為M×N的平均梯度Ga(i,j)和Gb(i,j),選取源圖中平均梯度較大的子帶系數用來對應融合后的子帶系數進行融合,融合規(guī)則如下:

(7)

像素點(i,j)位置子帶系數用A(i,j)與B(i,j)所表示,Ga(i,j)、Gb(i,j)表示原圖像以中心為(i,j)區(qū)域大小M×N的平均梯度值。平均梯度值越大,圖像在細節(jié)反映上越豐富,圖像的清晰程度越高,圖像融合質量越好。圖像邊緣信息的強弱由平均梯度所反映,平均梯度定義如下:

(8)

(9)

(10)

平均梯度能量數學定義如下:

(11)

本文采用平均梯度能量取最大平均梯度能量融合規(guī)則如下:

(12)

其中AVGEa(i,j)、AVGERb(i,j)表示平均梯度能量值;LFA(i,j)、LFB(i,j)表示平均梯度能量在區(qū)域M×N像素中心點(i,j)位置子帶系數。選取平均梯度能量較大的子帶系數作為重構后的NSCT低頻子帶系數。

2.2 中頻融合規(guī)則

STF表示指定波形在一個單位時間內重復的次數,是以梯度為基礎的表征圖像質量的指標,STF包含空間行頻、列頻(SRF、SCF)。STF用來測量成像梯度分布,能夠有效處理圖像成像信息,如圖像紋理、細節(jié)等,依據對紋理和邊緣的敏感特性,融合STF越大表示效果越好。

函數表達為

(13)

(14)

(15)

本文對于中頻段區(qū)域所采用的是STF取最大的方式進行處理,對于紅外與可見光圖像分解設定區(qū)域大小M×N,以(i,j)為像素中心點,將紅外圖像和可見光圖像分解系數代入公式(13)得到IFR和VBI兩幅圖像空間頻率,選取空間頻率子帶系數較大的對應為融合后子帶系數進行融合,融合規(guī)則如下:

(16)

其中MSFA(i,j)、MSFB(i,j)表示空間頻率值;MFA(i,j)、MFB(i,j)為空間頻率子帶系數。

2.3 高頻融合規(guī)則

本文在高頻段采用以平均梯度能量作為驅動的脈沖耦合神經網絡(AGE-PCNN)進行融合,選取源圖中經平均能量驅動脈沖耦合神經網絡子帶系數較大的用來對應融合后的子帶系數進行融合,其數學表達式如下:

(17)

(18)

(19)

(20)

紅外與可見光圖像點火次數n,當n=nmax時,高頻系數融合規(guī)則如下:

(21)

2.4 實驗結果與分析

本次實驗采用的是Win10系統(tǒng),使用的軟件是MATLAB R2019a,64位操作系統(tǒng),處理器為Intel(R) Core(TM) i5-10200H CPU @ 2.40GHz 2.40 GHz,RAM (16.0GB),為了更好地呈現本文所使用的方法,將會與另外三種方法進行對比,對比方法分別是DWT算法、DTCWT算法、NSCT算法。本文采用低頻平均能量取最大,中頻平均梯度能量取最大,高頻AGE-PCNN,經過INSCT得到最終融合圖像,將對比實驗進行主觀評價,客觀評價。

2.4.1 主觀分析

主觀分析是通過人類視覺直接觀察融合圖像后的感受,圖像融合效果評估和分析是根據圖像表達的完整性、圖像細節(jié)表達、圖像失真等標志對經過融合后的圖像進行評價,滿足人類生物意義上的視覺特性。主觀評價具有直接、可靠等特性可以對融合圖像效果有較為直觀的評估。人眼的視覺差異性會消耗成本、時間等,具有片面性。圖4～6為本文選取的三組紅外與可見光源圖,對三組源圖像做相同處理,并進行對比實驗分析。

圖4 第一組紅外圖像和可見光圖像

圖5 第二組紅外圖像和可見光圖像

圖6 第三組紅外圖像和可見光圖像

圖7的第一組紅外與可見光融合算法對比圖像可以看出本文所提出的融合算法融合效果最好,例如:汽車、路燈、欄桿、山、墻壁等物體能夠很好地進行融合,圖像對比度、紋理、清晰度、細節(jié)等方面的信息都能夠很好地進行保留。DWT融合圖像成像的可讀性明顯降低,從實驗中可以明顯看出汽車成像較為模糊。DTCWT和NSCT圖像雖然在成像清晰度方面有所改善,但對山、墻壁等表達缺乏可見光信息,較為模糊。

圖7 第一組紅外與可見光融合算法對比圖

圖8的第二組紅外與可見光融合算法圖可以看出本文所提出的融合算法效果最好,例如:樹枝、灌木叢、草地等物體能夠很好地融合,在圖像對比度、紋理、清晰度、細節(jié)等方面的信息都能夠很好地進行保留。DWT、DTCWT、NSCT在對比度方面有所改進,DWT、DTCWT、NSCT在圖像邊緣丟失信息較多,細節(jié)表達不完整。

圖8 第二組紅外與可見光融合算法對比圖

圖9的第三組紅外與可見光融合算法圖可以看出本文所提出的融合算法效果較好,對樹葉、樹枝等能夠很好地融合,在對圖像細節(jié)、紋理、清晰程度、對比度等方面的信息能夠很好地進行保留。DWT成像圖像較為模糊,DTCWT對比度偏低,NSCT圖像細節(jié)模糊,可見光不能很好地進行融合。

圖9 第三組紅外與可見光融合算法對比圖

2.4.2 客觀分析

為了更好地說明本文融合的優(yōu)勢,在客觀對融合圖像評價方面,借助四個數據指標評估圖像融合效果[13]:標準差(Standard Deviation,STD)、互信息(Mutual Information,MI)、AVG、邊緣信息傳遞因子QAB/F。

STD[14]所表示的是圖像平均灰度值與灰度值的離散情況。圖像的灰度級越分散則離散值越大,圖像質量越好。MI表示被融合A、B圖像有效信息的相關程度。融合圖像之間的差異性越小則融合圖像越清晰,有效信息越多,MI的值越大。AVG是描述周圍像素和圖像紋理之間的差別。AVG越大則圖像質量越好,圖像越清晰。QAB/F表示的是原圖A、B的邊緣細節(jié)信息有多少被融合后圖像所保留,取值范圍為[0,1],圖像質量越好則其值越大。

由表1可以看出,本文平均梯度、互信息、標準差均高于其他融合算法據,則表明本文融合圖像灰度等級分散,融合后圖像有效信息多,包含較多源圖像邊緣信息。

表1 第一組融合結果客觀評估

由表2可以看出,DWT標準差上較優(yōu)于DTCWT和NSCT,在邊緣紋理細節(jié)的保留和邊緣細節(jié)信息保留上不如DWT和DTCWT,本文方法所得數據在標準差、互信息等都高于其他方法。

表2 第二組融合結果客觀評估

由表3可以看出,DWT在對圖像分層上比起DTCWT和NSCT來說要細致,在有效信息相關程度和邊緣細節(jié)信息保留上有所不足,通過對比,本文融合方法要優(yōu)于其他方法。

表3 第三組融合結果客觀評估

3 結 論

針對多改進紅外與可見光圖像融合,提出了一種基于NSCT域平均梯度能量驅動的紅外與可見光圖像融合算法。在融合過程中,首先采用NSCT變換對傳感器采集圖像進行分解,得到三頻段信息,再通過各頻段融合規(guī)則進行融合,最后采用INSCT變換獲得最終融合圖像。通過三組對比實驗證明,本文方法在主觀視覺評估方面效果顯著,通過與離散小波變化、雙數復小波變換、非下采樣輪廓波變換進行對比,本文方法在客觀實驗指標上表現出較好的融合效果,證實了該融合方法能夠提高圖像邊緣清晰度,獲得分辨率高、對比度清晰、邊緣細節(jié)輪廓明顯的融合圖像,同時具有很好的自適應性。