王興龍，朱 芳

(安徽新華學(xué)院 通識教育部，安徽 合肥 230088)

0 引言

隨著圖像傳感器技術(shù)的快速發(fā)展，紅外與可見光圖像融合已成為圖像處理領(lǐng)域的一大研究熱點(diǎn)，該項(xiàng)技術(shù)能夠有效地結(jié)合紅外圖像的目標(biāo)特性和可見光圖像的場景細(xì)節(jié)信息，增強(qiáng)人們對目標(biāo)場景的感知和識別能力[1]，且已成功應(yīng)用于軍事、工業(yè)和安檢等領(lǐng)域.

目前，基于變換域的紅外與可見光圖像融合算法應(yīng)用非常廣泛，其中較多的有小波變換、Contourlet變換、Shearlet變換及在此基礎(chǔ)上改進(jìn)的一些變換.其中小波變換具有較強(qiáng)的重構(gòu)能力，能夠提取源圖像的結(jié)構(gòu)和細(xì)節(jié)信息，但易丟失圖像的幾何信息，針對這方面缺陷,Kim Y等人[2]基于尺度函數(shù)提出一種改進(jìn)增強(qiáng)小波變換的圖像融合算法.Contourlet變換可以很好地捕捉到源圖像的邊緣信息，但不具備平移不變性，易在奇異點(diǎn)處產(chǎn)生偽吉布斯現(xiàn)象，因此A.L.Cunha等人[3]提出平移不變的非下采樣Contourlet變換(NSCT)，消除了Contourlet變換過程中出現(xiàn)的頻譜混疊現(xiàn)象.劉少鵬等人[4]提出一種基于區(qū)域分維和NSCT變換相結(jié)合的紅外與可見光圖像融合；蔡懷宇等[5]提出一種基于NSCT變換和直覺模糊集的紅外與可見光圖像融合算法，該算法提高了圖像對比度，保留了源圖像中的邊緣和細(xì)節(jié)信息.這些算法都取得了非常好的融合效果，但NSCT運(yùn)算效率不高，耗時(shí)較長，實(shí)用性較差.針對NSCT存在的一些不足之處，D.Labate等人[6]提出了剪切波變換(Shearlet),具有多尺度、多方向等優(yōu)良的性質(zhì)，但其仍不具備平移不變性，于是Easley[7]等人提出了非下采樣剪切波變換(NSST)，具有Shearlet所有的優(yōu)點(diǎn)，且運(yùn)行效率高，更加適用于實(shí)時(shí)性的需求.丁文彬[8]等人提出了基于NSST和稀疏特征的紅外與可見光圖像融合，該方法有效保留了圖像背景信息，突顯了紅外圖像的結(jié)構(gòu)信息，取得了很好的融合效果.

紅外與可見光圖像融合技術(shù)中，變換域的選擇是首要任務(wù)，但高低頻的融合準(zhǔn)則選取同樣至關(guān)重要，傳統(tǒng)經(jīng)典的融合準(zhǔn)則主要有絕對值取大[9]、加權(quán)平均[10]和區(qū)域梯度[11]等.這些融合準(zhǔn)則可以達(dá)到圖像融合的目標(biāo)，但分析不夠全面，沒有充分考慮紅外與可見光圖像自身的特點(diǎn)，易丟失重要細(xì)節(jié)信息，且傳統(tǒng)的融合準(zhǔn)則較少考慮領(lǐng)域及其周邊因素的影響，導(dǎo)致融合效果不是很理想.近些年來一些學(xué)者將遺傳算法[12]、粒子群算法[13]和脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)[14]應(yīng)用于圖像處理中，取得了一定的成效，其中圖像融合算法中應(yīng)用最多的就是PCNN.鄭紅等人[15]提出一種基于NSST和自適應(yīng)PCNN模型的紅外與可見光圖像融合算法，實(shí)現(xiàn)了紅外與可見光的有效融合，但經(jīng)典的PCNN模型也存在自身的一些缺點(diǎn)，基于此Xiang T等人[16]提出一種基于自適應(yīng)雙通道PCNN的NSCT域圖像融合算法，有效提高了融合圖像的目標(biāo)與背景的對比度；LIU等人[17]在NSST框架下提出一種基于區(qū)域雙通道單連接脈沖兩維神經(jīng)網(wǎng)絡(luò)和獨(dú)立分量分析的紅外與可見光圖像融合算法，能突顯融合結(jié)果的目標(biāo)和細(xì)節(jié)信息.這些融合算法都取得了很好的融合效果，但沒有充分考慮NSST系數(shù)特征，NSST分解后的低頻子帶反映了圖像的近似特征，包含了圖像的大量基本信息，因此低頻部分的處理至關(guān)重要.

顯然，圖像融合技術(shù)已取得一定的成效，但目前這些優(yōu)良的算法中仍存在某些方面的缺陷，基于此筆者提出一種基于NSST和雙通道PCNN的紅外與可見光圖像融合算法，利用小波變換補(bǔ)償NSST分解后的低頻子帶系數(shù)，實(shí)現(xiàn)系數(shù)的再次分解.第1步，利用S-函數(shù)對紅外圖像進(jìn)行預(yù)處理，增強(qiáng)紅外圖像的對比度；第2步，利用NSST對預(yù)處理的紅外圖像和可見光圖像進(jìn)行分解得到低頻和高頻子帶，由于低頻子帶中包含了源圖像的大量細(xì)節(jié)信息，利用二維小波變換對其進(jìn)行再次分解得到相應(yīng)的低頻和高頻子帶，其中低頻子帶采用一種基于顯著圖的融合策略，高頻部分采用絕對值取大的原則，對處理過的低頻和高頻部分進(jìn)行小波逆變換得到NSST重構(gòu)的低頻子帶；第3步，對NSST分解后高頻子帶采用2APCNN進(jìn)行處理，將邊緣能量作為PCNN的刺激輸入，可以充分保留圖像的細(xì)節(jié)信息；第4步，對處理過的低頻和高頻部分采用NSST逆變換實(shí)現(xiàn)圖像的最終融合.多組實(shí)驗(yàn)顯示，本文算法較現(xiàn)有的經(jīng)典融合算法取得了更好的融合效果.

1 基于2APCNN和NSST變換的紅外與可見光圖像融合

經(jīng)典的基于變換域的圖像融合算法雖然已取得很好的效果，但在細(xì)節(jié)處理、信息冗余等方面仍有所欠缺，且基于PCNN模型的融合算法計(jì)算量較大,易在圖像背景處產(chǎn)生失真等現(xiàn)象.筆者針對紅外與可見光自身特點(diǎn)優(yōu)化原有的融合算法，并對其進(jìn)行改進(jìn)使得算法更加實(shí)用，為了增強(qiáng)紅外圖像的對比度，在進(jìn)行變換域處理之前先對其進(jìn)行預(yù)處理.

1.1 紅外圖像預(yù)處理

紅外圖像主要是通過目標(biāo)場景的熱輻射而成像的，具有較強(qiáng)的識別偽裝的能力，但成像的清晰度較低，因此紅外圖像在進(jìn)行NSST變換之前先利用S-函數(shù)進(jìn)行預(yù)處理，以增強(qiáng)圖像的對比度，使得融合效果更佳.S-函數(shù)定義如下：

(1)

(2)

其中A(i,j)表示紅外圖像的像素值；S(i,j)表示對比增強(qiáng)后的灰度值；μ是紅外圖像灰度值的均值；k是影響的參數(shù).選取兩幅經(jīng)典的紅外圖像進(jìn)行實(shí)驗(yàn)，圖1為兩幅紅外圖像經(jīng)過S-函數(shù)處理的結(jié)果.

圖1 紅外圖像和預(yù)增強(qiáng)過的圖像

從視覺效果上可以看出紅外圖像經(jīng)過預(yù)處理之后明顯清晰很多，對比度也增強(qiáng)很多，說明紅外圖像經(jīng)過預(yù)處理后更加適用于人類視覺需要.

1.2 低頻子帶融合準(zhǔn)則

基于NSST自身所具有的優(yōu)點(diǎn)，筆者對預(yù)處理過的紅外和可見光圖像分別進(jìn)行4層的NSST分解得到相應(yīng)的低頻和高頻子帶，由于低頻部分包含了圖像的大量能量信息，是融合的關(guān)鍵環(huán)節(jié)，且以往經(jīng)典的融合算法都是直接對低頻進(jìn)行處理，融合效果不是非常理想.由于NSST分解會得到一個(gè)尺寸大小與源圖像相同的低頻子帶，因此我們先對低頻部分進(jìn)行二維小波變換再次得到低頻和高頻子帶，低頻子帶采用一種基于顯著圖的融合策略，高頻部分采用絕對值取大的原則.

經(jīng)過小波變換分解后的低頻部分仍舊包含圖像的大量信息，常見的低頻融合準(zhǔn)則大多采用系數(shù)加權(quán)平均、梯度算法和區(qū)域能量等策略，這些融合方法雖取得了較好的融合效果，但在細(xì)節(jié)和邊緣的處理上仍有所欠缺.這里我們根據(jù)人類視覺系統(tǒng)對圖像對比度比較敏感的特點(diǎn)，提出一種基于顯著圖的融合準(zhǔn)則.一幅圖像的像素顯著值是通過像素自身與周邊像素之間的關(guān)系體現(xiàn)出來的，設(shè)圖像f的任意像素值p處的顯著值[18]定義為：

(3)

其中F(p,q)表示像素p,q間的差值，通過式(3)可以計(jì)算出低頻子帶所對應(yīng)的顯著圖.由于紅外與可見光圖像的成像原理不同，在圖像相同部位所包含的局部強(qiáng)度和細(xì)節(jié)信息都會相差很多，因此需要通過區(qū)域方差匹配度來衡量兩者之間的差異程度，避免細(xì)節(jié)信息的丟失.局部區(qū)域方差匹配度記為：

(4)

其中G表示局部區(qū)域(本文取3*3大小)，S2I(i,j),S2V(i,j)分別表示紅外與可見光圖像低頻子帶系數(shù)在位置(i,j)處的顯著值；MI,V(i,j)反映的是兩幅圖在相同位置顯著值的接近程度，值越高說明兩幅圖的相似匹配度越高，否則說明區(qū)域差異較大.基于此需要設(shè)計(jì)一個(gè)閾值T，一般在0.5～1，本文取T=0.75，yF(i,j)為融合后的系數(shù)，下面給出具體的低頻子帶融合策略：

若MI,V(i,j)

(5)

若MI,V(i,j)≤T，說明局部相似性程度較高，則采用加權(quán)平均準(zhǔn)則.

(6)

且自適應(yīng)算子為:

(7)

對于小波變換再次分解得到的高頻部分，筆者采用絕對值取大原則進(jìn)行處理，并與(5)或(6)式低頻處理后的結(jié)果進(jìn)行小波重構(gòu)可以得到最終用于NSST重構(gòu)的低頻子帶系數(shù).筆者采用小波變換主要是為了突顯源圖像的背景信息，能夠較好地利用小波變換的優(yōu)勢，提高圖像低頻部分的融合效果.

1.3 高頻子帶融合準(zhǔn)則

圖像分解后的高頻部分包含了源圖像的大量細(xì)節(jié)、邊緣和輪廓等信息，以往經(jīng)典的融合策略大多都是“絕對值取大”、“空間頻率”等方法，這些融合策略會丟失一部分細(xì)節(jié)信息.筆者基于傳統(tǒng)PCNN提出一種雙通道PCNN模型，將邊緣能量(ENE[19])作為2APCNN的刺激輸入，并結(jié)合邊緣梯度設(shè)置鏈接強(qiáng)度，下面給出2APCNN的具體表達(dá)式：

(8)

其中Fkij(k=1,2)表示雙通道的反饋輸入；Skij(k=1,2)表示外部刺激輸入；Lij表示鏈接輸出項(xiàng)；Wijkl表示連接神經(jīng)間的權(quán)值系數(shù)矩陣；Yij表示神經(jīng)元的脈沖輸出；αL,αθ表示時(shí)間衰減系數(shù)；VL,Vθ表示歸一化參數(shù)；Uij(n)表示內(nèi)部活動總數(shù)；βk(k=1,2)表示兩個(gè)通道的鏈接強(qiáng)度；θij(n)表示神經(jīng)元的動態(tài)閾值.在2APCNN神經(jīng)網(wǎng)絡(luò)中，當(dāng)Uij(n)>θij(n-1)時(shí),會產(chǎn)生一個(gè)脈沖信號，即點(diǎn)火一次.

由于傳統(tǒng)的PCNN參數(shù)較多且取值較為固定,導(dǎo)致融合的效果不是很理想，這里我們結(jié)合高頻子帶系數(shù)相鄰位置給出邊緣梯度,即

(9)

則2APCNN的連接強(qiáng)度定義為：

(10)

下面給出高頻子帶的邊緣能量并將其作為雙通道的刺激輸入，具體公式如下：

LEl,k(i,j)=(E1*yl,k(i,j))2+

(E2*yl,k(i,j))2+(E3*yl,k(i,j))2.

(11)

將設(shè)置過的參數(shù)應(yīng)用于(8)式，并得到最終的融合系數(shù)yF，即:

(12)

2 基于2APCNN和NSST變換的紅外與可見光圖像融合流程

源圖像在進(jìn)行融合之前已進(jìn)行嚴(yán)格的空間配準(zhǔn)，分別記為I,V，融合后的圖像記為F，則具體的融合步驟如下：

1)對紅外圖像I進(jìn)行預(yù)處理，再將其和可見光圖像V進(jìn)行NSST分解(這里取N=3)，得到大小與源圖像相同的低頻子帶圖像I0N,V0N，及各方向的高頻子帶圖像Iki,Vkj,k=1,2,…,K,j=1,2,…,N,N為分解的最大層數(shù)，K為每層分解的方向數(shù)；

2)為了更多地保留源圖像的背景細(xì)節(jié)信息，將NSST分解后的低頻子帶圖像再次進(jìn)行二維小波分解，得到相應(yīng)的低頻和高頻子帶，低頻子帶采用基于顯著圖的策略進(jìn)行處理，高頻部分采用絕對值策略，對處理過的低頻和高頻進(jìn)行小波逆變換得到最終用于NSST重構(gòu)的低頻子帶部分；

3)對NSST分解后的高頻子帶采用自適應(yīng)的2APCNN模型進(jìn)行處理，采用改進(jìn)的邊緣梯度作為模型的鏈接強(qiáng)度β，并利用系數(shù)的邊緣能量作為2APCNN模型的刺激輸入，其他的初始值設(shè)為Uk,l0(i,j)=0,Lk,l0(i,j)=0,Yk,l0(i,j)=0;

4)最后將處理過的低頻和高頻子帶進(jìn)行NSST逆變換得到最終的融合圖像.

圖2為具體的圖像融合流程.

圖2 圖像融合的流程

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證筆者所提算法的有效性，選取常用的兩組具有不同特點(diǎn)的紅外與可見光圖像(“Road,Leaves”)進(jìn)行實(shí)驗(yàn)，對比的算法選取經(jīng)典的基于小波變換(DWT)和基于NSST的融合算法，這兩種算法都是按低頻取平均，高頻取大的原則進(jìn)行處理.另外再選取3種近幾年經(jīng)典的融合算法：基于NSST的自適應(yīng)PCNN融合算法(NSST-PCNN)[15]；基于補(bǔ)償機(jī)制的NSCT域紅外與可見光圖像融合(NSCT-DWT-PCNN)[20]，該算法也是利用小波變換實(shí)現(xiàn)低頻部分的再次分解；基于自適應(yīng)雙通道PCNN的NSCT域圖像融合算法(NSCT-2APCNN)[16]，這3種算法在處理紅外與可見光圖像融合時(shí)都取得了很不錯(cuò)的效果.同時(shí)為了更加全面地評價(jià)本文算法，選取5個(gè)客觀指標(biāo)[21]進(jìn)行對比分析：平均梯度(Average Gradient,AG)、標(biāo)準(zhǔn)差(Standard Deviation,STD)、信息熵(Information Entropy,IE)、互信息(Mutual Information,MI)和邊緣信息保留量QAB/F.

3.2 實(shí)驗(yàn)結(jié)果及分析

圖3的(a)和(b)為Road2紅外與可見光圖像，是在夜晚拍攝的道路圖像，由于光線昏暗導(dǎo)致可見光圖像中目標(biāo)行人和車輛模糊看不清，紅外圖像中目標(biāo)信息較清晰但背景模糊，下面是6種算法實(shí)現(xiàn)該組圖像的主觀和客觀融合結(jié)果.

從主觀視覺效果可以看出6種算法不同程度地實(shí)現(xiàn)了目標(biāo)和背景信息的融合，其中基于DWT得到的融合圖像較為暗淡，在目標(biāo)和背景處較為模糊，且在奇異點(diǎn)處存在塊效應(yīng)；基于NSST的兩種融合結(jié)果,即圖(d)和(e)在目標(biāo)背景處相對清晰一些，但對比度不高,顯得圖像較為灰暗，且在區(qū)域處過渡不是很自然；基于NSCT的兩種融合結(jié)果,即圖(f)和(g)相比之前的算法對比度有所增強(qiáng)，且在目標(biāo)行人和車輛處清晰很多；本文算法對比度最高，道路清晰，行人和車輛明顯，且在紅色線內(nèi)的車輛也較其他算法清晰很多.

客觀數(shù)據(jù)顯示近年來提出的融合算法(NSCT-DWT-PCNN，NSCT-2APCNN)在紅外和可見光圖像融合上取得了很大的提高，其中STD值提高最多，其他4個(gè)指標(biāo)也有所提高，說明算法在對比度和細(xì)節(jié)處理上均有所改善，但由于NSCT自身算法的特點(diǎn)，導(dǎo)致計(jì)算時(shí)間較長.筆者所提算法在5個(gè)指標(biāo)上均有所提高，其中AG和STD提高最多，耗時(shí)不是很長，融合效果最佳.

圖4(a)和(b)為 Leaves紅外與可見光圖像，紅外圖像中目標(biāo)較為清晰但背景樹葉較為模糊，可見光圖像中樹葉清晰但目標(biāo)對比度較低.圖3與表1是6種算法實(shí)現(xiàn)該組圖像的主觀和客觀融合結(jié)果.

圖3 Road2融合結(jié)果

表1 不同融合方法處理Road2圖像的客觀指標(biāo)

圖4 Leaves融合結(jié)果

從圖4和表2可以看出6種算法均考慮了源圖像的互補(bǔ)信息，不同程度地實(shí)現(xiàn)了紅外與可見光圖像融合.DWT、NSST和NSST-PCNN這3種算法在目標(biāo)板的對比度相對較低，且背景樹葉處也較為模糊；NSCT-DWT-PCNN和NSCT-2APCNN融合算法在背景和目標(biāo)處都相對前面3種算法清晰很多，客觀指標(biāo)上也有所提高，但耗時(shí)較長，不利于實(shí)際應(yīng)用；筆者所提算法的目標(biāo)板的對比度最高，周邊細(xì)節(jié)信息更加豐富，背景樹葉也較為清楚，整體視覺效果更好，且計(jì)算時(shí)間不是很長.

表2 不同融合方法處理Leaves圖像的客觀指標(biāo)

4 結(jié)論

筆者提出的融合算法是基于變換域(NSST)的再次分解(DWT)的圖像融合，有效結(jié)合了兩種變換域算法的優(yōu)勢，實(shí)現(xiàn)目標(biāo)和背景信息的有效保留.對DWT分解的低頻和高頻分別采用不同的融合準(zhǔn)則進(jìn)行處理，低頻采用基于顯著圖的融合方法，高頻直接絕對值最大；同時(shí)對NSST分解的高頻部分采用改進(jìn)的雙通道PCNN進(jìn)行處理，利用邊緣信息作為模型的刺激輸入，多方面自適應(yīng)調(diào)節(jié)2APCNN的模型參數(shù)，以達(dá)到最優(yōu)的融合效果.經(jīng)過實(shí)驗(yàn)對比分析,可以看出本文算法在對比度和背景信息處理上均取得了很大的改進(jìn)，更加符合人眼的視覺需要，其客觀數(shù)值上均優(yōu)于其他幾種融合算法.