林晨暉，聶建英

(福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108)

?

多進(jìn)制小波與自適應(yīng)PCNN的可見光/毫米波圖像融合

林晨暉，聶建英

(福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108)

以安檢中隱匿物品檢測為應(yīng)用背景，提出一種基于多進(jìn)制小波與自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)的可見光/毫米波圖像融合算法。首先可見光圖與毫米波圖經(jīng)多進(jìn)制小波分解處理，得到低頻分量與高頻分量。其次，低頻系數(shù)采取改進(jìn)區(qū)域方差融合處理，高頻系數(shù)則是將子帶改進(jìn)拉普拉斯能量和作為PCNN中對應(yīng)神經(jīng)元的鏈接強(qiáng)度β，將子帶八方向邊緣區(qū)域能量作為PCNN的外部激勵(lì)輸入，經(jīng)點(diǎn)火處理得到點(diǎn)火映射圖，通過判決算子選取融合圖像的高頻系數(shù)，然后重構(gòu)得到融合圖。實(shí)驗(yàn)仿真結(jié)果分析表明，提出的融合方法在主觀與客觀評(píng)價(jià)上均優(yōu)于現(xiàn)有文獻(xiàn)中的一些典型融合方法，能獲得更好的融合效果。

多進(jìn)制小波；自適應(yīng)PCNN ；隱匿物檢測；毫米波成像；圖像融合

常用的X射線成像、手持掃描儀等安檢手段威脅健康，且只能探測金屬品，對復(fù)合材料、液體等違禁品卻檢測不到。新興的攝像式毫米波安檢儀是國內(nèi)首套具有實(shí)時(shí)成像功能的安檢儀，通過接收人體輻射的毫米波，采用合成孔徑實(shí)時(shí)成像，迅速探測到人體衣物下、皮膚上的藏匿物，包括金屬、非金屬物品，且對汽油、酒精、凝膠炸藥等具有高靈敏度，未來毫米波安檢門產(chǎn)品前景廣闊。

毫米波具有穿透性，通過接收物體自身輻射的溫度成像，能檢測隱匿物，但受天線衍射孔徑等影響，毫米波輻射圖分辨率低、可讀性差；可見光圖反映的是物體在光波段的反射特性，具有高分辨率、細(xì)節(jié)豐富的優(yōu)點(diǎn)，但檢測不到隱匿物；若將可見光與毫米波圖像進(jìn)行融合，使之優(yōu)勢互補(bǔ)，就能提高安檢的準(zhǔn)確率，在此背景下，本文主要研究可見光/毫米波圖像融合。

圖像融合是將多個(gè)傳感器在同一時(shí)間或不同時(shí)間獲取的信息加以處理，綜合生成滿足某種應(yīng)用需求、具有更多信息的場景解釋過程。可見光/毫米波圖像融合涉及圖像的多分辨率分解，以往的金字塔、Contourlet變換經(jīng)上下采樣導(dǎo)致圖像頻譜混疊，出現(xiàn)偽Gibbs現(xiàn)象；經(jīng)典的小波變換(DWT)有良好的時(shí)頻特性，能將圖像分解為低頻、高頻部分，但存在方向有限、分解不徹底等缺陷。在小波變換基礎(chǔ)上發(fā)展而來的多進(jìn)制小波變換(Multi-band Wavelet)，能把圖像分解到多個(gè)頻帶，克服了高頻解不精細(xì)的缺點(diǎn)，兼顧對稱性、光滑性、正交性等，適用于圖像分解。對于分解系數(shù)，傳統(tǒng)的平均加權(quán)法、像素絕對值取大等無法有效凸顯可見光/毫米波圖像的特性，會(huì)導(dǎo)致圖像存在噪聲影響視覺。Eckhom等根據(jù)哺乳動(dòng)物的視覺原理提出的簡化脈沖耦合神經(jīng)網(wǎng)絡(luò)模型(Pulse Coupled Neural Network，PCNN)，具有全局耦合與脈沖同步性，在系數(shù)處理效果上更適合人類視覺。且與BP和Kohonen神經(jīng)網(wǎng)絡(luò)不同，PCNN是單層模型，不需訓(xùn)練就能實(shí)現(xiàn)對圖像分割、識(shí)別等，廣泛應(yīng)用于圖像處理，如文獻(xiàn)[7]中，崔天祥等將PCNN用于圖像融中取得了較好的效果。

近年，國內(nèi)外學(xué)者對可見光/毫米波圖像融合進(jìn)行了研究，文獻(xiàn)[1]Yves，Jean Robert等人研制了一種紅外、可見光與毫米波雷達(dá)集成的多傳感器系統(tǒng)，分析多傳感器探頭和對獲取的數(shù)據(jù)、信息進(jìn)行融合；文獻(xiàn)[2]張光峰等提出基于小波變換的分割敏感目標(biāo)區(qū)域的可見光/毫米波圖像融合算法；文獻(xiàn)[3]胡泰洋等提出基于Contourlet變換的可見光/毫米波圖像融合算法，他們?nèi)〉昧肆己玫男Ч杂写倪M(jìn)[1-4]。在此基礎(chǔ)上，本文針對傳統(tǒng)可見光/毫米波圖像融合中存在的不足，提出一種基于多進(jìn)制小波與自適應(yīng)PCNN的圖像融合算法。

1　多進(jìn)制小波變換

多進(jìn)制小波變換能對圖像進(jìn)行精細(xì)劃分，比如八進(jìn)制小波對圖像分解能得到1個(gè)低頻、63個(gè)高頻，很大程度上提升了對高頻細(xì)節(jié)的分解能力，在信號(hào)分析上比二進(jìn)制更具優(yōu)勢，其雙尺度函數(shù)表示為

(1)

(2)

濾波方程為

(3)

通過多尺度分析，圖像信號(hào)可以分解為低頻與高頻兩部分，其分解公式如下

(4)

(5)

重構(gòu)如下

(6)

2　脈沖耦合神經(jīng)網(wǎng)絡(luò)模型(PCNN)

上世紀(jì)末Eckhom等人提出的簡化神經(jīng)網(wǎng)絡(luò)模型，其處理效果適合人類視覺，廣泛應(yīng)用于圖像處理中。模型中每個(gè)神經(jīng)元包括接收域、調(diào)制域、脈沖發(fā)生器。PCNN的數(shù)字圖像模型由脈沖耦合神經(jīng)元構(gòu)成二維單層神經(jīng)元陣列組成，神經(jīng)元數(shù)目與圖中像素?cái)?shù)目一致且相對應(yīng)，實(shí)際應(yīng)用中其數(shù)學(xué)模型如下

Fij[n]=Sij

(7)

Lij[n]=e-αLLij[n-1]+VL∑klMijklYkl[n-1]

(8)

Uij[n]=Fij[n](1+βLij[n])

(9)

Eij[n]=e-αEEij[n-1]+VEYij[n-1]

(10)

(11)

tij[n]=tij[n-1]+Yij[n]

(12)

式中：n為迭代次數(shù)；下標(biāo)(i，j)是神經(jīng)元標(biāo)號(hào)；Fij是神經(jīng)元反饋輸入；Lij是鏈接輸入；Sij是外部激勵(lì)輸入(圖像第(i，j)個(gè)像素值)；Uij是內(nèi)部活動(dòng)項(xiàng)；β是神經(jīng)元間的鏈接強(qiáng)度；Eij是變閾值函數(shù)輸出；VL和VE是放大系數(shù)；αL和αE是時(shí)間常數(shù)；Yij是脈沖輸出。當(dāng)Uij>Eij時(shí)神經(jīng)元產(chǎn)生一個(gè)脈沖，即進(jìn)行一次點(diǎn)火[7-9]。經(jīng)n次迭代，得到圖像的點(diǎn)火映射圖ti,j，點(diǎn)火次數(shù)表示該處的特征信息。

3　基于多進(jìn)制小波與自適應(yīng)PCNN的圖像融合規(guī)則

待融合的可見光圖與毫米波圖已配準(zhǔn)，其融合步驟為：

1)對可見光圖和毫米波圖進(jìn)行多進(jìn)制小波分解，得到低頻與高頻子帶。

2)對低、高頻子帶采用不同的融合規(guī)則，獲得融合后系數(shù)。

3)對融合后系數(shù)進(jìn)行重構(gòu)，得到融合圖。再進(jìn)行對比度增強(qiáng)處理，以改善圖像效果，得到最終的融合圖像。

3.1低頻系數(shù)融合策略

低頻子帶系數(shù)是圖像的近似部分，包含原圖像大量信息。在以往多聚焦圖像融合中常采用加權(quán)平均法，但對于多源傳感器圖像并不合適。圖像方差可以反映其所含信息量大小，方差越大，信息量越豐富，視覺效果越好，因此本文采取改進(jìn)區(qū)域方差的融合規(guī)則處理低頻系數(shù)，這樣可以保留毫米波探測得到的隱匿物輪廓信息，以及可見光圖的高分辨率。

改進(jìn)區(qū)域方差定義

s=1，2

(13)

低頻系數(shù)選取步驟如下：

1)逐一掃描兩幅圖像的低頻系數(shù)，并計(jì)算其區(qū)域方差V1(i,j)，V2(i,j)。

2)根據(jù)下式確定融合圖像的低頻系數(shù)

(14)

式中：a1,a2,a12分別為可見光、毫米波、融合圖的低頻系數(shù)。

3.2高頻系數(shù)融合策略

高頻子帶系數(shù)反映圖像的細(xì)節(jié)部分，包括邊緣，輪廓區(qū)等，是圖像融合的關(guān)鍵。本文采用自適應(yīng)PCNN模型處理高頻系數(shù)。針對PCNN進(jìn)行的自適應(yīng)設(shè)定如下。

1)鏈接強(qiáng)度：神經(jīng)元鏈接強(qiáng)度β代表像素間的緊密聯(lián)系程度，在傳統(tǒng)PCNN中它是個(gè)固定值，但是由于人眼對邊緣信息的敏感，所以β值應(yīng)隨圖像特征而變化，自適應(yīng)地做出調(diào)整，才能體現(xiàn)圖像特征。本文中將高頻子帶的改進(jìn)拉普拉斯能量和SLP(i,j)作為PCNN的連接強(qiáng)度β(i,j)。改進(jìn)拉普拉斯能量和定義如下

(15)

(16)

(17)

式中：ds(i,j)是可見光圖(或毫米波圖)的某一高頻子帶系數(shù)(其他高頻子帶類似處理)；ω(m，n)是權(quán)重矩陣，體現(xiàn)了遠(yuǎn)、近像素對能量和的貢獻(xiàn)程度。

2)外部激勵(lì)輸入：傳統(tǒng)PCNN中，外部激勵(lì)輸入即圖像像素值，考慮到高頻部分代表圖像的邊緣等細(xì)節(jié)，本文采用Sobel八方向邊緣區(qū)域能量作為PCNN的外部激勵(lì)輸入Sij，其定義如下

Es(i,j)=(S1*ds(i,j))2+(S2*ds(i,j))2+…+

(S8*ds(i,j))2,s=1,2

(18)

即通過Sobel算子八方向模板Sk(k=1,2,…,8)對高頻子帶進(jìn)行鄰域卷積平方和計(jì)算得到圖像的八方向邊緣區(qū)域能量，它能有效地凸顯邊緣細(xì)節(jié)：

分別為0，45，90，135，180，225，270，315度的Sobel八方向模板。

高頻系數(shù)選取步驟如下：

1)設(shè)d1(i,j)，d2(i,j)分別是可見光、毫米波圖像的某一高頻子帶系數(shù)，通過計(jì)算得到其改進(jìn)拉普拉斯能量和SLP1(i,j)，SLP2(i,j)；得到八方向邊緣區(qū)域能量E1(i,j)，E2(i,j)(其他子帶做同樣處理)。

2)將SLPs(i,j)作為PCNN的鏈接強(qiáng)度β(i,j)；將Es(i,j)作為PCNN的外部激勵(lì)輸入Sij，帶入算法得到點(diǎn)火映射圖tS(i,j)。

(19)

式中：θ為閾值，點(diǎn)火次數(shù)差小于該閾值說明兩圖像細(xì)節(jié)相當(dāng)，則取兩子帶的平均值作為融合系數(shù)。

算法流程如圖1所示。

圖1　算法流程圖

4　實(shí)驗(yàn)仿真及結(jié)果分析

采用Matlab2010b作為仿真工具，驗(yàn)證算法的可行性。文中兩組實(shí)驗(yàn)圖像分別來源于文獻(xiàn)[3](室外)、文獻(xiàn)[4](室內(nèi))；實(shí)驗(yàn)參數(shù)設(shè)定：迭代次數(shù)n=200，VL=0.2，VE=20，αL=1.0，αE=2.0，W=[0.707，1，0.707；1，0，1；0.707，1，0.707]。實(shí)驗(yàn)一是室外仿真，在圖2中展示了一組暗藏手槍、手雷的可見光圖(圖2a)、毫米波圖(圖2b)?？梢姽鈭D像清晰，但檢測不到暗藏的危險(xiǎn)品；毫米波圖成像模糊，但是兩個(gè)高亮區(qū)顯示了暗藏在衣物下的手雷與手槍輪廓。圖2c是經(jīng)本文方法得到的融合圖像，可以分辨其中兩個(gè)人物身上暗藏的手雷與手槍的位置、輪廓等。從上述分析和圖像可以看出，此方法實(shí)現(xiàn)了隱匿物的檢測。

圖2　實(shí)驗(yàn)一(室外)

實(shí)驗(yàn)二進(jìn)行室內(nèi)仿真，在圖3中顯示了室內(nèi)一組暗藏爆炸物的可見光圖(圖3a)和同一場景的毫米波圖(圖3b)。其前胸有一片高亮區(qū)，是暗藏在衣物下的爆炸物品。

圖3　原始圖像

融合結(jié)果如圖4，圖4a是5層拉普拉斯金字塔分解系數(shù)加權(quán)融合圖(方法一)；圖4b是二進(jìn)制小波域內(nèi)系數(shù)絕對值取大的融合圖(方法二)；圖4c是Contourlet域內(nèi)的融合圖(方法三，文獻(xiàn)[3]方法)。分析這3種融合方法得到的效果圖：圖4a細(xì)節(jié)模糊不清，爆炸物對比度不明顯；圖4b整體太亮，且圖4b與圖4c存在噪聲影響了視覺；圖4d是本文方法得到的融合圖，圖像清晰，爆炸物細(xì)節(jié)明顯，對比度強(qiáng)烈，圖像質(zhì)量提高很多，很好地實(shí)現(xiàn)了兩幅圖像有效信息的保留，融合效果最優(yōu)[10-14]。

圖4　實(shí)驗(yàn)二(室內(nèi))

其次，主觀視覺難以區(qū)分圖像的質(zhì)量，本文從定量分析角度來說明融合效果。數(shù)據(jù)從均值、清晰度、信息熵、空間頻率、標(biāo)準(zhǔn)差5個(gè)角度分析融合質(zhì)量，其結(jié)果如表1所示。

均值反映圖像整體亮度，清晰度反映圖像質(zhì)量，信息熵表示圖像攜帶信息量大小，空間頻率(SF)表示圖像空間域的活躍程度，標(biāo)準(zhǔn)差反映了像素分布。后四者值越大，融合質(zhì)量越高；均值在視覺良好的范圍內(nèi)即可。根據(jù)上表可知，本文方法融合圖像的均值適中、清晰度高，圖像攜帶信息量大，各種指標(biāo)都很好。所以綜合數(shù)據(jù)與視覺效果，本文融合圖像質(zhì)量最優(yōu)。

表1實(shí)驗(yàn)仿真數(shù)據(jù)

圖片均值清晰度信息熵SF標(biāo)準(zhǔn)差可見光圖147.490.04396.917115.768036.609毫米波圖184.140.02517.23139.001348.168本文融合圖181.560.03377.346515.881056.274方法一167.780.04697.337016.863043.495方法二192.800.02507.09309.573045.630方法三184.400.02607.102010.350047.360

5　結(jié)束語

本文以安檢應(yīng)用為背景，提出一種新的基于多進(jìn)制小波與自適應(yīng)PCNN的可見光/毫米波圖像融合算法，經(jīng)實(shí)驗(yàn)仿真證實(shí)，算法利用可見光圖的高分辨率彌補(bǔ)了毫米波成像模糊的不足，取得了較好的融合圖像，使得可見光/毫米波圖像融合技術(shù)更進(jìn)一步。因此本文提出的融合方法，在對可見光圖/毫米波圖的融合中，有較好的清晰度、適中的均值、較高的信息熵等指標(biāo)，肉眼也可分辨其融合圖像質(zhì)量較好，從而說明本文方法有其優(yōu)點(diǎn)，具有一定的實(shí)際應(yīng)用價(jià)值。

[1]張培琴.一種紅外、可見光與毫米波雷達(dá)集成的多傳感器系統(tǒng)[J].中國雷達(dá)，2000(2)：15-21.

[2]張光鋒，張祖蔭，郭偉.一種可見光與毫米波輻射圖像的融合方法[J].激光與紅外，2004，34(5)：386-388.

[3]胡泰洋，肖澤龍，陳磊，等.隱匿違禁物品探測的毫米波輻射圖像融合方法[J].南京理工大學(xué)學(xué)報(bào)，2012，36(1)：106-111.

[4]王楠楠，邱景輝，鄧維波.隱匿物品探測毫米波成像系統(tǒng)發(fā)展現(xiàn)狀[J].紅外技術(shù)，2009，31(3)：129-135.

[5]DONG J W，CHEN Y M，MATHEMATICS D O， et al. Introduction of multi-band wavelet and its applications[J]. Science & technology vision，2015(4)：186-187.

[6]董健衛(wèi)，陳艷美.淺析多進(jìn)制小波及其應(yīng)用[J]. 科技視界，2015(4)：186-187.

[7]崔天祥，黃向東，譚久彬，等. 基于Contourlet變換和IPCNN的融合算法及其在可見光與紅外線圖像融合中的應(yīng)用[J]. 紅外與毫米波學(xué)報(bào)，2007，26(3)：217-221.

[8]陳廣秋，高印寒.基于LNSST與PCNN的紅外與可見光圖像融合[J]. 光電工程，2014(10)：12-20.

[9]王盛年，徐衛(wèi)亞，石崇，等. Numerical simulation of direct shear tests on mechanical properties of talus deposits based on self-adaptive PCNN digital image processing[J]. 中南大學(xué)學(xué)報(bào)(英文版)，2014，21(7)：2904-2914.

[10]郝文超，賈年. NSCT域內(nèi)基于自適應(yīng)PCNN的紅外與可見光圖像融合方法[J]. 西華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2014，33(3)：11-15.

[11]葉銀芳，聶建英.基于拉普拉斯金字塔變換的紅外/被動(dòng)毫米波圖像融合[J]. 彈箭與制導(dǎo)學(xué)報(bào)，2014，34(2)：165-167.

[12]YIN M，LIU W，ZHAO X，et al. A novel image fusion algorithm based on nonsubsampled shearlet transform[J]. Optik-international journal for light and electron optics，2014，125(10)：2274-2282.

[13]ROMANAK K，SHERK G W，HOVORKA S，et al. Comprehensive and comparative study of image fusion techniques[J]. Energy procedia，2013，37(1)：4242-4248.

[14]談世磊，張紅民，王艷.基于NSCT和改進(jìn)型PCNN的紅外與可見光圖像融合算法[J]. 紅外，2015，36(6)：17-20.

林晨暉(1991— )，女，碩士生，主要研究小波分析及其應(yīng)用、毫米波探測與目標(biāo)識(shí)別技術(shù)；

聶建英(1958— )，博士，博士后，教授，主要從事光波、毫米波復(fù)合探測與目標(biāo)識(shí)別技術(shù)研究。

責(zé)任編輯：時(shí)雯

Fusion algorithm for visible and PMMW image based on multi-band wavelet and adaptive PCNN

LIN Chenhui，NIE Jianying

(CollegeofMathematicsandComputerScience，F(xiàn)uzhouUniversity，F(xiàn)uzhou350108，China)

A new fusion algorithm which combines multi-band wavelet with adaptive pulse coupled neural network(PCNN) is proposed in this paper. Firstly，the original images were decomposed in the multi-band wavelet domain. Secondly，the fusion ruler for low-frequency coefficients is based on local variance，and the high-frequency coefficients is based on adaptive PCNN. The coefficient improved sum of laplace energy as the PCNN link strength，and the edge-region energy of eight directions as the input of the PCNN.Finally，the fusion image is obtained by taking the inverse of multi-band wavelet transform.Lastly，the experimental results indicate that the method proposed performs better in subjective and objective assessments than a few existing typical fusion techniques in the literatures and obtains better fusion performance.

multi-band wavelet；adaptive PCNN；concealed detection；PMMW；image fusion

TN915

ADOI：10.16280/j.videoe.2016.10.006

江蘇省資源環(huán)境信息工程重點(diǎn)實(shí)驗(yàn)室基金項(xiàng)目(JS201104)

2016-02-29

文獻(xiàn)引用格式：林晨暉，聶建英.多進(jìn)制小波與自適應(yīng)PCNN的可見光/毫米波圖像融合[J].電視技術(shù)，2016，40(10)：28-32.

LIN C H，NIE J Y.Fusion algorithm for visible and PMMW image based on multi-band wavelet and adaptive PCNN[J].Video engineering，2016,40(10)：28-32.