李世維,黃丹飛,劉 輝,王惠敏

(長春理工大學(xué),吉林 長春 130022)

1 引 言

光波除了具有波長、振幅、相位等屬性外,另一重要屬性是偏振。地面目標反射和輻射電磁波時,傳統(tǒng)成像技術(shù)只能探測到光強信息,偏振成像探測技術(shù)能根據(jù)目標特征獲得不同于背景的偏振信息,有利于從復(fù)雜背景中凸顯目標。研究表明,偏振成像除了能識別隱身、偽裝、暗弱、虛假的目標外,在“穿云透霧”方面也具有得天獨厚的能力。偏振成像技術(shù)將信息從三維擴展到七維[1],對多維信息進行融合,能有效提高目標探測過程中的信噪比,增強目標識別的精確性和可靠性[2-3]。圖像融合就是根據(jù)不同的準則對來自于不同傳感器的同一目標圖像或同一場景的多幅圖像中的冗余及互補信息進行綜合[4],使融合圖像的場景信息更加豐富,能更加準確地描述目標特征,有利于進一步觀察和分析圖像信息以及識別和跟蹤目標[5]。

由于目標和背景的粗糙度、含水量、紋理特征的差異會產(chǎn)生不同的偏振態(tài)[6],故可反演出其自身的物理和化學(xué)特性,常用Stokes向量、線偏振度(DOLP)和偏振相位角(AOP)等來表征目標的偏振信息?；谄癯上袼邆涞膬?yōu)點,國內(nèi)外學(xué)者對偏振信息的融合做了許多研究,如Aron等[7]利用偏振成像技術(shù)從雜亂背景中識別目標車輛；Alexandre Jouan[8]等對偏振合成孔徑雷達圖像和高光譜圖像提取邊緣、紋理特征并進行融合,使融合圖像目標更清晰,具有光譜特征；申慧彥等[9]利用小波變換提出了一種基于人眼視覺特性的偏振圖像融合方法,結(jié)果表明融合后的圖像突出了場景的偏振信息,豐富了強度信息,提高了目標與背景的對比度。虞文俊等[10]提出了基于小波變換的紅外偏振圖像融合算法,提高了紅外圖像質(zhì)量,凸顯了人造目標。這些融合圖像在一定程度上改善了圖像質(zhì)量,但目標邊緣的凸顯效果不太好。針對這一問題,本文采用基于多尺度邊緣表示的偏振圖像二次融合算法,與利用公式直接計算偏振信息不同,采用二進小波一次融合獲取偏振信息,使得到的DOLP圖像較直接計算視覺效果更好,細節(jié)更加豐富且清晰可辨；同時摒棄傳統(tǒng)算法對整幅圖像的融合,采用邊緣表示方法進行二次融合,保留了圖像I的低頻近似特性,突出了DOLP圖像的高頻偏振特性[11],壓縮了數(shù)據(jù)量,從而加快了融合的計算速度,從源圖像中繼承了更多的邊緣信息,突出了目標的細節(jié)輪廓。

2 偏振圖像融合預(yù)處理

空氣中懸浮顆粒、水珠等因素給4個角度偏振圖像帶來了很強的噪聲干擾,同時由于光學(xué)系統(tǒng)的不穩(wěn)定性使得所采集的4幅圖像之間存在一定的位置差異。源圖像的噪聲干擾和圖像間的不匹配性不利于后續(xù)Stokes參數(shù)圖像、DOLP和AOP等偏振圖像計算以及基于邊緣的偏振融合,故需要進行去噪和配準。本文采用二進小波對0°、45°、90°、135°的偏振圖像進行3層分解,得到低頻近似和不同層上的高頻細節(jié)圖像。對高頻圖像采用非極大抑制法提取邊緣信息,經(jīng)邊緣去噪、配準等預(yù)處理重構(gòu)得到新的4個偏振角度圖像,為后續(xù)圖像融合做準備。

2.1 邊緣檢測

本文預(yù)處理是在邊緣檢測的基礎(chǔ)上提出的,因此需要對圖像進行邊緣點提取。由于小波變換具有良好的時頻局域化特性及多尺度分析能力,能敏感地反映突變信號,因而能準確、有效地定位圖像的邊緣,在圖像邊緣提取中的優(yōu)勢十分明顯[12]。首先利用高斯函數(shù)對圖像進行多尺度濾波,通過計算其在x、y方向上的偏導(dǎo)數(shù),得到圖像二維小波變換的兩個分量,分別求得單個像素點的梯度矢量和相角,根據(jù)梯度矢量模值的局部極大值來檢測圖像的邊緣點[13]。

2.2 去噪和配準

2.2.1 邊緣去噪

多尺度邊緣檢測抗噪能力和定位精度是一對矛盾體,小尺度對噪聲干擾較為敏感,但能精準定位邊緣點的位置,大尺度算子與之相反,使一部分細節(jié)信息丟失。可以利用不同尺度的優(yōu)越性,采用局部模極大值去噪。將小尺度21上的全部模極大值點當做噪聲點去除,將尺度22上的模極大值點覆蓋在21上,這樣可以留下一些真實邊緣點。同時由于噪聲干擾形成的模極大值點的幅值會隨分解尺度的增大呈下降趨勢,而真實的邊緣則與之相反。如果尺度22上某一位置有模極大值,但在最粗糙尺度23對應(yīng)位置的8鄰域內(nèi)找不到相應(yīng)的模極大值點,那么除去22上的偽邊緣點。

2.2.2 邊緣配準

將去除噪聲的邊緣圖像進行邊緣鏈接,最后以偏振角度為45°的圖像為參考圖像,采用SURF(speed up robust feature)角點檢測算法進行配準。SURF特點:

(1)使用積分圖像完成圖像卷積(相關(guān))操作;

(2)使用Hessian矩陣檢測特征值；

(3)使用基于分布的描述符(局部信息)[14]。

SURF算法是SIFT的一種改進,由于SIFT算法每層金字塔圖像都取決于原始圖像,尺寸也需重新設(shè)計,故計算量較大。而SURF算法只需利用積分圖像完成卷積,卷積結(jié)果只與上一層圖像相關(guān),通過增加圖像核的尺寸來降采樣。既可以同時處理多層圖像,又無需二次抽樣,因此速度更快,效率更高。為了使配準精度更高,利用RANSAC方法剔除錯誤的匹配點對。對預(yù)處理后得到的邊緣圖像進行重構(gòu),得到一組新的低噪聲、匹配度較高的不同角度偏振圖像。

3 偏振圖像二次融合

3.1 融合思路

本文融合算法的總體思路為:首先將預(yù)處理后得到的新的4幅不同角度偏振圖像進行第一次融合,獲得I、Q、U、V四個Stokes參數(shù)圖像,并利用公式計算得到DOLP和AOP圖像；其次,求得強度圖像I和線偏振度圖像DOLP的邊緣相關(guān)性；最后,利用邊緣相關(guān)性進行第二次融合。圖1是基于邊緣的同時偏振圖像二次融合算法的框圖。

圖1 基于多尺度邊緣表示的偏振圖像二次融合算法框圖

3.2 第一次融合

通常Stokes參數(shù)圖像是由原始偏振角度圖像根據(jù)相應(yīng)公式直接計算得到的,但可能會使一些細節(jié)信息缺失。本文采用基于邊緣的多尺度第一次圖像融合方法,使得Stokes參數(shù)圖像的邊緣細節(jié)變得更加清晰,同時對任何的微小位移具有魯棒性。將新得到的一組不同偏振角度的圖像進行了二進小波3層分解,對低頻和高頻系數(shù)進行特定的組合計算得到所需的Stokes參數(shù)圖像的高低頻系數(shù),最后進行交替投影重構(gòu)得到Stokes參數(shù)圖像。組合計算公式如下:

I=I0°+I90°Q=I0°-I90°U=I45°-I135°V=(I45°-I135°)左旋-右旋

(1)

I指光強度圖像,該圖像含有豐富的場景信息,但細節(jié)對比度較低；Q指0°、90°線偏振圖像的差值圖像；U指45°、135°線偏振圖像的差值圖像；V指左、右旋圓偏振分量圖像的差值圖像。由于圓偏振光在自然界地物中幾乎不存在,目前的儀器無法對其進行捕捉[15],故此處取V=0。

3.3 第二次融合

3.3.1 邊緣相關(guān)性

在第二次融合時用到了邊緣相關(guān)性這一指標。它一般是用來評價圖像的融合效果,此處用來估計融合圖像從源圖像中繼承邊緣信息量的多少。邊緣相關(guān)性公式如下:

(2)

(3)

(4)

3.3.2 融合方法

自然物較人造物表面顯得更加光滑,因此偏振參數(shù)圖像中人造目標與自然地物的灰度亦有所不同。在偏振參數(shù)圖像DOLP和AOP中,人造目標相對自然背景會更亮,有利于后續(xù)方便、快速地從復(fù)雜背景中辨別出所需的目標。對于偏振成像而言,可以利用不同的計算公式將Stokes參量變?yōu)镈OLP和AOP。

(5)

(6)

線偏振度DOLP這一概念是在不同物體的內(nèi)部構(gòu)造、外貌、材質(zhì)和粗糙度有所差別的基礎(chǔ)上提出來的,反映出對物體偏振態(tài)的輻射特性差異。偏振相角AOP不僅可以表征物體表面取向的不同,而且能凸顯背景和目標的輪廓細節(jié)以及表面紋理。由于AOP圖像信噪比較低,不利于圖像融合,故而只融合強度圖像I與線偏振度圖像DOLP。與第一次融合相比,高低頻融合規(guī)則上有所不同,低頻采用區(qū)域能量的方法,高頻是基于邊緣相關(guān)性準則的方法。

低頻融合準則:通過對2幅圖像的低頻系數(shù)圖像進行Canny邊緣檢測,若某一點為任一幅圖像上的邊緣點,則融合圖像F在這一位置選絕對值較大的低頻系數(shù),否則利用3×3窗口選取局部區(qū)域能量較大的低頻系數(shù)。

高頻融合準則:

(1)若邊緣點只在一幅圖像中出現(xiàn),則認為在該點處2幅圖像的邊緣不相似,故選擇這一邊緣點出現(xiàn)的那幅圖像的高頻系數(shù)作為融合后圖像F相應(yīng)點處的高頻系數(shù),即:

(7)

(2)若邊緣點在2幅圖像中同時出現(xiàn),但該點處2幅圖像的相關(guān)性小于閾值thr,則選取絕對值較大的那幅圖像的高頻系數(shù)。

(8)

(3)若邊緣點在2幅圖像中同時出現(xiàn),但該點處2幅圖像的相關(guān)性大于閾值thr,那么對2幅圖像的高頻系數(shù)進行加權(quán),使得邊緣較強的那幅圖像得到更大的權(quán)值。

(9)

(10)

wS=1-wL

(11)

4 融合結(jié)果及評價分析

為了驗證本文算法的有效性,實驗選用自然背景下拍攝到的4個不同角度偏振圖像。

圖2為4個不同偏振角度圖像,(a)為原始4個角度圖像；(b)為預(yù)處理后4個角度圖像。圖中去噪效果不明顯,但配準后的4幅圖像位置差異得到了很好的校正。

圖2 4個不同偏振角度圖像

圖3 強度I和線偏振度DOLP圖像

圖3為強度I和線偏振度DOLP圖像,(a)為直接計算得到的強度I和線偏振度DOLP圖像；(b)為一次融合得到強度I和線偏振度DOLP圖像。圖中可以明顯觀察到本文一次融合得到的DOLP圖像較直接計算視覺效果更好,細節(jié)更加豐富且清晰可辨,但強度圖像I幾乎沒有差別。從平均梯度(G)、熵(E)、空間頻率(SF)和邊緣強度4個方面對第一次融合與直接計算兩種結(jié)果對比,強度圖像I的評價指標值接近,而采用一次融合方法得到的DOLP圖像其評價指標都有所提高。其中邊緣強度提高了3.55%,平均梯度提高了4.52%,空間頻率提高了17.97%,熵值提高較少。表明本文方法得到的DOLP圖像所含邊緣信息較多,清晰度較好,空間活躍度較高,這與主觀評價一致。具體指標結(jié)果如表1所示。

表1 一次融合與直接計算結(jié)果對比

圖4為不同方法融合結(jié)果,(a)為拉普拉斯金字塔法融合結(jié)果圖像；(b)為小波變換法融合結(jié)果圖像；(c)為Curvelet變換法融合結(jié)果圖像；(d)為本文二次融合方法結(jié)果圖像。圖中可以看出,相比其他幾種典型的圖像融合算法,本文方法較其他傳統(tǒng)融合方法細節(jié)更豐富,在融合效果上更具優(yōu)勢,如馬路上的瀝青線、后面金屬板上的豎條紋清晰可見。表明了該融合圖像結(jié)合了強度圖像I明亮、清晰可辨的優(yōu)點和線偏振度圖像DOLP能反映不同物體性質(zhì)的特點,使物體的邊緣得到了很好地加強。

根據(jù)偏振圖像及本文算法的特點選擇平均值(AVE)、標準差(STD)、平均梯度(G)、熵(E)、互信息(MI)、結(jié)構(gòu)相似性(SSIM)和邊緣強度(EINT)等客觀評價指標對本文算法的性能進行評價,并與不同融合算法比較,就結(jié)果如表2所示。

圖4 不同方法融合結(jié)果

評價指標AVESTDGEMISSIMEINT拉普拉斯金字塔113.042960.49103.58857.76700.72460.842936.36474小波76.640635.71851.85786.86820.83700.736017.8250Curvelet123.587167.76913.17797.83550.84590.881231.5211二次融合126.827470.000811.98957.64620.90620.350798.6888

表2中可以看出本文算法是一種相對較好的融合方法,與傳統(tǒng)方法相比,除SSIM外,其他幾個客觀評價指標中都有一定的提高。本文算法相比傳統(tǒng)小波變換法平均值提高了65.48%,標準差提高95.98%,平均梯度是傳統(tǒng)小波的6.45倍,表明本文結(jié)果圖像平均亮度更高,灰度分布更分散,圖像細節(jié)更加清晰,視覺效果更好；熵值、互信息也有一定的提高,表明本文算法融合結(jié)果從源圖像中繼承的信息量較多,即融合圖像與原圖像的相關(guān)程度更高；雖然結(jié)構(gòu)相似性較其他方法有所降低,但邊緣強度有非常大的提高,是小波的5.54倍,說明本文基于邊緣的方法從源圖像中繼承了更多的邊緣信息,突出了目標的細節(jié)輪廓。因此,在那些希望突出偽裝或隱藏目標的應(yīng)用場合中,本文算法效果較好。

5 結(jié) 論

本文在偏振成像技術(shù)的基礎(chǔ)上,提出了一種基于多尺度邊緣表示的偏振圖像二次融合方法。通過二進小波多尺度分解,一次融合后得到偏振信息圖像,提高了線偏振度圖像的邊緣強度、清晰度和空間活躍性；二次融合利用邊緣相關(guān)性準則,保留了強度圖像的低頻近似特性,突出了線偏振度圖像的高頻偏振特性。結(jié)合主觀和客觀評價,對本文算法中一次融合、二次融合分別與直接計算法、傳統(tǒng)方法進行對比分析,結(jié)果表明:一次融合時,DOLP圖像中邊緣強度提高了3.55%,平均梯度提高了4.52%,空間頻率提高了17.97%；二次融合時,平均值提高了65.48%,標準差提高95.98%,平均梯度是傳統(tǒng)小波的6.45倍,邊緣強度是小波變換的5.54倍。多次實驗結(jié)果表明此算法豐富了圖像在不同尺度上的邊緣信息,突出了目標邊緣輪廓,大大提高了偏振成像的優(yōu)越性。下一步,將結(jié)合其他融合方法、融合準則,對不同場景、天氣情況下的偏振圖像進行融合,尋找不同條件下偏振圖像的最佳融合方法。

[1] LI Hailan,WANG Xia,ZHANG Chuntao,et al.research progress and analysis of target detectionBased on the polarization imaging technology[J].Optical Technique,2009,35(5):695-700.(in Chinese)

李海蘭,王霞,張春濤,等.基于偏振成像技術(shù)的目標探測研究進展及分析[J].光學(xué)技術(shù),2009,35(5):695-700.

[2] Zhao Yongqiang,Zhang Lei,Zhang David,et al.Object Separation by polarimetric and spectral imagery fusion[J].Computer Vision and Image Understanging,2009,113(8):855-866.

[3] ZHAO Yongqiang,PAN Quan,CHEN Chunyu,et al.The clutter background compression based on the polarization imaging technology and image fusion theory[J].Acta Electronica Sinica,2005,33(3):433-435.(in Chinese)

趙永強,潘泉,陳春玉,等.基于偏振成像技術(shù)和圖像融合理論雜亂背景壓縮[J].電子學(xué)報,2005,33(3):433-435.

[4] ZHANG Jinglei,Zhao Eying.Fusion Method for infrared and visible light images bsed on NSCT[J].Laser & Infrared,2013,43(3):319-323.(in Chinese)

張驚雷,趙俄英.基于NSCT的紅外與可見光圖像融合方法[J].激光與紅外,2013,43(3):319-323

[5] ZHANG Jingjing,FANG Yonghua.Multi-band polarization image fusion new algorithm based on visible light [J].

Acta Optica Sinica,2008,28(6):1067-1072.(in Chinese)

張晶晶,方勇華.基于可見光的多波段偏振圖像融合新算法[J].光學(xué)學(xué)報,2008,28(6):1067-1072.

[6] NIE Jingsong,WANG Zhen.Summarization of Infrared polarization detection technology[J].Infrared Technology,2006,28(2):63-67.(in Chinese)

聶勁松,汪震.紅外偏振探測技術(shù)綜述[J].紅外技術(shù),2006,28(2):63-67.

[7] Aron Y,Gronau Y.Polarization in the LWIR[C].Proceedings of SPIE,2005,5783:653-661.

[8] Jouan A,Allard Y.Land use mapping with evidential fusion of features extracted from polarimetric synthetic aperture radar and hyperspectral imagery[J].Information Fusion,2004,5(4):251-267.

[9] SHEN Huiyan,ZHOU Pucheng.Polarization imagery fusion method based on human visual characteristic[J].Opto-Electronic Engineering,2010,37(8):76-80.(in Chinese)

申慧彥,周浦城.一種基于人眼視覺特性的偏振圖像融合方法[J].光電工程,2010,37(8):76-80.

[10] YU Wenjun,GU Guohua,YANG Wei.Fusion algorithm of infrared polarization images based on wavelet transform[J].Laser Technology,2013,37(3):289-292.(in Chinese)

虞文俊,顧國華,楊 蔚.基于小波變換的紅外偏振圖像融合算法[J].激光技術(shù),2013,37(3):289-292.

[11] Wolter P T,Townsend P A.Multi-sensor data fusion for estimating forest species composition and abundance in northern Minnesota[J].Remote Sensing of Environment,2011,115(2):671-691.

[12] XIONG Zukun,Li Haiyun.Medical image segmentation algorithm which combined with heterogeneous diffusion and wavelet packet decomposition[J].Journal of Computer-aided Design and Graphics,2008,20(12):1647-1652.(in Chinese)

熊祖坤,李海云.結(jié)合異質(zhì)擴散和小波包分解的醫(yī)學(xué)圖像分割算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2008,20(12):1647-1652.

[13] LIANG Wei, ZHANG Bin,Lu Yi.A new multi-scale edge detection method based on wavelet transform[J].Fire and Command Control,2007,32(10):86-88.(in Chinese)

梁偉,張斌,魯藝.一種新的基于小波變換的多尺度邊緣提取方法[J].火力與指揮控制,2007,32(10):86-88.

[14] M ikolajczyk K,Schmid C.A performance evaluation of local descriptors[J].IEEE Transon Pattern Anal M ach Intell,2005,27(10):1615-1630.

[15] XUE Mogen,LIU Xiaocheng.The detection method research of moving targets polarization imaging under the complex environment[J].High Power Laser and Particle Beams,2014,(9):21-26.(in Chinese)

薛模根,劉曉誠.復(fù)雜環(huán)境下運動目標偏振成像檢測方法研究[J].強激光與粒子束,2014,(9):21-26.