代鵬，許海山

(福州大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院，福建 福州 350116)

0 引言

圖像融合是最重要的圖像處理技術(shù)之一，它利用多傳感器對(duì)同一場景中的不同圖像獲取互補(bǔ)和冗余的信息，使場景具有更全面、準(zhǔn)確的解釋[1]。它是計(jì)算機(jī)視覺、醫(yī)學(xué)圖像、軍事、遙感等領(lǐng)域中有關(guān)信息融合技術(shù)的最前沿研究熱點(diǎn)之一[2-3]。初期的圖像融合算法大多是基于空間域的分析[4]，一般采用加權(quán)平均法和主成分分析(PCA)算法。此后，許多研究人員開始嘗試從多尺度分析入手。1983年BURT等人提出了金字塔圖像分析算法，并在此變換域內(nèi)分別對(duì)圖像的各子帶系數(shù)進(jìn)行融合[5]。1990年，ZHOU Y T 將對(duì)比度金字塔變換應(yīng)用于圖像融合，并加入了非下采樣算法[6]。到了90年代，各種小波變換的融合技術(shù)涌現(xiàn)。MALLET S G提出了完整小波表示的數(shù)學(xué)模型[7]。RANCHIN T和WALD L于1993年首次將標(biāo)準(zhǔn)離散小波應(yīng)用到遙感圖像的融合中[8]。之后，各種基于小波融合方法被廣泛應(yīng)用[9-10]。隨著多尺度分析理論的發(fā)展，出現(xiàn)了大量新的圖像多尺度圖分析處理方法[11-12]。與傳統(tǒng)方法相比，這些方法具有更好的方向識(shí)別能力和圖像稀疏表示能力。2002年，DO M N和VETTERLI M開發(fā)出了一種更趨于真實(shí)的二維圖像的描述方法—輪廓波變換法(CT)[13]。CT變換具有很好的局部特性和多向性，可以提供不同頻率和尺度的子帶分解系數(shù)。它能更稀疏地表示圖像的輪廓曲線，使圖像紋理細(xì)節(jié)的能量部分更加集中。2006年，DA CUNHA A L在CT變換的基礎(chǔ)上提出非下采樣輪廓波變換(nonsubsampled contourlet,NSCT)理論[14]，去除了對(duì)信號(hào)的上下采樣操作，構(gòu)建非下采樣金字塔變換(NSP)和非下采樣方向?yàn)V波器組(NSDFB)，消除了Gibbs現(xiàn)象，并且使算法擁有平移不變性。

近年來，出現(xiàn)了許多基于非下采樣輪廓波變換(NSCT)的圖像融合算法。與傳統(tǒng)多焦點(diǎn)圖像融合算法相比，一種基于改進(jìn)的NSCT雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)的新算法被提出來[15-16]，該算法可以提高融合效果。KONG W W提出了一種基于NSCT和改進(jìn)的Spiking皮層模型(ISCM)的多聚焦圖像融合方法?；贜SCT-ISCM的新型圖像融合技術(shù)在主客觀性能兩方面都優(yōu)于目前流行的圖像融合技術(shù)[17]。ZHANG Q提出了一種基于NSCT和壓縮感知(compressive sensing,CS)的紅外和可見光圖像自適應(yīng)融合方法，在光照條件較差的情況下更有效[18]。LI H F提出了一種基于NSCT和低層視覺特征的紅外與可見光圖像融合方案，該方案也可以獲得優(yōu)越的效果[19]。因此基于NSCT的圖像融合算法在多焦點(diǎn)圖像融合中具有許多優(yōu)勢(shì)。在魯棒主成分分析(RPCA)和NSCT中，稀疏矩陣用于基于低頻子帶系數(shù)和高頻子帶系數(shù)指導(dǎo)融合規(guī)則[20]，該方法可以將背景信息保留在可見圖像中。稀疏表示(SR)方法引入圖像融合后[21-22]，也被用于NSCT域進(jìn)行圖像融合[23]，融合后的圖像保留了較好的結(jié)構(gòu)相似性和細(xì)節(jié)。WANG Z S利用形態(tài)順序開關(guān)算子(MSTO)提取NSCT分解子帶的明暗圖像特征，然后混合融合，可有效抑制原圖像的噪聲和偽邊緣[24]。WU C M提出了雙NSCT和PCNN算法(Dual NSCT-PCNN)[25]，該算法可完全提取可見光圖像的紋理信息，解決了紋理細(xì)節(jié)不能完全融合的問題?，F(xiàn)有NSCT圖像融合算法可以很好地融合圖像，但需處理的數(shù)據(jù)量較大，算法運(yùn)行較慢，尤其在融合較大圖像或尺度分解級(jí)數(shù)與方向分解級(jí)數(shù)較大時(shí)。針對(duì)這些不足，本文將NSCT的圖像融合算法與壓縮感知理論結(jié)合，以減少NSCT圖像融合所需處理的數(shù)據(jù)量，提高算法運(yùn)行速度。

1 NSCT理論

NSCT是一種優(yōu)異的二維圖像多尺度分解工具。NSCT不但繼承了輪廓波變換對(duì)圖像多尺度、多方向分解的優(yōu)良特性，同時(shí)彌補(bǔ)了輪廓波變換中所缺失的平移不變性。NSCT變換中先后使用非下采樣的金字塔(NSP)分解濾波器和非下采樣的方向?yàn)V波器組(NSDFB)對(duì)二維圖像進(jìn)行分解，其過程先利用NSP對(duì)源圖像進(jìn)行多尺度的分解，然后再采用NSDFB對(duì)高頻分量進(jìn)行多方向分解，從而獲得不同尺度、不同方向下的子帶圖像。NSP每次將圖像分解為一個(gè)低通子帶圖像和一個(gè)帶通子帶圖像，隨后的分解都是在低通子帶上迭代進(jìn)行。NSDFB的多方向分解在NSP多尺度分解結(jié)束后進(jìn)行，NSDFB將NSP每級(jí)分解得到的帶通子帶分解成多個(gè)不同方向的子圖像，以提取更加精確的方向性信息。由于NSCT的分解過程中使用的是非下采樣的金字塔濾波器，因而具有平移不變性，這使得分解后的所有子圖像大小均相等。

圖1是應(yīng)用NSCT對(duì)圖像分解的示意圖。

圖1 NSCT分解的結(jié)構(gòu)示意圖

1.1 NSCT低頻系數(shù)融合

本文針對(duì)待NSCT變換低頻子帶的融合圖像，采用基于區(qū)域平均能量自適應(yīng)加權(quán)算法。待融合圖像A和B低頻子帶的區(qū)域能量可以描述為：

(1)

(2)

其中：w表示區(qū)域窗口掩模；M×N的大小可以選擇3×3或者5×5。本文選擇3×3的模板，w=[1,2,1;2,3,2;1,2,1]/15。權(quán)重系數(shù)定義如下：

(3)

(4)

其中k0為調(diào)整權(quán)重系數(shù)的參數(shù)。因此，融合后的低頻系數(shù)可以定義為

(5)

1.2 NSCT高頻系數(shù)融合

高頻子帶系數(shù)反映了圖像的邊緣、曲線等局部特性，反映更多的獨(dú)立性信息。針對(duì)此特性，對(duì)高頻子帶采取絕對(duì)值最大原則。較大的絕對(duì)值往往對(duì)應(yīng)著更清晰的亮度變化，因此該融合準(zhǔn)則可以很好地突出圖像的細(xì)節(jié)特征。在最高尺度J分解層的融合系數(shù)為

(6)

2 壓縮感知

對(duì)于可壓縮或可稀疏的信號(hào),壓縮感知能以遠(yuǎn)遠(yuǎn)低于Nyquist的采樣頻率,通過觀測矩陣進(jìn)行非自適應(yīng)采樣，然后利用重構(gòu)算法準(zhǔn)確重構(gòu)原始信號(hào)[26]。傳統(tǒng)信號(hào)處理是先進(jìn)行采樣，再進(jìn)行壓縮，最后還需進(jìn)行解壓，如此會(huì)增大采樣、傳輸、存儲(chǔ)的壓力；而壓縮感知處理系統(tǒng)的采樣過程與測量過程同時(shí)進(jìn)行，減小了數(shù)據(jù)的采集、傳輸、存儲(chǔ)量。

若一個(gè)一維離散信號(hào)x長度為N，可通過正交基Ψ展開為x=Ψα。若x在正交基Ψ下有k個(gè)不為0的值(其中k<

盡管要從y中解出α仍不容易，但由于系數(shù)α是稀疏的，其個(gè)數(shù)大大減小，使得方程組可以通過相應(yīng)的重構(gòu)算法求解出來。其中，測量矩陣Φ需滿足限制性等距(RIP)準(zhǔn)則。

3 基于NSCT-CS變換的圖像融合

本文所研究的改進(jìn)NSCT圖像融合算法的主要思想是：首先，通過NSCT變換分解輸入的兩幅源圖像，分別得到各自的低頻子帶系數(shù)及高頻帶通系數(shù)；低頻系數(shù)由于不具有稀疏性，所以直接對(duì)其使用融合規(guī)則進(jìn)行融合，得到融合后的低頻系數(shù)；高頻系數(shù)具有稀疏性，可運(yùn)用壓縮感知對(duì)其進(jìn)行測量，對(duì)測量值采用對(duì)應(yīng)的融合規(guī)則進(jìn)行融合，再采用重構(gòu)算法對(duì)融合后的高頻系數(shù)進(jìn)行重構(gòu)得到重構(gòu)后的高頻融合系數(shù)；最后，通過NSCT算法對(duì)低頻融合系數(shù)和重構(gòu)后的高頻融合系數(shù)進(jìn)行逆變換，從而獲得融合后的圖像。圖2為改進(jìn)的NSCT圖像融合算法流程。

圖2 改進(jìn)的NSCT圖像融合算法流程圖

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的改進(jìn)NSCT圖像融合算法的穩(wěn)健性和有效性，將改進(jìn)NSCT與其他融合算法進(jìn)行了比較，如離散小波變換(DWT)算法、Contourlet變換(CT)算法和傳統(tǒng)NSCT融合算法結(jié)果進(jìn)行對(duì)比。采用掃描電鏡圖像來確定所提出的圖像融合算法的好壞。掃描電鏡圖像是一種具有納米分辨率的高精度儀器。在納米尺度上，環(huán)境振動(dòng)、溫度變化等因素容易導(dǎo)致樣品的傾斜和漂移，最終導(dǎo)致樣品的表面形貌畸變和測量誤差。圖像融合技術(shù)可以減少測量誤差，消除表面漂移。如圖3所示，兩對(duì)圖像可以在不同的測量條件下從四幅圖像中進(jìn)行配準(zhǔn)，利用圖像融合技術(shù)，對(duì)兩幅已配準(zhǔn)的圖像進(jìn)行融合，可以獲得更準(zhǔn)確的圖像。

圖3 圖像誤差校正示意圖

本實(shí)驗(yàn)選取多孔氧化鋁膜(PAA)作為測試樣品進(jìn)行掃描電鏡觀察。它具有典型的高度有序的納米孔陣列結(jié)構(gòu)，可以用來校準(zhǔn)掃描電鏡。兩對(duì)(-1°和+1°、-2°和+2°)掃描電子顯微鏡(SEM)圖像經(jīng)SURF算法進(jìn)行配準(zhǔn)。如表1所示，采用峰值信噪比(PSNR)和均方根誤差(RMSE)來評(píng)估SURF算法的準(zhǔn)確性。結(jié)果表明，SURF算法提高了圖像的對(duì)比度，使配準(zhǔn)的圖像更加清晰。

表1 兩組配準(zhǔn)后SEM圖像的峰值信噪比

為了驗(yàn)證改進(jìn)NSCT方法在高分辨率圖像糾錯(cuò)中的可行性，將多角度配準(zhǔn)后的SEM圖像分別進(jìn)行DWT、CT、NSCT和NSCT-CS的融合。圖4為4種方法的SEM圖像融合結(jié)果。改進(jìn)后的NSCT與傳統(tǒng)NSCT融合算法相比，信息熵、平均梯度、空間頻率均有所增加，如表2所示。然而，相關(guān)系數(shù)和結(jié)構(gòu)相似度卻相差無幾。通過分析，得出的原因有以下兩點(diǎn)：首先，本文算法是基于NSCT融合算法優(yōu)化得到的，本質(zhì)上濾波器的結(jié)構(gòu)并沒有發(fā)生變化，只是對(duì)相關(guān)的融合規(guī)則進(jìn)行了改進(jìn)。此外，更重要的一點(diǎn)是，本文在原有NSCT變化的基礎(chǔ)上引入壓縮感知理論，對(duì)數(shù)據(jù)量進(jìn)行了適當(dāng)?shù)膲嚎s，如圖4(d)中的融合圖像就是將高頻信息進(jìn)行了60%的壓縮，在數(shù)據(jù)量減少的前提下，仍然能夠?qū)崿F(xiàn)傳統(tǒng)NSCT 的融合效果，甚至在客觀數(shù)據(jù)上優(yōu)于NSCT的融合效果，驗(yàn)證了本文算法的優(yōu)勢(shì)所在。

圖4 各算法對(duì)不同傾斜角SEM圖像的融合結(jié)果

表2 不同融合方法的客觀定量分析

總體來說，將4幅PAA掃描電鏡源圖像進(jìn)行配準(zhǔn)，獲得足夠匹配精度的待融合圖像，然后再對(duì)其進(jìn)行融合實(shí)驗(yàn)，可得到一幅校正圖像。融合后的圖像誤差更小，精度更好。由此可得到孔徑和距離更為精確的多孔氧化鋁樣品，也有助于樣品表面形貌的重構(gòu)。因此，通過本文提出的圖像融合算法對(duì)精確配準(zhǔn)過的SEM圖像進(jìn)行誤差校正，可以獲得更為精確的樣品形貌圖像。

5 結(jié)語

NSCT具有良好的各向異性及平移不變性，但待融合圖像經(jīng)NSCT分解后，其高頻信息的數(shù)據(jù)量隨分解級(jí)數(shù)和分解方向數(shù)呈指數(shù)增長，為此提出一種基于壓縮感知的NSCT圖像融合方法，減少融合數(shù)據(jù)量。該方法在SEM圖像的圖像融合應(yīng)用中具有明顯的優(yōu)勢(shì)。改進(jìn)的NSCT圖像融合算法可以有效地保存源圖像的重要信息，具有較強(qiáng)的細(xì)節(jié)維護(hù)能力。對(duì)于高分辨率儀器來說，校正測量誤差、減少納米級(jí)的圖像漂移是非常重要的?；趬嚎s感知的NSCT算法的圖像融合是一種潛在的、前瞻性的圖像處理技術(shù)，可用于提高高精度儀器的測量精度。