王虹元

(大連工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，遼寧 大連 116034)

0 引言

為滿足對(duì)一種場景的精確描述，一般會(huì)使用幾種不同工作機(jī)理的圖像傳感器對(duì)場景進(jìn)行成像，然后對(duì)這些成像信息進(jìn)行特定算法的聯(lián)合處理，即圖像融合[1]。在遙感衛(wèi)星圖像融合方面，多光譜圖像和SPOT全色圖像的融合是目前研究熱點(diǎn)，前者可以很好地保留圖像的光譜信息，但空間分辨率較低，而后者則具有較好的空間分辨率特性，可彌補(bǔ)前者的缺點(diǎn)，所以將這兩種圖像進(jìn)行融合一直是遙感圖像融合領(lǐng)域的一個(gè)研究熱點(diǎn)。

圖像融合按照信息抽象程度可以分為像素級(jí)、特征級(jí)和決策級(jí)3個(gè)層次[2]。目前應(yīng)用比較廣泛的是基于像素級(jí)的融合算法，常見的有主成分分析法(PCA)[3]、分?jǐn)?shù)階樣條小波(IHS)變換法[4]、小波變換法[5]及Brovey變換法[6]、離散小波變換法(DWT)[7-8]等。這幾種算法在實(shí)際應(yīng)用中均會(huì)存在一定的缺點(diǎn)，IHS變換法是最基礎(chǔ)的算法之一，實(shí)現(xiàn)簡單，但得到的融合圖像的光譜信息損失很明顯，這與融合圖像應(yīng)包含豐富信息的初衷相差較遠(yuǎn)。主成分分析法(PCA)可適用于遙感圖像的所有波段，但在圖像融合應(yīng)用中，雖然可以增強(qiáng)圖像的空間表現(xiàn)力，但計(jì)算量大，損失光譜分辨率較多。離散小波變換法應(yīng)用于圖像融合，由于對(duì)圖像分解和重構(gòu)的抽樣處理，使得融合后的圖像存在明顯的方塊效應(yīng)，空間分辨率也較低。

近年來，圖像融合的熱點(diǎn)集中在對(duì)傳統(tǒng)算法的改進(jìn)以及將兩種算法的結(jié)合上，如基于IHS變換和小波變換[8-9]的融合算法、小波變換和PCA相結(jié)合算法[10]、基于提升小波的融合方法[11-12]等，這些方法屬于二維可分離小波，實(shí)現(xiàn)簡單易操作，應(yīng)用廣泛。但是這類小波只能對(duì)圖像的水平和垂直方向進(jìn)行處理，并不能較好地提取圖像的關(guān)鍵信息。GEERT[13]提出了一種不可分離小波，稱為Red-Black小波變換，它是一種二維提升小波。

綜上所述，本文將Red-Black小波和PCA相結(jié)合，用于遙感圖像的融合。首先使用PCA提取圖像的整體特征，即圖像的主成分，然后對(duì)主成分進(jìn)行Red-Black小波變換，并分別對(duì)小波變換后得到的高頻和低頻分量采用不同的方法進(jìn)行融合。由于PCA將多個(gè)相關(guān)變量轉(zhuǎn)換為少數(shù)幾個(gè)變量，節(jié)省內(nèi)存空間，而且對(duì)多光譜圖像的所有波段都適用。Red-Black小波變換是將圖像分解到不同的頻域，而人的視網(wǎng)膜圖像也是在不同的頻率通道中進(jìn)行處理的，這樣就能獲得更好的視覺效果。實(shí)驗(yàn)仿真表明，本文提出的算法既能提高圖像清晰度，又可以較好地保留融合圖像的光譜信息。

1 圖像主分量的Red-Black小波變換

Red-Black小波變換分為水平/垂直和對(duì)角方向上的提升，每一個(gè)提升小波變換分為分解、預(yù)測和更新3個(gè)步驟[14]。

下面以8×8的圖像X(i,j)說明Red-Black小波變換的基本原理。

1.1 水平/垂直提升

分解：將圖像X(i,j)即λi+1分別按水平和垂直方向交叉分為紅塊λi和黑塊γi,如圖1a所示。

預(yù)測：利用水平和垂直方向4個(gè)鄰域的紅塊來預(yù)測黑塊的值，并且用此數(shù)值來替代黑塊，那么圖像的細(xì)節(jié)信息就存放在這個(gè)黑塊中，如圖1b所示，其算式為

(1)

更新：接下來利用水平和垂直方向4個(gè)鄰域的黑塊來預(yù)測紅塊的值，并且用此數(shù)值來替代紅塊，那么圖像的近似信息就存放在這個(gè)紅塊之中，如圖1c所示，其算式為

X(i,j+1)+X(i,j-1))imod 2=jmod 2。

(2)

圖1 水平/垂直提升Fig.1 Horizontal/vertical ascent

1.2 對(duì)角提升

分解：將水平/垂直提升步驟中的紅塊按照對(duì)角線方向交叉劃分為藍(lán)塊系數(shù)和黃塊系數(shù)兩部分，見圖2a。

圖2 對(duì)角提升 Fig.2 Diagonal ascent

預(yù)測：由對(duì)角線方向4個(gè)鄰域的藍(lán)塊系數(shù)值來預(yù)測黃塊系數(shù)值，保存預(yù)測偏差到黃塊中，如圖2b所示,其算式為

X(i-1,j+1)+X(i+1,j-1))imod 2=1且jmod 2=1 。

(3)

更新：用預(yù)測偏差修正藍(lán)塊，使其保持原始圖像的均值特性，如圖2c所示,其算式為

X(i-1,j+1)+X(i+1,j-1))xmod 2=0且jmod 2=0 。

(4)

系數(shù)重排：為了圖像更好地進(jìn)行多分辨分析，在完成一次水平/垂直和對(duì)角提升步驟后，需要重新排列變換后的系數(shù)，如圖3所示。

圖3 系數(shù)重排Fig.3 Coefficient reordering

紅黑小波的重構(gòu)算法非常簡單，只需要根據(jù)分解算法的變換系數(shù)交叉排列，對(duì)變換進(jìn)行逆運(yùn)算就可實(shí)現(xiàn)[14]。

2 基于Red-Black小波的遙感圖像的改進(jìn)融合算法

在對(duì)遙感圖像的處理方面，多光譜MS圖像可以很精細(xì)地保留圖像的光譜信息，而SPOT全色PAN圖像可以很好地保持圖像的空間分辨率，因此這兩種圖像的融合一直備受關(guān)注。本文在對(duì)兩種圖像的融合算法上，采用PCA算法對(duì)圖像的主成分進(jìn)行處理，提取出圖像的主要信息，然后再對(duì)主成分進(jìn)行Red-Black小波變換。Red-Black小波變換作為不可分離小波，不僅可以消除行列方向的相關(guān)性，在水平和垂直方向上突出圖像，而且可以消除對(duì)角線方向的相關(guān)性[15]，從而提取更多有用信息。經(jīng)過紅黑小波提升之后的圖像信息被分成高頻成分和低頻成分，分別對(duì)其進(jìn)行不同的算法處理，再進(jìn)行紅黑小波和PCA的逆變換，就可以得到帶有更豐富信息的融合圖像。

本文將Red-Black小波變換和PCA結(jié)合，綜合Red-Black提升小波和PCA的優(yōu)勢，使用PCA進(jìn)行圖像融合的第一步，也即提取圖像的主成分，再對(duì)主成分進(jìn)行紅黑小波變換，在節(jié)省計(jì)算量的同時(shí)，保證了圖像的主要信息不丟失，而且還充分實(shí)現(xiàn)圖像的細(xì)節(jié)信息的最優(yōu)融合。

圖4所示為PAN圖像和MS圖像的融合步驟，具體圖像融合規(guī)則如下。

1) 首先將高分辨率PAN圖像和MS圖像進(jìn)行預(yù)處理(包括幾何校正以及精確配準(zhǔn)等)，圖像配準(zhǔn)是不同遙感器、不同時(shí)相或不同方位的兩幅或多幅圖像之間建立起同名點(diǎn)間一一對(duì)應(yīng)關(guān)系的過程，具體配準(zhǔn)方法有多項(xiàng)式擬合法、共線方程法、隨機(jī)場內(nèi)插法等。

2) 分別對(duì)處理過的PAN圖像和MS圖像進(jìn)行PCA變換，得到各自的第一主成分和第二、第三主成分：PC1，PC2，PC3和MC1，MC2，MC3。

3) 對(duì)第一主成分PC1和MC1進(jìn)行Red-Black小波變換分別得到高頻系數(shù)PSh,MSh以及低頻系數(shù)PSl,MSl。

4) 在對(duì)低頻成分進(jìn)行處理時(shí)，一般采用加權(quán)平均的算法，但是該算法使得融合系數(shù)直接由單個(gè)系數(shù)的數(shù)值決定，這就導(dǎo)致融合后的圖像存在邊緣模糊現(xiàn)象。鑒于以上缺點(diǎn)，本文使用一種基于局域方差的融合規(guī)則，該算法可以很好地利用經(jīng)過提升小波處理后的圖像的低頻系數(shù)的區(qū)域相關(guān)性，以能衡量區(qū)域相關(guān)性的區(qū)域方差為標(biāo)準(zhǔn)，得到融合后的圖像的低頻系數(shù)部分FFLW。

圖4 基于Red-Black小波的遙感圖像的改進(jìn)融合算法Fig.4 The improved remote sensing image fusion algorithm based on Red-Black wavelet

首先對(duì)于權(quán)值α(d)滿足

(5)

則局部方差為

(6)

式中：α(d)的大小和d點(diǎn)到b點(diǎn)的距離正相關(guān)，以此類推可以得到H(p,b)。

其次定義匹配矩陣為

(7)

式(7)中，低頻圖像的相關(guān)程度隨著各點(diǎn)在[0,1]的取值范圍內(nèi)越大就越相關(guān)。若M(b)≤T，則

(8)

若M(b)>T，則

ψ(FFLW,b)=λMψ(M,b)+λPψ(P,d)

(9)

式中：T表示匹配閾值，取值范圍為[0.5,1];λp=1/2-1/2((1-M(p)/(1-T));λM=1-λp。

5) 圖像經(jīng)提升小波變換后，高頻分量反映圖像的細(xì)節(jié)信息，包含了大量的圖像邊緣和紋理信息，對(duì)圖像的清晰度有很大的影響。在各層的高頻系數(shù)，采用基于極大值的選擇規(guī)則[16]，得到融合后的高頻系數(shù)FFH。

6) 利用上述步驟融合后的小波系數(shù)FFLW和FFH進(jìn)行Red-Black小波重構(gòu)，得到第K-1層的低頻系數(shù)，然后將該系數(shù)與第K-1層的高頻系數(shù)按照步驟4)和步驟5)進(jìn)行融合，一直得到新的第一主成分FC1，其中小波分解級(jí)數(shù)K取3。

7) 將FC1代替步驟2)中的MC1，與圖像的另外兩個(gè)主成分MC2和MC3進(jìn)行PCA反變換，得到最終的融合圖像。

3 實(shí)驗(yàn)結(jié)果及分析

本文選取Land sat-TM多光譜圖像與SPOT全色圖像作為實(shí)驗(yàn)圖像。圖5、圖6是實(shí)驗(yàn)結(jié)果。其中，圖5a、圖6a與圖5b、圖6b是MS圖像、PAN圖像的源圖像，尺寸均為 512像素×512像素。圖5c、圖6c是利用PCA變換法[3]得到的融合圖像;圖5d、圖6d是經(jīng)IHS變換[4]得到的圖像；圖5e、圖6e是利用加權(quán)平均(AVER)得到的圖像，權(quán)值取0.5；圖5f、圖6f是利用小波變換法[17](WT)進(jìn)行一級(jí)分解得到的圖像；圖5g、圖6g是基于“Daubechies13”小波與PCA變換[18]相結(jié)合的算法(WT-PCA變換)得到的融合圖像，分解級(jí)數(shù)為3級(jí)；圖5h、圖6h是基于本文的算法(RBWT-PCA變換)得到的融合圖像，匹配閾值T取0.5。

圖5 IKONOS融合圖像Fig.5 IKONOS image fusion

圖6 Land sat-TM和SPOT融合圖像Fig.6 Land sat-TM and SPOT image fusion

3.1 主觀評(píng)價(jià)

從視覺上看，經(jīng)IHS和PCA變換得到的融合圖像明顯存在光譜信息扭曲、亮度不足，色彩發(fā)生了畸變；使用WT算法得到融合的圖像較暗，存在方塊效應(yīng)；基于加權(quán)平均的圖像融合方法得到的圖像較為模糊，清晰度低，圖像的輪廓和邊緣細(xì)節(jié)表現(xiàn)上也存在明顯不足；基于WT-PCA算法得到的圖像亮度有所增加，使用RBWT-PCA變換得到的圖像不僅具有良好的亮度，而且在圖像邊緣細(xì)節(jié)上都很清晰。

3.2 客觀評(píng)價(jià)

由于人類視覺系統(tǒng)的缺陷及差異，所以有必要客觀定量地分析融合后圖像的效果。本文選取的評(píng)價(jià)指標(biāo)有綜合評(píng)價(jià)指數(shù)、扭曲度、清晰度、熵值[19-21]。表1和表2顯示了各項(xiàng)指標(biāo)的實(shí)驗(yàn)數(shù)據(jù)值。

表1 IKONOS多光譜圖像與IKONOS全色圖像

表2 Land sat-TM多光譜圖像和SPOT融合圖像

由表1和表2可以看出，利用本文算法得到的融合圖像效果與其他方法相比,既保留了MS圖像相對(duì)多的光譜信息,又表現(xiàn)了良好的清晰度，并且圖像的熵值也是最大，表明圖像包含了更多的信息。相比較而言，雖然加權(quán)平均算法扭曲度較低，但是融合后的圖像的清晰度不高，這是因?yàn)榧訖?quán)平均同時(shí)模糊了兩幅圖像的細(xì)節(jié)部分，減少了原來圖像輪廓和邊緣的表現(xiàn)力，降低了圖像的對(duì)比度；PCA變換則是用PAN圖像的第一主成分替換掉MS圖像的第一主成分，這樣就使得融合后的圖像的清晰度高，而扭曲度就比較大；IHS變換是將PAN圖像直接置換MS圖像的亮度分量，故融合后的圖像產(chǎn)生了光譜退化現(xiàn)象；因此，綜合考慮融合后圖像的效果，本文算法在多光譜圖像的融合方面具有顯著改進(jìn)。

4 實(shí)驗(yàn)結(jié)論

本文提出了一種基于Red-Black小波遙感圖像的改進(jìn)融合算法。該算法摒棄了傳統(tǒng)小波依賴頻率域、進(jìn)行下采樣、融合后的圖像有方塊效應(yīng)等缺點(diǎn)，利用紅黑小波具有同址運(yùn)算優(yōu)點(diǎn)，在具體實(shí)現(xiàn)時(shí)可省去大量存儲(chǔ)的開銷，而且提升小波在同等硬件條件下，對(duì)二維小波變換可節(jié)省3/4的時(shí)間，有利于系統(tǒng)實(shí)時(shí)處理。另外，該算法也結(jié)合了PCA可以對(duì)任意多個(gè)波段進(jìn)行融合的優(yōu)勢。對(duì)于融合后的圖像，從主觀視覺上可以看出，利用本文的算法融合后的圖像清晰，具有較多的光譜信息;從客觀評(píng)價(jià)指標(biāo)上看，該方法得到的融合圖像信息熵優(yōu)于其他算法，其在保持高分辨率信息和光譜信息的能力比基于PCA變換、IHS變換、WT-PCA變換算法都要優(yōu)越。

[1] 陳立偉,蔣勇.圖像融合算法的綜合性能評(píng)價(jià)指標(biāo)[J].計(jì)算機(jī)工程,2015,41(2):219-223.

[2] 余軍.基于像素級(jí)的圖像融合技術(shù)研究[D].上海:上海師范大學(xué),2013.

[3] 魏旭.基于主成分分析的特征融合及其應(yīng)用[D].成都：電子科技大學(xué),2008.

[4] 劉紅毅,韋志輝.基于分?jǐn)?shù)階樣條小波與IHS變換的圖像融合[J].南京理工大學(xué)學(xué)報(bào):自然科學(xué)版,2006,30(1):81-84.

[5] 陳浩,王延杰.基于小波變換的圖像融合技術(shù)研究[J].微電子學(xué)與計(jì)算機(jī),2010,27(5):39-41.

[6] 聶倩,閆利,蔡元波.一種Brovey變換圖像融合法的改進(jìn)算法[J].測繪地理信息,2008,33(3):38-39.

[7] DESALE R P,VERMA S V.Study and analysis of PCA,DCT & DWT based image fusion techniques[C]//International Conference on Signal Processing Image Processing & Pattern Recognition， IEEE,2013:66-69.

[8] 劉貴喜,劉純虎,凌文杰.一種基于小波多分辨率分解的圖像融合新算法[J].光電子·激光,2004,15(3):344-347.

[9] CHEN S H,ZHANG R H,SU H B,et al.SAR and multispectral image fusion using generalized IHS transform based on à trous wavelet and EMD decompositions[J].IEEE Sensors Journal,2010,10 (3):737-745.

[10] 伊力哈木·亞爾買買提,謝麗蓉,孔軍.基于PCA變換與小波變換的遙感圖像融合方法[J].紅外與激光工程,2014,43(7):2335-2340.

[11] ZHANG W,YANG J Z,WANG X H,et al.The fusion of remote image based on lifting wavelet transformation[J].Computer Information Science,2009，2(1):65-75.

[12] SUN F X,SUN D,YU Z X,et al.The fast image fusion based on a lifting wavelet algorithm[J].Intelligent Control and Automation,2004,5:4112-4116.

[13] GEERT U,ADHEMAR B.The red-black wavelet transform[C]//Signal Processing Symposium,IEEE,1998:191-194.

[14] 劉斌,祝青,彭嘉雄.基于Red-Black小波變換的多光譜圖像融合方法[J].儀器儀表學(xué)報(bào),2011,32(2):408-414.

[15] MOORTHI S M,GAMBHIR R K,MISRA I,et al.Adaptive stochastic gradient descent optimization in multi temporal satellite image registration[C]//Recent Advances in Intelligent Computational Systems,IEEE,2011:373-377.

[16] 李亞春，武金崗.小波變換圖像融合規(guī)則性能的分研究[J].計(jì)算機(jī)工程與應(yīng)用，2010,46(8):180-182.

[17] WU S,ZHAO B,BIAN M.A new fusion method of remote sensing images based on wavelet transform[C]//International Conference on Signal Processing,IEEE,2013:829-832.

[18] NAIDU V,RAOL J R.Pixel-level image fusion using wavelets and principal component analysis[J].Defence Science Journal,2008,58(3):338-352.

[19] LI S,YANG B,HU J.Performance comparison of diffe-rent multi-resolution transforms for image fusion[J].Information Fusion,2011,12(2):74-84.

[20] WANG Z,BOVIK A C.A universal image quality index[J].IEEE Signal Processing Letters,2002,9(3):81-84.

[21] LEUNG L W,KING B,VOHORA V.Comparison of image data fusion techniques using entropy and INI[C]//The 22nd Asian Conference on Remote Sensing,2001:132-139.