張淑艷 朱 娟 王 超 田紀亞 曾小慧

1(長春光華學院電氣信息學院 吉林 長春 130033) 2(井岡山大學電信學院 江西 吉安 343000)

0 引 言

遙感圖像通常分為含有豐富光譜信息的多光譜圖像，以及具有較高空間分辨率的全色圖像[1]。為了得到同時具有豐富光譜信息與較高分辨率的遙感圖像，通常需要將多光譜圖像與全色圖像進行融合，即遙感圖像融合[2]。

近年來，國內外學者提出一系列的遙感融合方法，如Deng等[2]利用局部方差特征設計了一種遙感圖像融合算法，通過滑動窗口計算圖像的局部方差，利用IHS變換獲取圖像的亮度分量，通過局部方差特征求取亮度分量以及SPOT圖像的權重，進而通過IHS逆變換獲取融合圖像。實驗結果顯示，這種方法融合的圖像具有較好的空間信息，清晰度較高，不存在模糊現象。但由于IHS變換獲取的亮度分量與全色圖像存在一定偏差，導致融合結果中存在光譜失真現象，使得融合圖像的顏色偏深。Zhang等[3]將PCA方法與稀疏表示用于遙感圖像的融合，通過PCA方法建立高空間分辨率的多光譜圖像字典，使用將稀疏表示產生的殘差插值作為補償，進而實現遙感圖像的融合，實驗結果顯示，該方法融合的圖像具有較好的空間分辨率，不存在塊效應等，融合圖像的細節(jié)較為清晰，而且圖像質量指數也較好。但由于PCA方法存在光譜丟失的缺陷，導致融合圖像中具有光譜扭曲的缺陷，融合圖像的人眼視覺有待提升。趙學軍等[4]通過shearlet變換獲取圖像的高頻系數與低頻系數，利用OMP算法獲取稀疏系數，并利用圖像的能量信息完成低頻系數的融合，采用PCNN方法來實現高頻系數的融合，通過OMP重構及shearlet逆變換獲取融合圖像。實驗結果顯示，該方法具有較好的融合圖像的視覺效果，其融合圖像保持了源圖像的絕大部分光譜色彩信息，并改善了圖像的空間細節(jié)信息，其平均梯度值與信息熵分別保持在14.3、16以上。但是該方法在低頻系數融合時，只考慮了圖像的能量信息，而忽略了圖像的光譜信息特征，使得融合圖像中存在光譜扭曲等缺陷，而且shearlet變換具有下采樣過程，不具備平移不變性，使得融合圖像存在模糊效應。

為了使得融合的遙感圖像包含更多的光譜信息與空間信息，本文提出了一種非下采樣Contourlet變換與區(qū)域信息特征相結合的遙感圖像融合算法。通過HSV變換分解出多光譜圖像的亮度分量。利用具有平移不變性的非下采樣Contourlet變換對亮度分量以及全色圖像進行分解，得到高頻系數與低頻系數。在低頻系數融合時，通過圖像的區(qū)域能量度量圖像特征信息的大小，并通過信息熵度量圖像中的光譜信息，利用圖像的區(qū)域能量以及信息熵特征作為低頻系數的融合依據，完成低頻系數融合。通過圖像的區(qū)域方差相似度對圖像塊的區(qū)域方差差異度進行度量，建立高頻系數融合規(guī)則，完成高頻系數融合。利用非下采樣Contourlet逆變換以及HSV逆變換完成圖像融合。最后，測試了所提算法的融合質量。

1 算法設計

所提的基于非下采樣Contourlet變換與區(qū)域信息特征的遙感圖像融合算法過程見圖1。從圖1可知，本文算法主要由提取亮度分量、獲取分解系數以及系數融合三部分組成：

1) 提取亮度分量。利用HSV變換從多光譜圖像中提取出包含圖像主要亮度信息的亮度分量V。

2) 獲取分解系數。通過非下采樣Contourlet變換，將亮度分量V及全色圖像進行系數分解，得到圖像的低頻系數與高頻系數。

圖1 本文遙感圖像算法的融合過程

1.1 提取亮度分量

HSV變換過程中包含了色調分量H、飽和度分量S、亮度分量V。通過H、S、V三個分量、形成一個如圖2所示的錐形HSV變換空間[5]。多光譜圖像通過HSV變換可被分解成H、S、V三個分量，該分解過程如下。

圖2 HSV變換空間示意圖

令R、G、B表示三原色中的三個分量，a=max(R,G,B)以及b=min(R,G,B)分別表示R、G、B分量中的最大值與最小值，則HSV變換過程可表述為[6]：

(1)

(2)

V=a

(3)

令H=360°與H=0°時相等，則HSV反變換可表述為：

(4)

(5)

對多光譜圖像進行HSV變換后，可提取其亮度分量。以圖3(a)所示多光譜圖像為例，對其進行HSV變換，提取出的亮度分量如圖3(b)所示。

(a) 多光譜圖像 (b) 所提取亮度分量圖3 亮度分量提取結果圖

1.2 獲取分解系數

非下采樣Contourlet變換不僅繼承了Contourlet變換具有的多方向性，而且還具有平移不變性，克服了Contourlet變換在對圖像進行系數分解時產生的塊效應，使得融合圖像的質量得以提升。對此，本文將采用非下采樣Contourlet變換對圖像進行系數分解，獲取低頻與高頻系數。

非下采樣Contourlet變換在結構上由非下采樣金字塔NSP(Nonsubsampled Pyramid)以及非下采樣方向濾波器組NSDFB(Nonsubsampled Directional Filter Bank)構成[7]。下采樣Contourlet變換中的NSP具有非下采樣性，其通過雙通道的NSDFB進行迭代來構造NSP，可以達到多尺度分解的效果。在實現NSP分解后，非下采樣Contourlet變換還將采用NSDFB對分解所得的高頻子帶進行多方向的分解[8]。NSDFB通過利用多種采樣矩陣對扇形濾波器進行上采樣，同時對前級分解子帶采用濾波操作，以實現對子帶圖像進行精細方向分解的效果。

非下采樣Contourlet變換利用NSP與NSDFB分別實現精細的多尺度與多方向的分解，從而使得獲取到的低頻系數與高頻系數能夠包含更多的空間與光譜信息。圖3(b)中的亮度分量和圖4(a)中的全色圖像經過非下采樣Contourlet變換后所得到的結果分別如圖4(b)與圖4(c)所示。

(a) 全色圖像 (b)亮度分量系數分解圖

(c) 全色圖像系數分解圖圖4 非下采樣Contourlet變換系數分解效果圖

1.3 系數融合策略

信息熵能夠對圖像所含信息量進行度量，同時也能對圖像的光譜信息量進行度量。本文將通過圖像的區(qū)域能量以及信息熵兩個特征，構建低頻系數融合模型，使得在融合低頻系數時不僅能夠考慮圖像的特征信息，而且還能兼顧圖像的光譜信息。

在低頻系數H(x,y)中，以任意像素點p(i,j)為中心建立一個尺寸為3×3的矩形窗口L，則該窗口內的區(qū)域能量R為[9]：

(6)

通過式(6)求取不同低頻系數Ha與Hb中區(qū)域能量的占比Ea與Eb：

(7)

令圖像的灰度級為{0,1,2,…,S-1}，其中灰度n(n

(8)

式中：lb表示以2為底的對數運算。

通過式(8)按照類似式(7)的方法，求取不同低頻系數Ha與Hb中信息熵的占比Wa與Wb。則通過區(qū)域能量與信息熵特征構造的低頻系數融合模型為：

Hc=(Ea+Wa)Ha+(Eb+Wb)Hb

(9)

式中：Hc表示融合后的低頻系數。

在高頻系數融合的過程中，本文將利用圖像的方差，對不同高頻系數的區(qū)域方差差異度進行度量，并根據度量結果，建立高頻系數融合規(guī)則，實現高頻系數的融合。

令高頻系數T(x,y)中，以任意像素點p(n,m)為中心建立的尺寸為3×3的矩形窗口U中的系數平均值為K(n,m)，方差為F(n,m)，則不同高頻系數Ta與Tb對應的區(qū)域方差相似度D(n,m)為[11]：

(10)

區(qū)域方差相似度D(n,m)的大小反映了不同高頻系數的區(qū)域差異度，其值越大表示不同高頻系數的區(qū)域特征差異較小。本文根據區(qū)域方差相似度D(n,m)建立的高頻系數融合規(guī)則如下。

選取相似度閾值YF對D(n,m)大小進行判斷，若D(n,m)

(11)

若D(n,m)≥YF，則高頻系數的融合規(guī)則為：

(12)

式中：Tc(n,m)為融合后的高頻系數。

以圖3(a)與圖4(a)為對象，利用上述算法融合后所輸出的結果如圖5所示。從圖5可見，融合后圖像具有較好的光譜特性與空間特性。

圖5 本文算法的融合結果

2 實 驗

實驗硬件環(huán)境為AMDR3CPU、500 GB硬盤的PC機，采用MATLAB 7.0作為軟件環(huán)境。實驗中設置的對照組為文獻[12]及文獻[13]中的算法。實驗中將相似度閾值YF的值設置為0.4。

2.1 不同算法融合圖像的視覺分析

圖6為不同算法對SOPT5衛(wèi)星拍攝的某綠化區(qū)的遙感圖像(大小為512×512)融合結果。從圖6可見，文獻[12]算法融合的圖像(見圖6(c))中存在較為嚴重的光譜扭曲現象，圖像中的建筑物顏色偏紫色，而且左下角的方框所示的觀察區(qū)中存在塊效應現象，綠色植被輪廓不清晰。文獻[13]算法融合的圖像(見圖6(d))中存在的光譜失真現象，圖像中的綠色植被顏色偏淺，而且左下角的方框所示的觀察區(qū)中存在模糊效應現象，綠色植被模糊不清。本文算法融合的圖像(見圖6(e))中建筑物與綠色植被顏色較為正常，但整體圖像稍微偏亮，方框所示的觀察區(qū)中綠色植被輪廓較為清晰。圖7為不同算法對QuickBird衛(wèi)星拍攝的某生活區(qū)的遙感圖像(大小為512×512)融合結果。通過對比圖7中各算法的融合圖像可見，文獻[12]算法的融合圖像中存在較為嚴重的光譜失真現象，整體圖像的顏色偏綠，而且左下角的方框所示的觀察區(qū)中存在一定的模糊塊現象，建筑物與植被較為模糊，見圖7(c)。文獻[13]算法的融合圖像中存在一定的光譜丟失現象，圖像顏色偏暗，而且方框所示的觀察區(qū)中存在較為嚴重塊效應現象，建筑物之間的間隔變窄，見圖7(d)。本文算法的融合圖像中明暗度以及顏色都較為正常，左下角的方框所示的觀察區(qū)建筑物與植被都較為清晰，僅建筑物與植被間存在輕微的模糊效應, 見圖7(e)。由此可見，本文算法融合的圖像具有更好的光譜信息與空間信息，以及視覺效果。原因是本文算法采用了HSV變換對多光譜圖像進行分解獲取亮度分量，較好地保持了多光譜圖像中的亮度以及光譜信息。另外，本文算法還根據圖像的區(qū)域方差特征，建立了高頻系數融合規(guī)則，較好地保留了高頻系數中的細節(jié)信息，使得融合圖像具有較好的視覺效果。

(c) 文獻[12]算法 (d) 文獻[13]算法

(e) 本文算法圖6 不同算法的融合圖像

(a) 全色圖像 (b) 多光譜圖像

(c) 文獻[12]算法 (d) 文獻[13]算法

(e) 本文算法圖7 不同算法的融合圖像

2.2 不同算法融合圖像的客觀分析

利用通用圖像質量指數UIQI(universal image quality index)能夠對融合后圖像與全色圖像的相似程度進行度量。UIQI的理想值為1，其值越趨近于1，則說明融合后圖像與全色圖像的相似程度越高。UIQI的函數為[14]：

(13)

式中:B′與P′分別代表了融合后圖像B與全色圖像P的像素平均值，βB與βP分別代表了圖像B與P的像素標準差值，βBP代表了圖像B與P的協(xié)方差值。

利用相關系數指標CC(Correlation Coefficient)能夠對融合后圖像與多光譜圖像的相關程度進行度量。CC的理想值為1，CC值越接近1，則說明融合后圖像與多光譜圖像的相關程度越高，所包含的光譜信息就越豐富。CC的表達式為[15]：

(14)

式中:b(i,j)與m(i,j)分別代表了尺寸為K×J的圖像B與多光譜圖像M中的像素點。

從IKONOS衛(wèi)星拍攝的遙感圖像中任意選取12組圖像用作客觀分析對象，并通過UIQI以及CC兩個指標對不同算法融合圖像的質量進行量化度量。

不同算法所輸出的融合圖像對應的量化度量結果如圖8所示。通過觀察圖8(a)可見，在對不同圖像組的融合結果中，本文算法融合圖像的UIQI值始終是最大的，對3號圖像組融合后，本文算法融合圖像的UIQI值為0.964 2，文獻[13]算法的融合圖像對應的UIQI值為0.944 6，文獻[12]算法的融合圖像對應的UIQI值為0.908 6。通過觀察圖8(b)可見，在對不同圖像組的融合結果中，本文算法融合圖像的CC指標值始終最大，不同算法對3號圖像組融合后，本文算法融合圖像的CC值為0.920 6，文獻[13]算法融合圖像的CC值為0.897 5，文獻[12]算法融合圖像的CC值為0.850 8。由此可見，本文算法較對照組具有良好的融合性能。因為本文采用了具有多方向性以及平移不變性的非下采樣contourlet變換對圖像進行系數分解，同時還通過圖像的區(qū)域能量以及信息熵特征，構造了低頻系數的融合模型對低頻系數進行融合，較好地保留了圖像的空間以及光譜信息，克服了塊效應的產生，使得算法的融合性能得以提高。文獻[12]算法中利用PCA方法與滾動導向濾波器相結合，獲取多光譜圖像的大尺度結構信息，以及全色圖像的小尺度信息，進而再通過PCA反變換獲取融合圖像。由于PCA方法在獲取尺度信息時存在光譜丟失現象，而且該方法中滾動導向濾波器對參數設置較為依賴，易導致濾波出錯，從而使得算法的融合性能不佳。文獻[13]算法中利用顯著性方法對圖像進行多分辨率分析，將二叉樹復小波變換與多分辨率分析相結合實現圖像融合。由于小波變換不具備多方向性特征，使得融合圖像中存在光譜以及圖像細節(jié)信息丟失現象，導致算法融合性能有所下降。

(a) UIQI值測試結果

(b) CC值測試結果圖8 不同算法融合圖像的量化結果

3 結 論

本文通過HSV變換提取多光譜圖像的亮度分量。使用非下采樣Contourlet獲取圖像的低頻系數與高頻系數，使得所得高頻系數與低頻系數能夠包含原圖的更多細節(jié)信息。利用圖像的區(qū)域能量以及信息熵特征完成低頻系數的融合，使得低頻系數的融合過程既考慮了圖像的結構特征，也考慮了圖像的光譜特征，提高了融合圖像的光譜與空間特性。利用圖像的區(qū)域方差特征完成高頻系數的融合。通過實驗對比驗證了本文算法的優(yōu)越性能，表明了本文算法能夠較好地實現遙感圖像的融合。