張?bào)汴?楊 桄 楊永波 黃俊華

(空軍航空大學(xué) 長春 130022)

?

結(jié)合局部能量與邊緣信息的高光譜圖像融合方法*

張?bào)汴?楊 桄 楊永波 黃俊華

(空軍航空大學(xué) 長春 130022)

在對(duì)高光譜圖像進(jìn)行融合時(shí)，為盡可能保留目標(biāo)邊緣信息，論文基于小波分解，提出一種結(jié)合了梯度以及圖像邊緣特征的多波段圖像融合算法。首先選取融合波段，分別進(jìn)行小波分解和邊緣特征提?。蝗缓筮M(jìn)行融合，低頻系數(shù)采用局部能量自適應(yīng)加權(quán)的方法，高頻系數(shù)使用圖像邊緣信息指導(dǎo)其融合，并根據(jù)系數(shù)的正負(fù)性分別進(jìn)行討論以避免效果的抵消；最后通過小波逆變換還原融合圖像。實(shí)驗(yàn)表明，論文方法能有效保留目標(biāo)的邊緣信息，融合圖像的標(biāo)準(zhǔn)差、信息熵、平均梯度等各項(xiàng)指標(biāo)均有提高，融合性能優(yōu)于其他融合方法。

高光譜; 圖像融合; 區(qū)域能量; 邊緣信息

Class Number TP751

1 引言

高光譜圖像融合對(duì)高光譜圖像的應(yīng)用有著重要的意義。所謂高光譜圖像融合，是指對(duì)高光譜圖像去除冗余、合并互補(bǔ)信息，以利于人工解譯和后續(xù)處理的過程[1～2]。通過融合，可以有效降低圖像的數(shù)據(jù)量，減輕海量數(shù)據(jù)對(duì)后續(xù)處理造成的計(jì)算壓力。

高光譜圖像融合技術(shù)從多光譜圖像融合發(fā)展而來，但由于高光譜圖像維數(shù)更高，傳統(tǒng)的多光譜融合方法并不一定完全適合高光譜圖像融合。目前的融合算法中，主要有Xavier Otazu、Myungjin Choi等[3～4]改進(jìn)的基于顏色空間變換的HIS變換法、基于特征變換的融合如葛志榮[5]等改進(jìn)的主成分分析(PCA)變換融合法以及基于空間-頻率域變換的方法[2,6～9]。HIS變換法從視覺效果上提升融合圖像質(zhì)量，但會(huì)造成光譜失真嚴(yán)重；PCA方法著重保持了光譜信息但是空間信息提高方面不甚理想；基于空頻域變換的方法更受青睞。B. Aiazzi、A. Garzelli、F. Nencini等采用金字塔變換對(duì)圖像進(jìn)行分解[7～9]，通過一定規(guī)則融合后再進(jìn)行反變換將多幅子圖像合成一幅圖像或圖像子集，但該方法過程繁瑣，效率不高。此外，在多源遙感圖像融合領(lǐng)域得到廣泛應(yīng)用的小波變換也被引入高光譜圖像融合。王克成在文獻(xiàn)[8]中提出了小波變換后基于方差加權(quán)的方法，陳瀚孜則改進(jìn)了小波基[2]，提出第二代提升小波融合，這些嘗試都取得了較好的效果。在此基礎(chǔ)上，本文根據(jù)目視解譯需要提高圖像目視效果的特定需求對(duì)小波變換后的融合規(guī)則進(jìn)行了改進(jìn)，對(duì)于代表源圖像近似信息的低頻部分，采用局部能量自適應(yīng)加權(quán)的方法處理，對(duì)于代表了源圖像突變信息的高頻部分，提取低頻圖像邊緣特征指導(dǎo)其融合。實(shí)驗(yàn)證明本文方法能夠很好地保留目標(biāo)邊緣特征，提升融合質(zhì)量。

2 基于小波變換的圖像融合理論

基于小波分解的高光譜圖像融合的實(shí)現(xiàn)步驟如下：

1) 數(shù)據(jù)降維。本文選用文獻(xiàn)[10]針對(duì)融合提出的聯(lián)合偏度-峰度指數(shù)(Joint Skewness-Kurtosis figure，JSKF)模型進(jìn)行降維。為避免降維時(shí)的盲目性，減少計(jì)算量，首先按照藍(lán)光波段(440nm～500nm)、綠光波段(500nm～580nm)、黃光波段(580nm～622nm)、紅光波段(622nm～780nm)、Herschel波段(780nm～1100nm)、近紅外波段(1100nm～2400nm)波長對(duì)高光譜的成像波段進(jìn)行初步分組，在每個(gè)子空間上計(jì)算JSKF指數(shù)，綜合選出值較大的波段，具體方法在此不再敘述。假設(shè)選用經(jīng)過JSKF方法降維后選出的k個(gè)波段圖像I1,I2,…,Ik進(jìn)行融合。

3)邊 緣特征提取[11]。對(duì)得到的隔層低頻系數(shù)圖像利用Prewitt算子進(jìn)行邊緣特征提取。

5) 小波逆變換。利用上一步得到的融合圖像F的低頻、高頻系數(shù)進(jìn)行小波逆變換，得到最終的融合圖像F。

3 高光譜圖像融合法則

3.1 低頻系數(shù)融合法則

低頻系數(shù)包含著源圖像大部分能量，是源圖像的近似。源圖像的大量互補(bǔ)信息也存在于低頻圖像。因此低頻系數(shù)的融合注重保留這些互補(bǔ)信息。同時(shí)，由于圖像中每一個(gè)像元與其周圍的區(qū)域有很大關(guān)系，因此在考慮像素級(jí)融合時(shí)應(yīng)考慮其周圍的像元。在低頻系數(shù)融合時(shí)，選用區(qū)域能量作為自適應(yīng)加權(quán)的測(cè)度。

區(qū)域能量反映了圖像一定窗口區(qū)域的整體亮度。一般來說越清晰的圖像在該窗口表現(xiàn)越活躍，區(qū)域能量也就越大，在融合時(shí)應(yīng)加大其權(quán)重。區(qū)域能量的定義如下：

|Lj,s(m+m′,n+n′)|2

(1)

其中Ej,Ii表示圖像Ii在層分解的低頻圖像以(m,n)為中心、窗口K×L內(nèi)低頻系數(shù)的區(qū)域能量，其中w(m,n)為窗口像元能量對(duì)應(yīng)的權(quán)重矩陣定義為

(2)

以區(qū)域能量指標(biāo)作為圖像融合的自適應(yīng)加權(quán)，賦予第i幅圖像的權(quán)重為

pIi= Ej,Ii(m,n)/[Ej,I1(m+n)+…+Ej,Ii-1(m,n)

+Ej,Ii+1(m,n)+…+Ej,Ik(m,n)]

(3)

LN,F(m,n)= pI1(m,n)LN,I1(m,n)

+pI2(m,n)LN,I2(m,n)

+…+pIk(m,n)LN,Ik(m,n)

(4)

3.2 高頻系數(shù)融合法則

小波變化后得到的高頻圖像，代表了圖像在水平、垂直、對(duì)角三個(gè)方向上的突變信息，包括地物邊緣、紋理等信息。因此高頻圖像的融合將直接影響到融合圖像目標(biāo)的邊緣效果。在實(shí)施高頻系數(shù)融合時(shí)，通常采用的是提取絕對(duì)值較大的系數(shù)。但是在實(shí)施多幅圖像融合時(shí)，每一處僅保留一幅源圖像的信息，會(huì)造成信息浪費(fèi)。因此，本文提出提取邊緣信息以指導(dǎo)高頻系數(shù)融合的方法，考慮多幅源圖像的邊緣信息，保證了目標(biāo)邊緣的完整性。具體方法如下：

首先，提取邊緣信息。利用Prewitt算子對(duì)每層小波分解得到的低頻圖像進(jìn)行邊緣提取。由于各個(gè)波段對(duì)地物描述能力不同，得到的邊緣二值圖像也不同。將邊緣信息圖記作XI1,XI2,…,XIk。圖1展示了部分波段第一層小波分解得到的邊緣信息圖。

圖1 一層小波分解低頻圖像邊緣信息圖

(5)

圖2 第1層小波分解水平方向高頻系數(shù)取大選擇圖

圖3 第1層小波分解水平方向高頻系數(shù)最終選擇圖

(6)

最后，根據(jù)高頻系數(shù)進(jìn)行討論。小波分解得到的高頻系數(shù)有正有負(fù)，而由上式得到的分析系數(shù)為1或0。若融合時(shí)對(duì)相同符號(hào)的系數(shù)進(jìn)行加權(quán)求和，不會(huì)影響信息的抵消；若符號(hào)不相同，直接進(jìn)行相加會(huì)造成對(duì)應(yīng)位置幅值的抵消，反而削弱了細(xì)節(jié)信息。而對(duì)于高光譜圖像融合來說，由于要融合的波段圖像多，相應(yīng)位置符號(hào)不同的可能性更大。通過對(duì)高頻系數(shù)取絕對(duì)值再確定其符號(hào)的方法可以將兩種情況統(tǒng)一起來，即當(dāng)負(fù)的系數(shù)比較大時(shí)，取負(fù)號(hào)；正的系數(shù)比較大時(shí)，取正號(hào)。融合公式如式(7)所示。這樣就將邊緣信息融入高頻系數(shù)的融合中去。

(7)

4 實(shí)驗(yàn)驗(yàn)證

4.1 實(shí)驗(yàn)條件

為驗(yàn)證本文算法的有效性，下面通過實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)所使用的數(shù)據(jù)為由美國機(jī)載可見光紅外成像光譜儀(Airborne Visible Infrared Imaging Spectrometer, AVIRIS)獲取的美國圣地亞哥海軍基地高光譜圖像。該實(shí)驗(yàn)圖像已經(jīng)過預(yù)處理，選取189個(gè)波段作為研究對(duì)象，圖像大小為175×275。根據(jù)先驗(yàn)判讀，得知圖中停機(jī)坪上停有6架飛機(jī)，同時(shí)圖中還包括道路、房屋等目標(biāo)。不同波段圖像展示的地物效果不同，存在大量互補(bǔ)信息。

4.2 實(shí)驗(yàn)結(jié)果

通過JSKF指數(shù)進(jìn)行自適應(yīng)子空間的分解和波段選擇，選出參與融合的6個(gè)波段，分別為10、44、71、137、167、218波段。將6個(gè)波段的灰度圖像如圖4所示。

根據(jù)文獻(xiàn)[2]的理論，選用小波基bior4.7進(jìn)行3層小波分解。分別對(duì)低頻系數(shù)和高頻系數(shù)進(jìn)行融合，經(jīng)過小波逆變換得到結(jié)果如圖7所示。同時(shí)為比較本文算法，還利用經(jīng)典的基于主成分變換的PCA方法[6]、以方差為自適應(yīng)加權(quán)測(cè)度的方差加權(quán)法(簡(jiǎn)稱VAR)[9]以及低頻系數(shù)采用平均加權(quán)高頻系數(shù)取大處理的取大法(簡(jiǎn)稱MAX)得到融合結(jié)果，分別如圖5所示。

圖4 6個(gè)參與融合的波段

圖5 融合實(shí)驗(yàn)結(jié)果圖

4.3 結(jié)果分析

下面分別從主觀、客觀兩方面來評(píng)價(jià)這三種方法得到的融合結(jié)果圖像質(zhì)量。

圖像質(zhì)量的主觀評(píng)價(jià)，即目視判讀效果評(píng)判，主要依據(jù)人眼對(duì)圖像的感受對(duì)圖像進(jìn)行評(píng)價(jià)[12]。從視覺效果上看，除了PCA方法效果較差、沒有突出目標(biāo)信息外，其余三種融合方法均能保留各波段圖像的基本信息，一定程度上都能夠突出飛機(jī)目標(biāo)的目視效果；從細(xì)節(jié)上看，VAR方法融合圖中背景平滑，場(chǎng)景的紋理信息有一定丟失，MAX方法背景又過于斑駁，相對(duì)本文方法效果最好，6架飛機(jī)目標(biāo)得到較為清晰的表現(xiàn)。為展現(xiàn)重點(diǎn)目標(biāo)細(xì)節(jié)，特選取6架飛機(jī)的局部放大圖進(jìn)行對(duì)比，如圖6所示。

圖6 融合實(shí)驗(yàn)結(jié)果細(xì)節(jié)圖

圖像質(zhì)量的客觀評(píng)價(jià)，即通過一定指標(biāo)進(jìn)行定量分析，評(píng)判圖像質(zhì)量高低。本文選取了標(biāo)準(zhǔn)差(σ)、信息熵(SH)、平均梯度(AG)、邊緣強(qiáng)度(EI)、圖像清晰度(FD)等五個(gè)指標(biāo)[14]對(duì)四種方法進(jìn)行評(píng)價(jià)。指標(biāo)值越大說明圖像對(duì)比度越高，紋理越清晰，效果就越好。四種融合方法的客觀評(píng)價(jià)指標(biāo)值如表1所示。

表1 四種方法融合圖像客觀指標(biāo)評(píng)價(jià)結(jié)果

從表中可以看出，除PCA方法外，另外三種方法在圖像對(duì)比度、信息量方面均有較好的表現(xiàn)，尤其是本文方法，在各指標(biāo)上表現(xiàn)出的融合性能最好，通過計(jì)算可以得出，本文方法在標(biāo)準(zhǔn)差、信息熵、平均梯度、邊緣強(qiáng)度以及圖像清晰度方面較VAR方法指標(biāo)分別提升了7.74%、1.08%、22.35%、20.61%、41.72%，較MAX方法分別提升了11.87%、1.91%、9.08%、10.16%、16.51%。

綜合上述，無論從主觀評(píng)價(jià)角度還是從客觀評(píng)價(jià)指標(biāo)，本文提出的方法在融合性能方面均優(yōu)于傳統(tǒng)的PCA方法或改進(jìn)的方法。

5 結(jié)語

將高光譜多波段圖像融合，同時(shí)保留必要的視覺信息，既克服了數(shù)據(jù)量大給判讀造成的困難，又使細(xì)節(jié)信息得以保留，便于分析。本文采用區(qū)域能量自適應(yīng)加權(quán)融合低頻系數(shù)、邊緣信息指導(dǎo)高頻系數(shù)融合的方法，能夠很好的保留各個(gè)波段圖像的邊緣信息，使融合后的圖像符合人眼目標(biāo)判讀的習(xí)慣。此外，本文方法也可以用于基于波段子集特征融合的降維處理。但是，高光譜圖像光譜分辨率雖高，但空間分辨率低，這是其在圖像解譯方面的一個(gè)“軟肋”。因此，在下一步的研究中，要將高光譜融合同提高空間分辨率結(jié)合起來，將多源傳感器融合技術(shù)引入高光譜融合，推動(dòng)高光譜圖像在實(shí)際中的應(yīng)用。

[1] 張兵,高連如.高光譜遙感圖像分類與目標(biāo)探測(cè)[M].北京:科學(xué)出版社,2011.

[2] 陳瀚孜.高光譜圖像融合算法研究[D].哈爾濱:哈爾濱工程大學(xué)碩士學(xué)位論文,2008：4-37.

[3] Maria Gonzalez Audicana, Xavier Otazu and OctaviFors. A low computational-cost method to fuse IKONS images using the spectral response function of its sensors[J]. IEEE Transaction on geoscience and remote sensing,2006,42(7):1683-1690.[4] Myungjin Choi. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[C]. IEEE Transaction on geoscience and remote sensing,2006,44(6):1672-1682.

[5] A. Garzelli. F. Nencini, Interband structure modeling for Pan-sharping of very high resolution multispectral images[J]. Information Fusion,2005,6(3):213-224.

[6] 葛志榮,王斌,張立明.一種基于殘差的遙感圖像融合新方法[J].中國圖像圖形學(xué),2007,12(1):135-140.

[7] B. Aiazzi, L. Alparone, S. Baronti, and A. Garzelli. Context driven fusion of high spatial and spectral resolution images based on oversampled multi-resolution analysis[J]. IEEE Transaction on geoscience and remote sensing,2002,40(10):2300-231.

[8] 王克成.基于小波理論的超光譜圖像融合研究[D].哈爾濱:哈爾濱工程大學(xué)碩士學(xué)位論文,2005(1):34-58.

[9] Tania Stathaki. Image Fusion: Algorithms and Applications[M]. Singapore: Elsevier Singapore Pte Ltd,2014.

[10] 郭雷,常威威,付朝陽,等.高光譜圖像融合最佳波段選擇方法[J].宇航學(xué)報(bào),2011,32(2):374-377.

[11] 李俊山,李旭輝.數(shù)字圖像處理[M].北京：清華大學(xué)出社,2010:168-172.

[12] 童濤,楊桄,孟強(qiáng)強(qiáng),等.基于邊緣特征的多傳感器圖像融合算法[J].紅外與激光工程,2014,28(1):288-29.

Hyperspectral Image Fusion Method Combined With Area Energy and Edge Feature

ZHANG Xiaohan YANG Guang YANG Yongbo HUANG Junhua

(Aviation University of Air Force, Changchun 130022)

In this paper, specific to preserve the edge information of targets in each band of hyperspectral data, a novel multi-band fusion algorithm based on wavelet decomposition combined with areas energy information and edge feature is proposed. Firstly, after band selection, the edge features are extracted from each band and wavelet decomposition is carried out. Then for low frequency coefficients, they are fused by adaptive weighted method based on regional average gradient, while the high frequency coefficient fusion is conducted by using the edge information. Besides, to avoid effect offset, the sigh of frequency coefficient is considered. Finally, the fusion image is obtained by performing inverse wavelet transforms. The experimental results indicate that the fused image obtained by the proposed method has a better subjective visual effect and fusion performance than traditional fusion methods, and the fusion quality index of standard deviation and information entropy has increased effectively.

hyperspectral image, image fusion, area energy, edge information

2016年5月13日,

2016年6月27日

吉林省科技發(fā)展計(jì)劃資助項(xiàng)目(編號(hào)：20140101213JC)；吉林省教育廳“十二五”科研項(xiàng)目(編號(hào)：2015448)資助。

張?bào)汴?女,碩士研究生,研究方向：遙感圖像解譯以及高光譜遙感。楊桄,男,博士后，副教授,研究方向：遙感圖像解譯、地理信息系統(tǒng)。

TP751

10.3969/j.issn.1672-9730.2016.11.011