王阿川，陳舒暢，王學(xué)良

?

結(jié)合HIS和小波變換的自適應(yīng)遙感影像融合

王阿川，陳舒暢，王學(xué)良

( 東北林業(yè)大學(xué) 信息與計算機工程學(xué)院，哈爾濱 150040 )

多源遙感影像融合中，通常不同地物區(qū)域?qū)庾V特征和空間細(xì)節(jié)信息的要求有所不同。針對該特點，提出了一種IR(自適應(yīng)半徑搜索)顯著性分析模型，實現(xiàn)了對多源遙感影像顯著性區(qū)域和非顯著性區(qū)域的識別與劃分。結(jié)合HIS與小波變換融合算法，提出了改進(jìn)的自適應(yīng)平均梯度加權(quán)HIS融合方法，實現(xiàn)了對道路、農(nóng)田、居民區(qū)等顯著性區(qū)域的融合，更好的保留了其豐富的空間細(xì)節(jié)信息；同時提出了HIS+WT變換的融合方法，實現(xiàn)了對山地、林地等非顯著性區(qū)域的融合，保留了較多的光譜信息。以此實現(xiàn)了分區(qū)域的自適應(yīng)遙感影像融合。實驗結(jié)果表明，本文方法能夠使融合后的遙感影像既能保持較高的空間細(xì)節(jié)表現(xiàn)能力，又能很好地保留其光譜信息。對農(nóng)業(yè)科學(xué)、森林規(guī)劃以及今后森林遙感影像分類、識別等研究提供了一定的理論基礎(chǔ)與應(yīng)用價值。

遙感影像融合；顯著性分析模型；HIS變換；小波變換

0 引 言

多源遙感影像融合是衛(wèi)星遙感應(yīng)用的重要環(huán)節(jié)，在環(huán)保、農(nóng)業(yè)科學(xué)以及森林規(guī)劃等諸多領(lǐng)域都有著廣泛而深入的應(yīng)用。森林遙感影像融合中，一般全色影像(PAN)的分辨率較高，通常較為清晰且空間細(xì)節(jié)信息豐富，但光譜分辨率較低[1]。而多光譜影像(MS)則表現(xiàn)為光譜信息豐富，但空間分辨率較低。因此利用相關(guān)影像融合技術(shù)將兩者融合可以有效的消除冗余，實現(xiàn)空間細(xì)節(jié)與光譜信息的優(yōu)勢互補，使得融合后的影像既保持較高的空間細(xì)節(jié)信息又能夠保持較好的光譜信息。

常用的融合方法有主成分分析(PCA)方法、HIS方法、相關(guān)系數(shù)法、Brovey方法等。文獻(xiàn)[2]提出了一種平均與選擇相結(jié)合的小波變換融合方法；彭雙云等人提出了一種自適應(yīng)的HIS遙感影像融合方法，在HIS反變換時自適應(yīng)獲得三分量系數(shù)完成融合過程[3]；鄧潔等人則將HIS變換與WT變換相結(jié)合實現(xiàn)影像的融合[4]。但這些方法都只是針對整幅衛(wèi)星影像采取整體相同的融合方法，忽視了影像自身局部特征對融合效果的影響。

森林遙感影像融合中，不同的區(qū)域?qū)臻g細(xì)節(jié)信息和光譜特征的要求是有所差別的，例如農(nóng)田、居民區(qū)等區(qū)域紋理、邊緣信息更為豐富，通常需要保留較多的空間細(xì)節(jié)信息；而山地、林地等區(qū)域則更為重視光譜信息的豐富程度[5]。但目前的影像融合方法，大多忽視了這種差異信息，難以針對區(qū)域的不同需求給出相適應(yīng)的融合策略。

針對該問題，本文提出了一種IR顯著性分析模型，實現(xiàn)了對多源遙感影像顯著性區(qū)域和非顯著性區(qū)域的識別和劃分。并結(jié)合HIS與小波變換融合算法，實現(xiàn)了對遙感影像的分區(qū)域自適應(yīng)融合。針對顯著性區(qū)域，提出了一種自適應(yīng)平均梯度加權(quán)的HIS融合策略，以保留更好的空間細(xì)節(jié)信息；對山地、林地等非顯著性區(qū)域采取HIS+WT的融合策略，以保留更多的光譜信息。實驗結(jié)果表明，本文提出的自適應(yīng)遙感影像融合方法，使融合后的多源遙感影像在保留了必須的空間細(xì)節(jié)表現(xiàn)能力的同時，更好的保留了光譜信息。

1 遙感影像顯著性分析與識別

目前最為流行的顯著性分析方法是Itti模型，其依據(jù)人眼對圖像的感知過程，利用中央-周邊差將多個特征圖轉(zhuǎn)化為一幅顯著圖，主要基于亮度、色度、方向三個尺度進(jìn)行高斯金字塔提取顯著性區(qū)域。后Harel等人又提出了基于圖的視覺顯著性GBVS方法，特征提取過程與Itti方法相似，但顯著圖生成用Markov鏈完成，是一種混合型分析策略[6]。但是GBVS模型仍存在一個問題，即使用固定半徑圓來提取區(qū)域，這一點與人眼視覺注意并不吻合[7-8]。當(dāng)顯著區(qū)域面積小于圓的面積時，所提取的區(qū)域包含過多的無用信息，降低了檢測精度；而當(dāng)顯著區(qū)域大于圓面積時，無法將其全部包含在內(nèi)，因此需要增加圓的數(shù)量，但也因此會增加計算的復(fù)雜度。另外，如果顯著區(qū)域數(shù)量過多，所選區(qū)域也許會覆蓋整幅圖像，從而失去了顯著性提取的意義。因此本文對GBVS算法進(jìn)行了改進(jìn)，增加了自適應(yīng)半徑搜索策略，提出了一種新的顯著性分析算法(IR顯著性分析算法)，以獲取顯著性區(qū)域的精準(zhǔn)信息，在保留了GBVS模型優(yōu)點的同時提高了檢測精度。

1.1 IR顯著性分析算法

IR顯著性分析模型的實質(zhì)是在GBVS模型基礎(chǔ)上，增加了自適應(yīng)半徑搜索圓的剔除策略，即：

式中：[ ]代表符合方括號中條件的像素個數(shù)，()表示以為半徑的圓形區(qū)域，(,)表示對應(yīng)像素點灰度值，代表閾值(初始設(shè)為影像灰度均值)。0<<1，表示在半徑范圍內(nèi)滿足條件的像素點的比例。當(dāng)= 1時，所有的像素點灰度值均大于，當(dāng)0<<1時，有部分的像素點灰度值小于，說明存在部分的非顯著區(qū)域。其具體實現(xiàn)步驟如下：

1) 利用GBVS模型獲取到初始各個尺度的特征圖，分別為亮度特征圖、顏色特征圖、方向特征圖；2) 設(shè)定半徑，初始值通常設(shè)為影像最小邊長的1/2，并設(shè)定一個顯著比閾值(本文中取值0.95)；3) 按照上式計算顯著比，若<，則將半徑減小1，即=-1；4) 重復(fù)2)~3)過程，直到顯著比≥，此時為最終確定的半徑，至此完成各尺度下顯著區(qū)域的檢測。

1.2 顯著圖生成算法/p>

獲得不同尺度的特征圖后，需要將這些特征圖整合成一幅完整的顯著圖，整合過程如下：

1) 將每個像素作為節(jié)點，節(jié)點之間的邊為任意兩節(jié)點的差異性，并以兩節(jié)點間的對比度差及歐氏距離作為邊權(quán)重，建立一個無向圖，如下式：

2) 建立一個權(quán)重矩陣并歸一化后形成Markov轉(zhuǎn)移矩陣，隨機初始化一個維數(shù)與像素節(jié)點數(shù)目相同的向量，使用轉(zhuǎn)移矩陣對該向量進(jìn)行多次迭代，最終收斂到一個平衡狀態(tài)，獲得平衡圖，并將平衡圖拉伸至原圖像大小，得到單一尺度特征圖。

3) 所有尺度特征圖進(jìn)行疊加，得到最終顯著圖。

1.3 顯著區(qū)域識別算法

利用閾值迭代法進(jìn)行顯著區(qū)域的識別，獲取顯著區(qū)域模板。迭代步驟如下：

2 結(jié)合HIS和小波變換的自適應(yīng)遙感影像融合算法

針對遙感影像自身特點，采取自適應(yīng)分區(qū)域融合策略，利用IR顯著性分析模型對全色遙感影像進(jìn)行顯著性分析，獲得影像的顯著性區(qū)域和非顯著性區(qū)域，將顯著性區(qū)域定義為感興趣區(qū)域ROI，非顯著性區(qū)域定義為NROI，針對兩種區(qū)域分別采取不同的融合方法，以達(dá)到不同的融合目的。對居民區(qū)、道路、農(nóng)田等ROI區(qū)域，提出了改進(jìn)的自適應(yīng)平均梯度加權(quán)的HIS融合方法，使其空間細(xì)節(jié)信息得到充分地保留；而針對山地、林地等NROI區(qū)域采用HIS+WT的融合方法，在保留必要空間細(xì)節(jié)信息的同時更好的保留其光譜信息。圖1給出了本文自適應(yīng)遙感影像融合的框架。

2.1 感興趣區(qū)域融合策略

針對感興趣區(qū)域，在原始HIS方法基礎(chǔ)上進(jìn)行了改進(jìn)，提出了一種自適應(yīng)平均梯度加權(quán)的HIS融合算法。

根據(jù)HIS理論可知，融合時首先提取多光譜影像的分量，與全色影像(Q)進(jìn)行直方圖匹配，得到新，與、分量進(jìn)行HIS反變換，其中亮度計算式：

平均梯度反應(yīng)了一幅影像的清晰程度，平均梯度越大影像越清晰，影像質(zhì)量越好。因此將平均梯度融入HIS變換中來確定的值是一個有效的辦法。標(biāo)準(zhǔn)差反映了像素點相對于圖像灰度均值的離散程度，因此引入標(biāo)準(zhǔn)差作為補充量。具體實現(xiàn)步驟如下：

1) 提取多光譜影像的、、三分量影像；2) 分別計算、、三分量的平均梯度值A(chǔ)V()；以各分量影像與全色影像標(biāo)準(zhǔn)差S的差值絕對值作為補充量，根據(jù)式(6)～式(7)計算權(quán)系數(shù)：

2.2 非感興趣區(qū)域融合策略

HIS模型是一種彩色模型，定義了三個互不相關(guān)又容易預(yù)測的顏色心理屬性，即色度、亮度和飽和度[3]。HIS變換能有效地從RGB影像中分離空間和光譜信息，這種表示方法更接近人對圖像的感知機理。大量實驗證明HIS變換融合方法可以較好的保留全色影像的空間細(xì)節(jié)信息。HIS方法雖然可以保留較好的空間細(xì)節(jié)信息，但是對于多光譜影像來說仍會在一定程度上存在較大的光譜畸變。小波變換的融合方法能夠充分利用影像分辨率特性，較好的抑制光譜畸變。然而其卻舍棄了全色影像的低頻分量，在結(jié)果中容易形成分塊效應(yīng)[4]。

因此本文結(jié)合了HIS變換與小波變換的優(yōu)勢。針對非感興趣區(qū)域采用HIS+WT的融合方法，在減少了光譜扭曲的同時保留了較多的空間細(xì)節(jié)信息。流程圖如圖2所示，算法步驟如下：

1) 首先將多光譜遙感影像分量與全色遙感影像進(jìn)行層小波分解，其中高頻系數(shù)主要作用于影像的空間細(xì)節(jié)信息，低頻系數(shù)則主要應(yīng)用在光譜信息中；2) 將多光譜影像分量的低頻子帶與全色遙感影像的高頻子帶進(jìn)行融合；3) 對融合后的小波系數(shù)進(jìn)行小波逆變換，得到初始融合結(jié)果PIG-WT圖；4) 提取PIG-WT圖的新分量與MS的、分量進(jìn)行HIS反變換，得到NROI融合結(jié)果。

2.3 多源遙感影像自適應(yīng)融合算法

1) 提取多光譜影像MS的、、分量；

2) 利用IR顯著性分析模型對全色影像PAN進(jìn)行顯著性分析得到顯著圖，并利用迭代閾值法對顯著圖進(jìn)行二值化分割，得到顯著區(qū)域模板，記為；

3) 提取MS影像的色度()、亮度()、飽和度()三分量信息，分別計算、、的平均梯度，利用式(5)~式(7)完成自適應(yīng)的平均梯度加權(quán)HIS融合算法，得到感興趣區(qū)域模板，記為；

4) 將MS影像的分量與PAN影像進(jìn)行三層小波分解，并將MS影像分量的低頻子帶與PAN影像的高頻子帶進(jìn)行HIS融合，對融合后的小波系數(shù)進(jìn)行小波逆變換，得到初始融合結(jié)果PIG-WT圖；

for(=1;<=row;++)

{ for(=1;<=col;++)

3 實驗結(jié)果與評價

3.1 IR模型提取顯著性區(qū)域評價

為了驗證IR顯著性分析模型的有效性，將其與傳統(tǒng)Itti模型、GBVS模型進(jìn)行了對比實驗。

本次實驗在HP LE2001w，內(nèi)存2 G，Win 7 (32位)操作系統(tǒng)下完成，算法在Microsoft Visual Studio 2010 C++、Matlab7上編程實現(xiàn)。實驗數(shù)據(jù)選取了來自不同衛(wèi)星SPOT(高分辨率)和TM(低分辨率)的不同區(qū)域、不同地物的兩組遙感影像，圖3分別給出了遙感影像PIG1與PIG2的高分辨率全色影像及低分辨率多光譜影像，其中PIG1為某地山川遙感影像圖，PIG2為四川省某縣林業(yè)影像圖。

圖4所示為三種顯著性分析算法針對PIG1和PIG2的全色影像進(jìn)行處理所獲得的顯著圖，其中(a)和(d)表示用原始Itti模型進(jìn)行提取的結(jié)果，(b)和(e)表示用GBVS模型進(jìn)行提取的結(jié)果，(c)和(f)分別表示用本文改進(jìn)的IR顯著性分析模型對兩組遙感影像進(jìn)行提取的顯著性結(jié)果。明顯可以看出，用本文方法提取的顯著性區(qū)域更為精準(zhǔn)，效果更為直觀。圖5給出了圖4中的顯著性結(jié)果經(jīng)過二值化提取后獲得的顯著區(qū)域模板，對比發(fā)現(xiàn)，利用本文方法獲取的顯著性模板輪廓更為清晰。

3.2 遙感影像融合質(zhì)量評價

遙感影像融合效果的評價分為主觀評價和客觀評價[9-10]。如圖6、圖7所示，分別提取了兩組遙感影像的顯著性區(qū)域和非顯著性區(qū)域，并針對兩組影像的不同區(qū)域用不同的指標(biāo)進(jìn)行評價。

1) 對于顯著性區(qū)域利用平均梯度(AVG)、信息熵(En)、標(biāo)準(zhǔn)偏差(RMSE)等方法進(jìn)行評價，表1給出了影像PIG1和PIG2的融合結(jié)果。對PIG1，本文方法AVG以及En值分別為5.524 2和1.485 5，較其他方法大，說明其空間細(xì)節(jié)信息得以充分保留；標(biāo)準(zhǔn)偏差反映了影像的光譜畸變程度，標(biāo)準(zhǔn)偏差值越小越好，本文方法標(biāo)準(zhǔn)偏差值較小為21.294 7，說明其光譜畸變小。

2) 對于非顯著性區(qū)域利用AVG、RMSE和聯(lián)合熵(Joint-En)進(jìn)行評價，Joint-En越大說明融合后影像光譜信息更豐富，對PIG1，本文方法融合后影像AVG值最大為15.972 3，RMSE值最小為21.122 1，Joint-En值最大為1.376 2，說明本文方法融合后影像在保留了必要空間細(xì)節(jié)信息的同時更好的保留了光譜信息。

同理，影像PIG2的融合結(jié)果，從表中數(shù)據(jù)也可以看出利用本文方法，顯著性區(qū)域可以將空間細(xì)節(jié)信

息得以充分保留，非顯著性區(qū)域可以更好的保留光譜信息。

圖8給出了基于PCA變換方法、基于傳統(tǒng)HIS變換法、基于傳統(tǒng)小波變換算法以及本文改進(jìn)的融合算法針對PIG1和PIG2的主觀融合效果圖。從圖8的評價結(jié)果可以看出，主成分分析融合方法得到的圖像亮度較低，并且清晰度、對比度和信息的豐富程度較低，較原始影像光譜變化較大；基于HIS融合方法得到的影像較符合人眼視覺特性，清晰度和對比度以及信息豐富程度明顯提高，但光譜畸變有所減少；基于WT的融合方法則可以較好的降低光譜扭曲的變化，但是空間細(xì)節(jié)信息的保持遠(yuǎn)低于其他方法；本文方法則彌補了上述方法的不足，在清晰度、對比度、信息豐富程度上保持較好水平，并且能夠減少光譜畸變，提升影像判讀能力。表2分別表示了上述四種算法針對PIG1和PIG2最終融合結(jié)果的客觀評價。

4 結(jié) 論

本文針對多源遙感影像融合中，不同地物區(qū)域?qū)臻g細(xì)節(jié)信息和光譜信息需求不同的問題，在原始GBVS方法基礎(chǔ)上，提出了一種IR顯著性分析模型，實現(xiàn)了多源遙感影像顯著性區(qū)域和非顯著性區(qū)域的識別與劃分。結(jié)合了HIS與小波變換融合算法，提出了改進(jìn)的自適應(yīng)平均梯度加權(quán)HIS融合方法，實現(xiàn)了對道路、農(nóng)田、居民區(qū)等顯著性區(qū)域的融合，以保留更多的空間細(xì)節(jié)信息；同時提出了HIS+WT變換的融合方法，實現(xiàn)了對山地、林地等非顯著性區(qū)域的融合，以保留更多的光譜信息。以此實現(xiàn)了分區(qū)域的自適應(yīng)遙感影像融合。并進(jìn)行了本文融合方法與傳統(tǒng)PCA變換法、傳統(tǒng)HIS融合法、傳統(tǒng)小波融合法的對比實驗，實驗結(jié)果表明，本文方法在清晰度、對比度、信息豐富程度等空間細(xì)節(jié)能力保持良好的前提下，可以更好的保留光譜信息表現(xiàn)能力，實現(xiàn)了分區(qū)域融合的目標(biāo)。解決了多源遙感影像融合中不同區(qū)域?qū)臻g細(xì)節(jié)信息和光譜信息要求不同的問題，對農(nóng)業(yè)科學(xué)、森林規(guī)劃以及今后森林遙感影像分類、識別等研究提供了一定的理論基礎(chǔ)與應(yīng)用價值。

[1] 盧炎. 多源遙感影像融合方法研究 [J]. 吉林大學(xué)學(xué)報：地球科學(xué)版，2007 (增1)：176-179.

LU Yan. The Research on Multi-Source Remote Sensing Images Fusion Technology [J]. Journal of Jilin University：Earth Science Edition，2007 (S1)：176-179.

[2] 晁銳，張科，李言俊. 一種基于小波變換的圖像融合算法 [J]. 電子學(xué)報，2004，32(5)：750-753.

CHAO Rui，ZHANG Ke，LI Yanjun. An Image Fusion Algorithm Using Wavelet Transform [J]. Acta Electronica Sinica，2004，32(5)：750-753.

[3] 彭雙云，楊昆，李石華，等. 一種自適應(yīng)IHS的遙感數(shù)據(jù)融合方法研究 [J]. 湖北農(nóng)業(yè)科學(xué)，2014，53(19)：4716-4719.

PENG Shuangyun，YANG Kun，LI Shihua，. Fusion Method of Remote Sensing Data Based On Adaptive IHS Transform [J]. Hubei Agricultural Sciences，2014，53(19)：4716-4719.

[4] 鄧潔，夏春林，王潤芳. 基于HIS變換和WT變換的遙感影像融合 [J]. 測繪與空間地理信息，2009，32(1)：107-110.

DENG Jie，XIA Chunlin，WANG Runfang. Remote Sensing Image Fusion Based on IHS Transform and Wavelet Transform [J]. Geomatics & Spatial Information Technology，2009，32(1)：107-110.

[5] 張立保，章玨. 基于顯著性分析的自適應(yīng)遙感圖像融合 [J]. 中國激光，2015，42(1)：01-08.

ZHANG Libao，ZHANG Jue. A New Adaptive Fusion Method Based on Saliency Analysis for Remote Sensing Images [J]. Chinese Journal of Lasers，2015，42(1)：01-08.

[6] 朱丹，王斌，張立明. 基于直線鄰近平行性和GBVS顯著性的遙感圖像機場目標(biāo)檢測 [J]. 紅外與毫米波學(xué)報，2015，34(3)：375-384.

ZHU Dan，WANG Bin，ZHANG Liming. Airport detection based on near parallelity segments and GBVS saliency [J]. Journal of Infrared and Millimeter Waves，2015，34(3)：375-384.

[7] 張立保，李浩. 基于自適應(yīng)半徑搜索的圖像感興趣區(qū)域檢測 [J]. 中國激光，2013，40(7)：01-05.

ZHANG Libao，LI Hao. Detection of Interest Image Region Based on Adaptive Radius Search [J]. Chinese Journal of Lasers，2013，40(7)：01-05.

[8] 孫路，畢篤彥. 基于信息熵的圖像分割閾值迭代改進(jìn)算法 [J]. 計算機應(yīng)用與軟件，2008，25(10)：225-238.

SUN Lu，BI Duyan. The Improved Iterative Algorithm Based on Entropy for Mage Threshold Segm Entation [J]. Computer Applications and Software，2008，25(10)：225-238.

[9] 王樂，牛雪峰，魏斌. 遙感影像融合質(zhì)量評價方法研究 [J]. 測繪通報，2015(2)：77-79.

WANG Le，NIU Xuefeng，WEI Bin. Study on Quality Evaluation Methods for Remotely Sensed Images Fusion [J]. Bulletin of Surveying and Mappin，2015(2)：77-79.

[10] 宋夢馨. 結(jié)合Contourlet和HSI變換的組合優(yōu)化遙感圖像融合方法 [J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報，2012，24(1)：83-88.

SONG Mengxin. A Combinatorial Optimization Method for Remote Sensing Image Fusion with Contourlet and HSI Trans-form [J]. Journal of Computer-Aided Design & Computer Graphics，2012，24(1)：83-88.

Adaptive Remote Sensing Image Fusion Based on HIS and Wavelet Transform

WANG A￠chuan，CHEN Shuchang，WANG Xueliang

( Information and Computer Engineering College, Northeast Forestry University, Harbin 150040, China )

In the fusion of multi-source remote sensing image, for different ground region, usually the characteristics of spectral features and spatial detail information are different. In view of the problem, a new salient analysis model called IR (adaptive-radius-search) salient analysis model was proposed, which realized the identification and classification of the salient regions and non salient regions. Combined with HIS and wavelet transform fusion algorithm, an improved adaptive HIS fusion method was put forward based on average gradient weighting, which achieved the fusion of the road, farmland, residential area and other salient regions, and the method had better keeping the spatial details information of its abundant space. Meanwhile, the fusion method of HIS+WT transform was proposed, which realized the fusion of mountain, forest land, and other areas are not salient, retaining more spectral information. The method completed the adaptive remote sensing image fusion of different regions. The experimental results show that the proposed method of the paper could guarantee the fusion image of both to maintain high spatial detail performance ability, but also to retain good spectral information. The proposed method of the paper provides certain theoretical basis and application value for the research on agricultural science, forest planning and future forest remote sensing image classification, identification and so on.

remote sensing image fusion; salient analysis model; HIS transform; wavelet transform

1003-501X(2016)08-0076-08

TP751.1

A

10.3969/j.issn.1003-501X.2016.08.013

2015-11-17；

2016-01-07

黑龍江省自然科學(xué)基金資助項目(C201414)；哈爾濱市優(yōu)秀學(xué)科帶頭人基金項目(2014ＲFXXJ040)

王阿川(1964-)，男(漢族)，黑龍江哈爾濱人。教授，博士生導(dǎo)師，主要研究方向：模式識別、計算機視覺、3S技術(shù)等。
E-mail: wangca1964@126.com。

陳舒暢(1990-)，女(漢族)，吉林長春人。碩士研究生，主要從事遙感影像處理等方面的研究。E-mail：lgjc1020@163.com。