方芳，張一平，趙琛琛，李勁澎，鄧國(guó)臣

(1.66240部隊(duì)，北京 100042；2.95806部隊(duì)，北京 100076；3.信息工程大學(xué) 地理空間信息學(xué)院，鄭州 450052；4.中國(guó)測(cè)繪科學(xué)研究院，北京 100039)

1 引 言

日益發(fā)展的遙感系統(tǒng)為用戶提供了同一地區(qū)多空間分辨率、多光譜分辨率、多時(shí)間分辨率的海量遙感數(shù)據(jù)[1]。然而，受技術(shù)層面的制約，影像獲取時(shí)影像的空間分辨率和光譜分辨率常常不可兼得，因此，亟需通過(guò)影像融合的方式獲取高空間分辨率的多光譜影像。融合影像綜合了原有影像各自的優(yōu)勢(shì)，減少了信息冗余，為后續(xù)影像信息的分析和應(yīng)用提供了保證[2]。

目前常用的影像融合方法主要有3類：①直接對(duì)影像進(jìn)行代數(shù)運(yùn)算的方法，如加權(quán)融合方法、高通濾波方法、比值融合方法等；②基于空間變換的方法，如IHS、HSV、lαβ等色彩空間變換以及主成分變換等；③基于多尺度變換的方法，如基于影像的拉普拉斯金字塔分解與重建的方法，基于小波變換分解與重建的方法等[3]。其中，基于空間變換的融合方法能很好地提高影像的空間分辨率，但是會(huì)扭曲原有光譜信息；基于多尺度變換的融合方法將多分辨率分析應(yīng)用于融合過(guò)程空間信息的提取，該方法對(duì)光譜信息的保持優(yōu)于基于空間變換的融合方法，但會(huì)造成一定程度的影像的失真。對(duì)此，一些專家學(xué)者提出了基于IHS變換與多尺度變換結(jié)合的融合方法，徐建達(dá)等提出基于IHS變換和小波變換的遙感影像融合[4]，張一平等提出了基于IHS變換和NSCT的影像融合[5]。實(shí)驗(yàn)表明，IHS變換與多尺度變換相結(jié)合的融合方法能夠取得比單一融合方法更好的融合效果。

多尺度變換的分解層數(shù)是影響融合效果的重要因素，分解層數(shù)越多，融合的頻率范圍越豐富，融合影像所包含的空間細(xì)節(jié)信息越來(lái)越豐富，然而并不是分解層數(shù)越多影像融合的質(zhì)量就越高。邢素霞對(duì)基于小波變換影像融合的分解層數(shù)進(jìn)行了分析探討[6]，但未討論與IHS結(jié)合的效果及論文最佳分解層數(shù)的適應(yīng)性。本文圍繞該問(wèn)題，分別對(duì)IHS變換與3種多尺度變換相結(jié)合的融合方法及融合效果與分解層數(shù)的關(guān)系進(jìn)行了探討。

2 融合原理與方法

2.1 基于IHS變換的融合方法

IHS色彩空間采用相關(guān)性很低的強(qiáng)度(I)、色度(H)和飽和度(S)3個(gè)分量表示顏色，將影像的強(qiáng)度分量和光譜信息分離，更加有利于影像的融合。該方法的思想是先將高光譜影像由RGB空間變換到IHS空間，然后用處理過(guò)的高空間分辨率影像替換高光譜影像的I分量，最后將融合后的影像變換回RGB空間。

2.2 基于多尺度分解的融合方法

該方法的思想是將高空間分辨率的全色影像和多光譜影像分別進(jìn)行多尺度分解，實(shí)現(xiàn)影像高低頻信息的分離，再分別進(jìn)行融合處理，把多光譜影像所不具有的空間細(xì)節(jié)信息盡可能的注入到融合影像中，從而在保證融合影像光譜信息的條件下盡可能提升空間分辨率。本文對(duì)拉普拉斯金字塔變換、提升小波變換、非下采樣Contourlet變換等多尺度分解方法進(jìn)行了討論。

(1)拉普拉斯金字塔變換

拉普拉斯金字塔變換是一種常用的影像多尺度分析方法，它由高斯金字塔中相鄰兩層影像相減得到的近似影像構(gòu)成，可以突出表示不同尺度的影像細(xì)節(jié)。拉普拉斯金字塔的每層分別保留了不同尺度的高頻信息，能很好的突出影像細(xì)節(jié)，對(duì)于影像進(jìn)一步分析和處理具有重要意義。

(2)提升小波變換

提升小波變換繼承了傳統(tǒng)小波時(shí)頻局部化等特性，具有計(jì)算速度快、節(jié)省內(nèi)存空間、容易實(shí)現(xiàn)反變換等優(yōu)點(diǎn)，可以通過(guò)整數(shù)小波變換，精確的重構(gòu)原始信號(hào)，非常有利于影像的各種處理。與拉普拉斯金字塔每層分解只能得到1個(gè)近似低頻分量和1個(gè)高頻分量相比，提升小波變換能夠得到1個(gè)近似低頻分量和3個(gè)方向的高頻分量。因此，提升小波變換分離影像高低頻信息的效能較拉普拉斯金字塔變換好，理論上利用其進(jìn)行影像融合的效果也更好。

(3)NSCT(非下采樣Contourlet變換)

NSCT由非下采樣金字塔結(jié)構(gòu)和非下采樣方向?yàn)V波器組構(gòu)成，非下采樣金字塔將輸入的圖像分解為低頻子帶和高頻子帶，實(shí)現(xiàn)圖像的多分辨率分解；利用非下采樣方向?yàn)V波器組，將高頻子帶分解為2n個(gè)方向子帶；每一層的低頻子帶重復(fù)上述操作。NSCT是Contourlet變換的一種改進(jìn)，有效解決了Contourlet變換因下采樣而產(chǎn)生的平移性和頻譜混淆問(wèn)題，克服了小波變換在面臨線或面奇異處理時(shí)的不足。

2.3 IHS變換與多尺度變換結(jié)合的融合方法

IHS變換與多尺度變換結(jié)合的融合過(guò)程如下：

①通過(guò)IHS變換將多光譜影像從RGB空間轉(zhuǎn)換到IHS空間；

②將多光譜影像的亮度分量I與全色影像分別進(jìn)行相同級(jí)數(shù)的多尺度變換，分解得到各影像不同層次、不同方向的高頻和低頻分量；

③采用不同的融合策略分別對(duì)分解得到的不同尺度的高低頻子帶影像進(jìn)行融合處理；

④對(duì)融合后的高低頻子帶影像進(jìn)行影像重建，得到新的亮度分量Inew；

⑤用新的亮度分量Inew替換原始影像的亮度分量I，將其與原始多光譜影像的H、S分量一起變換到RGB空間，得到融合影像。

低頻子帶融合規(guī)則：設(shè)兩幅影像經(jīng)多尺度變換后的低頻部分別為IA和IB，在融合時(shí)，采用式(1)給定的權(quán)值融合法，權(quán)值大小由低頻子帶的區(qū)域能量自適應(yīng)來(lái)確定：

IL(x，y)=wAIA(x，y)+wBIB(x，y)

(1)

其中，wA和wB分別表示權(quán)值大小，由式(2)計(jì)算得到

(2)

式中，E(x，y)=∑m，n∈SM×N(I(x+m，y+n))2代表區(qū)域能量，SM×N表示區(qū)域窗口大小，本文采用的區(qū)域窗口大小為3×3。

高頻子帶融合規(guī)則：高頻子帶主要反映圖像的細(xì)節(jié)信息，為了突出影像局部的對(duì)比度，充分考慮中心像素與周圍像素的相關(guān)性，采用高頻系數(shù)與其鄰域系數(shù)的8個(gè)方向的梯度變化作為像素選取的閾值。設(shè)融合后影像的各層、各方向高頻系數(shù)為Ij，k(以NSCT為例，其中Ij，k表示的是NSCT分解后第j層，k方向的高頻子帶)，則有：

(3)

式中T(x，y)定義為：

(4)

融合過(guò)程步驟②中多尺度變換給出的分解層數(shù)決定了融合處理所處的分解層，直接影響融合的效果，下面對(duì)不同分解層數(shù)的融合效果進(jìn)行分析。

3 融合實(shí)驗(yàn)與分析

本文對(duì)多組遙感影像進(jìn)行了相應(yīng)實(shí)驗(yàn)，為了便于直觀展示，選取其中一組QuickBird全色影像和多光譜影像進(jìn)行說(shuō)明，圖像大小為像素512×512像素，如圖1所示。

圖1 QuickBird全色影像和多光譜影像

3.1 融合質(zhì)量綜合評(píng)價(jià)指標(biāo)

公式(5)為平均梯度的計(jì)算式，ΔxZ(i,j)、ΔyZ(i,j)分別是圖像在行、列方向的灰度差。

(5)

平均梯度可以反映影像對(duì)微小細(xì)節(jié)反差的表達(dá)能力，可用來(lái)評(píng)價(jià)影像的清晰度，平均梯度越大，影像灰度變換率越大，影像越清晰，即影像對(duì)微小細(xì)節(jié)的表達(dá)能力越強(qiáng)。

公式(6)給出了標(biāo)準(zhǔn)差的定義，其中的μ為影像所有像元亮度值的算術(shù)平均值。

(6)

標(biāo)準(zhǔn)差描述了像元值與影像均值的離散程度，可以用來(lái)評(píng)價(jià)影像的反差大小，標(biāo)準(zhǔn)差越大，說(shuō)明影像灰度級(jí)分布越分散，影像的反差越大；標(biāo)準(zhǔn)差越小，影像的反差越小。

(7)

UIQI是一種綜合評(píng)價(jià)指標(biāo)，它從相關(guān)信息損失、輻射值扭曲以及對(duì)比度扭曲幾個(gè)方面來(lái)評(píng)價(jià)融合影像與原多光譜影像的相似程度。UIQI取值范圍為[0，1]，其值越大，表示融合影像與原多光譜影像光譜信息越接近，融合效果越好。

分析可得，平均梯度、標(biāo)準(zhǔn)差和UIQI 3項(xiàng)指標(biāo)越大，融合影像的空間分辨率越高，光譜扭曲越小，融合效果越好。

3.2 融合結(jié)果及質(zhì)量分析

利用本文提到的3種融合方法分別對(duì)影像進(jìn)行1～6層多尺度分解后的融合實(shí)驗(yàn)，圖2為3項(xiàng)客觀評(píng)價(jià)指標(biāo)隨層數(shù)增長(zhǎng)的走勢(shì)。

圖2 融合的評(píng)價(jià)指標(biāo)對(duì)多尺度分解層數(shù)的響應(yīng)曲線圖

通過(guò)指標(biāo)分析(圖2)和對(duì)實(shí)驗(yàn)結(jié)果(圖3～圖5)的觀察，可得到以下結(jié)果：

圖3 IHS變換與拉普拉斯金字塔變換的融合效果。

圖4 IHS變換與提升小波變換的融合效果。

圖5 IHS變換與NSCT變換的融合效果。

①對(duì)基于拉普拉斯金字塔變換融合方法分解的3項(xiàng)融合質(zhì)量客觀評(píng)價(jià)參數(shù)，第1層與其他4層走勢(shì)大不相同，通過(guò)目視觀察融合影像可以發(fā)現(xiàn)，這是因?yàn)橛美绽菇鹱炙儞Q融合方法對(duì)影像進(jìn)行1層分解的融合影像出現(xiàn)了明顯的分塊現(xiàn)象，使得融合影像嚴(yán)重失真(如圖3(a)所示)，導(dǎo)致客觀評(píng)價(jià)參數(shù)可靠性降低，出現(xiàn)了跳躍性變化。而當(dāng)分解層數(shù)逐步增加時(shí)，其平均梯度波動(dòng)較小，而標(biāo)準(zhǔn)差和綜合指標(biāo)UIQI均呈現(xiàn)穩(wěn)步上升的趨勢(shì)，這說(shuō)明隨著分解層數(shù)的上升，其融合質(zhì)量越來(lái)越好，到第5層時(shí)，趨于平穩(wěn)，在第6層分解時(shí)，達(dá)到較好的融合效果。但總體來(lái)說(shuō)，其融合效果不如基于提升小波變換和NSCT的方法。

②對(duì)于基于提升小波變換的融合方法，平均梯度第2層時(shí)達(dá)到峰值，在前3到5層分解時(shí)變化比較穩(wěn)定，而標(biāo)準(zhǔn)差隨著分解層數(shù)的增加呈現(xiàn)出穩(wěn)步增長(zhǎng)的趨勢(shì)，這說(shuō)明分解層數(shù)越多，融合影像的標(biāo)準(zhǔn)差越大，影像的反差越大。而UIQI指數(shù)則是隨著分解層數(shù)的增加呈逐漸遞減的趨勢(shì)，說(shuō)明融合影像隨著分解層數(shù)的增加，光譜失真越大。綜合空間分辨率和光譜信息兩方面考慮，對(duì)基于提升小波變換的方法，分解層數(shù)為2時(shí)，能相對(duì)取得較好的融合效果。

③對(duì)于基于NSCT的融合方法，在1到3層分解時(shí)，其平均梯度隨著層數(shù)的增加而不斷增加，到第3層達(dá)到最大值。其后隨著分解層數(shù)的增加，平均梯度趨于穩(wěn)定，而沒有像基于小波變換的融合方法那樣出現(xiàn)較大波動(dòng)，這是由于NSCT具有平移不變特性，其不會(huì)隨著分解層數(shù)的增加而產(chǎn)生嚴(yán)重的頻譜混疊現(xiàn)象。其標(biāo)準(zhǔn)差和UIQI指數(shù)的走勢(shì)與基于小波的融合方法大致相同，但是其標(biāo)準(zhǔn)差整體上不如小波變換，而UIQI指數(shù)則在整體上優(yōu)于小波變換，這說(shuō)明雖然基于NSCT的融合方法得到的融合影像的標(biāo)準(zhǔn)差不如小波變換，但它比小波變換具有更好的光譜保持能力，因此，選取3層分解比較適合影像的融合處理。

4 結(jié)束語(yǔ)

本文針對(duì)單一融合方法存在的不足，研究了IHS變換與拉普拉斯金字塔變換、提升小波變換和NSCT 3種多尺度變換方法相結(jié)合的融合方法，概要分析了3種融合方法的優(yōu)缺點(diǎn)，詳細(xì)研究了多尺度分解層數(shù)對(duì)融合效果的影響，得到了對(duì)于影像融合相對(duì)合適的多尺度分解層數(shù)。實(shí)驗(yàn)證明，IHS變換與提升小波變換相結(jié)合的方法以及IHS變換與NSCT相結(jié)合的方法明顯優(yōu)于IHS變換與拉普拉斯金字塔變換相結(jié)合的融合方法；基于拉普拉斯金字塔變換的融合方法在6層分解時(shí)為最佳融合效果；基于提升小波變換的融合方法在分解層數(shù)為兩層時(shí)，能取得較好的融合效果；對(duì)于NSCT變換，在3層分解比較適合影像的融合處理；而IHS變換與NSCT相結(jié)合的方法能在提高融合影像空間分辨率的同時(shí)，更好地保留原多光譜影像的光譜信息，與其他兩種方法相比，該方法獲得的融合影像色彩自然，邊緣清晰，綜合融合效果更好。

參考文獻(xiàn)：

[1] 姜蕓，臧淑英，王軍.多源遙感影像數(shù)據(jù)融合技術(shù)研究[J].測(cè)繪與空間地理信息，2005，32(2)：46-50.

[2] 張麗俠，張力，艾海濱.改進(jìn)HIS變換的圖像融合方法研究[J].測(cè)繪科學(xué)，2011，36(6)：149-151.

[3] 徐青，張艷，耿則勛.遙感影像融合與分辨率增強(qiáng)技術(shù)[M].北京：科學(xué)出版社，2007：75.

[4] 徐建達(dá)，王洪華.基于HIS變換和小波變換的遙感影像融合[J].測(cè)繪學(xué)院學(xué)報(bào)，2002，19(3)：198-199.

[5] 張一平，龔志輝，胡玲，等.基于非下采樣Contourlet變換的遙感影像融合[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào)，2012，29(3)204-208.

[6] 邢素霞.多光譜圖像融合中小波分解層數(shù)研究[J].微電子學(xué)與計(jì)算機(jī)，2011，28(1)：176-179.