李彥東，隋立春，2，陳楠，袁歡歡，徐家利

(1.長安大學(xué) 地質(zhì)工程與測(cè)繪學(xué)院，西安 710054；2.地理國情監(jiān)測(cè)國家測(cè)繪地理信息局工程技術(shù)研究中心，西安 710054)

0 引言

遙感技術(shù)因其獨(dú)特的技術(shù)優(yōu)勢(shì)，被廣泛應(yīng)用于地球環(huán)境監(jiān)測(cè)、土地資源利用變化監(jiān)測(cè)、氣候環(huán)境監(jiān)測(cè)等諸多領(lǐng)域。遙感影像空-譜融合技術(shù)主要是通過融合多光譜影像(multi-spectral，MS)以及全色影像(pan-chromatic，PAN)來構(gòu)建高光譜高空間分辨率的遙感影像，它已經(jīng)成為了許多遙感應(yīng)用預(yù)處理過程中的關(guān)鍵步驟[1]。

過去的幾十年中，學(xué)者們提出了各種各樣的方法來解決遙感影像空譜融合問題[2]。最早且經(jīng)典的是成分替代法，它的主要原理是將多光譜影像首先變換到一個(gè)合適的影像空間中，然后合理選取其中某一分量，利用高空間分辨率的全色影像進(jìn)行替換，最后將影像空間中的分量進(jìn)行反變換，得到融合后的影像。成分替代方法的關(guān)鍵在于全色影像與替換分量之間的相關(guān)性，相關(guān)性越大，融合后的光譜差異越小。成分替代法如基于HIS(hue-intensity-saturation)融合[3]、主成分分析(principal comp-onent analysis，PCA)、基于Gram-Schmidt(GS)變換融合[4]等，雖然這些方法可以獲得較高的空間分辨率，同時(shí)具有較強(qiáng)的魯棒性，但是由于全色波段與多光譜影像分量只有部分光譜區(qū)域重疊，所以它們的相關(guān)性本身就有一定的限制，因此這些方法通常存在光譜失真的缺點(diǎn)[5]。

為了降低由于分量替代而引起的光譜失真程度，一些學(xué)者提出了基于多尺度分析的融合方法，首先將全色波段影像分解為高頻段與低頻段，然后將全色波段影像的高頻信息注入到低空間分辨率的多光譜影像上，以提高影像的空間分辨率。多分辨率分析方法如小波變換(wavelet transform，WT)、平穩(wěn)小波變換(stationary wavelet transform，SWT)、Atrous小波變換(Atrous wavelet transform)等[6-7]，基于多分辨率分析的小波變換方法可以保持良好的光譜信息。然而，這些方法可能會(huì)遭受嚴(yán)重的空間失真(例如振鈴效應(yīng))，這樣會(huì)引起融合影像視覺質(zhì)量的惡化。近年來，基于壓縮傳感以及機(jī)器學(xué)習(xí)的影像融合方法得到了關(guān)注[8-12]。Li 等[13]提出了一種基于稀疏誘導(dǎo)先驗(yàn)信息的壓縮感知方法，通過建立隨機(jī)抽取高分辨率多光譜影像的影像塊字典來增強(qiáng)稀疏性。另一方面，深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)已經(jīng)成為影像識(shí)別、影像增強(qiáng)、目標(biāo)檢測(cè)和超分辨率等領(lǐng)域的研究熱點(diǎn)。Dong等[14]提出了一種超分辨率卷積神經(jīng)網(wǎng)絡(luò)(super-resolution convolutional neural networks，SRCNN)，并成功應(yīng)用于超分辨率處理。在此基礎(chǔ)上，Masi等[15]提出了一種全色波段銳化的卷積神經(jīng)網(wǎng)絡(luò)(pansharpening neural networks，PNN)。全色銳化可以看作是一個(gè)多輸入單輸出問題，而SRCNN最初是針對(duì)單輸入單輸出情況設(shè)計(jì)的，PNN與SRCNN的主要區(qū)別之一為是否將全色影像的細(xì)節(jié)信息注入CNN模型中。PNN模型已成功地應(yīng)用于實(shí)際數(shù)據(jù)，并獲得了高質(zhì)量的影像融合結(jié)果。

傳統(tǒng)的多光譜影像融合方法主要是將全色影像的空間細(xì)節(jié)和多光譜影像的光譜信息結(jié)合起來，簡單地將多光譜影像通過插值的方法(鄰域插值、雙線性插值等)進(jìn)行放大，然而由于放大后多光譜影像與全色影像的空間結(jié)構(gòu)有較大差異，導(dǎo)致融合影像產(chǎn)生畸變，因此，降低多光譜與全色影像之間的差異有助于提高融合影像的分辨率。

為此，本文提出了一種顧及多光譜分辨率空間信息的影像融合方法。首先，利用Wald協(xié)議構(gòu)建低分辨率全色影像，利用SRCNN網(wǎng)絡(luò)來訓(xùn)練低分辨率和高分辨率全色影像之間的關(guān)系，將訓(xùn)練好的網(wǎng)絡(luò)應(yīng)用于多光譜影像的重建以代替?zhèn)鹘y(tǒng)插值重建的方法；其次，為了充分利用分量替代法保留原始影像空間信息以及多分辨率分析保留影像光譜信息的優(yōu)勢(shì)，在GS變換的基礎(chǔ)上，加入Curvelet變換分析，進(jìn)一步提高多光譜影像與全色波段影像的融合質(zhì)量。用SRCNN進(jìn)行空間分辨率增強(qiáng)，可以減小低分辨率影像與全色影像空間結(jié)構(gòu)之間的差異，提高其相關(guān)性，有利于降低分量替換引起的光譜失真；同時(shí)，Curvelet變換可以較好地保存原始多光譜影像的光譜信息，有利于融合影像視覺質(zhì)量的提高。

1 算法介紹

1.1 超分辨率卷積神經(jīng)網(wǎng)絡(luò)重建

在多光譜遙感影像融合處理過程中，首先需要將多光譜影像通過插值的方法放大到與全色影像相同，插值方法多采用雙線性內(nèi)插或雙三次插值，這種簡單的放大并不能提高多光譜影像實(shí)際的分辨率。實(shí)際上，低分辨率影像與其對(duì)應(yīng)的高分辨率影像有著共同的先驗(yàn)信息[16]，這就使得低分辨率影像可以通過自身的細(xì)節(jié)來提高空間分辨率。SRCNN具有結(jié)構(gòu)簡單、學(xué)習(xí)速度較快等特點(diǎn)，是一種端到端的映射。

本文利用SRCNN模型來增強(qiáng)低分辨率多光譜影像的空間信息。在模型訓(xùn)練階段，將低-高分辨率的全色影像作為網(wǎng)絡(luò)的輸入-輸出；網(wǎng)絡(luò)通過學(xué)習(xí)低-高分辨率全色影像之間的關(guān)系，獲得二者之間的空間細(xì)節(jié)信息。利用學(xué)習(xí)到的網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)插值重建方法，對(duì)多光譜影像所有波段分別進(jìn)行SRCNN重建，得到增強(qiáng)后的多光譜影像，從而提高多光譜與全色影像之間的空間相關(guān)性，降低后續(xù)融合過程中產(chǎn)生的畸變，重建過程如圖1所示。

SRCNN模型主要包含特征提取、非線性映射、影像重建三個(gè)模塊。

1)特征提取。將低分辨率PAN影像進(jìn)行分塊，每個(gè)小塊視為一個(gè)高維向量，這些向量組成一個(gè)特征映射，其大小等于這些向量的維度，表示如式(1)所示。

H1=max(0，F(xiàn)1×I+R1)

(1)

式中：F1為濾波器，其大小為f1×f1×n1，n1是濾波器的數(shù)量；I為低分辨率影像；R1為偏差，大小為n1×1維；H1為通過卷積操作得到的特征映射，即第一卷積層。

2)非線性映射。將提取出的特征映射到另一個(gè)高維向量上，每一個(gè)映射向量表示一個(gè)高分辨率小塊，這些向量組成另一個(gè)特征映射，非線性映射層表示如式(2)所示。

H2=max(0，F(xiàn)2×H1+R2)

(2)

式中：F2為卷積濾波器，大小為n1×1×1×n2(n2≤n1)；R2為n2×1維的向量；H2為非線性映射后的輸出特征，每個(gè)輸出的n2維向量表示一個(gè)高分辨率塊，用于后續(xù)的重建。

3)影像重建。將來自非線性映射層的高分辨率塊進(jìn)行聚合，從而生成高分辨率影像，重建層的表示如式(3)所示。

H=F3×H2+R3

(3)

式中：F3為重建層濾波器，大小為n2×f3×f3×c；R3為一個(gè)c維向量；H為重建后的高分辨率影像。

1.2 Curvelet變換原理

傳統(tǒng)分量替代方法在融合過程中容易產(chǎn)生影像光譜失真，本文采用Curvelet變換分析分離影像高低頻信息，在融合影像空間信息的同時(shí)保留其光譜信息，以此提升融合影像的質(zhì)量。Curvelet變換是在小波變換基礎(chǔ)上發(fā)展起來的，小波分析的優(yōu)點(diǎn)在于它比傅里葉分析能更“稀疏”地表示一維分段光滑或有界變差函數(shù)。然而，小波分析不能“最優(yōu)”表示含線或者面奇異的高維函數(shù)，在二維影像中，小波分析并不能充分表達(dá)影像的邊緣特征。為了克服這個(gè)缺陷，多尺度幾何分析受到了關(guān)注，其中代表的有Ridgelet變換、Curvelet變換、Contouret變換等。Curvelet變換通過對(duì)Radon域的多角度投影變換加強(qiáng)了影像邊緣信息的提取，同時(shí)，還具有小波變換不具備的方向參數(shù)，能夠準(zhǔn)確地表達(dá)影像的邊緣方向[17-19]。

Curvelet變換的低頻段可以較好地表達(dá)影像的整體平滑信息，高頻段可以很好地表達(dá)影像細(xì)節(jié)變化的特征。將其用于影像融合中，可以使高分辨率影像的空間細(xì)節(jié)特征被更好地表達(dá)，從而將更多的高頻信息注入到低空間分辨率影像中，降低融合后的空間失真。本文采用二代Curvelet變換方法[20]，首先，將融合影像中需要替換的影像從空間域變換到頻率域;然后，在頻率域中進(jìn)行局部化;最后，采用二維傅里葉逆變換得到曲波系數(shù)。

二代曲波變化與一代曲波變換構(gòu)造上完全不同，擺脫了一代曲波變化數(shù)據(jù)冗余的缺點(diǎn)，算法更簡單，更便于理解。

1.3 本文算法

圖2概括了本文所提算法，即以Gram-Schmid變換為基礎(chǔ)，對(duì)GS算法的輸入及成分替換部分進(jìn)行改進(jìn)。SRCNN可以在保留多光譜影像光譜信息的同時(shí)提高其空間分辨率，從而提高與全色影像的空間相關(guān)性。在GS成分替換時(shí)，加入Curvelet變換分析，可以有效地分離影像高低頻信息，較好地保持融合影像的空間與光譜信息，本文算法流程如下。

1)空間分辨率增強(qiáng)。根據(jù)圖1的SRCNN模型，通過對(duì)高/低分辨率全色影像進(jìn)行訓(xùn)練，對(duì)多光譜影像進(jìn)行超分辨率影像重建，得到增強(qiáng)影像Emul。

2)利用增強(qiáng)后的影像Emul進(jìn)行低分辨率全色波段模擬，作為GS變換的第一分量，模擬原則如式(4)所示。

(4)

式中：GS1為變換的第一分量；N為多光譜影像波段數(shù)；Bn為多光譜影像第n個(gè)波段。

3)利用模擬的第一分量與增強(qiáng)影像進(jìn)行GS正變換，變換如式(5)所示。

(5)

式中：GSn為當(dāng)前第n個(gè)變換的波段；Bn為參與變換原始多光譜第n個(gè)波段；μn為第n個(gè)波段的均值；GSm為已經(jīng)參與變換的波段；φ(Bn，GSm)為兩個(gè)波段的協(xié)方差。

4)將模擬的第一分量GS1與全色波段進(jìn)行分量替換，利用Curvelet變換對(duì)兩幅影像分別進(jìn)行尺度分析，低頻采用絕對(duì)值取大，高頻采用局部方差準(zhǔn)則進(jìn)行融合(式(6))。

(6)

式中：SL為融合影像低頻部分；GS1L為GS變換第一分量低頻信息；PL為全色影像低頻信息。

局部方差準(zhǔn)則將待融合的兩幅影像高頻信息分成K個(gè)子塊，對(duì)每個(gè)子塊影像進(jìn)行方差計(jì)算，融合系數(shù)的計(jì)算如式(7)至式(9)所示。

(7)

(8)

ω2=1-ω1

(9)

5)將融合后的影像S代替第一分量GS1，然后進(jìn)行GS逆變換，從而得到融合后的高分辨率多光譜影像。

2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提算法的有效性，實(shí)驗(yàn)測(cè)試數(shù)據(jù)使用了不同分辨率的衛(wèi)星數(shù)據(jù)集，即Landsat 8、ZY-3以及高分一號(hào)進(jìn)行影像融合重建實(shí)驗(yàn)。實(shí)驗(yàn)所選取的評(píng)價(jià)指標(biāo)為峰值信噪比(peak signal noise ratio，PSNR)、光譜角制圖(spectral angle mapping，SAM)、空間相關(guān)系數(shù)(spatial correlation coefficient，SCC)[21]、通用影像指數(shù)(Q)[22]和相對(duì)無量綱全局誤差(erreur relative globale adimensionnelle de synthèse，ER-GAS)。

2.1 評(píng)價(jià)指標(biāo)

1)PSNR。PSNR用于評(píng)價(jià)融合影像與參考影像的接近程度，PSNR值越大，融合影像失真越少，越接近參考影像。

2)SAM。SAM的結(jié)果可看作兩影像之間整體余弦角均值。SAM值越小表示兩個(gè)影像越匹配，相似度越高；反之，表示兩影像相似度越小。

3)SCC。SCC表明融合影像與全色影像之間空間細(xì)節(jié)的相關(guān)程度。SCC數(shù)值越大，代表融合方法保持空間細(xì)節(jié)信息的能力越強(qiáng)。

4)Q。Q值越大，影像融合效果越好。

5)ER-GAS。ER-GAS主要從光譜角度評(píng)價(jià)融合影像的質(zhì)量，反映了光譜整體的變化情況。ER-GAS數(shù)值越小，代表影像融合效果越好。

2.2 訓(xùn)練數(shù)據(jù)說明

實(shí)驗(yàn)數(shù)據(jù)根據(jù)Wald協(xié)議進(jìn)行模擬，首先通過雙三次插值按其空間分辨率對(duì)多光譜及對(duì)應(yīng)的全色影像進(jìn)行下采樣，然后對(duì)下采樣后的影像進(jìn)行融合，同時(shí)將原始的多光譜影像用作地面真實(shí)的參考影像。

SRCNN網(wǎng)絡(luò)參數(shù)通過本文所給的訓(xùn)練集重新進(jìn)行訓(xùn)練，特征提取層濾波器F1大小設(shè)置為9×9×64，非線性映射層濾波器F2設(shè)置為64×5×5×32，重建層濾波器F3設(shè)置為32×5×5×1；目標(biāo)函數(shù)采用均方誤差；使用帶有動(dòng)量參數(shù)的隨機(jī)梯度下降法(stochastic gradient descent，SGD)最小化目標(biāo)函數(shù)，初始學(xué)習(xí)率設(shè)置為0.01，權(quán)重衰減設(shè)置為10-7，動(dòng)量參數(shù)設(shè)置為0.9。

訓(xùn)練集為三組實(shí)驗(yàn)數(shù)據(jù),在上采樣階段選取2、3、4三種不同融合尺度分別進(jìn)行訓(xùn)練，訓(xùn)練數(shù)據(jù)說明如表1所示。

表1 訓(xùn)練數(shù)據(jù)說明

2.3 融合結(jié)果分析

圖3、圖4、圖5分別為不同融合尺度的遙感影像。從目視融合效果上看，針對(duì)不同融合尺度的遙感影像，所有算法均有效地提高了影像細(xì)節(jié)信息，影像質(zhì)量都得到了改善，不同地物地貌可以更加容易地被識(shí)別出來。針對(duì)不同地貌的影像，GS、PCA等成分替代方法都較好地增強(qiáng)了影像的空間細(xì)節(jié)，但在圖3標(biāo)記的紅色區(qū)域，存在明顯顏色失真。將圖4中標(biāo)記的紅色區(qū)域進(jìn)行比較，可以看出小波與曲波變換更接近真實(shí)景物效果，影像光譜效果更接近參考影像，但其空間細(xì)節(jié)表達(dá)能力不足。將圖5中紅色區(qū)域?qū)Ρ葋砜?，多尺度分析算法在建筑物邊緣?xì)節(jié)表現(xiàn)出一些空間混疊，成分替代方法則出現(xiàn)了一些色差，本文算法在視覺上更接近參考影像，一些地面細(xì)節(jié)及紋理特征更加清晰。面對(duì)不同融合尺度的遙感影像，本文所提算法綜合表達(dá)能力更突出。

表2、表3、表4給出了不同融合尺度下融合算法的客觀評(píng)價(jià)指標(biāo)。對(duì)比分析可以看出，本文所提算法均優(yōu)于對(duì)比算法。從光譜角制圖指標(biāo)上看，本文所提算法比其他算法均提高了0.1以上，表明其在融合過程中有著很好的光譜保持能力，對(duì)于后續(xù)利用遙感影像光譜特征進(jìn)行分類分割起到了至關(guān)重要的作用。對(duì)比空間相關(guān)性指標(biāo)，本文所提算法在Landsat 8影像上融合效果相較于其他算法略有提升，在ZY3-1、GF-1融合結(jié)果上有明顯提升，這一方面是由于原始多光譜影像經(jīng)過SRCNN影像重建，其空間細(xì)節(jié)信息有了明顯增強(qiáng)，對(duì)于融合影像的空間信息有促進(jìn)作用；另一方面，增強(qiáng)多光譜影像空間細(xì)節(jié)有助于提高與全色影像的相關(guān)性，降低了融合過程中影像的光譜失真，在圖3、圖5紅色標(biāo)記區(qū)域中有所體現(xiàn)。通過與其他三種指標(biāo)進(jìn)行對(duì)比，可以發(fā)現(xiàn)本文所提算法指數(shù)最高，這顯示了本文所提算法在光譜保真度及空間增強(qiáng)方面優(yōu)于傳統(tǒng)的成分替代及多尺度分析融合方法。

表2 Landsat 8影像不同算法指標(biāo)對(duì)比

表3 ZY3-1 影像不同算法指標(biāo)對(duì)比

表4 GF-1 影像不同算法指標(biāo)對(duì)比

通過目視判讀以及指標(biāo)對(duì)比分析，GS、PCA及目標(biāo)算法在表達(dá)影像空間細(xì)節(jié)信息方面有著明顯優(yōu)勢(shì)，多尺度分析算法及目標(biāo)算法在光譜信息方面更接近參考影像，說明目標(biāo)算法不論從光譜保持能力還是細(xì)節(jié)表現(xiàn)程度上都有著出色的融合效果。同時(shí)，面對(duì)不同的融合尺度，不同衛(wèi)星影像的波段信息及分辨率都有著較大的差異，本文所提算法也能展現(xiàn)出較好的融合效果，說明了本文所提算法的有效性以及對(duì)不同數(shù)據(jù)的適應(yīng)性。

3 結(jié)束語

本文通過超分辨率影像重建對(duì)原始多光譜影像進(jìn)行空間細(xì)節(jié)提升，同時(shí)在傳統(tǒng)GS變換基礎(chǔ)上加入Curvelet變換，結(jié)合二者優(yōu)點(diǎn)，提出了基于SRCNN與Curvelet變換的多光譜遙感影像融合方法。實(shí)驗(yàn)結(jié)果表明，本文算法在整體上優(yōu)于已有的分量替代及多尺度分析算法，具備GS算法與Curvelet變換的優(yōu)勢(shì)，能夠在保持影像光譜信息的同時(shí)，極大地提高影像的空間分辨率，改善了融合影像的質(zhì)量。

然而，本文算法在多光譜影像重建階段選取的是全色影像作為訓(xùn)練樣本，如何在現(xiàn)有的基礎(chǔ)上探究全色影像與多光譜影像之間的聯(lián)系，以及有效地利用遙感影像先驗(yàn)知識(shí)(如NDVI等信息)進(jìn)一步提升多光譜影像重建質(zhì)量，這一方面的內(nèi)容有待研究。同時(shí)，考慮到Curvelet變換中多個(gè)方向參量之間代表了影像不同的細(xì)節(jié)紋理特征，如何在影像訓(xùn)練階段利用這一特性提高訓(xùn)練效率及精度，值得一定的關(guān)注。