孫偉偉 任凱 肖晨超 孟祥超 楊剛

(1 寧波大學(xué) 地理與空間信息技術(shù)系, 浙江寧波 315211)(2 自然資源部國(guó)土衛(wèi)星遙感應(yīng)用中心, 北京 100048)(3 寧波大學(xué) 信息科學(xué)與工程學(xué)院, 浙江寧波 315211)

濱海濕地即陸地生態(tài)系統(tǒng)和海洋生態(tài)系統(tǒng)的交錯(cuò)過渡區(qū)域，具有重要的生態(tài)和經(jīng)濟(jì)價(jià)值。衛(wèi)星遙感的大面積同步觀測(cè)和可重復(fù)觀測(cè)等技術(shù)優(yōu)勢(shì)為實(shí)現(xiàn)濱海濕地的動(dòng)態(tài)監(jiān)測(cè)和科學(xué)管理提供重要支撐。近年來，國(guó)產(chǎn)衛(wèi)星事業(yè)發(fā)展迅速，特別是高光譜衛(wèi)星的出現(xiàn)為濕地的精細(xì)監(jiān)測(cè)提供了可能。2019年9月，我國(guó)成功發(fā)射第2顆高光譜遙感衛(wèi)星資源一號(hào)02D衛(wèi)星(又稱為5米光學(xué)業(yè)務(wù)衛(wèi)星)，是我國(guó)首顆民用高光譜業(yè)務(wù)衛(wèi)星，其空間分辨率為30 m，光譜范圍從400～2500 nm，可見光與近紅外(VNIR)范圍內(nèi)的光譜分辨率為10 nm，短波紅外(SWIR)范圍內(nèi)光譜分辨率為20 nm，可獲取166個(gè)連續(xù)光譜波段，幅寬可達(dá)60 km[1]。然而，由于傳感器在設(shè)計(jì)過程中不能同時(shí)兼顧高空間分辨率與高光譜分辨率，使得資源一號(hào)02D衛(wèi)星數(shù)據(jù)在地物精細(xì)識(shí)別與監(jiān)測(cè)等應(yīng)用中無(wú)法直接發(fā)揮其更大的應(yīng)用價(jià)值。影像融合作為當(dāng)前提升高光譜數(shù)據(jù)(HS)空間分辨率最主要的技術(shù)手段近年來不斷發(fā)展，同時(shí)，多光譜數(shù)據(jù)(MS)具有比全色影像(PAN)更多的光譜波段，與HS具有更大的光譜相關(guān)性，因此，一種可以有效融合HS數(shù)據(jù)與MS數(shù)據(jù)的方法是非常重要的[2-5]。當(dāng)前針對(duì)HS與MS進(jìn)行融合的方法眾多，根據(jù)其原理大致可分為以下4類：基于成分替換的方法、基于多分辨率分析的方法、基于機(jī)器學(xué)習(xí)的方法與基于深度學(xué)習(xí)的方法[2]?；诔煞痔鎿Q的方法主要通過使用高空間分辨率的影像替換低空間分辨率影像的強(qiáng)度分量進(jìn)行逆變換獲取融合影像，代表性的方法包括自適應(yīng)的Gram Schmidt 算法(GSA)、亮度-色度-飽和度(IHS)等[6]。基于多分辨率分析的方法通過濾波器、小波變換等方法提取高空間分辨率影像中的空間結(jié)構(gòu)信息，并將其注入到低空間分辨率影像中實(shí)現(xiàn)圖像融合，代表性的方法包括抽取小波變換(DWT),調(diào)制傳遞函數(shù)-拉普拉斯金字塔(MTF-GLP)[2]?；跈C(jī)器學(xué)習(xí)的方法首先建立影像融合模型，通過迭代最佳化求解得到融合后的影像，代表性的方法包括耦合非負(fù)矩陣分解(CNMF)、基于Sylvester公式的快速融合方法(FUSE)[2]。基于深度學(xué)習(xí)的方法通過建立復(fù)雜的網(wǎng)絡(luò)訓(xùn)練MS影像、HS影像與高空間分辨率的HS間的關(guān)系，并將關(guān)系映射于需要融合的MS和HS數(shù)據(jù)得到融合后的影像，比較典型的方法有3-D卷積神經(jīng)網(wǎng)絡(luò)(3-D CNN)、拉普拉斯全卷積神經(jīng)網(wǎng)絡(luò)(PFCN)[6]。

因此，本文針對(duì)當(dāng)前方法在空間保真性、光譜保真性和計(jì)算效率中所存在的權(quán)衡提出了一種成分替換與神經(jīng)網(wǎng)絡(luò)相結(jié)合(CSNN)的高光譜與多光譜融合方法，實(shí)現(xiàn)資源一號(hào)02D衛(wèi)星影像與多光譜影像的高質(zhì)量融合，提升濱海濕地的分類應(yīng)用效果。

1 結(jié)合成分替換和神經(jīng)網(wǎng)絡(luò)的融合方法

本文提出了一種新穎的高光譜影像融合方法，首先對(duì)HS數(shù)據(jù)進(jìn)行插值并根據(jù)數(shù)據(jù)間的波段相關(guān)性進(jìn)行波段分組，使HS波段對(duì)應(yīng)于相應(yīng)的MS波段；其次通過權(quán)重矩陣提取HS波段組的強(qiáng)度分量，并將提取出的強(qiáng)度分量作為引導(dǎo)圖像對(duì)MS波段進(jìn)行降分辨率；之后訓(xùn)練降分辨率的MS波段與強(qiáng)度分量間的映射關(guān)系，將訓(xùn)練得到的關(guān)系映射于原始MS波段得到高空間分辨率的強(qiáng)度分量；最后使用高空間分辨率的強(qiáng)度分量減去低空間分辨率的強(qiáng)度分量，使用權(quán)重矩陣將得到的差分影像注入到原始HS波段中實(shí)現(xiàn)本組的影像融合，并依次完成其它組數(shù)據(jù)的融合之后進(jìn)行波段合成(如圖1所示)。

注：LRHS為低分辨率的高光譜影像，HRMS為高空間分辨率的多光譜影像，HRHS為融合后的高空間分辨率的高光譜影像，Wk為權(quán)重矩陣，Gk為轉(zhuǎn)換權(quán)重矩陣。

1.1 波段分組

在影像融合的過程中，數(shù)據(jù)間的相關(guān)性對(duì)最終的融合質(zhì)量具有一定的影響。當(dāng)前大多多光譜傳感器所獲取影像的波譜范圍為400～900 nm，資源一號(hào)02D衛(wèi)星高光譜傳感器則可獲取400～2500 nm范圍內(nèi)的影像，影像中非重合波段的融合一直是數(shù)據(jù)處理中的一個(gè)難點(diǎn)。為了解決這一難點(diǎn)，在保證非重合波段較小失真的基礎(chǔ)上提升總體融合質(zhì)量，試驗(yàn)中計(jì)算了資源一號(hào)02D衛(wèi)星HS每個(gè)波段與MS每個(gè)波段間的相關(guān)系數(shù)，尋求每個(gè)HS波段對(duì)應(yīng)的具有最大相關(guān)性的MS波段對(duì)數(shù)據(jù)進(jìn)行分組融合。具體計(jì)算公式為

(1)

1.2 強(qiáng)度分量預(yù)測(cè)

基于成分替換的方法首先將HS數(shù)據(jù)中的強(qiáng)度分量進(jìn)行提取，采用直方圖匹配后的高空間分辨率影像對(duì)所提取的強(qiáng)度分量進(jìn)行替換實(shí)現(xiàn)影像融合。由于高空間分辨率影像與原始HS數(shù)據(jù)強(qiáng)度分量間存在較大的差異，替換強(qiáng)度分量后的HS數(shù)據(jù)光譜特性被改變，存在嚴(yán)重的光譜失真。因此，一個(gè)適當(dāng)?shù)膹?qiáng)度分量對(duì)于影像融合是非常重要的。本文采用基于成分替換的方法與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合獲得了高空間分辨率的強(qiáng)度分量，通過使用高空間分辨率的強(qiáng)度分量替換HS數(shù)據(jù)的強(qiáng)度分量進(jìn)行逆變換實(shí)現(xiàn)影像融合，具體步驟如下。

(1)提取HS數(shù)據(jù)波段組中低空間分辨率的強(qiáng)度分量，具體公式為

(2)

(3)

(2)對(duì)MS的波段進(jìn)行降分辨率，本次研究采用導(dǎo)向?yàn)V波器，具體公式為

(4)

(5)

式中：Mlt表示Ml的第t個(gè)像素，ε為正則化參數(shù)。

(6)

(7)

式中：wj表示隱含層第j個(gè)神經(jīng)元到輸出層的權(quán)重矩陣，b2表示誤差矩陣。以上w和b通過不斷迭代更新得到的，具體公式為

wj=wj+α·(Ap-Ar)·Ap·(1-Ap)·aj

(8)

b2=b2+β·(Ap-Ar)·Ap·(1-Ap)

(9)

wji=wji+α·(Ap-Ar)·wj·aj·

(10)

b1=b1+β·(Ap-Ar)·wj·aj·(1-aj)

(11)

式中：α和β為學(xué)習(xí)參數(shù)，并且α=0.6和β=0.7，Ar為目標(biāo)數(shù)據(jù)。通過以上算法可獲取數(shù)據(jù)間的非線性映射關(guān)系，通過將訓(xùn)練得到的非線性關(guān)系映射于MS波段得到高空間分辨率的強(qiáng)度分量，具體公式為

(12)

1.3 成分替換

根據(jù)成分替換方法的原理，通過將訓(xùn)練得出的高空間分辨率的強(qiáng)度分量替換原始HS波段數(shù)據(jù)的強(qiáng)度分量并進(jìn)行逆變換得到融合的HS波段數(shù)據(jù)，具體公式為

k=1,…,θ

(13)

(14)

2 資源一號(hào)02D衛(wèi)星的融合與濕地分類試驗(yàn)

2.1 數(shù)據(jù)集

本次試驗(yàn)共采用了兩組模擬數(shù)據(jù)集和一組真實(shí)數(shù)據(jù)集對(duì)CSNN進(jìn)行了驗(yàn)證，表1展示了試驗(yàn)所采用數(shù)據(jù)的具體信息。本文采用不同的光譜響應(yīng)函數(shù)和降采樣系數(shù)進(jìn)行數(shù)據(jù)模擬，驗(yàn)證本方法對(duì)于不同數(shù)據(jù)集的魯棒性。其中，模擬數(shù)據(jù)集-1捕獲了2019年12月2日河北省廊坊市的部分區(qū)域。通過移除水汽吸收嚴(yán)重的波段，最終采用了155個(gè)高光譜波段，并且采用斯波特-4(SPOT-4)衛(wèi)星的光譜響應(yīng)函數(shù)，降采樣系數(shù)為4得到模擬MS數(shù)據(jù)；模擬數(shù)據(jù)集-2于2020年5月19日采集，覆蓋太湖流域的部分區(qū)域，移除11個(gè)水汽吸收嚴(yán)重的波段，最終共采用155個(gè)波段進(jìn)行試驗(yàn)，采用地球之眼-1(GeoEye-1)衛(wèi)星的光譜響應(yīng)函數(shù)，降采樣系數(shù)為5對(duì)HS進(jìn)行光譜重采樣獲取了模擬MS數(shù)據(jù)。真實(shí)數(shù)據(jù)集所采用的高光譜數(shù)據(jù)同樣來源于資源一號(hào)02D衛(wèi)星傳感器，該影像位于杭州灣南岸區(qū)域，移除22個(gè)水汽吸收嚴(yán)重的波段，最終144個(gè)波段被使用進(jìn)行融合試驗(yàn)，并且所采用的高光譜數(shù)據(jù)像素為1300×1600。此外，多光譜數(shù)據(jù)來源于歐洲哨兵-2A衛(wèi)星(Sentinel-2A)傳感器，其中4個(gè)空間分辨率為10 m的波段被使用，像素為3900×4800。為了探索不同融合方法的具體應(yīng)用性能，我們對(duì)真實(shí)數(shù)據(jù)集融合后的圖像進(jìn)行了分類分析。通過使用Google Earth軟件和實(shí)地采樣，獲得了真實(shí)數(shù)據(jù)中主要濕地地物類型的感興趣區(qū)域。訓(xùn)練樣本和測(cè)試樣本從所選的感興趣區(qū)域中隨機(jī)選取。為了保證分類精度，訓(xùn)練樣本數(shù)與測(cè)試樣本數(shù)的選用比例為3∶7，利用性能穩(wěn)定的支持向量機(jī)(SVM)分類器對(duì)圖像進(jìn)行分類。

表1 試驗(yàn)數(shù)據(jù)集Table 1 Experimental datasets

2.2 試驗(yàn)結(jié)果

本文一方面從可視化的角度對(duì)影像融合結(jié)果進(jìn)行了定性評(píng)價(jià)，另一方面采用了支持向量機(jī)(SAM)、綜合全局誤差(ERGAS)、峰值信噪比(PSNR)和通用圖像質(zhì)量指數(shù)(Q2n)對(duì)融合影像進(jìn)行了定量評(píng)價(jià)[7-8]。此外，選用了CNMF、FUSE、GSA、MTF-GLP、混合色映射(HCM)5種主流的融合方法與CSNN進(jìn)行了對(duì)比，從更加客觀的角度對(duì)CSNN進(jìn)行了評(píng)估[8-10]。

圖2與圖3展示了模擬數(shù)據(jù)的融合結(jié)果。

注：紅光波段為636 nm,綠光波段為550 nm,藍(lán)光波段為473 nm。

注：紅光波段為636 nm,綠光波段為550 nm,藍(lán)光波段為473 nm。

由圖2、圖3可知CNMF與FUSE取得了較好的融合效果，在光譜保真性與空間分辨率增強(qiáng)方面都取得了很好的性能；GSA取得了較好的空間銳化效果，但存在全局性的光譜失真；MTF-GLP對(duì)于影像的空間分辨率增強(qiáng)效果有限，但是具有較好的光譜保真性，HCM取得了最差的可視化結(jié)果。CSNN對(duì)于地物的空間分辨率具有最好的增強(qiáng)效果，并且具有很好的光譜保真性。為了更客觀的對(duì)各種方法進(jìn)行評(píng)估，表2展示了對(duì)融合圖像的定量評(píng)估結(jié)果。其中CSNN在各項(xiàng)指標(biāo)中都取得了最好的結(jié)果，其次為CNMF與FUSE，GSA與MTF-GLP取得了一般的定量評(píng)估結(jié)果，HCM在所有方法中結(jié)果最差。

圖4展示了真實(shí)數(shù)據(jù)的融合結(jié)果，所有方法都取得了較好的空間分辨率增強(qiáng)效果，但是融合影像間存在一定的光譜差異，例如FUSE和GSA在海洋區(qū)域存在嚴(yán)重的光譜失真，CNMF在灘涂區(qū)域與LRHS具有一些光譜差異，HCM在植被區(qū)的光譜保真性較差。其中，MTF-GLP和CSNN具有最佳的光譜保真性。此外，對(duì)融合影像的光譜曲線與真實(shí)地物參考光譜曲線進(jìn)行了對(duì)比，如圖5所示，我們的方法在植被，湖泊和海洋中保持了最好的光譜保真性。為了進(jìn)一步對(duì)各種方法的應(yīng)用性能進(jìn)行評(píng)估，對(duì)真實(shí)數(shù)據(jù)集的融合影像進(jìn)行了分類，并通過總體分類精度(OA)指標(biāo)和Kappa系數(shù)(KC)對(duì)分類結(jié)果進(jìn)行了評(píng)估。圖6展示了原始影像與融合圖像的分類結(jié)果，可看出混分區(qū)域主要存在于河漫灘和海洋的部分區(qū)域，水田和植被的部分區(qū)域，坑塘和養(yǎng)殖池的部分區(qū)域。通過表3的精度評(píng)估結(jié)果可看出，所有融合影像的分類精度都高于原始影像，說明通過影像融合可有效地提升數(shù)據(jù)分類精度。此外，各種融合方法對(duì)分類精度的提升效果不一，其中CNMF、FUSE和GSA取得了較好的效果，MTF-GLP和HCM次之，CSNN取得了最好的結(jié)果。

表2 模擬數(shù)據(jù)集定量評(píng)估結(jié)果Table 2 Quantitative evaluation results of the simulated datasets

注：紅光波段為636 nm,綠光波段為550 nm,藍(lán)光波段為473 nm。

圖5 典型地物的光譜曲線對(duì)比Fig.5 Comparison of spectral curves of main ground objects

圖6 真實(shí)數(shù)據(jù)集影像融合結(jié)果分類圖Fig.6 Classification map of different image fusion results for real data

本次試驗(yàn)所有方法都運(yùn)行于Intel Core i5處理器和8G RAM上，采用MATLAB 2018a對(duì)算法進(jìn)行操作。表4列出了各種方法在不同數(shù)據(jù)集上的運(yùn)行時(shí)間，可以看出CNMF和FUSE取得了最低的計(jì)算效率，GSA和MTF-GLP次之，HCM獲得了最高的計(jì)算效率，但其融合質(zhì)量存在巨大的缺陷。除HCM之外，本文的方法取得了最佳的計(jì)算效率。

表3 不同方法的分類精度對(duì)比Table 3 Classification accuracies from different methods

表4 不同方法的運(yùn)行時(shí)間對(duì)比Table 4 Comparison in computational time of different methods

3 結(jié)束語(yǔ)

本文針對(duì)資源一號(hào)02D衛(wèi)星更好地應(yīng)用于濱海濕地分類，提出了一種高光譜與多光譜數(shù)據(jù)融合方法，該方法創(chuàng)新性地將成分替換方法與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合，一方面改進(jìn)了融合數(shù)據(jù)的融合質(zhì)量，另一方面提升了算法的計(jì)算效率。采用了模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)對(duì)方法進(jìn)行了驗(yàn)證，并且將其應(yīng)用于濱海濕地分類，取得了很好的結(jié)果。但是由于成分替換框架本身的缺陷，一些光譜失真仍然存在，當(dāng)前多分辨率分析方法的框架可有效地降低融合影像的光譜失真，如何將多分辨率分析框架與神經(jīng)網(wǎng)絡(luò)算法相結(jié)合是未來的一個(gè)重要的研究方向。