何江，袁強(qiáng)強(qiáng)，李杰

（武漢大學(xué) 測繪學(xué)院，武漢 430079）

0 引言

高光譜成像是一種以高光譜分辨率獲取被觀測物體輻射特性的技術(shù)。高光譜圖像具有豐富的光譜信息，可用于語義分割、場景分類、目標(biāo)檢測和目標(biāo)跟蹤等方面。高光譜圖像由于其在像元上具有連續(xù)的光譜特性，能夠提高對物體的分辨能力，在食品科學(xué)、大氣監(jiān)測、醫(yī)學(xué)科學(xué)和遙感等諸多領(lǐng)域越來越受到重視。

盡管高光譜圖像已經(jīng)得到了廣泛的應(yīng)用，但由于在生成高信噪比光譜時，每個像素的傳感器空間尺寸都在增加，高成本和低空間分辨率阻礙了其在精細(xì)化應(yīng)用的發(fā)展。而多光譜傳感器通常只通過幾個光譜通道捕獲高空間分辨率的圖像，空間細(xì)節(jié)豐富，但是光譜信息粗糙。因此，如何以較低的成本從高分辨率多光譜圖像中獲取高分辨率高光譜圖像成為了人們關(guān)注的問題。即，給定一幅多光譜圖像，通過增加多光譜的通道數(shù)，得到一幅空間分辨率相同、光譜分辨率高的高光譜圖像，稱為光譜超分辨率（Spectral Superresolution， sSR）。

從退化后觀測的多光譜圖像求解原始高光譜圖像，解是無窮個的［1］。為了解決這一欠定逆問題，傳統(tǒng)的解決方法是采用稀疏恢復(fù)和字典學(xué)習(xí)來提取完備的高光譜字典庫以及對應(yīng)的稀疏系數(shù)，再應(yīng)用到待提升光譜分辨率的多光譜數(shù)據(jù)上，實(shí)現(xiàn)光譜超分辨率，代表方法有Arad［2］，A+［3］和高斯過程［4］等。隨著深度學(xué)習(xí)在圖像處理領(lǐng)域的不斷斬獲佳績，數(shù)據(jù)驅(qū)動的友好訓(xùn)練方式以及強(qiáng)大的非線性學(xué)習(xí)能力使得光譜超分辨率算法也掀起了深度學(xué)習(xí)的浪潮［5-9］。從最早的DenseUnet到注意力機(jī)制，Transformer等結(jié)構(gòu)，網(wǎng)絡(luò)已經(jīng)有了翻天覆地的變化。早期算法只關(guān)注網(wǎng)絡(luò)的光譜映射效果缺忽略了空間細(xì)節(jié)保真；后期算法模型逐漸龐大且缺乏泛化能力。雖然擁有較高性能，但深度學(xué)習(xí)算法也因?yàn)槿狈ξ锢砜山忉屝缘暮谙徊僮鞣绞斤柺茉嵅　?/p>

無論是模型驅(qū)動的亦或是數(shù)據(jù)驅(qū)動的光譜超分辨率算法，兩者都是建立在共同的假設(shè)之上：現(xiàn)有可用的多光譜圖像只有一個分辨率。在自然圖像處理領(lǐng)域，這一假設(shè)是切合實(shí)際的，相機(jī)或攝像頭拍攝的圖片總是只存在一個分辨率。但是當(dāng)所涉及的領(lǐng)域是衛(wèi)星遙感圖像時，這一假設(shè)就難以站穩(wěn)腳跟。因此，本文在歸納了多種遙感多光譜衛(wèi)星成像模式之后，對原有光譜超分辨率算法進(jìn)行廣義擴(kuò)充，并且通過一個聯(lián)合模型驅(qū)動與數(shù)據(jù)驅(qū)動的算法加以驗(yàn)證解決，同時構(gòu)建了多光譜衛(wèi)星圖像光譜超分辨率數(shù)據(jù)集。

1 問題與方法

1.1 多光譜衛(wèi)星成像

多光譜衛(wèi)星是一種對廣域地表地物進(jìn)行高效監(jiān)測與分析的手段。然而，根據(jù)需求不同，不同的多光譜衛(wèi)星的成像模式也大不相同。如圖1所示，多光譜衛(wèi)星成像模式大致可以分為三大類，最熟悉的一類就是Landsat早期衛(wèi)星，這些衛(wèi)星只拍攝一組相同空間分辨率的多光譜數(shù)據(jù)；由于人們對空間分辨率的需求與成像條件的相互制約，后續(xù)發(fā)展出的高分系列以及Landsat6-8、快鳥等衛(wèi)星在拍攝多光譜衛(wèi)星的同時，還拍攝同一覆蓋區(qū)域的全色影像，這景全色影像具備極高的空間分辨率；最后一種是為了滿足人們對特定光譜范圍數(shù)據(jù)的需求，衛(wèi)星在不同波段范圍的波段分辨率不同，如WorldView2號等。需要注意的是，圖1只是示意圖，同一成像模式下的圖像分辨率具有可比性，而不同成像模式間圖像的分辨率關(guān)系不具有參考性，例如高分系列的低分多光譜數(shù)據(jù)（最低8 m）實(shí)際比哨兵2號的高分多光譜數(shù)據(jù)（最高10 m）的空間分辨率還要高。

圖 1 多光譜衛(wèi)星成像模式與廣義光譜超分辨率Fig.1 Multispectral satellite imagings and generalized spectral super-resolution

1.2 廣義光譜超分辨率

如上所述，由于不同多光譜衛(wèi)星平臺所對應(yīng)的需求和應(yīng)用不同，其多光譜成像模式也大不相同，如果只是采用其中的部分多光譜數(shù)據(jù)進(jìn)行光譜超分辨重建，則會造成數(shù)據(jù)的浪費(fèi)和損失（例如，第二種成像模式的全色影像以及第三種成像模式的低分多光譜數(shù)據(jù)）。因此，為了充分利用現(xiàn)有多光譜衛(wèi)星數(shù)據(jù)，針對不同的多光譜衛(wèi)星成像模式，本文對原始光譜超分辨率概念進(jìn)行廣義擴(kuò)充，對于借助全色影像的高分辨率空間信息在光譜超分辨率的同時進(jìn)一步增強(qiáng)空間分辨率的過程定義為PansSR（Pansharpening+sSR），對于利用額外低分辨率光譜信息對光譜超分辨率進(jìn)行優(yōu)化改善的過程定義為FusSR（Fusion+sSR）。

綜上所述，廣義光譜超分辨率包含了原始的狹義sSR，F(xiàn)usSR以及PansSR三大情形。

1.3 問題描述

在本文中，X∈RW×H×C表示理想高光譜圖像，W和H分別為數(shù)據(jù)的寬、高，C表示圖像的光譜通道數(shù)；MH∈RW×H×c1表示與理想高光譜圖像X具有相同空間分辨率的多光譜圖像，其光譜通道數(shù)為c1；ML∈Rw×h×c2表示低空間分辨率的多光譜數(shù)據(jù)，圖像大小為w×h，光譜通道數(shù)為c2。值得注意的是，本文的公式推導(dǎo)都是在FusSR的情形下進(jìn)行的，當(dāng)實(shí)際情況為PansSR時，只需要將MH替換為P∈RW×H×1即可通用。

由于衛(wèi)星上傳感器的光譜響應(yīng)函數(shù)不同，導(dǎo)致獲取的多光譜和高光譜波段數(shù)也不同，多、高光譜數(shù)據(jù)間的關(guān)系可以通過轉(zhuǎn)換矩陣Φ來表示。在文本中，Φ1∈RC×c1表示獲取MH的光譜響應(yīng)矩陣，Φ2∈RC×c2則對應(yīng)ML的光譜響應(yīng)矩陣?？紤]ML與X之間的空間退化關(guān)系Dwh×WH，衛(wèi)星多光譜成像觀測模型可以表示為

式（1）和（2）闡明了衛(wèi)星多光譜成像與高光譜圖像之間的關(guān)系。光譜超分辨率是一個從觀測得到的多光譜圖像反向求解真實(shí)高光譜圖像的逆問題，通?？梢员硎鰹橐粋€最小化能量函數(shù)的優(yōu)化問題

1.4 聯(lián)合數(shù)據(jù)與模型的廣義光譜超分辨率網(wǎng)絡(luò)

本文提出一個聯(lián)合數(shù)據(jù)驅(qū)動與模型驅(qū)動的端到端卷積神經(jīng)網(wǎng)絡(luò)用以解決廣義超分辨率問題，具體結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)由兩部分組成，帶有光譜分組策略的粗重建模塊，以及主體深度展開優(yōu)化模塊，具體細(xì)節(jié)將在后續(xù)中逐一介紹。

圖 2 聯(lián)合數(shù)據(jù)與模型的廣義光譜超分辨率網(wǎng)絡(luò)框架Fig.2 Joint data-driven and model-driven network for generalized spectral super-resolution

1.4.1 深度展開

深度展開的思想最早應(yīng)用在圖像去噪領(lǐng)域，后續(xù)被不斷完善。受此思想啟發(fā)，為了將模型驅(qū)動的算法與數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)相結(jié)合，本文先應(yīng)用半二次分裂法將式（3）轉(zhuǎn)化為兩個子問題，分別考慮先驗(yàn)項(xiàng)和數(shù)據(jù)保真項(xiàng)

Z是用來分裂能量函數(shù)的輔助變量等同于X，μ表示懲罰參數(shù)。對X子問題采取梯度下降法求解，而對Z子問題采用近端算子求解，可以得到解

采用3×3卷積模擬空間矩陣，1×1卷積模擬光譜矩陣，近端算子采用殘差網(wǎng)絡(luò)，所有的超參數(shù)通過跨維度光譜注意力求解［8］?；诖?，模型驅(qū)動的廣義光譜超分辨率算法被深度展開為了卷積神經(jīng)網(wǎng)絡(luò)形式。保留了數(shù)據(jù)驅(qū)動的友好訓(xùn)練方式的同時，給模型引入了物理可解釋性。

1.4.2 光譜分組

高光譜數(shù)據(jù)波段間具有強(qiáng)相關(guān)性，其中最直觀的確定方法是光譜響應(yīng)函數(shù)（Spectral Response Functions， SRF），它表示了傳感器將哪些波段范圍的能量積分到某一多光譜波段上。為了更好地重建光譜信息，本文提出了基于光譜分組的粗重建過程，如圖3所示。圖中，光譜梯度計算是計算波段間的光譜差分信息輔助網(wǎng)絡(luò)進(jìn)一步學(xué)習(xí)，卷積層第一層為3×3卷積，第二層分組卷積為1×1卷積，分組方式由光譜響應(yīng)函數(shù)確定，光譜響應(yīng)函數(shù)處于同一類型的波段被歸為一組。

圖3 光譜分組Fig.3 Spectral grouping

2 結(jié)果與討論

2.1 數(shù)據(jù)與模擬方式

本文用到的衛(wèi)星數(shù)據(jù)有：哨兵二號多光譜衛(wèi)星，珠海一號高光譜衛(wèi)星，用以驗(yàn)證狹義sSR以及FusSR；高分一號衛(wèi)星，地球觀測一號衛(wèi)星，用以驗(yàn)證PansSR。前者所構(gòu)成的數(shù)據(jù)集命名為Sen2OHS，包含4個高分辨率哨兵二號多光譜波段，4個低分多光譜波段，以及32個高分辨率珠海高光譜波段；后者所構(gòu)成的數(shù)據(jù)集命名為GF2Hyper，包含4個低分多光譜波段，一個高分辨率全色波段，63個高分辨率高光譜波段［8］。選取了五個定量評價指標(biāo)，分別是相關(guān)系數(shù)（Correlation Coefficient， CC），平均峰值信噪比（mean Peak Signal Noise Ratio， mPSNR），平均結(jié)構(gòu)相似度（mean Structure Similarity， mSSIM），光 譜 角（Spectral Angle Mapper， SAM），相對全局無量綱誤差（Erreur Relative Global Adimensionnelle de Synthèse， ERGAS）。

2.2 狹義sSR

在Sen2OHS數(shù)據(jù)集中，僅選取哨兵2號數(shù)據(jù)的10 m分辨率的四個波段用來驗(yàn)證各個算法在狹義sSR的效果，定量評價結(jié)果如表1所示。

表1 Sen2OHS數(shù)據(jù)集上狹義sSR定量結(jié)果Table 1 Quantitative results of sSR on Sen2OHS dataset

從定量結(jié)果來看，僅使用band 2、3、4、8這些高分辨率多光譜波段，本文方法和HSRnet這兩個聯(lián)合模型與數(shù)據(jù)驅(qū)動的算法，得到的結(jié)果要比其他純卷積神經(jīng)網(wǎng)絡(luò)更好。將光譜超分辨率結(jié)果與地面真值作差得到的圖4目視殘差結(jié)果也佐證了這一結(jié)論。

圖4 Sen2OHS數(shù)據(jù)集上的狹義sSR目視殘差圖Fig.4 Visual residual maps of sSR on Sen2OHS dataset

2.3 FusSR

在Sen2OHS數(shù)據(jù)集中，選取哨兵2號數(shù)據(jù)的10 m分辨率以及20 m分辨率的八個波段用來驗(yàn)證各個算法在FusSR的效果，定量評價結(jié)果如表2所示。

表2 Sen2OHS數(shù)據(jù)集上FusSR定量結(jié)果Table 2 Quantitative results of FusSR on Sen2OHS dataset

與狹義sSR的定量評價結(jié)果相對比，引入低分辨率的額外多光譜波段可以進(jìn)一步優(yōu)化光譜超分辨率的質(zhì)量，提高多光譜數(shù)據(jù)的利用率，其中，顧及到這種多類型退化模型的本文方法提升最大。

圖5選取與圖4相同區(qū)域進(jìn)行殘差圖目視對比，可以看到波段的中心波長與新引入的低空間分辨率的多光譜波段中心波長接近的波段，重建結(jié)果有了極大的優(yōu)化，具體表現(xiàn)為，殘差圖中亮斑的急劇減少以及殘差值的降低。

圖5 Sen2OHS數(shù)據(jù)集上的FusSR目視殘差圖Fig.5 Visual residual maps of FusSR on Sen2OHS dataset

2.4 PansSR

由于PansSR是一種新型的引入更高空間分辨率的光譜超分辨率，直接將原始多光譜進(jìn)行重采樣到與全色影像相同尺度，會嚴(yán)重影響算法效果，因此，本文只使用所提出的聯(lián)合模型與數(shù)據(jù)驅(qū)動的算法對該種情形加以驗(yàn)證，圖6展示了算法重建結(jié)果。圖中展示了原始模擬的低分辨率多光譜數(shù)據(jù)以及高分辨率全色影像，第三列為光譜超分辨率結(jié)果。在結(jié)果中，選取了一處植被覆蓋區(qū)域，對該區(qū)域的光譜超分辨率前后的光譜曲線進(jìn)行了展示?？梢钥吹?，本文提出的聯(lián)合模型與數(shù)據(jù)驅(qū)動的算法可以有效地得到盡可能接近地表真實(shí)的光譜曲線，極大提高了衛(wèi)星多光譜數(shù)據(jù)的后續(xù)應(yīng)用的精細(xì)化程度。

圖6 GF2Hyper數(shù)據(jù)集上的PansSR 結(jié)果Fig.6 Results of PansSR on GF2Hyper dataset

3 結(jié)論

本文針對多光譜衛(wèi)星的成像模式，指出對于現(xiàn)有多光譜衛(wèi)星數(shù)據(jù)來說，常用的光譜超分辨率概念不足以完全覆蓋所有成像模式，極大可能造成數(shù)據(jù)利用率低，光譜信息浪費(fèi)等問題。進(jìn)而，提出了面向多種多光譜成像模式的廣義光譜超分辨率概念，補(bǔ)全了傳統(tǒng)光譜超分辨率在遙感領(lǐng)域應(yīng)用的不完備性。最后，通過組織模擬實(shí)驗(yàn)，探討了一種聯(lián)合模型驅(qū)動與數(shù)據(jù)驅(qū)動的卷積神經(jīng)網(wǎng)絡(luò)求解廣義光譜超分辨率問題的可行性，取得了不錯的效果。

在本文中，雖然對廣義光譜超分辨率問題進(jìn)行了一定的求解。然而，光譜超分辨率還存在許多亟待解決的挑戰(zhàn)：首先，在實(shí)際應(yīng)用中，數(shù)據(jù)存在更多降質(zhì)問題，例如，噪聲，雨痕，云霧遮擋，過曝欠曝，近遠(yuǎn)焦等問題，如何提升模型魯棒性是一大難點(diǎn)；第二，真實(shí)高光譜數(shù)據(jù)目前來說仍然是獲取手段復(fù)雜且成本高昂的，當(dāng)缺少真實(shí)光譜時，如何訓(xùn)練出準(zhǔn)確的光譜超分辨率模型也是一大挑戰(zhàn)；第三，數(shù)據(jù)驅(qū)動的算法目前在各個領(lǐng)域都取得了領(lǐng)先的優(yōu)勢，然而其泛化性和在軌部署的可能性都不太理想，未來的計算成像如何提升速度和部署可行性也是至關(guān)重要的；最后，光譜超分辨率重建，是一種獲取到質(zhì)量高、信息完備數(shù)據(jù)的低級圖像處理，為服務(wù)后續(xù)的高級語義應(yīng)用亦或是物理參數(shù)反演提供數(shù)據(jù)支撐，但是，隨著處理的層級不斷加深，引入的誤差也會增加，失之毫厘謬以千里，那么，多層級耦合的新型圖像處理模式是實(shí)現(xiàn)數(shù)據(jù)與高級語義、數(shù)據(jù)與物理參數(shù)同時獲取之路上無法避免的一道難關(guān)。