李 靜，高 媛

(1.忻州師范學(xué)院 計(jì)算機(jī)系，山西 忻州 034000；2.中北大學(xué) 大數(shù)據(jù)學(xué)院，山西 太原 030051)

0 引 言

多波段光譜圖像已廣泛應(yīng)用于數(shù)字地圖、農(nóng)業(yè)、軍事等領(lǐng)域，與單波段或少數(shù)波段的普通圖像相比，多波段光譜圖像通常包含衛(wèi)星或傳感器在不同光譜下捕獲的多個(gè)波段的目標(biāo)[1,2]。在多光譜圖像融合中，為了充分利用現(xiàn)有的信息，通常采用全色銳化方法同時(shí)對(duì)兩個(gè)分量進(jìn)行融合，生成高分辨率多光譜圖像。如何實(shí)現(xiàn)高質(zhì)量的銳化性能，這是許多學(xué)者研究的重點(diǎn)。

近些年，提出了一系列新的銳化方法。文獻(xiàn)[3]提出一種基于超拉普拉斯懲罰因子(PHLP)的全色銳化方法，使用超拉普拉斯分布來約束誤差，這在一定程度上允許了結(jié)構(gòu)保留值的較大偏差。在文獻(xiàn)[4]中，該方法在一個(gè)統(tǒng)一的框架內(nèi)實(shí)現(xiàn)了衛(wèi)星圖像的配準(zhǔn)與融合(SIRF)，它不僅利用高通濾波器來實(shí)現(xiàn)圖像的相似性，而且還融合了不同波段之間的內(nèi)在相關(guān)性。PHLP和SIRF方法實(shí)現(xiàn)與傳統(tǒng)的分量替代與自適應(yīng)方法相比，效果更好，但也往往依賴于人工設(shè)計(jì)的假設(shè)，需要對(duì)不同的信號(hào)進(jìn)行參數(shù)調(diào)整。

由于深層卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的映射表示能力，許多研究者利用該技術(shù)進(jìn)行全色銳化。例如，深度神經(jīng)網(wǎng)絡(luò)假設(shè)多光譜圖像塊之間的關(guān)系與對(duì)應(yīng)的高分辨率/低分辨率圖像塊之間的關(guān)系是相同的，并使用這個(gè)假設(shè)通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)映射關(guān)系[5]。卷積神經(jīng)網(wǎng)絡(luò)泛化(PNN)改進(jìn)了先前的超分辨率網(wǎng)絡(luò)結(jié)構(gòu)，并通過引入非線性輻射指數(shù)來增加輸入[6]。為了使深度殘差網(wǎng)絡(luò)適合解決全色銳化問題,文獻(xiàn)[7]使用深度殘差模塊代替池化層以減少空間細(xì)節(jié)信息丟失,并使用可學(xué)習(xí)參數(shù)的轉(zhuǎn)置卷積上采樣重建圖像尺寸。然而，上面提到的3種基于深度學(xué)習(xí)的方法只是將銳化處理為一個(gè)圖像回歸問題，雖然獲得了較好的結(jié)果，但它們沒有考慮和解釋光譜和空間保存，而是將其視為一個(gè)黑箱學(xué)習(xí)過程。根據(jù)文獻(xiàn)[7]，對(duì)于全色銳化問題，在融合過程中，空間特征與光譜信息被證明可以極大地提高分辨準(zhǔn)確率，因此在學(xué)習(xí)函數(shù)映射時(shí)應(yīng)該重點(diǎn)關(guān)注這一點(diǎn)。

為了解決上述問題，提出了一種基于深度多尺度擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的多波段光譜銳化方法，通過實(shí)驗(yàn)驗(yàn)證該方法能夠有效保存光譜和空間信息。

1 多尺度網(wǎng)絡(luò)

1.1 深度學(xué)習(xí)框架

一般來說，超分辨率貝葉斯法和高光譜圖像(hyperspectral image，HSI)銳化的目標(biāo)是利用高分辨率(high-resolution，HR)分量來銳化包含更多頻帶和光譜信息的高分辨率(low-resolution，LR)分量。因此，這兩個(gè)任務(wù)可以統(tǒng)一到一個(gè)觀察模型中。將所需圖像表示為X包含C×R大小的B波段。輸入圖像的成像模型可以寫為

P=XHp+Np

(1)

M=HmX+Nm

(2)

式中：X∈RCR×B時(shí)期望輸出，Np和Nm分別是P和M所包含的噪聲。Hp∈RB×B1是光譜傳感器的響應(yīng)，Hm∈Rcr×CR由一個(gè)下采樣算子組成。因此，P∈RCR×B1是包含B1(B1

圖1顯示了本文提出的深度學(xué)習(xí)的框架，該框架具有從多尺度擴(kuò)張卷積到全色圖像銳化的深度學(xué)習(xí)?？梢园l(fā)現(xiàn)，這涉及在LR多光譜圖像和輸出之間的跳躍連接，以加強(qiáng)光譜相似性，并采用本文提及的多尺度擴(kuò)展模塊在高通域中訓(xùn)練網(wǎng)絡(luò)參數(shù)，從而對(duì)空間內(nèi)容建模，↑代表上采樣操作。

1.2 基本網(wǎng)絡(luò)結(jié)構(gòu)

本文搭建的網(wǎng)絡(luò)使用帶有殘差網(wǎng)絡(luò)模塊的卷積神經(jīng)網(wǎng)絡(luò)作為網(wǎng)絡(luò)主干。深度卷積神經(jīng)網(wǎng)絡(luò)能夠捕獲相關(guān)的圖像特征，并為回歸任務(wù)構(gòu)建復(fù)雜的非線性函數(shù)。此外，卷積濾波器還可以探索不同多光譜圖像帶之間的高相關(guān)性。因此，為了利用深層神經(jīng)結(jié)構(gòu)強(qiáng)大的非線性能力，本文采用ResNet作為基本網(wǎng)絡(luò)模塊[7]?？傮w架構(gòu)如式(3)所示

Yl=σ(Wl?concat(PG,UP(MG))+vl)Y2l=σ(W2l?Y2l-1+v2l)Y2l+1=σ(W2l+1?Y2l+v2l+1)+Y2l-1

(3)

(4)

式中：UP(M) 代表上采樣的LR多光譜圖像。

本文測(cè)試了3個(gè)基本網(wǎng)絡(luò)結(jié)構(gòu)，其結(jié)構(gòu)圖如圖2所示。第三個(gè)網(wǎng)絡(luò)，即PanNet[8]，性能最佳。第一種結(jié)構(gòu)是將僅包含ResNet的結(jié)構(gòu)直接應(yīng)用于圖像融合問題?；诖司W(wǎng)絡(luò)結(jié)構(gòu)，本文提出了用于銳化以保留光譜和空間信息的新模型。

(1)頻譜保存：對(duì)于頻譜保存，對(duì)M進(jìn)行上采樣，并運(yùn)用到深層網(wǎng)絡(luò)的跳躍連接

(5)

受變分方法的啟發(fā)，它強(qiáng)迫X共享M的光譜含量。但是，與利用平滑核對(duì)X進(jìn)行卷積的變分方法不同，本文方法允許深度網(wǎng)絡(luò)自動(dòng)校正HR差異。圖2中的第二個(gè)網(wǎng)絡(luò)對(duì)應(yīng)于式(5)，將此網(wǎng)絡(luò)稱為“ResNet +光譜映射”[9]。

(2)網(wǎng)絡(luò)結(jié)構(gòu)保存：為了加強(qiáng)結(jié)構(gòu)的一致性，大多數(shù)變分方法都利用PAN圖像中包含的高通信息?；诖四康?，使用PAN圖像和上采樣LR多光譜圖像的高通量作為網(wǎng)絡(luò)輸入。修改后的模型如式(6)所示

(6)

為了獲得高通信息，通過對(duì)原始圖像的平均濾波，從原始圖像中剔除低通像素值。在獲得高通信息之后，將上采樣提高到LR多光譜圖像的PAN大小。另外，由于UP(M) 是低通部分，因此 (UP(M)-X) 包含X的高通分量。這增強(qiáng)了深層網(wǎng)絡(luò)的學(xué)習(xí)能力，將PAN中包含的高通空間信息融合為X的映射函數(shù)。為了使網(wǎng)絡(luò)專注于處理高通信息，本設(shè)計(jì)將UP(M) 的高通部分即UP(MG) 輸入網(wǎng)絡(luò)

(7)

式中：bui是基線預(yù)測(cè)因子。

1.3 網(wǎng)絡(luò)學(xué)習(xí)過程

本節(jié)定性地分析了本文提及的基于相關(guān)專業(yè)知識(shí)如何簡(jiǎn)化學(xué)習(xí)過程的網(wǎng)絡(luò)設(shè)計(jì)。如圖3所示，在添加光譜映射并使用高通輸入之后，映射過程實(shí)際上是在3個(gè)稀疏分量之間，即圖3(d)～圖3(f)。即大多數(shù)像素等于或接近0，如圖3(h)的直方圖所示。這表明未知量顯著減少，這大大簡(jiǎn)化了學(xué)習(xí)過程。

稀疏性也被廣泛地應(yīng)用于現(xiàn)有的超分辨率貝葉斯方法中。因此，引入了光譜映射和高通輸入來訓(xùn)練網(wǎng)絡(luò)參數(shù)。

1.4 多尺度分組網(wǎng)絡(luò)結(jié)構(gòu)

與高層次視覺問題不同，超分辨率貝葉斯法是一個(gè)圖像融合問題，需要精確的密集像素預(yù)測(cè)。因此，引入廣泛用于獲取抽象特征的池操作會(huì)導(dǎo)致空間信息不可挽回的丟失。然而，不添加池操作會(huì)減慢感受野的增長(zhǎng)速度。另一方面，許多多尺度網(wǎng)絡(luò)，例如U-Nets[10]和RNDN[11]，在這些網(wǎng)絡(luò)中，較低尺度的特征使用巧妙設(shè)計(jì)的跳躍連接來重新利用高尺度特征的計(jì)算。然而，這些方法以分層方式提取多尺度特征。在更細(xì)粒度的規(guī)模中，多尺度的能力有限。由于本文使用高通信息作為輸入，所以只有細(xì)節(jié)和邊緣被輸入到網(wǎng)絡(luò)中。因此，為了平衡空間高通信息保存和感受野放大，本文提出了一種多尺度分組擴(kuò)張模塊在細(xì)粒度水平上提取多尺度表示。

通過膨脹因子的步長(zhǎng)，對(duì)像素進(jìn)行加權(quán)，膨脹卷積可以有效地增加感受野，而不會(huì)丟失空間信息，且不會(huì)增加參數(shù)的負(fù)擔(dān)。在不同的膨脹因子下，一個(gè)固定的卷積核可以獲得不同的感受野，因此設(shè)計(jì)一個(gè)多尺度的膨脹模塊，以充分利用不同尺度上的空間信息。然而，直接增加膨脹因子需要更多的計(jì)算預(yù)算。因此，本設(shè)計(jì)將特征圖分成不同的組別，分別對(duì)每組進(jìn)行不同的膨脹卷積。

ResNet模塊中的卷積運(yùn)算可以看作是膨脹因子等于1的膨脹卷積。分組的多尺度膨脹模塊由兩個(gè)多尺度膨脹運(yùn)算和一個(gè)大小為1×1的卷積核組成。每個(gè)模塊包含4個(gè)具有不同膨脹因子的平行膨脹卷積。這4個(gè)膨脹因子由一個(gè)大小為1×1的卷積層連接融合，產(chǎn)生的計(jì)算復(fù)雜度可忽略，以生成輸出特征圖。其中，這4個(gè)因子是單獨(dú)處理的并且沒有完全連接，這節(jié)省了計(jì)算和存儲(chǔ)的負(fù)擔(dān)。本文設(shè)計(jì)的分組模塊的多尺度表示能力與現(xiàn)有方法有些不同之處，后者在不同的網(wǎng)絡(luò)層中使用具有不同分辨率的特征，而本文模型的多尺度是指單個(gè)網(wǎng)絡(luò)層上的多個(gè)感受野。本文模型的整個(gè)網(wǎng)絡(luò)包含4個(gè)組別的多尺度膨脹塊和兩個(gè)大小為3×3的卷積層。第一個(gè)3×3卷積層用于提取基本圖像特征，而最后一個(gè)用于重建殘差圖像。

1.5 移除批量歸一化

作為減輕內(nèi)部協(xié)變量偏移的最有效方法之一，批量歸一化(BN)在深度學(xué)習(xí)的每一層非線性網(wǎng)絡(luò)被廣泛采用。BN的操作包含兩個(gè)部分：首先，通過式(8)對(duì)小批量中的特征圖x進(jìn)行歸一化

(8)

(9)

式中：y是輸出特征映射，γ和β是經(jīng)網(wǎng)絡(luò)學(xué)習(xí)需要更新的參數(shù)，用于提高模型能力。

數(shù)據(jù)經(jīng)批量歸一化后，網(wǎng)絡(luò)的訓(xùn)練速度可以變得更快、初始化靈敏度低等。然而，在本文實(shí)驗(yàn)中，發(fā)現(xiàn)在測(cè)試其它衛(wèi)星數(shù)據(jù)時(shí)，運(yùn)用BN，網(wǎng)絡(luò)并不總是表現(xiàn)良好。這是因?yàn)锽N假設(shè)訓(xùn)練和測(cè)試數(shù)據(jù)的分布是相同的。在實(shí)驗(yàn)階段，根據(jù)訓(xùn)練數(shù)據(jù)計(jì)算并保存式(8)中使用的平均值μx和標(biāo)準(zhǔn)差σx。 然而，對(duì)于遙感領(lǐng)域，不同的衛(wèi)星有自己的數(shù)據(jù)類型。在一顆衛(wèi)星上獲得的μx和σx并不總是與其它衛(wèi)星的參數(shù)一致。因此，在測(cè)試新的衛(wèi)星數(shù)據(jù)時(shí)，從不同衛(wèi)星獲取的參數(shù)值可能會(huì)有些波動(dòng)，影響后續(xù)的計(jì)算。注意，如PanNet所述，由于圖像中的主要能量，即低通分量已經(jīng)被去除，使用高通分量訓(xùn)練網(wǎng)絡(luò)可以在一定程度上減少分布差異。但是，連續(xù)使用式(8)和式(9)會(huì)使波動(dòng)累積，從而再次增大分布差異。因此，結(jié)合高通分量訓(xùn)練網(wǎng)絡(luò)，去除BN可以進(jìn)一步提高深度網(wǎng)絡(luò)對(duì)不同衛(wèi)星的泛化能力。這在新衛(wèi)星和傳感器無法提供足夠的訓(xùn)練數(shù)據(jù)的情況下具有實(shí)用價(jià)值。

此外，如前文所述，引入光譜映射和高通分量可以有效地簡(jiǎn)化學(xué)習(xí)過程，因此不需要BN來加速訓(xùn)練。此外，移除BN可以充分減少內(nèi)存使用量，因?yàn)锽N層與前面的卷積層需要消耗的內(nèi)存相同?；谏鲜鲇^測(cè)和分析，從本文的網(wǎng)絡(luò)中移除了BN層，從而提高了模型對(duì)新衛(wèi)星的泛化能力，減少了參數(shù)數(shù)目和計(jì)算資源。

2 算法流程

進(jìn)一步給出提出的深度多尺度擴(kuò)張CNN的多波段光譜銳化算法：

算法1：深度多尺度擴(kuò)張CNN的多波段光譜銳化

輸入：原始圖像數(shù)據(jù)集

輸出：HR多波段圖像

(1)參數(shù)初始化：標(biāo)準(zhǔn)偏差，下采樣因子，上采樣因子，權(quán)重衰減，動(dòng)量，初始學(xué)習(xí)率，批量大小，低通濾波器的半徑，訓(xùn)練迭代次數(shù)，非線性函數(shù)；

(2)將圖像按照式(1)、式(2)得到PAN圖像以及LR多波段圖像；

(3)通過高通濾波器式(6)對(duì)PAN圖像以及LR多波段圖像進(jìn)行處理，LR多波段圖像進(jìn)行上采樣；

(4)將原始的LR多波段圖像進(jìn)行新一輪的上采樣；

(5)將高通濾波器處理的PAN圖像與LR多波段圖像作為深度多尺度擴(kuò)張CNN輸入；

(6)將包含64個(gè)特征的輸入分為4組，每組分別包含16個(gè)特征；

(7)將4個(gè)組分別輸入3×3的卷積層進(jìn)行映射，用于提取基本圖像特征；

(8)每組的輸出經(jīng)過ReLU整流，然后再次進(jìn)入3×3的卷積層映射，重建殘差圖像；

(9)對(duì)所有的4組特征映射輸出進(jìn)行特征融合；

(10)然后經(jīng)過ReLU整流，再次經(jīng)過一個(gè)1×1的卷積層進(jìn)行映射；

(11)將殘差圖像輸出與多波段圖像進(jìn)行對(duì)比融合，輸出HR多波段圖像。

3 實(shí)驗(yàn)與結(jié)果

3.1 數(shù)據(jù)集和實(shí)驗(yàn)方法

本文使用Worldview3衛(wèi)星圖像進(jìn)行實(shí)驗(yàn)。由于HR多光譜圖像在數(shù)據(jù)集中不能用，在所有實(shí)驗(yàn)中都遵循Wald協(xié)議。Wald協(xié)議對(duì)LR多光譜和PAN圖像都進(jìn)行了降采樣，使得原始的LR多光譜圖像可以用作地面真實(shí)圖像。在降采樣之前，應(yīng)用低通濾波器以減少像素混疊。本實(shí)驗(yàn)使用標(biāo)準(zhǔn)偏差為0.1，大小為7×7的高斯核對(duì)所有原始圖像進(jìn)行卷積，然后采用因子4進(jìn)行下采樣。將幾種基于非深度學(xué)習(xí)的超分辨率貝葉斯方法進(jìn)行了比較：ATWT-M3[12]、AWLP[13]、BDSD[15]、PRACS[16]、Indusion[17]、PHLP和SIRF。將3種基于深度學(xué)習(xí)的方法進(jìn)行了比較：一種相對(duì)淺層網(wǎng)絡(luò)PNN和兩種多尺度網(wǎng)絡(luò)U-Net和RNDN。還將與圖2的3個(gè)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行比較，即ResNet，ResNet+光譜映射和PanNet。

為了訓(xùn)練本文構(gòu)建的網(wǎng)絡(luò)，總共提取了18 K個(gè)PAN/LR多光譜/HR多光譜圖像塊對(duì)，每個(gè)圖像塊大小設(shè)置為64×64。在訓(xùn)練過程中，70%的配對(duì)用于學(xué)習(xí)網(wǎng)絡(luò)，其余用于測(cè)試。使用Caffe來訓(xùn)練本文模型，并選擇ReLU作為非線性σ(·)。 所有網(wǎng)絡(luò)層的卷積核數(shù)量都設(shè)置為16。使用SGD算法，其中權(quán)重衰減和動(dòng)量設(shè)置為10-7和0.9，用來最小化目標(biāo)函數(shù)式(6)。將初始學(xué)習(xí)率設(shè)為0.001，經(jīng)過105次迭代和2×105次迭代后除以10。訓(xùn)練網(wǎng)絡(luò)的迭代次數(shù)設(shè)為2.5×105次，小批量大小設(shè)為16，低通濾波器的半徑設(shè)為5。

3.2 實(shí)驗(yàn)結(jié)果

首先使用上節(jié)描述的實(shí)驗(yàn)框架，在采集自Worldview3衛(wèi)星的225幅圖像上測(cè)試本文模型，這些圖像包含8個(gè)光譜帶。其中只有3個(gè)色帶用于可視化，而所有光譜帶都用于執(zhí)行定量評(píng)估。用5種廣泛使用的量化指標(biāo)來評(píng)估性能，即相對(duì)無量綱綜合誤差(ERGAS)、光譜角映射器(SAM)、頻帶平均的通用圖像質(zhì)量指數(shù)(QAVE)、Q8的X波段擴(kuò)展和空間相關(guān)系數(shù)(SCC)[18]。

量化指標(biāo)得分的平均值和標(biāo)準(zhǔn)差見表1，排名第一和第二的結(jié)果分別用粗體和下劃線標(biāo)出。可以看出，如果不考慮圖2的網(wǎng)絡(luò)和本文的多尺度網(wǎng)絡(luò)，PNN方法的效果最好。而PanNet則比PNN的實(shí)驗(yàn)結(jié)果明顯可觀。這是由于光譜映射和高頻輸入的額外設(shè)計(jì)。此外，本文的多尺度網(wǎng)絡(luò)在所有其它方法中取得了最好的效果，這表明由于更多的上下文信息被用于后續(xù)模型重建，使用多尺度方式可以進(jìn)一步提高模型的重建精度。

表1 采集自Worldview3衛(wèi)星的225幅圖像的不同方法的測(cè)量指標(biāo)

圖4列舉了縮小比例的例子，如小矩形所示，其它比較方法在其結(jié)果中會(huì)出現(xiàn)明顯的模糊和偽影，以及一些光譜失真，顯示為顏色失真。在圖5中，描繪了這些圖像的殘差，用來突出不同之處?？梢钥闯觯疚牡亩喑叨染W(wǎng)絡(luò)的殘留圖像的顏色趨于灰色，這說明本文模型可以很好地保留光譜。同時(shí)，本文模型生成的殘差圖像顯示的細(xì)節(jié)和紋理也比其它方法少，這意味著本文模型可以實(shí)現(xiàn)最佳的空間信息保存，LRMS表示低分辨質(zhì)譜方法。

表2給出了基于深度學(xué)習(xí)的方法的可訓(xùn)練參數(shù)數(shù)量的比較?？梢钥闯?，本文網(wǎng)絡(luò)的參數(shù)量雖然比PanNet的參數(shù)量略多，但是比其它方法少得多，且圖像融合效果最好，對(duì)比結(jié)果見表1。

表2 基于深度學(xué)習(xí)方法的參數(shù)數(shù)量的比較

3.3 按原始圖像進(jìn)行模型評(píng)估

本文還評(píng)估了不同方法在Worldview3衛(wèi)星原始分辨率下對(duì)200張圖像的測(cè)試結(jié)果。結(jié)果示例如圖6所示。由于缺乏地面真實(shí)的HR多光譜圖像，向上采樣的LR多光譜圖像的殘差如圖7所示。由于輸出和上采樣的LR多光譜圖像應(yīng)該具有近似的光譜信息，平滑區(qū)域應(yīng)該接近于零，并且只顯示與LR多光譜圖像缺少的信息相對(duì)應(yīng)的邊緣或結(jié)構(gòu)。

本實(shí)驗(yàn)還采用了文獻(xiàn)[12]中使用的方法來進(jìn)行定量評(píng)估，即對(duì)輸出的HR多光譜圖像進(jìn)行下采樣，并將其與LR多光譜進(jìn)行比較作為基本參考。另外還使用由光譜畸變指數(shù)Dλ和空間畸變指數(shù)Ds組成的QNR作為無參考度量。結(jié)果見表3，排名第一和第二的結(jié)果分別用粗體和下劃線標(biāo)出，可以再次發(fā)現(xiàn)本文模型具有的良好性能。

3.4 將本文模型推廣到新衛(wèi)星

本文多尺度網(wǎng)絡(luò)對(duì)衛(wèi)星間的差異更具有魯棒性，為了驗(yàn)證這一點(diǎn)，在Worldview2和Worldview3衛(wèi)星數(shù)據(jù)集上將本文模型與PNN進(jìn)行了比較。具體來說，測(cè)試了兩個(gè)PNN訓(xùn)練的模型：一個(gè)稱為PNN-WV2，它根據(jù)worldwiew2數(shù)據(jù)進(jìn)行訓(xùn)練；另一個(gè)稱為PNN-WV3的模型是在與多尺度網(wǎng)絡(luò)相同的worldwiew3數(shù)據(jù)集上訓(xùn)練的。

表3 將Worldview3衛(wèi)星圖像采用不同方法進(jìn)行度量

圖8中展示了一個(gè)視覺結(jié)果?？梢钥吹?，PNN不能很好地推廣到新的衛(wèi)星上，而多尺度網(wǎng)絡(luò)可以很好地推廣到Worldview2，并接受Worldview3訓(xùn)練。在圖8(d)和圖8(e)中，PNN分別產(chǎn)生明顯的頻譜失真，而本文網(wǎng)絡(luò)模型對(duì)新類型的數(shù)據(jù)具有魯棒性。這驗(yàn)證了本文模型能夠?qū)⒐庾V信息的建模工作留給光譜映射過程，并使得網(wǎng)絡(luò)專注于結(jié)構(gòu)信息。另一方面，PNN要求其網(wǎng)絡(luò)同時(shí)對(duì)空間和光譜信息進(jìn)行建模。

本文還考慮了本文的模型和PNN如何推廣到IKONOS衛(wèi)星數(shù)據(jù)。由于IKONOS數(shù)據(jù)包含R、G、B和紅外4個(gè)波段，因此選擇Worldview3數(shù)據(jù)中的波段來訓(xùn)練本文模型。PNN-IK和PNN-WV3分別表示PNN根據(jù)IKONOS數(shù)據(jù)和Worldwiew3數(shù)據(jù)訓(xùn)練的兩個(gè)模型。如圖9所示，PNN-WV3以光譜失真為代價(jià)獲得了清晰的結(jié)構(gòu)。雖然PNN-IK是直接在IKONOS上進(jìn)行訓(xùn)練，但是本文方法仍然有更清晰的結(jié)果。如圖9的第二行即殘余圖像中可以看到，本文方法能夠同時(shí)實(shí)現(xiàn)光譜和空間的保留。具體地說，與PNN相比，本文模型的結(jié)果在平滑區(qū)域的色差更小，邊界區(qū)域周圍的結(jié)構(gòu)更清晰。實(shí)驗(yàn)過程中發(fā)現(xiàn)使用高頻部件來訓(xùn)練本文網(wǎng)絡(luò)可以消除不同衛(wèi)星數(shù)據(jù)的不一致性。

3.5 分塊研究

進(jìn)一步分析本文模型每個(gè)部分的影響：

(1)分組膨脹模塊效應(yīng)：由于分組多尺度膨脹模塊是本文模型的核心模塊，首先通過與只包含正態(tài)卷積的基本網(wǎng)絡(luò)的比較來測(cè)試不同膨脹模塊的效果。具體地說，通過將擴(kuò)張因子從2增加到5來測(cè)試5個(gè)不同分組的膨脹模塊。為了公平比較，調(diào)整了不同的膨脹模塊，使其具有相近的參數(shù)數(shù)量。

定量分析結(jié)果見表4，增加擴(kuò)張因子可以產(chǎn)生更好的結(jié)果。擴(kuò)張因子可以產(chǎn)生更大的感受野，這比普通卷積有更大的優(yōu)勢(shì)。然而，增加擴(kuò)張因子最終會(huì)增加模型記憶功能負(fù)擔(dān)，模型改善有限。因此，為了平衡性能和速度，選擇最大擴(kuò)展因子設(shè)為4，作為默認(rèn)設(shè)置。

表4 在不同膨脹因子下的定量比較

實(shí)驗(yàn)人員還測(cè)試ResNet模塊和分組膨脹模塊的計(jì)算效率，即兩個(gè)網(wǎng)絡(luò)架構(gòu)，如圖10所示。眾所周知，在卷積神經(jīng)網(wǎng)絡(luò)框架下，卷積運(yùn)算占據(jù)了主要的運(yùn)行時(shí)間。由于卷積核的尺寸增大，直接加入膨脹因子通常會(huì)增加運(yùn)算時(shí)間。然而，由于將特征映射分成4個(gè)平行的組，卷積核的數(shù)目和相鄰特征之間的連接數(shù)都減少到原始數(shù)目的1/4。這使分組膨脹模塊具有更強(qiáng)大的多尺度表示能力，同時(shí)保持與ResNet相似的計(jì)算效率。如圖10所示，由于分組操作，本文模型的參數(shù)個(gè)數(shù)減少，而經(jīng)GPU加速后，每個(gè)模塊的計(jì)算運(yùn)行時(shí)間(以ms為單位)差不多。

為了查看這些模塊已經(jīng)學(xué)習(xí)了哪些表示，在圖11中展示了來自不同展開卷積運(yùn)算的一些特征圖。顯然，隨著膨脹因子的增加，對(duì)應(yīng)的特征圖包含更大比例的結(jié)構(gòu)和內(nèi)容，這與捕捉多尺度空間模式的目的是一致的。因此，與現(xiàn)有的以分層方式進(jìn)行多尺度表示的方法不同，本文的分組膨脹模塊可以在細(xì)粒度級(jí)別上提取多尺度特征，并增加單個(gè)網(wǎng)絡(luò)層內(nèi)的感受野，這使得在銳化性能方面有顯著的改進(jìn)。

(2)移除BN的效果：為了驗(yàn)證移除BN的有效性，如前文所述，通過將BN加入本文的深層模型進(jìn)行實(shí)驗(yàn)。當(dāng)每個(gè)卷積運(yùn)算之后再進(jìn)行BN運(yùn)算。在Worldview3數(shù)據(jù)上使用BN訓(xùn)練深度模型，并在原始比例下對(duì)Worldview3和Worldview2數(shù)據(jù)進(jìn)行測(cè)試。定量結(jié)果見表5，從Worldview3的測(cè)試數(shù)據(jù)可以看出，兩種模型的整體性能非常接近。這是因?yàn)橛?xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)都是從同一顆衛(wèi)星上采集的，這符合BN的假設(shè)。而在Worldview2的測(cè)試數(shù)據(jù)上，使用BN的模型性能明顯下降。這是因?yàn)閮深w衛(wèi)星收集到的數(shù)據(jù)分布形式不同。BN所掌握的一類衛(wèi)星的分布形式，即式(8)中的平均值和標(biāo)準(zhǔn)差，不能直接用于另一類衛(wèi)星。

表5 移除BN的定量結(jié)果

為了驗(yàn)證這一觀點(diǎn)，圖12描繪了第一層特征圖的統(tǒng)計(jì)直方圖分布的示例。式(8)和式(9)中的參數(shù)是從Worldview3數(shù)據(jù)中學(xué)習(xí)的。很明顯，在圖12(a)中，如果訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)具有相同的分布形式，即來自Worldview3，則BN操作之后生成的特征圖的波動(dòng)范圍較小。相反，使用從Worldview3學(xué)習(xí)到的參數(shù)來處理Worldview2數(shù)據(jù)會(huì)有明顯的變化。如圖12(b)所示，可能導(dǎo)致后續(xù)計(jì)算結(jié)果不穩(wěn)定，從而降低性能。此外，增加BN操作會(huì)消耗更多的計(jì)算和存儲(chǔ)資源。因此，一致認(rèn)為BN并不適合這個(gè)特定的遙感群體。為了提高泛化能力，節(jié)省計(jì)算和存儲(chǔ)預(yù)算，從模型中移除了BN操作。

(3)超參數(shù)的影響：此次實(shí)驗(yàn)還測(cè)試了卷積核數(shù)量和分組膨漲模塊數(shù)量的影響。具體地說，首先測(cè)試核數(shù)K∈{16,32,48,64}， 同時(shí)將分組膨脹模塊數(shù)固定為4。然后，在核數(shù)固定為64的情況下，檢驗(yàn)了群膨脹模塊數(shù)L∈{1,2,4,6}。 定量測(cè)試結(jié)果見表6。顯然增加內(nèi)核和模塊數(shù)量可以表現(xiàn)出更高的性能。添加分組模塊可以獲得更大的建模容量以及可以進(jìn)行更多的非線性操作，這比增加核數(shù)有更大的優(yōu)勢(shì)。然而，增加K和L的數(shù)量帶來的改善是有限的，且損耗了存儲(chǔ)以及使計(jì)算速度減慢。還調(diào)整了PanNet，使其參數(shù)數(shù)目接近本文的多尺度模型。定量分析結(jié)果見表7。很明顯，在不同數(shù)量級(jí)下，本文方法始終優(yōu)于PanNet，這進(jìn)一步驗(yàn)證了本文模型的有效性。為了平衡性能和速度，將K=64和L=4作為默認(rèn)設(shè)置。

表6 不同核數(shù)(K)和塊數(shù)(L)下的定量分析比較

表7 不同參數(shù)數(shù)量下與PanNet的定量比較

3.6 收斂性能

圖13中展示了訓(xùn)練和測(cè)試數(shù)據(jù)集的收斂性作為SGD迭代的函數(shù)。對(duì)比4種不同的網(wǎng)絡(luò)結(jié)構(gòu)：ResNet、ResNet+光譜映射、PanNet和本文的多尺度網(wǎng)絡(luò)。如圖13所示，與其它網(wǎng)絡(luò)結(jié)構(gòu)相比，本文構(gòu)建的網(wǎng)絡(luò)具有顯著更低的訓(xùn)練和測(cè)試誤差。這說明多尺度網(wǎng)絡(luò)結(jié)構(gòu)和高通訓(xùn)練策略適用于特定的超分辨率貝葉斯問題。

3.7 高光譜圖像銳化

進(jìn)一步測(cè)試了有關(guān)HSI銳化的模型，該模型在遙感任務(wù)中受到了越來越多的關(guān)注，例如目標(biāo)分類和變化檢測(cè)。本課題旨在將LR HSI與HR多光譜圖像融合，用來獲得HR-HSI。本文采用文獻(xiàn)[19]中的融合框架來評(píng)估本文模型。將本文網(wǎng)絡(luò)與4種最先進(jìn)的方法進(jìn)行了比較，即通過基于子空間的HYSURE、耦合光譜解混(CSU)、非負(fù)結(jié)構(gòu)性稀疏表示(NSSR)和深高光譜圖像銳化(DHSIS)[20]實(shí)現(xiàn)高光譜圖像超分辨率。表8記錄了兩個(gè)公共數(shù)據(jù)集的定量結(jié)果，即CAVE數(shù)據(jù)集和Havard數(shù)據(jù)集?？梢钥闯?，本文模型在4個(gè)指標(biāo)上的總體性能最好。這是因?yàn)榇四Ｐ筒捎脤I(yè)領(lǐng)域知識(shí)來分別保存光譜和空間信息，這也是HSI銳化的關(guān)鍵。這說明多尺度網(wǎng)絡(luò)是通用模型，可以解決不同任務(wù)。

表8 CAVE和Havard數(shù)據(jù)集的定量結(jié)果

圖14描述了每個(gè)數(shù)據(jù)集的銳化結(jié)果，用于視覺比較。如輸出的矩形所示，HR-HSIs、HYSURE、CSU和NSSR方法具有明顯的光譜偽影，而DHSIS具有明顯的邊緣失真。相反，本文模型可以同時(shí)實(shí)現(xiàn)光譜和空間的保護(hù)。本文還用偽彩色顯示了相應(yīng)的殘差圖像，以反映預(yù)測(cè)的HR-HSI與地面真實(shí)的差異。如殘差圖像所示，其它比較方法包含各種退化處理，例如模糊細(xì)節(jié)和振鈴效應(yīng)，尤其是在標(biāo)記區(qū)域。本文提出的深度多尺度細(xì)節(jié)網(wǎng)絡(luò)在細(xì)節(jié)重建和偽影減少方面的性能最好。同時(shí)，本文模型產(chǎn)生的殘差圖像在整個(gè)平滑區(qū)域以深色顯示，也就是說，所有的差值都接近于0。而其它的殘差圖像或多或少包含了較顯眼的區(qū)域，表明誤差相對(duì)較大。

4 結(jié)束語

為了解決全色銳化過程中頻譜和空間信息保存問題，提出了一種基于深度多尺度擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的多波段光譜銳化方法。通過多個(gè)數(shù)據(jù)集的實(shí)驗(yàn)對(duì)比驗(yàn)證可得出如下結(jié)論：①由于更多的上下文信息被用于后續(xù)模型重建，使用多尺度方式可以進(jìn)一步提高模型的重建精度。另外分組膨脹模塊可以在細(xì)粒度級(jí)別上提取多尺度特征，并增加單個(gè)網(wǎng)絡(luò)層內(nèi)的感受野，這使得在銳化性能方面有顯著的改進(jìn)；②提出方法的多尺度網(wǎng)絡(luò)的殘留圖像顏色趨于灰色，這說明本文模型可以很好地保留光譜；③提出模型生成的殘差圖像顯示的細(xì)節(jié)和紋理也比其它方法少，這意味著本文模型可以實(shí)現(xiàn)最佳的空間信息保存；④提出方法由于刪除了BN過程，使得結(jié)果在平滑區(qū)域的色差更小，邊界區(qū)域周圍的結(jié)構(gòu)更清晰，并且可以消除不同衛(wèi)星數(shù)據(jù)的不一致性，提升方法的泛化性能。