齊 濟,楊海濤，孔 卓

(1.航天工程大學(xué) 研究生院， 北京 101400； 2.航天工程大學(xué) 航天信息學(xué)院， 北京 101400)

1 引言

高光譜圖像的波段數(shù)通常具有數(shù)百個甚至更多，相對于多光譜圖像而言，光譜特征豐富，可用于軍事監(jiān)測、農(nóng)業(yè)、地理信息監(jiān)測和天氣預(yù)報等多個遙感領(lǐng)域[1]。在應(yīng)用遙感圖像時，通常需要高空間分辨率的高光譜圖像，但并不能被單源傳感器直接獲得。在空間域和光譜域上，低空間分辨率高光譜圖像與高空間分辨率多光譜圖像具有一定的互補性[2]，將兩者用圖像融合的技術(shù)結(jié)合，在很大程度上，能提升高光譜圖像的空間分辨率，提高其實際應(yīng)用價值[3]。

近年來，在高光譜和多光譜圖像融合領(lǐng)域，傳統(tǒng)方法和深度學(xué)習(xí)的方法被廣泛應(yīng)用。Shen等[4]提出了一種二次優(yōu)化網(wǎng)絡(luò)，并結(jié)合了矩陣分解進行圖像優(yōu)化，是將傳統(tǒng)方法和深度學(xué)習(xí)方法作了結(jié)合。Hu等[5]設(shè)計了一種基于變壓器的網(wǎng)絡(luò)，用于融合低分辨率高光譜圖像和高分辨率多光譜圖像。Qu等[6]為了實現(xiàn)高光譜圖像超分辨率，提出了一個無監(jiān)督的稀疏Dirichler-Net框架。Wang等[7]進行多光譜和高光譜圖像融合時應(yīng)用深度注意力網(wǎng)絡(luò)，可以將高光譜圖像的細節(jié)信息更好地提取。Liu等[8]提出了一種雙分支卷積神經(jīng)網(wǎng)絡(luò)(ResTFNET)來解決多光譜圖像的泛銳化問題，本文中參考這一泛銳化的方法，并引申到高光譜的圖像融合研究中。Han等[9]為了將高光譜圖像的超分辨率問題解決，提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)(ConSSFCNN)。Yuan等[10]基于深度CNN，引入多尺度特征提取(MSDCNN)進行遙感圖像的處理。Zhang等[11]提出了一種基于CNN的空間光譜信息重構(gòu)網(wǎng)絡(luò)(SSR-NET)，以提高融合高光譜圖像的空間分辨率。此網(wǎng)絡(luò)的損失函數(shù)可以很好地計算到空間邊緣以及光譜邊緣的信息，但是由于高光譜圖像進行上采樣的操作有一定的不精確性，相對于多光譜圖像而言，這樣處理后的高光譜圖像的很多高頻邊緣紋理會丟失，直接的跨通道融合會產(chǎn)生結(jié)構(gòu)性的問題[12]。

本文中結(jié)合文獻[8,11]提出一種新的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。首先，將SSR-NET的第一步跨通道串聯(lián)圖像的像素級插值算法部分替換成文獻[8]的雙分支卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用深度學(xué)習(xí)的方法代替矩陣間計算的方法進行特征提取，可提取到細節(jié)更豐富的圖像；然后，對提取到的特征進行融合；其次，通過圖像重建網(wǎng)絡(luò)，提取第二步融合圖像中的高空間分辨率的高光譜圖像；最后再對其進行空間邊緣和光譜邊緣的重構(gòu)，得到最終的高空間分辨率的高光譜圖像。

2 相關(guān)研究工作

2.1 圖像預(yù)處理及數(shù)據(jù)集

預(yù)處理工作包含下采樣、插值、濾波、整形、降維等步驟。融合圖像的質(zhì)量評估通常采用Wald的協(xié)議[13-14]。本文中的研究重點是低分辨率的高光譜圖像與高分辨率的多光譜圖像之間的融合，實驗所用數(shù)據(jù)集采用目前已公開的數(shù)據(jù)集：Botswana和Indian Pines(IP)。Botswana數(shù)據(jù)集總共有波段數(shù)242個，在將未校準和有噪聲的吸水特征波段去除后，保留剩余的145個波段，每個波段的圖像為1 476×256像素，空間分辨率為30 m。IP數(shù)據(jù)集有波段數(shù)224個。在將覆蓋水吸收區(qū)域的波段去除后，還剩下220個波段，每個波段的圖像為145×145像素[15]。

參考的高光譜圖像為原始的高光譜圖像數(shù)據(jù)集，經(jīng)實驗估計的高光譜圖像表示為Z∈RH×W×L,H和W表示高和寬的尺寸，L表示光譜帶的數(shù)量。輸入的高光譜圖像表示為X∈Rh×w×L,多光譜圖像表示為Y∈RH×W×l。X和Y通過文獻[11]采用的方法在空間和光譜模式下進行下采樣。

X=Gaussian(Z)

(1)

X=Bilinear(X,1/r)

(2)

Y(k)=Z(sk),k∈{1,…,l}

(3)

sk=(k-1)*L/(l-1),sk∈{s1,…,sl}

(4)

其中，X通過Z經(jīng)高斯濾波器進行預(yù)先模糊后以r的比率進行下采樣得到。Y以相等的波段間隔從Z采樣，Y(k)表示Y的第k個波段。s1,…,sl表示高光譜圖像中光譜取樣的編號。

2.2 客觀評價指標

本文中采用的4個客觀評價指標分別為：均方根誤差(root-mean-squared error，RMSE)、峰值信噪比(peak signal-to-noise ratio，PSNR)、相對無量綱全局誤差(erreur relative globaleadimensionnelle de synthèse，ERGAS)以及光譜角映射(spectral angle mapper，SAM)。

2.3 損失函數(shù)

本文中采用的空間邊緣損失函數(shù)和光譜邊緣損失函數(shù)均采用文獻[11]提出的損失函數(shù)。

2.3.1空間邊緣損失

由于卷積神經(jīng)網(wǎng)絡(luò)的黑盒特性，學(xué)習(xí)特征映射是不可控的。眾所周知，圖像的空間邊緣含有高頻特征，這對于空間重建至關(guān)重要。為了使空間重構(gòu)網(wǎng)絡(luò)聚焦于空間信息的恢復(fù)，應(yīng)用基于空間邊緣的空間邊緣損失算法。

用lspat表示，其公式為：

(5)

(6)

lspat=0.5*lspat1+0.5*lspat2

(7)

2.3.2光譜邊緣損失

在空間重構(gòu)后，利用一個與空間重構(gòu)相同結(jié)構(gòu)的卷積層進一步重構(gòu)光譜信息。類似于空間邊緣，頻帶的頻譜邊緣包含了對頻譜重建至關(guān)重要的高頻信息。為了著重于光譜信息的恢復(fù)，應(yīng)用基于光譜邊緣的空間邊緣損失算法。

用lspec表示，其公式如下：

Espec(i,j,k)=Zspec(i,j,k+1)-Zspec(i,j,k)

(8)

(9)

(10)

對于最終估計的高光譜圖像Zfus，它的損失函數(shù)為：

(11)

最終總損失函數(shù)l為：

l=lspat+lspec+lfus

(12)

3 基于CNN的圖像融合算法流程

深度學(xué)習(xí)方法的網(wǎng)絡(luò)可以對多光譜圖像中的空間信息和高光譜圖像中的光譜信息綜合利用，在物理上直觀地獲得了最佳的融合質(zhì)量。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)對CNN的性能發(fā)揮起著至關(guān)重要的作用。

LIM等[16]提出：由于不同于其他圖像處理任務(wù)，進行圖像融合時，批量歸一化層(batch normal，BN)會破壞數(shù)字圖像的對比度等信息，改變圖像的色彩分布特征。因此在本文中去掉雙分支卷積神經(jīng)網(wǎng)絡(luò)中殘差單元的BN層，同時為了使融合后輸入分量不變，本文中還將雙分支卷積神經(jīng)網(wǎng)絡(luò)中的所有PRelu層刪除。

模型總體結(jié)構(gòu)如圖1所示。輸入的高光譜圖像和多光譜圖像在經(jīng)歷雙分支卷積神經(jīng)網(wǎng)絡(luò)提取特征后進行特征融合以及圖像重建得到初步的高分辨率高光譜圖像Zpre，之后將其空間信息和光譜信息進行重構(gòu)，得到最后的高分辨率高光譜圖像。

圖1 模型總體結(jié)構(gòu)示意圖

3.1 基于雙分支卷積神經(jīng)網(wǎng)絡(luò)的圖像融合規(guī)則

3.1.1特征提取融合網(wǎng)絡(luò)

在開始階段，我們使用2個分支分別從HSI和MSI中提取特征信息。2個分支結(jié)構(gòu)相似,每個分支由3層卷積和一層下采樣組成。大部分CNN結(jié)構(gòu)使用最大或平均池來獲得尺度和旋轉(zhuǎn)不變特征，但細節(jié)信息的提取更為重要，本文中采用步長為2的卷積核進行圖像的下采樣，而不是用簡單的池化操作實現(xiàn)。CNN結(jié)構(gòu)中，殘差塊的改進如圖2和圖3所示。

在經(jīng)歷特征提取步驟后，我們得到了高光譜圖像和多光譜圖像的特征圖，介于目標高光譜圖像要具有高空間以及高光譜分辨率，光譜信息和空間信息必須被特征同時捕捉到，基于此，將2個特征圖拼接到一起。融合網(wǎng)絡(luò)結(jié)構(gòu)由4層卷積、一層下采樣和一層上采樣構(gòu)成，它融合了2個輸入圖像的空間和光譜信息，通過CNN網(wǎng)絡(luò)將級聯(lián)的特征映射編碼成更緊湊的表示，特征提取融合部分的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。其中，CONV表示卷積層，Down-conv表示下采樣卷積層；Fusion表示將從輸入圖像提取到的特征進行融合。其中，Up-Conv表示上采樣卷積層，殘差網(wǎng)絡(luò)使用圖2所示的改進的網(wǎng)絡(luò)結(jié)構(gòu)。

圖4 特征提取融合網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.1.2圖像重建網(wǎng)絡(luò)

圖像重建網(wǎng)絡(luò)是在前面已融合的特征中重建所需要的高空間分辨率的高光譜圖像，圖像的空間分辨率應(yīng)采用逐步上采樣的步驟以防止高頻信息的丟失，重建得到的圖像記為Zpre。特征提取網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)的作用相當(dāng)于編碼過程，而圖像重建網(wǎng)絡(luò)相當(dāng)于解碼的過程，從高層特征中恢復(fù)細節(jié)紋理是困難的，因為高層特征映射對圖像的語義和抽象信息進行了編碼。為了恢復(fù)精細和真實的細節(jié)，將所有層次的特征表示出來，仍采用圖2所示的改進殘差網(wǎng)絡(luò)結(jié)構(gòu)，以加強模型訓(xùn)練的穩(wěn)定性以及恢復(fù)更多的細節(jié)信息。具體結(jié)構(gòu)如圖5所示。

圖5 圖像重建網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.2 空間、光譜邊緣信息重建網(wǎng)絡(luò)

在經(jīng)過前一節(jié)的3個步驟處理后，為了從Zpre中重構(gòu)空間信息，采用兩層卷積核為3×3的網(wǎng)絡(luò)結(jié)構(gòu)，表示為：

Zspat=Zpre+Convspat(Zpre)

(17)

式中：Convspat表示卷積層。跳過連接(skip-connection)操作用于在訓(xùn)練階段提高模型的穩(wěn)定性。

在空間重構(gòu)后，仍使用與空間信息結(jié)構(gòu)相同的卷積層作為光譜信息重構(gòu)的計算。其表述如下：

Zspec=Zspat+Convspec(Zspat)

(18)

式中：Convspec(Zspat)表示卷積層，也用到了跳過連接操作。網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 空間、光譜邊緣信息重構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

如表1所示，匯總了在前面所述的各個階段中，Bostwana數(shù)據(jù)集的網(wǎng)絡(luò)卷積層數(shù)量、卷積核大小、步長以及輸入和輸出的維度大小。

表1 Bostwana數(shù)據(jù)集中各個階段的網(wǎng)絡(luò)卷積層數(shù)量、卷積核大小、步長以及輸入和輸出的維度大小

4 實驗結(jié)果及分析

對于Bostwana數(shù)據(jù)集，在每次迭代中，將中心128×128子區(qū)域裁剪，作為實驗的測試圖像，其余區(qū)域用于訓(xùn)練。在每次迭代中，從訓(xùn)練區(qū)域隨機裁剪具有相同空間分辨率128×128的訓(xùn)練圖像。訓(xùn)練和測試區(qū)域是不重疊的，這是通過在訓(xùn)練階段用數(shù)據(jù)集中的零填充測試區(qū)域來實現(xiàn)的，對于IP數(shù)據(jù)集，因其受限的空間分辨率，在每次迭代中，將中心64×64子區(qū)域裁剪，作為實驗的測試圖像，其余區(qū)域作為訓(xùn)練圖像。在每次迭代中，從訓(xùn)練區(qū)域隨機裁剪具有相同空間分辨率64×64的訓(xùn)練圖像，具體做法如圖7所示。選擇ConSSFCNN和MSDCNN以及SSR-NET三種深度學(xué)習(xí)方法作為比較方法來評估所提出方法的性能訓(xùn)練階段迭代輪數(shù)為10 000，學(xué)習(xí)率為0.000 1，優(yōu)化器為Adam優(yōu)化器。本文中所有基于深度學(xué)習(xí)的實驗都是在Python 3.9上用Pytorch 1.9.0實現(xiàn)的，計算機硬件設(shè)備參數(shù)為GeForce RTX 3090,主頻為4.0 GHz,內(nèi)存為64 GB。

圖7 數(shù)據(jù)集處理

4.1 主觀評價

在Bostwana數(shù)據(jù)集中，像素的空間分辨率高達30 m，因此，其空間信息比其他數(shù)據(jù)集更復(fù)雜，具有更高的特征提取要求。本文中提出的CNN模型可以在初始階段更好的提取圖像的高頻信息，有利于提取非線性深度特征以及空間重建。圖8和圖9中第一行所列的圖像表示不同方法的融合結(jié)果，第二行表示融合結(jié)果與參考圖像之間的差異。

圖8 不同方法在Bostwana數(shù)據(jù)集上的融合結(jié)果圖

圖9 不同方法在IP數(shù)據(jù)集上的融合結(jié)果圖

由圖8(e)可知，本文中提出算法的融合結(jié)果和參考圖像相比差異更小，融合性能更好；由圖8(b)可知，ConSSFCNN算法的效果并不理想，圖像細節(jié)信息丟失嚴重；由圖8(c)可知，MSDCNN算法融合結(jié)果和SSR-NET較為接近，但其對比度較差,部分紋理細節(jié)丟失。綜上所述，本文中提出的融合模型融合效果最佳。

由圖9(b)和圖9(c)可知，在IP數(shù)據(jù)集中，ConSSFCNN模型和MSDCNN模型融合結(jié)果分辨率仍較差，圖像細節(jié)信息丟失嚴重，圖像邊緣不清晰，場景信息模糊，且和參考圖像相比差異較大；由圖9(d)和圖9(e)可知，雖然提出的方法在與參考圖像對比度方面較SSR-NET模型差，但是SSR-NET模型融合結(jié)果圖像整體偏暗,含有較差的對比度，本文中提出的方法得到的融合圖像中，提取了相對完整的目標,含有清晰的圖像紋理、適中的亮度以及較高的對比度,整體融合效果更好,更符合人類視覺的感知。因此，本文中提出的方法更適合。

4.2 客觀評價

圖10和圖11根據(jù)2.2節(jié)所述的4項評價指標來對比本文中所提方法和其他方法的融合情況，其中圖10采用的是數(shù)據(jù)集Bostwana，圖11采用的是數(shù)據(jù)集IP。在四種客觀評價指標中，PSNR是正向指標，數(shù)值越大說明失真越少圖像越清晰，而其他3個指標RMSE值越小說明離散程度越好、ERGAS值越小表明融合質(zhì)量越高、SAM值越小表示光譜失真越少,性能越好。

圖10 不同方法在Bostwana數(shù)據(jù)集上的結(jié)果曲線

圖11 不同方法在IP數(shù)據(jù)集上的結(jié)果曲線

由圖10可知本文中提出的方法的PSNR和RMSE指標遠高于其他3種算法，融合性能更好；在ERGAS和SAM指標方面，本文中提出的方法較其他3種算法相比，有著略微的優(yōu)勢。由圖11可知，本文中提出的方法模型在PSNR、RMSE以及ERGAS評價指標中具有明顯的性能優(yōu)勢，SAM指標則具有微弱的性能優(yōu)勢。

表2和表3所列的是在2種數(shù)據(jù)集上，不同方法評價指標的最優(yōu)值。由表2可知，對于Bostwana數(shù)據(jù)集，本文中提出的方法在PSNR指標上，比SSR-NET以及MSDCNN方法高出3.5左右，比ConSSFCNN方法高出9左右，其性能在PSNR方面具有非常大的優(yōu)勢；本文中提出的方法在RMSE指標上，和其他3種方法相比，優(yōu)勢不明顯，但也有略微提升；在ERGAS指標上，本文中提出的方法較ConSSFCNN而言，大約提升了13，具有良好的性能優(yōu)勢，和SSR-NET以及MSDCNN方法相比也是有一定的提升；在SAM指標方面，本文中方法較其他3種方法均有一定的提升。

表2 不同方法在Bostwana數(shù)據(jù)集上的最優(yōu)值(最優(yōu)值用粗體標出)Table 2 Optimal values of different methods on the Bostwanadataset(Optimal values are marked in bold)

表3 不同方法在IP數(shù)據(jù)集上的最優(yōu)值(最優(yōu)值用粗體標出)Table 3 Optimal values of different methods on the IP dataset(Optimal values are marked in bold)

由表3可知，在IP數(shù)據(jù)集上，本文中提出的方法在PSNR指標方面，比SSR-NET提升了1左右，比MSDCNN提升了2左右，比ConSSFCNN提升了4左右；在RMSE指標方面，較SSR-NET而言，提升僅有0.2左右，較MSDCNN提升了1.4左右，較ConSSFCNN提升了2.3左右；在ERGAS方面，本文中方法較SSR-NET和ConSSFCNN而言提升較大，但稍落后于MSDCNN方法，原因是因為ERGAS度量的是全局誤差，而本文中改進的方法繼續(xù)采用了SSR-NET的損失函數(shù)，此損失函數(shù)計算空間、光譜的邊緣特征，忽略了全局特征；在SAM指標方面，本文中提出的方法均具有不同程度的性能提升。

5 結(jié)論

提出一種基于CNN的高光譜和多光譜圖像融合方法。將初始圖像信息整合從圖像域轉(zhuǎn)化到特征域，可以更好地對圖像高頻信息進行提取，防止丟失細節(jié)信息；在進行空間信息和光譜信息重構(gòu)時，將卷積層增加至四層，圖像的更深層次特征可以由更深層次的網(wǎng)絡(luò)結(jié)構(gòu)提取到，具有更多的非線性特征，增強了網(wǎng)絡(luò)的判別能力。并沒有采用更深層的網(wǎng)絡(luò)，避免了過深的網(wǎng)絡(luò)產(chǎn)生的過擬合。實驗結(jié)果表明，本文中提出的方法較SSR-NET、MSDCNN、ConSSFCNN等方法而言，具有更優(yōu)越的性能。后續(xù)將進一步對圖像融合耗時和模型結(jié)構(gòu)等問題進行改進,以將更好的圖像融合效果所達到。