耿銘昆，吳凡路，王 棟

（1. 中國科學(xué)院長春光學(xué)精密機械與物理研究所，吉林 長春 130033；2. 中國科學(xué)院大學(xué)，北京 100049；3. 中國科學(xué)院月球與深空探測重點實驗室，北京 100101）

1 引 言

高分辨率火星遙感影像對人類全面了解火星的地貌地表狀態(tài)、太陽系起源與演化、火星著陸區(qū)的精細(xì)勘測和火星車的路徑規(guī)劃起到了至關(guān)重要的作用。但由于深空探測的運載能力遠(yuǎn)不能與地球軌道的大噸位運載能力相媲美，有效載荷的重量依然是執(zhí)行深空探測任務(wù)的首要考慮因素。受限于重量約束，行星遙感相機口徑、焦距一般配置不高，分辨率往往不能滿足更精細(xì)、更微觀的使用需求。因此在較低的硬件配置條件下通過軟件算法對火星遙感影像進(jìn)行超分辨率重建成為重要研究方向。

圖像超分辨率重建技術(shù)旨在通過軟件方法從相應(yīng)的低分辨率圖像中恢復(fù)具有豐富高頻細(xì)節(jié)的高分辨率圖像，1964 年，Harris［1］首次提出“圖像超分辨率”這一概念。1984 年，Tsai 等人［2］利用多張低分辨率圖像通過傅里葉變換域處理獲得了一張高分辨率圖像，這是利用軟件技術(shù)進(jìn)行圖像超分辨率重建的首次嘗試。此后又先后出現(xiàn)了插值法、重構(gòu)法［3-4］、基于例子［5］的方法和基于淺層學(xué)習(xí)［6-7］的方法等軟件方法。目前，圖像超分辨率重建在醫(yī)學(xué)成像［8］、安防監(jiān)控［9］和遙感成像［10-11］等諸多領(lǐng)域均有大量應(yīng)用。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的算法在計算機視覺領(lǐng)域展現(xiàn)了突出的性能［12-13］，而在圖像超分辨率領(lǐng)域基于卷積神經(jīng)網(wǎng)絡(luò)的方法也以其高性能和快速的預(yù)測速度成為主流方法。但由于參數(shù)量大、計算量大，大多數(shù)方法都不能很好地適應(yīng)遙感影像。因此，用輕量化網(wǎng)絡(luò)得到良好的火星遙感影像超分辨率效果是一項具有挑戰(zhàn)性和關(guān)鍵性的任務(wù)。

2016 年，Dong 等人［14］首次提出了一種由三層卷積層組成的神經(jīng)網(wǎng)絡(luò)模型，稱為SRCNN。然后，Kim 等人［15］在DRCN 中通過使用跳躍連接和遞歸監(jiān)督避免訓(xùn)練中出現(xiàn)梯度消失、梯度爆炸現(xiàn)象，該網(wǎng)絡(luò)通過使用參數(shù)共享的遞歸層使得參數(shù)量在一定程度上降低且加快了訓(xùn)練，但由于使用卷積核通道數(shù)多導(dǎo)致參數(shù)量仍然較大。Lai 等人［16］提出的LapSRN 采用了拉普拉斯圖像金字塔作為網(wǎng)絡(luò)的主體框架，與其他網(wǎng)絡(luò)對輸入的LR 先上采樣再計算不同的是該網(wǎng)絡(luò)對殘差圖像的推斷計算在低分辨率下進(jìn)行，故節(jié)省大量運算量，但不足之處在于其參數(shù)量仍然較大。

針對上述問題，本文結(jié)合DRCN 與LapSRN的優(yōu)點提出一種輕量化拉普拉斯金字塔遞歸殘差網(wǎng)絡(luò)（Lightweight Laplacian Pyramid Recursive and Residual Network，LRN）。本文將參數(shù)共享思想引入LapSRN，設(shè)計了三種參數(shù)共享的遞歸塊，并在拉普拉斯金字塔級間進(jìn)行參數(shù)共享。同時對網(wǎng)絡(luò)加入同源跳躍連接，保證了淺層特征在不斷被進(jìn)一步加深提取的同時在不同層級間的高效流動，提高了其在殘差圖像推斷中的參與度。對以上改進(jìn)網(wǎng)絡(luò)進(jìn)行了火星遙感影像超分辨率重建測試實驗，實驗結(jié)果表明：在評價指標(biāo)與視覺效果上，相比LapSRN，LRN 在保持火星遙感影像超分辨率重建效果的同時實現(xiàn)了參數(shù)量的大幅壓縮。

2 圖像超分辨率重建方法

2.1 圖像金字塔

圖像金字塔主要有向下采樣的高斯金字塔［17］（Gaussian Pyramid）和向上采樣的拉普拉斯金字塔［18］（Laplacian Pyramid）兩種類型，如圖1所示。高斯金字塔本質(zhì)上為信號的多尺度表示法，亦即將同一信號或圖片多次進(jìn)行高斯模糊，并且向下取樣，以產(chǎn)生一幅圖像在不同尺度下的表示Gi。拉普拉斯金字塔非常類似于高斯金字塔，由一系列殘差圖像構(gòu)成，這些殘差圖像記錄了高斯金字塔相鄰兩層的信息差值Li（下采樣后再上采樣獲得的圖像與下采樣前原始圖像的差值）。

圖1 圖像金字塔示意圖Fig.1 Schematic diagram of the image pyramid

對于大小為R×C的數(shù)字圖像I，高斯金字塔的定義為：G（I）=｛G1（I），…，GN（I）｝，其中G1（I）=I是高斯金字塔的最底層即原圖像，第N層為最高層即經(jīng)過N-1 次下采樣的圖像。由第L-1 層圖像GL-1（I）生成第L層圖像方式如式（1）：

其中：（i，j）表示像素，0＜i≤RL，0＜j≤CL，RL為金字塔第L層圖像的行數(shù)，CL為金字塔第L層圖像的列數(shù)，2≤L≤N；ω為高斯低通濾波器；（m，n）為高斯核大小。

拉普拉斯金字塔的定義為：L（I）=｛L1（I），…，LN-1（I）｝。第l層圖像生成方式如式（2）：

其中：expand（·）是放大算子，?是卷積操作，?5×5是5×5 大小的高斯內(nèi)核。

近年來，拉普拉斯金字塔結(jié)構(gòu)被廣泛應(yīng)用于圖像濾波［19］、語義分割［20］、圖像融合［21］、圖像生成［22］和圖像超分辨率［16，23］等視覺任務(wù)。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

LRN 以拉普拉斯圖像金字塔為總體框架，融合了參數(shù)共享思想、遞歸思想、全局與局部殘差學(xué)習(xí)思想和先計算后上采樣策略，其整體結(jié)構(gòu)如圖2所示，該網(wǎng)絡(luò)模型由淺層特征提取子網(wǎng)絡(luò)（Initial Feature Embedding Sub-network，IFE）、深層特征提取子網(wǎng)絡(luò)（Deep Feature Extraction Sub-network，DFE）和圖像重建子網(wǎng)絡(luò)（Image Reconstruction Sub-network，IR）三個子網(wǎng)絡(luò)組成。

圖2 LRN 整體結(jié)構(gòu)示意圖Fig.2 Overall network architecture of proposed LRN model

LRN 以IFE 為起點，對LR 進(jìn)行初步的特征提取如式（3），IFE 包含一個卷積層（3×3 kernels，64 feature maps，stride 1）。

其中：HIFE(·)表示對LR 應(yīng)用的淺層特征提取函數(shù)，ILR表示輸入網(wǎng)絡(luò)的低分辨率圖像，x1sf表示被金字塔第一級IFE 從LR 提取出來的淺層特征圖。

隨后x1sf作為輸入傳入DFE，如式（4）所示：

其中：x1df表示金字塔第一級DFE 輸出的深層特征，HDFE(·)表示對x1sf應(yīng)用的深層特征提取函數(shù)。HDFE(·)包含兩個部分，第一個是fIS表示推斷子網(wǎng)絡(luò)（Inference Sub-network）函數(shù)，包含可進(jìn)行參數(shù)共享的遞歸塊（詳見2.3 節(jié)），負(fù)責(zé)將輸入DFE 的淺層特征進(jìn)行深層次提取并推斷丟失的高頻信息；第二個是fup表示上采樣函數(shù)，包含一個LReLU（leak=0.2）和一個轉(zhuǎn)置卷積層（3×3 kernels，64 feature maps，scale=2），輸出2 倍尺寸的特征圖，作為輸入傳入IR 并得到2 倍SR 如式（5）～式（8）：

其中：I2xSR代表2 倍超分辨率圖像；HIR表示圖像重建函數(shù)；I2xLR表示2 倍低分辨率圖像；HL1代表金字塔第一級函數(shù)；I1r代表金字塔第一級殘差圖像即2 倍殘差圖像；fres代表殘差推斷函數(shù)，包含一個卷積層（3×3 kernels，64 feature maps，stride 1）；ftc表示轉(zhuǎn)置卷積函數(shù)，包含一個轉(zhuǎn)置卷積層（3×3 kernels，64 feature maps，scale=2）。I1r由x1df經(jīng)過一層殘差推斷卷積層得到，殘差圖像與低分辨率轉(zhuǎn)置卷積而來的2 倍低分辨率圖像逐像素相加得到2 倍超分辨率圖像I2xSR。以上為金字塔第一級中2 倍超分辨率圖像的生成過程。

在金字塔第二、三級，與第一級不同之處在于4 倍低分辨率I4xLR及8 倍低分辨率圖像I8xLR不是直接從低分辨率圖像ILR轉(zhuǎn)置卷積而來，而是由2 倍和4 倍超分辨率圖像I2xSR和I4xSR轉(zhuǎn)置卷積而來，使包含更多高頻信息的I2xSR和I4xSR在殘差學(xué)習(xí)中得到利用，如式（9）、（10）所示：

另一個不同之處在于金字塔二、三級的淺層特征x2sf和x3sf由前一級的深層特征x1df、x2df繼承而來，如式（11）、（12）所示：

故4 倍超分辨率圖像I4xSR及8 倍超分辨率圖像I8xSR如式（13）、（14）所示：

將LRN 與圖像金字塔相對應(yīng)可得，原高分辨率遙感影像及對其分別進(jìn)行2 倍、4 倍和8 倍下采樣得到的低分辨率影像對應(yīng)高斯金字塔的四層，I1r、I2r和I3r對應(yīng)拉普拉斯金字塔的三個層級。LRN 生成高質(zhì)量超分辨率圖像的關(guān)鍵在于殘差圖像的推斷。殘差圖像應(yīng)包含更多的ILR丟失的高頻信息。此任務(wù)主要依賴于推斷子網(wǎng)絡(luò)輸出的深層信息。

推斷子網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，由r個遞歸塊組成，并且加入同源跳躍連接，使淺層特征在層級之間流動，使其信息得到更好地保留與利用。

圖3 推斷子網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of inference sub-network

以拉普拉斯金字塔為框架的LRN 網(wǎng)絡(luò)在一次8 倍超分辨率圖像生成的前饋過程中就可以對LR 產(chǎn)生2 倍、4 倍以及8 倍的超分辨率結(jié)果，而不需要針對三種放大倍率準(zhǔn)備三個不同的網(wǎng)絡(luò)模型，故圖像金字塔框架本身就是一種輕量化的框架。

2.3 輕量化設(shè)計

本文所提LRN 核心在于圍繞參數(shù)共享思想進(jìn)行的網(wǎng)絡(luò)輕量化設(shè)計。LRN 在兩個層面進(jìn)行參數(shù)共享，一個是級間參數(shù)共享，另一個是推斷子網(wǎng)絡(luò)內(nèi)參數(shù)共享。

2.3.1 級間參數(shù)共享

如圖2 所示，8 倍LRN 網(wǎng)絡(luò)包含三級金字塔結(jié)構(gòu)，每一層執(zhí)行一次功能類似的2 倍超分辨率任務(wù)，故可在級間進(jìn)行參數(shù)共享，即每一層對應(yīng)位置的卷積層、轉(zhuǎn)置卷積層使用相同的權(quán)重參數(shù)。級間參數(shù)共享能將8 倍LRN 網(wǎng)絡(luò)參數(shù)量降為約原來的1/3。

2.3.2 推斷子網(wǎng)絡(luò)內(nèi)參數(shù)共享

推斷子網(wǎng)絡(luò)負(fù)責(zé)從淺層特征中提取出更深層次的特征圖以進(jìn)行殘差推斷，是LRN 網(wǎng)絡(luò)的核心結(jié)構(gòu)，本文所提LRN 由可以進(jìn)行參數(shù)共享的遞歸塊結(jié)構(gòu)組成，設(shè)計了如下所述的三種不同的遞歸塊。

2.3.2.1 塊內(nèi)共享遞歸塊(Share in Recursive Block, SIRB)

SIRB 結(jié)構(gòu)如圖4 所示，由d層遞歸卷積層堆疊而成，每個卷積層前都有一個LReLU 層，每個遞歸塊內(nèi)d個卷積層共用相同的權(quán)重參數(shù)，而遞歸塊間的參數(shù)相互獨立。使用SIRB 作為遞歸塊的LRN 稱為SILRN，本文實驗中提到的SILRN每一級的推理子網(wǎng)絡(luò)均由5 個含有5 層遞歸層的遞歸塊組成。

圖4 SIRB 結(jié)構(gòu)Fig.4 Architecture of SIRB

2.3.2.2 全共享遞歸塊(All Shared Recursive Block, ASRB)

ASRB 與SIRB 結(jié)構(gòu)相同，不同之處在于遞歸塊間也進(jìn)行參數(shù)共享。使用ASRB 作為遞歸塊的LRN 稱為ASLRN，本文實驗中提到的ASLRN 每一級的推理子網(wǎng)絡(luò)均由5 個含有8 層遞歸層的遞歸塊組成。

2.3.2.3 深度遞歸塊(Deep Recursive Block,DRB)

DRB 結(jié)構(gòu)如圖5 所示，在堆疊d層遞歸卷積層后，將每一層的輸出進(jìn)行級聯(lián)，對級聯(lián)形成的特征圖陣的每一個通道乘以自適應(yīng)權(quán)重ωi，再合并得到子網(wǎng)絡(luò)輸出。使用DRB 作為遞歸塊的LRN 稱為DLRN，本文實驗中提到的DLRN 每一級的推理子網(wǎng)絡(luò)均由1 個含有6 層遞歸層的遞歸塊組成。

圖5 DRB 結(jié)構(gòu)示意圖Fig.5 Architecture of DRB

2.4 損失函數(shù)

LRN 使用Lai 等人［16］提出的Charbonnier 損失函數(shù)作為損失函數(shù)，如式（15）：

3 實驗與結(jié)果分析

3.1 軟硬件平臺

本文實驗在CPU 為i7-8750H@2.20 GHz，GPU 為8 GB 顯存的NVIDIA RTX2070 的計算機上進(jìn)行。實驗平臺搭載的操作系統(tǒng)為Win10、深度學(xué)習(xí)框架Matconvnet1.0、CUDA10.0。

3.2 數(shù)據(jù)集與評價指標(biāo)

本文選擇了高分辨率成像科學(xué)實驗相機［24］（High Resolution Imaging Science Experiment，HIRISE）拍攝的火星遙感影像作為數(shù)據(jù)集，其分辨率為25～50 cm/pixel，實驗將編號ESP_066115_2055 的遙感影像切割成3 795 張512×512 的圖像塊作為訓(xùn)練集，并對編號為ESP_066194_2100 和ESP_066828_2050 的遙感影像進(jìn)行相同操作，并從中選擇20 張作為驗證集、60 張包含平原、丘陵、山脈和隕石坑等多樣地貌特征的火星遙感影像作為測試集，部分影像如圖6 所示。訓(xùn)練集、驗證集以及測試集三個數(shù)據(jù)集無重復(fù)影像。

圖6 火星遙感影像測試數(shù)據(jù)集示例圖像Fig.6 Sample images of Mars remote sensing image test dataset

本文使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）以及信息保真度準(zhǔn)則（Information Fidelity Criterion，IFC）作為重建圖像質(zhì)量的客觀評價指標(biāo)。

3.3 數(shù)據(jù)準(zhǔn)備

為了增強網(wǎng)絡(luò)的泛化性，在訓(xùn)練時使用數(shù)據(jù)增強來擴充訓(xùn)練集，主要包括三種方式：（1）下采樣：對所有訓(xùn)練集圖片進(jìn)行隨機下采樣，采樣因子范圍為［0.5，1.0］；（2）旋轉(zhuǎn)：對所有訓(xùn)練集圖片隨機旋轉(zhuǎn)90°、180°、270°；（3）水平翻轉(zhuǎn)：以0.5的概率水平翻轉(zhuǎn)所有訓(xùn)練集圖片。本文通過雙三次插值算法對訓(xùn)練集進(jìn)行下采樣，從而產(chǎn)生低分辨率輸入圖像，原圖作為真實高分辨率圖像。

3.4 網(wǎng)絡(luò)參數(shù)與訓(xùn)練策略

在所提出的LRN 中，每個卷積層有64 個大小為3×3 的卷積核。本文使用He 等人［25］的方法對卷積核進(jìn)行初始化。反卷積核的大小為4×4，權(quán)值由雙線性濾波器初始化。所有卷積和轉(zhuǎn)置卷積層（除重建層外）后面是負(fù)斜率為0.2 的泄漏整流線性單元（LReLU）。在應(yīng)用卷積之前，在邊界周圍填充零，保持所有特征圖的大小與每個級別的輸入相同以便于相加。

網(wǎng)絡(luò)訓(xùn)練策略方面，本文提出的LRN 使用隨機梯度下降（Stochastic Gradient Descent，SGD）的策略來優(yōu)化網(wǎng)絡(luò)，其中SGD 動量參數(shù)設(shè)置為0.9，權(quán)重衰減為10-4。對于所有層，學(xué)習(xí)速率被初始化為10-5，并且每50 個Epoches 將學(xué)習(xí)速率乘以0.8。由于GPU 顯存的限制，本文將訓(xùn)練數(shù)據(jù)集裁剪成128×128 的圖像塊作為訓(xùn)練對象。

3.5 實驗結(jié)果對比分析

表1 給出了ASLRN 在8 倍下對60 張火星遙感測試影像進(jìn)行超分辨率測試時PSNR、SSIM以及IFC 三個客觀評價指標(biāo)的具體數(shù)值。表2 給出了SILRN、ASLRN、DLRN、LapSRN、Bicubic等方法在2 倍、4 倍和8 倍三種不同放大倍數(shù)下對測試集中60 張火星遙感影像進(jìn)行超分辨率重建時客觀評價指標(biāo)的平均值及相應(yīng)參數(shù)量。實驗中使用的LapSRN 網(wǎng)絡(luò)已按照原作者給出的訓(xùn)練參數(shù)使用與其他三種網(wǎng)絡(luò)相同的火星遙感影像數(shù)據(jù)集進(jìn)行重新訓(xùn)練以保證測試結(jié)果的公平性。

表1 ASLRN 對火星遙感影像測試數(shù)據(jù)集8 倍超分辨率重建的客觀評價指標(biāo)具體值Tab.1 Objective evaluation index values for×8 super-resolution on Mars remote sensing image test dataset of ASLRN

表2 火星遙感影像測試數(shù)據(jù)集上幾種算法比較Tab.2 Comparison of various algorithms on Mars remote sensing image test dataset

續(xù)表1 ASLRN 對火星遙感影像測試數(shù)據(jù)集8 倍超分辨率重建的客觀評價指標(biāo)具體值Tab.1 Objective evaluation index values for×8 super-resolution on Mars remote sensing image test dataset of ASLRN

從表1 和表2 中可以看出本文所提的三種算法中ASLRN 和SILRN 以低于LapSRN 的參數(shù)量在4 倍和8 倍超分下獲得了更高的客觀評價指標(biāo)值。ASLRN 以低于LapSRN 一個數(shù)量級的參數(shù)量，在4 倍和8 倍超分下PSNR 分別提高了0.031 3 dB 和0.116 7 dB，SSIM 分別提高了0.001 6 和0.005 0，IFC 分別提高了0.054 6 和0.069 3。在2 倍超分下ASLRN 與LapSRN 相比，PSNR 提高了0.015 5 dB，SSIM 相同，IFC 差距小于0.1?？梢哉J(rèn)為三個倍率下ASLRN 與LapSRN 超分辨率結(jié)果無論是在像素水平上的灰度值差別還是視覺效果上都無明顯差別。在SILRN 參數(shù)量約為ASLRN 三倍的情況下，認(rèn)為ASLRN 是一個有良好超分辨率重建效果的輕量化網(wǎng)絡(luò)模型，在參數(shù)量低于LapSRN 一個數(shù)量級的情況下得到了相似的網(wǎng)絡(luò)性能。

總參數(shù)量方面，由于LapSRN 三種不同放大倍率的模型間不共享參數(shù)，故總參數(shù)量為1 886 K，而ASLRN 三種倍率只需一個網(wǎng)絡(luò)模型就可以實現(xiàn)，故總參數(shù)量為75 K，僅為LapSRN 的3.98%。

圖7～9 給出了SILRN、ASLRN、DLRN、LapSRN、Bicubic 等方法在2 倍、4 倍和8 倍三種不同放大倍數(shù)下對火星遙感影像測試集中部分影像的超分辨率重建效果及客觀指標(biāo)比較情況。從圖中可以看出本文所提的三種算法中ASLRN和SILRN 以低于LapSRN 的參數(shù)量在不同重建倍數(shù)下得到了與LapSRN 無明顯差別的超分辨率視覺效果，DLRN 重建效果略差。

圖7 第54 幅火星遙感測試影像2 倍超分辨率重建結(jié)果對比Fig.7 Super-resolution results comparison of the No.54 Mars remote sensing test image for scale factor×2

圖8 第59 幅火星遙感測試影像4 倍超分辨率重建結(jié)果對比Fig.8 Super-resolution results comparison of the No.59 Mars remote sensing test image for scale factor×4

圖9 第26 幅火星遙感測試影像8 倍超分辨率重建結(jié)果對比Fig.9 Super-resolution results comparison of the No.26 Mars remote sensing test image for scale factor×8

4 結(jié) 論

本文提出了一種以拉普拉斯圖像金字塔為框架的輕量化殘差遞歸空間遙感圖像超分辨率網(wǎng)絡(luò)模型，以求在不降低重建效果的情況下降低網(wǎng)絡(luò)的參數(shù)量。通過加入以參數(shù)共享為思想設(shè)計的遞歸塊以及同源跳躍連接機制，使作為網(wǎng)絡(luò)核心的推斷子網(wǎng)絡(luò)在不降低特征提取能力的情況下參數(shù)量大幅下降。所提ASLRN 方法在不降低重建效果的情況下，單倍模型參數(shù)量相對于LapSRN 降低了約一個數(shù)量級，總參數(shù)量縮減至LapSRN 的3.98%。