易見兵， 陳俊寬， 曹 鋒， 李 俊， 謝唯嘉

（江西理工大學 信息工程學院，江西 贛州 341000）

1 引 言

單圖像超分辨率（Super-Resolution，SR）技術旨在從相應的低分辨率（Low Resolution，LR）圖像或一系列LR 幀重建出高分辨率（High Resolution，HR）圖像。SR 技術廣泛應用于醫(yī)學成像［1］、視頻監(jiān)控［2］、圖像處理、視頻分析［3］、智能手機照片處理［4］和遙感圖像處理［5］等領域。在遙感領域，由于衛(wèi)星成像設備的限制，所得到的遙感圖像分辨率有限，導致后續(xù)的遙感解譯任務（如目標探測［6］、場景分類［7］等）實現(xiàn)難度較大。雖然升級衛(wèi)星成像設備可以提高遙感圖像的分辨率，但這種方法成本非常高。因此，利用SR 技術提高遙感影像的空間分辨率是一種有效的方法。

單張圖像的超分辨率是一個典型的非適定問題，通常采用圖像先驗的約束來恢復高分辨圖像。早期，一些研究者提出了基于插值的單幅圖像超分辨算法，比如雙三次插值［8］和其改進的算法。這些算法簡單的基于局部圖像先驗設計，無法取得更多的外部信息，導致所恢復圖像的邊緣和輪廓出現(xiàn)模糊的問題。之后，研究者又提出了基于學習的超分辨率算法，如基于鄰域嵌入的算法［9］，基于稀疏表示的算法［10］，以及基于局部線性回歸的算法［11］。這些算法非常依賴圖像的先驗信息，且在圖像之間探索先驗信息的過程是非常耗時的，并且先驗信息的缺乏也會導致基于這些算法的性能急劇下降。

超分辨率卷積神經(jīng)網(wǎng)絡（SR Convolutional Neural Network，SRCNN）［12］是第一個提出利用卷積神經(jīng)網(wǎng)絡來解決超分辨率問題的算法，它通過三層網(wǎng)絡學習低分辨圖像到高分辨圖像之間的映射，實現(xiàn)了較好的重建結果。從這時開始，許多基于深度學習的超分辨率算法被提出，這些算法通過引入多種復雜的網(wǎng)絡結構，例如殘差學習［13］和密集連接等［14］方式，在自然圖像中取得了較好的重建效果。但相比于自然圖像，遙感圖像大多是城市地貌、山川田野和道路交通等地貌類型，所以遙感圖像在更小的像素尺寸中包含更多的信息，對此許多基于深度學習的遙感圖像超分辨率（Remote-Sensing Image Super-Resolution，RSISR）算法被一一提出。例如Haut 等人［15］采用視覺注意機制引導網(wǎng)絡學習更高效的特征表示。Pan 等人［16］提出了一種殘差密集反投影網(wǎng)絡，用于提高RSISR 中尺度和大比例的因子。Dong 等人［17］設計了一種密集采樣機制，引導網(wǎng)絡考慮多尺度特征，進行大規(guī)模的RSISR 重建。Lei 等人［18］提出了一種混合尺度自相似度提取網(wǎng)絡，同時利用單尺度和多尺度遙感圖像中的相似特征，用來提高RSISR 的效果。雖然上述算法都取得了很好的性能，但它們通常都具有復雜的網(wǎng)絡結構，需要高性能的計算平臺來部署和運行，導致這些算法難于應用到資源有限的設備上，因此，研究輕量級的遙感圖像超分辨率網(wǎng)絡非常有必要。

為了構建高效和輕量的遙感圖像超分辨率網(wǎng)絡，本文提出了一種輕量級基于重參數(shù)化殘差特征網(wǎng)絡（Re-parameterization Residual Feature Network，ReRFN）。依據(jù)重參數(shù)化思想，本文設計了一個簡單有效的重參數(shù)化分支模塊（Re-parameterization Block，Reblock），具體就是在訓練階段采用幾條重參數(shù)化分支來分別提取不同特征信息，之后在推理階段合并為一個正常的3×3 卷積，達到既提升網(wǎng)絡性能又不增加模型參數(shù)的目的。借助Reblock 在模型性能方面的優(yōu)勢，構建出一個更有效的重參數(shù)化殘差局部特征模塊（Re-parameterization Residual Local Feature Block， ReRLFB），作為網(wǎng)絡模型局部特征提取的基本模塊?？紤]到遙感圖像中存在許多相似特征，利用這些特征可以進一步提高RSISR 的性能，因此本文提出了一個輕量級的增強型全局上下文模塊（Enhanced Global Context Block，EGCB），它可以有效地對全局上下文相似特征進行關聯(lián)以提升網(wǎng)絡的特征表達能力。為了充分提取圖像的特征信息，本文將ReRLFB 與EGCB 結合組成本文特征提取的基本模塊。最后，引入多層特征融合模塊聚合所有的深度特征，以產(chǎn)生更全面的特征表示，從而提升模型性能。本文算法主要貢獻如下：

（1） 基于重參數(shù)化思想，本文提出了一種簡單高效的重參數(shù)化分支模塊，該模塊可以在不增加任何推理成本的情況下提升3×3 卷積的性能，隨后以該模塊為基礎設計了一種殘差特征模塊，用于更好的提取圖像的局部特征。

（2） 針對遙感圖像中存在大量的重復和相似特征，本文提出了一種輕量級的增強型全局上下文模塊，該模塊通過關聯(lián)圖像的相似特征來提升網(wǎng)絡的特征表達能力，并通過調(diào)整通道壓縮倍數(shù)來減少模型的參數(shù)量和改善模型的性能。

（3） 為進一步提高模型的特征表達能力，本文設計了一個多層特征融合模塊來聚合所有的深度特征，有效地提高了模型的圖像超分辨重建能力。

2 相關工作

2.1 重參數(shù)化結構

最近，一些關于重參數(shù)化的研究證明了該項技術在各種視覺任務中可以取得非常好的效果，例如圖像分類、目標檢測和圖像分割等。Arora等人［19］證明了隨著網(wǎng)絡層數(shù)的加深，全連接層的重參數(shù)化可以加速網(wǎng)絡的訓練。Ding 等人［20］提出了一種非對稱的卷積模塊（Asymmetric Convolution Block，ACB），通過合并三個不同的卷積來加強正常卷積，這種方式相當于一種形式的結構重參數(shù)化。RepVGG［21］首先將3×3 卷積解耦為標識映射的1×1 卷積和3×3 卷積組成的多分支模塊，使傳統(tǒng)VGG 的性能達到ResNet 系列的水準，其中多分支模塊利用不同的尺度特征，極大地豐富了正常卷積的表達能力。Zhang 等人［22］提出了一種面向邊緣的卷積模塊（Edge-oriented Convolution Block，ECB），用來提高移動設備中實時超分辨率網(wǎng)絡的性能。Zhang 等人［23］將邊緣提取濾波器和寬激活（Wide activation）塊集成到重參數(shù)化分支模塊中，加強了重參數(shù)化模塊的特征提取潛力，使模塊能更好地學習特征中的高頻信息。

2.2 注意力機制

注意力機制的作用是讓機器在學習的過程中區(qū)分需要和不需要的數(shù)據(jù)信息，用于提高模型性能，該技術已被廣泛用于各種視覺任務，例如：圖像分類、圖像超分辨率、圖像配準和目標檢測等。NLNet［24］中提出了一種Non-local 模塊，通過非局部運算的方式查詢?nèi)稚舷挛木酆闲畔⒌奈恢?，為捕獲長距離依賴關系提供了一種開創(chuàng)性的算法。Hu 等人［25］通過研究信息特征的構成方式，提出了壓縮和擴張（Squeeze and Excitation，SE）模塊，其目的是捕獲通道之間的相互依賴關系，然后根據(jù)信息特征的重要程度選擇強調(diào)或抑制信息特征，提高網(wǎng)絡提取特征的質(zhì)量。Cao 等人［26］對全局上下文進行建模，聚合所有位置的信息特征，提出了全局上下文（Global Context，GC）模塊。Liu 等人［27］提出了極化自注意力模塊（Polarized Self-Attention，PSA），通過融合通道和空間注意力分支中的Softmax 和Sigmoid 組成，并保持了輸入特征的內(nèi)部分辨率，解決了因池化和下采樣導致的高分辨率信息丟失問題。Zhu 等人［28］為了高效地定位有價值的鍵值對，提出了雙級路由注意力模塊（Bi-level Routing Attention，BRA），其目的是在粗糙區(qū)域級別過濾掉大部分不相關的鍵值對，即冗余信息，保留有價值的鍵值對。鑒于注意力機制對網(wǎng)絡性能的提升，本文通過使用注意力模型來增強網(wǎng)絡提取特征的能力。然而，上述注意力往往不是輕量的，而且還有些注意力對SR 性能的提升相對有限，考慮到遙感圖像存在許多相似特征，本文提出了一種輕量級的增強型全局上下文模塊，可以有效地對全局上下文建模。

3 網(wǎng)絡模型

3.1 網(wǎng)絡的總體結構

重參數(shù)化殘差特征網(wǎng)絡（ReRFN）融合了重參數(shù)化思想、局部殘差學習思想、全局上下文建模思想和后上采樣策略，同時還引入了增強空間注意力（Enhanced Spatial Attention，ESA）提升模型性能。如圖1 所示，該網(wǎng)絡模型主要由四個部分組成：淺層特征提取網(wǎng)絡、深層特征提取網(wǎng)絡、多層特征融合網(wǎng)絡和最后的上采樣超分辨重建網(wǎng)絡。

3.1.1 淺層特征提取

假定ILR和ISR分別表示模型輸入和輸出的圖像，對于ILR，ISR∈RC0×H×W，其中C0表示輸入圖像的通道數(shù)，對于彩色圖像C0為3，H×W表示圖像的空間尺寸。首先在淺層特征提取之前對輸入圖像進行預處理，將輸入圖像復制n次，然后沿通道維度將其拼接在一起，增大淺層特征所提取的圖像信息。其拼接過程可表示為：

其中：Concat(·)表示沿通道維度的拼接操作，n表示ILR的拼接個數(shù)，本文將n設置為4，InLR的特征維度為12×H×W。之后，將預處理后的圖像輸入到下一層的3×3 卷積中，提取圖像的淺層特征信息，淺層特征提取的過程可以表示為：

其中：H3×3(·)表示3×3 卷積操作，F(xiàn)0表示提取到的淺層特征，其特征維度為C×H×W。

3.1.2 深層特征提取

在該部分中，本文使用了6 個ReFB 模塊，其中每一個ReFB 的輸入特征都是前一個模塊的輸出特征。淺層特征F0在經(jīng)過幾個堆疊的ReFB特征提取后，可以提取到不同的深度特征。該過程表示為：

其中：Hi表示第i個ReFB，F(xiàn)i-1和Fi分別表示為第i個ReFB 的輸入特征和輸出特征，其特征維度均為C×H×W。

3.1.3 多層特征融合

為了充分利用來自所有深度的特征，首先通過Concat操作將各個深度的特征信息進行拼接，然后使用1×1 卷積和GELU 激活進行特征融合和映射，最后使用Reblock 將特征進行優(yōu)化。多層特征融合的公式可以表示為：

其中：Concat(…)表示將模塊輸出各個深度的特征沿通道維度進行拼接，Hfusion(·)表示為特征融合模塊，執(zhí)行的是1×1 卷積操作和GELU 激活，然后采用Reblock 模塊進行特征優(yōu)化，F(xiàn)fused表示最后的聚合特征，特征維度為C×H×W。

3.1.4 上采樣超分辨率重建

將多層特征融合完成后，依據(jù)殘差學習的思想使用了一個全局跳躍連接，將淺層特征F0與聚合特征Ffused特征值相加，然后進行圖像的上采樣操作。目前在超分辨率重建中將尺度放大的操作常見的有三種，分別為基于插值、亞像素卷積［29］和反卷積操作。在這幾種圖像上采樣操作中，亞像素卷積不僅采樣的效果較好，且速度更快更輕量，所以本文采用亞像素卷積操作組成本文的上采樣重建模塊，其重建的過程可以表示為：

其中：Hup表示圖像重建模塊，由3×3 卷積和像素洗牌操作組成。

3.1.5 損失函數(shù)

與其他的超分辨率算法類似，本文采用L1損失函數(shù)對模型進行優(yōu)化，在超分辨率中L1 損失函數(shù)可以提供更為穩(wěn)定的梯度，加快網(wǎng)絡的收斂速度。其損失函數(shù)的表達式為：

其中：N表示應訓練圖像的數(shù)量，ISR和IHR分別表示重建后的圖像與真實高分辨率的圖像，i表示第i張圖像，L1 損失函數(shù)通過這兩張圖像之間的差異來指導模型訓練。

3.2 重參數(shù)化特征模塊

如圖2 所示，重參數(shù)化特征模塊（ReFB）由重參數(shù)化殘差局部特征模塊（ReRLFB）、增強空間注意力（ESA）模塊和增強型全局上下文模塊（EGCB）組成。其中輸入的特征首先需要經(jīng)過ReRLFB 進行局部特征提取，然后再通過ESA 模塊使殘差特征更集中于關鍵的空間內(nèi)容，最后再采用EGCB 對特征進行全局上下文建模，關注圖像中的相似特征，這樣可以使ReFB 更充分地提取圖像中的有用信息，增強模型性能。

圖2 重參數(shù)化特征模塊（ReFB）Fig.2 Re-parameterization feature block（ReFB）

3.2.1 重參數(shù)化殘差局部特征模塊

在SR 任務中，大多數(shù)的輕量級模型主要是通過復雜的層連接來提高模型的特征利用率，但是這些方式通常具有較高的計算復雜度，且影響了模型的運行速度。為更好地實現(xiàn)模型性能與運行速度之間的平衡，本文在Kong 等人提出的殘差局部特征模塊（Residual Local Feature Block，RLFB）［30］上進行了優(yōu)化，構建出了ReRLFB 模塊，其總體框架如圖2（a）所示。本文采用3 個堆疊的Reblock+GELU 層進行局部特征提取，具體來說，就是將每一個堆疊層都看作一個局部特征細化模塊，將輸入的特征進行逐步細化。假設輸入的特征為Fin，這個過程可以表示為：

其中：RMj表示第j個細化模塊，表示第j 個模塊細化后的特征。在經(jīng)過多個局部特征細化層的細化步驟后，本文使用殘差連接方式將最開始輸入的特征Fin與最后輸出的細化特征相加，然后通過1×1 卷積將特征聚合，這個過程可以表示為：

其中：Frefined表示為最終細化的輸出特征，H1×1(·)表示1×1 卷積操作。為了提高模型的特征利用率，本文引入了一個輕量級的增強空間注意力模塊（ESA）［31］來增強模型的性能，其結構如圖2（b）所示，該過程可以表示為：

其中：Fenhanced表示為增強后的特征，HESA(·)表示提高模型特征提取能力的ESA 模塊。

3.2.2 增強型全局上下文模塊

目前的一些超分辨率算法，為了給網(wǎng)絡提供較大的感受野，通常是通過堆疊多個卷積層來實現(xiàn)，這導致了模型過深和效率過低，考慮到遙感圖像中存在大量的重復和相似特征，如果能對圖像全局特征的相似性進行關聯(lián)，可以有效提高模型性能。因此，本文提出了一種增強型全局上下文模塊（EGCB），該模塊能夠有效地關聯(lián)圖像的相似特征以提升其在圖像恢復任務中的適用性，其結構如圖3 所示。在EGCB 中，使用了多個1×1 卷積對全局上下文建模和特征轉換，并且本文為了使模型變得更加輕量，還使用了通道壓縮倍數(shù)r對輸入特征圖的通道數(shù)C進行壓縮，達到減少模型的參數(shù)量與計算復雜度的目的。

圖3 增強型全局上下文模塊（EGCB）Fig.3 Enhanced global context block（EGCB）

具 體 地 ，對 于 輸 入 的 特 征 圖Fenhanced∈RC×H×W，該模塊主要分為三個過程：（1） 對輸入的特征圖Fenhanced進行上下文建模，用于獲取全局上下文特征。其中一條分支采用1×1 卷積Wq和softmax 函數(shù)獲得注意力權值，該注意力權值可以理解為每個像素點的相關性，另一條分支使用1×1 卷積Wv對輸入特征進行細化，通過矩陣乘法的操作首先將注意力權值與1×C/r×HW維度的輸入特征進行元素級的相乘，然后將每一個通道特征層內(nèi)的所有值相加，最后得到C/r×1×1 的全局關系，獲得全局上下文特征。其過程可以表示為：

其中：fq和fv都代表通道降維的1×1 卷積操作；Xq與Xv表示經(jīng)過1×1 卷積操作后的特征圖；與表示維度改變后的特征圖；Softmax()得到的是0~1 之間的值，表示注意力權值；?表示矩陣乘法；Y表示獲得全局上下文信息的特征圖。（2）對獲得的全局上下文信息進行特征轉換并進一步提取信息，本文設計了幾個1×1 的卷積對獲得的全局上下文特征進行轉換和優(yōu)化。（3）將獲得的特征聚合，本文使用殘差連接的方式將變換后的全局上下文特征聚合到原始輸入特征Fenhanced上，生成最終的輸出特征圖Foutput。該過程可以表示為：

其中：transform(·)表示特征轉換操作，作用是將輸入的特征進行優(yōu)化和將C/r的通道數(shù)轉換為C的通道數(shù)，以便與原始的輸入特征圖Fenhanced進行元素相加。

3.3 重參數(shù)化分支模塊

本文所提算法核心就在于圍繞重參數(shù)化的思想進行輕量化設計。通過研究其他重參數(shù)化結構，本文發(fā)現(xiàn)重參數(shù)化分支對正常卷積性能提升是非常有效的，但隨著重參數(shù)化分支的增加，所帶來的訓練時間是成倍的增長，并且過多的分支在特征合并時會導致特征信息衰減。為了解決這些問題，本文減少了重參數(shù)化分支的數(shù)量，同時考慮到特征信息的衰減，本文采用殘差連接作為一條重參數(shù)化分支來增強和保護特征信息，以此為基礎，本文構建了一個簡單而有效的重參數(shù)化分支模塊，即Reblock，如圖4 所示，Reblock由三條分支組成。

圖4 重參數(shù)化分支模塊（Reblock）Fig.4 Re-parameterization block（Reblock）

在訓練階段，本文使用Reblock 對模型進行訓練，以獲取更豐富的中間特征，其中第一條分支使用正常的3×3 卷積來保證模塊的正常性能。這個正常卷積的過程可以表示為：

其中：Fn表示輸出特征，F(xiàn)in表示輸入特征圖，Kn表示正常卷積的權值，Bn表示偏置。

第二條分支采用擴張和壓縮卷積。在SR 任務中，深度特征可以顯著提高特征表達能力，提升模型性能，所以本文采用擴張和壓縮卷積進一步從特征映射中提取深層信息。首先使用1×1卷積將輸入特征圖Fin的通道維度從C擴張到D，然后再通過3×3 卷積將通道維度壓縮回C。擴張和壓縮的卷積過程可以表示為：

其中：Fes表示經(jīng)過擴張和壓縮卷積后的輸出特征，F(xiàn)in表示輸入特征圖，Ks，Bs表示壓縮卷積的權值和偏置，Ke，Be表示擴張卷積的權值與偏置。

第三條分支為恒等映射分支，即不經(jīng)過任何卷積運算，用于增強和保護特征信息。在重參數(shù)化時恒等映射相當于一個特殊（以單位矩陣為卷積核）的1×1 卷積，Kin表示該特殊1×1 卷積的權值，偏置Bin為0。

然后，重參數(shù)化分支模塊的輸出特征結合了這三條分支的輸出，該過程可以表示為：

其中：F為Reblock 的輸出特征，最后將組合的特征F映射饋送到非線性激活層，本文采用GELU。

在推理階段，本文將Reblock 轉化為正常的3×3 卷積，達到既提升網(wǎng)絡性能又不增加模型參數(shù)的目的。該過程是通過加法操作將三條分支的權值和偏置進行相加，然后將所有的參數(shù)合并到一個3×3 卷積上。該重參數(shù)化過程可以表示為：

其中：Krep表示重參數(shù)化后相加得到的權值；Brep表示重參數(shù)化后相加得到的偏置；Kes，Bes表示擴張和壓縮卷積合并后的權值與偏置；Fin表示輸入特征圖；F表示單個卷積的輸出特征，該輸出特征與Reblock 的輸出特征是等價的。

4 實驗結果和分析

在本節(jié)中，本文將遙感圖像的超分辨率重建效果作為實驗主要任務，并將所提出的算法與最新的算法進行比較，然后還探討了本文算法在自然圖像超分辨率重建和自然圖像去噪上的性能。對于提到的每一個任務，本文將分別說明數(shù)據(jù)集、實現(xiàn)細節(jié)和實驗結果。實驗環(huán)境配置：操作系統(tǒng)為Windows10，CPU 為3.6 GHz 的Inter（R）Xeon（R） W-2123，GPU 為11 GB 顯存的NVIDIA RTX2080ti，采用深度學習框架pytorch1.9.0。

4.1 實驗設置

本文所有實驗均采用Adam 優(yōu)化器來訓練模型，一階矩和二階矩的指數(shù)衰減率分別設置為β1=0.9，β2=0.999。針對不同的任務的不同訓練數(shù)據(jù)集，本文采取了不同的訓練策略，首先在遙感圖像的超分辨率任務中，將初始學習率設置為1×10-4并在第400 個epoch 減半處理；然后在自然圖像的超分辨率任務中，將初始學習率設置為5×10-4，使用余弦退火調(diào)整學習率衰減；最后在自然圖像的去噪任務中，將初始學習率設置為1×10-3，使用余弦退火調(diào)整學習率衰減，每個任務均采用L1 損失函數(shù)對模型優(yōu)化。本文采用90°，180°，270°隨機旋轉和水平翻轉的數(shù)據(jù)增強方法將數(shù)據(jù)集擴增10 倍。本文模型使用ReFB的個數(shù)為6，其中每個ReFB 的輸入和輸出通道數(shù)C均設置為50，在超分辨率任務中采用亞像素卷積的方法對圖像進行2 倍、3 倍和4 倍放大，在圖像去噪任務中不采取任何上采樣操作。

本文采用峰值信噪比（PSNR）和結構相似性 （SSIM）對所有結果進行評價，其中PSNR 用于比較輸出圖像與HR 之間像素的差異，SSIM用于評價輸出圖像的結構相似度，兩個評價指標的值越高說明網(wǎng)絡模型效果越好。特別地，本文還分析了本文網(wǎng)絡模型的參數(shù)量與計算量，用于衡量網(wǎng)絡模型的大小與計算復雜度。

4.2 遙感圖像超分辨重建實驗

本文選擇采用UC Merced 遙感數(shù)據(jù)集［32］來證明本文所提出算法的有效性。UC Merced 的數(shù)據(jù)集由21 個遙感場景類別組成，其中每一個類別都有100 張圖像，總計2 100 張，并且每一種圖像的大小均為256×256 pixel，空間分辨率為0.3 m/pixel。與其他遙感圖像的超分率算法一樣，本文將數(shù)據(jù)集分為兩個部分：訓練集和測試集，均為1 050 張圖像。在本文實驗中，通過雙三次插值運算的方法對HR 進行下采樣得到LR（下采樣倍數(shù)為×2，×3，×4），并將相應的HR 圖像作為ground truth，對于2 倍、3 倍和4 倍超分辨率任務，隨機剪裁大小為96×96，144×144，196×196 的HR 塊，最小訓練批次設置為15，總共訓練500 個周期。

為了驗證本文算法對遙感圖像超分辨率重建性能，將本文算法ReRFN 在UC Merced 測試集做了相關實驗，并與多個優(yōu)秀的遙感圖像超分辨率算法進行對比，包括：Bicubic 插值［8］，SC［33］，SRCNN［12］，F(xiàn)SRCNN［34］，LGCNet［35］，DCM［15］，HSENet［18］，CTN［36］，ReFDN［23］等算法。表1 展示了各個算法性能對比的結果，此外本文還提供了在256×256 的HR 遙感圖像下各種算法在不同尺度的參數(shù)量與計算量（M-Adds）。從表中數(shù)據(jù)可知，本文模型在各項指標中大部分優(yōu)于其他模型，與比本文算法參數(shù)量少1/3 的CTN 算法相比較，本文算法在UC Merced 測試集中2 倍、3倍、4 倍超分辨率重建所得到的PSNR 值分別高0.75 dB，0.56 dB 和0.28 dB，SSIM 分別高0.007 2，0.013 和0.011 3。與HSENet 算法相比，本文算法的PSNR 值和SSIM 有高有低，但總體來說本文算法更加有效，且所需要的參數(shù)只有HSENet 算法的1/10。本文所提算法相較于其他更輕量的算法，在評價指標上均取得了更好的效果，并且在參數(shù)量和計算量上都做到了輕量級的水平。

表1 各算法在UC Merced 測試集下的性能對比Tab.1 Performance comparison of various algorithms in UC Merced test dataset

主觀視覺效果方面。在UC Merced 測試集的不同尺度重建結果如圖5 和圖6 所示。圖5 表示的是各個算法對3 倍遙感圖像重建的結果，以圖像Airplane91 為例，Bicubic，SRCNN，LGCNet等算法恢復的飛機機翼存在明顯的邊緣模糊和偽像，雖然DCM，HSENet 和CNT 算法可以消除部分模糊和偽像，但仍然存在重建的圖像質(zhì)量不高的問題，相比之下本文算法恢復的圖像邊緣更加精準清晰，與HR 圖像更為接近。圖6表示的是各個算法在4 倍超分辨率重建的結果，以圖像Runway50 為例，其中Bicubic，SRCNN，LGCNet 這三種算法重建的效果較差，跑道的路線模糊不清，存在明顯的偽影，DCM，HSENet和CNT 算法重建的質(zhì)量有所提升，但是仍然存在邊緣扭曲的現(xiàn)象。本文算法ReRFN 相比其他算法能重建出更高質(zhì)量的圖像，對邊緣和輪廓的恢復也是更加清晰可見，并在一定程度上抑制了虛假信息的產(chǎn)生。實驗結果表明，本文提出的ReRFN 算法在主觀視覺上也能取得更好的重建結果。

圖5 Airplane91 在3 倍超分辨率重建的結果Fig.5 Reconstruction results of Airplane91 at ×3 SR

圖6 Runway50 在4 倍超分辨率重建的結果Fig.6 Reconstruction results of Runway at ×4 SR

此外，為了對比各個算法在不同遙感場景下所取得的重建效果，表2 提供了在3 倍超分辨率下21 類遙感場景的PSNR 值。從表中的結果可以看出，本文算法在6 個遙感場景下取得了最好的PSNR 結果，在8 個遙感場景下取得了第二好的PSNR 結果，綜合比較下來，本文算法所取得的重建結果最好。相較于其他算法，本文算法在一些包含有相同特征的場景中能夠取得更好的重建結果，比如棒球場、森林、河流等地區(qū)。特別地，通過對比不同類別的遙感場景可以發(fā)現(xiàn)，圖像中存在的高頻信息越多，超分辨率重建后得到的PSNR 值越低，比如叢林、海港和停車場等地區(qū)；若存在的高頻信息越少，超分辨率重建后的PSNR 值越高，比如海灘、高爾夫球場和棒球場等地區(qū)。

表2 各算法在3 倍超分辨率重建下21 類遙感場景的PSNR 值Tab.2 PSNR values of 21 types of remote sensing scenes for each algorithm under ×3 SR

為了驗證算法的綜合性能，本文算法分別在模型的參數(shù)量、計算量與推理時間等性能指標與其他優(yōu)秀算法進行了對比，如表3 所示。從表3 可以看到，在遙感圖像3 倍超分辨率數(shù)下，本文算法在運行時間、參數(shù)量、計算量與性能上取得了更好的平衡，并且本文算法以較低的參數(shù)量與計算量得到了最大的峰值信噪比，且運行速度相對較快，這對于將該模型應用到現(xiàn)實生活中來說十分重要。

表3 各算法在3 倍超分辨率重建下的模型性能對比Tab.3 Comparison of model performance of various algorithms under ×3 SR

4.3 本文算法的消融實驗

為了驗證所提出模塊的有效性，本文設計了多個消融實驗，并分別統(tǒng)計了不同實驗在UC Merced 驗證集上4 倍超分辨率重建的結果，其中驗證集是從測試集中隨機抽取的105 張圖像。通過消融實驗分別進行以下驗證：（1） ESA 與EGCB 模塊對模型性能的影響；（2） EGCB 模塊的通道壓縮倍數(shù)r對模型性能的影響；（3）重參數(shù)化結構分支對模型性能的影響；（4） ReFB 模塊的數(shù)量對模型性能的影響；（5）堆疊的Reblock+GELU 層數(shù)對模型性能的影響；（6）采用多層特征融合模塊對模型性能的影響。

4.3.1 ESA 與EGCB 模塊對模型性能影響

本文設計了5 種方法來評估ESA 與EGCB模塊對模型性能的影響：（1） 方法1：在深層特征提取模塊中不使用ESA 與EGCB 模塊；（2）方法2：在深層特征提取模塊中只使用ESA 模塊；（3） 方法3：在深層特征提取模塊中只使用EGCB 模塊；（4） 方法4：在深層特征提取模塊中同時使用ESA 與EGCB 模塊，但模塊使用的順序為EGCB 模塊在ESA 模塊之前；（5） 方法5：在深層特征提取模塊中同時使用ESA 與EGCB模塊，使用順序為ESA 模塊在EGCB 模塊之前。結果如表4 所示，從表中可以看出ESA 和EGCB 模塊在不同程度上提高了超分辨率重建的效果，且同時使用ESA 與EGCB 模塊所得到的重建結果更好，說明了這兩個模塊能夠有效地獲取圖像的空間特征和全局上下文特征。并且在同時使用兩個模塊時，模塊的前后順序也會對結果造成一定影響，其中，ESA 模塊的順序在EGCB 之前時取得的效果最好，說明了ESA提取的空間特征中也存在全局上下文信息，將EGCB 放在模塊最后可以進一步提升模型對超分辨率重建的性能。特別是，方法5 相比方法1，雖然參數(shù)量上增加了60 K，但是PSNR 和SSIM 分別提高了0.13 dB 和0.004 7，重建效果的改善十分明顯。

表4 ESA 與EGCB 模塊對模型性能的影響Tab.4 Influence of ESA and EGCB on model performance

4.3.2 EGCB 模塊的通道壓縮倍數(shù)r對模型性能影響

本文設計了4 組對比實驗，分別設r=1，2，3和4，其中r表示通道維度的壓縮倍數(shù)。結果如表5 所示，從表中可以看出當r=1 時，即不對EGCB模塊的通道數(shù)進行壓縮，網(wǎng)絡模型的整體性能表現(xiàn)最差，且參數(shù)量和計算量非常高。當壓縮倍數(shù)r=2 時，模型的性能取得了最好的表現(xiàn)。隨著壓縮倍數(shù)r 的增加，模型的性能逐漸降低，但相比于r=1，網(wǎng)絡的性能仍然要好很多。說明了合適的通道壓縮倍數(shù)不僅可以減少模型參數(shù)量，還可以過濾掉一些無效的信息，提升EGCB 對全局上下文特征的提取能力。為了在性能和模型大小之間進行權衡，所以本文選擇將通道壓縮倍數(shù)設置為r=2。

表5 EGCB 模塊的通道壓縮倍數(shù)r 對模型性能的影響Tab.5 Impact of channel compression Rate （r） of EGCB module on model performance

4.3.3 重參數(shù)化結構分支模塊對模型性能影響

本文設計了4 種方法來評估重參數(shù)化結構分支模塊的有效性：（1） 采用正常3×3 卷積作為基本模塊進行訓練；（2）在基本模塊中將擴張卷積和壓縮卷積作為Reblock 的第二分支；（3） 在基本模塊中將殘差連接作為Reblock 的第二分支；（4） 在基本模塊中將擴張卷積和壓縮卷積作為Reblock 的第二分支，將殘差連接作為第三分支，即本文方法。實驗結果如表6 所示，從表中結果可以看出，使用這兩個分支中的任何一個都可以提高3×3 卷積的性能，并且當兩個分支同時使用時可以互補，進一步提高模型的性能。相比于正常的3×3 卷積，Reblock 的PSNR 和SSIM 提高了0.1 dB 和0.003 7，特別地，Reblock 在推理階段可以合并為一個3×3 卷積，做到了不花費任何的推理成本便可以提高模型的性能。

表6 重參數(shù)化結構分支模塊的性能分析Tab.6 Performance analysis of the re-parameterized structural branch module

4.3.4 ReFB 模塊的數(shù)量對模型性能影響

本文設計了5 組對比實驗來評估ReFB 模塊的數(shù)量對模型性能的影響，分別設N=4，5，6，7和8，其中N表示ReFB 模塊的數(shù)量。結果如表7所示，從表中可以看出，當ReFB 的數(shù)量超過6時，超分辨率重建的效果達到飽和，且當數(shù)量設置為8 的效果比設置為6 和7 效果更差，可能是在增加模塊或層數(shù)的過程中會引入特征冗余，意味著一些模塊可能在信息內(nèi)容上存在重疊，從而降低了模型的有效性。為了在性能和模型大小之間進行權衡，本文將ReFB 模塊的數(shù)量設置為6。

表7 ReFB 模塊的數(shù)量對模型性能的影響Tab.7 Impact of the number of ReFB modules on model performance

4.3.5 堆疊的Reblock+GELU 層數(shù)對模型性能影響

本文設計了5 組對比實驗來驗證ReRLFB模塊中堆疊的Reblock+GELU 層數(shù)對模型性能的影響，實驗中分別將堆疊的Reblock+GELU層數(shù)設置為N=1，2，3，4，5，其中N表示堆疊層的數(shù)量。實驗結果如表8 所示，從表中可以看出，隨著堆疊層數(shù)的增加，ReRLFB 模塊的性能逐漸提升，當堆疊層數(shù)N=4 時達到最好效果，但是隨著層數(shù)的繼續(xù)加深，模型性能并沒有持續(xù)提升?？紤]到模型的輕量化，本文選擇采用3 個堆疊的Reblock+GELU 層進行局部特征提取，以較少的參數(shù)量和計算量獲取較為不錯的超分辨率重建效果。

表8 堆疊的Reblock+GELU 層數(shù)的對模型性能的影響Tab.8 Impact of the number of stacked Reblock+GELU layers on model performance

4.3.6 多層特征融合模塊對模型性能影響

本文設計了兩種方法來評估提出的多層特征融合模塊對模型性能的影響：（1）方法1：去除模型中的多層特征融合模塊；（2）方法2：保留模型中多層特征融合模塊。結果如表9 所示，從表中可以看出多層特征融合模塊對模型性能的提升是非常有效的。在4 倍超分辨率中PSNR 和SSIM 分別提升了0.04 dB 和0.001 8。

表9 多層特征融合模塊對模型性能的影響Tab.9 Impact of the Multi-layer feature fusion module on model Performance

4.4 自然圖像超分辨率重建實驗

本文選擇廣泛使用的自然圖像超分辨率數(shù)據(jù)集DIV2K 作為該任務的訓練數(shù)據(jù)集，此數(shù)據(jù)集包含有1 000 張2 K 分辨率的RGB 圖像，其中本文使用800 張HR 圖像作為實驗的訓練集，對應不同尺度的LR 圖像同樣是使用雙三次插值運算的方法進行下采樣得到。為了測試模型性能，本文選擇使用5 個常見的超分辨率基準測試集，分別為Set5，Set14，B100，Urban100 以及Manga109。對于2 倍、3 倍和4 倍超分辨率重建，隨機剪裁大小為128×128，192×192，256×256 的HR 塊，最小訓練批次設置為64，總共迭代107次。將生成的超分辨率圖像變換到YCbCr 空間，在Y 通道上計算PSNR 與SSIM 的值。

為了驗證本文算法對自然圖像超分辨率重建效果，將本文算法與其他先進的超分辨率算法進行比較，如：Bicubic 插值［8］、SRCNN［12］，F(xiàn)SRCNN［34］，CARN［37］，IMDN［38］，RFDN［39］，RLFN［30］和DARN［40］等算法。在表10 中，本文提供了在1 280×720 的HR 圖像下各種算法在不同尺度的參數(shù)量與計算量（M-Adds），通過表中數(shù)據(jù)可知，本文算法ReRFN 在5 個基準測試集中測試的結果大部分效果更好。其中與本文算法參數(shù)量和計算量相近的RLFN 算法相比，本文算法ReRFN 在2 倍超分辨率重建下取得的PSNR 與SSIM 平均提升了0.01 dB 和0.000 1，在3 倍超分辨率重建下取得的PSNR 和SSIM 平均提升了0.1 dB 和0.001，在4 倍超分辨率重建下取得的PSNR 和SSIM 平均提升了0.05 dB 和0.001。本文還通過對比各個算法的模型大小，發(fā)現(xiàn)本文算法ReRFN 所需參數(shù)量和計算量較少，充分證明了本文算法在模型大小和圖像重建性能之間達到了較好的平衡。

表10 各算法在基準數(shù)據(jù)集上2、3 和4 倍超分辨率重建下的性能對比Tab.10 Performance comparison of various algorithms on benchmark dataset for ×2，×3， and ×4 SR

主觀視覺方面。為了更好的對比不同算法對于自然圖像重建的結果，本文選擇了具有挑戰(zhàn)性的Ubran100 數(shù)據(jù)集，并在4 超分辨率重建下對Img062 和Img092 進行可視化，結果如圖7~圖8所示。從圖中可以觀察到所有算法都存在一定的邊緣模糊和偽像，并產(chǎn)生了一定的虛假信息，但相比之下，本文提出的ReRFN 算法所恢復的邊緣信息更偏向于真實高分辨率圖像，特別是對于虛假信息的出現(xiàn)明顯減少，例如圖像建筑物中的玻璃邊緣與縫隙邊緣，其他算法恢復的邊緣更加扭曲，圖像的細節(jié)模糊不清。實驗結果表明本文提出的ReRFN 算法在自然圖像超分辨率上同樣可以取得較為良好的效果。

圖7 Urban100 中Img062 在4 倍超分辨重建的結果Fig.7 Results of ×4 super-resolution reconstruction for Img062 in Urban100

4.5 自然圖像去噪實驗

本文選擇廣泛使用的自然圖像去噪數(shù)據(jù)集SIDD 作為該任務的訓練數(shù)據(jù)集，該數(shù)據(jù)集是通過5 部智能手機的相機拍攝的，總共擁有360 個去噪圖像對，其中每一張高清圖像都有對應的噪聲圖像。與其他自然圖像去噪任務設置一樣，本文選擇320 對去噪圖像作為實驗的訓練集，40 對去噪圖像作為測試集。在訓練時，本文將圖像裁剪為512×512 pixel 大小，最小訓練批次設置為4，總共訓練40 個周期，然后在測試集上評估圖像去噪的性能。

為了驗證本文算法對自然圖像去噪的性能，將本文算法ReRFN 在SIDD 測試集上的實驗結果與其他優(yōu)秀的去噪算法進行比較，結果如表11所示。從實驗結果可以看出本文算法的各項指標均優(yōu)于其他算法，去噪后的圖像PSNR 和SSIM 分別達到了39.13 dB 和0.954，高于其他算法，且本文算法的參數(shù)量只有0.53 M，滿足輕量級網(wǎng)絡的要求，證明了本文算法對自然圖像去噪的有效性。

表11 各種算法在SIDD 測試集上的性能對比Tab.11 Performance comparison of various algorithms on the SIDD test set

為了進一步突出各個算法圖像去噪的效果，將本文算法與CBDNet，RIDNet 和CTN 算法進行可視化比較，從測試集中抽取了兩張圖片，其可視化結果如圖9 所示（彩圖見期刊電子版），為了對比更加明顯，本文對紅色方框中的圖像作了局部放大處理。從圖中可以看出，CBDNet 算法恢復的圖像仍然存在明顯的噪聲，圖像細節(jié)非常模糊，雖然RIDNet 和CTN 算法的去噪能力有所提升，但是其恢復的圖像依舊存在明顯的噪聲，例如圖像（a）中的背景存在模糊斑點，線條較難辨清，圖像（b）中的按鍵符號不夠真實。本文提出的ReRFN 算法對圖像有一定的效果，對邊緣信息的恢復更偏向于真實圖像，減少了模糊斑點的干擾，進一步驗證了本文算法的有效性。

圖9 各算法在抽取的SIDD 數(shù)據(jù)集部分樣本的可視化結果Fig.9 Visualization results of selected samples from the SIDD dataset by various algorithms

5 結 論

本文提出了一種新的用于輕量級遙感圖像超分辨率的重參數(shù)化殘差特征網(wǎng)絡。首先，采用重參數(shù)化殘差局部特征模塊提取圖像中的局部特征；其次，引入增強型全局上下文模塊來學習圖像的相似特征；然后，將這兩個模塊結合組成重參數(shù)化特征模塊，充分利用圖像的特征信息；最后，引入多層特征融合模塊聚合所有的深度特征，以產(chǎn)生更全面的特征表示，從而提升模型性能。在UC Merced 數(shù)據(jù)集上的實驗結果表明，本文算法所重建遙感圖像的PSNR 和SSIM 性能指標均優(yōu)于其他算法，特別是在3 倍超分辨率重建結果中，相比于次優(yōu)算法HSENet，PSNR 和SSIM 分別提升了0.01 dB 和0.002 9，且參數(shù)量上只有其10%。為了證明本文算法的泛化性，本文在自然圖像超分辨率和自然圖像去噪方面做了相關實驗，實驗結果表明本文算法在這兩個任務中均有良好表現(xiàn)，進一步證明了本文算法的有效性。