端木春江 石亮

摘? 要： 近年深度卷積神經網絡在圖像超分辨率領域取得了巨大成功。然而多數基于深度卷積神經的超分辨率模型不能很好地利用來自低分辨率圖像的各級特征，從而導致相對較差的性能。本文采用全局特征融合的方法，對全局多層次特征進行聯合學習，充分利用各卷積通道特征，通過全局跳躍連接，使網絡更注重高頻信息的學習，并采用亞像素卷積實現上采樣重建，取得了更好的效果。

關鍵詞： 圖像超分辨率； 特征融合； 卷積神經網絡； 亞像素卷積

中圖分類號：TP391.41? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-120-04

Abstract： In recent years， deep convolutional neural networks have achieved great success in the field of image super resolution. However， most of the super resolution models based on deep convolutional network cannot make good use of features at all levels from low resolution images， which leads to relatively poor performance. In this paper， we use global feature fusion to jointly learn global multi-level features， make full use of each convolutional channel features， make the network more focused on learning high-frequency information by global skip connection， and use sub-pixel convolution to achieve up-sampling reconstruction. It achieves better results.

Key words： image super resolution; feature fusion; convolutional neural network; sub-pixel convolution

0 引言

如今數字圖像成為承載信息的一個重要形式，同時人們對圖像視覺清晰度的要求也越來越高。圖像分辨率是指圖像中單位長度所顯示的像素數目，在使用場景中，高分辨率（High-Resolution，HR）圖像以其豐富的紋理細節(jié)、清晰的邊緣結構極大地滿足了人們的視覺體驗，因此人們對高分辨率圖像的需求也日益提高。為應對高分辨率圖像的使用需求，圖像超分辨率（Super-Resolution，SR）重建技術顯得尤為重要，即用軟件或硬件的方法提高圖像的分辨率，通過當前的低分辨率圖像來獲得對應高分辨率圖像的過程。研究者可以從硬件及軟件兩個方面進行研究，但由于硬件設備容易老化，且成本相對較高而受到限制，于是研究者一般通過軟件算法的方法，來實現圖像超分辨率重建的過程。

1 相關工作

按算法原理，超分辨率SR方法基本分為三大類[1]：基于重構的方法、基于樣例的方法和基于深度學習的方法。2014年，Dong[2]等人率先將深度學習應用在超分辨率領域，提出了SRCNN網絡，證實基于卷積神經網絡的方法比傳統(tǒng)方法重建效果更好，且速度更快，之后許多學者提出了一系列超分網絡。Kim等提出的VDSR[3]，通過引入殘差連接，加深網絡，達到了更好的重建效果；同年DRCN[4]采用參數共享，減少了網絡訓練參數，但這些方法均使用了預處理，即在網絡輸入端使用雙三次插值法將圖像放大，而這會導致丟失一些細節(jié)信息，并且在高分辨率空間訓練會增加網絡復雜度。因此，Dong提出FSRCNN[5]，直接輸入低分辨率圖像，而在網絡末端采取了反卷積對圖像進行上采樣，這極大地減少了參數量；而Shi等提出了ESPCN[6]，同樣在網絡末端對圖像放大，具體是采用亞像素卷積（Sub-Pixel Convolution），將特征圖像每個通道重新排列，最終合成高分辨率圖像。實驗證明亞像素卷積效果比反卷積好，因此，如今大多數圖像超分辨率算法均在網絡末端使用亞像素卷積作為圖像上采樣。目前基于深度學習的SR算法是該領域的研究熱點。

2 特征融合與信息蒸餾網絡

2.1 所提出的網絡模型結構（FFDN）

本文所提出的網絡包含四個部分：淺層特征提取、深層特征提取、特征融合以及重建模塊。我們使用兩個卷積層提取淺層特征，深層特征提取部分則是采用多個信息蒸餾模塊（IDBlock）級聯，其中每個IDBlock內包含一個增強單元和一個壓縮單元，這可以有效地提取局部長路徑特征和局部短路徑特征。針對網絡不能很好地利用各卷積層特征，采用全局特征融合的方法，將每個IDBlock的輸出都與經淺層特征提取的LR進行融合，并通過全局跳躍連接使網絡更注重高頻信息的學習，網絡末端采用亞像素卷積來實現上采樣重建。

整個網絡模型如圖1所示，我們用ILR和IHR分別表示為網絡的輸入與輸出，兩個3*3的卷積層從原始低分辨率圖像LR中提取圖像淺層特征F0，此過程可以表示為：

其中，[HSF]表示淺層特征提取操作，它是由兩次3*3卷積以及激活函數（ReLU）組成，得到[F0]之后用作信息蒸餾模塊（IDBlock）的輸入，通過n個IDBlock模塊來提取深層特征FD：

其中，[HIDB，n]表示第n個信息蒸餾塊IDBlock的操作，它是由諸如卷積層以及激活函數等運算組合而成的復合函數，其具體結構將會在下一小節(jié)中給出。

在用一組IDBlocks提取分層深層特征后，進一步將每個IDBlock提取的特征圖進行深層特征融合，再使用全局殘差連接，充分利用每一層的特征，此過程分別表示為：

其中，[HDFF]表示深層特征融合操作，具體是將之前每一層的特征進行concate操作，再經過一次1*1卷積進行通道降維，然后再經過3*3卷積后得到深層融合特征[FDF]，之后與原始淺層特征F0相加得到[FGF]。

在低分辨率空間提取淺層和深層特征后，受文獻ESPCN[6]啟發(fā)，我們在重建模塊中使用亞像素卷積操作進行上采樣，此過程表示為：

整個網絡模型可表示為：

其中，[HFFDN]表示所提出的特征融合的信息蒸餾網絡模型。

2.2 信息蒸餾塊（IDBlock）

對于單個IDBlock，本文采用與文獻[7]中蒸餾模塊相同的結構，其內部可分為兩個單元：增強單元和壓縮單元，具體結構如圖2所示。

如圖2所示，增強單元大致分為兩個部分，均為由三個3*3的卷積層所構成，每個卷積層后都有一個激活函數（LReLU），圖中省略。第三個卷積層的輸出被分為兩部分，即通道切片操作，將其中的[1s]個通道與增強單元的輸入拼接在一起，并直接輸出到增強單元末端。上半部分剩余的[1-1s]個通道則輸入到第四個卷積層，并經過三次卷積后，與前面拼接部分的通道相加，其作為壓縮單元的輸入。這樣做的目的是將先前的信息與當前的信息相結合，充分利用局部長路徑以及短路徑上特征，再由1*1卷積壓縮通道，減小計算量。假設單個信息蒸餾塊的輸入、輸出分別是Fi、Fi+1，該過程可以表示為：

其中，[HIDB，i]表示第i個信息蒸餾塊（IDBlock）操作。

2.3 實驗細節(jié)

通過多次實驗，最終設定信息蒸餾塊（IDBlock）的數量n為6，通道設定為64，切片比例s設定為4，除特征融合模塊以及信息蒸餾塊中的壓縮單元使用1*1卷積外，其他所有的卷積核大小均設置為3。本文使用超分辨率領域常用的數據集，以及91圖像集和BSD200圖像集作為訓練數據。為了充分利用訓練數據，實驗采取了三種數據增強方法：①分別以90°、180°旋轉圖像；②水平翻轉圖像；③使用系數為0.9，0.8，0.7和0.6等比例縮放訓練圖像。實驗訓練選用Adam優(yōu)化器，初始學習率為0.0001，損失函數使均方誤差（MSE），它被廣泛用于圖像恢復的任務，其表達式如下：

其中，[Ii]表示真實圖像，[Ii]表示預測圖像，上式衡量了真實圖像與預測圖像之間的差異。

3 實驗結果與分析

本文選用了廣泛使用的基準數據集Set5和Set14作為測試集，分別與經典算法Bicubic、SRCNN、VDSR以及IDN進行對比，表1為在Set5數據集三倍放大下不同算法的峰值信噪比（PSNR）結果。

如表1所示，在Set5數據集三倍放大的情況下，本文所提出的算法FFDN在五張測試圖的PSNR值均要高于對比算法結果，圖3是各個算法的可視化重建結果對比。

表2是在Set14數據集三倍放大下，各算法的峰值信噪比（PSNR）結果。

可以看到，無論是Set5還是Set14數據集，本文提出的算法在峰值信噪比指標上均要高于先前的算法。在測試集Set5中，本文算法的平均PSNR比IDN高0.26dB，而在Set14數據集下，這一指標高了0.28dB。且從主觀視覺上看，其他算法并不能很好地恢復出圖像的細節(jié)，有模糊的現象。與之相比，本文算法能夠較好地恢復出更多的細節(jié)紋理，達到更好的視覺效果。無論是從客觀指標還是主觀視覺上比較，我們提出的算法均要優(yōu)于先前的網絡，從而也證實了本算法的有效性。

4 總結與展望

本文提出了基于特征融合與信息蒸餾的圖像超分辨率網絡模型（FFDN），模型采用全局特征融合的方法對全局多層次特征進行聯合學習，并結合信息蒸餾模塊，通過全局跳躍連接，允許大量低頻信息直接越過主干網絡，使網絡更注重高頻信息的學習。實驗表明，本文算法相比之前的模型算法，無論是主觀視覺還是客觀指標上都達到了更好的效果，具有更好的表征能力。受計算資源的限制，本文訓練集較小，在今后的工作中，可考慮選用更大的數據集，同時考慮結合注意力機制加深網絡結構，追求更高的性能。

參考文獻（References）：

[1] 蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動化學報，2013，39（8）：1202-1213

[2] Dong C， Loy C C， He K， et al. Learning a deep convolutional network for image super-resolution[A]. European Conference on Computer Vision[C]. Springer， Cham，2014：184-199

[3] J. Kim， J. K. Lee and K. M. Lee， "Accurate Image Super-Resolution Using Very Deep Convolutional Networks，" 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1646-1654

[4] J. Kim， J. K. Lee and K. M. Lee， "Deeply-Recursive Convolutional Network for Image Super-Resolution，" 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1637-1645

[5] C. Dong， C. C. Loy， and X. Tang， "Accelerating the super-resolution convolutional neural network，"Eur. Conf. Comput. Vis. Cham， Switzerland： Springer，2016：391-407

[6] W. Shi et al.， "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network，"2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2016：1874-1883

[7] Z. Hui， X. Wang and X. Gao， "Fast and Accurate Single Image Super-Resolution via Information Distillation Network，" 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018：723-731

*基金項目：浙江省自然科學基金項目（LY15F010007、Y1110510）

作者簡介：端木春江（1974-），男，江蘇南京人，博士，副教授，主要研究方向：圖像處理，視頻通信。

通訊作者：石亮（1998-），男，四川廣安人，碩士研究生，主要研究方向：圖像超分辨率。