翟森，任超，熊淑華，占文樞

（四川大學電子信息學院，成都 610065）

0 引言

近年來，基于深度學習的超分辨率技術得到了迅速發(fā)展。2014年，Dong等人[1]第一次將卷積神經網絡引入超分辨率重建任務中，這是基于深度學習的超分辨率重建算法的開山之作。此類算法將高低分辨率圖像作為訓練對象，采用卷積神經網絡來搭建模型，并以此模型來學習高低分辨率之間的非線性映射關系。相比于傳統(tǒng)算法，基于深度學習的算法無論在重建時間還是重建結果上均顯示出其優(yōu)勢。隨著深度學習超分辨率重建技術的發(fā)展，由于SRCNN模型層數(shù)僅有3層，其重建效果仍存在很大的提升空間。為了解決網絡層數(shù)加深而可能出現(xiàn)的梯度消失問題，Kim等人[2]引入殘差學習思想，在此基礎上將網絡拓展至20層深度網絡，相比于Dong的三層模型，該算法大幅度改善了重建性能，保證了重建圖像的邊緣細節(jié)的清晰。受文獻[3]的啟發(fā)，Lim等人[4]設計了局部殘差模塊，并通過堆疊局部殘差模塊來搭建深層超分辨率重建網絡，該網絡有效地學習了高低分辨率圖像之間的映射關系，取得了不錯的重建性能。

局部卷積神經網絡是指在卷積過程中僅利用簡單的局部區(qū)域信息的卷積神經網絡，目前絕大多數(shù)超分辨率網絡模型屬于此類，比較典型的有SRCNN[1]、VDSR[2]、EDSR[4]和RDN[5]。盡管局部卷積神經網絡的性能較為穩(wěn)定，可以依靠深層網絡來學習更為復雜的映射關系，但高性能、深層次的網絡需要更強的硬件平臺以及大型的訓練數(shù)據(jù)集，才能訓練出較好的網絡模型，成本較高。Wang等人[6]指出卷積運算和循環(huán)運算均屬于局部操作，并強調只有不斷重復局部運算才能覆蓋更廣的區(qū)域。相比于傳統(tǒng)的基于重建的算法，通過訓練網絡模型來學習映射關系的局部網絡的缺點是并未細致考慮圖像/特征結構上的先驗信息，因此無法充分地利用特征的有效信息。

為彌補局部網絡僅考慮局部感受野區(qū)域而未挖掘待重建圖像結構信息的不足，在前述局部網絡的基礎上，本文引入一種非局部相似性模塊[7]來利用圖像中的非局部相似性，搜索相似性信息，從而增強圖像特征。實驗結果證明了本文所提出的基于局部與非局部信息的超分辨率重建網絡的有效性。

1 圖像局部與非局部特性

1. 1 基于局部卷積神經網絡的超分辨率重建

在卷積神經網絡中，對于卷積層的每一神經元而言，其運算過程是，首先利用當前神經元學習的卷積核，對輸入特征（單層或多層）進行卷積，得到卷積后的特征，然后將這些特征相加，最后加上對應的偏置作為當前神經元的輸出特征。其過程可以用公式表示為：

其中表示輸入特征的第i張?zhí)卣鲌D，F(xiàn)Out表示當前神經元的輸出特征，wi表示當前神經元的第i個卷積核，B表示當前神經元的偏置。

以單層卷積層為例，在卷積神經網絡的卷積過程中，卷積結果是卷積核局部區(qū)域的所有點與輸入特征該區(qū)域的所有點的線性加權。圖1為卷積神經網絡一次卷積覆蓋區(qū)域示意圖，對于3×3的卷積核覆蓋的區(qū)域，其中心紅色區(qū)域的值是3×3區(qū)域內所有值的加權。

圖1 卷積神經網絡一次卷積覆蓋區(qū)域示意圖

從卷積神經網絡整體結構分析，中心點的值與當前層的感受野區(qū)域密切相關。感受野是指卷積神經網絡中某一神經元特征中一個像素點所能感受到的輸入圖像的區(qū)域大小[8]。通過增加網絡層數(shù)，能夠擴大當前神經元節(jié)點的感受區(qū)域?？紤]最簡單的情況，將一張5×5的圖像進行大小為1的補零填充（pad），變成7×7的圖像，卷積核尺寸（Ksize）為 3×3，卷積步長（stride）為1，然后搭建3層網絡。圖2是該卷積網絡的感受野示意圖?？梢钥闯?，第二層中卷積核的一個像素點所感受到的區(qū)域對應于原輸入圖像的3×3區(qū)域，第三層為5×5，第三層的輸出像素點對應原輸入圖像的7×7區(qū)域。相比于之前的單層卷積層，堆疊卷積層可以增大感受野覆蓋區(qū)域?？紤]不同層數(shù)和步長等特殊情況，感受野的計算方法為：

其中Di-1為上一層的感受野，Di為當前層的感受野。

圖2 3層卷積網絡感受野示意圖

1. 2 傳統(tǒng)的非局部相似性

非局部相似性是自然圖像的先驗屬性，它描述了圖像塊之間的相似程度。在一些傳統(tǒng)的圖像處理算法中，非局部相似性常常用作圖像先驗信息來約束圖像的重建過程?！吧谨獭眻D像中的非局部相似性如圖3所示。圖中左邊和右邊方框各為一組相似塊。

圖3 “山魈”圖像的非局部相似性示意圖

在自然圖像中，對于某個圖像塊而言，可以在非局部區(qū)域找到它的相似塊。但兩個相似圖像塊之間在像素級別上仍然存在差異。研究中通常采用均方誤差MSE來衡量兩個塊之間的相似性，并將其用作相似系數(shù)的求解過程中。假設當前塊為x，它鄰域內非局部相似塊組為{zi}，當前塊與相似性塊之間的相似系數(shù)為bi，則有：

其中h為一常數(shù)。在搜索相似塊及求解相似系數(shù)后，我們就可利用相似塊來重構當前塊，其表示過程如下：

其中為x更新后的圖像塊，為當前相似塊歸一化后的權重系數(shù)。

非局部相似性能夠充分挖掘圖像自身的結構信息，在基于重建的超分辨率重建算法[9-11]中，它常常被用來構造先驗約束項，此類算法重建后的圖像振鈴效應明顯減少，且邊緣往往更加清晰。

1. 3 非局部相似性模塊

非局部相似性模塊是指卷積神經網絡中利用非局部相似性來增強圖像特征的模塊。本文采用的非局部相似性模塊[7]的一次運算過程如圖4所示。

圖4 非局部相似性模塊一次運算示意圖

假設輸入非局部相似性模塊的特征維度為h×w×N，其運算過程為：首先以輸入特征的每個點作為塊中心點進行分塊（塊大小為f×f，取塊步長為1，邊緣不足部分補零），一共得到N×h×w個f×f的塊集S。然后再取出輸入特征的每一個點得到N×h×w個1×1個點集P。將塊集S重構成h×w個N×f×f大長方體（圖4中藍色不透明長方體），將點集P重構成h×w個N×1×1的小長方體（圖4中紅色小長方體）。圖4為非局部相似性模塊中一次運算過程的示意圖。下面為其詳細運算過程。

首先，在計算相似性的前期均采用1×1卷積層進行自適應特征加權。如圖4所示，藍色長方體s（sf×f×N∈Sh×w×f×f×N）通過名字為 Φ 的卷積層后得到維度為f×f×N的A，紅色長方體p（p1×1×N∈Ph×w×1×1×N）通過名字為Θ的卷積層得到1×1×N的C。然后，A經過維度重組和轉置得到維度N×f2的sinte，C經過維度重組形成1×N的pinte。上述過程表示為：

式中，Hreshape和H1×1分別表示維度重組和1×1卷積的操作，T表示轉置操作。

在非局部相似性模塊中，我們采用矩陣乘法的方式來求解相似程度。將維度為1×N的pinte與維度為N×f2的sinte相乘后，得到維度為1×f2的內積矩陣，矩陣元素即是小長方體p與f2個小長方體之間的非歸一化相似性權重。然后，使用Softmax激活函數(shù)對內積矩陣歸一化，得到歸一化后的相似權重矩陣。

獲取歸一化權重后，將其與圖4中的B相乘，即將s中的f2個小長方體加權，使用加權后的小長方體進行特征重構。采用殘差學習的思想，將最初輸入的小長方體直接加在重構的小長方體上。

如圖4所示，在非局部模塊中，每個小長方體均與以其為中心的大長方體進行運算，并利用得到的相似權重矩陣重構出相應的小長方體。在局部網絡中，由于對同一張?zhí)卣鲌D的所有區(qū)域均采用相同的卷積核，因而對于細節(jié)豐富程度不同的區(qū)域無法區(qū)別對待。與局部網絡不同，非局部模塊結合了非局部區(qū)域（相鄰特征之間）的結構信息，并且對每一小長方體的重構均有不同相似系數(shù)矩陣，因而很好地利用了特征的結構信息。

2 基于深度學習局部與非局部信息的超分辨率重建網絡

2. 1 網絡總體結構

在分析了局部網絡和非局部相似性模塊之后，本文提出基于深度學習局部與非局部信息的超分辨率重建網絡框架。如圖5所示，提出的網絡主要包括局部網絡和非局部網絡兩個模塊，下面將詳細描述網絡結構。

圖5 提出的基于局部與非局部信息的超分辨率重建網絡

2. 2 非局部網絡

如前所述，局部網絡并未考慮到圖像中的一些先驗信息。因此，利用如圖4所示的非局部相似性模塊（Non-Local Similarity Block，NLSB）來搜索相似性信息并用于特征重構中。在非局部網絡中，我們將該模塊與殘差學習結合起來，構成非局部殘差塊，圖6為非局部殘差模塊（Non-Local Residual Block，NLRes）示意圖。

圖6非局部殘差模塊示意圖

圖6 所示的過程用公式表示為：

其中，NLSB表示特征經過非局部相似性模塊的變換操作，Hconv+ReLU表示特征經過卷積層再經過ReLU激活，Hconv表示特征只經過卷積層。Finput和Foutput表示非局部殘差模塊的輸入和輸出。ReLU表達式如下：

ReLU函數(shù)可以將輸入特征中的負值變?yōu)?，它是一種非線性函數(shù)，常被用來增加卷積神經網絡的非線性能力。

2. 3 局部網絡

受文獻[3-4]的啟發(fā)，在局部網絡中我們以殘差模塊作為局部網絡的主要模塊。如圖5所示，局部網絡部分包括第一層的卷積層、中間的局部殘差模塊和特征重組層（卷積層）。搭建的局部殘差模塊如圖7所示，主要包括兩層卷積層和一層激勵層。

圖7 局部殘差模塊示意圖

由于采用了跳連接（Skip Connection，SC）的殘差學習可以有效地緩解因網絡層數(shù)增加所帶來的梯度消失問題，因而被廣泛應用于深度卷積神經網絡中[4,12]。圖7為本文所用到的局部殘差模塊示意圖。其運算過程為：

式中，Hconv表示沒有激活函數(shù)的卷積層，Hconv+ReLU表示卷積層+ReLU激活函數(shù)，yinput和youtput表示局部殘差模塊的輸入和輸出。

2. 4 上采樣層

在網絡的末端，我們采用文獻ESPCN[13]中的亞像素卷積層對局部網絡的輸出進行上采樣，以提升特征的分辨率，最終輸出重建高分辨率圖像，這與早期的超分辨率網絡[1-2]有所不同，它們采用雙三次插值的方法將低分辨率圖像放大到目標尺寸。在網絡末端設置亞像素卷積層可以有效地減少特征卷積所需的時間。

3 實驗結果與分析

為了驗證提出算法的有效性，對目前超分辨率重建研究中比較常用的兩個圖庫Set5[14]和B100[15]分別進行雙三次模擬下采，并采用不同的對比算法進行超分辨率重建。采用的對比算法包括：雙三次插值（Bicubic）、A+[18]、SRCNN[1]、FSRCNN[16]、VDSR[2]、LapSRN[17]。除傳統(tǒng)的雙三次插值算法和A+算法外，其余的均為深度學習類的算法。實驗中以雙三次插值進行2倍、3倍以及4倍模擬下采樣退化，以生成低分辨率圖像。實驗框架為TensorFlow 1.14.0，使用GTX1080Ti加速網絡訓練。為了更客觀地評價提出的算法及其他對比算法，我們采用和對比算法中相同的衡量方式，通過測量重建圖像的Y分量（YcbCr空間）PSNR和SSIM來衡量超分辨率重建的結果。網絡的損失函數(shù)采用L1范數(shù)：

其中，net表示提出的局部與非局部網絡，θ為網絡參數(shù)，和表示第i對高低分辨率子圖塊樣本對，n表示訓練樣本對的數(shù)目。

表1和表2分別給出了各算法在Set5圖庫和B100圖庫上的平均PSNR和SSIM。由于LapSRN論文代碼中未提供3倍的模型，因此表中只展示其2倍和4倍的重建結果。圖8是不同超分辨率算法在B100的“37073”圖像2倍重建的主觀視覺效果圖。圖9是不同超分辨率算法在B100的“78004”圖像上4倍重建的主觀視覺效果圖。

由表1可以看出，在Set5圖庫上，傳統(tǒng)的雙三次插值算法的PSNR和SSIM最低。對比傳統(tǒng)的A+和基于深度學習的算法可以看出，即使是最簡單的深度學習算法 SRCNN，其 PSNR也高于 A+。SRCNN和 FSRCNN雖能有效地改善插值算法的性能，但作為早期的深度學習超分辨率重建算法，其重建性能相比于后期的深度學習算法仍存在較大的提升空間。在2倍測試上，提出的算法相比于LapSRN能取得0.28dB的PSNR提升，在4倍時能有0.37dB的PSNR增益。在SSIM上，提出的算法在高倍數(shù)上比其他深度學習算法有明顯的提升。Set5圖庫中的圖像比較平滑，且細節(jié)簡單突出，受益于非局部相似性的使用，從不同倍數(shù)來看，在4倍時，本文算法的SSIM比LapSRN在2倍時提升更多，如在4倍時，SSIM有0.005的增益。

表1 Set5圖像庫上不同算法的超分辨率重建結果（PSNR 單位：dB）

表2 B100圖像庫上不同算法的超分辨率重建結果（PSNR 單位：dB）

在表2中，類似地，本文算法也有較為明顯的性能提升。B100圖庫包含100張不同類型的圖像，不同圖像的細節(jié)豐富程度各不相同，屬于極難超分辨率重建的一類圖像庫。本文算法相比VDSR在2倍重建時提升了0.15dB，3倍重建時PSNR提升了0.16dB。在4倍重建時相較于LapSRN提升了0.15dB。在B100圖庫上進行的2、3、4倍重建對比實驗中本文算法的SSIM也達到了最好效果。

不同超分辨率算法在B100的“37073”圖像上的2倍重建結果如圖8所示。

圖8

在主觀視覺方面，由圖8可以看出，雙三次插值和A+兩種傳統(tǒng)算法2倍重建出的“37073”圖像較為模糊，而基于深度學習的超分辨率重建算法則能夠恢復更多的邊緣細節(jié)。相比于SRCNN和FSRCNN，LapSRN重建的圖像更為清晰，且邊緣更加突出。相比于其他算法，本文算法重建圖中圈出的字體部分較為清晰，重建的圖像具有更豐富的信息。

從圖9可以看出，在4倍超分辨率重建時，雙三次插值出現(xiàn)了明顯的模糊，細節(jié)信息丟失較多。A+算法效果優(yōu)于雙三次插值，但在圈出來的重建細節(jié)部分，仍比基于深度學習的算法差。SRCNN算法優(yōu)于A+但細節(jié)仍比較模糊。FSRCNN和LapSRN的重建細節(jié)發(fā)生扭曲現(xiàn)象，VDSR重建圖像中建筑物輪廓較為突出，但不夠真實。本文算法相比于其他深度學習的算法，重建效果更好，且細節(jié)更為清晰。

圖9

不同超分辨率算法在B100的“78004”圖像上的4倍重建結果。

4 結語

本文主要針對超分辨率重建技術開展研究。在介紹了圖像的非局部相似性后，將其引入卷積神經網絡中，提出了基于深度學習局部與非局部信息的超分辨率重建網絡。在搭建的模型中，將局部網絡和非局部網絡結合起來進一步提升超分辨率重建性能。非局部網絡充分利用了待重建特征的非局部相似性信息，并以此信息重構出新的特征。這一特點使得本文提出的網絡能在訓練中考慮更多的圖像信息，進而學習更加準確的映射模型。與目前性能較好的超分辨率重建算法相比，本文提出的算法相比于LapSRN在Set5圖庫上能提升0.28dB到0.37dB；在視覺效果上，本文算法重建圖像細節(jié)更加豐富，因此本文算法在提升低分辨率圖像質量上有較好的效果。