葉 楊，蔡 瓊，杜曉標

（1.武漢工程大學(xué)郵電與信息工程學(xué)院計算機與信息工程學(xué)院，武漢 430073；2.武漢工程大學(xué)計算機科學(xué)與工程學(xué)院，武漢 430205；3.吉林大學(xué)珠海學(xué)院電子信息系，廣東珠海 519000）

（?通信作者電子郵箱yeyang0325@qq.com）

0 引言

由于視頻和圖像數(shù)據(jù)的快速增長，超分辨率（Super-Resolution，SR）獲得了很大的發(fā)展，并且近年來引起了越來越多的關(guān)注。在日常生活中，超分辨率技術(shù)可以應(yīng)用于許多領(lǐng)域，例如衛(wèi)星和醫(yī)學(xué)圖像處理［1］、面部圖像改善［2］等。在給定低分辨率（Low-Resolution，LR）圖像的情況下獲得高分辨率（High-Resolution，HR）圖像可能是一個不適定的問題，但是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）被引入該領(lǐng)域產(chǎn)生了巨大影響，使結(jié)果圖像更加細膩自然。本文主要研究處理單圖像超分辨率（Single Image Super-Resolution，SISR）任務(wù)。

考慮到CNN 在計算機視覺任務(wù)（如圖像分割）中的成功經(jīng)驗，Dong 等［3］提出了基于CNN 的超分辨率（Super-Resolution CNN，SRCNN）重建方法。因此，CNN 吸引了更多研究者來解決超分辨率任務(wù)［4-9］。這些改進方法盡管極大提高了性能，但是仍然存在一些問題：首先，先前的研究集中在引入更深的卷積神經(jīng)網(wǎng)絡(luò)以提高性能而忽略了計算開銷，大量的計算使該算法難以在實踐中應(yīng)用；其次，隨著網(wǎng)絡(luò)深度的增加，訓(xùn)練過程將變得更加不穩(wěn)定［7，9］，為解決這個問題需要使用更多的訓(xùn)練技巧來訓(xùn)練網(wǎng)絡(luò)以提高性能；最后，大多數(shù)以前使用的方法沒有充分利用訓(xùn)練數(shù)據(jù)來重建超分辨率圖像，且實驗結(jié)果表明有一些訓(xùn)練數(shù)據(jù)沒有在訓(xùn)練中得到充分利用。

為了解決上述問題，本文提出了一種基于邊緣增強的非局部通道注意力（Non-local Channel Attention，NCA）機制的新方法。首先，本文提出了非局部通道注意力網(wǎng)絡(luò)（NCA Network，NCAN），該網(wǎng)絡(luò)一共分為四部分，其中邊緣增強組（Edge Enhanced Group，EEG）為研究的創(chuàng)新點部分，通過捕獲遠程依賴關(guān)系使網(wǎng)絡(luò)學(xué)習(xí)自我注意。其次，邊緣增強組分為2 個分支：主分支和邊緣增強分支，其中邊緣增強分支包含2個模塊，充分利用圖像邊緣信息增強通道特征用于訓(xùn)練數(shù)據(jù)來重建超分辨率圖像。根據(jù)最近研究成果可知，本文首次提出了邊緣數(shù)據(jù)增強訓(xùn)練方法，用于設(shè)計單圖像超分辨率網(wǎng)絡(luò)，為深度學(xué)習(xí)提供了數(shù)據(jù)增強的新觀點，并為網(wǎng)絡(luò)設(shè)計提供了一定的引導(dǎo)。在本文中，使用所提出的方法進行設(shè)計實驗，并提出了一種輕巧高效的網(wǎng)絡(luò)。根據(jù)在基準數(shù)據(jù)集上的實驗結(jié)果表明，本文方法優(yōu)于大多數(shù)最新模型。

1 相關(guān)工作

1.1 單圖像超分辨率

單圖像超分辨率是低級計算機視覺任務(wù)。目前文獻中流行的方法是學(xué)習(xí)從低分辨率圖像到高分辨率圖像的映射功能以進行重構(gòu)。傳統(tǒng)的機器學(xué)習(xí)技術(shù)在超分辨率方面得到了廣泛的應(yīng)用，其中包括Yang等［10］提出的稀疏編碼、Chang等［11］提出的學(xué)習(xí)嵌入等。有一種強大的方法可以充分利用圖像無需額外數(shù)據(jù)的自相似性，如Freedman 等［12］進一步開發(fā)了一種局部化的搜索方法。Huang 等［13］擴展了該方法，通過使用檢測得到透視幾何的結(jié)果來使用斑塊算法進行搜索。

單圖像超分辨率（SISR）的最新進展就是充分利用了卷積神經(jīng)網(wǎng)絡(luò)的出色學(xué)習(xí)能力。Dong 等［3］首先提出用SRCNN 恢復(fù)高分辨率圖像，該方法將CNN 中的體系結(jié)構(gòu)細分為提取層、非線性映射層和重建層，與稀疏編碼中的這些步驟相對應(yīng)［10］。Kim 等［5］提出深度遞歸卷積網(wǎng)絡(luò)（Deeply-Recursive Convolutional Network，DRCN），通過首先將低分辨率圖像插值到所需大小來進一步執(zhí)行這些步驟，但計算量巨大而且還會丟失一些細節(jié)。Kim 等［5，14］采用深度殘差卷積神經(jīng)網(wǎng)絡(luò)以實現(xiàn)更好的性能，該技術(shù)使用雙三次插值將低分辨率圖像上采樣到所需大小，然后輸入網(wǎng)絡(luò)以輸出超分辨率圖像?；诮鹱炙直媛示W(wǎng)絡(luò)（Laplacian pyramid Super-Resolution Network，LapSRN）［6］、深度遞歸殘差網(wǎng)絡(luò)（Deep Recursive Residual Network，DRRN）［8］、增強深度超分辨率網(wǎng)絡(luò)（Enhanced Deep Super-Resolution network，EDSR）［7］和深度殘差通道注意力網(wǎng)絡(luò)（deep Residual Channel Attention Network，RCAN）［9］等更深入的基于CNN 的超分辨率模型已成為一種研究趨勢。

然而，通過增加網(wǎng)絡(luò)深度會帶來大量的計算，而且增加處理時間。為解決這個問題，Dong 等［4］采用較小的濾波器尺寸和更深的網(wǎng)絡(luò)，即快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Fast SRCNN，F(xiàn)SRCNN）刪除了SRCNN中的雙三次插值層，并將反卷積層嵌入FSRCNN 的尾部。為了減少參數(shù)，Tai 等［8］提出深度遞歸殘差網(wǎng)絡(luò)（DRRN），該方法使用殘差學(xué)習(xí)和遞歸相結(jié)合，但降低了運行速度。為了運用圖像多尺度特征，Li 等［15］提出了多尺度殘差超分辨率網(wǎng)絡(luò)（Multi-scale residual Super-Resolution Network，MSRN）模型使用多尺度殘差塊充分提取圖像特征。

盡管大多數(shù)研究是基于CNN 的超分辨率方法，并且都大力推動了該領(lǐng)域的發(fā)展，但是大多數(shù)研究模型卻盲目地增加網(wǎng)絡(luò)深度和參數(shù)。顯然，這種研究方向都會增加運行時間，并且不一定會提高準確性。

1.2 注意力模型

對于人類的感知，注意力通常是指人類的視覺系統(tǒng)專注于顯著區(qū)域［16］，并自適應(yīng)地處理視覺信息。當前，一些研究提出了嵌入注意力機制處理并增強CNN，例如圖像分割、圖像和視頻分類中的表示［17-18］。Wang 等［18］提出了用于視頻分類的非局部神經(jīng)網(wǎng)絡(luò)，該方法將非局部過程納入空間注意力的遠距離特征。Hu等［17］提出的SENet（Squeeze Excitation Network）模型捕獲通道方向的特征關(guān)系以獲得更好的圖像分類性能。Li 等［15］提出了一種用于語義分割的期望最大化（Expectation Maximization，EM）注意力網(wǎng)絡(luò)，借鑒了EM算法來迭代優(yōu)化參數(shù)，降低了非局部塊操作的復(fù)雜度。Fu 等［19］提出了一種雙注意力網(wǎng)絡(luò)（Dual Attention Network，DANet），它主要由位置注意力機制和通道注意力機制組成。該方法使用位置注意力機制來學(xué)習(xí)空間相互依賴性，而使用通道注意力機制對通道相互依賴性進行建模，通過捕獲豐富的上下文相關(guān)性，在很大程度上改善了分割結(jié)果。Zhang 等［9］提出了一種用于單圖像超分辨率的深度殘差通道注意力網(wǎng)絡(luò)（RCAN），該方法采用通道注意力（Channel Attention，CA）機制，通過使用特征通道之間的相互依賴性來自適應(yīng)地縮放通道特征信息。Zhang 等［20］介紹了單圖像超分辨率中的非局部結(jié)構(gòu)，提出了非局部注意力學(xué)習(xí)，通過保留低分辨率圖像特征來捕獲更多信息，從而適合超分辨率圖像的重建；所設(shè)計的兩個分支分別是trunk分支和mask 分支，其較好的網(wǎng)絡(luò)表示能力能獲得高質(zhì)量的圖像重建結(jié)果。Dai 等［21］提出了非局部增強殘差組（Non-Locally enhanced Residual Group，NLRG）來捕獲空間上下文信息，從而極大地提高了模型的性能。

1.3 本文方法

很多基于CNN 的SR 方法沒有充分利用LR 圖像的信息導(dǎo)致運算性能相當?shù)?，而關(guān)于CNN 的研究模型主要專注于設(shè)計更深或是更寬的網(wǎng)絡(luò)，學(xué)習(xí)更有判別力的高層特征，卻很少發(fā)掘?qū)娱g特征的內(nèi)在相關(guān)性。本文從另外一個角度出發(fā)，采用邊緣方法來獲取更多數(shù)據(jù)。在NCAN 模型中分為三個階段：第一階段獲取LR 圖像后通過一個卷積層獲取淺層特征。第二階段將第一階段的輸出作為輸入提取深層特征，本階段由兩個部分組成即區(qū)域級別的非局部模塊（Region-Level Non-Local modules，RL-NL）和邊緣增強組（EEG），其中RL-NL 位于NCAN 的開頭部分和結(jié)尾部分，主要作用是可以較好利用LR 特征中的相似信息和HR 特征中的自相似性。EEG 位于NCAN 的中間，主要作用是提取更好的圖像的邊緣信息。第三階段將提取到的深度特征通過一個卷積層進行圖像重建。本文方法的偽代碼如算法1所示。

2 非局部通道注意力網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)框架

本文提出非局部通道注意力網(wǎng)絡(luò)（NCAN）的架構(gòu)如圖1所示。該網(wǎng)絡(luò)主要可分為4 個部分：淺層特征提取器，邊緣增強組（EEG），上采樣層和重建層。將ISR和ILR作為NCAN 的輸出端和輸入端。按照文獻［8，21］應(yīng)用一個卷積層以從低分辨率輸入中捕獲淺層特征F0：

其中HSF表示卷積運算。然后，將淺層特征F0作為輸入，從而獲得深層特征。

其中HEEG表示基于EEG 的非局部增強特征提取模塊，該模塊由兩個RL-NL 模塊組成，用于捕獲遠程信息和G個殘差通道注意力組。因此，本文提出的EEG 可以達到一定深度，并且可以捕獲更多信息。然后將提取的深度特征FDF通過upsacale模塊進入下一層。

其中，H↑和F↑分別表示上采樣層和上采樣特征。在最近的研究中，有幾種選擇可以作為上采樣部分來執(zhí)行，例如轉(zhuǎn)置卷積［4］。本文方法在最后幾層中嵌入了上采樣功能，以此在性能和計算負擔(dān)之間取得良好的平衡。然后，上采樣特征通過一個卷積層。

其中，HR、H↑和HNCAN分別是重構(gòu)層、上采樣層和NCAN 的功能，然后將使用損失函數(shù)優(yōu)化NCAN。

為了驗證本文所提NCAN 的有效性，遵循先前的工作，采用了L1 損失函數(shù)。給定具有N個低分辨率圖像和高分辨率圖像的訓(xùn)練集，這些圖像由｛IHR，IHR｝N表示，NCAN的目的是優(yōu)化損失函數(shù)：

其中，θ代表NCAN 的參數(shù)集，本文選擇亞當算法來優(yōu)化損失函數(shù)。

圖1 本文的非局部通道注意力網(wǎng)絡(luò)的架構(gòu)Fig.1 Framework of proposed NCAN

2.2 邊緣增強組（EEG）

邊緣增強組（EEG）（見圖1）可以分為主分支和邊緣增強分支。主分支由兩個區(qū)域級別的非局部模塊（RL-NL）［21］和G個二階非局部注意力組（Second-order Non-local Attention Group，SNAG）結(jié)構(gòu)組成。RL-NL 可以捕獲遠程信息。每個SNAG 進一步包含M個簡化的殘差通道塊，后跟一個非局部通道注意力（NCA）模塊，模塊之間運用特征的相互依賴性。邊緣增強分支由Padding 模塊和V個SNAG 組成，本文方法充分運用邊緣信息，并通過邊緣信息來增強對通道特征的關(guān)注。

文獻［7，15，21］中已經(jīng)證明堆疊殘差塊是形成深度網(wǎng)絡(luò)的有用方法，然而由于梯度消失和爆炸，更深的網(wǎng)絡(luò)將導(dǎo)致性能瓶頸和訓(xùn)練困難。先前的工作已經(jīng)證明，簡單地堆疊重復(fù)的塊可能無法達到更好的性能。為了解決這個問題，本文引入了二階非局部注意力組（SNAG），不僅可以避免獲取LR 圖像中大量的低頻信息，而且可以促進模型深層網(wǎng)絡(luò)的訓(xùn)練。在這里，第g組中的SNAG表示為：

其中：WSSC表示卷積層的權(quán)重；Hg是第g個組的函數(shù)；Fg、Fg-1表示第g個EEG的輸出和輸入。獲得深層特征：

2.3 非局部通道注意力

常規(guī)的基于CNN 的超分辨率模型會忽略特征的相互依賴性。為了充分利用這些信息，SENet［17］引入了CNN 來重新縮放圖像SR 的通道級特征。盡管如此，SENet 僅通過全局平均池來利用一階統(tǒng)計信息功能，而忽略了非局部統(tǒng)計信息相較局部統(tǒng)計信息更為豐富的信息，從而影響了網(wǎng)絡(luò)的判別能力。

受上述工作的啟發(fā)，本文提出了一種非局部通道注意力（NCA）模塊（見圖2），通過采用非局部特征的通道統(tǒng)計信息來捕獲通道特征的相互依賴性。給定輸入X，其形狀為（T，H，W，C），輸入X分別進入Θ、φ和g的卷積模塊里，再將這些卷積塊的輸出結(jié)果進一步矩陣變維，具體變維維度顯示在圖2中。將Θ和φ的變維結(jié)果進行矩陣相乘獲得（C，C）的矩陣，然后再使用Softmax 進行歸一化，之后再與g的變維結(jié)果進行進一步的矩陣相乘，獲得的結(jié)果再次變維后送入g卷積模塊當中，最后再與X進行殘差相加。

圖2 非局部通道注意力（NCA）模塊Fig.2 NCA module

3 實驗與結(jié)果分析

3.1 實驗設(shè)置

繼文獻［7，20］之后，本文實驗在DIV2K數(shù)據(jù)集［22］中訓(xùn)練了800 個訓(xùn)練圖像。為了驗證本文設(shè)計網(wǎng)絡(luò)的有效性，共選擇5個基準數(shù)據(jù)集：Set5、Set14、BSD100、Urban100和Manga109。對于降質(zhì)模型，采用Matlab 調(diào)整resize 函數(shù)并進行bicubic 運算。實驗指標使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）評估SR結(jié)果。

對于訓(xùn)練，通過水平翻轉(zhuǎn)和隨機旋轉(zhuǎn)90°、180°、270°來增強低分辨率圖像。對于每個最小批，輸入16個尺寸為48×48的低分辨率圖像小塊。實驗設(shè)置G為12、V為8，并且使用亞當算法以β1=0.9，β2=0.99 和ε=10-8優(yōu)化模型，并將學(xué)習(xí)率初始化為10-4，然后每200 個周期減少一半。實驗使用Pytorch框架在Nvidia 1080Ti GPU上訓(xùn)練NCAN方法。

3.2 消融實驗分析

如圖1 所示，本文NCAN 包含兩個主要組件：邊緣增強組（EEG）和非局部通道注意力（NCA）模塊。為了測試各個模塊的有效性，本實驗訓(xùn)練和測試了其變體形式的EEG 在Set5 數(shù)據(jù)集上進行比較。具體性能見表1。

表1 不同模塊的性能效果Tab.1 Performance effects of different modules

將RBASE 設(shè)置為基本基線，它僅包含卷積層，該卷積層包含20 個SNAG 和每個SNAG 中殘余的10 個塊。表1 中，Rc和Re 表示NCA 的實驗結(jié)果。具體而言，Rc 表示基于二階特征統(tǒng)計信息和非局部運算符的通道注意力，即非局部通道注意力（NCA）的結(jié)果。Re 表示將RL-NL 和NCA 組合的結(jié)果。實驗結(jié)果表明Re 的性能均優(yōu)于Ra 至Rc 的方法。相對于RBASE，把RL-NL 嵌入到Ra 和Rb 時，實驗結(jié)果可以發(fā)現(xiàn)RLNL顯著提高了模型的精度，主要原因在于RL-NL可以捕獲全局特征，彌補了卷積神經(jīng)網(wǎng)絡(luò)的局部限制。把NCA 嵌入到網(wǎng)絡(luò)時，NCA 進一步提高了模型的精度，這主要是因為NCA 可以捕獲非局部通道特征，其精煉的特征可以使模型進一步提高性能。上述消融實驗表明提出的RL-NL 和NCA 可以提高模型性能，進一步表明了所提出模塊的有效性。

3.3 雙三次降解的結(jié)果

本文使用基于CNN的雙三次降解（Bicubic）的最新SR方法進行了比較測試：SRCNN［3］、FSRCNN［4］、VDSR（Very Deep convolutional Super-Resolution networks）［14］、LapSRN［6］、MemNet（Memory Network）［24］、EDSR［7］、RDN（Residual Dense Network）［23］、SAN（Second-order Attention Network）［21］和RCAN［9］來驗證NCAN的有效性。不同方法所得的視覺結(jié)果如圖3所示。表2中顯示了每個比例因子的定量結(jié)果。與其他方法相比，本文提出的NCAN在所有具有不同比例因子的數(shù)據(jù)集上表現(xiàn)最佳。NCAN 和SAN 可以達到非常相似的結(jié)果，并且優(yōu)于其他方法。由于其他方法都使用二階注意力來學(xué)習(xí)特征之間的相互依賴性，這使得網(wǎng)絡(luò)更加關(guān)注信息特征。

圖3 Urban100數(shù)據(jù)集上4×SR與BI模型的可視化比較Fig.3 Visual comparison of 4×SR and BI models on Urban100 dataset

表2 不同方法的定量結(jié)果對比Tab.2 Quantitative result comparison of different models

與SAN 和RCAN 相比，NCAN 對于具有豐富紋理信息的數(shù)據(jù)集（如Set5、Set14 和BSD100）具有令人滿意的性能，而對于具有豐富的后處理邊緣信息的數(shù)據(jù)集（如Manga109 和Urban100）則具有較差的結(jié)果。眾所周知，紋理是具有更復(fù)雜統(tǒng)計屬性的高階模式，而邊緣是可以由一階運算符提取的一階模式。因此，基于二階模式提取器和非局部方法NCA 在更高階信息（如紋理）的圖像上獲得更好的結(jié)果。

如圖3 所示，在不同方法所得視覺結(jié)果中，實驗發(fā)現(xiàn)大多數(shù)以前模型無法準確恢復(fù)晶格，并且具有嚴重的模糊偽像。比較之后可知，NCAN 可獲得更清晰的結(jié)果并重建更多豐富的細節(jié)。在“img011”的情況下，大多數(shù)用于比較方法都會輸出嚴重的模糊偽像，SRCNN、FSRCNN 和LapSRN 的早期模型甚至失去了其主要結(jié)構(gòu)。

從實驗結(jié)果中可以看出，NCAN 獲得了更可靠的結(jié)果并且可以恢復(fù)更多的圖像細節(jié)。由于LR 的輸入信息有限而難以重建高分辨率圖像信息，所以本文提出的NCAN 可以通過非局部關(guān)注來充分利用有限的LR信息，同時運用兩個通道特性的空間特征與更強大的模式表示相關(guān)聯(lián)，從而獲得更細致的圖像結(jié)果。

3.4 模型尺寸分析

表3顯示了當前CNN的SR模型的模型大小和性能。

表3 Set5上計算和參數(shù)比較（2×）Tab.3 Computation and parameter comparison（2×）on Set5

在表3 的方法中，MemNet 和NLRG 包含的參數(shù)數(shù)（Para.）最少，從而降低了性能。NCAN 不僅相較RDN、RCAN 和SAN模型使用更少的參數(shù)，而且還具有更好的性能，從數(shù)據(jù)結(jié)果中可以得出NCAN可以在模型的復(fù)雜性和性能之間取得平衡。

4 結(jié)語

本文為SISR 提出了一個深層的非局部通道注意力網(wǎng)絡(luò)（NCAN）。具體而言，區(qū)域級別的非局部模塊（RL-NL）結(jié)構(gòu)允許NCAN 通過嵌入非局部操作來捕獲結(jié)構(gòu)信息和依賴關(guān)系；同時，SNAG 允許通過局部跳躍連接繞過LR 圖像中的大量低頻信息。NCAN 不僅利用空間特征相關(guān)性，而且還通過全局協(xié)方差池學(xué)習(xí)特征的相互依賴性，從而通過二階非局部通道注意力（SNCA）模塊獲得更多的判別表示。關(guān)于雙三次降解（Bicubic）的SR 的廣泛實驗結(jié)果表明了NCAN 在定量和視覺結(jié)果方面的有效性。由于實驗?zāi)Ｐ痛笥?5×106，在硬件資源有限的情況下使得實際運用變得困難。我們未來的工作在于通過非局部通道注意力機制設(shè)計更加輕量、效果更好的網(wǎng)絡(luò)。