陳新宇, 方金生*

（1.閩南師范大學(xué)計(jì)算機(jī)學(xué)院,福建 漳州 363000；2.閩南師范大學(xué)數(shù)據(jù)科學(xué)與智能應(yīng)用福建省高校重點(diǎn)實(shí)驗(yàn)室,福建 漳州 363000）

圖像超分辨率（super-resolution， SR）重建技術(shù)是將低分辨率（low-resolution， LR）圖像恢復(fù)為相應(yīng)的高分辨率（high-resolution， HR）圖像，因此SR重建是一個(gè)具有挑戰(zhàn)性的不適定問(wèn)題[1].近年來(lái)，隨著硬件技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）的發(fā)展，基于CNN 的SR 重建算法已成為最流行的策略，并出現(xiàn)諸多性能優(yōu)異的算法[2].

作為開創(chuàng)性的SR重建工作，SRCNN[3]僅用三個(gè)卷積層實(shí)現(xiàn)LR圖像到HR圖像的直接映射，其性能已經(jīng)遠(yuǎn)超過(guò)傳統(tǒng)的超分辨率圖像重建方法.隨后的研究表明，采用更深或更復(fù)雜的網(wǎng)絡(luò)可實(shí)現(xiàn)更好的性能[4-5]，但這些網(wǎng)絡(luò)的參數(shù)和計(jì)算量大，難以部署于移動(dòng)設(shè)備端.因此，設(shè)計(jì)輕量級(jí)的網(wǎng)絡(luò)模型是當(dāng)前的研究熱點(diǎn)之一.為優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和減少參數(shù)量，CARN （cascading residual network）[6]引入級(jí)聯(lián)殘差網(wǎng)絡(luò)的概念，通過(guò)級(jí)聯(lián)多個(gè)殘差塊以增加網(wǎng)絡(luò)的深度，更好地捕獲圖像細(xì)節(jié)和紋理.IMDN （information multi-distillation network）[7]通過(guò)信息蒸餾方法，有效地將不同尺度和級(jí)別的信息融合到一個(gè)輕量級(jí)的模型中，并獲得較高網(wǎng)絡(luò)性能.MCSN （multi-scale channel attention super-resolution network）[8]引入通道攪亂注意力模塊，有效地促進(jìn)通道之間信息的流動(dòng)，提高網(wǎng)絡(luò)在通道維度的特征選擇能力.這些模型有效地降低模型的復(fù)雜度，但仍未取得令人滿意的網(wǎng)絡(luò)性能.為此，提出一種輕量級(jí)的多注意力融合網(wǎng)絡(luò)模型（multi-attention fusion network，MAFN），有效地提高圖像超分辨率重建結(jié)果.主要貢獻(xiàn)如下

1）提出一種多注意力融合網(wǎng)絡(luò)MAFN（multi-attention fusion network），有效地平衡網(wǎng)絡(luò)性能和參數(shù)量與計(jì)算消耗的問(wèn)題；在5個(gè)公共數(shù)據(jù)上的測(cè)試結(jié)果表明MAFN的性能優(yōu)于其他的對(duì)比網(wǎng)絡(luò).

2）提出一種高效的多尺度卷積注意力模塊MCAB（muti-scale convolution and attention block），該模塊融合多尺度卷積模塊、非線性自由激活模塊（nonlinear activation free block， NFAB）、通道注意力（channel attention，CA）模塊和增強(qiáng)空間注意力（enhanced spatial attention，ESA）模塊，有效地提高網(wǎng)絡(luò)對(duì)特征的學(xué)習(xí)能力，增強(qiáng)網(wǎng)絡(luò)對(duì)高頻細(xì)節(jié)特征的關(guān)注，從而提高圖像SR的性能.

1 相關(guān)工作

1.1 輕量級(jí)圖像超分辨率重建

為節(jié)省計(jì)算資源，輕量級(jí)超分辨率網(wǎng)絡(luò)受到廣泛關(guān)注.Hui等[7]提出的IMDN 使用多重蒸餾模塊及對(duì)比感知通道注意力機(jī)制聚合各卷積層的蒸餾信息.Liu等[9]提出的RFDN在IMDN基礎(chǔ)上進(jìn)一步優(yōu)化通道蒸餾操作，有效地提高網(wǎng)絡(luò)性能，同時(shí)獲得AIM 2020年的圖像超分辨率比賽冠軍.Lan等[10]提出的MADNet （multi-scale attention dense network）使用密集的輕量級(jí)網(wǎng)絡(luò)來(lái)增強(qiáng)多尺度的特征表示和學(xué)習(xí).Li等[11]進(jìn)行卷積核可視化后，觀察到很多卷積核呈現(xiàn)相似的特征分布，因而提出藍(lán)圖卷積模塊減少特征的重復(fù)提取.Gendy等[12]提出BSPAN （balanced spatial feature distillation and pyramid attention network)，可權(quán)衡不同通道和注意力機(jī)制提取特征的沖突，利用平衡的空間特征蒸餾塊作主干，實(shí)現(xiàn)高性能的圖像超分辨率重建.Sun等[13]提出的ShuffleMixer允許模塊間的信息交流和特征混洗，以減少可學(xué)習(xí)特性的數(shù)量，能夠在資源受限的環(huán)境下適應(yīng)不同任務(wù)和數(shù)據(jù)集.Zhao 等[14]提出LIRDN （lightweight inverse separable residual information distillation network），該方法利用逆可分離復(fù)原淺殘差單元逐步提取蒸餾信息，增加蒸餾層間的通道信息流動(dòng)，在確保結(jié)構(gòu)輕量化的同時(shí)獲得更多樣化的通道特征信息.

1.2 注意力機(jī)制

注意力機(jī)制可認(rèn)為是一種模擬人眼視覺(jué)機(jī)制的方法，其通過(guò)圖像特征信息動(dòng)態(tài)調(diào)整權(quán)重系數(shù)，有效地幫助網(wǎng)絡(luò)選擇性地關(guān)注有用的信息，目前已經(jīng)廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)任務(wù)中.Woo 等[15]提出CBAM（convolutional block attention module），分別利用特征間的通道和空間關(guān)系來(lái)生成對(duì)應(yīng)的通道和空間注意力映射，提高網(wǎng)絡(luò)的特征表示能力.Liu等[9]提出一種增強(qiáng)的空間注意力模塊，利用局部的空間信息計(jì)算注意力權(quán)重，使局部的重要信息得到更多的關(guān)注.Gao 等[16]引入多路注意力模塊，用于提取不同維度的特征信息，以豐富特征的表征能力.為避免圖像超分辨率網(wǎng)絡(luò)不斷的加深和拓寬，F(xiàn)eng等[17]通過(guò)在網(wǎng)絡(luò)的首尾添加雙注意力機(jī)制來(lái)區(qū)分深度網(wǎng)絡(luò)中的后傳遞特征，獲得更好的高頻重建信息.Wang等[18]提出一種自適應(yīng)注意力，通過(guò)淺層部分的大核卷積注意力取得更多的原始信息，保證深層網(wǎng)絡(luò)的特征提取.因此，高效的注意力結(jié)構(gòu)對(duì)提高超分重建網(wǎng)絡(luò)的性能至關(guān)重要，致力于設(shè)計(jì)用于輕量級(jí)網(wǎng)絡(luò)的注意力模塊，以獲得更優(yōu)的重建結(jié)果.

2 方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

提出的MAFN 網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由淺層特征提取模塊（shallow feature extraction，SFE）、若干個(gè)多尺度卷積注意力模塊（MCAB）和圖像上采樣重建模塊（sub-pixel）三部分組成.與其他經(jīng)典SR網(wǎng)絡(luò)一樣，MAFN的SFE采用3×3卷積層從LR圖像中提取淺層特征I0，豐富輸入的特征信息；然后通過(guò)一系列堆疊的MCAB 對(duì)I0進(jìn)行深層特征提取，MCAB 利用支路殘差多尺度卷積模塊獲得不同視野的圖像特征，然后再通過(guò)NAFB、CA 和ESA 模塊關(guān)注通道和空間中重要的特征，并分別采用卷積核大小為1×1 和3×3 融合深層特征；最后由上采樣重建模塊重建SR結(jié)果.

圖1 MAFN的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network architecture of the MAFN

因此，對(duì)于輸入的LR圖像，經(jīng)過(guò)SFE提取得到的淺層特征I0，可表示為

式（1）中：C3×3表示3×3 卷積操作；淺層特征F0經(jīng)由k個(gè)MCAB 逐步提取特征，并將每個(gè)MCAB 的輸出特征進(jìn)行融合，再分別進(jìn)行1×1卷積和3×3卷積操作，最后與原淺層特征I0相加，上述過(guò)程可表示為

式（2）中：C1×1表示1×1卷積操作；Ik，F(xiàn)cat(·)分別為第k個(gè)MCAB的輸出特征和融合函數(shù).

在圖像重建部分，常見的重建方法主要有雙三次插值法、轉(zhuǎn)置卷積法及亞像素卷積法（sub-pixel）[2].采用亞像素卷積法，sub-pixel模塊通過(guò)一個(gè)3×3卷積和亞像素混洗層對(duì)輸出特征進(jìn)行上采樣操作，得到網(wǎng)絡(luò)最終輸出的SR圖像，該過(guò)程可表示為

式（3）中：Fup(·)表示sub-pixel函數(shù).

為優(yōu)化所提出的MAFN，采用LOSS函數(shù)，具體如下

2.2 多尺度卷積注意力模塊（MCAB）

由圖2 所示，MCAB 由一個(gè)支路殘差多尺度卷積模塊（BRMB）、一系列的非線性自由激活模塊（nonlinear activation free block，NAFB）及級(jí)聯(lián)式的通道注意力模塊（CA）和增強(qiáng)空間注意力模塊（ESA）組成.與Inception[19]不同，BRMB 簡(jiǎn)化Inception 模塊，即采用1×1 卷積、單3×3 卷積和雙3×3 卷積（兩個(gè)3×3 卷積等價(jià)于一個(gè)5×5卷積）三個(gè)不同的通道，實(shí)現(xiàn)在不同尺度的視野下對(duì)特征進(jìn)行提取，豐富圖像的特征信息；同時(shí)，單3×3 卷積和雙3×3 卷積通道分別增加殘差連接，以增強(qiáng)原始特征信息更好地向后傳遞，同時(shí)可防止梯度因網(wǎng)絡(luò)加深而消失的問(wèn)題.輸入特征經(jīng)過(guò)BRMB后得到的特征IBRMB可以表示為

圖2 非線性自由激活模塊和級(jí)聯(lián)式注意力模塊的結(jié)構(gòu)Fig.2 Structures of nonlinear activation free block and cascading attention block

式（5）中：Iin為BRMB輸入特征；C1×1和C3×3分別表示1×1和3×3卷積操作.

非線性自由激活模塊（NAFB）[20]如圖2第一行所示，由層歸一化層（layerNorm）、點(diǎn)卷積層和深度卷積層、SimpleGate模塊和簡(jiǎn)單通道注意力（simplified channel attention，SCA）構(gòu)成.SCA包含平均池化層、1×1卷積層和Sigmoid層組成，可通過(guò)簡(jiǎn)單的網(wǎng)絡(luò)層有效地引導(dǎo)網(wǎng)絡(luò)關(guān)注重要的特征信息；SimpleGate模塊是將輸入特征分成兩等分的通道并點(diǎn)乘，相比于采用卷積操作降通道數(shù)，SimpleGate 可大大減少計(jì)算成本.NAFB的運(yùn)算過(guò)程可以表示為

上式中：FLN(·)表示歸一化函數(shù)；FD3×3(·)表示3×3 深度可分離卷積函數(shù)；FSimple(·)，F(xiàn)SCA(·)分別為通道融合和簡(jiǎn)單通道注意力函數(shù).

如圖2 的第三行所示，由NAFB 獲得的特征經(jīng)過(guò)級(jí)聯(lián)式通道注意力（CA）和增強(qiáng)空間注意力(ESA)進(jìn)一步提取重要信息.CA 采用平均池化和最大池化提取圖像通道特征，然后結(jié)合ESA 模塊，ESA 更多關(guān)注局部空間信息，可以更好地提取高頻信息.因此，MCAB的輸出特征Iout表示為

式中：FCA(·)和FESA(·)分別表示CA和ESA函數(shù).

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)準(zhǔn)備

算法使用DIV2K[21]數(shù)據(jù)集作為訓(xùn)練集，該數(shù)據(jù)集包含800幅高質(zhì)量訓(xùn)練圖像和100幅驗(yàn)證圖像；使用5 個(gè)基準(zhǔn)數(shù)據(jù)集作為測(cè)試集，即Set5[22]、Set14[23]、BSD100[24]、Urban100[25]和Manga109[26].采用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）作為度量來(lái)評(píng)價(jià)各算法的重建結(jié)果.

3.2 實(shí)驗(yàn)細(xì)節(jié)

網(wǎng)絡(luò)的訓(xùn)練輸入是由LR 圖像隨機(jī)裁剪為大小48×48 的圖像塊，批數(shù)據(jù)量設(shè)置為8；使用Adam 優(yōu)化器，超參數(shù)為β1=0.9，β2=0.999；初始學(xué)習(xí)速率設(shè)置為5×10-4，每經(jīng)過(guò)400 個(gè)訓(xùn)練輪次學(xué)習(xí)率減少為原來(lái)的一半，總共1 000個(gè)訓(xùn)練輪次；通道數(shù)為50.

3.3 消融實(shí)驗(yàn)

1）MCAB 數(shù)量對(duì)網(wǎng)絡(luò)性能的影響.如表1 所示，隨著MCAB 數(shù)量地增加，網(wǎng)絡(luò)性能也隨之提升，當(dāng)數(shù)量從1 增加到5 時(shí)，PSNR 值顯著增加且參數(shù)量也隨之增長(zhǎng)；當(dāng)數(shù)量為6 時(shí)，PSNR 反而下降.由于MCAB數(shù)量為5 時(shí)，PSNR 值僅比數(shù)量為4 時(shí)增加0.03，而網(wǎng)絡(luò)參數(shù)量增加165 K.因此，為權(quán)衡網(wǎng)絡(luò)性能和參數(shù)量，采用4個(gè)MCAB的模型.

表1 在×4采樣率下MCAB的不同數(shù)量在Set14數(shù)據(jù)集中的網(wǎng)絡(luò)性能Tab.1 Network performance with different numbers of MCAB on Set14 ×4 dataset

2）BRMB對(duì)網(wǎng)絡(luò)性能的影響.為驗(yàn)證的BRMB對(duì)網(wǎng)絡(luò)的影響，本實(shí)驗(yàn)將BRMB與原始的Inception進(jìn)行比較，結(jié)果如表2 所示，BRMB 在Urban100 測(cè)試集上得到優(yōu)于原始Inception 模塊的SR 性能，同時(shí)參數(shù)量減少40 K.由此可見，提出的BRMB簡(jiǎn)化模塊結(jié)構(gòu)，可有效地減少參數(shù)數(shù)量，且提高網(wǎng)絡(luò)性能.

表2 在×2采樣率下不同的BRMB模塊數(shù)在Urban100數(shù)據(jù)集中的網(wǎng)絡(luò)性能Tab.2 Network performance with different numbers of BRMB on Urban100 ×2 dataset

3）NFAB 對(duì)網(wǎng)絡(luò)性能的影響.為更好地平衡MCAB 中各模塊數(shù)量和網(wǎng)絡(luò)性能，本實(shí)驗(yàn)驗(yàn)證MCAB 中NAFB數(shù)量對(duì)網(wǎng)絡(luò)性能的影響，如表3所示.當(dāng)采用2個(gè)NAFB時(shí)，PSNR值較沒(méi)有采用NAFB時(shí)增加0.18，可見NAFB 可明顯提升網(wǎng)絡(luò)性能，隨著NAFB 數(shù)量的進(jìn)一步增加，PSNR 值也近似于線性提高，當(dāng)NAFB數(shù)量大于4 時(shí)，增加量變緩，增量?jī)H為0.03 dB.因此，為更好地平衡網(wǎng)絡(luò)參數(shù)量和性能，本模型中的每個(gè)MCAB中采用4個(gè)NAFB模塊.

表3 在×3采樣率下NAFB的不同數(shù)量在Urban100數(shù)據(jù)集下的網(wǎng)絡(luò)性能Tab.3 Network performance with different numbers of NAFB on Urban 100 ×3 dataset

4）注意力機(jī)制對(duì)圖像超分辨率性能的影響.驗(yàn)證不同的注意力模塊對(duì)網(wǎng)絡(luò)性能的影響，結(jié)果如表4所示.以未添加任何注意力機(jī)制模塊為基礎(chǔ)網(wǎng)絡(luò)(Base)，然后在基礎(chǔ)網(wǎng)絡(luò)中分別采用1 個(gè)CA、1 個(gè)ESA、以及1 個(gè)級(jí)聯(lián)的CA 和ESA 進(jìn)行實(shí)驗(yàn).從表4 可知，采用級(jí)聯(lián)式的CA 和ESA，在B100 數(shù)據(jù)集中取得最優(yōu)的PSNR值.由此證明級(jí)聯(lián)式的CA和ESA可以有效地提升網(wǎng)絡(luò)性能.

表4 3倍采樣率下不同的注意力模塊在BSD100數(shù)據(jù)集中的網(wǎng)絡(luò)性能Tab.4 Network performance with different attention modules on BSD 100 ×3 dataset

3.4 與主流輕量型網(wǎng)絡(luò)的性能比較

為驗(yàn)證MAFN 的性能，在5 個(gè)數(shù)據(jù)集上將MAFN 與IMDN[7]、RFDN[9]、MADNet[10]、GLADSR[27]、SMSR[28]、ShuffleMixer[13]、SR-LAM[17]和AAFFEN[18]等主流輕量級(jí)SR 重建方法進(jìn)行比較，結(jié)果如表5 所示.在×2、×3和×4圖像下采樣的情況下，提出的MAFN在五個(gè)數(shù)據(jù)集下的指標(biāo)均優(yōu)于比較算法，其中，AAFFEN在Urban 100×2、Manga109×2 與BSD100×3 上的SSIM 值以及BSD100×3 與BSD100×4 的PSNR 值優(yōu)于MAFN，但其參數(shù)量比MAFN高約260 K.與參數(shù)量和計(jì)算量小于MAFN的模型，如ShuffleMixer、SR-LAM等相比，MAFN可獲得0.10～0.30 dB的提升.綜上所述，提出的MAFN更好地權(quán)衡網(wǎng)絡(luò)性能和網(wǎng)絡(luò)模型.

表5 在2、3、4倍采樣率下比較5個(gè)數(shù)據(jù)集上不同輕量級(jí)模型的定量指標(biāo)Tab.5 Quantitative comparison of different lightweight models on five datasets with ×2, ×3, ×4 scaling factors.

圖3 展示MAFN 與其他主流網(wǎng)絡(luò)在Urban100×4 數(shù)據(jù)集中的主觀視覺(jué)效果比較.從放大圖示可看出，由MAFN 網(wǎng)絡(luò)重建的SR 圖像中的線條和條紋邊緣更為清晰，較其他網(wǎng)絡(luò)更接近真實(shí)圖像，由此說(shuō)明MAFN 能夠更好地得到邊緣信息，以及較好地抑制偽影.尤其在image076 中，MAFN 可更為完整地重建邊緣信息，進(jìn)一步證明其在圖像超分辨率重建中的有效性.

圖3 不同算法對(duì)Urban100數(shù)據(jù)集中image067、image076、image093的4倍重建結(jié)果Fig.3 SR results of comparsion methods on image067, image076, image093 of Urban100 ×4 dataset

4 結(jié)語(yǔ)

提出一種用于圖像超分辨率重建的輕量型多注意力融合網(wǎng)絡(luò)模型（MAFN）.本模型使用多個(gè)多尺度卷積注意力模塊作為主干網(wǎng)絡(luò)進(jìn)行圖像特征提取，通過(guò)支路殘差多尺度卷積塊獲取不同的特征提取視野，利用非線性自由激活模塊、通道注意力和空間注意力機(jī)制使模型能夠更好地關(guān)注重要信息，提高模型的特征學(xué)習(xí)能力以獲得更優(yōu)的重建性能.實(shí)驗(yàn)結(jié)果表明，網(wǎng)絡(luò)更好地平衡網(wǎng)絡(luò)性能和模型規(guī)模，在5個(gè)測(cè)試數(shù)據(jù)集上，其綜合性能優(yōu)于其它的比較算法.