魯 甜，劉 蓉，劉 明，馮 楊

（1.華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院，武漢 430079；2.華中師范大學(xué)計(jì)算機(jī)學(xué)院，武漢 430079）

0 概述

圖像超分辨率（Super-Resolution，SR）重建由HARRIS 等人于20 世紀(jì)60 年代提出，其按照重建時(shí)輸入所需低分辨率（Low-Resolution，LR）圖像數(shù)量可分為單幅重建和多幅重建。單幅圖像超分辨率（Single Image Super-Resolution，SISR）重建問(wèn)題是一個(gè)不適定的逆問(wèn)題，旨在將LR 圖像通過(guò)一定的算法重建到視覺(jué)較好的高分辨率（High-Resolution，HR）圖像上。

隨著深度學(xué)習(xí)的快速發(fā)展以及高性能GPU 的出現(xiàn)，以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）為代表的學(xué)習(xí)方法［1-3］廣泛應(yīng)用于SR 圖像中，通過(guò)學(xué)習(xí)LR 到HR 的非線性映射構(gòu)造HR 圖像。文獻(xiàn)［1］將三層CNN 引入SR 圖像中，并構(gòu)建基于CNN的超分辨率重建（Super-Resolution using CNN，SRCNN）模型，該網(wǎng)絡(luò)模型的3 個(gè)卷積層分別表示特征提取、非線性映射和圖像重建，其可直接學(xué)習(xí)LR圖像與HR 圖像之間端到端的映射關(guān)系，取得相較傳統(tǒng)方法顯著的改進(jìn)效果。文獻(xiàn)［4］提出一種基于較深卷積網(wǎng)絡(luò)的精準(zhǔn)超分辨重建模型，其將網(wǎng)絡(luò)深度增加到20 層，并通過(guò)殘差學(xué)習(xí)和自適應(yīng)梯度裁剪來(lái)降低深度網(wǎng)絡(luò)的訓(xùn)練難度。為控制模型的參數(shù)數(shù)量，文獻(xiàn)［5］提出一種通過(guò)遞歸監(jiān)督和跳過(guò)連接的深度遞歸卷積網(wǎng)絡(luò)（Deep Recursive Convolutional Networks，DRCN），其相比SRCNN 取得顯著效果。在文獻(xiàn)［6］提出殘差網(wǎng)絡(luò)（ResNet）后，很多研究人員將殘差網(wǎng)絡(luò)引入基于CNN 的圖像超分辨率方法中。文獻(xiàn)［7］利用多層連接CNN 實(shí)現(xiàn)低層次特征和高級(jí)特征的級(jí)聯(lián)。文獻(xiàn)［8］通過(guò)使用簡(jiǎn)化的殘差塊構(gòu)建較寬網(wǎng)絡(luò)EDSR 和較深網(wǎng)絡(luò)MDSR（大約有165 層），EDSR 和MDSR 對(duì)超分辨重建圖像性能的顯著改進(jìn)證明了網(wǎng)絡(luò)深度對(duì)SR 的重要性。文獻(xiàn)［9］提出一種深度遞歸殘差網(wǎng)絡(luò)（Deep Recursive Residuals Network，DRRN），采用權(quán)重共享策略滿足較深網(wǎng)絡(luò)中巨大的參數(shù)需求。為提升圖像超分辨效果，對(duì)網(wǎng)絡(luò)進(jìn)行加深和擴(kuò)大操作已經(jīng)成為一種設(shè)計(jì)趨勢(shì)，但僅通過(guò)加深網(wǎng)絡(luò)層數(shù)會(huì)引起計(jì)算量大、消耗內(nèi)存多以及訓(xùn)練時(shí)間長(zhǎng)等問(wèn)題，不適用于移動(dòng)和嵌入式視覺(jué)應(yīng)用場(chǎng)景。然而，基于CNN 的方法［7-9］對(duì)各信道特征進(jìn)行處理時(shí)，其在處理高頻信息和低頻信息時(shí)缺乏靈活性。

由于注意力機(jī)制在建模全局依賴關(guān)系與降低無(wú)關(guān)圖像域特征信息方面表現(xiàn)出良好的性能［10-12］，因此本文結(jié)合特征圖注意力機(jī)制，提出一種圖像超分辨率重建模型。該模型由特征提取塊、基于多特征圖注意力機(jī)制的信息提取塊和重建塊3 個(gè)部分構(gòu)成。利用特征提取塊提取LR 圖像中的特征，通過(guò)信息提取塊逐步提取殘差信息，重建塊使用學(xué)習(xí)到的信息生成HR 圖像輸出。為更好地對(duì)特征圖中的高低頻信息進(jìn)行處理，實(shí)現(xiàn)自適應(yīng)地調(diào)整信道特征，在信息提取塊中使用多特征圖注意力機(jī)制來(lái)增強(qiáng)特征的表達(dá)能力。特征圖注意力機(jī)制由一個(gè)全局平均池化（Global Average Pooling，GAP）層和兩層全連接層構(gòu)成的門控機(jī)制組成，GAP 可屏蔽空間上的分布信息，更加關(guān)注通道間的相關(guān)性，兩層全連接層構(gòu)成的門控機(jī)制通過(guò)對(duì)各通道特征圖信息進(jìn)行融合，利用通道間的相關(guān)性獲得特征圖權(quán)重值來(lái)自適應(yīng)調(diào)整信道特征，以更好地恢復(fù)圖像細(xì)節(jié)。

1 本文網(wǎng)絡(luò)構(gòu)建

本文設(shè)計(jì)的網(wǎng)絡(luò)由特征提取塊、多個(gè)基于特征圖注意力機(jī)制的信息提取塊和重建塊3 個(gè)部分組成，具體結(jié)構(gòu)如圖1 所示。

圖1 基于特征圖注意力機(jī)制的圖像超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Super-resolution image reconstruction network structure based on attention mechanism of feature map

1.1 特征提取塊

特征提取塊用于從原始LR 圖像中提取特征，本文設(shè)計(jì)的特征提取塊由2 個(gè)3×3 的卷積構(gòu)成，特征維度均為64。用ILR和ISR表示網(wǎng)絡(luò)的輸入和輸出，特征提取過(guò)程可用式（1）表示：

其中，HFE表示提取特征的函數(shù)，F(xiàn)0表示提取的特征和下一階段網(wǎng)絡(luò)的輸入。

1.2 基于特征圖注意力機(jī)制的信息提取塊

信息提取塊用于逐步提取殘差信息，它由4 個(gè)相同結(jié)構(gòu)的特征圖注意力機(jī)制的信息提取塊組成。每個(gè)特征圖注意力機(jī)制的信息提取塊結(jié)構(gòu)如圖2 所示，其分為結(jié)合注意力的信息增強(qiáng)單元和壓縮單元。該過(guò)程可用式（2）表示：

其中，Hk表示第k個(gè)信息提取函數(shù)，F(xiàn)k-1和Fk分別表示第k個(gè)信息提取塊的輸入和輸出。

圖2 基于特征圖注意力機(jī)制的信息提取塊Fig.2 Information extraction block based on attention mechanism of feature map

1.2.1 特征圖注意力機(jī)制

在圖像的復(fù)原過(guò)程中，高頻通道特征對(duì)HR 的重建更為重要，因此本文通過(guò)引入注意力機(jī)制來(lái)更加關(guān)注該信道特征。想要實(shí)現(xiàn)對(duì)每個(gè)特征通道分配不同的關(guān)注資源，則需關(guān)注以下2 個(gè)問(wèn)題：1）LR 空間中的信息具有豐富的低頻分量和有價(jià)值的高頻分量，低頻部分更為平坦，而高頻分量通常是充滿邊緣、紋理和其他細(xì)節(jié)的區(qū)域；2）卷積層中的每個(gè)濾波器只能接收局部感受野信息，因此卷積后的輸出無(wú)法利用局部之外的上下文信息。

針對(duì)上述問(wèn)題，本文通過(guò)使用GAP 將空間上所有點(diǎn)的信息都平均為一個(gè)值，這樣可以屏蔽掉空間上的分布信息，以更好地關(guān)注通道間的相關(guān)性，該通道統(tǒng)計(jì)有助于表達(dá)整個(gè)圖像信息［13］。如圖3 所示，X=[x1，x2，…，xc，…，xC]作為輸入，C個(gè)特征圖大小為H×W，經(jīng)過(guò)全局平均池化后的結(jié)果呈現(xiàn)C個(gè)特征圖之間的全局信息z，第c個(gè)特征圖的全局信息zc計(jì)算方法如式（3）所示：

其中，xc(i，j) 是第c個(gè)特征圖xc在位置(i，j) 處的值，HGAP表示全局平均池化功能函數(shù)。

圖3 特征圖注意力機(jī)制示意圖Fig.3 Schematic diagram of attention mechanism of feature map

為了從全局平均池化的結(jié)果z中學(xué)習(xí)到每個(gè)特征通道的特征權(quán)值，需要做到以下3 點(diǎn)：

1）網(wǎng)絡(luò)足夠靈活，保證學(xué)習(xí)到的權(quán)值具有價(jià)值。

2）網(wǎng)絡(luò)足夠簡(jiǎn)單，不能增加網(wǎng)絡(luò)的復(fù)雜性以致訓(xùn)練速度大幅降低。

3）網(wǎng)絡(luò)要學(xué)習(xí)通道之間的非線性相互關(guān)系，激勵(lì)重要的特征且抑制不重要的特征。

針對(duì)上述問(wèn)題，本文設(shè)計(jì)兩層全連接層構(gòu)成門控機(jī)制，以融合各通道的特征圖信息，門控單元s的計(jì)算方法可用式（4）表示：

其中：g和δ分別表示門控和ReLU 函數(shù)，W1乘以z表示一個(gè)全連接層操作，W1的維度為C/r，r為縮放因子，文中取值為16，經(jīng)過(guò)一個(gè)ReLU 層后，輸出的維度不變，再和W2相乘，這也是一個(gè)全連接層的過(guò)程，W2的維度為C，因此輸出的維度為1×1×C；經(jīng)過(guò)Sigmoid 函數(shù)得到特征圖的權(quán)重值，最后將獲得的特征圖權(quán)重值s用于重新調(diào)整輸入xc，具體如式（5）所示：

其中，sc和xc是第c個(gè)通道中的縮放因子和特征映射。這樣通過(guò)特征圖注意力機(jī)制可自適應(yīng)調(diào)整通道特征，以增強(qiáng)網(wǎng)絡(luò)的表征能力。

1.2.2 信息增強(qiáng)單元

信息增強(qiáng)單元是多個(gè)特征圖注意力機(jī)制的信息提取塊核心，其可以分為局部淺層網(wǎng)絡(luò)和局部深層網(wǎng)絡(luò)2 個(gè)部分。每個(gè)部分均包含3 個(gè)卷積層和3 個(gè)注意力模塊，卷積核大小都設(shè)置為3×3，且每個(gè)卷積層的特征圖維度如圖2 所示。局部淺層網(wǎng)絡(luò)的3 個(gè)卷積層的特征維度分別為48、32 與64，局部深層網(wǎng)絡(luò)的3 個(gè)卷積層的特征維度分別為64、48 與80，每個(gè)卷積層后面都有一個(gè)非線性激活單元LReLU。為增加filter 之間的對(duì)角相關(guān)性并減少訓(xùn)練參數(shù)，其前后2 個(gè)部分的中間卷積層均采用分組卷積的方式。考慮到深層網(wǎng)絡(luò)的表達(dá)能力更強(qiáng)，本文將第3 個(gè)注意力模塊的特征圖切分為2 個(gè)部分，假定該模塊的輸入為Fk-1，則模塊輸出可表示為：

其中，F(xiàn)k-1是前一個(gè)信息提取塊的輸出，也是當(dāng)前信息提取塊的輸入。Ca為鏈?zhǔn)骄矸e操作為第k個(gè)增強(qiáng)單元中前一部分卷積層的輸出。由于本文的特征圖注意力機(jī)制能自適應(yīng)地調(diào)整通道特征，且不改變特征圖維度大小，則的維度為64中經(jīng)過(guò)s=4進(jìn)行切分后，維度為16 的特征圖和前一部分第一個(gè)卷積層的輸入在通道維度上相連接，該部分可被看作是保留的局部淺層網(wǎng)絡(luò)特征Rk，具體如式（7）所示：

其中，C和S分別表示連接Concatenate 操作和切片Slice 操作。

將剩下的維度為48 的特征圖作為后續(xù)模塊的輸入，這主要是進(jìn)一步增強(qiáng)淺層網(wǎng)絡(luò)特征。相對(duì)于前一部分而言，該部分成為局部深層網(wǎng)絡(luò)特征，具體如式（8）所示：

其中，，Cb分別為輸出和后續(xù)模塊的堆疊卷積操作。信息增強(qiáng)單元可用式（9）表示：

其中，Pk是增強(qiáng)單元的輸出。局部深層網(wǎng)絡(luò)特征以及局部淺層網(wǎng)絡(luò)特征和未處理特征相結(jié)合的Rk都被壓縮單元所利用。

1.2.3 信息壓縮單元

信息壓縮單元主要是壓縮信息增強(qiáng)單元中特征的冗余信息。本文采用一層1×1 卷積層降維，并對(duì)增強(qiáng)單元中的特征信息進(jìn)行融合。

1.3 重建塊

重建塊主要是利用上文卷積層學(xué)習(xí)到的信息，將LR 圖像重建成不同尺度的HR 圖像。通過(guò)比較反卷積層（也稱為轉(zhuǎn)置卷積）、最鄰近上采樣+卷積、亞像素卷積層ESPCN［14］這3 種可用的重建方法，結(jié)果發(fā)現(xiàn)ESPCN 在計(jì)算復(fù)雜度和性能方面均優(yōu)于其他2 種方法。因此，本文網(wǎng)絡(luò)可以用式（10）表示：

其中，HREC，U分別表示重建塊和雙三次插值運(yùn)算，ISR表示最終輸出。

1.4 損失函數(shù)

優(yōu)化網(wǎng)絡(luò)的損失函數(shù)是整個(gè)網(wǎng)絡(luò)模型的調(diào)度中心，目前在圖像超分辨率重建中廣泛使用的損失函數(shù)是均方誤差（Mean Square Error，MSE）。它用來(lái)衡量預(yù)測(cè)的HR 圖像I^和相應(yīng)的真實(shí)圖像I之間的差異，計(jì)算方法如式（11）所示：

文獻(xiàn)［8］通過(guò)實(shí)驗(yàn)證明MSE 損失訓(xùn)練不是最好的選擇，而平均絕對(duì)誤差（Mean Absolute Error，MAE）是另一種常用的損失函數(shù)，其計(jì)算方法如式（12）所示：

基于信息蒸餾網(wǎng)絡(luò)快速準(zhǔn)確的單幅圖像超分辨率IDN［15］已經(jīng)證明MAE 損失訓(xùn)練對(duì)圖像超分辨有一定作用，因此本文先用MAE 損失函數(shù)訓(xùn)練，再用MSE 損失函數(shù)微調(diào)。

2 實(shí)驗(yàn)設(shè)置與結(jié)果分析

本文使用的平臺(tái)是CentOS 7.4 操作系統(tǒng)，雙核Intel 2.2 GHz CPU 64 GB 內(nèi)存，Tesla V100 GPU，32 GB 內(nèi)存和4 TB 硬盤，并在基于GPU 版本的Tensorflow1.13 深度學(xué)習(xí)框架下訓(xùn)練本文模型。本文采用文獻(xiàn)［16］提出的方法初始化權(quán)重，偏差設(shè)置為0，并采用Adam［17］對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，設(shè)置批量數(shù)大小為16，初始學(xué)習(xí)率為2e-4，每迭代訓(xùn)練2 000 次學(xué)習(xí)率降為原來(lái)的一半，總共迭代10 000 次。

2.1 數(shù)據(jù)集

實(shí)驗(yàn)選擇用于圖像超分辨率的標(biāo)準(zhǔn)數(shù)據(jù)集DIV2K［18］為研究對(duì)象，該數(shù)據(jù)集是新發(fā)布的用于圖像復(fù)原任務(wù)的高質(zhì)量圖像數(shù)據(jù)集，每張圖像具有2K的分辨率。DIV2K數(shù)據(jù)集包含800張訓(xùn)練圖像、100張驗(yàn)證圖像和100 張測(cè)試圖像，但是測(cè)試數(shù)據(jù)集目前尚未發(fā)布，因此本文采用Set5［19］、BSD100［20］、Urban100［21］和Manga109［22］4 個(gè)廣泛使用的基準(zhǔn)測(cè)試數(shù)據(jù)集進(jìn)行模型性能評(píng)估。在這些數(shù)據(jù)集中，Set5和BSD100 包含自然場(chǎng)景，圖片個(gè)數(shù)分別是5 和100，Urban100 包含100 張具有挑戰(zhàn)性的城市場(chǎng)景圖像，其中包含不同頻段的細(xì)節(jié)，Manga109 是由日本專業(yè)漫畫(huà)家繪制的109 幅漫畫(huà)組成。

2.2 數(shù)據(jù)集預(yù)處理

針對(duì)實(shí)際工程應(yīng)用構(gòu)建出有效訓(xùn)練集是目前圖像復(fù)原中普遍存在的問(wèn)題，當(dāng)前主流的數(shù)據(jù)預(yù)處理方式有雙三次插值算法和最鄰近算法2 種。本文使用雙三次插值算法生成訓(xùn)練LR/HR 圖像對(duì)，且為了和基于GAN 的網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，本文使用最鄰近算法進(jìn)行預(yù)處理，2 種不同方式的預(yù)處理對(duì)基于特征圖注意力機(jī)制的超分辨重建都有一定的效果。

為了充分利用訓(xùn)練數(shù)據(jù)，本文采用以下3 種方式對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)：1）將圖片旋轉(zhuǎn)90°、180°和270°；2）將圖片水平翻轉(zhuǎn)；3）以0.9、0.8、0.7 和0.6 的因子縮小圖像。

2.3 實(shí)驗(yàn)結(jié)果分析

為了探究注意力機(jī)制對(duì)本文網(wǎng)絡(luò)的影響，對(duì)本文網(wǎng)絡(luò)與移除了注意力機(jī)制的超分辨網(wǎng)絡(luò)（SR-Net）在放大4 倍后的DIV2K 驗(yàn)證集上的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）進(jìn)行對(duì)比，結(jié)果如圖4 所示。從圖4 可以看出，2 個(gè)網(wǎng)絡(luò)都收斂很快，但本文網(wǎng)絡(luò)的PSNR 比SR-Net 網(wǎng)絡(luò)高出約0.15 dB。

圖4 本文網(wǎng)絡(luò)與SR-Net 的PSNR 對(duì)比Fig.4 PSNR comparison between SR-Net and the proposed network

將本文模型與Bicubic、SRCNN、VDSR、DRRN、IDN、SR-Net 模型在Set5 數(shù)據(jù)集上進(jìn)行重建對(duì)比，結(jié)果如表1 與圖5 所示。從表1 可以看出，雖然SR-Net的PSNR 值比IDN 低0.2 dB，但是本文模型的PSNR值比IDN 模型高0.32 dB，且圖5（i）的輪廓比圖5（g）更加清晰，更符合原始圖像5（b）的細(xì)節(jié)，說(shuō)明本文提出的基于特征圖注意力機(jī)制的圖像超分辨網(wǎng)絡(luò)可以增強(qiáng)特征的表達(dá)能力，能夠恢復(fù)出更多的高頻細(xì)節(jié)信息。

表1 7 種模型在Set5 數(shù)據(jù)集上的PSNR 和SSIM 對(duì)比Table 1 PSNR and SSIM comparison of seven models on Set5 dataset

圖5 7 種模型在Set5 數(shù)據(jù)集上放大4 倍后的重建效果對(duì)比Fig.5 Comparison of reconstruction effect of seven models on Set5 dataset after magnification of four times

將本文提出的基于特征圖注意力機(jī)制的超分辨重建網(wǎng)絡(luò)與SRCNN、VDSR、DRCN、DRRN、IDN 超分辨率模型進(jìn)行定性和定量對(duì)比。表2給出了分別放大2倍、3 倍與4 倍這3 種不同尺度下，不同的圖像超分辨模型利用圖像的PSNR 和結(jié)構(gòu)相似度（Structural Similarity，SSIM）這2 種廣泛使用的圖像質(zhì)量評(píng)估指標(biāo)的定量對(duì)比結(jié)果，其中，最優(yōu)結(jié)果加粗表示。從表2 的數(shù)據(jù)可以看出，本文模型在Set5［19］、BSD100［20］、Urban100［21］和Manga109［22］數(shù)據(jù)集上的PSNR 與SSIM 多數(shù)都超過(guò)了其他超分辨率模型，雖然2 倍放大尺度下在Set5 上的結(jié)果略低于IDN 模型，但在其他數(shù)據(jù)集上的結(jié)果都優(yōu)于IDN。隨著放大倍數(shù)的增大，圖片重建的難度也會(huì)隨之增大，在放大倍數(shù)為4 的情況下，本文模型相比SRCNN 模型在Manga109 數(shù)據(jù)集上PSNR 提升了2.66 dB，與本文模型PSNR 值相比差距最小的是IDN 模型，在B100 數(shù)據(jù)集上比本文模型PSNR 值低0.1 dB。

表2 7 種模型在不同尺度下的PSNR 與SSIM 對(duì)比Table 2 Comparison of PSNR/SSIM of seven models at different scales

從圖6 可知，多數(shù)重建模型沿水平線出現(xiàn)模糊偽影，圖6（d）和圖6（f）重建出的線條較模糊，而圖6（g）的重建效果比前兩者好，但窗戶玻璃的邊緣輪廓不清晰，且線條細(xì)節(jié)恢復(fù)不夠，而本文模型重建出的圖6（h）能重建出更多的細(xì)節(jié)，且線條和邊緣輪廓更清晰。當(dāng)縮放因子較大時(shí)，超分辨重建效果較差在很大程度上是由高頻信息不足導(dǎo)致的，而本文模型利用特征圖注意力機(jī)制能從LR 空間中獲得更多有用的特征并產(chǎn)生較好的效果。

圖6 6種模型在Urban100數(shù)據(jù)集上放大4倍后的重建效果對(duì)比Fig.6 Comparison of reconstruction effect of six models on Urban100 dataset after magnification of four times

由于人像圖片中眼睛部分細(xì)節(jié)較多，因此本文對(duì)超分辨后的圖像右眼部分進(jìn)行放大對(duì)比。實(shí)驗(yàn)分別采用本文模型、Bicubic、VDSR、DRRN 和IDN 對(duì)實(shí)際圖片進(jìn)行超分辨重建，結(jié)果如圖7 所示。從圖7 可以看出：相較于原始圖像7（a）而言，圖7（d）DRRN 模型重建的高分辨圖像視覺(jué)效果較差；圖7（c）和圖7（e）重建出的高分辨圖像在視覺(jué)上有所提升，但放大后的圖片邊緣輪廓仍然模糊；本文模型重建出的高分辨圖7（f）不僅在視覺(jué)上效果最佳，且放大后的眼睛部分具有較為銳利的邊緣和比較清晰的紋理細(xì)度。因此，本文模型重建后的效果在視覺(jué)上優(yōu)于其他模型，實(shí)用性更強(qiáng)。

圖7 5 種模型在放大3 倍后的重建效果對(duì)比Fig.7 Comparison of reconstruction effect of five models after magnification of three times

基于對(duì)抗網(wǎng)絡(luò)的圖像復(fù)原是比較常見(jiàn)的，實(shí)驗(yàn)對(duì)本文模型與SRGAN［23］進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表3所示。從表3 可以看出，相比Bicubic 模型與SRGAN模型，本文模型的PSNR 更高。從圖8 網(wǎng)絡(luò)重建效果對(duì)比圖可知，SRGAN 模型構(gòu)建生成的圖效果比本文模型好，該結(jié)果是通過(guò)10 個(gè)人對(duì)比觀察重建效果圖主觀感覺(jué)得出，其中6 個(gè)人認(rèn)為中間SRGAN 模型生成的圖片8（b）和8（e）效果更好，3 個(gè)人認(rèn)為本文模型生成的圖8（c）和圖8（f）更好，1 個(gè)人認(rèn)為2 個(gè)模型效果相當(dāng)。

表3 3 種模型在不同數(shù)據(jù)集下的PSNR 與SSIM 對(duì)比Table 3 PSNR and SSIM comparicon of three models in different datasets

圖8 SRGAN 模型與本文模型在放大4 倍后的重建效果對(duì)比Fig.8 Comparison of reconstruction effect between SRGAN model and the proposed model after magnification of four times

文獻(xiàn)［24］提出的圖像超分辨重建的圖像質(zhì)量評(píng)價(jià)方法PSNR/SSIM 不能客觀反映圖像的主觀效果，而圖像超分辨重建的圖像質(zhì)量評(píng)價(jià)方法平均主觀意見(jiàn)分（Mean Opinion Score，MOS）需要大量的人力成本且不能復(fù)現(xiàn)。因此，提出更加精確的圖像質(zhì)量評(píng)價(jià)方法十分必要。但是在新的評(píng)價(jià)方法提出之前，本文沿用主流的PSNR/SSIM 圖像質(zhì)量評(píng)價(jià)方法對(duì)模型進(jìn)行評(píng)估，在該評(píng)估體系下，本文模型不僅在客觀定量評(píng)價(jià)指標(biāo)上有所提高，且能重建出更多符合原始圖像的細(xì)節(jié)信息，這說(shuō)明特征圖注意力機(jī)制在圖像超分辨重建中具有重要的作用。

3 結(jié)束語(yǔ)

本文設(shè)計(jì)一種基于特征圖注意力機(jī)制的圖像超分辨率重建網(wǎng)絡(luò)模型，對(duì)彩色圖像進(jìn)行不同尺度的超分辨重建。該模型通過(guò)特征提取塊從原始LR 圖像中提取特征，再由多個(gè)基于特征圖注意力機(jī)制的信息提取塊自適應(yīng)地調(diào)整特征通道信息，以增強(qiáng)特征的表達(dá)能力，有效恢復(fù)出更多輪廓紋理等細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果表明，本文模型可有效提升圖像超分辨率重建效果。下一步將對(duì)基于CNN 和生成性對(duì)抗網(wǎng)絡(luò)構(gòu)建的模型重建效果進(jìn)行分析與研究，實(shí)現(xiàn)更為精確的圖像質(zhì)量評(píng)估。