方金生，朱古沛

1.閩南師范大學(xué) 計算機學(xué)院，福建 漳州 363000

2.數(shù)據(jù)科學(xué)與智能應(yīng)用福建省高校重點實驗室（閩南師范大學(xué)），福建 漳州 363000

圖像超分辨率重建（super-resolution reconstruction，SR）技術(shù)是由低分辨率（low-resolution，LR）圖像重建出高分辨率（high-resolution，HR）圖像，在醫(yī)學(xué)、多媒體等領(lǐng)域有諸多應(yīng)用，是近幾年的研究熱點[1]。然而SR是一個典型的病態(tài)問題，即一幅LR圖像對應(yīng)多幅HR圖像[2]。為解決這個問題，研究人員先后提出了諸多基于先驗信息來限制重建的解空間的數(shù)值法[3]和基于學(xué)習(xí)的方法[4]，但這些方法都無法獲得令人滿意的效果。如何有效地從LR圖像中恢復(fù)HR圖像且不出現(xiàn)失真是該領(lǐng)域的研究重點。

近年來，深度學(xué)習(xí)在計算機視覺和自然語言處理等領(lǐng)域都展現(xiàn)出了強大性能[5]，國內(nèi)外研究團(tuán)隊由此提出了諸多基于深度學(xué)習(xí)的SR模型[6-11]。Dong等人提出了第一個基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的圖像SR方法SRCNN[12]，該方法首先對LR圖像進(jìn)行雙三次插值[13]上采樣預(yù)處理，再經(jīng)過三層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像重建過程。由于該算法速度較慢，Dong等人提出加速模型FSRCNN[14]，該算法采用卷積層代替雙三次插值，使用更小的卷積核以及更多的特征通道，同時在最后一層引入反卷積進(jìn)行上采樣，有效地加快了網(wǎng)絡(luò)速度。He等人提出殘差學(xué)習(xí)網(wǎng)絡(luò)ResNet[15]，其中的殘差學(xué)習(xí)方法能夠有效地解決深層網(wǎng)絡(luò)的梯度消失和梯度爆炸問題，并且能加快網(wǎng)絡(luò)的收斂速度。由此，殘差網(wǎng)絡(luò)成為研究人員加深網(wǎng)絡(luò)來提高性能的重要方法。隨后，Kim等人首次將殘差學(xué)習(xí)引入SR領(lǐng)域，構(gòu)建一個深層網(wǎng)絡(luò)模型VDSR[16]，提高了重建精度且實現(xiàn)多尺度重建。Lim等人將原殘差模塊中的批歸一化層去除并在殘差支路乘以一個小的系數(shù)，由此提出了EDSR[17]，該方法實現(xiàn)了多尺度的精確重建，但也使得網(wǎng)絡(luò)參數(shù)量高達(dá)43×106。然而，SR技術(shù)是為從LR圖像中恢復(fù)更多細(xì)節(jié)，即高頻信息，然而大多數(shù)網(wǎng)絡(luò)模型[14，17-18]對每個通道特征進(jìn)行相同權(quán)重處理，則會導(dǎo)致對低頻特征進(jìn)行不必要的計算，從而降低深層網(wǎng)絡(luò)的性能。因此，Zhang等人提出了RCAN[19]，將通道注意（channel attention，CA）加入到嵌套的殘差結(jié)構(gòu)中，構(gòu)建出超過四百層的大規(guī)模網(wǎng)絡(luò)，大幅提高峰值信噪比（peak signal to noise ratio，PSNR）。

上述方法均通過加深或加寬網(wǎng)絡(luò)以獲得更優(yōu)的網(wǎng)絡(luò)性能。但是，規(guī)模過大的網(wǎng)絡(luò)模型會消耗更大的存儲空間以及計算負(fù)擔(dān)，不適合應(yīng)用于計算能力受限的設(shè)備以及對實時性要求高的場合。所以，在設(shè)計網(wǎng)絡(luò)時需要考慮模型大小與重建性能之間的權(quán)衡問題[20-24]。

因此，設(shè)計輕量化的SR模型成為了重要的研究方向。Lai等人通過設(shè)計拉普拉斯金字塔結(jié)構(gòu)提出LapSRN[20]；Ahn等人通過設(shè)計級聯(lián)模塊提出CARN[21]；Hui等人通過設(shè)計蒸餾模塊提出IDN[22]；Hui等人進(jìn)一步設(shè)計出信息多蒸餾塊提出IMDN[23]；Liu等人對信息多蒸餾模塊繼續(xù)改進(jìn)，構(gòu)建出殘差特征蒸餾塊，提出了RFDN[24]。這些輕量級網(wǎng)絡(luò)模型均能以相對較低的模型參數(shù)量和計算復(fù)雜度獲得優(yōu)異的重建性能，但均存在不足。LapSRN[20]逐步進(jìn)行圖像上采樣使得網(wǎng)絡(luò)中會產(chǎn)生大尺度的特征映射，從而造成網(wǎng)絡(luò)計算量顯著增加；CARN[21]提出的級聯(lián)機制可以融合各層的信息，與此同時也因為使用稠密連接增加參數(shù)量和計算量；IDN[22]中的蒸餾結(jié)構(gòu)不能有效篩選出需要進(jìn)一步提煉的重要特征；IMDN[23]中的逐步細(xì)分模塊不夠高效以及通道分離操作缺乏靈活性；RFDN[24]在權(quán)衡參數(shù)和性能之間是相對較好的，但由于直接對各蒸餾模塊特征進(jìn)行拼接融合，沒有充分利用網(wǎng)絡(luò)中的低、高頻信息，模型性能還有進(jìn)一步提升的空間。

為此，本文提出一種輕量級的基于金字塔池化注意力機制網(wǎng)絡(luò)（light-weighted pyramid pooling-based attention network，LiPAN），實現(xiàn)以較小的參數(shù)量和計算量獲得更優(yōu)的SR效果。該網(wǎng)絡(luò)包括特征提取和重建兩個階段，特征提取階段中包含信息蒸餾塊（information distillation block，IDB）、金字塔池化模塊（pyramid pooling module，PPM）以及反向注意力融合模塊（backward attention fusion module，BAFM）。IDB對特征進(jìn)行提取操作，然后將各層特征蒸餾出來進(jìn)行融合，再經(jīng)過注意力模塊提取特征中關(guān)鍵的信息，該結(jié)構(gòu)充分利用各層不同特征的信息，實現(xiàn)對特征的有效提取。PPM對特征進(jìn)行不同尺度的池化，該模塊通過獲取更大的感受野得到更多的上下文先驗信息。BAFM對不同層次的特征進(jìn)行融合，在融合前需經(jīng)過注意力模塊對特征的空間信息進(jìn)行關(guān)注度區(qū)分，相比于RFDN中簡單地將不同層次的特征進(jìn)行跳躍拼接操作，BAFM能夠更加有效地融合不同層次的信息，從而重建出更加清晰的圖像。

綜上所述，本文的主要貢獻(xiàn)有三點：（1）提出了一種輕量級的基于金字塔池化注意力機制網(wǎng)絡(luò)，與其他輕量型網(wǎng)絡(luò)相比，在參數(shù)量相當(dāng)?shù)那闆r下本文的網(wǎng)絡(luò)可以得到更好的SR性能；（2）在信息蒸餾塊之后引入金字塔池化模塊，金字塔池化模塊能夠獲得更大的感受野以及更多的先驗信息，實驗證明該模塊能恢復(fù)更真實、尖銳的細(xì)節(jié)信息；（3）設(shè)計了一個反向注意力融合模塊，它將所有金字塔池化模塊之后的特征進(jìn)行空間重要度區(qū)分之后進(jìn)行融合，該設(shè)計在引入少量參數(shù)的情況下能夠進(jìn)一步提高SR性能。

1 相關(guān)工作

1.1 殘差特征蒸餾塊

RFDB是RFDN的核心模塊[24]，如圖1（a）所示，RFDB由3個1×1卷積（Conv-1）和3個淺殘差塊（SRB）組成，而SRB僅由一個3×3卷積（Conv-3）和一個恒等連接分支組成，如此設(shè)計能夠讓RFDB在不增加參數(shù)量的情況下更好地利用殘差學(xué)習(xí)的能力。在RFDB中，使用1×1卷積進(jìn)行信息蒸餾，參數(shù)量和運算量都明顯得到了降低。

圖1 原始RFDB結(jié)構(gòu)Fig.1 Structure of original RDFB

1.2 金字塔池化結(jié)構(gòu)

金字塔池化結(jié)構(gòu)多用于圖像分割任務(wù)中，He等人提出了基于空間金字塔池化（SPP）結(jié)構(gòu)的SPPNet[25]，生成不同層次的特征圖，實現(xiàn)了CNN輸入圖像尺寸可變；Zhao等人構(gòu)建金字塔池化模塊（PPM），提出PSPNet[26]方法，PPM是一個有層次的全局先驗結(jié)構(gòu)，包含不同尺寸、不同子區(qū)域間的信息，比起SPP，PPM能夠進(jìn)一步減少不同子區(qū)域間上下文信息的丟失，能夠在深層神經(jīng)網(wǎng)絡(luò)的最終層特征圖上構(gòu)造全局場景先驗信息。PPM首先將輸入圖像經(jīng)過金字塔得到N個不同的子區(qū)域，金字塔池化模塊中不同層級的輸出包含不同大小的特征映射，在每個級別后使用1×1卷積，將對應(yīng)級別的通道數(shù)量降為原本的1/N，然后通過雙線性插值直接對低維特征圖進(jìn)行上采樣，得到與原始特征映射相同尺寸的特征圖，最后，融合各個層級的輸出特征，作為最終的金字塔池化全局特性。PPM通過不同尺度的池化層得到多尺度圖像特征，再將這些特征融合以獲取不同的圖像細(xì)節(jié)。

PPM的具體結(jié)構(gòu)如圖2所示，若采用四階的金字塔池化模塊，即{1×1，2×2，4×4，8×8}的平均池化層，設(shè)i×idown表示尺度為i×i的自適應(yīng)平均池化操作，up_i指第i層的上采樣操作，將輸入特征記為Fin，池化層的輸出Fpool_i可以表示為：

圖2 PPM結(jié)構(gòu)圖Fig.2 Structure of PPM

其中，F(xiàn)up_i和Fdown_i分別代表第i階段特征的上采樣和下采樣函數(shù)，F(xiàn)r定義為1×1特征降維卷積。因此，PPM的輸出可以描述為：

式中，F(xiàn)r表示1×1卷積的降維函數(shù)，Concat表示在特征通道維度上進(jìn)行拼接操作。

1.3 注意力機制

近年來注意力機制被廣泛應(yīng)用于計算機視覺研究中，比如圖像分類、目標(biāo)檢測以及圖像超分辨率等。SENet[27]算法成為ImageNet 2017競賽分類任務(wù)上的冠軍模型，該模型引入通道注意力，它可根據(jù)通道特征上不同的權(quán)重響應(yīng)進(jìn)行區(qū)分特征重要性。Hui等人在IMDN中進(jìn)一步提出了CCA，與CA模塊相比，該模塊對通道權(quán)重依據(jù)進(jìn)行了調(diào)整，由原來的均值升級為標(biāo)準(zhǔn)差與均值之和。Liu等人在RFANet[28]中提出增強的空間注意力（ESA），ESA先是進(jìn)行1×1卷積減小通道維度，保證該結(jié)構(gòu)的輕量化，然后設(shè)計步長為2的3×3卷積，再用大小為7×7，步長為3的最大池化操作進(jìn)一步擴大感受野，從而能更大范圍地關(guān)注到特征中重要的空間信息。

2 本文方法

本章主要介紹LiPAN算法的網(wǎng)絡(luò)結(jié)構(gòu)及主要功能模塊IDB以及BAFM的具體實現(xiàn)方法。

2.1 LiPAN總體網(wǎng)絡(luò)結(jié)構(gòu)

如圖3所示，本文提出的網(wǎng)絡(luò)模型LiPAN由淺層特征提取、信息蒸餾塊IDB、金字塔池化模塊PPM、反向注意力融合模塊BAFM和上采樣模塊組成。IDB由蒸餾結(jié)構(gòu)和ESA模塊組成，ESA能夠使特征信息更集中于感興趣區(qū)域，因而該結(jié)構(gòu)在控制參數(shù)量的情況下能夠提取到更多的高頻信息，使得重建圖像的紋理更加以及邊緣更加尖銳[28]；PPM進(jìn)一步擴大感受野，提取不同尺度的上下文特征信息[26]；最后，BAFM對不同層次的各種尺度特征進(jìn)一步提取和融合，利用ESA對特性有效提取的優(yōu)勢，可更為準(zhǔn)確地重建圖像。

圖3 LiPAN結(jié)構(gòu)圖Fig.3 Architecture of LiPAN

將輸入的LR圖像和輸出的HR圖像分別記為X和Y。首先，輸入的LR圖像X經(jīng)過一個3×3卷積層得到淺層特征F0，然后F0經(jīng)過n個IDB逐步提取特征，該過程記為：

其中，Rk表示第k個IDB函數(shù)，F(xiàn)k-1和Fk分別表示第k個IDB的輸入和輸出特征。將IDB的輸出特征分別輸入金字塔池化模塊（第n個IDB的特征除外），則輸出特征為：

其中，Gk為第k個IDB經(jīng)過PPM函數(shù)的特征輸出為第k個PPM函數(shù)。接著將所有的中間特征經(jīng)過BAFM進(jìn)一步融合各層次頻率信息：

其中，F(xiàn)f和Rf分別代表融合后的輸出特征和BAFM函數(shù)。最后采用亞像素卷積上采樣層生成SR圖像Y：

其中Rup為上采樣函數(shù)。

2.2 信息蒸餾模塊

圖4顯示了IDB的具體結(jié)構(gòu)，由漸進(jìn)細(xì)化模塊（progressive refinement module，PRM）和ESA組成。如圖4（a）所示，紅色虛線內(nèi)為PRM，其中，SRB為淺殘差模塊，PRM由4個用于細(xì)化特征的SRB與4個用于蒸餾特征的1×1卷積Conv-1組成，最后將所有蒸餾特征進(jìn)行融合。假設(shè)輸入特征為Fin，則4個階段的信息蒸餾過程如下[24]：

其中，DLi表示第i個階段的蒸餾層，RLi表示第i個階段的SRB塊，F(xiàn)distilled_i表示第i個階段的蒸餾特征，F(xiàn)refined_i表示第i個階段的細(xì)化特征，最后將所有階段的蒸餾特征拼接起來作為PRM的輸出：

其中Concat表示在通道維度上進(jìn)行拼接操作。

最后，如圖4（b）所示，ESA首先使用1×1卷積將輸入特征進(jìn)行降維，再依次連接步長為2的卷積層、最大池化層，然后經(jīng)過2個3×3卷積層、1個上采樣層、1個1×1卷積層，最后經(jīng)過Sigmoid激活層產(chǎn)生的結(jié)果與原始輸入特征進(jìn)行相乘得到最終結(jié)果。另外，將第一個1×1卷積降維后的特征與上采樣后的特征相加。若ESA運算記為Fesa，則IDB的輸出為：

圖4 IDB的結(jié)構(gòu)Fig.4 Structure of IDB

其中Fr表示1×1卷積的降維函數(shù)。

2.3 反向注意力融合模塊

如圖3所示，圖右下角表示反向注意力融合單元（backward attention fusion unit，BAFU），本文由5個BAFU組合而成BAFM模塊。該模塊將高層特征H5逐層向低層特征H1融合，對相鄰層的特征經(jīng)過注意力機制ESA后進(jìn)行融合，這樣可以有效地利用不同層次提取到的特征信息，并且可以獲得更多的上下文信息[8]。

BAFU主要由ESA和1×1卷積層組成，采用向后注意力融合策略，先經(jīng)過ESA獲取關(guān)鍵重要的空間特征信息，再經(jīng)過1×1卷積對不同層次的信息進(jìn)行融合。這里定義第i個IDB函數(shù)的輸出為Fi,Fi再經(jīng)過PPM函數(shù)的輸出定義為Gi，因此融合操作可以用公式表述為：

其中，F(xiàn)esa為增強的空間注意力單元，Concat表示對相鄰層次的特征進(jìn)行拼接，Conv為對特征進(jìn)行融合并降維的1×1卷積。將中間層的特征從后往前依次進(jìn)行特征融合，直到最終生成的融合特征H1。最后將H1與淺層的特征F0相加并傳播到上采樣層得到SR圖像。

3 實驗

3.1 數(shù)據(jù)集

本文算法的訓(xùn)練數(shù)據(jù)集為DIV2K，該數(shù)據(jù)集包括800張高質(zhì)量的訓(xùn)練圖像和100張紋理豐富的驗證圖像[29]。LR圖像由對HR圖像進(jìn)行雙三次下采樣操作獲取。本文在4種公共的數(shù)據(jù)集上進(jìn)行模型的評估：Set5[30]、Set14[31]、BSD100[32]、Urban100[33]，這4種測試集來源于自然景觀、人物等真實圖像，數(shù)量分別為5張、14張、100張和100張。以峰值信噪比（peak signal-to-noise ratio，PSNR）和結(jié)構(gòu)相似度（structural similarity，SSIM）作為評價度量。

3.2 實驗設(shè)置

LiPAN的實驗設(shè)置與經(jīng)典算法EDSR[17]、RCAN[19]等保持一致，訓(xùn)練圖像的大小為48×48像素的LR圖像塊，采用隨機的水平翻轉(zhuǎn)和90°旋轉(zhuǎn)方式實現(xiàn)數(shù)據(jù)增強，并將所有訓(xùn)練圖像減去均值圖像。使用Adam優(yōu)化器，其參數(shù)設(shè)定為β1=0.9,β2=0.999和ε=10-8，批數(shù)據(jù)量為16，損失函數(shù)為平均絕對誤差（MAE）。在LiPAN網(wǎng)絡(luò)中，IDB的蒸餾率設(shè)為1/2，PPM的池化尺寸分別為{1，2，4，8}，ESA單元中的縮小因子設(shè)置為4，LiPAN的特征通道維度設(shè)置為48；初始學(xué)習(xí)率為5E-4，數(shù)據(jù)總的訓(xùn)練輪次（epochs）為1 000，每經(jīng)過200個輪次，學(xué)習(xí)率減半。該網(wǎng)絡(luò)使用PyTorch框架實現(xiàn)，并使用GTX 3090的GPU進(jìn)行訓(xùn)練。

3.3 消融實驗

為了更好地研究LiPAN各個模塊的作用，在4個測試數(shù)據(jù)集上分別測試含有各個功能模塊的網(wǎng)絡(luò)性能，并計算相應(yīng)的平均PSNR值及網(wǎng)絡(luò)參數(shù)量，結(jié)果如表1所示。Base指基準(zhǔn)網(wǎng)絡(luò)，由6個IDB以及無注意力機制的反向特征融合模塊（BFM）組成；網(wǎng)絡(luò)Base_PPM指在Base基準(zhǔn)網(wǎng)絡(luò)引入PPM；網(wǎng)絡(luò)Base_BAFM指在Base基準(zhǔn)網(wǎng)絡(luò)引入BAFM；而本文提出的網(wǎng)絡(luò)LiPAN在基準(zhǔn)網(wǎng)絡(luò)同時引入Base_BAFM和PPM。

表1 在4個測試集上的消融實驗（3倍采樣率）Table 1 Ablation study on 4 testing dataset（with sampling scale of 3）

從表1可以看出，在基準(zhǔn)網(wǎng)絡(luò)Base上應(yīng)用PPM模塊后，PSNR值提升了0.01 dB，證明了PPM模塊的有效性，通過對輸入特征進(jìn)行多尺度特征融合，增強了特征表達(dá)能力；在基準(zhǔn)網(wǎng)絡(luò)Base上應(yīng)用BAFM模塊后，PSNR值提升了0.04 dB，說明BAFM模塊有效地融合了相鄰層次的特征信息，從而提升了網(wǎng)絡(luò)性能；Base_BAFM比Base網(wǎng)絡(luò)的參數(shù)量有所增加，主要在于Base_BAFM運用了ESA機制。本文提出的LiPAN在Base_BAFM基礎(chǔ)上引入PPM，可以在僅增加35×103參數(shù)的情況下進(jìn)一步將PSNR值提升0.06 dB。

LiPAN訓(xùn)練的收斂過程如圖5所示，Base、Base_PPM、Base_BAFM以及LiPAN在3倍采樣率下，在Set5測試數(shù)據(jù)集上得到的PSNR與訓(xùn)練輪次的關(guān)系曲線圖。由此可知LiPAN模型收斂速度更快，且損失值更低，這表明BAFM和PPM模塊可以幫助LiPAN網(wǎng)絡(luò)很好地收斂以及獲得更佳的重建性能。

圖5 不同模型的PSNR值收斂過程Fig.5 Convergence of PSNR of different models

3.4 BAFU與PPM數(shù)量對網(wǎng)絡(luò)性能影響

BAFU與PPM作為LiPAN重要的模塊，二者的數(shù)量決定著網(wǎng)絡(luò)的性能。因此，本節(jié)在其他條件保持一致的情況下，僅改變二者模塊數(shù)進(jìn)行實驗，評估對結(jié)果的影響。實驗結(jié)果在采樣率為3的4個測試集上得到，如表2所示，當(dāng)數(shù)量設(shè)為n時，表示在前n個IDB后面連接PPM和BAFU。

從表2可知，當(dāng)BAFU和PPM數(shù)量小于6時，隨著數(shù)量的增加，PSNR也隨之提高，參數(shù)量也呈線性增加。當(dāng)BAFU和PPM數(shù)量為6時，網(wǎng)絡(luò)參數(shù)量繼續(xù)增加，但PSNR反而減少，主要原因在于第6個IDB提取出來的是高頻信息，PPM中使用了全局池化操作，會一定程度地平滑邊緣信息，導(dǎo)致網(wǎng)絡(luò)的性能下降。因此，BAFU和PPM數(shù)量為5時能夠在網(wǎng)絡(luò)規(guī)模與性能之間達(dá)到最好的平衡。

表2 BAFU與PPM數(shù)量對網(wǎng)絡(luò)性能的影響（3倍采樣率）Table 2 Effectiveness of number of BAFU and PPM

3.5 與主流輕量級網(wǎng)絡(luò)的性能比較

為了驗證本文LiPAN方法的性能，將其與Bicubic[13]、SRCNN[12]、FSRCNN[14]、VDSR[16]、LapSRN[20]、MemNet[34]、CARN[21]、IDN[22]、IMDN[23]、RFDN[24]等經(jīng)典輕量級SR方法進(jìn)行比較。表3、表4和表5分別顯示了LiPAN與其他輕量級模型在2倍采樣率、3倍采樣率及4倍采樣率時，在不同測試數(shù)據(jù)集上的客觀評價。與對比算法相比，大多數(shù)情況下，LiPAN具有較優(yōu)的PSNR和SSIM值。由此表明，在相近的網(wǎng)絡(luò)參數(shù)量和乘加運算量情況下，LiPAN的綜合性能優(yōu)于對比算法。

表3 尺度因子為2時不同模型的定量指標(biāo)比較Table 3 Quantitative comparison of different methods under sampling scale of 2

表4 尺度因子為3時不同模型的定量指標(biāo)比較Table 4 Quantitative comparison of different methods under sampling scale of 3

表5 尺度因子為4時不同模型的定量指標(biāo)比較Table 5 Quantitative comparison of different methods under sampling scale of 4

圖6和圖7分別顯示了本文模型LiPAN與SRCNN[12]、VDSR[16]、LapSRN[20]、CARN[21]、IMDN[23]和RFDN[24]模型的視覺效果比較。如圖6所示，LiPAN的重建圖像能夠有效地抑制圖像的偽影，其得益于IDB能夠恢復(fù)出更尖銳的邊緣信息；同時，BAFM對不同層次信息的有效融合，使得本文方法重建圖像的細(xì)節(jié)和紋理更加清晰。如圖7所示，由于降采樣使得高頻信號缺失導(dǎo)致建筑斜頂端的窗戶出現(xiàn)錯誤的預(yù)測，而本文方法通過PPM融入了全局場景信息，有效地利用周邊的信息，重建的結(jié)果更接近于真實圖像。

圖6 不同算法在3倍采樣率下的視覺效果比較Fig.6Qualitativecomparisonofdifferentmethodsundersamplingscaleof3

圖7 不同算法4倍采樣率下的視覺效果比較Fig.7 Qualitative comparison of different methods under sampling scale of 4

表6顯示了LiPAN與其他算法的重建實時性比較，與VDSR和MemNet相比，LiPAN具有更少的參數(shù)、乘加數(shù)以及運行時間；與CARN相比，LiPAN具有更少的參數(shù)以及乘加數(shù)，但運行時間略有增加；與RFDN相比，LiPAN在參數(shù)、乘加數(shù)以及運行時間三者均有所增加，這主要因為BAFM和PPM的引入增加了網(wǎng)絡(luò)的深度，以及ESA在具有強大的空間特征重要度判別能力的同時，也增加了其結(jié)構(gòu)的復(fù)雜性。

表6 模型實時性比較Table 6 Real-time comparison with other methods

圖8顯示了LiPAN與對比網(wǎng)絡(luò)的參數(shù)量、乘加數(shù)和網(wǎng)絡(luò)性能對比，LiPAN具有與IDN、IMDN和RFDN等算法相近的參數(shù)量級，但擁有最高的PSNR值；同時，在乘加數(shù)方面，LiPAN的乘加數(shù)少于一些主流輕量級網(wǎng)絡(luò)但具有較高的PSNR值。綜上所述，LiPAN的網(wǎng)絡(luò)性能均優(yōu)于其他主流網(wǎng)絡(luò)。

圖8 不同網(wǎng)絡(luò)模型的性能比較Fig.8 Performance comparison of different network models

4 結(jié)語

本文提出了一種基于IDB模塊、金字塔池化結(jié)構(gòu)及注意力機制的輕量級超分辨重建網(wǎng)絡(luò)LiPAN。該網(wǎng)絡(luò)通過注意力機制及多層次提取不同尺度特征信息方式，能夠有效提取豐富的圖像細(xì)節(jié)，從而獲得較優(yōu)的重建性能。相比于其他基于CNN的輕量型算法，LiPAN能在相同量級的網(wǎng)絡(luò)規(guī)模上，以相對較低的計算量獲得更優(yōu)的主觀和客觀結(jié)果。然而，由于LiPAN的結(jié)構(gòu)較為復(fù)雜而需要更多的重建時間，因而，提高LiPAN的實時性是接下來的研究內(nèi)容。