馮興杰 王 榮

1(中國民航大學(xué)信息網(wǎng)絡(luò)中心 天津 300300) 2(中國民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 天津 300300)

0 引 言

在實(shí)際應(yīng)用中,受到圖像采集設(shè)備成本、傳輸帶寬、存儲(chǔ)年限久遠(yuǎn)等問題的限制,很難保證得到的圖像均為精致的高分辨率圖像。因此超分辨率重建(Super-Resolution,SR)技術(shù)的產(chǎn)生顯得尤為重要。根據(jù)輸入數(shù)據(jù)類型的不同,可以將SR分為單圖像SR和多圖像SR,由于多圖像SR直接基于單圖像SR,因此本文主要討論單圖像超分辨率重建(Single Image Super-Resolution,SISR)。

圖像超分辨率重建的目的是將給定的具有粗糙細(xì)節(jié)的低分辨率圖像(LR)轉(zhuǎn)換為相應(yīng)的具有更好的視覺效果以及精致細(xì)節(jié)的高分辨率圖像(HR)。SR的應(yīng)用領(lǐng)域很廣泛,如目標(biāo)檢測(尤其是針對小對象)、監(jiān)控視頻、衛(wèi)星遙感等。實(shí)際上,無限多的高分辨率圖像可以通過下采樣得到相同的低分辨率圖像。因此,SR問題本質(zhì)上是不適定的,不存在唯一解。為了緩解這一問題,文獻(xiàn)中提出了許多SISR方法,目前的SISR方法一般可分為兩類:基于重建的方法(Reconstruction-Based)[1-2]和基于樣本學(xué)習(xí)的方法(Example Learning-Based)?；谥亟ǖ姆椒▋H用了一些先驗(yàn)知識來正則化重建過程,計(jì)算量低且簡單,不過無法處理復(fù)雜圖像結(jié)構(gòu)?；趯W(xué)習(xí)的方法利用大量通過學(xué)習(xí)得到的先驗(yàn)數(shù)據(jù)來學(xué)習(xí)低分辨率圖像到高分辨圖像的某種映射關(guān)系,用學(xué)習(xí)到的映射關(guān)系來預(yù)測高分辨率圖像,常見的有基于稀疏編碼和基于深度學(xué)習(xí)的方法。

近年來深度學(xué)習(xí)發(fā)展迅猛。Dong等[3]首先提出了一個(gè)采用三層卷積神經(jīng)網(wǎng)絡(luò)的SRCNN模型對特征提取、非線性映射和圖像重建階段進(jìn)行端到端的聯(lián)合優(yōu)化。Shi等[4]提出了一種有效的亞像素卷積神經(jīng)網(wǎng)絡(luò)ESPCN,它直接在LR空間中提取特征映射,有效地降低了計(jì)算復(fù)雜度。受到功能強(qiáng)大的深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的影響,許多基于CNN的SR方法嘗試訓(xùn)練一個(gè)更深的網(wǎng)絡(luò)以獲得更好的重建性能。Kim等[5]提出了一種包含20個(gè)卷積層的VDSR模型,該模型采用殘差學(xué)習(xí)和自適應(yīng)梯度裁剪來減輕訓(xùn)練難度,證明了更深的網(wǎng)絡(luò)可以提供更好的特征重建,使網(wǎng)絡(luò)捕捉到更加全局的特征,進(jìn)而有益于超分辨率重建工作中圖像細(xì)節(jié)的恢復(fù)。

因此在之后提出的一些模型[6-9]為了獲得更好的性能,不斷深化或拓寬網(wǎng)絡(luò)已經(jīng)成為了一種趨勢。然而,不斷對網(wǎng)絡(luò)進(jìn)行深化和拓寬,隨之而來的則是實(shí)際應(yīng)用中算法復(fù)雜度和內(nèi)存消耗的提升。在實(shí)際應(yīng)用中,如移動(dòng)和嵌入式視覺應(yīng)用中,這些方法的適用性較差。此外,傳統(tǒng)的卷積層平等地對待圖像的高頻特征與低頻特征,不加區(qū)分地將特征傳向后續(xù)層。但高頻特征往往包含更多的細(xì)節(jié)信息,而SR任務(wù)的重點(diǎn)是恢復(fù)圖片中的紋理細(xì)節(jié)信息,因此應(yīng)該將重點(diǎn)放在擁有高頻細(xì)節(jié)的特征上。隨著研究的深入,注意力的重要性得到了廣泛的關(guān)注,注意力不僅闡明了關(guān)注的焦點(diǎn)在哪里,還提高了焦點(diǎn)的表達(dá)。與被廣泛關(guān)注的Hu等[10]提出的只關(guān)注通道注意力的方法不同,Woo等[11]對基于通道和空間兩個(gè)維度上的特性響應(yīng)進(jìn)行了研究,提出了通道和空間注意力機(jī)制。它可以自適應(yīng)地重新校準(zhǔn)通道和空間兩個(gè)維度上的特性響應(yīng)以提高網(wǎng)絡(luò)的表達(dá)能力,很好地解決了深層網(wǎng)絡(luò)中特征不加區(qū)分的向后傳遞的問題,同時(shí)該注意力機(jī)制引入的參數(shù)量很少。這為SR獲取全局特征來更好地恢復(fù)高頻紋理細(xì)節(jié)以及網(wǎng)絡(luò)的輕量化提供了新思路。

基于上述討論,本文提出一種基于雙注意力機(jī)制的輕量級圖像超分辨率重建(SR-LAM)算法。所提出的SR-LAM網(wǎng)絡(luò)為了能夠充分地捕獲上下文信息,將網(wǎng)絡(luò)深度保持在20層。網(wǎng)絡(luò)結(jié)構(gòu)分為四部分。第一部分由一個(gè)增強(qiáng)模塊對LR圖像進(jìn)行淺層特征的提取及校準(zhǔn)。第二部分由包含組卷積的卷積核大小為3×3的特征提取塊堆疊,逐步細(xì)化殘差信息。第三部分與第一部分相同,用一個(gè)增強(qiáng)模塊進(jìn)行深層特征提取和重新校準(zhǔn)。最后由重建模塊將殘差信息上采樣到目標(biāo)尺寸后與上采樣到目標(biāo)尺寸的輸入圖像融合輸出結(jié)果。最后通過在縱向和橫向上進(jìn)行對比實(shí)驗(yàn),表明了盡管使用較少的卷積層,本網(wǎng)絡(luò)仍然能夠獲得具有競爭性的結(jié)果。

1 方法與理論

自Kim等[5]的方法被提出以來,許多超分辨率重建算法都是基于它進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)以提高網(wǎng)絡(luò)性能。本文也將在VDSR模型的基礎(chǔ)上提出改進(jìn)。

該模型以插值后的目標(biāo)尺寸低分辨率圖像作為網(wǎng)絡(luò)的輸入,這無疑加大了網(wǎng)絡(luò)的計(jì)算量。為了擁有更大的感受野讓圖像特征提取到更多的細(xì)節(jié),VDSR采用了更深(20層)的網(wǎng)絡(luò)結(jié)構(gòu),為了加速收斂,采用了非常高的學(xué)習(xí)率,使用殘差學(xué)習(xí)來緩解高學(xué)習(xí)率導(dǎo)致的梯度問題。Kim等通過實(shí)驗(yàn)證明了不斷加深網(wǎng)絡(luò)會(huì)帶來感受野的增加,使網(wǎng)絡(luò)能夠捕捉到更加全局的特征,進(jìn)而有益于SR工作中紋理細(xì)節(jié)的恢復(fù)。

雖然Kim等對超分辨重建算法做出了很好的改進(jìn),但其中仍存在著一些影響超分辨率重建質(zhì)量和效率的因素:

1) 對于目標(biāo)尺度系數(shù)n,與插值后的目標(biāo)尺寸LR圖像進(jìn)行卷積的計(jì)算量將是與原始LR圖像進(jìn)行卷積計(jì)算的n2倍,另外,雙三次插值方法不會(huì)帶來額外的有利于解決不適定問題的信息。

2) VDSR及之后提出的一些模型為了獲得更好的性能,不斷深化或拓寬網(wǎng)絡(luò)已經(jīng)成為了一種趨勢,但隨之而來的是龐大的計(jì)算量及網(wǎng)絡(luò)訓(xùn)練困難。

3) LR圖像與HR圖像之間存在許多相似的部分,SR任務(wù)的重點(diǎn)則是恢復(fù)圖片中的紋理細(xì)節(jié)信息,因此應(yīng)該將重點(diǎn)放在擁有高頻細(xì)節(jié)的特征上。VDSR及一些傳統(tǒng)的卷積網(wǎng)絡(luò)認(rèn)為所有空間位置和通道對超分辨率具有統(tǒng)一的重要性,通常采用級聯(lián)網(wǎng)絡(luò)拓?fù)?每一層的特征映射被無區(qū)別地發(fā)送到后續(xù)層,這不利于把注意力集中在更有利于恢復(fù)高頻細(xì)節(jié)的特征上。

針對上述現(xiàn)象,隨著研究的深入,本文對其做出了改進(jìn):

1) 本文方法采用后上采樣代替提前上采樣,以此來降低網(wǎng)絡(luò)運(yùn)算量,這有利于網(wǎng)絡(luò)輕量化的實(shí)現(xiàn)。

2) 在某些情況下,考慮到并非所有特征都是SR所必需的,其重要性各不相同,有選擇地側(cè)重于某些特定特征對更好地恢復(fù)高頻細(xì)節(jié)是有幫助的。由于卷積運(yùn)算是通過混合跨通道和空間信息來提取特征的,所以強(qiáng)調(diào)沿著通道和空間軸這兩個(gè)主要維度的重要特征是有必要的。對空間和通道兩個(gè)維度上的特征響應(yīng)研究[11]允許這種靈活性的產(chǎn)生。提出雙注意力機(jī)制可以自適應(yīng)地重新校準(zhǔn)通道和空間兩個(gè)維度上的特性響應(yīng),提高網(wǎng)絡(luò)的表達(dá)能力,解決深層網(wǎng)絡(luò)中特征不加區(qū)分的向后傳遞的問題。另外該注意力機(jī)制引入的參數(shù)量非常少。融合高效且輕量的雙注意力機(jī)制代替普通卷積塊在保證了網(wǎng)絡(luò)質(zhì)量的情況下進(jìn)一步實(shí)現(xiàn)了輕量化,很好地解決了網(wǎng)絡(luò)加深帶來的訓(xùn)練困難。

3) 用組卷積代替普通卷積已經(jīng)被證明[12]了能夠在性能損失很小的前提下減少大量的網(wǎng)絡(luò)參數(shù),本文方法為了進(jìn)一步實(shí)現(xiàn)網(wǎng)絡(luò)輕量級在特征提取模塊融入了組卷積。

1.1 模型結(jié)構(gòu)

圖1展示了本模型的總體網(wǎng)絡(luò)架構(gòu)。模型由四部分組成,包括三種模塊:增強(qiáng)模塊、特征提取模塊、重建模塊。

圖1 SR-LAM網(wǎng)絡(luò)結(jié)構(gòu)

SR的具體任務(wù)是將原始高分辨率圖像(IHR)進(jìn)行下采樣得到輸入網(wǎng)絡(luò)的低分辨率圖像(ILR),經(jīng)網(wǎng)絡(luò)得到最終的重建后高分辨率圖像(ISR)。其中的下采樣操作其實(shí)是在模擬原始圖像在其獲取、存儲(chǔ)和傳輸過程中存在不可避免的各種圖像退化過程,退化函數(shù)通常是未知的,在目前的SR方法中大多采用雙三次插值對IHR進(jìn)行下采樣預(yù)處理來模擬這個(gè)過程,為了與其他網(wǎng)絡(luò)保持一致,本文也采用此插值方法來處理原始高分辨率圖像。

對于網(wǎng)絡(luò)的輸入圖像,第一部分由一個(gè)增強(qiáng)模塊對LR圖像進(jìn)行淺層特征的提取及校準(zhǔn)。其中增強(qiáng)模塊包含一個(gè)卷積核大小為3×3的卷積層和基于通道和空間的雙注意力模塊。第二部分由5個(gè)包含組卷積的卷積核大小為3×3的特征提取塊堆疊,逐步提取殘差信息。第三部分與第一部分相同,用一個(gè)增強(qiáng)模塊進(jìn)行深層特征提取和重新校準(zhǔn)。最后由重建模塊將信息采用[4]提出的亞像素卷積的方式上采樣到目標(biāo)尺寸并和直接雙三次插值上采樣后的LR圖像融合相加。

1.2 增強(qiáng)模塊

增強(qiáng)模塊由一個(gè)3×3的卷積和一個(gè)基于通道和空間兩個(gè)維度的雙注意力模塊組成。卷積層后面跟著一個(gè)LReLU激活函數(shù),如圖2所示。首先進(jìn)行淺層特征的提取,緊接著對特征進(jìn)行一次校準(zhǔn),讓隨后的特征提取步驟把注意力集中在更有利于恢復(fù)高頻細(xì)節(jié)的特征上。輸出維度為64的特征圖。用公式表示如下:

圖2 增強(qiáng)模塊

Fout=FS(FC(H(Fin)))

(1)

式中:Fin表示輸入;H表示特征提取函數(shù);FC表示通道注意力操作;FS表示空間注意力操作;Fout為增強(qiáng)模塊的輸出。

此注意力模塊是一個(gè)輕量級模塊,在僅引入了1 194個(gè)參數(shù)的情況下提高了網(wǎng)絡(luò)的表達(dá)能力,滿足了對網(wǎng)絡(luò)輕量級的要求。該模塊將注意力的特征細(xì)化應(yīng)用于通道和空間兩個(gè)不同維度,加強(qiáng)了對高頻紋理細(xì)節(jié)的校準(zhǔn)能力,引入該模型使得本網(wǎng)絡(luò)可以在保持較小開銷的同時(shí)獲得有競爭力的重建效果。

在通道注意力子單元中,如圖2所示。對于輸入的特征圖F∈RH×W×C首先使用平均池化和最大池化來聚合特征圖的空間信息,生成兩個(gè)不同的空間上下文信息來分別表示平均池化特征和最大池化特征。接著將兩個(gè)上下文特征分別發(fā)送到共享網(wǎng)絡(luò),共享網(wǎng)絡(luò)由含有一個(gè)隱藏層的MLP組成。之后對MLP輸出的兩個(gè)特征進(jìn)行逐元素求和以及Sigmoid激活操作,生成通道注意力特征圖AC(F),該特征圖和輸入特征圖逐元素相乘得到空間注意力子模塊的輸入特征圖FC,這個(gè)過程可以表示為:

FC=sigmoid(MLP(Avgpool(F))+MLP(Maxpool(F)))

(2)

在空間注意力子單元中,如圖2所示。通道注意力子模塊的輸出Fc即本子模塊的輸入。首先對其沿著通道軸進(jìn)行平均池化和最大池化得到兩個(gè)上下文信息,將得到的兩個(gè)信息基于通道方向做拼接,經(jīng)一個(gè)卷積降維到單通道,然后經(jīng)Sigmoid激活函數(shù)生成最終的空間注意力特征圖。最后將該特征圖與輸入特征圖做乘法得到FS,這個(gè)過程可以表示為:

FS=sigmoid(f7×7(Avgpool(FC);Macpool(FC))

(3)

式中:f7×7為一個(gè)7×7×1的卷積層。

上述過程可以簡潔地概括為:

FC=AC(F)?F

(4)

Fout=FS=AS(FC)?FC

(5)

式中:AC為通道注意力操作;AS為空間注意力操作。

1.3 特征提取

用組卷積代替普通卷積已經(jīng)被證明[12]可以減少大量的參數(shù)和操作,而性能損失很小。為了進(jìn)一步降低網(wǎng)絡(luò)參數(shù),減少網(wǎng)絡(luò)計(jì)算成本。本文在特征提取模塊的第二層引入了組卷積。組卷積可看成是一種稀疏卷積連接的形式。將輸入特征在通道方向上分成若干組,分別對每一組進(jìn)行卷積后在通道方向進(jìn)行拼接。如圖3所示。特征提取模塊由兩個(gè)3×3的卷積層和一個(gè)組卷積塊組成。使用組卷積的優(yōu)勢在于它使模型的效率可調(diào),用戶可適當(dāng)?shù)剡x擇組大小,因?yàn)榻M大小和性能處于權(quán)衡關(guān)系中。本文延續(xù)Ahn等[12]所提出結(jié)論,設(shè)定組卷積的組大小為4。

圖3 特征提取模塊

1.4 重建模塊

早期的上采樣方法大多是采用雙三次插值進(jìn)行提前上采樣,即在網(wǎng)絡(luò)的第一層之前或者第一層對輸入的LR上采樣到與輸出的HR相匹配的尺寸。這種方法顯然會(huì)增加計(jì)算復(fù)雜度,尤其是對于卷積操作,因?yàn)榫矸e網(wǎng)絡(luò)的處理速度直接取決于輸入圖像的分辨率,這不符合本文輕量級網(wǎng)絡(luò)的目標(biāo)。其次,雙三次插值方法不會(huì)帶來額外的有利于解決不適定問題的信息。因此本文沒有延續(xù)VDSR中的提前上采樣操作,而是采用了文獻(xiàn)[4]中提出的亞像素卷積進(jìn)行后上采樣。亞像素卷積通過通道擴(kuò)增和像素點(diǎn)重排來實(shí)現(xiàn)圖像放大。由于輸入的圖片分辨率降低,可以有效地使用較小的卷積核來進(jìn)行特征提取,同時(shí)維持給定的上下文區(qū)域。分辨率和卷積核尺寸的減小也大大降低了計(jì)算量和內(nèi)存的復(fù)雜度。

最后將重建模塊的輸出與經(jīng)上采樣到目標(biāo)尺寸的輸入圖像融合得到最終結(jié)果。

1.5 損失函數(shù)

本文采用峰值信噪比(PSNR)和結(jié)構(gòu)化相似度(SSIM)作為重建的評價(jià)指標(biāo)。PSNR與還包含L1和L2的像素?fù)p失高度相關(guān),像素?fù)p失最小直接最大化PSNR。本文采用L1作為模型的損失函數(shù),L1公式如下:

(6)

2 實(shí)驗(yàn)訓(xùn)練及結(jié)果

2.1 數(shù)據(jù)集

該模型使用DIV2K數(shù)據(jù)集[13]進(jìn)行訓(xùn)練,它包括1 000幅圖像,其中:800幅訓(xùn)練圖像;100幅驗(yàn)證圖像;100幅測試圖像。它是一種新提出的高質(zhì)量圖像數(shù)據(jù)集。由于該數(shù)據(jù)集的豐富性,最近的SR模型[14-16]也使用了DIV2K數(shù)據(jù)集。本文方法在四個(gè)被廣泛使用的標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行評估:Set5、Set14、BSD100、Urban100。

2.2 實(shí)驗(yàn)細(xì)節(jié)

本文使用文獻(xiàn)[17]中提出的Xavier初始化方法進(jìn)行權(quán)重初始化,偏置項(xiàng)初始化為零。使用Adam[18]對網(wǎng)絡(luò)進(jìn)行優(yōu)化。初始學(xué)習(xí)率為:1E-4,最大迭代次數(shù)為10 000,每2 000次迭代學(xué)習(xí)率減半。

本文的實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

2.3 實(shí)驗(yàn)結(jié)果及分析

為了探索通道和空間的注意力機(jī)制對SR任務(wù)的作用,首先將本文模型與剔除掉注意力模塊的NA-SR-LAM進(jìn)行了對比。訓(xùn)練過程如圖4所示,橫軸為訓(xùn)練輪數(shù),縱軸為PSNR值?？梢钥吹桨⒁饬δK的模型訓(xùn)練過程更穩(wěn)定,隨著訓(xùn)練次數(shù)的增加,波動(dòng)逐漸變小。實(shí)驗(yàn)結(jié)果如表2所示。實(shí)驗(yàn)結(jié)果顯示迭代次數(shù)為10 000時(shí),添加了通道和空間注意力的模型較沒有添加的模型在四個(gè)測試數(shù)據(jù)集上的峰值信噪比值分別提高了:0.29 dB,0.27 dB,0.24 dB,0.53 dB。此外,一個(gè)普通的3×3卷積核將引入36 928個(gè)參數(shù),一個(gè)注意力模塊僅引入了1 194個(gè)參數(shù)。綜上所述,通道和空間注意力模塊不僅有利于增強(qiáng)特征表達(dá)能力而且有利于模型的輕量化。

表2 SR-LAM與無注意力的SR-LAM對比

圖4 SR-LAM與無注意力的SR-LAM對比(S=2)

表3展示了迭代次數(shù)為3 000時(shí),Set14數(shù)據(jù)集上有無組卷積情況下模型參數(shù)量以及PSNR的對比。其中N-Group表示用普通卷積來代替特征提取模塊中組卷積。

表3 SR-LAM與無組卷積的SR-LAM對比

由表3可知,融合組卷積的模型與未應(yīng)用組卷積的模型在PSNR上僅相差0.01 dB,但參數(shù)量卻比未應(yīng)用組卷積的模型降低了將近23%,因此引入組卷積是實(shí)現(xiàn)該模型輕量化的有效措施。

本文提出的改進(jìn)策略在不同程度上都對網(wǎng)絡(luò)的輕量化做出了一定貢獻(xiàn),為了進(jìn)一步直觀展示本文算法是否更好地平衡了模型復(fù)雜度與重建效果,本文對近年來基于深度學(xué)習(xí)的經(jīng)典超分辨率算法進(jìn)行了對比實(shí)驗(yàn)。實(shí)驗(yàn)條件:目標(biāo)尺度系數(shù)(S)為4,數(shù)據(jù)集為Set14。

選取的對比算法有:SRCNN[3]、LapSRN[19]、FSRCNN[20]、VDSR[5]、DRRN[6]、IDN[16]、本文提出的SR-LAM算法:SRCNN模型采用三層卷積神經(jīng)網(wǎng)絡(luò)對特征提取、非線性映射和圖像重建階段進(jìn)行端到端的聯(lián)合優(yōu)化;FSRCNN方法將SRCNN的提前上采樣改為了后上采樣,并且用8個(gè)小尺寸的卷積核來代替之前的大卷積核,降低了計(jì)算復(fù)雜度,重建效果略有提升;VDSR將網(wǎng)絡(luò)加深到20層以提高圖像重建效果;DRRN延續(xù)了VDSR更深的網(wǎng)絡(luò)層次重建效果更好的思想,將網(wǎng)絡(luò)加深到52層,重建效果略有提升,模型參數(shù)量也有所下降;LapSRN方法對原始LR圖像先生成低倍放大圖像,再逐步細(xì)化生成高倍放大的圖像,很好地改善了放大倍數(shù)高的復(fù)雜度問題;IDN直接從LR圖像提取特征,減少了模型計(jì)算量,受到注意力思想的影響,作者提出了可提高網(wǎng)絡(luò)表達(dá)能力、壓縮特征冗余信息的蒸餾模塊,通過對此模塊的疊加在一定程度上提高了網(wǎng)絡(luò)重建效果。

實(shí)驗(yàn)結(jié)果如圖5所示,其中橫軸表示算法所需參數(shù)量,縱軸為重建效果評價(jià)指標(biāo)PSNR,不同大小的圓點(diǎn)代表不同算法所需參數(shù)量。結(jié)果表明:本文提出的方法更好地兼顧了重建效果與模型復(fù)雜性。與重建效果相當(dāng)?shù)腎DN、LapSRN相比,本文所提出的模型更加簡潔,參數(shù)量更少。在模型參數(shù)量方面,SR-LAM的重建效果遠(yuǎn)好于參數(shù)量相當(dāng)?shù)腄RRN。對比基礎(chǔ)模型VDSR,其參數(shù)量是本文所提方法的1.5倍。

圖5 不同算法在Set14數(shù)據(jù)集上的PSNR及參數(shù)個(gè)數(shù)對比(S=4)

圖6直觀地對比了目標(biāo)重建系數(shù)為2的comic圖像的重建效果。對比Bicubic、SRCNN、VDSR、IDN方法,本文方法視覺上手指邊緣以及流水的線條都更加清晰,這是因?yàn)楸疚膶⒏嗟淖⒁饬Ψ旁诹烁哳l信息,因此本方法對線條以及高頻信息的重建效果更好、紋理更加清晰。

圖6 不同方法對comic重建的視覺效果對比(S=2)

表4顯示了最近基于CNN的SR方法的性能和模型大小。選取的算法包括:LapSRN[19]、IDN[16]、RCAN[21]、SAN[22]。本文提出的SR-LAM較LapSRN和IDN擁有更少的參數(shù)和更好的性能。雖然RCAN和SAN性能略勝,但其付出的代價(jià)特別大,二者平均參數(shù)量是本文所提方法的32倍。

表4 參數(shù)及性能比較(Set14)

表5客觀地對比了本文方法與其他五種經(jīng)典方法(雙三次插值(Bicubic)、SRCNN、FSRCNN、VDSR、IDN)在不同上采樣倍數(shù)下的PSNR以及SSIM。

表5 本文方法(SR-LAM)與其他方法結(jié)果比較

結(jié)果顯示本文模型取得了具有競爭力的結(jié)果:與基礎(chǔ)模型VDSR相比,在S分別等于2、3、4的情況下,四個(gè)測試數(shù)據(jù)集上的PSNR值平均提高了0.273 dB、0.253 dB、0.295 dB,SSIM值平均提高了0.003、0.005、0.008;與先進(jìn)的IDN模型相比,在Set14和Urban100數(shù)據(jù)集上本文方法取得了更好的結(jié)果,而且通過對比圖6(e)和圖6(f)可以發(fā)現(xiàn),本文方法對手指及指甲處的邊緣恢復(fù)得更為清晰,視覺效果更好,與原圖像也更加相似。

3 結(jié) 語

本文提出一個(gè)簡潔、輕量、便于在移動(dòng)端使用的超分辨率重建模型:SR-LAM。方法上主要通過:融合高效且輕量的雙注意力機(jī)制代替普通卷積塊、采用后上采樣方法來代替提前上采樣、引入部分組卷積的方式,使模型能夠在擁有少量網(wǎng)絡(luò)參數(shù)的情況下達(dá)到一個(gè)有競爭力的重建效果。實(shí)驗(yàn)結(jié)果證明,對比重建效果相當(dāng)?shù)南冗M(jìn)模型,本文方法僅使用了其1/2,甚至更少的參數(shù)量。因此可以說本文模型更好地平衡了模型復(fù)雜度與重建效果。后續(xù)將進(jìn)一步研究如何將這種高效、簡潔的網(wǎng)絡(luò)用于視頻超分辨率領(lǐng)域。