趙小強(qiáng) 李希堯 宋昭漾

單圖像超分辨率(Single Image Super-Resolu-tion, SISR)技術(shù)是從低分辨率(Low-Resolution, LR)圖像恢復(fù)相應(yīng)高分辨率(High-Resolution, HR)圖像,該技術(shù)在視頻監(jiān)控[1]、醫(yī)學(xué)診斷[2]、圖像檢測[3]、遙感成像[4]等領(lǐng)域具有廣泛應(yīng)用.單圖像超分辨率過程是一個典型病態(tài)逆問題,即一個輸入LR圖像映射輸出的HR圖像有多個,受重建方式的影響,往往會出現(xiàn)邊緣偽影、細(xì)節(jié)模糊、像素丟失等問題.為了解決上述問題,學(xué)者們提出許多超分辨率(Super-Resolution, SR)方法,主要包括基于插值的方法[5-6]、基于重建模型的方法[7-8]、基于學(xué)習(xí)的方法[9](如流行學(xué)習(xí)、稀疏編碼).然而這些方法大多提取圖像底層特征以重建高分辨率圖像,大幅限制圖像的重建效果.

近年來,深度學(xué)習(xí)技術(shù)的進(jìn)步大幅推進(jìn)計算機(jī)視覺領(lǐng)域的發(fā)展.相比傳統(tǒng)方法,深度學(xué)習(xí)方法可以通過訓(xùn)練提取具有表達(dá)能力的圖像特征,自適應(yīng)地調(diào)整映射函數(shù),直接學(xué)習(xí)LR圖像和HR圖像之間端到端的映射關(guān)系,表現(xiàn)出解決SISR問題的極大優(yōu)勢.Dong等[10]將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)應(yīng)用到超分辨率重建領(lǐng)域,提出SRCNN(Super-Resolution CNN),利用3層CNN得到比傳統(tǒng)方法更優(yōu)的重建效果,但SRCNN引入額外計算成本,且3層CNN提取的圖像信息有限.針對上述問題,Dong等[11]提出FSRCNN(Fast SRCNN),使用反卷積代替Bicubic進(jìn)行圖像特征上采樣,并構(gòu)建8個卷積層的神經(jīng)網(wǎng)絡(luò).

隨后,在此基礎(chǔ)上,研究者設(shè)計更深的或更寬的網(wǎng)絡(luò)模型,提高SR方法的性能.雖然更深的網(wǎng)絡(luò)會帶來更豐富的上下文信息,但網(wǎng)絡(luò)的不斷加深會帶來梯度消失問題,導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練.為此,Kim等[12]采用殘差網(wǎng)絡(luò),提出VDSR,構(gòu)建一個20層的深度網(wǎng)絡(luò),增強(qiáng)淺層特征與深層特征之間的信息交流.Lim等[13]提出EDSR(Enhanced Deep Super-Re-solution Network),移除不適應(yīng)SR方法等低級計算機(jī)視覺任務(wù)的BN(Batch Norm)層.Li等[14]提出MSRN(Multi-scale Residual Network),采用多尺度特征融合和局部殘差學(xué)習(xí),最大限度地利用LR圖像特征.Tai等[15]使用記憶模塊和門控單元,構(gòu)建MemNet(Very Deep Persistent Memory Network),使用遞歸堆疊和密集連接,增強(qiáng)信息在不同記憶單元間的流動.

盡管上述方法取得較優(yōu)的重建效果,但都是通過增大網(wǎng)絡(luò)深度或連接復(fù)雜度為代價實現(xiàn)的,這往往會導(dǎo)致網(wǎng)絡(luò)參數(shù)量、內(nèi)存消耗和訓(xùn)練時間的增加,限制在現(xiàn)實場景的使用.為了減少內(nèi)存與計算負(fù)擔(dān),研究者提出許多更高效的輕量化超分辨率模型.Kim等[16]提出DRCN(Deeply-Recursive Convolutional Network),引入遞歸網(wǎng)絡(luò),使用一個卷積層作為遞歸,用循環(huán)層代替卷積層堆疊,從而在不引入額外參數(shù)的同時實現(xiàn)權(quán)值共享.Tai等[17]提出DRRN(Deep Recursive Residual Network),采用遞歸學(xué)習(xí),引入局部殘差學(xué)習(xí)與全局殘差學(xué)習(xí),組成遞歸殘差塊,提升重建質(zhì)量.Zhu等[18]提出CBPN(Compact Back-Projection Network),通過上下采樣層級聯(lián)操作,提取低分辨率圖像與高分辨率圖像之間的特征信息.Ahn 等[19]提出CARN(Cascading Residual Network),構(gòu)建一個級聯(lián)的殘差網(wǎng)絡(luò),學(xué)習(xí)多層級的特征,使信息傳遞更高效.Hui等[20]為了提高計算速度,從特征圖通道維度考慮,提出IDN(Information Distillation Network),引入蒸餾塊,將特征映射分為增強(qiáng)單元和壓縮單元,對增強(qiáng)單元進(jìn)行局部長路徑特征提取后結(jié)合壓縮單元,融合局部特征與全局特征,提高網(wǎng)絡(luò)表達(dá)能力.Hui等[21]又在IDN的基礎(chǔ)上,提出IMDN(Lightweight Information Multi-distillation Network),在一個網(wǎng)絡(luò)模塊中多次分層使用蒸餾機(jī)制,同時實現(xiàn)性能與實時性,并提出一種基于對比度感知的通道注意力,進(jìn)一步提升SR方法性能.但是IMDN并未充分考慮身份連接對網(wǎng)絡(luò)性能的影響,且忽略輕量化網(wǎng)絡(luò)中卷積自身的輕量化對降低參數(shù)的作用.

由于上述蒸餾網(wǎng)絡(luò)中的蒸餾機(jī)制使用標(biāo)準(zhǔn)卷積作為濾波方式,在輕量化網(wǎng)絡(luò)中,為了保持低參數(shù)量與高性能,采用更輕量的卷積方式以及合理高效的全局或局部連接方式尤為重要.針對上述問題,本文提出輕量化逆可分離殘差信息蒸餾網(wǎng)絡(luò)(Light-weight Inverse Separable Residual Information Distilla-tion Network, LIRDN).首先,提出一個逆可分離復(fù)原淺殘差單元(Inverse Separable Recovery Shallow Residual Cell, IRC),通過交換可分離卷積的前向傳遞與特征融合方式,適應(yīng)通道分離與維度恢復(fù).再提出一個漸進(jìn)可分離蒸餾重洗模塊(Progressive Sepa-rable Distillation Shuffle Module, PDSM),采用IRC作為多重漸進(jìn)蒸餾的主要提取單元,引入通道重洗[22]操作,并通過設(shè)計的連接方式有效減少卷積數(shù)量,降低網(wǎng)絡(luò)參數(shù)量.然后,提出對比感知坐標(biāo)注意力模塊(Contrast Perception Coordinate Attention Mo-dule, CPCA),促進(jìn)對比度通道注意力關(guān)注位置信息,增強(qiáng)網(wǎng)絡(luò)的特征選擇能力.最后,設(shè)計逐步補(bǔ)償殘差連接(Progressive Compensation Residual Connec-tion, PCR),提高淺層特征的利用率,平衡模型復(fù)雜度與性能,豐富提取的圖像信息.

1 相關(guān)知識

1.1 信息蒸餾機(jī)制

當(dāng)前的大多數(shù)SR模型在提升性能的同時往往會引入大量的計算成本,限制SR模型的實際應(yīng)用.因此,研究者提出許多高效的輕量模型.大多數(shù)輕量化通過模型剪枝、參數(shù)量化、知識蒸餾等方法實現(xiàn).信息蒸餾機(jī)制(Information Distillation Mechanism, IDM)是一種基于蒸餾的模型壓縮方法,自提出以來應(yīng)用于許多輕量化網(wǎng)絡(luò).該機(jī)制對圖像特征采用逐層逐步的方式提取以實現(xiàn)輕量化,將前路提取的特征分為兩部分,一部分保留,另一部分進(jìn)一步提取細(xì)化.經(jīng)過蒸餾后的短路徑信息如下所示:

其中,GP表示特征信息輸入多卷積層提取的信息,r表示蒸餾率,S(·)表示通道切片操作.長路徑保留的特征信息為:

雖然IDM給網(wǎng)絡(luò)結(jié)構(gòu)帶來靈活性,但設(shè)計缺乏有效性,未能有效利用蒸餾機(jī)制優(yōu)化身份連接.此后Hui等[21]提出IMDN,實現(xiàn)重建質(zhì)量和推理速度之間較好地平衡.IMDN設(shè)計IMDB模塊(Information Multi-distillation Block),優(yōu)化身份連接.

IMDB模塊結(jié)構(gòu)如圖1所示.核心是一個PRM

圖1 IMDB結(jié)構(gòu)圖[25]

(Progressive Refinement Module),包含多個不同層級的信息蒸餾操作,每個層級的信息蒸餾首先使用3×3卷積層提取后續(xù)多個蒸餾的輸入特征.對于層級i(i=1,2,3,4),對傳入的特征采用信道拆分操作,將輸入特征分為2部分:一部分保留特征信息,另一部分傳入下一層計算單元繼續(xù)蒸餾操作.在最后一層采用1×1卷積進(jìn)行通道濾波.雖然IMDB取得較優(yōu)效果,但還存在結(jié)構(gòu)冗余,以及未使用輕量化卷積導(dǎo)致計算量較大的問題.若可以采用更輕量的卷積方式與更合理的身份連接,仍能進(jìn)一步提高SR模型性能.

1.2 注意力機(jī)制

注意力機(jī)制是一種高效的特征選擇機(jī)制,通過生成注意力權(quán)重函數(shù),使提取圖像信息時能夠重點(diǎn)關(guān)注特征顯著區(qū)域,略去冗余特征.該機(jī)制由于提升提取特征的準(zhǔn)確性且只增加少量參數(shù),因而被廣泛應(yīng)用于各種視覺任務(wù).Hu等[23]提出SENet(Squeeze-and-Excitation Networks),調(diào)整網(wǎng)絡(luò)特征信息的通道關(guān)注度,使網(wǎng)絡(luò)關(guān)注有用特征,提高對計算資源的有效利用.在超分辨率重建領(lǐng)域,Zhang等[24]提出RCAN(Very Deep Residual Channel Attention Networks),引入通道注意力,并加入殘差提取,使網(wǎng)絡(luò)根據(jù)每個通道的圖像信息學(xué)習(xí)對應(yīng)注意力權(quán)重.Lu等[25]同時采用空間注意力與通道注意力,對空間維度和通道維度進(jìn)行注意力學(xué)習(xí).Zhao等[26]提取像素注意力(Pixel Attention, PA),生成3個維度注意力特征,并引入較少的附加參數(shù),提高重建性能.

2 輕量化逆可分離殘差信息蒸餾網(wǎng)絡(luò)的圖像超分辨率重建算法

基于深度學(xué)習(xí)的圖像超分辨率重建算法隨著軟硬件的提升得到良好的發(fā)展,通過復(fù)雜的結(jié)構(gòu)以及深度網(wǎng)絡(luò),能夠增加圖像的感受野,從而獲得較好的重建效果,但還存在加深堆疊[13]與復(fù)雜的殘差跳線連接[27],會造成計算成本較大、網(wǎng)絡(luò)參數(shù)較多等問題,無法很好地應(yīng)用于移動設(shè)備.為了在控制運(yùn)算成本的同時提升網(wǎng)絡(luò)性能,近年來學(xué)者們提出許多優(yōu)秀的解決方案,主要包括設(shè)計高效的模型結(jié)構(gòu)、改進(jìn)CNN架構(gòu)、模型壓縮、使用注意力機(jī)制等.這些工作表明,通過網(wǎng)絡(luò)改進(jìn)的方法能夠?qū)崿F(xiàn)模型性能與模型復(fù)雜度間的平衡.

2.1 輕量化逆可分離殘差信息蒸餾網(wǎng)絡(luò)

為了構(gòu)建更強(qiáng)大、輕量以及快速的SR模型,本文基于信息蒸餾機(jī)制,提出LIRDN的圖像超分辨率重建算法.算法由3部分組成:淺層特征提取、深層特征提取和圖像超分辨率重建,具體結(jié)構(gòu)如圖2所示,圖中ILR和ISR分別表示網(wǎng)絡(luò)的輸入和輸出.

圖2 LIRDN的圖像超分辨率重建算法結(jié)構(gòu)圖

給定低分辨率圖像被饋入網(wǎng)絡(luò)時,首先通過標(biāo)準(zhǔn)3×3卷積進(jìn)行淺層特征提取,得到圖像初始特征信息:

F0=f0(ILR),

其中f0(·)表示淺層特征提取操作.

然后,為了獲得深層特征信息,將淺層特征信息傳遞到逆可分離殘差信息蒸餾模塊.在該模塊中,使用4個輕量化逆可分離殘差信息蒸餾組(Lightweight Inverse Separable Residual Information Distillation Groups, LIRDG)模塊與1個輕量化特征降維(Light-

weight Feature Dimension Reduction, LFDR)模塊進(jìn)行特征提取,采用逐步補(bǔ)償殘差連接(PCR)融合5個模塊的特征信息,用于后續(xù)圖像重建.由此得到深層特征提取的圖像特征:

FLD=NPCR{FIRG1,FIRG2,FIRG3,FIRG4,HFC},

其中,FIRGi(i=1,2,3,4)表示第i個LIRDG模塊進(jìn)行特征提取,HFC表示特征降維操作,NPCR{·}表示采用PCR連接融合上述5個模塊的操作.再將FLD輸入上采樣模塊,得到期望放大倍數(shù)的SR特征圖像:

FUP=HUP(FLD),

其中HUP(·)表示上采樣模塊.最后,將FUP傳入重建模塊,得到重建獲得的精細(xì)SR圖像:

ISR=HRE(FUP),

其中HRE(·)表示重建映射函數(shù).

2.2 輕量化逆可分離殘差信息蒸餾塊

2.2.1 逆可分離復(fù)原淺殘差單元

深度可分離卷積是一種非常有效的輕量化卷積,通過對標(biāo)準(zhǔn)卷積步驟的拆解,以一個深度卷積和一個逐點(diǎn)卷積組合的方式實現(xiàn)與標(biāo)準(zhǔn)卷積同等的效果.深度可分離卷積結(jié)構(gòu)如圖3所示,相比標(biāo)準(zhǔn)卷積操作,具有更小的參數(shù)量和更低的計算成本,因此被廣泛應(yīng)用于各類深度卷積網(wǎng)絡(luò)中.

圖3 深度可分離卷積結(jié)構(gòu)圖

雖然深度可分離卷積對網(wǎng)絡(luò)輕量化具有一定優(yōu)勢,但對信息蒸餾網(wǎng)絡(luò)這類需要信道拆分的網(wǎng)絡(luò),并不能較好地平衡參數(shù)量與重建效果,若采用卷積方式將信道拆分為兩部分,會引入冗余卷積,增加參數(shù)量.通過分解可分離卷積發(fā)現(xiàn),分組卷積要兼顧組數(shù),不能隨意更改輸出特征維度大小,但逐點(diǎn)卷積卻沒有維度限制,因此,考慮信道拆分對蒸餾機(jī)制的必要性,本文將深度可分離卷積的逐點(diǎn)卷積提到分組卷積之前,提出逆可分離復(fù)原淺殘差單元(IRC),結(jié)構(gòu)如圖4所示.

圖4 IRC結(jié)構(gòu)圖

相比深度可分離卷積采用分組卷積對每個通道卷積,再采用逐點(diǎn)卷積對整個通道維度加權(quán)聚合,IRC通過逐點(diǎn)卷積壓縮通道維度,在低通道維度下采用分組卷積對每條輸入通道進(jìn)行卷積濾波,然后采用通道合并操作對濾波后的信息進(jìn)行補(bǔ)充,在每個IRC內(nèi)部實現(xiàn)特征的壓縮與擴(kuò)充,并且復(fù)原的通道維度可以直接參與下層的蒸餾.這種逆向可分離的卷積方式通過逐點(diǎn)卷積將降維特征映射直接傳入PDSM的末端,有效避免引入另一支路卷積帶來的計算量.逐點(diǎn)相加操作促進(jìn)多通道特征信息的融合,豐富特征圖像的細(xì)節(jié)信息.通道降維下的分組卷積運(yùn)算保證更小的計算量,便于更快速地融合特征.

為了不增加額外的卷積進(jìn)行通道復(fù)原,本文改進(jìn)深度可分離卷積的特征融合方式,用通道維度拼接操作(concat)代替逐像素相加聚合操作(add)聚合特征,這種代替方式保持輸入輸出通道的一致性.

2.2.2 漸進(jìn)可分離蒸餾重洗模塊

直接將標(biāo)準(zhǔn)卷積替換為可分離卷積會帶來身份連接不夠高效、蒸餾特性發(fā)揮不夠充分等問題.為了解決上述問題,本文提出逆可分離卷積方式,結(jié)合蒸餾機(jī)制,設(shè)計漸進(jìn)可分離蒸餾重洗模塊(PDSM),結(jié)構(gòu)如圖5所示.PDSM將IRC作為后續(xù)多層漸進(jìn)蒸餾過程的主要提取單元,對于每一層漸進(jìn)蒸餾,IRC對輸入特征采用信道拆分操作,將輸入特征分為兩部分:保留部分保留本層蒸餾獲取的特征信息,漸進(jìn)蒸餾部分送入下一層繼續(xù)進(jìn)行蒸餾操作.第i(i=1,2,3,4)個保留部分特征信息如下:

圖5 PDSM結(jié)構(gòu)圖

通道重洗考慮到分組卷積只在組內(nèi)進(jìn)行卷積運(yùn)算,忽略組與組之間的信息交流.利用通道重洗能夠增強(qiáng)特征信息的組間聯(lián)系,在一定的計算量下,允許更多的通道重洗以獲取更豐富的信息.通道重洗模塊主要通過通道分割、通道重洗和通道合并三種操作提高特征提取能力,其將通道分割為不同的通道組,再通過通道重洗將各個通道組打亂,對打亂后的通道組特征在提取后進(jìn)行通道合并,獲取更多的組間特征.

分組卷積是通過犧牲通道組之間信息傳遞降低計算復(fù)雜度的,并不利于深度網(wǎng)絡(luò)中通道間的信息交流.相比直接使用可分離卷積,PDSM在每層IRC中的分組卷積末端饋入通道重洗,有效促進(jìn)通道與通道間的信息流動,而這種流動正是分組卷積缺乏的,因此饋入通道重洗可以實現(xiàn)多樣化的特征融合,提高網(wǎng)絡(luò)的表征能力.

最后,將所有提取的特征融合作為PDSM的輸出:

其中concat(·)表示通道維度的合并操作.

2.2.3 對比度感知坐標(biāo)注意力模塊

近年來,許多基于CNN的SISR,通過引入注意力以提升網(wǎng)絡(luò)的表征能力,然而,一種注意力機(jī)制只能關(guān)注特征圖的某一層面,限制網(wǎng)絡(luò)性能.CCA

(Contrast-Aware Channel Attention)是一種用于低級別視覺任務(wù)的注意力結(jié)構(gòu),相比使用每個通道維度平均值獲得注意力權(quán)重的通道注意力,CCA通過平均值和標(biāo)準(zhǔn)偏差總和的對比度信息代替全局平均池化,能靈活提取有用的紋理邊緣信息.輸出的第c個元素為:

其中Ggc(xc)表示全局對比度信息評估函數(shù).

文獻(xiàn)[28]和文獻(xiàn)[29]證實CCA的有效性,考慮到位置信息在通道信息提取過程的重要性,為了獲得更廣區(qū)域信息而避免引入過多開銷,本文設(shè)計對比度感知坐標(biāo)注意力模塊(CPCA),結(jié)構(gòu)如圖6所示.坐標(biāo)注意力[30]將通道注意力沿空間的水平方向和垂直方向分解為兩個一維特征編碼過程,沿空間方向分別聚合特征,其優(yōu)勢在于兩個方向編碼時,可以沿一個方向提取長距離依賴關(guān)系,同時沿另一方向保存精確的特征位置信息,從而得到一對對方向感知和位置敏感的注意力圖,使模型更準(zhǔn)確地定位識別感興趣特征.將坐標(biāo)注意力捕獲的特征傳入CCA,對位置敏感信息進(jìn)行進(jìn)一步提取,獲得其通道關(guān)注信息,并通過殘差連接,聚合雙注意力提取的特征與輸入特征,得到輸出特征.

圖6 CPCA結(jié)構(gòu)圖

2.2.4 輕量化逆可分離殘差信息蒸餾塊

輕量化逆可分離殘差信息蒸餾塊(Lightweight Inverse Separable Residual Information Distillation Blocks, LIRDB)主要包括漸進(jìn)可分離蒸餾重洗模塊(PDSM)、局部特征融合單元與對比度感知坐標(biāo)注意力模塊(CPCA)3部分,結(jié)構(gòu)如圖7所示.

圖7 LIRDB結(jié)構(gòu)圖

提取上述3部分的特征,通過端到端連接實現(xiàn)多樣化融合.漸進(jìn)可分離蒸餾重洗模塊獲得輕量化的特征蒸餾信息后,局部特征融合單元采用1×1卷積,恢復(fù)concat擴(kuò)展的通道維數(shù),將恢復(fù)為初始輸入通道維數(shù)的特征圖傳入對比度感知坐標(biāo)注意力模塊進(jìn)行交互,以便更精確地對感興趣特征信息融合.局部特征融合單元恢復(fù)維度后的特征為:

其中HCPAM(·)表示特征通過對比度感知坐標(biāo)注意力模塊.

2.3 輕量化逆可分離殘差信息蒸餾組

自殘差網(wǎng)絡(luò)提出以來,殘差連接一直作為一種基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于各種SR網(wǎng)絡(luò)中,本文提出LIRDG.LIRDG由4個LIRDB模塊與1個LFDR模塊使用PCR連接的方式構(gòu)成,如圖2所示.LFDR模塊采用1×1卷積端到端連接3×3卷積組成,1×1卷積用作LIRDB模塊降維,3×3卷積細(xì)化特征.PCR連接是一種高效的連接方式,受DenseNet連接的影響,若對每層的輸入特征信息都考慮之前全部層的映射,則每層都加強(qiáng)對之前層的特征重用,保證網(wǎng)絡(luò)最大的信息流通,但當(dāng)層結(jié)構(gòu)復(fù)雜化時,DenseNet連接帶來的計算量和參數(shù)量是都陡增的.考慮LIRDB的特性,本文提出PCR連接,由于初始傳入網(wǎng)絡(luò)的特征包含更多的前層信息,將其傳入LIRDG的每層,可以最大程度地保留前層信息,對于第2、3層輸出,不引入自殘差,而通過跨層跳躍連接將第2層的輸入傳入第3層尾端聚合,從而減少殘差跳線次數(shù).這一連接方式具體過程如下,第i(i=1,2,3,4,5)個LIRDB模塊輸出特征如下所示:

2.4 損失函數(shù)

3 實驗及結(jié)果分析

3.1 實驗設(shè)置

在訓(xùn)練階段,本文使用DIV2K數(shù)據(jù)集[31]作為訓(xùn)練數(shù)據(jù)集.DIV2K數(shù)據(jù)集包含1 000幅2 000分辨率的RGB圖像,其中800幅圖像用于訓(xùn)練.LR圖像由HR圖像的雙三次下采樣得到,對訓(xùn)練數(shù)據(jù)集進(jìn)行90°、180°、270°旋轉(zhuǎn)和隨機(jī)水平翻轉(zhuǎn)以增強(qiáng)數(shù)據(jù).將LR圖像裁剪成尺寸為48×48的圖像塊,將HR圖像裁剪成尺寸為48s×48s的圖像塊,其中s表示放大因子.

本文采用Set5[32]、Set14[33]、BSD100[34]、Urban-

100[35]這4個常用的標(biāo)準(zhǔn)測試數(shù)據(jù)集.

本文所有實驗基于RGB三通道,測試時將圖像色彩空間從RGB轉(zhuǎn)換到Y(jié)CbCr,在Y通道上分別評估峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)[36]和結(jié)構(gòu)相似度(Structural Similarity, SSIM)[37].

LIRDN使用Adam(Adaptive Moment Estimation)優(yōu)化,網(wǎng)絡(luò)權(quán)重更新時,指數(shù)衰減率設(shè)為β1=0.9,β2=0.999,數(shù)值穩(wěn)定常數(shù)ε=10-8.使用L1作為損失函數(shù),訓(xùn)練迭代輪次為1 000,批處理大小為16,學(xué)習(xí)率為10-4,每200個迭代輪次學(xué)習(xí)率減半.LIRDB參數(shù)設(shè)置如表1所示.

表1 LIRDB參數(shù)設(shè)置

實驗網(wǎng)絡(luò)框架搭建、訓(xùn)練和測試都在Ubuntu18.04系統(tǒng)上進(jìn)行,編程平臺采用Pytorch1.2.實驗GPU為NVIDIA GeForce RTX2080Ti,顯存為11 GB,CPU為Inter(R)Core(TM)i9-9900K,內(nèi)存為64 GB.

3.2 消融實驗

為了驗證LIRDN的有效性,本文設(shè)計多組消融實驗.

3.2.1 不同模塊對重建結(jié)果的影響

為了驗證LIRDN各部分性能,將LIRDN按具體功能劃分為通道重洗模塊、對比度感知坐標(biāo)注意力模塊、逐步補(bǔ)償殘差連接三類.所有實驗均保持400個訓(xùn)練批次,每個實驗保持相同的蒸餾率和分組卷積分組數(shù),放大倍數(shù)為4,在Set5數(shù)據(jù)集上對比平均PSNR值,結(jié)果如表2所示.在表中,√表示使用結(jié)構(gòu),×表示不使用結(jié)構(gòu),以不包含通道重洗模塊、對比度感知坐標(biāo)注意力模塊、逐步補(bǔ)償殘差連接為基準(zhǔn)網(wǎng)絡(luò).

表2 放大倍數(shù)為4時各模塊的PSNR值對比

由表2可知,在基準(zhǔn)網(wǎng)絡(luò)中分別增加三模塊之一,對應(yīng)的PSNR值均高于基準(zhǔn)網(wǎng)絡(luò),表明增加的模塊對提升性能具有一定作用.加入任意2個模塊,對應(yīng)PSNR值高于加入1個模塊時的PSNR,表明模塊疊加能提升網(wǎng)絡(luò)效果.例如,在對比度感知坐標(biāo)注意力模塊的基礎(chǔ)上增加逐步補(bǔ)償殘差連接,PSNR可以提升0.03 dB,由此可知,逐步補(bǔ)償殘差連接提升淺層特征的利用率,減少圖像低頻信息的損失,對網(wǎng)絡(luò)性能提升具有積極作用.最后一行為LIRDN,PSNR進(jìn)一步提升,比基準(zhǔn)網(wǎng)絡(luò)增加0.15 dB,表明同時使用3種模塊能提高超分辨率重建的圖像質(zhì)量.

3.2.2 蒸餾方式的影響

為了探索蒸餾方式對模型重建效果的影響,本文對比IRC與帶殘差的可分離卷積.訓(xùn)練批次為200,結(jié)果如表3所示.由表可以看出,IRC的平均PSNR值都有所提升,并且參數(shù)量更小,說明IRC更有利于挖掘圖像的淺層特征.

表3 蒸餾方式對算法性能的影響

3.2.3 卷積方式的影響

為了分析卷積方式對模型重建效果的影響,將LIRDN與標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)、無蒸餾的標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)進(jìn)行對比,訓(xùn)練批次為500,結(jié)果如表4所示,表中黑體數(shù)字表示最優(yōu)值.

表4 卷積方式對算法性能影響

由表4可知,LIRDN與對比網(wǎng)絡(luò)的平均PSNR值相近,但所需參數(shù)量較少,說明逆可分離構(gòu)建的LIRDN既可以實現(xiàn)網(wǎng)絡(luò)輕量化,也保持網(wǎng)絡(luò)性能.

3.2.4 連接方式的影響

為了驗證不同連接方式對圖像超分辨率重建算法性能的影響,本文以DenseNet密集連接為基礎(chǔ)連接方式,逐層減少殘差連接.由于LIRDB具有殘差結(jié)構(gòu),本文將跨2個及以上的LIRDB的殘差連接作為基礎(chǔ)殘差結(jié)構(gòu),同時考慮低頻信息對重建的重要性,更多地保留初始模塊處的殘差連接,將末端模塊的殘差連接逐層刪減,減少的末端殘差連接個數(shù)記為Q,Q=0,1,2,3.平均PSNR結(jié)果如表5所示,表中黑體數(shù)字表示最優(yōu)值.

表5 連接方式對算法性能的影響

由表5可以看出,隨著末端殘差跳躍連接的減少,算法性能發(fā)生變化,Q=0時表示全部前端LIRDB模塊跳躍連接引入末端,即跨2個LIRDB的密集連接,Q=3時表示末端不引入跳躍連接,其中Q=3時結(jié)果最佳.本文將Q=3時的方式作為LIRDN的連接方式,并將其記為PCR連接.

3.3 對比實驗

為了驗證LIRDN的有效性,在4個標(biāo)準(zhǔn)測試數(shù)據(jù)集上開展大量實驗,進(jìn)行客觀定量和主觀視覺效果的對比.

主要對比方法包括:Bicubic、SRCNN[10]、FSR-CNN[11]、VDSR[12]、MSRN[14]、DRCN[16]、DRRN[17]、CBPN[18]、CARN[19]、IMDN[21]、LapSRN(Laplacian Pyra-mid Super-Resolution Network)[38]、SMSR(Sparse Mask SR Network)[39]、LCRCA(Lightweight Skip Concatenated Residual Channel Attention Network)[40]、FCCSR(Feature Cheap Convolution SR)[41]、LFFN(Lightweight Feature Fusion Network)[42].

3.3.1 客觀定量對比

放大倍數(shù)為2、3、4時的定量對比結(jié)果如表6～表8所示,表中黑體數(shù)字表示最優(yōu)值,斜體數(shù)字表示次優(yōu)值.

表6 放大倍數(shù)為2時各算法在4個數(shù)據(jù)集上的定量評估結(jié)果

表7 放大倍數(shù)為3時各算法在4個數(shù)據(jù)集上的定量評估結(jié)果

表8 放大倍數(shù)為4時各算法在4個數(shù)據(jù)集上的定量評估結(jié)果

由表6～表8可知,LIRDN在放大倍數(shù)為3、4時都得到最優(yōu)或次優(yōu)的結(jié)果,特別地,在放大倍數(shù)為4時,LIRDN在Set5、Set14、Urban100、B100數(shù)據(jù)集上平均PSNR分別提升0.11 dB,0.06 dB、0.03 dB,0.13 dB.相比IMDN,LIRDN在Set5數(shù)據(jù)集上,放大倍數(shù)為2,3,4時,PSNR分別提高0.07 dB,0.12 dB,0.12 dB.

放大倍數(shù)為4時各算法在Set5測試集上的平均PSNR值和參數(shù)量的對比如圖8所示.由圖可見,LIRDN的性能和參數(shù)量具有更好的平衡.相比MSRN,LIRDN在保證相近甚至略有提高的平均PSNR值和SSIM值的同時,參數(shù)量只有其1/5.

圖8 放大倍數(shù)為4時,各算法在Set5數(shù)據(jù)集上的參數(shù)量和平均PSNR對比

對比SMSR、IMDN、LCRCA,雖然LIRDN的參數(shù)量有所增加,但是在平均PSNR值上具有顯著差距,這表明LIRDN能夠在保證參數(shù)量較小的同時提升網(wǎng)絡(luò)的SR性能,重建出具有更豐富細(xì)節(jié)紋理的圖像.

3.3.2 主觀視覺效果對比

在標(biāo)準(zhǔn)測試數(shù)據(jù)集上的主觀視覺效果如圖9所示,LIRDN在重建結(jié)果方面顯著最優(yōu).對于具有挑戰(zhàn)性的Image005圖像,SRCNN、DRRN、IMDN重建的SR圖像窗體外框格子模糊不清,條紋存在明顯的偽影,失真嚴(yán)重,而LIRDN恢復(fù)的圖像細(xì)節(jié)清晰、紋理豐富,更忠實于真實高分辨率圖像.對于Image076圖像,DRRN、CARN、LCRCA、IMDN重構(gòu)的高分辨率圖像外輪廓都有不同程度的模糊、畸變產(chǎn)生,不能準(zhǔn)確恢復(fù)真實圖像的紋理細(xì)節(jié),LIRDN恢復(fù)的紋理則更接近真實圖像.特別對于Image024圖像,其它算法重構(gòu)的護(hù)欄邊緣紋理均有不同程度的畸變和扭曲,部分區(qū)域模糊嚴(yán)重,而LIRDN重構(gòu)的護(hù)欄筆直清晰,接近真實圖像,沒有嚴(yán)重的偽影失真.由此表明LIRDN能夠恢復(fù)更多的圖像信息.

圖9 放大倍數(shù)為4時各算法在Urban100測試集上的視覺質(zhì)量對比

3.4 算法復(fù)雜度分析

本節(jié)對比算法的計算復(fù)雜度,使用乘加操作和參數(shù)量評估7種算法的計算成本和內(nèi)存消耗,使用PSNR評價算法的重建性能,具體如表9所示.LIRDN在可靠地重建高質(zhì)量SR圖像的同時,消耗的乘加操作位于第二.盡管比MemNet、CBPN引入更多的參數(shù),但乘加操作運(yùn)算較少,說明其計算量更少.因此,在超分辨率重建過程中,LIRDN更好地平衡模型復(fù)雜度與重建性能,更具有競爭力.

表9 各算法在Set5測試集上的復(fù)雜度與性能對比

4 結(jié) 束 語

本文提出輕量化逆可分離殘差信息蒸餾網(wǎng)絡(luò)(LIRDN)的圖像超分辨率重建算法,不但能夠充分發(fā)掘低頻信息,還能夠快速、準(zhǔn)確地提取各種特征,重建細(xì)節(jié)豐富的SR圖像.具體來說,輕量高效的漸進(jìn)可分離重洗信息蒸餾(PDSM)模塊通過逆可分離復(fù)原淺殘差單元(IRC)逐層蒸餾提取特征,重洗單元增加通道間信息流動,在確保結(jié)構(gòu)輕量化的同時獲得更多樣化的特征信息.對比度感知坐標(biāo)注意力模塊(CPCA)可以有效選擇包含更多紋理細(xì)節(jié)的信息,增強(qiáng)網(wǎng)絡(luò)的表征能力.逐步補(bǔ)償殘差連接(PCR)可以充分復(fù)用淺層特征包含的低頻信息,減少信息損失.實驗表明,LIRDN的主客觀指標(biāo)都具有一定競爭力,并且能平衡模型復(fù)雜度與重建性能.由于LIRDN主要針對深層特征進(jìn)行提取,因此,在放大倍數(shù)較大時,效果較優(yōu),但在低倍放大情況下,仍能進(jìn)一步提升重建效果.本文雖使用大量的漸進(jìn)信息蒸餾壓縮特征提取的參數(shù)量,但還可以考慮更輕量高效的蒸餾方式.以后將主要針對上述兩個問題進(jìn)行進(jìn)一步研究.