郭昕剛, 何穎晨, 程 超

(長春工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院, 吉林 長春 130102)

0 引 言

近年來,基于深度學(xué)習(xí)的超分辨率(Super-Resolution, SR)方法在PSNR值和視覺質(zhì)量上都有顯著提高。這些需要在高分辨率(High-Resolution, HR)和低分辨率(Low-Resolution, LR)圖像進行網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí),假設(shè)網(wǎng)絡(luò)輸入的低分辨率圖像通過理想的雙三次下采樣得到,阻礙它們在現(xiàn)實環(huán)境中的使用。在現(xiàn)實場景中,SR問題通常具有兩個特點:1)降尺度方法未知;2)輸入LR圖像含有噪聲和模糊。

目前超分辨率重構(gòu)網(wǎng)絡(luò)中大多數(shù)都沒有考慮到現(xiàn)實環(huán)境圖像中的噪聲對超分辨率重構(gòu)結(jié)果的影響。為解決此問題,一種思路是將深度學(xué)習(xí)降噪網(wǎng)絡(luò)與超分辨率重構(gòu)網(wǎng)絡(luò)直接串聯(lián)使用解決輸入圖像帶噪聲問題,但直接連接兩個網(wǎng)絡(luò)必然會極大增加模型的體積,不符合當(dāng)前模型輕量化、易用化的趨勢;另一種思路是將圖像降噪網(wǎng)絡(luò)與超分辨率重構(gòu)網(wǎng)絡(luò)結(jié)合到同一網(wǎng)絡(luò),同時實現(xiàn)圖像降噪與超分重構(gòu)的功能,如劉哲等[1]提出一種基于雙段深度殘差卷積網(wǎng)的強噪聲超分辨率重建算法。

在研究拉普拉斯金字塔網(wǎng)絡(luò)時,受到網(wǎng)絡(luò)中漸近式圖像重構(gòu)的啟發(fā),文中提出一種有效融合降噪模塊的圖像超分辨率重構(gòu)網(wǎng)絡(luò),命名為LFDSR(Laplacian Pyramid Network Fusion Denoising Module For Super Resolution Reconstruction)。文中網(wǎng)絡(luò)將降噪模塊融入圖像超分辨率網(wǎng)絡(luò)的結(jié)構(gòu)中,實現(xiàn)圖像降噪和圖像超分辨率同時進行,漸近式地完成圖像降噪和圖像超分辨率,達到了圖像超分辨率網(wǎng)絡(luò)抗噪聲的效果;并且網(wǎng)絡(luò)中采用了遞歸模塊,同時引入TVLoss與降噪損失,保持模型的輕量性,提高輸出圖像的清晰度、還原度和網(wǎng)絡(luò)的抗噪聲能力。

1 相關(guān)工作基礎(chǔ)

1.1 圖像超分辨率重構(gòu)

Dong C等[2]首次提出使用CNN(Convolutional Neural Networks)進行SR,并取得了目前最先進的性能,已有大量的CNN架構(gòu)被研究用于SISR。當(dāng)前,剩余連接和密集連接被廣泛用于緩解基于深度CNN方法的前向信息流和后向梯度流。RED[3]、DRRN[4]、EDSR[5]、RCAN[6]和SAN[7]使用剩余連接(Residual-Connection)來連接全局、塊或?qū)?SRDense Net[8]和 NemNet[9]在一個塊中的網(wǎng)絡(luò)層之間或網(wǎng)絡(luò)中不同塊之間同樣使用了密集連接。受到Image Net分類的VGG[10]網(wǎng)絡(luò)啟發(fā),Li J等[11]設(shè)計了一個多尺度殘差網(wǎng)絡(luò)(MSRN)來檢測不同尺度的特征,并將它們結(jié)合起來以提高性能。王金玲[12]通過對迭代反投影、稀疏正則化參數(shù),以及特征提取算子進行改進,使其更適合遙感圖像的重構(gòu)。

1.2 遞歸網(wǎng)絡(luò)

Kim J等[13]提出一種深度卷積網(wǎng)絡(luò)(VDSR),可以學(xué)習(xí)殘差圖像,同時還提出DRCN[14],一種利用深度遞歸卷積網(wǎng)絡(luò)。該網(wǎng)絡(luò)由三個部分組成:

1)嵌入網(wǎng)絡(luò)(Embedding Network)用來獲取輸入圖像,并將其表示為一組特征圖,相當(dāng)于SRCNN[2]中的特征提取;

2)推理網(wǎng)絡(luò)(Inference Network)是解決超分辨率任務(wù)的主要組件,由單個遞歸層來完成圖像的分析;每個遞歸都應(yīng)用相同的卷積,相當(dāng)于特征的非線性映射;

3)重構(gòu)網(wǎng)絡(luò)(Re-Construction Network)從特征圖像恢復(fù)最后的重建結(jié)果,即重建。DRCN通過遞歸、循環(huán)訓(xùn)練同一層卷積層,實現(xiàn)參數(shù)共享,達到加深網(wǎng)絡(luò)但不增加網(wǎng)絡(luò)參數(shù)的目的。

1.3 圖像降噪

近年來,深度神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于圖像降噪[15]。Xu Q等[16]提出DnCNN利用網(wǎng)絡(luò)學(xué)習(xí)圖像噪聲殘差圖,即帶噪聲圖像和無噪圖像的差值,用帶噪聲圖像減去噪聲殘差圖得到無噪聲圖像。Zhang K等[17]利用殘差學(xué)習(xí)構(gòu)造一個20層前饋降噪卷積神經(jīng)網(wǎng)絡(luò)用于高斯降噪。Remez T等[18-19]對每個目標(biāo)類別分別訓(xùn)練20層CNN,無論是進行高斯降噪還是泊松降噪,都表現(xiàn)出良好的性能。Zhang K等[20]提出采用正交正則化的FFDNet,以增強高斯降噪的泛化能力。Tai Y等[21]設(shè)計了Mem Net,利用Feature Map拼接和Skip-Connection構(gòu)造一個用于圖像超分辨率重構(gòu)、圖像高斯降噪的網(wǎng)絡(luò)。

1.4 拉普拉斯金字塔網(wǎng)絡(luò)

由于現(xiàn)有的超分辨率重構(gòu)網(wǎng)絡(luò)利用線性插值將輸入圖片轉(zhuǎn)為指定尺寸,如VDSR網(wǎng)絡(luò),人為地增加了噪聲,且此前的超分方法無法產(chǎn)生中間的輸出結(jié)果。為解決此問題,Lai W S等[22]提出LapSRN模型,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

網(wǎng)絡(luò)結(jié)構(gòu)見圖1(a),網(wǎng)絡(luò)中提出級聯(lián)結(jié)構(gòu)(金字塔結(jié)構(gòu))。網(wǎng)絡(luò)有兩個分支:1)特征提取分支,用于逐級提取殘差圖;2)圖像重構(gòu)分支。該網(wǎng)絡(luò)通過逐層學(xué)習(xí)、逐步提取,最后輸出不同尺寸的殘差,與對應(yīng)尺寸的上采樣圖像經(jīng)重構(gòu)模塊得到對應(yīng)尺寸的重構(gòu)結(jié)果,得到最終結(jié)果。

2 融合降噪模塊的圖像超分網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

受拉普拉斯金字塔網(wǎng)絡(luò)啟發(fā),提出基于拉普拉斯金字塔網(wǎng)絡(luò)(LapSRN)基本框架下融合了降噪模塊的LFDSR網(wǎng)絡(luò)結(jié)構(gòu),如圖2所示。

圖2 LFDSR網(wǎng)絡(luò)結(jié)構(gòu)

拉普拉斯金字塔網(wǎng)絡(luò)在圖像超分辨率重構(gòu)的過程中會產(chǎn)生中間圖像,將降噪模塊融入LapSRN網(wǎng)絡(luò)可以實現(xiàn)在各中間級結(jié)構(gòu)中直接對中間圖像進行圖像降噪,將降噪后的圖像輸入圖像重構(gòu)模塊,實現(xiàn)了網(wǎng)絡(luò)抗噪聲的效果,進而直接影響后續(xù)的圖像超分辨率重構(gòu)效果。

文中網(wǎng)絡(luò)采用多段級聯(lián)式結(jié)構(gòu)設(shè)計,各級結(jié)構(gòu)中使用了遞歸模塊,網(wǎng)絡(luò)有5個分支:1)降噪模塊;2)空間注意力模塊SAM;3)特征提取模塊;4)遞歸模塊;5)圖像重構(gòu)模塊。

2.1.1 降噪模塊(Denosing Module)

受DnCNN[16]啟發(fā),設(shè)計將LapSRN每一級的特征提取分支一分為二,一半設(shè)計為降噪模塊,另一半設(shè)計為特征提取模塊。降噪模塊中,在遞歸模塊里的三層連續(xù)殘差塊對輸入遞歸模塊的特征圖進行噪聲特征提取,然后將噪聲特征圖經(jīng)過降維卷積得到噪聲殘差圖,再與原圖像結(jié)合得到純凈LR圖像,用于后面的圖像重構(gòu)模塊。降噪模塊公式為

ds=D(fs),

(1)

(2)

(3)

式中:fs----輸入第s級遞歸模塊的特征圖;

D(·)----降噪模塊;

SRs----第s級圖像重構(gòu)模塊輸出圖像,當(dāng)s=0時,SR0為輸入圖像;

D′(·)----降噪模塊的部分網(wǎng)絡(luò);

conv(·)----卷積層;

SAM(·)----空間注意力模塊;

ds----第s級降噪模塊后得到的噪聲殘差圖;

LFDSR網(wǎng)絡(luò)用相對純凈的圖像作為圖像重構(gòu)模塊的輸入,有利于提高超分辨率重構(gòu)后圖像的清晰度,有效減輕圖像噪聲在超分辨率重構(gòu)中對輸出結(jié)果的影響。

2.1.2 空間注意力模塊SAM(Spatial Attention Module)

LFDSR網(wǎng)絡(luò)中加入空間注意力模塊[23],使所有的特征圖共享相同的注意力權(quán)重,對于單張?zhí)卣鲌D,不同的位置區(qū)分不同的注意力權(quán)重,從而區(qū)分不同區(qū)域的重要程度,提高遞歸模塊對特征圖中細節(jié)信息的關(guān)注度,有助于后續(xù)特征提取模塊進一步的特征提取。該模塊結(jié)構(gòu)包含了Sigmoid激活函數(shù)、全局最大池化層(Max Pool)、全局平均池化層(Avg Pool)、一個特征融合模塊和一個單層卷積層。

2.1.3 特征提取模塊(Feature Extraction Module)

特征提取模塊由三層連續(xù)殘差塊加上一個兩倍亞像素卷積上采樣模塊組成。將輸入遞歸模塊的特征圖和降噪模塊中間層加單層卷積層輸出特征圖結(jié)合,增加特征圖的信息量,再送入空間注意力模塊,就得到更加注重圖像細節(jié)信息的特征圖,最后特征圖輸入特征提取模塊進一步進行圖像高頻細節(jié)特征提取。

2.1.4 遞歸模塊(Recursive Module)

為減輕網(wǎng)絡(luò)模型的體積,整體的網(wǎng)絡(luò)結(jié)構(gòu)采用遞歸模塊的形式,以提高LFDSR網(wǎng)絡(luò)的輕量級性。

2.1.5 圖像重構(gòu)模塊(Reconstruction Module)

在第s級,將LR圖像與噪聲殘差圖結(jié)合,生成純凈LR圖像,再用亞像素卷積[24](上采樣)層(Subpix Convolution)對純凈LR圖像進行2倍的上采樣,然后將上采樣圖像與特征提取模塊的預(yù)測殘差圖像相結(jié)合,生成高分辨率的輸出圖像。將輸出的s級HR圖像送入s+1級圖像重建分支。整個網(wǎng)絡(luò)是由每一層結(jié)構(gòu)相似的CNN級聯(lián)而成。

2.2 損失函數(shù)

(4)

N----訓(xùn)練樣本個數(shù);

根據(jù)經(jīng)驗將ε設(shè)為1e-3。

2.2.1 TVLoss

文中添加了一個總變化損失(TVLoss)來增加空間平滑度。

(5)

2.2.2 降噪損失

用于最小化經(jīng)過第s級降噪模塊后得到的噪聲殘差圖ds與標(biāo)準(zhǔn)噪聲圖n的誤差損失。

標(biāo)準(zhǔn)噪聲圖n為預(yù)處理訓(xùn)練數(shù)據(jù)集中圖像預(yù)添加的噪聲。

(6)

總損失函數(shù)定義為

Ltotal=Lcontent+LTV+Ldenoise。

(7)

3 實驗與結(jié)果分析

實驗中用到的訓(xùn)練數(shù)據(jù)以及訓(xùn)練細節(jié)解析了提出網(wǎng)絡(luò)不同組成部分的結(jié)構(gòu)參數(shù)設(shè)置,在三個數(shù)據(jù)集上比較了文中提出的網(wǎng)絡(luò)和近年來的深度學(xué)習(xí)超分重構(gòu)網(wǎng)絡(luò),并演示了各網(wǎng)絡(luò)在超分辨率重構(gòu)真實世界照片上的效果。同時還對比了提出網(wǎng)絡(luò)的降噪模塊和已有圖像降噪網(wǎng)絡(luò),進一步說明網(wǎng)絡(luò)降噪功能的實現(xiàn)過程。

3.1 訓(xùn)練數(shù)據(jù)

實驗使用三組不同的數(shù)據(jù)集進行對比,其中包括兩組低分辨率圖像未經(jīng)添加噪聲預(yù)處理的SET14與BSDS100數(shù)據(jù)集,以及一組低分辨率圖像經(jīng)過添加sigma為5的高斯噪聲(Gaussian Noise)預(yù)處理的BSDS100{Gaussian[sigma(5)]}數(shù)據(jù)集(用BSDS100*代替表示)。未添加噪聲的SET14與BSD100數(shù)據(jù)集根據(jù)現(xiàn)有方法的協(xié)議[25],使用雙三次插值下采樣生成LR訓(xùn)練圖像,添加噪聲預(yù)處理的BSDS100*數(shù)據(jù)集,先使用雙三次插值下采樣生成LR訓(xùn)練圖像,再在LR訓(xùn)練圖像中人工添加sigma為5的高斯噪聲。文中增加含噪聲數(shù)據(jù)集實驗,以比較在待超分重構(gòu)圖像含有明顯噪聲的條件下,文中網(wǎng)絡(luò)與已有的超分辨率重構(gòu)網(wǎng)絡(luò)在輸出圖像的清晰度、還原度與抗噪聲效果上的區(qū)別。所有網(wǎng)絡(luò)都使用BSDS100、BSDS100*數(shù)據(jù)集訓(xùn)練。在每個訓(xùn)練批次中,隨機抽取大小為128×128的16個patch,一個epoch有30次反向傳播迭代。我們以三種方式增加訓(xùn)練數(shù)據(jù):1)縮放,在[0.5,1.0]之間隨機降尺度;2)旋轉(zhuǎn),隨機旋轉(zhuǎn)圖像90°,180°或270°;3)翻轉(zhuǎn),水平或垂直翻轉(zhuǎn)圖像,概率為0.5。

3.2 訓(xùn)練細節(jié)

在提出的LFDSR網(wǎng)絡(luò)中,降維卷積層由大小為3×3的3個濾波器組成,遞歸模塊中亞像素卷積上采樣濾波器的卷積層由大小為3×3的256個濾波器組成,圖像重構(gòu)模塊中亞像素卷積上采樣濾波器的卷積層由大小為3×3的12個濾波器組成,其他卷積層由大小為3×3的64個濾波器組成,文中使用He K等[26]的方法初始化卷積濾波器。網(wǎng)絡(luò)中每個激活函數(shù)ReLU的負斜率為0.2。所有特征圖邊界填充寬度為1。所有層的學(xué)習(xí)速率初始化為5×1e-4,每200個epoch下降2倍。文中訓(xùn)練LFDSR,直到學(xué)習(xí)速率下降到5×1e-7。

3.3 實驗結(jié)果

將文中提出的LFDSR網(wǎng)絡(luò)與經(jīng)典LapSRN和遞歸型LapSRN(Recur)[22]兩個網(wǎng)絡(luò),以及已有的SR算法(Bicubic、DRCN[14]和RSAN[27])進行比較。用兩個常用的圖像質(zhì)量指標(biāo)來評估SR圖像PSNR和SSIM[28]。各網(wǎng)絡(luò)2倍和4倍超分辨率重構(gòu)結(jié)果的定量比較見表1。

表1 定量評價文件網(wǎng)絡(luò)與已有的SR網(wǎng)絡(luò):2倍、4倍尺度因子的平均PSNR/SSIM

文中展示了各網(wǎng)絡(luò)在SET14、BSDS100數(shù)據(jù)集,以及自建數(shù)據(jù)集BSDS100*中超分辨率因子為4的視覺比較,如圖3所示。

圖3 不同網(wǎng)絡(luò)4倍超分辨率重構(gòu)在BSDS100、SET14和BSDS100*數(shù)據(jù)集上的視覺比較

在SET14、BSDS100測試集下,相較于各對比網(wǎng)絡(luò),LFDSR網(wǎng)絡(luò)超分辨率重構(gòu)的圖像更清晰,保留了更多LR圖像的內(nèi)容,使得重構(gòu)圖像更逼真,比如人像和老虎的頭部、蝴蝶身體以及花朵的清晰度。通過觀察可以發(fā)現(xiàn),在BSDS100*的測試集下,各對比網(wǎng)絡(luò)的輸出結(jié)果帶有明顯的偽影[25]和噪點。相比之下,文中網(wǎng)絡(luò)通過融合了降噪模塊,同時加入了TVLoss與降噪損失函數(shù),有效地抑制了噪聲對輸出圖像的影響。實驗結(jié)果表明,文中算法具有良好的表現(xiàn)。

定量評價文中網(wǎng)絡(luò)降噪模塊輸出的中間圖像與已有的降噪網(wǎng)絡(luò)的平均PSNR/SSIM見表2。

表2 定量評價文中網(wǎng)絡(luò)降噪模塊輸出的中間圖像與已有的降噪網(wǎng)絡(luò)的平均PSNR/SSIM

DnCNN的Scale×1降噪圖像各質(zhì)量評估指標(biāo)均值由BSDS100數(shù)據(jù)集與BSDS100*數(shù)據(jù)集經(jīng)過DnCNN后的降噪圖像計算,Scale×2降噪圖像各質(zhì)量評估指標(biāo)均值由以BSDS100測試集為輸入的4倍超分辨率LapSRN的中間層超分因子為2的圖像與該圖像添加sigma為5的高斯噪聲后,再經(jīng)過預(yù)訓(xùn)練DnCNN得到降噪圖像計算得到。LFDSR網(wǎng)絡(luò)的Scale×1與Scale×2降噪圖像的各質(zhì)量評估指標(biāo)均值由4倍超分辨率LFDSR網(wǎng)絡(luò)在數(shù)據(jù)集BSDS100*與BSDS100的訓(xùn)練后,將兩數(shù)據(jù)集對應(yīng)測試集輸入LFDSR網(wǎng)絡(luò)得到各層級下對應(yīng)的圖像計算得到。在BSDS100*測試集上,LFDSR網(wǎng)絡(luò)與DnCNN的Scale×2的圖像降噪效果已十分相近,超分因子為2的降噪圖像在BSDS100*數(shù)據(jù)集上的視覺比較如圖4所示。

Input(PSNR,SSIM)

與同樣使用遞歸方式的RIDNet[29]類似,LFDSR網(wǎng)絡(luò)的遞歸降噪模塊使得LFDSR網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層級的堆疊,可以逐步提高圖像降噪效果。

3.4 消融實驗

為了驗證文中提出的LFDSR網(wǎng)絡(luò)中降噪模塊的有效性,設(shè)計了一個類似的網(wǎng)絡(luò)結(jié)構(gòu)LapSRN+進行比較。本次對比實驗同樣使用BSDS100*數(shù)據(jù)集訓(xùn)練。

對比的LapSRN+網(wǎng)絡(luò)等于將文中LFDSR網(wǎng)絡(luò)中的降噪模塊、單層卷積層和空間注意力模塊去掉,如圖5所示。

圖5 LapSRN+結(jié)構(gòu)圖

圖中只留特征提取模塊,且網(wǎng)絡(luò)結(jié)構(gòu)同樣使用了遞歸模塊。LapSRN+使用Charbonnier損失函數(shù)[22]最小化每一層網(wǎng)絡(luò)預(yù)測圖像與真實圖像的誤差,LapSRN+訓(xùn)練的參數(shù)和過程與文中LFDSR網(wǎng)絡(luò)的訓(xùn)練設(shè)置保持一致。

超分因子為×4的BSDS100*測試集圖像超分辨率重構(gòu)結(jié)果如圖6所示。

基于BSDS100*數(shù)據(jù)集的LFDSR模型的平均PSNR/SSIM定量評價見表3。

表3 基于BSDS100*數(shù)據(jù)集的LFDSR模型的平均PSNR/SSIM定量評價

LFDSR網(wǎng)絡(luò)與LapSRN+對比,從表3和圖6可以看出,在假設(shè)帶高斯噪聲的低分辨率圖像的超分重構(gòu)效果上,文中網(wǎng)絡(luò)在重構(gòu)圖像的清晰度與還原度上要高于對比算法,在大樹圖像中的天空和云朵部分能明顯看到LFDSR網(wǎng)絡(luò)的降噪效果。

4 結(jié) 語

采用真實情況下的假設(shè)來研究單圖像的超分辨率重構(gòu)問題。現(xiàn)實環(huán)境中,LR圖像通常帶有未知的不可忽略的噪聲。上述實驗中可以看到,融合了降噪模塊的LFDSR網(wǎng)絡(luò)在處理含噪聲圖像時取得了不錯的效果,在實驗過程中,LFDSR網(wǎng)絡(luò)顯露出泛化性與魯棒性不足的缺點,當(dāng)使用含某一特定噪聲預(yù)處理過的數(shù)據(jù)集進行網(wǎng)絡(luò)訓(xùn)練后,再使用該訓(xùn)練完成的網(wǎng)絡(luò)模型超分辨率重構(gòu)帶有其他噪聲的圖像,輸出圖像將無法達到最優(yōu)效果。

在目前有監(jiān)督的網(wǎng)絡(luò)訓(xùn)練環(huán)境下,必須人為構(gòu)造帶有某種假設(shè)噪聲的低分辨率圖像與對應(yīng)超分系數(shù)的高分辨率圖像對來訓(xùn)練網(wǎng)絡(luò)模型。針對此問題,可考慮將LFDSR網(wǎng)絡(luò)與無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)進一步相結(jié)合,實現(xiàn)在任意低分辨率圖像與非配對低/高分辨率圖像對的情況下實現(xiàn)清晰逼真的超分重構(gòu)圖像,進而解決網(wǎng)絡(luò)泛化性與魯棒性不足的問題。