聶 敏，田 波

(銅仁學(xué)院 大數(shù)據(jù)學(xué)院，貴州 銅仁 554300)

0 引 言

在圖像采集過程中，經(jīng)常會(huì)出現(xiàn)不同程度的圖像降級(jí)現(xiàn)象，其中大部分情況是由于照相機(jī)的物理限制或不適當(dāng)?shù)恼彰鳁l件所致[1-2]。例如，對(duì)于光圈很窄和傳感器體積較小的智能手機(jī)攝像頭，其拍攝的圖像經(jīng)常會(huì)出現(xiàn)嘈雜的低對(duì)比度問題；而在霧霾嚴(yán)重的天氣下拍攝的圖像大多背景模糊，顏色失真嚴(yán)重。單一圖像恢復(fù)(single image restoration，SIR)技術(shù)就是采用各類方法通過減少偽像來恢復(fù)丟失的細(xì)節(jié)，旨在將降級(jí)的低質(zhì)量圖像恢復(fù)到視覺上令人愉悅的高質(zhì)量圖像。作為低級(jí)視覺任務(wù)，圖像恢復(fù)技術(shù)在計(jì)算機(jī)監(jiān)視、交通管理、機(jī)器人視覺等多個(gè)圖像分析應(yīng)用領(lǐng)域具有廣闊的前景[3-5]。

圖像恢復(fù)是一個(gè)從輸入圖像到輸出圖像的像素校正響應(yīng)過程，該過程通過將降級(jí)內(nèi)容與真實(shí)信號(hào)分離，達(dá)到刪除退化圖像內(nèi)容，同時(shí)保留所需的精細(xì)空間細(xì)節(jié)的目的[6]。但是，圖像恢復(fù)極具挑戰(zhàn)性，因?yàn)閳D像降級(jí)過程是不可逆的，導(dǎo)致不適定的逆過程。一般地，圖像恢復(fù)算法可以分為基于模型和基于學(xué)習(xí)兩大類。基于模型的算法包括非局部自相似、稀疏性、梯度方法以及馬爾可夫隨機(jī)場(chǎng)模型方法等[7]。張?chǎng)┑萚8]提出了一種基于非局部自相似性的低秩稀疏圖像恢復(fù)方法，從自然圖像中學(xué)習(xí)非局部自相似性，將學(xué)習(xí)的先驗(yàn)?zāi)Ｊ綉?yīng)用于圖像恢復(fù)過程中；Hu等[9]采用最速下降算法和共軛梯度算法相結(jié)合的方式來解決圖像恢復(fù)過程中的平滑優(yōu)化問題，該方法能夠有效恢復(fù)圖像更多的紋理細(xì)節(jié)。雖然基于模型的算法能夠解決一定條件下的圖像恢復(fù)問題，但是，這類方法計(jì)算量大、耗時(shí)長(zhǎng)，不能直接抑制空間變異的退化，也不能刻畫復(fù)雜的圖像紋理。近年來，深度學(xué)習(xí)模型在圖像恢復(fù)和增強(qiáng)方面取得了重大進(jìn)展，這是因?yàn)樗鼈兛梢詮拇笠?guī)模數(shù)據(jù)集中學(xué)習(xí)強(qiáng)大的先驗(yàn)知識(shí)。Liu等[10]將深度圖像先驗(yàn)框架與傳統(tǒng)的全變差正則化方法相結(jié)合，用于完成噪聲圖像和模糊圖像的恢復(fù)任務(wù)；Li等[11]利用多通道的去噪自編碼網(wǎng)絡(luò)作為圖像先驗(yàn)，將提取到的通道先驗(yàn)信息應(yīng)用到圖像恢復(fù)過程中來解決紅外問題。

雖然基于深度學(xué)習(xí)的方法在圖像恢復(fù)方面取得了顯著的進(jìn)步，但將這些方法應(yīng)用于真實(shí)的圖像時(shí)，其性能并不好。為了提高復(fù)原圖像的視覺效果，本文提出了一種基于多尺度殘差注意網(wǎng)絡(luò)的真實(shí)圖像復(fù)原方法，該方法首先利用淺層特征提取網(wǎng)絡(luò)提取退化圖像的淺層特征；然后，采用殘差注意網(wǎng)絡(luò)利用殘差結(jié)構(gòu)從不同的感受野上獲取上下文信息，并通過注意力機(jī)制來獲取信道的相關(guān)性；最后，應(yīng)用重構(gòu)網(wǎng)絡(luò)基于原始低質(zhì)量圖像的淺層特征、通道相關(guān)性以及上下文深層特征信息完成模型的復(fù)原任務(wù)。實(shí)驗(yàn)結(jié)果表明，本文方法能夠使用具有不同感受野的特征進(jìn)行圖像復(fù)原，極大可能地保留了圖像的高頻細(xì)節(jié)信息和低頻紋理信息。

本文方法的創(chuàng)新之處是設(shè)計(jì)了多尺度殘差模塊，其包含3個(gè)關(guān)鍵單元：①用于提取不同感受野信息的多尺度單元；②用于特征融合和限制低頻信息流動(dòng)的殘差密集單元；③用于捕獲通道依賴關(guān)系的特征注意單元。簡(jiǎn)而言之，本文方法通過學(xué)習(xí)一組豐富的特征來提高真實(shí)圖像復(fù)原的性能。

1 圖像復(fù)原問題描述

一般來說，圖像復(fù)原問題是將退化的圖像y恢復(fù)到干凈的圖像x，其過程可以用線性逆問題進(jìn)行描述為

y=Hx+e

(1)

(1)式中：H表示退化矩陣；e表示標(biāo)準(zhǔn)差為σ的加性高斯白噪聲。不同的退化矩陣，對(duì)應(yīng)不同的圖像復(fù)原任務(wù)。當(dāng)H為單位矩陣時(shí)，復(fù)原任務(wù)為圖像去噪；當(dāng)H為模糊算子時(shí)，任務(wù)是圖像去模糊；當(dāng)H為模糊和下采樣的復(fù)合算子時(shí)，復(fù)原任務(wù)則是圖像超分辨率。

(2)

(2)式中：logp(y|x)表示退化圖像y的似然對(duì)數(shù)；logp(x)表示與y無關(guān)的先驗(yàn)。實(shí)際上，SIR問題通常依賴于正規(guī)化的最小二乘公式，因此，(2)式可以修改為

(3)

通常，解決(3) 式的方法可以分為兩大類：①基于模型的方法，使用一些優(yōu)化算法直接求解(3)式，這些算法通常涉及耗時(shí)的迭代推理；②基于學(xué)習(xí)的方法，在包含退化圖像和真實(shí)圖像的數(shù)據(jù)集上進(jìn)行訓(xùn)練，并通過對(duì)損失函數(shù)進(jìn)行優(yōu)化來學(xué)習(xí)先驗(yàn)參數(shù)Θ?；趯W(xué)習(xí)方法的目標(biāo)定義為

(4)

2 多尺度殘差注意網(wǎng)絡(luò)

圖1 本文模型的架構(gòu)圖Fig.1 Architecture of the proposed model

2.1 淺層特征提取網(wǎng)絡(luò)

本文模型的第1個(gè)組件是淺層特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)由2個(gè)卷積層組成，用于提取退化圖像的淺層特征。其中，第1個(gè)卷積層從圖像y中提取特征F-1，表示為

F-1=HSFE1(y)

(5)

(5)式中，HSFE1表示第1層卷積運(yùn)算。第2個(gè)卷積層提取到的特征F0定義為

F0=HSFE2(F-1)

(6)

(6)式中，HSFE2表示第2層卷積運(yùn)算。淺層特征提取網(wǎng)絡(luò)的輸出F0將作為殘差注意網(wǎng)絡(luò)的輸入數(shù)據(jù)。

2.2 多尺度殘差注意網(wǎng)絡(luò)

本文模型的第2個(gè)組件是多尺度殘差注意網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括M個(gè)殘差注意模塊，單個(gè)殘差注意模塊由多尺度單元、殘差密度單元和特征注意單元組成，模塊使用了局部連接和短跳躍連接進(jìn)行殘差學(xué)習(xí)，如圖2所示。

圖2 殘差注意模塊Fig.2 Residual attention module

為了利用不同感受野提取的深度信息，本文提出了多尺度單元。多尺度單元利用不同尺度的卷積核提取圖像的多種特征，小尺度卷積核提取細(xì)節(jié)特征，大尺度卷積核提取概貌特征，從而有效擴(kuò)大整個(gè)網(wǎng)絡(luò)的感受野，獲得豐富的上下文信息。同時(shí)，為了避免過擬合，在卷積層后面設(shè)置了ReLU激活層。本文采用1×1、3×3和5×5這3種尺寸的卷積核提取多尺度特征，表示為

(7)

(7)式中：fi表示多尺度圖像特征；si和bi分別表示卷積核和偏置參數(shù)。此外，本文將3種尺寸卷積層的濾波器數(shù)目設(shè)置為64。

將3個(gè)不同尺度的特征信息以級(jí)聯(lián)的形式組合起來，構(gòu)成新的特征圖，表示為

F11=[f1(F11),f2(F11),f3(F11)]

(8)

為了使得輸出特征的通道與原始特征圖保持一致，采用1×1卷積對(duì)新特征圖進(jìn)行卷積。

殘差密集單元旨在盡可能多地融合來自所有卷積層的信息用于學(xué)習(xí)并融合特征。在殘差密集單元中設(shè)置了3個(gè)卷積層，卷積核大小設(shè)置為3×3，濾波器個(gè)數(shù)為64。同樣，為了避免過擬合，設(shè)置了ReLU激活層。采用拼接和1×1卷積層是為了保證與原始特征圖的通道保持一致，其計(jì)算過程為

(9)

殘差注意網(wǎng)絡(luò)的最后一個(gè)單元是特征注意單元。該單元為了利用和學(xué)習(xí)特征圖像的關(guān)鍵內(nèi)容，將注意力集中在通道特征之間的關(guān)系上，圖像通常具有低頻區(qū)域和高頻區(qū)域，由于卷積層只利用了局部信息而不能利用全局上下文信息，因此，特征注意單元采用全局平均池化操作來表示整個(gè)圖像的統(tǒng)計(jì)信息，然后采用一種自選門控機(jī)制從全局平均池化結(jié)果中捕獲通道依賴關(guān)系。根據(jù)文獻(xiàn)[12]，上述機(jī)制必須了解通道之間的非線性協(xié)同效應(yīng)以及相互排斥的關(guān)系，因此，使用軟收縮和sigmoid函數(shù)來實(shí)現(xiàn)門控機(jī)制。假設(shè)考慮ψ和φ分別是軟收縮和sigmoid算子，那么門控機(jī)制可以定義為

rc=φ(HU(ψ(HD(F12))))

(10)

(10)式中：rc表示門控機(jī)制輸出結(jié)果；HU和HD分別表示通道上采樣和通道下采樣操作符。殘差密度單元的輸出結(jié)果F12被輸入到由軟收縮函數(shù)激活的下采樣卷積層中進(jìn)行卷積操作，為了區(qū)分信道特征，輸出隨后被饋送到一個(gè)由sigmoid激活引起的上采樣卷積層，特征注意單元的輸出F13由通道特征的輸入F12和門控機(jī)制的結(jié)果rc融合得到，即

F13=rcF12

(11)

因此，第1個(gè)殘差注意模塊的輸出F1可以表示為

F1=F13

(12)

第d個(gè)殘差注意模塊的輸出Fd表示為

Fd=Fd3

(13)

2.3 重構(gòu)網(wǎng)絡(luò)

將淺層特征、深度特征以及通道依賴性饋送到重構(gòu)網(wǎng)絡(luò)中。對(duì)于不同用途的模型，重構(gòu)網(wǎng)絡(luò)可以分為2種。當(dāng)模型用于圖像去噪、去模糊和壓縮時(shí)，網(wǎng)絡(luò)由一層卷積和全局殘差學(xué)習(xí)組成，其輸出結(jié)果定義為

(14)

(14)式中

FGF=HRN(FD)

(15)

(15)式中：HRN為重構(gòu)卷積運(yùn)算；FD表示最后一個(gè)殘差注意模塊的輸出特征。

當(dāng)模型用于圖像超分辨時(shí)，需要在上述基礎(chǔ)上堆疊一個(gè)上采樣和一層卷積。

為了優(yōu)化網(wǎng)絡(luò)模型，重構(gòu)誤差函數(shù)定義為

(16)

(16)式中：{xi,yi}N表示訓(xùn)練集中的N個(gè)圖像對(duì)；xi表示真實(shí)圖像；yi表示退化圖像；HNet和θ分別表示所提網(wǎng)絡(luò)模型和對(duì)應(yīng)的模型參數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文方法的效果，本文選取圖像去噪、超分辨率和圖像增強(qiáng)3個(gè)任務(wù)相應(yīng)的圖像數(shù)據(jù)集來測(cè)試其性能，將產(chǎn)生的結(jié)果進(jìn)行定性和定量評(píng)估，并與以往的方法進(jìn)行比較。所提網(wǎng)絡(luò)的架構(gòu)是端到端可訓(xùn)練的，不需要子模塊預(yù)訓(xùn)練。所有實(shí)驗(yàn)共有的訓(xùn)練參數(shù)如下：使用4個(gè)殘差注意網(wǎng)絡(luò)， 模型使用帶有默認(rèn)參數(shù)的Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為10-4，然后在105次迭代后減半。在每批訓(xùn)練中，隨機(jī)抽取16個(gè)大小為80×80的LQ-RGB圖像塊作為圖像去噪、超分辨率和圖像增強(qiáng)的輸入。該網(wǎng)絡(luò)在Pythorch框架中實(shí)現(xiàn)，并使用Nvidia Tesla V100 GPU進(jìn)行訓(xùn)練。為了增加數(shù)據(jù)，執(zhí)行包括90°，180°，270°的隨機(jī)旋轉(zhuǎn)和垂直或水平翻轉(zhuǎn)。

3.1 數(shù)據(jù)集和評(píng)估指標(biāo)

1)選擇3組圖像去噪方面的數(shù)據(jù)集，即BSD68、CBSD68和SIDD數(shù)據(jù)集。BSD68和CBSD68數(shù)據(jù)集[13]由相同的68個(gè)圖像組成，兩者不同之處是BSD68中包含的是灰色的圖像， CBSD68中是帶有彩色的圖像。由于圖像是對(duì)真實(shí)圖像退化降級(jí)后合成而來，因此，該數(shù)據(jù)集能夠有效評(píng)估模型的測(cè)試結(jié)果。SIDD數(shù)據(jù)集[14]是一個(gè)真實(shí)的圖像數(shù)據(jù)集，該數(shù)據(jù)集是由智能手機(jī)攝像頭拍攝的，由于手機(jī)攝像頭傳感器和分辨率的局限性，使得拍攝圖像中存在較多的噪聲。SIDD數(shù)據(jù)集包含320個(gè)用于訓(xùn)練的圖像對(duì)(噪點(diǎn)圖像及其相應(yīng)的清晰圖像)，1 280個(gè)用于驗(yàn)證的圖像對(duì)。

2)選取2組超分辨率數(shù)據(jù)集，即Urban100和RealSR數(shù)據(jù)集。Urban100數(shù)據(jù)集[15]是最近提出的包含100張圖像的數(shù)據(jù)集，圖像包含人造物體和建筑物，圖像的大小和數(shù)據(jù)集中的結(jié)構(gòu)使得超分辨率任務(wù)非常具有挑戰(zhàn)性，對(duì)于該數(shù)據(jù)集，本文使用BI化模型來模擬LR圖像用于超分辨率圖像的測(cè)試。RealSR數(shù)據(jù)集[16]是一個(gè)圖像超分辨率數(shù)據(jù)集，包含拍攝于同一場(chǎng)景的真實(shí)低分辨率和高分辨率的圖像對(duì)。RealSR數(shù)據(jù)集可分為室內(nèi)和室外2組圖像，尺度因子為×2、×3和×4的訓(xùn)練圖像對(duì)數(shù)分別為183、234和178，對(duì)于每個(gè)尺度因子，RealSR中還提供了30個(gè)測(cè)試圖像。

3)選取2組圖像增強(qiáng)數(shù)據(jù)集，即LoL和MIT-Adobe FiveK數(shù)據(jù)集。LoL數(shù)據(jù)集[17]是針對(duì)微光圖像增強(qiáng)問題而產(chǎn)生的數(shù)據(jù)集，它提供了485個(gè)圖像用于培訓(xùn)，15個(gè)圖像用于測(cè)試。LoL數(shù)據(jù)集中的每個(gè)圖像對(duì)由一個(gè)微光輸入圖像和相應(yīng)的曝光良好的參考圖像組成。MIT-Adobe FiveK數(shù)據(jù)集[18]包含了5 000張不同照明條件下用單反相機(jī)拍攝的各種室內(nèi)外場(chǎng)景的圖像，所有圖像的色調(diào)屬性都是由5個(gè)不同的訓(xùn)練有素的攝影師(標(biāo)記為A—E)手動(dòng)調(diào)整的，其中，前4 500幅用于訓(xùn)練，后500幅用于測(cè)試。

為了驗(yàn)證本文方法的有效性，本文利用峰值信噪比(peak signal-to-noise ratio, PSNR)和結(jié)構(gòu)相似性指數(shù)(structural similarity index, SSIM)這2個(gè)評(píng)價(jià)指標(biāo)來評(píng)估測(cè)試結(jié)果。

3.2 消融研究

本文主要研究殘差注意模塊數(shù)量和模塊中3個(gè)單元對(duì)模型性能的影響，以圖像去噪為例，在BSD68數(shù)據(jù)集上進(jìn)行測(cè)試。

1)進(jìn)行第1個(gè)消融研究，考察不同殘差注意模塊數(shù)量對(duì)模型性能的影響。圖3給出了不同數(shù)量時(shí)的收斂性分析。從圖3可以看出，較大的m將帶來更好的性能，這主要是因?yàn)閙越大，網(wǎng)絡(luò)越深。

圖3 不同殘差注意模塊數(shù)量時(shí)的收斂分析Fig.3 Convergence analysiswith different residual attention modules

2)進(jìn)行第2個(gè)消融研究，考察不同模塊單元以及全局跳躍連接對(duì)模型性能的影響。圖4給出了BSD68數(shù)據(jù)集上的平均PSNR。由圖4可見，當(dāng)所有單元及全局跳躍連接均可用時(shí)，將獲得最優(yōu)的性能，而在缺少任何組件時(shí)，性能將會(huì)降低。

圖4 不同模塊單元時(shí)的PSNR結(jié)果Fig.4 PSNR results with different module units

3.3 圖像去噪

第1個(gè)實(shí)驗(yàn)給出了本文方法在圖像去噪方面的有效性。在該實(shí)驗(yàn)過程中，本文方法分別對(duì)灰度圖像、彩色圖像以及真實(shí)世界圖像進(jìn)行了去噪任務(wù)，并且使用標(biāo)準(zhǔn)差s為10，30和50的加性高斯白噪聲來破壞干凈圖像。

1)采用由空間不變的加性高斯白噪聲所破壞的嘈雜灰度圖像評(píng)估模型，并將測(cè)試結(jié)果與RIDNet[13]、FFDNet[14]以及VDN[19]方法進(jìn)行對(duì)比。表1給出了不同方法在PSNR和SSIM指標(biāo)上的比較結(jié)果。從表1可以看出，本文方法在對(duì)比方法中去噪效果最好，在PSNR和SSIM指標(biāo)上都優(yōu)于其他算法。

表1 不同去噪方法在BSD68數(shù)據(jù)集上的定量結(jié)果Tab.1 Quantitative results of different denoising methods on BSD68 dataset

圖5給出了本文方法與其他對(duì)比方法在BSD68數(shù)據(jù)集上的視覺比較。大多數(shù)去除噪聲的算法選擇犧牲圖像細(xì)節(jié)為代價(jià)，生成過于平滑的圖像，或者生成帶有斑點(diǎn)紋理和色度偽影的圖像。例如，F(xiàn)FDNet方法使用噪聲估計(jì)圖作為輸入，為了抑制噪聲生成過于平滑的圖像，而犧牲了結(jié)構(gòu)內(nèi)容和精細(xì)的紋理細(xì)節(jié)，并且當(dāng)噪聲較大時(shí)，圖像局部會(huì)出現(xiàn)模糊現(xiàn)象；RIDNet方法和VDN方法生成帶有斑點(diǎn)紋理的圖像。而本文方法考慮到低頻區(qū)域和高頻區(qū)域的局部特征信息是不同的，因此，采用特征注意單元為每個(gè)通道特征產(chǎn)生不同的注意力。從圖5可以看出，本文方法在去除真實(shí)噪聲方面是有效的，能夠在不引入偽影的情況下保持均勻區(qū)域的空間平滑，生成極為清晰的圖像。

圖5 不同去噪方法在BSD68數(shù)據(jù)集上的定性評(píng)價(jià)Fig.5 Qualitative evaluation of different denoising methods on BSD68 dataset

2)對(duì)嘈雜的彩色圖像去噪。將第1層和最后1層更改為輸入和輸出3個(gè)通道而不是1個(gè)通道，將網(wǎng)絡(luò)其余的所有參數(shù)保持與灰度模型相似。表2給出了不同方法的PSNR與SSIM值。從測(cè)試結(jié)果看，對(duì)于CBSD68數(shù)據(jù)集，本文方法始終優(yōu)于其他對(duì)比方法。此外，隨著s的增加，本文方法和對(duì)比方法的去噪性能均有所降低，但是，相較于灰度圖像的下降速度，本文方法在表2中的性能下降速度較慢，說明本文方法在彩色圖像中的效果更佳。

表2 不同去噪方法在CBSD68數(shù)據(jù)集上的定量結(jié)果Tab.2 Quantitative results of different denoising methods on CBSD68 dataset

3)將模型應(yīng)用于真實(shí)的噪聲圖像。本文方法在SIDD數(shù)據(jù)集上進(jìn)行訓(xùn)練并測(cè)試評(píng)估。表3給出了不同方法在PSNR和SSIM指標(biāo)上的比較。從表3可以看出，本文方法在對(duì)比方法中去噪效果最好，比FFDNet提高了9.08 dB，比RIDNet提高了1.15 dB，比VDN提高了0.58 dB。

表3 不同去噪方法的定量結(jié)果Tab.3 Quantitative results of different denoising methods

圖6給出了本文方法與其他對(duì)比方法在SSID數(shù)據(jù)集上的視覺比較?？梢钥闯?，本文方法在去除真實(shí)噪聲方面是有效的，生成最佳的感知質(zhì)量圖像。

圖6 不同去噪方法在SSID數(shù)據(jù)集上的定性評(píng)價(jià)Fig.6 Qualitative evaluation of different denoising methods on SSID dataset

而大多數(shù)其他方法要么生成過于平滑的圖像，要么生成帶有色度偽影和斑點(diǎn)紋理的圖像。

3.4 圖像超分辨率

第2個(gè)實(shí)驗(yàn)是驗(yàn)證本文方法在圖像超分辨率方面的有效性。模型在Urban100和RealSR數(shù)據(jù)集上進(jìn)行測(cè)試，并與U-Net[1]、LP-KPN[16]、SAN[20]以及RCAN[21]方法進(jìn)行對(duì)比。在實(shí)驗(yàn)中，還計(jì)算了雙三次插值Bicubic方法的結(jié)果，這是生成超分辨率圖像最常用的方法?；诔直媛实某Ｓ米龇?，本文也使用了YCbCr顏色空間中的Y通道來計(jì)算PSNR和SSIM值。

表4—表5分別給出了不同方法在Urban100和RealSR數(shù)據(jù)集上的PSNR和SSIM度量結(jié)果。從表4—表5可以看出，不同縮放因子下的雙三次插值得到的結(jié)果最不精確，這說明該方法對(duì)處理真實(shí)圖像的適用性較低。其他幾類方法雖然在3個(gè)縮放因子測(cè)試中取得了不錯(cuò)的結(jié)果，但是本文方法產(chǎn)生了更好的圖像質(zhì)量結(jié)果。以×3時(shí)的測(cè)試結(jié)果為例，在Urban100數(shù)據(jù)集下，相較于Bicubic、U-Net、LP-KPN、SAN和RCAN方法，本文方法有了明顯的改善，分別提高了5.41，2.75，1.07和0.65 dB的性能增益。在RealSR數(shù)據(jù)集下，則分別提高了2.01，1.19，0.95和0.93 dB的性能增益。

表4 不同超分辨率方法在Urban100數(shù)據(jù)集的定量結(jié)果Tab.4 Quantitative results of different super-resolution methodson Urban100 dataset

表5 不同超分辨率方法在RealSR數(shù)據(jù)集的定量結(jié)果Tab.5 Quantitative results of different super-resolution methodson RealSR dataset

圖7—圖8分別給出了不同超分辨率方法在Urban100和RealSR數(shù)據(jù)集中的圖像視覺對(duì)比結(jié)果，其中，放大比例為4。Urban100數(shù)據(jù)集包含了具挑戰(zhàn)性的城市景色，具有不同頻帶的細(xì)節(jié)。從圖7可以看出，盡管SAN和RCAN可以重建局部細(xì)節(jié)，但大多數(shù)比較方法無法恢復(fù)LR圖像中丟失的細(xì)節(jié)。相比之下，本文方法將原始圖像的淺層特征、通道相關(guān)性以及深層特征信息融合為全局上下文信息，從而可以恢復(fù)更銳利和更清晰的邊緣，更忠實(shí)于真實(shí)圖像。

圖7 不同方法的超分辨率在Urban100數(shù)據(jù)集上的定性評(píng)價(jià)Fig.7 Qualitative evaluation of super-resolution by different methods on Urban100 dataset

RealSR數(shù)據(jù)集包含同一場(chǎng)景、同一相機(jī)以不同的焦距采集的數(shù)據(jù)，該數(shù)據(jù)集對(duì)尺度因子變化十分具有挑戰(zhàn)性。從圖8可以看出，Bicubic、U-Net、SAN和RCAN的超分辨率結(jié)果帶有明顯的偽影，而LP-KPN方法存在邊緣細(xì)節(jié)丟失的現(xiàn)象，相比之下，本文方法的結(jié)果具有豐富的細(xì)節(jié)和邊緣紋理，并產(chǎn)生了色彩自然的圖像。此外，本文方法具有很好的魯棒性，能夠適用于不同挑戰(zhàn)性的超分辨率。

圖8 不同方法的超分辨率在RealSR數(shù)據(jù)集上的定性評(píng)價(jià)Fig.8 Qualitative evaluation of super-resolution by different methods on RealSR dataset

3.5 圖像增強(qiáng)

第3個(gè)實(shí)驗(yàn)是驗(yàn)證本文方法在圖像增強(qiáng)任務(wù)中的有效性。模型在LoL數(shù)據(jù)集和MIT-Adobe FiveK數(shù)據(jù)上進(jìn)行測(cè)試，并與KinD[4]、Retinex-Net[17]以及GLAD[22]方法進(jìn)行對(duì)比。表6給出了不同圖像增強(qiáng)方法測(cè)試的PSNR和SSIM值。從表6可以看出，本文方法比以前的方法有了顯著的改進(jìn)。通過對(duì)比發(fā)現(xiàn)，對(duì)于LoL和MIT-Adobe FiveK數(shù)據(jù)集，本文方法的性能比KinD、GLAD和Retinex-Net方法分別提高了3.27，4.42，7.37 dB和2.0，3.58，4.82 dB。

表6 不同圖像增強(qiáng)方法的定量結(jié)果Tab.6 Quantitative results of different image enhancement methods

圖9—圖10分別給出了不同增強(qiáng)方法在LoL和MIT-Adobe FiveK數(shù)據(jù)集上的圖像視覺對(duì)比結(jié)果。從圖9可以看出，Retinex-Net、GLAD以及KinD方法的對(duì)比度較差，而且GLAD存在顏色失真的現(xiàn)象。相比而言，本文方法生成的增強(qiáng)圖像既自然又生動(dòng)，具有更好的全局和局部對(duì)比度，在亮度方面也更接近真實(shí)情況。

圖9 不同圖像增強(qiáng)方法在LoL數(shù)據(jù)集上的定性評(píng)價(jià)Fig.9 Qualitative evaluation of image enhancement by different methodson LoL dataset

圖10 不同圖像增強(qiáng)方法在MIT-Adobe FiveK數(shù)據(jù)集上的定性評(píng)價(jià)Fig.10 Qualitative evaluation of image enhancement by different methodson MIT-Adobe FiveK dataset

4 結(jié)束語

本文提出了一種基于多尺度殘差注意網(wǎng)絡(luò)的復(fù)原方法，用于解決在真實(shí)圖像上深度學(xué)習(xí)方法性能不佳的問題，提高圖像的復(fù)原視覺效果。本文方法由淺層特征提取網(wǎng)絡(luò)、多尺度殘差注意網(wǎng)絡(luò)和重構(gòu)網(wǎng)絡(luò)3個(gè)模塊組成，能夠利用具有不同感受野的特征對(duì)圖像去噪、圖像增強(qiáng)和超分辨率等多個(gè)任務(wù)中的退化圖像進(jìn)行復(fù)原。具體地，首先利用淺層特征網(wǎng)絡(luò)提取原始低質(zhì)量圖像的淺層特征，并基于殘差結(jié)構(gòu)饋送入多尺度殘差注意網(wǎng)絡(luò)和重構(gòu)網(wǎng)絡(luò)中；然后，通過多尺度殘差注意網(wǎng)絡(luò)利用多尺度單元、殘差密度單元和注意力單元從淺層特征圖中學(xué)習(xí)圖像的深層特性信息和通道相關(guān)性；最后，應(yīng)用重構(gòu)網(wǎng)絡(luò)基于淺層特征、深層特征和通道相關(guān)性等多層次特征信息對(duì)退化圖像進(jìn)行復(fù)原。實(shí)驗(yàn)結(jié)果表明，本文方法在多個(gè)任務(wù)中取得良好的結(jié)果，相較于其他復(fù)原算法，本文方法的性能最優(yōu)。