蔡建楓，蔣年德

（東華理工大學(xué) 信息工程學(xué)院，江西 南昌330013）

1 引言

20 世紀(jì)首次提出圖像超分辨率重建后，圖像超分辨率重建在醫(yī)療、航天、三維點(diǎn)云［1］等領(lǐng)域均取得了顯著成就。單圖像超分辨率重建（Signal Image Super-Resolution，SISR）是從低分辨率圖像中恢復(fù)高分辨率圖像的過程。重建過程一般可以分為4 個(gè)尺度i（i=2，3，4，8），i表示圖像邊長增加了i倍，即像素密度增加了i倍。Dong 等人［2］將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）引入單圖像超分辨率（SISR）以獲得良好性能。為了進(jìn)一步提高圖像超分辨率（Super Resolution，SR）的性能，Kim 等人［3］提出了深度遞歸卷積的方法，其使用了遞歸監(jiān)督與跳躍鏈接和不同的訓(xùn)練策略來解決網(wǎng)絡(luò)出現(xiàn)的梯度消失問題。此外，Lim 等人［4］提出移除批量歸一化層（BN）能提高模型性能。Dong［5］和Hui［6］等人考慮了模型輕量化。Qiu 等人［7］考慮了圖像低頻和高頻有不同的處理復(fù)雜度，提出了一個(gè)分離高頻和低頻信息的網(wǎng)絡(luò)。Liu 等人［8］提出了一種新的殘差特征聚合框架。上述方法的輸入圖像都是基于固定退化模式生成，然而SR 是一個(gè)典型的逆問題，它嚴(yán)重依賴于退化模型［9-10］，當(dāng)實(shí)際退化模式與其假設(shè)不同時(shí)，這些方法的性能會(huì)嚴(yán)重退化［11-12］。因此，未知退化模式（Blind super-resolution，Blind SR）的問題使大多數(shù)SR 方法失效。此外，現(xiàn)有的基于深度學(xué)習(xí)的方法在真實(shí)世界圖像中受到了很大的限制。近年來，除了盲SR 之外，有幾種非盲方法被提出用來處理實(shí)際應(yīng)用中的各種退化模式［13-14］，具體來說，這些方法是使用一組退化組合進(jìn)行訓(xùn)練，例如，不同的模糊和噪聲的一些組合。此外，它還假定被測試的LR 圖像的退化是已知的，當(dāng)真正的退化是已知時(shí)，這些非盲方法產(chǎn)生了滿意的SR 結(jié)果［15-16］。然而，這些非盲方法的性能高度依賴于退化信息估計(jì)的準(zhǔn)確性，當(dāng)估計(jì)誤差較大時(shí)，會(huì)產(chǎn)生明顯的假象。為了解決這一問題，Gu 等人［17］提出了一種迭代內(nèi)核校正（Iterative Kernel Correction，IKC）的盲SR 方法，它可以通過觀察以前的SR 結(jié)果來校正估計(jì)的退化。通過迭代校正估計(jì)的方法，可以準(zhǔn)確估計(jì)退化信息。因?yàn)樗鼈冊(cè)跍y試時(shí)需要對(duì)退化估計(jì)方法和IKC 進(jìn)行大量迭代，所以這些方法非常耗時(shí)。

上述應(yīng)對(duì)真實(shí)世界圖像退化的方法都是基于像素級(jí)的退化估計(jì)，其中需要對(duì)圖像每個(gè)像素的退化進(jìn)行估計(jì)，當(dāng)估計(jì)的退化偏離真實(shí)圖像時(shí)，SR 的性能就很差。Wang 等人［18］提出了區(qū)分各種退化來學(xué)習(xí)退化表征，降低了退化估計(jì)的難度。盡管Wang 等人提出的退化感知超分辨率（Degradation-aware Super Resolution，DASR）方法在盲超分辨率任務(wù)上取得了滿意的性能，但設(shè)計(jì)的圖像恢復(fù)網(wǎng)絡(luò)仍有不足之處。首先，恢復(fù)網(wǎng)絡(luò)里的退化感知模塊只傳入下一個(gè)模塊，沒有充分利用中間層的特征相關(guān)性，因此低分辨率圖像（Low-resolution image）的紋理細(xì)節(jié)往往在超分辨率結(jié)果中被平滑化。其次，在SR 任務(wù)中，生成精細(xì)的紋理仍然是一個(gè)非常艱巨的問題。雖然DASR 通過使用通道注意力得到的結(jié)果保留了一些細(xì)節(jié)信息，但是這些基于通道注意力的方法只利用了退化表征，在保留信息紋理和恢復(fù)自然細(xì)節(jié)方面很困難，會(huì)損失恢復(fù)圖像中的一些細(xì)節(jié)部分。

為了解決這些問題，本文提出了一個(gè)新穎的盲圖像超分辨率重建模型。該模型由多個(gè)以退化感知塊為基礎(chǔ)的殘差組構(gòu)成，退化感知塊使用一種基于圖像特征和退化表征交叉的空間注意力計(jì)算方法，這種方法會(huì)融合圖像退化表征和圖像特征，學(xué)習(xí)特征圖中不同位置的權(quán)重，加強(qiáng)紋理和邊緣等高頻信息的提取能力。此外，本文模型還引入了層級(jí)特征復(fù)用模塊，通過考慮多層特征之間的相關(guān)性來學(xué)習(xí)特征層間的權(quán)重，增強(qiáng)圖像超分辨率恢復(fù)能力。

2 本文方法

本文模型主要包括4 個(gè)模塊：退化表征提取模塊、基于退化表征交叉注意力的圖像特征提取模塊、層級(jí)特征復(fù)用模塊和上采樣模塊。為了建模一個(gè)符合真實(shí)世界的復(fù)雜退化模型，本文對(duì)原圖像使用隨機(jī)生成的各向異性高斯核進(jìn)行模糊處理?；谙袼丶?jí)退化估計(jì)的難度較大，用對(duì)比學(xué)習(xí)提取退化表征只需要區(qū)分開不同退化，更容易學(xué)習(xí)，而且不需要準(zhǔn)確的模糊核作為標(biāo)簽幫助訓(xùn)練。學(xué)習(xí)到的退化表征和低分辨率圖一起輸入圖像特征提取模塊。圖像特征提取模塊主要由5 個(gè)殘差退化學(xué)習(xí)模塊（Residual degenrate learning block，RDLB）組成，在每個(gè)RDLB 內(nèi)部包括5 個(gè)退化感知塊（Degradationaware block，DAB），每個(gè)DAB 包括2 個(gè)退化感知卷積塊（Degenerate-aware convolution block，DACB），DACB 能夠充分結(jié)合退化表征來提取圖像特征。層級(jí)特征復(fù)用模塊（Layer feature reuse block，LFRB）提取不同深度的特征，為之分配不同的注意力權(quán)重，提高特征表示能力。上采樣模塊用亞像素卷積把圖像特征放大目標(biāo)上采樣倍數(shù)，再用卷積獲得恢復(fù)圖像。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 基于退化感知的整體結(jié)構(gòu)圖Fig.1 Overall structure diagram based on degradation aware

2.1 圖像退化模型

盲SR 旨在從具有未知和復(fù)雜退化的低分辨率圖像中恢復(fù)高分辨率圖像。本文通過區(qū)分不同的退化來處理LR 圖像。通常采用經(jīng)典的退化模型［19］來合成低分辨率輸入。LR 圖像和退化信息可以表示為：

其中：?和↓代表著卷積操作和下采樣操作，k代表模糊核，S代表下采樣比例因子，n代表噪聲，ILR是低分辨率圖像，IHR是高分辨率圖像。本文為了建?，F(xiàn)實(shí)世界的退化，研究了一個(gè)帶有各向異性的高斯核的更普遍的退化模型，即對(duì)每個(gè)低分辨率圖像隨機(jī)生成各自的模糊核k，并在模糊核后用雙三次下采樣方法進(jìn)行下采樣操作

2.2 退化表征的提取

本文使用MoCo［20］對(duì)比學(xué)習(xí)的方法進(jìn)行退化表征學(xué)習(xí)。它根據(jù)一個(gè)樣本的不同視圖具有相似信息來捕捉類別特征，將同一樣本的不同視圖作為正樣本，不斷拉近這些視圖的特征，其他樣本的視圖作為負(fù)樣本盡量遠(yuǎn)離。本文將具有相同退化模式的圖像作為正樣本，不同退化模式的圖像為負(fù)樣本。詳細(xì)來說，給定一批HR 圖像，首先從每個(gè)圖像中隨機(jī)裁剪兩個(gè)小塊圖像并對(duì)它們按縮放因子進(jìn)行退化處理，得到小塊圖像列表，每個(gè)Pi是由同個(gè)退化模式處理得到的兩個(gè)小塊圖像，需要注意的是，Pi之間的退化模式是不同的。由于具有不同的退化模式而被用來對(duì)比學(xué)習(xí)退化表征。無監(jiān)督對(duì)比學(xué)習(xí)需要建立一個(gè)大型字典作為負(fù)樣本，本文遵循MoCo 的做法，建立一個(gè)隊(duì)列作為負(fù)樣本字典，當(dāng)前小批次的特征表示作為負(fù)樣本入隊(duì)時(shí)，最老的特征出隊(duì)。退化表征提取模塊的輸入為P?，模塊由6 個(gè)卷積層組成，每一層在批量標(biāo)準(zhǔn)化后由LeakyRelu 激活，最后通過自適應(yīng)平均池化獲得退化表征R。最后，使用InfoNCE 損失進(jìn)行對(duì)比學(xué)習(xí)：

其中：E(·)表示退化表征提取，Nque表示隊(duì)列長度，是jth負(fù)樣本，τ是溫度超參數(shù)，B是批量大小。

2.3 基于退化表征的交叉注意力方法

真實(shí)世界中的退化可能是空間變化的，而DASR［17］假設(shè)圖像在空間上具有同一退化。DASR直接將退化信息經(jīng)過兩層全連接層和Sigmoid 后作為通道注意力，但退化信息不同于SR 網(wǎng)絡(luò)中傳播的紋理特征，即退化信息和圖像特征之間存在域差異，因此會(huì)干擾紋理特征的提取。Mobile-Former［21］的雙向橋融合局部和全局特征后進(jìn)行雙向通信，充分發(fā)揮卷積在提取局部特征方面的效率和Transformer 在提取全局特征方面的能力。由此得到啟發(fā)，本文同時(shí)考慮退化表征和圖像的紋理特征，通過交叉注意力方法融合它們，然后學(xué)習(xí)每個(gè)像素特征的重要程度，識(shí)別空間變異的退化，提高紋理和邊緣特征提取能力。本文的圖像特征提取網(wǎng)絡(luò)以退化感知塊為基本塊，如圖2 所示。整體架構(gòu)由5 個(gè)殘差退化學(xué)習(xí)塊RDLB 組成，如圖1 所示。首先，低分辨率（Low resolution，LR）圖像經(jīng)過6 層卷積網(wǎng)絡(luò)后，由avgpool 全局自適應(yīng)平均池化編碼為退化表征。然后，退化表征被輸入到DAB。為了處理圖像的退化信息，在DAB 中使用退化表征和圖像特征計(jì)算交叉注意力。具體來說，退化表征和LR 圖像特征F通過一層3×3 卷積初步提取特征后被一起輸入到DAB，退化表征被傳入兩個(gè)分支，其中一個(gè)通過兩層全連接層后生成動(dòng)態(tài)卷積核W（C×1×3×3），然后使用F和W做深度分離卷積運(yùn)算，最后通過一個(gè)1×1 的卷積層得到F1。圖像經(jīng)過復(fù)雜退化后，用第二個(gè)分支來學(xué)習(xí)像素特征的權(quán)重，采用交叉注意力方法將退化表征和圖像特征F融合，它們的計(jì)算方法如式（3）所示。退化表征分別經(jīng)過兩個(gè)全連接層后生成K和V（退化表征經(jīng)過計(jì)算轉(zhuǎn)換后的新特征），圖像特征F不做改變當(dāng)作Q（圖像特征經(jīng)reshape 轉(zhuǎn)換的特征），然后用公式（3）計(jì)算得到Zout，再經(jīng)過1×1 卷積把通道數(shù)轉(zhuǎn)成1 個(gè)，再經(jīng)過sigmoid 函數(shù)得到維度是B×1×H×W大小的空間注意力，結(jié)構(gòu)如圖3 所示。

圖3 退化表征交叉注意力塊Fig.3 Degenerate representation cross attention block

該過程可表示為：

其中：d是圖像特征F的通道數(shù)，z是退化表征。接下來將兩個(gè)分支中的F1和F2執(zhí)行元素求和并將它們向后傳遞。該方法充分利用對(duì)比學(xué)習(xí)提取的圖像退化表征和LR 圖像特征，分別對(duì)LR 圖像特征進(jìn)行卷積運(yùn)算和空間權(quán)重調(diào)制，可以靈活地處理退化信息，加強(qiáng)空間變異退化的判別學(xué)習(xí)能力，進(jìn)一步提高網(wǎng)絡(luò)的表示能力。

2.4 層級(jí)特征復(fù)用方法

為了充分利用中間層的特征，提高網(wǎng)絡(luò)性能，董等人提出了基于小波域的殘差密集網(wǎng)絡(luò)［22］（Residual dense network based on the wavelet domain，WRDSR），該網(wǎng)絡(luò)通過跳連接回收不同層特征，但僅使用concat 作為特征融合方法，平等對(duì)待不同層特征，這會(huì)阻礙模型的表示能力。本文提出層級(jí)特征復(fù)用方法LFRB，提取各殘差退化學(xué)習(xí)塊的輸出特征，并通過考慮各層特征之間的相關(guān)性，自動(dòng)為不同深度的特征分配注意力權(quán)重，提高提取特征的表示能力，所提出的結(jié)構(gòu)如圖4 所示。模塊的輸入是從N個(gè)RDLB 殘差組中提取的中間特征組FGs，維度是N×C×H×W。LFRB 將特征組FGs 重新修整為一個(gè)維度為N×CHW的二維矩陣，并應(yīng)用矩陣乘法與相應(yīng)的轉(zhuǎn)置來計(jì)算不同層之間的相關(guān)性，公式如式（7）所示：

圖4 層級(jí)特征復(fù)用塊Fig.4 Layer feature reuse block

其中：δ(·)和φ(·)表示softmax 和reshape 操作，wi，j表示第i和j個(gè)特征組之間的相關(guān)指數(shù)。最后，將重新修整形狀后的特征組FGs 乘以帶有比例系數(shù)的預(yù)測相關(guān)矩陣，并加入跳連接，如公式（8）所示：

其中α由網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)。模塊最后傳入3×3 卷積，輸出通道數(shù)與一個(gè)殘差的通道數(shù)一致。因此，網(wǎng)絡(luò)可以自動(dòng)關(guān)注層級(jí)特征中的更重要特征。

2.5 損失函數(shù)

常用的損失函數(shù)有L2［23］、L1［24］、感知損失和對(duì)抗損失［25］。本文選擇L1損失函數(shù)，給定一批圖像，其中包含B個(gè)LR 圖像和其對(duì)應(yīng)HR，L1損失如式（9）所示：

其中：H指本文的SR 模型，整體損失函數(shù)定義為L=LSR+Lcl，Lcl是公式（1）的對(duì)比損失。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文根據(jù)公式（1）生成LR 圖像用于訓(xùn)練和測試。將來自DIV2K 的800 張訓(xùn)練圖像和來自Flickr2K 的2 650 張訓(xùn)練圖像用作訓(xùn)練集，并對(duì)4 個(gè)基礎(chǔ)數(shù)據(jù)集進(jìn)行評(píng)估，這4 個(gè)數(shù)據(jù)集分別是Set5、Set14、B100 和Urban100。具體來說，本文使用各向異性高斯核作為退化方法進(jìn)行實(shí)驗(yàn)，其特征為高斯概率密度函數(shù)N（0，∑）（具有零均值和變化協(xié)方差矩陣∑）。隨機(jī)特征值的范圍λ1和λ2為［0.2，4.0］，隨機(jī)旋轉(zhuǎn)角度θ的范圍設(shè)置為［0，π］，這些可以確定協(xié)方差矩陣∑。

3.2 評(píng)價(jià)指標(biāo)

本文選擇峰值信噪比（Peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性（Structural similarity，SSIM）兩個(gè)客觀指標(biāo)來對(duì)比本文模型與其他先進(jìn)模型的性能。

其中：Ii指HR 圖像在第i位置的值，?指SR 圖像在第i位置的值，Imax為像素最大值255，μ指平均值，σI為方差，為協(xié)方差，c1=(0.01×Imax)2，c2=(0.03×Imax)2。

3.3 實(shí)驗(yàn)設(shè)置

在訓(xùn)練中，隨機(jī)選擇32 張圖像通過隨機(jī)旋轉(zhuǎn)和翻轉(zhuǎn)來增強(qiáng)數(shù)據(jù)。從上述范圍中隨機(jī)選擇32 個(gè)高斯核來生成LR 圖像。隨機(jī)裁剪64 個(gè)大小為48×48 的LR 小塊圖像（第2.3 節(jié)，每個(gè)LR 圖像中有2 個(gè)補(bǔ)丁）及其對(duì)應(yīng)的HR 圖像塊。使用β1=0.9 和β2=0.999 的Adam 方法進(jìn)行優(yōu)化。本文對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行了500 個(gè)epoch 的訓(xùn)練。初始學(xué)習(xí)率設(shè)置為1×10-4，每100 個(gè)epoch 降低1/2。實(shí)驗(yàn)環(huán)境為：GPU 為NVIDIA V100，CPU 8 核，內(nèi)存為32G，深度學(xué)習(xí)框架為Pytorch，編程語言為Python。

3.4 消融實(shí)驗(yàn)

為了探究本文提出的基于退化表征和圖像特征的交叉注意力方法和層級(jí)特征復(fù)用方法在盲超分辨率領(lǐng)域?qū)謴?fù)結(jié)果的影響，本文對(duì)這兩個(gè)模塊進(jìn)行了消融實(shí)驗(yàn)。將去掉了交叉注意力方法和層級(jí)特征復(fù)用模塊作為基礎(chǔ)模型，并在放大系數(shù)為4 的基礎(chǔ)模型上面訓(xùn)練500 個(gè)epoch，“Baseline+ca”指在基礎(chǔ)模型上添加了交叉注意力模塊，“Ours”指本文提出的整個(gè)模型，即引入以上兩個(gè)模塊的模型。如表1所示，引入兩個(gè)改進(jìn)模塊時(shí)，模型性能有所提高。實(shí)驗(yàn)結(jié)果表明，當(dāng)在基礎(chǔ)模型上引入基于退化表征和圖像特征的交叉注意力方法時(shí)，在Set5 數(shù)據(jù)集上的PSNR 下降0.01，但是SSIM 提高0.001 1；而在Set14 數(shù)據(jù)集上，PSNR 提高了0.2，SSIM 提高了0.002 3。當(dāng)同時(shí)引入兩個(gè)模塊時(shí)，模型比基礎(chǔ)模型和只引入交叉注意力方法的模型均提升了性能，在Set5 數(shù)據(jù)集上比基礎(chǔ)模型的PSNR 提高0.03，SSIM 提高了0.000 7，在Set14 數(shù)據(jù)集上比基礎(chǔ)模型的PSNR 提高0.25，SSIM 提高0.004 7。綜上所述，相較于基礎(chǔ)模型，本文提出的交叉注意力方法和層級(jí)特征復(fù)用方法對(duì)圖像的恢復(fù)效果提高顯著。

表1 不同模塊組合的實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of different module combinations

3.5 交叉注意力機(jī)制分析

為了驗(yàn)證交叉注意力機(jī)制的有效性，本文可視化了不同層的注意力圖。輸入圖像是從Set14挑選的，整體用圖4 的模糊核1 執(zhí)行模糊退化，再在中間小矩形用模糊核2 執(zhí)行模糊退化，然后輸出模型訓(xùn)練完成后的第8、20、28 和40 層注意力圖?？梢钥闯觯煌淖⒁饬右圆煌牧６茸R(shí)別圖像。圖5 表明，低層注意力能學(xué)習(xí)粗粒度的顏色變化和細(xì)粒度的顏色變化，如8 層的顏色塊和20 層的點(diǎn)和線條，中間層注意力能學(xué)習(xí)區(qū)分前景和背景，高層注意力能學(xué)習(xí)區(qū)分空間變異退化。

圖5 不同層的注意力圖Fig.5 Attention map of different layers

3.6 現(xiàn)有先進(jìn)模型的對(duì)比

3.6.1 定量比較

本文與RCAN［26］、DASR［18］、IKC［17］、HAN［27］、Bicubic 這幾個(gè)算法的性能進(jìn)行了比較，在數(shù)據(jù)集Set5、Set14、Urban100 和BSD100 上測試不同放大系數(shù)（×2，×4）的超分辨率恢復(fù)結(jié)果，用PSNR和SSIM 作為指標(biāo)進(jìn)行比較。測試數(shù)據(jù)集的LR圖像生成設(shè)置使用各向異性的高斯模糊和雙三次下采樣，隨機(jī)特征值的范圍λ1和λ2為［0.2，4.0］，隨機(jī)旋轉(zhuǎn)角度θ的范圍設(shè)置為［0，π］，隨機(jī)種子固定設(shè)置為0，這樣能確保不同圖像使用不同的參數(shù)。如表2 所示，本文提出方法的性能領(lǐng)先于其他算法，表明交叉注意力方法和層級(jí)特征復(fù)用方法具有泛化能力，能提升圖像恢復(fù)能力，并取得很好的客觀評(píng)價(jià)指標(biāo)。

表2 不同SR 算法在2 倍放大系數(shù)的測試結(jié)果Tab.2 Test results of different SR algorithms at 2X magnification factor

表3 不同SR 算法在4 倍放大系數(shù)的測試結(jié)果Tab.3 Test results of different SR algorithms at 4X magnification factor

3.6.2 視覺效果

不同模型的恢復(fù)結(jié)果可視化如圖6、7、8 所示。圖6 中HAN、RCAN 和Bicubic 算法幾乎無法恢復(fù)出小鳥頭部的輪廓邊界，IKC 則有較好的提升，而本文方法恢復(fù)的圖像有明顯的提升，輪廓更加明顯，最接近HR 圖像。如圖7 所示，在Set14的“pepper”圖像上，Bicubic 算法恢復(fù)圖像在邊緣處有少許馬賽克，HAN、RCAN 算法恢復(fù)的紋理在視覺上相近，IKC 則錯(cuò)誤地恢復(fù)出蔬菜的邊緣，而本文算法的恢復(fù)圖像在紅色部位的邊緣有清晰的邊界，更加接近HR 圖像。如圖8所示，在恢復(fù)字體方面，本文算法也是領(lǐng)先于其他算法，恢復(fù)文字更加清晰。綜上可以看出，HAN、RCAN 和Bicubic算法在復(fù)雜退化的LR 圖像上的性能并不理想。IKC 受益于迭代核，產(chǎn)生了較清晰的結(jié)果。在處理具有復(fù)雜退化的LR 圖像時(shí)，本文模型的視覺效果和圖像質(zhì)量要更加優(yōu)秀。

圖6 Set5 中“bird”恢復(fù)結(jié)果對(duì)比圖Fig.6 Comparison of “bird” recovery results in Set5

圖7 Set14 中“pepper”恢復(fù)結(jié)果對(duì)比圖Fig.7 Comparison of “pepper” recovery results in Set14

圖8 Set14 中“ppt3”恢復(fù)結(jié)果對(duì)比圖Fig.8 Comparison of “ppt3” recovery results in Set14

3.6.3 對(duì)真實(shí)世界圖像的實(shí)驗(yàn)

為了進(jìn)一步證明本文模型的有效性，本文對(duì)真實(shí)世界圖像進(jìn)行實(shí)驗(yàn)和可視化，在RealSR數(shù)據(jù)集上測試放大4 倍的超分辨率恢復(fù)結(jié)果。RealSR 數(shù)據(jù)集通過調(diào)整數(shù)碼相機(jī)的焦距，在多個(gè)自然場景下拍攝成對(duì)的LR-HR 圖像。如表4所示，本文模型在隨機(jī)的模糊核條件下訓(xùn)練，在真實(shí)世界數(shù)據(jù)上測試，跟其他模型對(duì)比具有較好的性能。

表4 模型在RealSR 數(shù)據(jù)集上的定量比較Tab.4 Quantitative comparison of the models on RealSR

同時(shí)在沒有HR 圖像的真實(shí)退化圖像上比較各模型性能，通過視覺對(duì)比進(jìn)行評(píng)估。如圖9 所示，HAN 和RCAN 都產(chǎn)生了很明顯的模糊線條；IKC 具有多次迭代而產(chǎn)生了更高的清晰度，但右上角的線條仍然有少量模糊；本文模型的交叉注意力方法幫助產(chǎn)生比IKC 更清晰的線條邊緣和細(xì)節(jié)。如圖10 所示，在文字恢復(fù)方面，其他模型恢復(fù)的ADVISE 字母有各種程度的模糊。圖11 中IKC 產(chǎn)生了較明顯的振鈴。本文的模型恢復(fù)了清晰的字母、尖銳邊緣和高頻細(xì)節(jié)。綜上表明，本文模型在真實(shí)世界圖像上具有良好的泛化能力。

圖9 真實(shí)圖像放大4 倍的對(duì)比圖1Fig.9 Comparison chart 1 of the real image magnified 4 times

圖10 真實(shí)圖像放大4 倍的對(duì)比圖2Fig.10 Comparison chart 2 of the real image magnified 4 times

圖11 真實(shí)圖像放大4 倍的對(duì)比圖3Fig.11 Comparison chart 3 of the real image magnified 4 times

4 結(jié)論

為了處理真實(shí)世界中具有復(fù)雜未知退化的圖像，本文提出了一種基于退化感知的盲超分辨率模型。首先它通過隨機(jī)各向異性的模糊核生成LR 圖像，建模一個(gè)盡量符合真實(shí)世界復(fù)雜退化的模型；接著用對(duì)比學(xué)習(xí)提取一個(gè)用來區(qū)分退化方法的表征，避免學(xué)習(xí)像素級(jí)別的退化估計(jì)；然后把退化表征經(jīng)過全連接層后作為圖像特征提取的卷積核，同時(shí)把退化表征和LR 圖像特征做交叉注意力計(jì)算，生成的空間注意力圖給圖像特征分配權(quán)重，更好地恢復(fù)高頻細(xì)節(jié)，同時(shí)此方法還能識(shí)別到空間變化的退化方法；最后為了更好地利用各殘差組生成的層級(jí)特征，本文還提出了層級(jí)特征復(fù)用方法，用注意力方法計(jì)算不同深度的層級(jí)特征之間的相關(guān)性，并生成權(quán)重圖來提取各層特征。消融實(shí)驗(yàn)證明了本文提出的交叉注意力方法和層級(jí)特征復(fù)用方法在評(píng)價(jià)指標(biāo)上有所提高，能提升恢復(fù)圖像的質(zhì)量。通過與其他先進(jìn)算法比較，本文提出的方法在評(píng)價(jià)指標(biāo)和視覺效果上均有較好的結(jié)果。本文提出的算法在盲圖像超分變率領(lǐng)域的性能較好，但模型參數(shù)量較大和運(yùn)算速度較慢，未來的研究將在小型設(shè)備中提供快速運(yùn)算功能。