溫 劍，邵劍飛*，劉 杰，邵建龍，馮宇航，葉 榕

（1.昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500；2.云南警官學(xué)院 云南警用無人系統(tǒng)創(chuàng)新研究院，云南 昆明 650223）

1 引言

單圖像超分辨率（Single Image Super-resolution，SISR）的任務(wù)是將低分辨率圖像（Low Resolution，LR）通過重建技術(shù)獲得更自然逼真的高分辨率圖像（High Resolution，HR）。通常圖像的分辨率越高，代表細節(jié)紋理帶來的視覺效果越好。由于硬件設(shè)備采集圖像的過程中受自然環(huán)境、數(shù)字設(shè)備成本或人為干涉因素的影響，拍攝的圖像不清晰，這會降低圖像分類［1］、無人機偵察［2］、醫(yī)療輔助［3］、遙感測繪［4］等視覺任務(wù)的性能。圖像超分辨率（Super Resolution，SR）重建算法不受平臺的限制，降低了設(shè)備的硬件成本，并有效提高了圖像分辨率，因此成為計算機視覺領(lǐng)域具有重要研究意義的底層任務(wù)之一。

多年來，為解決SR 重建任務(wù)中的非適定性問題，早期的超分辨率研究包括基于插值方法和基于先驗方法。插值方法主要有雙線性插值［5］和雙三次插值［6］，實現(xiàn)從LR 到HR 的映射，該方法雖然操作簡單，但應(yīng)用范圍及超分辨率效果較差，因此，基于先驗的方法被提出。孫玉寶等［7］利用稀疏先驗信息獲得線性組合預(yù)測HR 圖像，潘宗序等［8］利用自相似先驗信息引導(dǎo)模型實現(xiàn)超分辨率重建，然而這種依賴先驗信息的方法需要過于耗時的代價完成任務(wù)，在一定程度上阻礙了研究者的工作。

近年來，基于深度學(xué)習(xí)的深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）依靠其靈活的端到端架構(gòu)和卓越的學(xué)習(xí)能力，得到了廣泛的應(yīng)用。Dong 等［9］于2016 年利用基于卷積神經(jīng)網(wǎng)絡(luò)提出了一個構(gòu)建3 層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)LR 到HR 的映射，其圖像超分辨率重建性能驗證了基于深度學(xué)習(xí)方法的競爭力。隨后，Dong 等［10］提出了在網(wǎng)絡(luò)最后一層采用Bicubic 上采樣方式放大圖像尺寸的算法，受該方法啟發(fā)，相關(guān)研究人員設(shè)計出大量具有堆疊卷積層特征的網(wǎng)絡(luò)模型，通過實驗發(fā)現(xiàn)，深度的堆疊網(wǎng)絡(luò)雖然可以有效提高重建性能，但在訓(xùn)練過程中也出現(xiàn)了梯度消失或梯度爆炸的問題。因此，Kim 等受ResNet［11］啟發(fā)，設(shè)計了更深的卷積超分辨率網(wǎng)絡(luò)（Super-Resolution using Very deep SR Network，VDSR）［12］，將殘差網(wǎng)絡(luò)設(shè)計到SR 模型中，利用殘差學(xué)習(xí)技術(shù)獲取遺失的特征信息，以防止梯度爆炸或消失。Kim 等又通過跳躍連接來引導(dǎo)模型融合全局和局部特征，提出了降低模型復(fù)雜度的遞歸神經(jīng)網(wǎng)絡(luò)算法［13］。Tai 等［14］利用遞歸學(xué)習(xí)和門控單元構(gòu)建了深度為80 層的網(wǎng)絡(luò)模型，該模型能夠提取多級特征信息，提高預(yù)測圖像質(zhì)量。Lim 等［15］提出了基于增強的深度殘差圖像超分辨率網(wǎng)絡(luò)（Enhanced Deep Residual Network for Single Image Super-Resolution，EDSR），通過去除殘差塊中的批歸一化層來降低模型復(fù)雜度，重建后的HR 圖像展現(xiàn)出良好的視覺效果和性能指標(biāo)。Zhang 等［16］受EDSR 的啟發(fā)，在模型基礎(chǔ)上引入注意力機制完善殘差網(wǎng)絡(luò)，模型增強了不同通道的相互依賴型，采用自適應(yīng)性過濾冗余的低頻特征，進一步提高了重建后的SR 質(zhì)量。

然而，以上模型在重建過程中需要計算大量參數(shù)，導(dǎo)致算法依賴具有較高算力和內(nèi)存的硬件設(shè)備，過深的網(wǎng)絡(luò)結(jié)構(gòu)也會導(dǎo)致訓(xùn)練過擬合等問題。為解決此類問題，使超分辨重建任務(wù)能夠在實際應(yīng)用領(lǐng)域得到發(fā)展，一些參數(shù)較少、計算復(fù)雜度低的算法模型被提出。宋昭漾等的倒N 型網(wǎng)絡(luò)［17］，MSRN［18］和CARN［19］以略微降低圖像SR 質(zhì)量為代價，大規(guī)模減少參數(shù)量。另一方面，對于追求主觀視覺效果更好、細節(jié)紋理豐富的計算機視覺任務(wù)，一些學(xué)者選擇增大模型復(fù)雜性，從而實現(xiàn)提升性能指標(biāo)和豐富重建圖像紋理的目的，例如Ledig 等［20］提出的基于生成式對抗網(wǎng)絡(luò)的超分辨率模型（Photo-realistic Single Image Super-Resolution using a Generative Adversarial Network，SRGAN）。Wang 等［21］在SRGAN 模型的基礎(chǔ)上引入密集殘差塊作為生成器的特征提取塊，改用相對判別器提升模型性能，重建后的圖像SR 視覺效果卓越，但細節(jié)信息失真的特性，使此類方法不能有效應(yīng)用到醫(yī)學(xué)圖像的SR 重建領(lǐng)域。

目前，主流SR 重建方法均采用尺寸為3×3或5×5 的卷積來降低參數(shù)量，但較小的感受野不能完全學(xué)習(xí)各區(qū)域的特征信息。近年來，注意力機制的有效性得到驗證，并成功應(yīng)用至計算機視覺領(lǐng)域，能夠很好地捕捉圖像全局信息，重建后的圖像具有更加豐富的紋理特征，但同時也產(chǎn)生了大量冗余信息。本文提出了一種融合多維注意力機制與選擇性特征融合的圖像超分辨率重建方法，并構(gòu)建了一種由對稱組卷積塊、互補卷積塊和特征增強殘差塊組成的特征提取模塊。兩個并行對稱的對稱組卷積塊用于提取不同通道間的內(nèi)部信息，并使用選擇性內(nèi)核特征融合內(nèi)部信息?；パa卷積塊采用多維注意力機制以并行策略動態(tài)學(xué)習(xí)核空間的四個維度，捕捉全部通道的特征，以獲得更加細膩的紋理特征信息，特征增強殘差塊在增強特征的同時去除產(chǎn)生的冗余信息。最后，提出了一種豐富圖像紋理，降低計算參數(shù)量的網(wǎng)絡(luò)模型，該模型在SISR 任務(wù)中表現(xiàn)出優(yōu)越的視覺效果和性能指標(biāo)。

2 網(wǎng)絡(luò)模型

受文獻［22］啟發(fā)，本文提出的網(wǎng)絡(luò)模型的主體組件包括兩個帶有Relu的全維動態(tài)卷積層（Omni-Dimensional Dynamic Convolution，ODconv）、6 個具有特征提取作用的異構(gòu)組塊（Heterogeneous Group Block，HGB）和一個用于提取高頻特征的亞像素卷積選擇塊，分別完成網(wǎng)絡(luò)的淺層特征提取、深層特征提取和超分辨率重建工作，如圖1 所示。具體流程為：

圖1 融合多維注意力機制與選擇性特征融合的網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of network structure integrating multi-dimensional attention mechanism and selective feature fusion

（1）淺層特征提?。壕W(wǎng)絡(luò)第一層采用全維動態(tài)卷積從空域、輸入通道、輸出通道以多維注意力機制提取輸入圖像ILR的淺層特征信息，并使用Relu 作為激活函數(shù)，提取過程如下：

式中：ILR表示輸入的初始低分辨率圖像，ODconv(·)表示全維動態(tài)卷積操作，R(·)表示進行Relu 操作，F(xiàn)1表示經(jīng)過淺層特征提取后的特征信息。

（2）深層特征提?。涸摬糠质褂? 個HGB 模塊逐漸提取特征，并用第一層HGB 與第五層HCB 使用SKFF 采集特征信息，最后將淺層特征與第6 個HGB 模塊進行殘差連接。深層特征提取公式如下：

（3）圖像重建：在深層特征提取之后，使用ODconv+Relu 對深層特征的冗余信息進行去除工作，然后使用亞像素卷積選擇塊進行尺度選擇，選擇塊采用并行的上采樣機制，將獲得的高頻特征信息遞交至1×1 卷積層，以獲得預(yù)測的HR 圖像。重建過程如下：

式中：PUM(·)表示執(zhí)行3 種不同的尺寸（X2，X3，X4）來訓(xùn)練模型。

2.1 選擇性內(nèi)核特征融合模塊

選擇性內(nèi)核特征融合［23］作為一種動態(tài)選擇卷積核的機制被提出后，在計算機視覺領(lǐng)域得到了廣泛的關(guān)注，它在超分辨率重建任務(wù)中，通過適應(yīng)性調(diào)整感受野機制在平行流間進行信息傳遞，提取豐富的低頻特征信息，并進行特征選擇和聚合。本文模型改進了一種二分支特征提取策略的選擇性內(nèi)核特征融合模塊（SKFF），整合不同內(nèi)核特征增強抗干擾能力，提高超分辨率重建泛化能力，使模型適應(yīng)不同測試集的數(shù)據(jù)，如圖2 所示。

圖2 選擇性內(nèi)核特征融合模塊示意圖Fig.2 Schematic diagram of selective kernel feature fusion module

該機制分為融合和選擇兩部分。融合是根據(jù)輸入的分組數(shù)為二的兩個并行信息源進行聚合，聚合后的特征為：L=fr+fm，然后將得到的特征在L∈RH×W×C的空間維度上采用全局平均池化操作來計算通道數(shù)據(jù)，通道統(tǒng)計數(shù)據(jù)為：s∈R1×1×C，接下來使用ODconv 對s進行縮減并生成緊湊的特征Z∈，最后再通過兩個并行的ODconv 擴充通道至C，得到兩個特征描述符：V1，V2。選擇是兩個特征描述符經(jīng)過softmax函數(shù)分離不同類別的特征后，選擇更具有代表性的特征S1，S2，并分別與fr，fm進行元素層面的乘積，得到特征校準(zhǔn)的特征圖后進行聚合。

2.2 異構(gòu)型殘差模塊

在基于深度學(xué)習(xí)的超分辨率重建任務(wù)中，大多網(wǎng)絡(luò)都采用具有有效緩解網(wǎng)絡(luò)深度退化功能的標(biāo)準(zhǔn)殘差模塊提取圖像的特征信息，或使用密集殘差塊通過網(wǎng)絡(luò)層提取特征，但兩者都會增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，并產(chǎn)生模型過擬合的問題。為了解決這些問題，本文提出一種異構(gòu)型殘差模塊提取特征，模塊以對稱組卷積塊提取通道中的內(nèi)部特征，以互補卷積塊提取不同通道間的特征。兩者連接增強不同通道間內(nèi)部與外部的關(guān)系。為防止過多的冗余信息影響特征提取的準(zhǔn)確率，使用特征增強殘差塊作為細化塊，進一步融合整體和局部的低頻結(jié)構(gòu)特征。對稱組卷積塊、互補卷積塊和特征增強殘差塊的具體結(jié)構(gòu)如圖3 所示。

圖3 異構(gòu)型殘差模塊內(nèi)部原理示意圖Fig.3 Schematic diagram of internal principle junction of heterogeneous residual module

2.2.1 對稱組卷積塊

對稱組卷積塊由兩個并行的三層卷積子網(wǎng)絡(luò)分別學(xué)習(xí)所有通道的上半部分特征和下半部分特征，并通過選擇性內(nèi)核特征融合獲得的特征，以增強所有通道內(nèi)部的關(guān)聯(lián)性。具體來說，子網(wǎng)絡(luò)的第一層和第二層都是Conv3×3+Re lu，第三層是Conv3×3。每層的輸入通道和輸出通道都是32 個，三層網(wǎng)絡(luò)后使用SKFF 作為特征連接的方式。并行特征的提取公式如下：

2.2.2 互補卷積塊

ODconv 的 概念由Li［24］于2022 年提出，它是對CondConv 的進一步延伸。4 種注意力運算方式為：從空域維度的位置進行乘法運算、從輸入維度進行通道乘法運算、從輸出維度進行濾波器乘法運算、以內(nèi)核乘法沿著卷積核空間進行核維度運算。這4 個維度以動態(tài)特性進行卷積，利用一種多維注意力機制以并行策略對4 個維度進行互補性學(xué)習(xí)，并將注意力逐步應(yīng)用到相應(yīng)的卷積核，以此增強卷積操作的特征提取能力。一個內(nèi)核的ODconv 能達到多核動態(tài)卷積的效果，因此ODconv 減少了額外的參數(shù)量，這有利于提升模型的訓(xùn)練準(zhǔn)確率、降低訓(xùn)練成本。計算公式如下：

式中：awi表示卷積核wi的注意力標(biāo)量，asi表示卷積核awi的核空間維度，aci和afi分別表示輸入通道維度和輸出通道維度，?表示內(nèi)核空間不同維度的乘法運算。

網(wǎng)絡(luò)模型將初始圖像進行ODconv 處理后的特征分成兩部分，一部分交給對稱組卷積塊，另一部分交給互補卷積塊，互補卷積塊由三個串聯(lián)的全維動態(tài)卷積和Relu 操作組成?；パa卷積塊利用全維動態(tài)卷積對每一層得到抽象特征再提取，得到更加抽象的特征，使互補卷積塊具有捕捉輸入特征復(fù)雜關(guān)系的能力，最后將三層ODconv 提取的特征與對稱組卷積塊相結(jié)合，有利于補充對稱組卷積塊遺失的特征。

2.2.3 特征增強殘差塊

傳統(tǒng)的殘差塊包括兩層3×3Conv 和一層Relu 操作，并將第一層卷積和第三層卷積聚合，這種基礎(chǔ)殘差塊提取圖像特征的過程會存在信息丟失的問題。為利用殘差塊更好增強異構(gòu)卷積塊提取的特征，本文構(gòu)建一種特征增強殘差塊，它可以有效捕捉長距離特征之間的依賴關(guān)系，并降低圖形中的冗余信息。如圖1 所示，第一層卷積采用3×3 的卷積核，輸入通道數(shù)和輸出通道數(shù)分別為64 和32，并進行Relu 操作，與輸入通道和輸出通道均為32 的第二層3×3 卷積核執(zhí)行concatenate 操作。隨后采用通道數(shù)為64，卷積核分別為1×1，3×3 的卷積核進行特征提取和整合。特征增強殘差塊獲得的初始信息與第四個卷積層做聚合操作。

式中：Fc1是異構(gòu)卷積塊獲得的特征圖經(jīng)過第一個卷積層和Relu 操作處理后的特征圖，表示特征增強過程，concat(·)表示連接合并，half(·)表示取特征圖的一半通道數(shù)。

2.3 損失函數(shù)

本文將均方誤差公式（Mean Square Error，MSE）［22］作為損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)模型，模型對輸入的LR 圖像PLR進行預(yù)測，得到HR 圖像PHR。隨后使用MSE 計算HR 圖像與HR 圖像之間的差異，并進行參數(shù)優(yōu)化，公式如下：

式中：Loss 表示損失函數(shù)，分別表示訓(xùn)練的第j個LR 圖像和HR 圖像，N表示訓(xùn)練圖像的數(shù)量。

3 實驗及結(jié)果分析

3.1 實驗設(shè)置

本文使用公開數(shù)據(jù)集DIV2K 彩色圖像數(shù)據(jù)集［25］作為融合多維注意力機制與選擇性特征融合的圖像超分辨率重建算法的訓(xùn)練集，該數(shù)據(jù)集由放大因子為2～4 的800 張高清HR 圖像、100 張HR 驗證樣本和100 張HR 測試樣本組成。為增強模型的穩(wěn)定性，本文使用文獻［22］實驗設(shè)置的方法擴大數(shù)據(jù)集，并將每張LR 圖像裁剪尺寸為81×81。測試集使用研究領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集：Set5［26］，Set14［27］，BSD100［28］和Urban100［29］。這里使用峰值信噪比（Peak Singal-to-Noise Ratio，PSNR）［30］和結(jié)構(gòu)相似度（Structural Similarity，SSIM）［31］作為評價指標(biāo)。公式如下：

式中：MAX1代表圖像像素點的最大值；PMSE代表尺寸為M×N的HR 圖像和重建后圖像的均方誤差；μik μik＇和σikσik＇分別表示HR 圖像與重建后的圖像以第i個像素為中心點的窗口的平均值與標(biāo)準(zhǔn)差；NR表示圖像數(shù)量；a1與a2表示常量。

本文在圖像RGB 上訓(xùn)練模型，在YCbCr 彩色空間中的Y 通道測試模型的超分辨率重建效果。初始參數(shù)如下：初始學(xué)習(xí)率為10-4，每迭代40 000 次學(xué)習(xí)率降為原來的一半，總迭代為152 400次，圖像批處理大小為32。實驗在Linux 系統(tǒng)下實施，硬件環(huán)境為CPU 處理器24 核AMD EPYC 7642 48-Core Processor，內(nèi)存80 G，GPU 為NVIDIA GeForce RTX 3090，24GB 顯存；開發(fā)平臺為Python 3.8 和Pytorch 1.11.0，Cuda 11.3。

3.2 消融實驗

為了驗證本文設(shè)計的異構(gòu)型的有效性，對互補卷積模塊、選擇性內(nèi)核特征融合模塊和特征增強殘差模塊進行5 種組合，并對其網(wǎng)絡(luò)進行了消融實驗及數(shù)據(jù)分析對比，對于沒有選擇性內(nèi)核的特征融合模塊使用普通連接操作。測試集使用放大因子為2～4 的Urban100 數(shù)據(jù)集，其中Plan A～Plan E 5 種方法放大2 倍的數(shù)據(jù)分析結(jié)果如表1 所示。表中，所有方法均使用對稱組卷積模塊，Plan A 方法僅包括互補卷積模塊，對稱組卷積塊以并行卷積的方式分別對所有通道的上半部分和下半部分進行特征提取，不使用SKFF 模塊進行特征融合，只使用普通的特征連接方式，評價指標(biāo)顯示效果較差，PSNR 只有30.43，證明互補卷積模塊雖能提取特征，預(yù)測的圖像接近真實圖像，但細節(jié)紋理處理欠缺。Plan B 方法僅包括選擇性內(nèi)核特征融合模塊，對稱組卷積塊的融合方式和網(wǎng)絡(luò)第五個異構(gòu)型殘差模塊后的融合方式均采用選擇性內(nèi)核特征融合模塊，Plan B 與Plan A 相比，評價指標(biāo)明顯提高。Plan B 和Plan C 的結(jié)果證明了選擇性內(nèi)核特征融合模塊和特征增強殘差模塊的有效性。Plan D 使用互補卷積模塊，并按照Plan B 的方式進行特征融合，實驗結(jié)果較Plan C 的PSNR 提升了0.64，SSIM提升了0.029。Plan E 同時使用互補卷積模塊、選擇性內(nèi)核特征融合模塊和特征增強殘差塊，評價指標(biāo)PSNR 和SSIM 分別達到32.12 和0.928 8，結(jié)果表明三個模塊的結(jié)合能夠更好地提取特征信息，提高模型的超分辨率重建效果。

表1 不同方法在Urban100 數(shù)據(jù)集放大2 倍的比較結(jié)果Tab.1 Comparison results of different methods on Urban100 data set magnified by 2 times

如圖4 所示，本文將Plan A～Plan E 使用放大2～4 倍的U100 數(shù)據(jù)集進行主觀視覺效果對比，結(jié)果通過可視化展示，在訓(xùn)練批次為152 400的結(jié)果中發(fā)現(xiàn)，Plan A 與Plan D 對比表明，信息的疊加也導(dǎo)致一些錯誤特征的產(chǎn)生，SKFF 有效地融合特征使紋理的細節(jié)信息更加清晰。Plan B與Plan D 對比表明，互補卷積模塊使特征提取的過程更加注重與周圍特征的聯(lián)系，條紋更加合理，同時降低了模糊感。Plan D 和Plan E 對比表明，特征增強殘差塊有效地降低了信息冗余造成的特征失真程度，恢復(fù)圖像的高頻信息特征更加接近HR 圖像。

圖4 Urban100 數(shù)據(jù)集放大2 倍的PSNR 消融對比Fig.4 Comparison of PSNR ablation on Urban100 dataset magnified 2 times

3.3 與其他主流方法對比

為了從不同角度客觀地評估本文算法的超分辨率重建效果，從定量和定性兩個方面進行分析，定量分析以PSNR 和SSIM 作為評價指標(biāo)，對比算法采用Bicubic 插值［32］，A++［33］，RFL［34］，基于無監(jiān)督退化表示學(xué)習(xí)的盲超分辨率網(wǎng)絡(luò)（DASR）［35］，去噪卷積網(wǎng)絡(luò)（a denoising CNN，DnCNN）［36］，基于模型驅(qū)動的深度神經(jīng)盲超分辨網(wǎng)絡(luò)（A Model-Driven Deep Neural Network for Blind Super-Resolution，KXNet）［37］，具有三十層殘差的編碼器解碼器網(wǎng)絡(luò)（RED30）［38］，記憶網(wǎng)絡(luò)（MemNet）［39］，級聯(lián)殘差移動網(wǎng)絡(luò)（Cascading Residual Network Mobile，CARNM）［19］，端到端的深淺網(wǎng)絡(luò)（End-To-End Deep and Shallow Network，EEDS+）［15］，深度遞歸融合網(wǎng)絡(luò)（Deep Recurrent Fusion Network，DRFN）［40］，多尺度深度編碼器解碼器網(wǎng)絡(luò)（Multi-scale Deep Encoder-Decoder with Phase Congruency，MSDEPC）［41］，CFSRCNN［42］，輕量級增強殘差卷積網(wǎng)絡(luò)（Lightweight Enhanced SR CNN，LESRCNN）［22］，多尺度 的LESRCNN（LESRCNN-S）［22］，非對稱SR網(wǎng)絡(luò)（Asymmetric CNN，ASCNN）［43］，以及用于盲SR 的ACNet（ACNet-B）［43］。為更好展示SR的定量對比分析結(jié)果，本文使用Set5，Set14，B100 和Urban100 測試集放大2～4 倍作為補充測試集，對評價指標(biāo)最高的最優(yōu)算法進行加粗注釋，次優(yōu)算法用下劃線注釋。由表2～表5 可知，本文提出的融合多維注意力機制與選擇性特征融合的圖像超分辨率重建算法在4 個放大2～4倍的基準(zhǔn)數(shù)據(jù)集上均有較好的定量數(shù)據(jù)，在Set5數(shù)據(jù)集上，本文算法在放大2～3 倍的PSNR 測試效果上比次優(yōu)算法分別提升0.004，0.005，在放大4 倍的測試效果上與次優(yōu)算法數(shù)據(jù)持平，SSIM指標(biāo)在放大3～4 倍的Set5 和BSDS100 測試集上達到最優(yōu)。在Set14 數(shù)據(jù)集上，本文算法的PSNR 和SSIM 均達到最優(yōu)。在Urban100 和BSDS100 數(shù)據(jù)集上，本文算法的PSNR 指標(biāo)在放大2～3 倍的情況下均達到最優(yōu)，SSIM 指標(biāo)在放大2倍的Urban100 數(shù)據(jù)集上達到次優(yōu)。

表2 不同方法在4 個基準(zhǔn)數(shù)據(jù)集放大2 倍的比較結(jié)果Tab.2 Comparison results of different methods on 4 Baseline datasets enlarged by 2 times

表3 不同方法在4 個基準(zhǔn)數(shù)據(jù)集放大3 倍的比較結(jié)果Tab.3 Comparison results of different methods on 4 Baseline datasets enlarged by 3 times

表4 不同方法在4 個基準(zhǔn)數(shù)據(jù)集放大4 倍的比較結(jié)果Tab.4 Comparison results of different methods on 4 Baseline datasets enlarged by 4 times

表5 不同模型在Set5（×4）上的推理時間Tab.5 Inference time of different models on Set5（×4）dataset

為驗證本文算法的主觀視覺效果，選取Urban100 基準(zhǔn)數(shù)據(jù)集中的img015 和img030 和img039 三張圖片分別放大2～4 倍進行對比測試。對比算法選用定量數(shù)據(jù)最好的6 種方法，通過觀察發(fā)現(xiàn)，重建2～4 倍的大多數(shù)方法存在邊緣模糊和偽影，本文方法可以有效緩解邊緣模糊和偽影的問題，恢復(fù)更多的圖像細節(jié)，產(chǎn)生的細膩紋理更接近真實超分辨率圖像。在圖5 中，其他算法在重建高樓窗戶的細節(jié)紋理時，兩側(cè)欄桿的模糊感較重，而本文算法重建的圖像可以較清晰地觀察到欄桿的形狀。在圖6 中，其他算法重構(gòu)的六組窗戶邊緣紋理呈圓矩形，反光細節(jié)產(chǎn)生了泛白的虛假信息，本文算法重構(gòu)的窗戶清晰，窗戶與墻面對比凹凸清晰。在圖7 中，其他算法重構(gòu)的大廈交錯的結(jié)構(gòu)細節(jié)模糊不清，而本文算法重構(gòu)的圖像中有“V”型結(jié)構(gòu)輪廓。

圖5 Urban100 數(shù)據(jù)集中Img015 放大2 倍的對比圖Fig.5 Comparison of Img015 magnified 2 times in Urban100 dataset

圖6 Urban100 數(shù)據(jù)集中Img030 放大3 倍的對比圖Fig.6 Comparison of Img030 magnified 3 times in Urban100 dataset

圖7 Urban100 數(shù)據(jù)集中Img039 放大4 倍的對比圖Fig.7 Comparison of Img039 magnified 4 times in Urban100 dataset

將本文方法與其他主流方法從定量和定性兩個方面進行對比。圖8 和表5 分別表示在Set5放大4 倍的重建任務(wù)中，模型與其他模型在評價指標(biāo)、參數(shù)量及推理時間的對比結(jié)果，本文算法的SR 重建性能與模型復(fù)雜度數(shù)據(jù)取得了良好的平衡，在提升性能的同時并未帶來大量的參數(shù)量，相對于DASR 和KXNet 算法，本文算法的推理時間更短，僅有0.051 6 s。

圖8 不同模型在Set5（×4）上的PSNR 以及參數(shù)量Fig.8 PSNR and parameters on Set5（×4）dataset of different models

4 結(jié)論

本文介紹了一種融合多維注意力機制與選擇性特征融合的圖像超分辨率重建方法，該方法將全維動態(tài)卷積融入到互補卷積塊，以并行策略動態(tài)學(xué)習(xí)核空間的四個維度，捕捉全部通道的特征，選擇性內(nèi)核特征融合應(yīng)用到對稱組卷積塊，融合不同通道間的內(nèi)部信息。對稱組卷積塊和互補卷積塊的組合通過特征增強殘差塊去除冗余信息后提取的深層特征具有更加細膩的紋理邊緣信息。數(shù)據(jù)分析及數(shù)據(jù)可視化結(jié)果顯示，本文提出的模型在超分辨率重建任務(wù)的基準(zhǔn)數(shù)據(jù)集上有著較好的性能，尤其在放大因子為3 的Set5 數(shù)據(jù)集上峰值信噪比提升0.06 dB，在放大因子為4 的BSDS100 數(shù)據(jù)集上峰值信噪比提升0.07 dB。在后續(xù)工作中，將應(yīng)用模型對醫(yī)學(xué)圖像和遙感圖像進行重建，以滿足高級視覺任務(wù)的實際應(yīng)用需求。