李穎，黃超，孫成棟，徐勇*

真實(shí)復(fù)雜場(chǎng)景下基于殘差收縮網(wǎng)絡(luò)的單幅圖像超分辨率方法

李穎1，2，黃超1，2，孫成棟1，2，徐勇1，2*

（1.哈爾濱工業(yè)大學(xué)（深圳） 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，廣東 深圳 518055； 2.深圳市視覺目標(biāo)檢測(cè)與判識(shí)重點(diǎn)實(shí)驗(yàn)室（哈爾濱工業(yè)大學(xué)（深圳）），廣東 深圳 518055）（?通信作者電子郵箱laterfall@hit.edu.cn）

真實(shí)世界中極少存在成對(duì)的高低分辨率圖像對(duì)，傳統(tǒng)的基于圖像對(duì)訓(xùn)練模型的單幅圖像超分辨率（SR）方法采用合成數(shù)據(jù)集的方式得到訓(xùn)練集時(shí)僅考慮了雙線性下采樣退化，且傳統(tǒng)圖像超分辨率方法在面向真實(shí)的未知退化圖像時(shí)重建效果較差。針對(duì)上述問題，提出一種面向真實(shí)復(fù)雜場(chǎng)景的圖像超分辨率方法。首先，采用不同焦距對(duì)景物進(jìn)行拍攝并配準(zhǔn)得到相機(jī)采集的真實(shí)高低分辨率圖像對(duì)，構(gòu)建一個(gè)場(chǎng)景多樣的數(shù)據(jù)集CSR（Camera Super-Resolution dataset）；其次，為了盡可能地模擬真實(shí)世界中的圖像退化過程，根據(jù)退化因素參數(shù)隨機(jī)化和非線性組合退化改進(jìn)圖像退化模型，并且結(jié)合高低分辨率圖像對(duì)數(shù)據(jù)集和圖像退化模型以合成訓(xùn)練集；最后，由于數(shù)據(jù)集中考慮了退化因素，引入殘差收縮網(wǎng)絡(luò)和U-Net改進(jìn)基準(zhǔn)模型，盡可能地減少退化因素在特征空間中的冗余信息。實(shí)驗(yàn)結(jié)果表明，所提方法在復(fù)雜退化條件下相較于次優(yōu)BSRGAN（Blind Super-Resolution Generative Adversarial Network）方法，在RealSR和CSR測(cè)試集中PSNR指標(biāo)分別提高了0.7 dB和0.14 dB，而SSIM分別提高了0.001和0.031。所提方法在復(fù)雜退化數(shù)據(jù)集上的客觀指標(biāo)和視覺效果均優(yōu)于現(xiàn)有方法。

超分辨率；復(fù)雜場(chǎng)景；圖像退化模型；殘差收縮網(wǎng)絡(luò)

0 引言

圖像超分辨率（Super-Resolution， SR）方法旨在提高圖像的分辨率，在醫(yī)學(xué)成像、遙感勘測(cè)與視頻監(jiān)控等領(lǐng)域具有重要的研究和應(yīng)用價(jià)值［1］。早期的單幅圖像超分辨率方法多采用插值算法，其中較為常用的是最鄰近插值、雙線性插值和雙三次插值［2］；然而，插值算法依賴定義好的線性插值核進(jìn)行重建，通常會(huì)導(dǎo)致重建圖像丟失高頻信息。

近年來，隨著計(jì)算能力的提升與深度學(xué)習(xí)的發(fā)展，研究者將深度學(xué)習(xí)引入圖像超分辨率領(lǐng)域并且取得了比傳統(tǒng)方法更好的表現(xiàn)［3］。由于真實(shí)世界中很少存在成對(duì)數(shù)據(jù)集，現(xiàn)有的圖像超分辨率方法通常采用高分辨率圖像和雙線性下采樣后合成的低分辨率圖像作為成對(duì)的數(shù)據(jù)訓(xùn)練模型。Dong等［4］首次提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率網(wǎng)絡(luò)SRCNN（Super-Resolution Convolutional Neural Network），SRCNN模型簡單，只需要3個(gè)卷積層，但是加深網(wǎng)絡(luò)會(huì)導(dǎo)致模型難以收斂。Dong等［5］隨后提出了速度更快、重建效果更好的網(wǎng)絡(luò)模型結(jié)構(gòu)FSRCNN（Fast SRCNN）。為了解決網(wǎng)絡(luò)加深導(dǎo)致感受野不足的問題，Kim等［6］利用遞歸神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了DRCN（Deeply-Recursive Convolutional Network），遞歸神經(jīng)網(wǎng)絡(luò)避免了網(wǎng)絡(luò)加深導(dǎo)致的梯度爆炸和消失，最終通過加深網(wǎng)絡(luò)層數(shù)的方式改善圖像超分辨率的重建效果。VDSR（Very Deep Super-Resolution）方法［7］和EDSR（Enhanced Deep Super-Resolution）方法［8］在網(wǎng)絡(luò)模型中引入了殘差連接［9］，并進(jìn)一步加深網(wǎng)絡(luò)以彌補(bǔ)感受野的不足。受生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）的啟發(fā)，Ledig等［10］首次提出基于GAN的網(wǎng)絡(luò)模型SRGAN（Super-Resolution GAN），并提出了更關(guān)注圖像真實(shí)感的感知損失函數(shù)，增強(qiáng)了重建圖像的真實(shí)感。ESRGAN（Enhanced SRGAN）模型［11］使用殘差連接與密集連接改進(jìn)生成網(wǎng)絡(luò)，并且進(jìn)一步優(yōu)化了損失函數(shù)，取得了更好的重建效果。

盡管現(xiàn)有超分辨率方法在已知退化模型的超分任務(wù)上取得了很好的進(jìn)展，但是僅基于雙三次下采樣方法合成的數(shù)據(jù)集訓(xùn)練的模型對(duì)于真實(shí)世界中未知退化的圖像效果不佳。因此，研究者重點(diǎn)關(guān)注盲圖像的超分辨率方法，即面向退化未知的真實(shí)圖像的超分辨率方法［12］。一方面，SRMD（SR network for Multiple Degradations）方法［13］將退化的關(guān)鍵因素作為額外輸入，進(jìn)而增強(qiáng)網(wǎng)絡(luò)的泛化能力。Wei等［14］提出的DASR （Domain-distance Aware SR）方法訓(xùn)練了一個(gè)退化預(yù)測(cè)網(wǎng)絡(luò)用于預(yù)測(cè)低分辨率圖像的退化，并將預(yù)測(cè)的退化融入超分辨率重建網(wǎng)絡(luò)中用于減小退化帶來的影響。另一方面，RWSR（Real-World SR）方法［15］根據(jù)低分辨率圖像數(shù)據(jù)集預(yù)測(cè)圖像的退化參數(shù)，并根據(jù)預(yù)測(cè)參數(shù)構(gòu)建圖像退化模型合成額外數(shù)據(jù)集進(jìn)行模型訓(xùn)練。然而在上述方法中，當(dāng)輸入或預(yù)測(cè)的退化與輸入圖像不一致時(shí)，重建效果急劇降低。Zhang等［16］提出的BSRGAN（Blind SRGAN）方法通過退化模型的參數(shù)隨機(jī)化和擴(kuò)充退化過程設(shè)計(jì)圖像退化模型，并使用模擬退化后的數(shù)據(jù)集訓(xùn)練模型，在訓(xùn)練的過程中，模型隱式地學(xué)習(xí)圖像的復(fù)雜退化過程；然而，BSRGAN方法只是沿用了傳統(tǒng)超分辨率重建網(wǎng)絡(luò)，沒有在網(wǎng)絡(luò)中減小退化帶來的影響。為了解決上述不足，本文提出面向真實(shí)復(fù)雜場(chǎng)景的基于殘差收縮網(wǎng)絡(luò)的單幅圖像超分辨率方法。

本文的主要工作如下：

首先，針對(duì)當(dāng)前仍然缺乏真實(shí)的高低分辨率圖像對(duì)數(shù)據(jù)集的問題，本文實(shí)地采集了一個(gè)高低分辨率圖像對(duì)數(shù)據(jù)集CSR（Camera SR dataset）。具體地，通過固定相機(jī)位置、鏡頭角度與相機(jī)參數(shù)，使用鏡頭的不同焦距拍攝了同一景物的兩幅圖像，對(duì)兩幅圖像中的同一景物配準(zhǔn)后得到高低分辨率圖像對(duì)。該數(shù)據(jù)集共包含461對(duì)高低分辨率圖像對(duì)，場(chǎng)景多樣且紋理豐富。

其次，針對(duì)圖像在存儲(chǔ)和傳輸?shù)炔僮骺赡馨l(fā)生的退化，使用了一種非線性圖像復(fù)雜退化模型模擬圖像的真實(shí)退化過程。該模型由隨機(jī)參數(shù)的模糊、下采樣和噪聲這3個(gè)關(guān)鍵因素組成，并且使用兩次非線性組合退化策略設(shè)計(jì)退化因素的次序。

最后，針對(duì)高低分辨率圖像對(duì)和圖像退化帶來的影響，訓(xùn)練數(shù)據(jù)集以CSR和圖像退化模型結(jié)合的方式生成。為了減小圖像中退化因素對(duì)重建效果的影響，首次引入信號(hào)處理領(lǐng)域的殘差收縮網(wǎng)絡(luò)改進(jìn)基準(zhǔn)模型，最終設(shè)計(jì)了一種面向真實(shí)復(fù)雜場(chǎng)景下基于殘差收縮網(wǎng)絡(luò)的單幅圖像超分辨率方法。實(shí)驗(yàn)結(jié)果表明，本文方法在復(fù)雜退化的數(shù)據(jù)集上取得了最優(yōu)的超分辨率重建效果。

1 相關(guān)研究

1.1　殘差收縮網(wǎng)絡(luò)

在信號(hào)處理領(lǐng)域，信號(hào)通常充斥著多種來源的、各不相同的噪聲或者冗余信息，而噪聲或冗余信息會(huì)使網(wǎng)絡(luò)模型的識(shí)別結(jié)果偏離預(yù)期，因此，如果能在卷積網(wǎng)絡(luò)中消除這部分噪聲或冗余信息，將大幅提升網(wǎng)絡(luò)模型的能力；然而，對(duì)于不同的樣本，它們的噪聲來源不同，必須在網(wǎng)絡(luò)中自適應(yīng)地處理。為解決這一問題，Zhao等［17］提出了基于可學(xué)習(xí)軟閾值化函數(shù)的殘差收縮網(wǎng)絡(luò)，它的核心思想為：對(duì)于特征圖中的各個(gè)通道，可學(xué)習(xí)地生成通道閾值，使用通道閾值軟閾值化特征圖中的通道，達(dá)到減少噪聲和冗余信息的目的。軟閾值化函數(shù)見式（1）：

1.2　超分辨率重建評(píng)價(jià)指標(biāo)

峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）以分貝作為基本單位，被廣泛地應(yīng)用于重建領(lǐng)域中評(píng)價(jià)圖像的像素級(jí)失真程度，計(jì)算見式（2）：

2 相機(jī)圖像對(duì)數(shù)據(jù)集采集

現(xiàn)有的真實(shí)高低分辨率圖像對(duì)數(shù)據(jù)集主要有City100［18］和RealSR［19］，但仍存在一定的局限性：City100使用手機(jī)拍攝，通過調(diào)整手機(jī)與賀卡之間的距離拍攝了同一賀卡的高低分辨率圖像對(duì)，共采集了100對(duì)城市建筑賀卡的圖像對(duì)；RealSR使用Canon相機(jī)，通過調(diào)整相機(jī)鏡頭焦距的方式采集了200對(duì)圖像對(duì)，其中仍然包含了部分賀卡，并且場(chǎng)景比較單一。為了擴(kuò)充真實(shí)的高低分辨率圖像對(duì)數(shù)據(jù)集，本文實(shí)景采集了場(chǎng)景豐富多樣的461對(duì)圖像對(duì)，完成圖像對(duì)齊后得到高低分辨率圖像對(duì)數(shù)據(jù)集。

2.1　圖像拍攝

本文圖像拍攝任務(wù)選址為深圳，相機(jī)型號(hào)為Canon EOS M200，相機(jī)鏡頭焦距為18～55 mm，相機(jī)分辨率固定為3 456×2 304，拍攝采用的長焦距與短焦距分別為55 mm和28 mm。為了避免手持相機(jī)的鏡頭抖動(dòng)，使用相機(jī)三腳架固定相機(jī)，在固定位置和鏡頭角度的情況下調(diào)整焦距拍攝得到同一景物的兩幅圖像。由于焦距的不同，這一景物在兩幅圖像中的占比有所差異，焦距越長，視角更廣闊，景物成像更大，因此這一景物在兩幅相同分辨率的圖像中的分辨率不同。拍攝所得圖像對(duì)的一個(gè)實(shí)例如圖2所示，圖2（a）和圖2（b）兩幅圖像分辨率一致。可以看到圖2（a）中的矩形框選中區(qū)域與左圖景物一致，但分辨率較低。利用以上原理，即可得到相機(jī)在不同鏡頭焦距下的同一景物圖像對(duì)?？紤]到景物的多樣性以及環(huán)境變化的影響，本次拍攝的圖像對(duì)中的景物包括但不限于家居用品、現(xiàn)代建筑、植物、廣告牌、水果和賀卡；此外，拍攝所得的圖像對(duì)數(shù)據(jù)集中仍有部分存在物體移動(dòng)、模糊的情況，對(duì)不符合要求的圖像進(jìn)行了丟棄。

2.2　圖像配準(zhǔn)

在收集上述兩種鏡頭焦距下所得的同一景物圖像對(duì)后，需要將圖像中的景物配準(zhǔn)后才能作為超分任務(wù)中的高低分辨率圖像對(duì)。首先，用尺度不變特征變換（Scale-Invariant Feature Transform， SIFT）算法計(jì)算兩幅圖像中的關(guān)鍵點(diǎn)，具體步驟為：構(gòu)建兩幅圖像的高斯差分金字塔，減少圖像低頻信息，凸顯圖像的特征；為了保證關(guān)鍵點(diǎn)的尺度不變性，篩選高斯差分金字塔中的極值點(diǎn)作為關(guān)鍵點(diǎn)；為了保證關(guān)鍵點(diǎn)的旋轉(zhuǎn)不變性，通過關(guān)鍵點(diǎn)在鄰域內(nèi)的方向信息計(jì)算關(guān)鍵點(diǎn)的主方向，得到關(guān)鍵點(diǎn)并以向量表示，它包含了位置、尺度以及方向信息。其次，根據(jù)關(guān)鍵點(diǎn)的信息匹配圖2中兩幅圖像中的關(guān)鍵點(diǎn)，建立景物中配對(duì)特征的對(duì)應(yīng)關(guān)系，拍攝圖像對(duì)的關(guān)鍵點(diǎn)匹配結(jié)果如圖3所示。

圖2　相機(jī)以不同焦距拍攝的圖像對(duì)示例

圖3　SIFT算法關(guān)鍵點(diǎn)匹配結(jié)果

根據(jù)SIFT算法關(guān)鍵點(diǎn)的匹配結(jié)果將短焦距拍攝圖像進(jìn)行變換使之與右圖配準(zhǔn)，即可得到同一景物的兩幅分辨率不同的圖像。由于相機(jī)鏡頭焦距的不同導(dǎo)致曝光程度不同，兩幅圖像的色彩也有區(qū)別，因此需要校正兩幅圖像的色彩。本文使用OpenCV中基于標(biāo)準(zhǔn)色卡的顏色校正方法對(duì)兩幅圖像進(jìn)行色彩校正。最終獲得同一景物的高低分辨率圖像對(duì)，示例如圖4所示，由圖4（a）和圖4（b）中右下角矩形區(qū)域的放大圖像可以看到兩幅圖像在分辨率上的差異。最后，由于圖像配準(zhǔn)存在嚴(yán)重模糊和配準(zhǔn)不齊等失敗案例，故手工完成圖像對(duì)的篩選工作。重復(fù)以上步驟，最終獲得了包含461對(duì)場(chǎng)景多樣、紋理豐富的真實(shí)高低分辨率圖像對(duì)的CSR。

圖4　高低分辨率圖像對(duì)示例

3 基于殘差收縮網(wǎng)絡(luò)的生成對(duì)抗網(wǎng)絡(luò)模型

3.1　圖像退化模型

圖像退化模型通常包含模糊、降采樣和噪聲這3個(gè)關(guān)鍵因素，線性退化模型通常表達(dá)為式（4）：

傳統(tǒng)的退化模型較簡單且線性，現(xiàn)有工作僅使用雙三次下采樣或者固定參數(shù)的線性退化模型對(duì)高分辨率圖像進(jìn)行退化以得到成對(duì)圖像對(duì)，難以模擬真實(shí)低分辨率圖像的退化過程［20］；然而，在真實(shí)世界中，一幅圖像在經(jīng)過壓縮、傳輸和編輯等操作后，它的退化可能是多重且非線性的。具體地，一幅來自網(wǎng)絡(luò)的圖像在拍攝過程中會(huì)產(chǎn)生相機(jī)模糊與傳感器噪聲，在圖像壓縮過程會(huì)引入壓縮噪聲，在上傳至媒體軟件過程中會(huì)引入傳輸噪聲，因此，現(xiàn)有的退化模型難以完全模擬復(fù)雜的圖像退化過程。為了解決上述問題，受文獻(xiàn)［16，21］的啟發(fā)，本文采用了非線性組合退化的復(fù)雜圖像退化模型，并將退化模型的模糊、下采樣和噪聲這3個(gè)關(guān)鍵因素的參數(shù)隨機(jī)化。

下采樣操作在最鄰近下采樣、雙線性下采樣和雙三次下采樣方法中隨機(jī)選擇。

此外，非線性組合退化由高斯模糊、下采樣、高斯噪聲和泊松噪聲隨機(jī)次序組合而成，考慮到JPEG壓縮的常用性，在非線性組合退化的最后都加入1個(gè)JPEG壓縮。由于噪聲的出現(xiàn)頻率不同，將非線性組合退化中高斯噪聲和泊松噪聲的出現(xiàn)概率分別設(shè)置為0.8和0.2。

最終，本文的圖像退化模型由兩次非線性組合退化組成，由于兩次連續(xù)的非線性組合退化過程過于復(fù)雜，發(fā)生的概率較小，因此將第二次非線性組合退化的概率設(shè)置為0.2。圖像復(fù)雜退化模型如圖5所示。

圖5　圖像復(fù)雜退化模型

值得注意的是，兩次非線性組合退化中退化因素的參數(shù)不相關(guān)。盡管復(fù)雜退化模型不能完全模擬真實(shí)世界的退化空間，但兩次非線性組合退化策略和各種退化因素中參數(shù)的隨機(jī)化能夠模擬絕大多數(shù)的圖像退化過程。

3.2　網(wǎng)絡(luò)模型改進(jìn)點(diǎn)

3.2.1合成數(shù)據(jù)集

在基于成對(duì)訓(xùn)練的單幅圖像超分辨率方法中，一種思路是使用相機(jī)拍攝的成對(duì)數(shù)據(jù)集，為了獲得場(chǎng)景多樣的成對(duì)數(shù)據(jù)集，本文實(shí)景拍攝了相機(jī)成對(duì)數(shù)據(jù)集CSR；另一種思路是僅采用雙三次下采樣或者線性退化模型合成成對(duì)的高低分辨率圖像對(duì)數(shù)據(jù)集，但是該思路較簡單導(dǎo)致難以模擬真實(shí)世界中的退化過程，因此本文提出了更貼近真實(shí)圖像退化過程的圖像復(fù)雜退化模型。

為了充分考慮相機(jī)拍攝在高低分辨率圖像對(duì)之間的差異和圖像在真實(shí)世界中的退化過程，本文在數(shù)據(jù)集方面首次以真實(shí)相機(jī)數(shù)據(jù)集CSR與圖像復(fù)雜退化模型結(jié)合的方式合成數(shù)據(jù)集，具體的做法是：對(duì)于一對(duì)相機(jī)采集的高低分辨率圖像對(duì)，對(duì)相機(jī)采集的低分辨率圖像進(jìn)一步地使用圖像復(fù)雜退化模型模擬在真實(shí)世界中發(fā)生的退化。

3.2.2基于殘差收縮的特征提取

本文以ESRGAN方法的模型［11］作為基準(zhǔn)模型，ESRGAN中僅使用雙線性下采樣的方式合成數(shù)據(jù)集，對(duì)于真實(shí)世界中具有噪聲和模糊的圖像的重建效果較差。為了從數(shù)據(jù)集層面提升網(wǎng)絡(luò)的泛化能力，本文提出了結(jié)合相機(jī)數(shù)據(jù)集與退化模型的合成數(shù)據(jù)集，然而數(shù)據(jù)集的復(fù)雜性也給網(wǎng)絡(luò)模型帶來了新的挑戰(zhàn)，模糊和噪聲等退化因素在特征空間中的表達(dá)將直接影響最終的超分辨率重建效果，因此本文針對(duì)性地改進(jìn)了ESRGAN。

為了抑制模糊和噪聲等冗余信息在特征空間中的表達(dá)，本文引入殘差收縮網(wǎng)絡(luò)和密集連接，提出了殘差密集收縮網(wǎng)絡(luò)（Residual Shrinkage Dense Network， RSDN）作為基本特征提取網(wǎng)絡(luò)。此外，在RSDN的基礎(chǔ)上，本文提出了生成網(wǎng)絡(luò)中特征提取的結(jié)構(gòu)——?dú)埐蠲芗湛s塊（Residual Shrinkage Dense Block， RSDB）。

3.2.3基于U-Net的判別網(wǎng)絡(luò)

受文獻(xiàn)［21-22］的啟發(fā)，本文基于U-Net模型［23］作為判別網(wǎng)絡(luò)。判別的目標(biāo)是評(píng)價(jià)輸入的超分重建圖像是否與真實(shí)的高分辨率圖像一致。ESRGAN以VGG模型［24］輸出的二分類結(jié)果整體性地評(píng)價(jià)超分辨率圖像，而VGG模型的評(píng)價(jià)只考慮了全局相似度，實(shí)際上超分重建圖像存在部分區(qū)域重建表現(xiàn)好而其他區(qū)域表現(xiàn)差的情況，VGG模型輸出的二分類結(jié)果難以體現(xiàn)，導(dǎo)致生成網(wǎng)絡(luò)從判別網(wǎng)絡(luò)接收的評(píng)價(jià)信息不夠具體，限制了生成器的優(yōu)化。U-Net通過多個(gè)卷積層和下采樣的組合逐步獲得輸入圖像的深層特征，再通過多個(gè)卷積層和上采樣的組合提高特征的分辨率。此外，使用跳躍連接的方式融合各層的特征，最終使得輸出的多尺度特征圖的分辨率與輸入圖像保持一致，特征圖上的每個(gè)點(diǎn)值代表了對(duì)輸入圖像對(duì)應(yīng)像素點(diǎn)的評(píng)價(jià)。相較于VGG模型，U-Net模型對(duì)特征進(jìn)行了多尺度融合，結(jié)果更可靠，并且提供了像素級(jí)的評(píng)價(jià)。

3.3　網(wǎng)絡(luò)模型結(jié)構(gòu)

本文使用的超分辨率倍數(shù)為4，提出了名為CSRGAN（Complex SRGAN）的模型，它的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。每個(gè)卷積層的核大小和步長分別為3和1，卷積層的輸出通道數(shù)標(biāo)注在圖像下方。

在生成網(wǎng)絡(luò)中，對(duì)于輸入低分辨率圖像，通過復(fù)雜退化模型生成退化的低分辨率圖像，退化圖像在特征提取模塊中通過1個(gè)卷積層生成圖像的淺層特征，淺層特征繼續(xù)使用23個(gè)RSDB塊和1個(gè)卷積層生成圖像的深層特征，維度與淺層特征一致。通過跳躍連接將淺層特征和深層特征以相加的形式融合作為圖像的最終特征。獲得圖像的特征后進(jìn)一步使用圖像重建模塊將特征映射為超分辨率圖像，本文的圖像重建模塊為亞像素卷積上采樣方法Pixel Shuffle［8］。

圖6　CSRGAN模型的結(jié)構(gòu)

在判別網(wǎng)絡(luò)中，對(duì)重建的超分辨率圖像與原始高分辨率圖像的相似程度進(jìn)行評(píng)價(jià)。傳統(tǒng)GAN采用的VGG模型只能從整體評(píng)價(jià)，無法具體地評(píng)價(jià)每個(gè)像素點(diǎn)的相似程度。因此，本文使用基于U-Net的判別網(wǎng)絡(luò)，在卷積層中通過填充的方式使輸出特征的尺寸與輸入保持一致，最終使U-Net輸出特征圖的尺寸與原始圖像保持一致。其中：用于特征下采樣的最大池化層（Max Pool）的核大小為2×2；用于特征上采樣的卷積層（Up Conv）是使得特征的寬度和高度均擴(kuò)大2倍的轉(zhuǎn)置卷積。最終，U-Net輸出的特征圖維度與輸入圖像的維度保持一致，特征圖上每個(gè)像素點(diǎn)值代表了輸入圖像對(duì)應(yīng)位置像素的評(píng)價(jià)。

圖7　RSDN的結(jié)構(gòu)

圖8　RSDB的結(jié)構(gòu)

3.4　損失函數(shù)

像素?fù)p失使用L1損失，通過將與逐像素進(jìn)行對(duì)比的結(jié)果定義，計(jì)算如式（7）：

感知損失認(rèn)為兩幅相似的圖像在同一模型中提取的特征空間仍然保持相似性，逐一在VGG模型每一層的每個(gè)卷積輸出的特征圖上度量每個(gè)點(diǎn)值的均方誤差，計(jì)算如式（8）：

4 實(shí)驗(yàn)與結(jié)果分析

4.1　實(shí)驗(yàn)環(huán)境及配置

本文所有實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境及配置如下：GPU為Nvidia GTX 3090，CUDA版本為11.3，Python版本為3.8.12且PyTorch版本為1.10.1，使用重建評(píng)價(jià)指標(biāo)PSNR和SSIM客觀評(píng)價(jià)超分辨率實(shí)驗(yàn)結(jié)果。

4.2　CSRGAN實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證CSRGAN的有效性，將它與以下模型在相同測(cè)試集上進(jìn)行實(shí)驗(yàn)。對(duì)比模型包含RRDB（Residual in Residual Dense Block）［11］、ESRGAN［11］、EDSR［8］、RWSR-DF2K（Real-World Super Resolution-DIV2K and Flickr2K）［16］、SRMD［13］、DASR［14］和BSRGAN［16］。

4.2.1預(yù)處理及訓(xùn)練細(xì)節(jié)

CSRGAN中網(wǎng)絡(luò)模型使用的訓(xùn)練集結(jié)合CSR相機(jī)數(shù)據(jù)集和圖像復(fù)雜退化模型生成，具體地，對(duì)于CSR中的一對(duì)高低分辨率圖像對(duì)，在高分辨率圖像中隨機(jī)裁剪一個(gè)288×288的圖像塊作為參考圖像；在低分辨率圖像對(duì)應(yīng)位置上裁剪一個(gè)72×72的圖像塊，并用圖像復(fù)雜退化模型模擬退化得到的圖像塊作為模型的輸入。

在測(cè)試集方面，由于本文方法面向真實(shí)的復(fù)雜場(chǎng)景，因此選擇了不同退化條件下的相機(jī)采集的RealSR測(cè)試集和CSR測(cè)試集，退化條件包含D1、D2和CD，其中D1由隨機(jī)參數(shù)的高斯模糊、雙線性下采樣和隨機(jī)參數(shù)的高斯噪聲順序組成，D2由D1中的退化因素隨機(jī)順序組成，CD即為本文設(shè)計(jì)的圖像退化模型。

在訓(xùn)練的過程中，Batch Size統(tǒng)一設(shè)置為16，優(yōu)化器采用Adam優(yōu)化器［26］，學(xué)習(xí)率設(shè)置為10-4，學(xué)習(xí)衰減率設(shè)置為0.999。此外，由于GAN結(jié)構(gòu)在訓(xùn)練的過程存在難以收斂的問題，為了避免CSRGAN在早期訓(xùn)練中陷入局部最優(yōu)導(dǎo)致難以獲得最佳效果，第一步僅使用L1像素?fù)p失預(yù)訓(xùn)練一個(gè)生成網(wǎng)絡(luò)，盡可能地提高預(yù)訓(xùn)練生成網(wǎng)絡(luò)的超分辨率重建性能。由于圖像的像素?fù)p失會(huì)導(dǎo)致圖像存在一定的平滑，所以第二步加載預(yù)訓(xùn)練生成網(wǎng)絡(luò)作為CSRGAN中的生成網(wǎng)絡(luò)訓(xùn)練CSRGAN，此時(shí)使用的損失函數(shù)為引入感知損失和對(duì)抗損失的生成網(wǎng)絡(luò)損失，最終在GAN中訓(xùn)練得到最終的CSRGAN模型。

4.2.2實(shí)驗(yàn)結(jié)果及分析

各模型在不同退化條件的測(cè)試集中超分辨率重建指標(biāo)對(duì)比見表1，CSRGAN在不同退化的兩個(gè)測(cè)試集上基本都取得了最高的PSNR和SSIM，僅在CD退化條件下的RealSR測(cè)試集中的SSIM評(píng)價(jià)指標(biāo)略低于BSRGAN。比較各模型在3種不同退化條件下的平均PSNR和SSIM指標(biāo)，相較于次優(yōu)BSRGAN，CSRGAN模型平均平均PSNR指標(biāo)分別提高了0.7 dB和0.14 dB，平均SSIM指標(biāo)分別提高了0.001和0.031。

各模型在不同退化條件下的超分辨率視覺效果分別如圖9所示。

表1各模型在RealSR和CSR測(cè)試集上的重建指標(biāo)對(duì)比

Tab.1　Comparison of reconstruction indicators of different models on RealSR and CSR test sets

圖9　各模型在不同退化條件下的視覺效果對(duì)比

RRDB、ESRGAN和EDSR模型僅使用了雙線性下采樣對(duì)圖像進(jìn)行模擬退化，對(duì)于未知退化條件下的超分辨率任務(wù)不具備泛化能力，生成的超分辨率圖像中仍然存在大量的噪聲和模糊。RWSR-DF2K根據(jù)低分辨率圖像集估計(jì)圖像的高斯模糊和噪聲，然而圖像的退化過程復(fù)雜多樣，當(dāng)退化參數(shù)不匹配時(shí)，重建效果較差。SRMD模型手動(dòng)將模糊核和噪聲作為超分辨率重建網(wǎng)絡(luò)的額外輸入，然而當(dāng)退化因素與圖像退化因素不一致時(shí)，重建效果仍然較差。DASR模型訓(xùn)練了一個(gè)退化預(yù)測(cè)網(wǎng)絡(luò)用于預(yù)測(cè)低分辨率圖像的退化表達(dá)，并將預(yù)測(cè)的退化表達(dá)融入超分辨率重建網(wǎng)絡(luò)中以縮減退化因素的表達(dá)；然而低分辨率圖像的退化是多樣的且難以預(yù)測(cè)的，因此在復(fù)雜場(chǎng)景下的重建質(zhì)量難以保證。BSRGAN模型對(duì)圖像退化模型進(jìn)行了改進(jìn)用于合成圖像對(duì)數(shù)據(jù)集，從訓(xùn)練數(shù)據(jù)集的角度增強(qiáng)了復(fù)雜場(chǎng)景下的超分辨率效果；然而只是沿用了基準(zhǔn)的超分辨率網(wǎng)絡(luò)，沒有在網(wǎng)絡(luò)結(jié)構(gòu)中減小圖像退化因素帶來的影響，雖然超分辨率視覺效果相較于以前的模型好，但仍存在一定的偽影和色差問題，圖像的真實(shí)感較差。最后，CSRGAN模型一方面將高低分辨率圖像對(duì)數(shù)據(jù)集CSR與改進(jìn)的圖像退化模型結(jié)合生成數(shù)據(jù)集，從數(shù)據(jù)集方面提升網(wǎng)絡(luò)模型在真實(shí)場(chǎng)景下的泛化能力；另一方面為了減弱退化因素帶來的影響，引入了殘差收縮網(wǎng)絡(luò)和U-Net改進(jìn)模型。實(shí)驗(yàn)結(jié)果表明，CSRGAN模型在視覺和客觀指標(biāo)上均取得了較好的效果。

4.2.3消融實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證3.2節(jié)提出的改進(jìn)點(diǎn)的有效性，在相同的實(shí)驗(yàn)配置下依次加入改進(jìn)點(diǎn)設(shè)計(jì)對(duì)比實(shí)驗(yàn)，其中：M1在基準(zhǔn)模型ESRGAN的基礎(chǔ)上引入了成對(duì)數(shù)據(jù)集在圖像退化模型下合成的退化數(shù)據(jù)集進(jìn)行訓(xùn)練；M2則在M1的基礎(chǔ)上引入了殘差收縮網(wǎng)絡(luò)提取特征；CSRGAN模型則是在M2的基礎(chǔ)上進(jìn)一步引入了U-Net作為判別網(wǎng)絡(luò)。

各模型在不同退化條件的測(cè)試集中超分辨率重建指標(biāo)對(duì)比見表2。M1得益于增強(qiáng)的模擬退化數(shù)據(jù)集，已經(jīng)大幅提升了不同退化條件下的重建質(zhì)量指標(biāo)PSNR和SSIM。M2引入了殘差收縮網(wǎng)絡(luò)減少特征提取過程中的冗余信息，重建質(zhì)量指標(biāo)相較于M1更高。

表2在測(cè)試集RealSR和CSR上的消融實(shí)驗(yàn)結(jié)果對(duì)比

Tab.2　Comparison of ablation experimental results on RealSR and CSR test sets

最后，CSRGAN模型在M2的基礎(chǔ)上進(jìn)一步引入了U-Net作為判別網(wǎng)絡(luò)，使得判別網(wǎng)絡(luò)可以為生成網(wǎng)絡(luò)的優(yōu)化提供像素級(jí)的評(píng)價(jià)，因此在整體上得到了較高的重建質(zhì)量指標(biāo)。

各模型在不同退化條件D1、D2和CD合成的測(cè)試集中的超分辨率視覺效果對(duì)比分別如圖10所示。從圖10中可以看到，M1的重建視覺效果在D1退化條件中出現(xiàn)了圖像細(xì)節(jié)紋理丟失，而在圖D2和圖CD退化條件中仍然存在大量噪聲，因?yàn)镸1盡管依賴于模擬退化的合成數(shù)據(jù)集進(jìn)行訓(xùn)練，但受限于特征提取的過程中沒有甄別特征中的冗余信息，導(dǎo)致部分紋理特征的丟失和噪聲的保留。M2引入了殘差收縮網(wǎng)絡(luò)改進(jìn)特征提取，重建視覺效果優(yōu)于M1，重建圖像的紋理更清晰且殘余的噪聲更少。最后，CSRGAN模型進(jìn)一步引入了U-Net作為判別網(wǎng)絡(luò)，原始的VGG僅能從全局去評(píng)價(jià)重建圖像的質(zhì)量，而判別網(wǎng)絡(luò)U-Net則是對(duì)每一個(gè)像素點(diǎn)進(jìn)行評(píng)價(jià)，為生成網(wǎng)絡(luò)的優(yōu)化提供了更精確的信息，因此在圖像的視覺質(zhì)量上取得了最佳的效果。本文提出的各個(gè)改進(jìn)點(diǎn)的引入都進(jìn)一步提升了圖像超分辨率重建的質(zhì)量指標(biāo)和視覺效果，驗(yàn)證了各個(gè)改進(jìn)點(diǎn)的有效性。

圖10　不同退化條件下的消融實(shí)驗(yàn)視覺效果對(duì)比

5 結(jié)語

本文提出一種面向真實(shí)復(fù)雜場(chǎng)景的單幅圖像超分辨率方法。針對(duì)當(dāng)前缺少真實(shí)高低分辨率圖像對(duì)數(shù)據(jù)集的問題，構(gòu)建了一個(gè)相機(jī)拍攝的高低分辨率圖像對(duì)數(shù)據(jù)集，它具有場(chǎng)景多樣且紋理豐富的特點(diǎn)；針對(duì)真實(shí)低分辨率圖像中的未知退化問題，采用退化關(guān)鍵因素的參數(shù)隨機(jī)化以及非線性組合退化策略改進(jìn)圖像退化模型，盡可能地模擬圖像在傳輸和存儲(chǔ)等過程中可能發(fā)生的退化；為了減弱低分辨率圖像中的退化因素在特征空間中的表達(dá)，引入殘差收縮網(wǎng)絡(luò)優(yōu)化基準(zhǔn)網(wǎng)絡(luò)模型，進(jìn)一步改善了超分辨率重建效果。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在模擬退化的數(shù)據(jù)集上的性能優(yōu)于當(dāng)前方法。下一步將在不同的圖像領(lǐng)域（如醫(yī)學(xué)圖像、遙感成像等領(lǐng)域）中構(gòu)建更符合實(shí)際的圖像退化模型與設(shè)計(jì)適應(yīng)的超分辨率網(wǎng)絡(luò)模型，最大限度地提升真實(shí)圖像的超分辨率效果。

[1] 王一寧，趙青杉，秦品樂，等. 基于輕量密集神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像超分辨率重建算法［J］. 計(jì)算機(jī)應(yīng)用， 2022， 42（8）： 2586-2592.（WANG Y N， ZHAO Q S， QIN P L， et al. Super-resolution reconstruction algorithm of medical image based on lightweight dense neural network［J］. Journal of Computer Applications， 2022， 42（8）： 2586-2592.）

[2] KEYS R. Bicubic interpolation［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing， 1981， 29（1）： 1153-1160.

[3] 王匯豐，徐巖，魏一銘，等. 基于并聯(lián)卷積與殘差網(wǎng)絡(luò)的圖像超分辨率重建［J］. 計(jì)算機(jī)應(yīng)用， 2022， 42（5）： 1570-1576.（WANG H F， XU Y， WEI Y M， et al. Image super-resolution reconstruction based on parallel convolution and residual network［J］. Journal of Computer Applications， 2022， 42（5）： 1570-1576.）

[4] DONG C， LOY C C， HE K， et al. Learning a deep convolutional network for image super-resolution ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8692. Cham： Springer， 2014： 184-199.

[5] DONG C， LOY C C， TANG X， et al. Accelerating the super-resolution convolutional neural network［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 391- 407.

[6] KIM J， LEE J K， LEE K M. Deeply-recursive convolutional network for image super-resolution ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1637-1645.

[7] KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1646-1654.

[8] LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1132-1140.

[9] TARG S， ALMEIDA D， LYMAN K. ResNet in ResNet： generalizing residual architectures ［EB/OL］. （2016-03-25）［2021-12-12］. https：//arxiv.org/pdf/1603.08029.pdf.

[10] LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 105-114.

[11] WANG X， YU K， WU S， et al. ESRGAN： enhanced super-resolution generative adversarial networks ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11133. Cham： Springer， 2019： 63-79.

[12] LIU A， LIU Y， GU J， et al. Blind image super-resolution： a survey and beyond ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（5）： 5461-5480.

[13] ZHANG K， ZUO W， ZHANG L. Learning a single convolutional super-resolution network for multiple degradations［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 3262-3271.

[14] WEI Y， GU S， LI Y， et al. Unsupervised real-world image super resolution via domain-distance aware training ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13380-13389.

[15] JI X， CAO Y， TAI Y， et al. Real-world super-resolution via kernel estimation and noise injection ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 1914-1923.

[16] ZHANG K， LIANG J， VAN GOOL L， et al. Designing a practical degradation model for deep blind image super-resolution［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 4771-4780.

[17] ZHAO M， ZHONG S， FU X， et al. Deep residual shrinkage networks for fault diagnosis ［J］. IEEE Transactions on Industrial Informatics， 2020， 16（7）： 4681-4690.

[18] CHEN C， XIONG Z， TIAN X， et al. Camera lens super-resolution［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1652-1660.

[19] CAI J， ZENG H， YONG H， et al. Toward real-world single image super-resolution： a new benchmark and a new model［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3086-3095.

[20] 劉叢，王亞新. 基于雙并行殘差網(wǎng)絡(luò)的遙感圖像超分辨率重建［J］. 模式識(shí)別與人工智能， 2021， 34（8）： 760-767.（LIU C， WANG Y X. Remote sensing image super-resolution reconstruction based on dual-parallel residual network ［J］. Pattern Recognition and Artificial Intelligence， 2021， 34（8）： 760-767.）

[21] WANG X， XIE L， DONG C， et al. Real-ESRGAN： training real-world blind super-resolution with pure synthetic data［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision Workshops. Piscataway： IEEE， 2021：1905-1914.

[22] SCH?NFELD E， SCHIELE B， KHOREVA A. A U-Net based discriminator for generative adversarial networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 8204-8213.

[23] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[24] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-12-12］.https：//arxiv.org/pdf/1409.1556.pdf.

[25] JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.

[26] AGUSTSSON E， TIMOFTE R. NTIRE 2017 challenge on single image super-resolution： dataset and study ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1122-1131.

Single image super-resolution method based on residual shrinkage network in real complex scenes

LI Ying1，2， HUANG Chao1，2， SUN Chengdong1，2， XU Yong1，2*

（1，，，518055，；2（，），518055，）

There are very few paired high and low resolution images in the real world. The traditional single image Super-Resolution （SR） methods typically use pairs of high-resolution and low-resolution images to train models， but these methods use the way of synthetizing dataset to obtain training set， which only consider bilinear downsampling as image degradation process. However， the image degradation process in the real word is complex and diverse， and traditional image super-resolution methods have poor reconstruction performance when facing real unknown degraded images. Aiming at those problems， a single image super-resolution method was proposed for real complex scenes. Firstly， high- and low-resolution images were captured by the camera with different focal lengths， and these images were registered as image pairs to form a dataset CSR（Camera Super-Resolution dataset）of various scenes. Secondly， to simulate the image degradation process in the real world as much as possible， the image degradation model was improved by the parameter randomization of degradation factors and the nonlinear combination degradation. Besides， the dataset of high- and low-resolution image pairs and the image degradation model were combined to synthetize training set. Finally， as the degradation factors were considered in the dataset， residual shrinkage network and U-Net were embedded into the benchmark model to reduce the redundant information caused by degradation factors in the feature space as much as possible. Experimental results indicate that compared with the BSRGAN （Blind Super-Resolution Generative Adversarial Network）method， under complex degradation conditions， the proposed method improves the PSNR by 0.7 dB and 0.14 dB， and improves SSIM by 0.001 and 0.031 respectively on the RealSR and CSR test sets. The proposed method has better objective indicators and visual effect than the existing methods on complex degradation datasets.

Super-Resolution (SR); complex scene; image degradation model; residual shrinkage network

This work is partially supported by National Natural Science Foundation of China （61876051）， Project of Shenzhen Science and Technology Innovation Committee （JSGG20220831104402004）.

LI Ying， born in 1998， M. S. candidate. His research interests include computer vision， super-resolution.

HUANG Chao， born in 1991， Ph. D. candidate. His research interests include pattern recognition， deep learning.

SUN Chengdong， born in 2002. His research interests include computer vision， super-resolution.

XU Yong， born in 1972， Ph.D.， professor. His research interests include pattern recognition， computer vision， deep learning， video analysis.

TP391.4

A

1001-9081（2023）12-3903-08

10.11772/j.issn.1001-9081.2022111697

2022?11?24；

2023?07?06；

2023?07?07。

國家自然科學(xué)基金資助項(xiàng)目（61876051）；深圳市科創(chuàng)委資助項(xiàng)目（JSGG20220831104402004）。

李穎（1998—），男，四川成都人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺、超分辨率；黃超（1991—），男，河南信陽人，博士研究生，主要研究方向：模式識(shí)別、深度學(xué)習(xí)；孫成棟（2002—），男，湖北黃岡人，主要研究方向：計(jì)算機(jī)視覺、超分辨率；徐勇（1972—），男，廣東深圳人，教授，博士，CCF會(huì)員，主要研究方向：模式識(shí)別、計(jì)算機(jī)視覺、深度學(xué)習(xí)、視頻分析。