仝衛(wèi)國， 蔡猛， 龐雪純， 翟永杰

(華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院， 保定 071003)

隨著圖像處理技術(shù)的發(fā)展，圖像檢索、目標(biāo)檢測(cè)、語義分割等處理過程中對(duì)圖像質(zhì)量的要求越來越高。圖像超分辨率重建技術(shù)是一種從算法層面入手，利用一幅[1]或多幅[2]低分辨率(low resolution, LR)圖像生成一個(gè)具有良好視覺效果和接近真實(shí)圖像的高分辨率(high resolution, HR)圖像的方法。圖像超分辨率重建技術(shù)已經(jīng)在許多領(lǐng)域中得到了廣泛應(yīng)用，如在投影成像[3]、醫(yī)學(xué)影像報(bào)告[4]、航空航天監(jiān)測(cè)[5]等都有著非常高的價(jià)值。

目前常用的超分辨率重建技術(shù)主要分為3類，分別為基于插值[6-7]、基于重建[8-9]和基于學(xué)習(xí)[10-13]的方法。其中，基于學(xué)習(xí)的重建方法為當(dāng)前的主流方法。通過學(xué)習(xí)先驗(yàn)知識(shí)，利用LR圖像和HR圖像之間的映射關(guān)系，重建出高分辨率圖像。Dong等[14]采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)低分辨率圖像進(jìn)行特征提取，為了提高重建速度，在算法基礎(chǔ)上又提出了FSRCNN(fast super resolution convolutional neural networks)。為解決實(shí)時(shí)超分辨率重建問題，Shi等[15]提出了亞像素卷積層網(wǎng)絡(luò)(efficient sub-pixel convolutional network, ESPCN)，將沒有經(jīng)過任何操作的低分辨率圖片作為原始的輸入，使特征圖的尺寸得到了縮減。Kim等[16]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的重建方法(very deep convolutional networks for image super-resolution, VDSR)，在更深的網(wǎng)絡(luò)多次使用級(jí)聯(lián)小濾波器，有效利用了圖像的下文信息，解決了網(wǎng)絡(luò)退化問題。Kim等[17]采用共享參數(shù)的遞歸結(jié)構(gòu)，提出了深度遞歸卷積神經(jīng)網(wǎng)絡(luò)(deeply-recursive convolutional network, DRCN)模型。Tai等[18]提出的深度遞歸殘差網(wǎng)絡(luò)(deep recursive residual network, DRRN)，同時(shí)利用了局部殘差結(jié)構(gòu)、全局殘差結(jié)構(gòu)和遞歸結(jié)構(gòu)。殘差單元之間共享，增加少量參數(shù)，改進(jìn)了VDSR和DRCN的性能，但仍存在著提取特征單一的問題，不利于對(duì)低分辨率圖像信息進(jìn)一步提取。

圖像重建質(zhì)量的好壞與模型的網(wǎng)絡(luò)結(jié)構(gòu)深淺以及卷積核感受野大小有著非常密切的聯(lián)系，現(xiàn)在已有的深度網(wǎng)絡(luò)模型，大多是直接增加卷積層來達(dá)到擴(kuò)大網(wǎng)絡(luò)感受野的目的，但是這樣做不利于對(duì)圖像信息的進(jìn)一步提取。孫超文等[19]提出了多尺度特征融合反投影網(wǎng)絡(luò)，在淺層特征提取層使用多尺度的卷積核提取不同維度的特征信息，然后構(gòu)建多尺度反投影模塊通過遞歸學(xué)習(xí)執(zhí)行特征映射，放大倍數(shù)大時(shí)重建性能相比其他算法效果更好。劉遵雄等[20]提出了多尺度并聯(lián)學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)提取的低分辨率圖像通過兩個(gè)子網(wǎng)絡(luò)的多尺度特征學(xué)習(xí)，融合不同尺度高頻信息，最終生成高分辨率圖像，在恢復(fù)低分辨率圖像的細(xì)節(jié)紋理信息有更好的效果。

為了增加圖像的細(xì)節(jié)語義信息提取，在DRRN的基礎(chǔ)上，現(xiàn)提出一種融合了多尺度特征的網(wǎng)絡(luò)模型，主要由多尺度特征提取模塊、遞歸網(wǎng)絡(luò)和密集連接網(wǎng)絡(luò)三部分組成。采用多尺度特征提取模塊代替原模型中的局部殘差結(jié)構(gòu)，提取更加全面的特征信息；同時(shí)引入遞歸學(xué)習(xí)，提高網(wǎng)絡(luò)的收斂速度；添加密集連接結(jié)構(gòu)，使特征傳播得到增強(qiáng)，減少參數(shù)計(jì)算，減輕梯度消失問題。

1 深度遞歸殘差網(wǎng)絡(luò)

深度遞歸殘差網(wǎng)絡(luò)(DRRN)是深度卷積神經(jīng)網(wǎng)絡(luò)模型，其深度達(dá)到了52層。DRRN算法將ResNet(residual network)中的局部殘差學(xué)習(xí)與VDSR中的全局殘差學(xué)習(xí)相結(jié)合，不僅加深網(wǎng)絡(luò)深度而且解決了梯度消失的問題，使圖像細(xì)節(jié)得到了增強(qiáng)。在增加深度的同時(shí)，在遞歸塊中遞歸地學(xué)習(xí)增強(qiáng)的殘差單元結(jié)構(gòu)，并且將遞歸塊重復(fù)連接用來學(xué)習(xí)HR和LR圖像之間的殘差圖像，控制模型參數(shù)。

ResNet、VDSR、DRRN結(jié)構(gòu)簡(jiǎn)化示意圖如圖1所示，由圖1可以看出，ResNet中采用的是局部殘差模塊，VDSR中采用的是全局殘差模塊，而DRRN同時(shí)采用了這兩種結(jié)構(gòu)單元，其中的綠色虛線框代表局部殘差單元，由兩個(gè)卷積層(conv)組成，紅色虛線框代表遞歸塊，每個(gè)遞歸塊由兩個(gè)殘差單元組成，并且可以使用多個(gè)遞歸塊進(jìn)行連接，連接個(gè)數(shù)通常與具體要解決問題的實(shí)際情況相結(jié)合，DRRN中權(quán)重共享在殘差模塊中實(shí)現(xiàn)。

圖1 ResNet、VDSR、DRRN結(jié)構(gòu)簡(jiǎn)化示意圖Fig.1 Simplified schematic diagram of structure of ResNet, VDSR and DRRN

與ResNet不同的是DRRN將批歸一化層(BN)與線性修正單元(ReLU)放在權(quán)重層(weight)的前面，這種結(jié)構(gòu)模式被稱為預(yù)激活(pre-activation)。以第u個(gè)殘差單元為例，預(yù)激活的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 DRRN第u層殘差單元預(yù)激活網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 u-th layer residual unit pre-activated network structure of DRRN

黑色虛線框表示殘差函數(shù)F，殘差函數(shù)F由兩個(gè)卷積層組成，每個(gè)層由BN-ReLU-weight層堆疊而成。包含預(yù)激活結(jié)構(gòu)的殘差單元的輸出公式為

Hu=F(Hu-1,W)+H0

(1)

式(1)中：Hu-1和Hu分別為第u層殘差單元的輸入和輸出；F(x)為殘差函數(shù)；W為在同一遞歸塊內(nèi)的殘差單元共享的權(quán)重值；H0為遞歸塊中第一個(gè)卷積層的輸出結(jié)果。

DRRN整體結(jié)構(gòu)的示意圖如圖3所示。

圖3 DRRN整體結(jié)構(gòu)示意圖Fig.3 Schematic diagram of the overall structure of DRRN

由式(1)可知，第u層的殘差單元輸出為

(2)

因此，第b層的遞歸模塊的輸出xb為

=g[g(…{g[fb(xb-1)]}…)]

(3)

式(3)中：g(x)為殘差單元函數(shù)。

然而，DRRN算法僅使用一種大小的卷積核對(duì)低分辨率圖像進(jìn)行特征提取，無法提取不同尺度對(duì)應(yīng)的相關(guān)圖像信息，不利于圖像細(xì)節(jié)的恢復(fù)。

2 多尺度特征融合的遞歸網(wǎng)絡(luò)

為了使提取的圖像特征更豐富，本文在DRRN的基礎(chǔ)上做出相應(yīng)改進(jìn)，提出一種融合了多尺度特征的遞歸網(wǎng)絡(luò)模型，其主要由三部分構(gòu)成：多尺度特征提取模塊、遞歸網(wǎng)絡(luò)模塊和密集連接模塊。模型的主要改進(jìn)思路為：保留DRRN中的全局殘差模塊，用多尺度特征提取模塊代替原來的局部殘差模塊，并且引入密集連接，整體算法模型結(jié)構(gòu)如圖4所示。

圖4 模型整體結(jié)構(gòu)示意圖Fig.4 Schematic diagram of the overall structure of the model

多尺度特征提取模塊相對(duì)于只使用單尺度的卷積核來說會(huì)對(duì)圖像特征進(jìn)行更完整的信息提取，對(duì)于不同的特征信息進(jìn)行全面提取，防止信息不能進(jìn)行有效傳遞，將信息傳遞最大化，最大限度的利用LR圖像的淺層特征。

引入遞歸學(xué)習(xí)網(wǎng)絡(luò)并在其基礎(chǔ)之上引入密集連接網(wǎng)絡(luò)，最后將提取得到的特征與LR圖像相加進(jìn)行全局殘差學(xué)習(xí)。通過全局殘差學(xué)習(xí)，對(duì)圖像隱含的深層信息進(jìn)行提取，充分利用前面卷積層提取出的底層特征，對(duì)圖像的高頻信息進(jìn)行恢復(fù)，令重建后的高分辨率圖像有更好的視覺效果，降低了訓(xùn)練模型的參數(shù)量，使網(wǎng)絡(luò)收斂的速度得到加快。

2.1 多尺度特征提取

不同尺度的卷積核對(duì)圖像提取出的特征信息不同，本文采用一種多尺度特征提取模塊，使用3種不同大小的卷積核進(jìn)行特征提取，具體卷積核大小為1×1、3×3和5×5。雖然多尺度特征提取單元利用不同尺寸大小的卷積核進(jìn)行特征提取，若將不同卷積核提取到的特征進(jìn)行簡(jiǎn)單疊加，可能會(huì)導(dǎo)致不同層信息利用程度下降，不利于將多種特征相互融合。Concat融合方式為通道維度上合并，圖像本身的特征數(shù)增加了，而每一特征下的信息沒有增加。如DenseNet(densely connected convolutional networks)[21]中采用了Concat融合，并取得了很好的效果，因此本文采用該方式來融合不同尺度的信息。此外，為了降低計(jì)算難度，在特征融合以后使用1×1的卷積核進(jìn)行降維，加快重建速度。網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示。

圖5 多特征提取模塊Fig.5 Multi-feature extraction module

具體的提取過程為：輸入圖像首先經(jīng)過一個(gè)3×3的卷積層，然后把3×3的輸出送到改進(jìn)模塊中，改進(jìn)的模塊是主要使用了1×1、3×3、5×5這3種不同大小的卷積核，因?yàn)榫矸e核大小不同，提取出的特征不同，然后將1×1與3×3的輸出進(jìn)行特征融合，1×1與5×5的輸出進(jìn)行特征融合，3×3與5×5的輸出進(jìn)行特征融合，再對(duì)這三個(gè)融合的特征進(jìn)行1×1卷積，主要是為了降低特征融合后的維度，減少參數(shù)量。然后將1×1與5×5融合的特征經(jīng)過3×3的卷積層，1×1與3×3融合的特征經(jīng)過5×5卷積層，3×3與5×5融合的特征經(jīng)過1×1卷積層，再將這三個(gè)輸出特征進(jìn)行特征融合，經(jīng)過1×1卷積層降維后，作為改進(jìn)模塊的輸出。

2.2 密集連接

自Huang等[21]提出DenseNet以來，密集連接已經(jīng)被越來越多的用到各種任務(wù)中。假設(shè)模型有L層，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)就會(huì)有L個(gè)連接，而在DenseNet中，會(huì)有L(L+1)/2個(gè)連接，所有先前層的特征映射都用作當(dāng)前層的輸入，當(dāng)前層的特征映射也會(huì)用作所有后續(xù)層的輸入。

密集連接網(wǎng)絡(luò)中的某一層的輸入為該層之前所有層的特征信息的融合結(jié)果，充分利用了前面卷積層提取出的底層特征，使恢復(fù)后的圖像更加清晰，該網(wǎng)絡(luò)訓(xùn)練不需要大量的參數(shù)，在網(wǎng)絡(luò)進(jìn)行前向傳播以及反向傳播的時(shí)候可以保持良好的性能，增加網(wǎng)絡(luò)的訓(xùn)練層數(shù)，另外密集連接結(jié)構(gòu)有正則化的效果，對(duì)訓(xùn)練集較小任務(wù)的過擬合有一定的抑制作用。密集連接結(jié)構(gòu)如圖6所示。

圖6 密集連接結(jié)構(gòu)圖Fig.6 Dense connection structure diagram

本文中提出的多尺度特征融合的遞歸網(wǎng)絡(luò)重建模型，在特征提取部分，使用不同大小的卷積核進(jìn)行特征提取，將提取到的特征信息采用Concat的方式進(jìn)行融合，加大了信息獲取的能力。本文中以DRRN作為基線模型，在其模型的基礎(chǔ)上進(jìn)行相應(yīng)改進(jìn)，并結(jié)合密集連接的方法，將由多尺度特征提取模塊構(gòu)成的遞歸模塊進(jìn)行融合，最后將獲取的深層特征與低分辨率圖像的淺層特征進(jìn)行全局殘差學(xué)習(xí)。在加深網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)，減少網(wǎng)絡(luò)的相關(guān)參數(shù)，對(duì)模型占用的內(nèi)存空間進(jìn)行了優(yōu)化。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

本文提出的算法所需要的實(shí)驗(yàn)環(huán)境為：Ubuntu操作系統(tǒng)，實(shí)驗(yàn)硬件設(shè)備配置為Intel?CoreTMi5處理器，8 GB運(yùn)行內(nèi)存，NVIDIA Geforce GTX 1 080(8 GB)顯卡。

3.2 實(shí)驗(yàn)數(shù)據(jù)

訓(xùn)練數(shù)據(jù)集包含291張圖片，其中91張圖像來自Yang等[22]，其他200幅圖片來自Berkeley分割數(shù)據(jù)集。為了進(jìn)行測(cè)試，本次實(shí)驗(yàn)使用了兩個(gè)廣泛使用的基準(zhǔn)數(shù)據(jù)集，Set5和Set14，以及國家電網(wǎng)提供的部分電力巡檢圖片作為測(cè)試樣本。

為了避免訓(xùn)練不充分，對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)，主要方式為對(duì)圖像進(jìn)行翻轉(zhuǎn)和旋轉(zhuǎn)。具體為，將原始圖片分別進(jìn)行90°、180°、270°和水平翻轉(zhuǎn)。對(duì)于每個(gè)原始圖片，相當(dāng)于增加了7張不同的圖片，因此，共有2 328個(gè)訓(xùn)練集圖片。因?yàn)槿搜蹖?duì)圖像的Y分量更敏感，因此在實(shí)驗(yàn)之前，需要對(duì)實(shí)驗(yàn)過程中的圖像進(jìn)行YCbCr的顏色空間轉(zhuǎn)換，只提取Y通道[23]，使用大小為2、3、4的尺度因子分別對(duì)高分辨率圖像進(jìn)行下采樣，得到低分辨率圖像。

3.3 不同重建方法的實(shí)驗(yàn)對(duì)比

改進(jìn)方法訓(xùn)練參數(shù)設(shè)置：初始學(xué)習(xí)率為0.1，前30個(gè)epoch中，每10個(gè)epoch使學(xué)習(xí)率下降為原來的一半，30 epoch之后，每10個(gè)epoch使學(xué)習(xí)率降為原來的1/10，batch size為64，訓(xùn)練輪數(shù)為100。

根據(jù)本文提出的改進(jìn)方法，選取Set5與Set14中的測(cè)試圖像驗(yàn)證改進(jìn)方法的優(yōu)越性，將其與雙三次插值重建算法和DRRN進(jìn)行對(duì)比實(shí)驗(yàn)分析。部分圖像采用x2模糊后不同算法的重建圖像結(jié)果展示如圖7～圖10所示。

圖7 Baby重建結(jié)果對(duì)比Fig.7 Comparison of reconstruction results of baby

通過對(duì)比可以看出，本文所提出的改進(jìn)方法的邊緣清晰度相對(duì)來說表現(xiàn)更好，細(xì)節(jié)與低分辨率圖像相比更加豐富，更加接近原圖。在圖8中，經(jīng)過對(duì)原圖中鼻子部分細(xì)節(jié)放大的對(duì)比發(fā)現(xiàn)，與其他算法相比，本文算法重建出的圖像能夠清晰地看出鼻子輪廓上的那些坑坑洼洼的細(xì)節(jié)，而且對(duì)于睫毛部分，重建出的圖像睫毛更加清晰，有一種根根分明的感覺，跟原圖相比更為接近。在圖10中，基于Bicubic重建的結(jié)果中眼部輪廓比較模糊，眼珠部分與眼睛上部輪廓界限不明顯，而且睫毛連成了一部分，不能清楚地觀測(cè)到圖像細(xì)節(jié)，DRRN重建結(jié)果較Bicubic方法有明顯改進(jìn)，圖像更加清晰，重建細(xì)節(jié)也更多，本文方法的重建結(jié)果較其他兩種方法與原始圖像更為接近，視覺效果更好，細(xì)節(jié)更加豐富，睫毛層次更加分明，有一定改進(jìn)效果。

圖8 Head重建結(jié)果對(duì)比Fig.8 Comparison of reconstruction results of head

圖9 Comic重建結(jié)果對(duì)比Fig.9 Comparison of reconstruction results of comic

圖10 Lenna重建結(jié)果對(duì)比Fig.10 Comparison of reconstruction results of lenna

為了更加客觀地對(duì)比不同方法重建的結(jié)果，經(jīng)不同的放大因子X2、X3、X4生成低分辨率圖像后，采用不同的算法重建以后得到的PSNR與SSIM的相關(guān)數(shù)據(jù)如表1和表2所示。

表1 不同方法重建圖像的PSNR對(duì)比 Table 1 PSNR comparison of reconstructed images with different methods

表2 不同方法重建圖像的SSIM對(duì)比Table 2 SSIM comparison of reconstructed images with different methods

經(jīng)過實(shí)驗(yàn)對(duì)比，可以看出本文所提出的改進(jìn)方法的PSNR與改進(jìn)前方法的PSNR值相比平均提高了0.1～0.27 dB，SSIM平均提高了0.001～0.005。證明了本文所提算法能夠?qū)D像重建效果有一定提升。

3.4 在輸電線路中的應(yīng)用

部分輸電線路圖像采用X2模糊后經(jīng)雙三次插值算法、DRRN算法與本文改進(jìn)算法的重建4圖像結(jié)果展示如圖11～圖14所示。

由圖11～圖14可以看出，本文所提出的方法較其他方法能夠更加清晰地重建出圖像的輪廓，對(duì)于圖像的銳化效果也比較好，與原高分辨率圖像比較接近，在圖11中，本文方法可以將桿塔上的螺絲進(jìn)行較為清晰地還原，與其他方法相比，螺絲上的細(xì)節(jié)更加明顯，有利于觀察桿塔上具體細(xì)小部件的情況，在圖13中，基于絕緣子的重建對(duì)比中，本文方法也同樣恢復(fù)的圖像細(xì)節(jié)程度更高，對(duì)于不同絕緣子之間的界限也較為明顯，在圖14中，Bicubic方法重建出的圖像輪廓模糊，不能較為清楚地恢復(fù)出圖像細(xì)節(jié)，應(yīng)用本文方法重建出的圖像，可以較為恢復(fù)更多的圖像細(xì)節(jié)，清晰度也明顯提高。為了進(jìn)一步對(duì)比不同方法的重建效果，部分輸電線路重建圖像的客觀評(píng)價(jià)指標(biāo)如表3和表4所示。

表3 不同方法重建圖像的PSNR對(duì)比Table 3 PSNR comparison of reconstructed images with different methods

表4 不同方法重建圖像的SSIM對(duì)比Table 4 SSIM comparison of reconstructed images with different methods

圖11 桿塔重建結(jié)果對(duì)比Fig.11 Comparison of reconstruction results of tower

圖12 均壓環(huán)重建結(jié)果對(duì)比Fig.12 Comparison of reconstruction results of ring

圖13 絕緣子重建結(jié)果對(duì)比Fig.13 Comparison of reconstruction results of insulator

圖14 防震錘重建結(jié)果對(duì)比Fig.14 Comparison of reconstruction results of damper

通過對(duì)表格數(shù)據(jù)進(jìn)行分析對(duì)比，可以發(fā)現(xiàn)本文改進(jìn)的方法相對(duì)于原方法，在PSNR與SSIM兩個(gè)方面都進(jìn)行了提升，這也進(jìn)一步說明改進(jìn)方法取得了一定的提升效果，在網(wǎng)絡(luò)層數(shù)不斷加深的基礎(chǔ)上，通過對(duì)特征提取方式以及網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整，可以達(dá)到優(yōu)化的目的。實(shí)驗(yàn)結(jié)果進(jìn)一步說明，本文改進(jìn)方法在輸電線路場(chǎng)景中效果有提升并且可以進(jìn)行應(yīng)用。

4 結(jié)論

提出了基于多尺度特征融合的超分辨率重建算法，利用多尺度特征提取模塊提取更多淺層信息；在網(wǎng)絡(luò)中添加密集連接結(jié)構(gòu)，使特征傳播得到增強(qiáng)，用以解決現(xiàn)有的超分辨率重建算法存在的提取特征單一的問題。在基準(zhǔn)測(cè)試集Set5、Set14以及電力巡檢數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法相較于其他幾種方法，在客觀評(píng)價(jià)指標(biāo)和主觀視覺效果上均獲得了更好的表現(xiàn)。未來研究工作主要是增加算法實(shí)現(xiàn)的應(yīng)用場(chǎng)景，驗(yàn)證不同場(chǎng)景，不同目標(biāo)的重建性能，以及將傳統(tǒng)方法與基于深度學(xué)習(xí)的方法進(jìn)行結(jié)合，實(shí)現(xiàn)更優(yōu)的超分辨率重建算法，進(jìn)一步提升重建效果。