鄭 璐 王保云 楊 昆 孔 艷 張祝鴻 張玲莉

（1.云南師范大學(xué)信息學(xué)院 昆明 650500）（2.云南師范大學(xué)信息學(xué)院數(shù)據(jù)科學(xué)實(shí)驗(yàn)室 昆明 650500）

1 引言

在這個(gè)信息大爆炸的時(shí)代，人類通過(guò)各種各樣的信息感知世界，其中圖像是人類獲取信息、表達(dá)信息和傳遞信息的重要手段［1］。近年來(lái)，利用某些技術(shù)手段對(duì)低質(zhì)量圖像進(jìn)行超分辨率重建引起了研究者的廣泛關(guān)注。超分辨率圖像重建（Super Resolution，SR）是指利用相關(guān)的圖像處理和算法模型，從觀測(cè)到的低分辨率圖像中重建高分辨率圖像的技術(shù)［2］。高分辨率圖像包含了更多的紋理特征和細(xì)節(jié)信息，因此在監(jiān)控設(shè)備、衛(wèi)星圖像和醫(yī)學(xué)影像領(lǐng)域都有重要的應(yīng)用價(jià)值。

傳統(tǒng)的超分辨率重建算法通常分為基于重建的方法和基于學(xué)習(xí)的（非深度學(xué)習(xí)）方法。Stark等人提出的凸集投影［3］使用迭代投影得到高分辨率圖像的估計(jì)；隨后，Irani和Peleg提出了迭代反投影的方法，成為超分辨率圖像重建中非常有代表性的方法［4］；最大后驗(yàn)概率法是Schultz和Stevenson提出的一種典型的概率方法［5］，最終保持圖像的局部特征平滑和邊緣信息，獲得了比較好的效果；Nguyen等提出的正則化方法［6］，利用恒定正則化算子和最優(yōu)正則化參數(shù)構(gòu)造圖像模糊參數(shù)、正則化參數(shù)以及高分辨率圖像的最小能量函數(shù)，從而形成規(guī)則的超分辨率重建模型。傳統(tǒng)的基于學(xué)習(xí)的方法主要涉及機(jī)器學(xué)習(xí)領(lǐng)域，通常采用機(jī)器學(xué)習(xí)技術(shù)來(lái)局部估計(jì)輸出圖像的高分辨率細(xì)節(jié)信息?；趯?shí)例的方法是一種早期的基于學(xué)習(xí)的超分辨率圖像重建方法［7］，在4倍放大因子的條件下，獲得了較高的圖像質(zhì)量；Chang等首次提出了一種基于鄰域嵌入的超分辨率圖像重建方法；Karl和Nguyen等利用支持向量回歸實(shí)現(xiàn)了超分辨率圖像重建［8］；Yang等提出了利用稀疏表示來(lái)實(shí)現(xiàn)超分辨率［9］，對(duì)每一個(gè)測(cè)試補(bǔ)丁，用線性規(guī)劃的方法得到這個(gè)超完整字典下測(cè)試補(bǔ)丁的稀疏表示。最后，通過(guò)加權(quán)系數(shù)對(duì)高分辨率圖像進(jìn)行重建。

隨著深度學(xué)習(xí)的迅速發(fā)展，一些研究者將注意力轉(zhuǎn)移到了深度學(xué)習(xí)領(lǐng)域，嘗試構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型來(lái)處理超分辨率圖像重建問(wèn)題。本文通過(guò)卷積神經(jīng)網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、密集卷積網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)五種不同的深度網(wǎng)絡(luò)模型，對(duì)基于深度學(xué)習(xí)的超分辨率方法進(jìn)行分析概括，并對(duì)不同方法獲得的超分辨率圖像質(zhì)量的評(píng)價(jià)結(jié)果進(jìn)行闡述。最后比較各個(gè)模型方法的實(shí)驗(yàn)結(jié)果和定量評(píng)價(jià)指標(biāo)，提出超分辨率研究領(lǐng)域問(wèn)題和進(jìn)一步的研究方向。

2 基于深度學(xué)習(xí)的超分辨率圖像重建

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，在過(guò)去十年左右的時(shí)間里發(fā)展飛速，引起了國(guó)內(nèi)外研究者的廣泛關(guān)注。目前，深度學(xué)習(xí)已成功應(yīng)用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、記憶網(wǎng)絡(luò)、自然語(yǔ)言處理等研究領(lǐng)域［10］。

2.1 SRCNN

超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolutional Neural Network，SRCNN）是深度學(xué)習(xí)用在超分辨率重建領(lǐng)域的一項(xiàng)前沿性研究。它的網(wǎng)絡(luò)結(jié)構(gòu)非常簡(jiǎn)單，首先，利用雙三次插值對(duì)圖像進(jìn)行預(yù)處理，將低分辨率圖像放大到目標(biāo)尺寸。然后輸入低分辨率圖像，通過(guò)三層卷積網(wǎng)絡(luò)擬合非線性映射，輸出高分辨率圖像結(jié)果。SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，第一層，圖像塊提取和特征表示；第二層，是特征的非線性映射；第三層，最終的重建［11］。

圖1 SRCNN網(wǎng)絡(luò)模型

SRCNN在ILR和IHR之間建立了端到端（end-to-end）映射的SR模型，相較于傳統(tǒng)的超分辨率算法在相同的數(shù)據(jù)結(jié)構(gòu)上以及放大相同倍數(shù)的情況下，在峰值信噪比（PSNR）和運(yùn)算速度上都有了一定程度的提升。

2.2 VDSR

VDSR（Very Deep Convolutional Networks）是基于SRCNN的改進(jìn)網(wǎng)絡(luò)。其最大特點(diǎn)是具有多層性，最終效果精度高，訓(xùn)練速度比較快。究其原因是因?yàn)樽髡甙l(fā)現(xiàn)輸入的低分辨率圖像和輸出的高分辨率圖像非常相似，即低分辨率圖像攜帶的低頻信息和高分辨率信息具有很強(qiáng)的相似性［12］，所以只需要學(xué)習(xí)高分辨率圖像和低分辨率圖像之間的高頻殘差部分即可。因此，在提高網(wǎng)絡(luò)深度的基礎(chǔ)上，將殘差網(wǎng)絡(luò)引入到重建模型中，可以提高網(wǎng)絡(luò)性能和最終重建結(jié)果的準(zhǔn)確性。

如圖2所示，插值后得到的目標(biāo)尺寸的低分辨率圖像作為VDSR網(wǎng)絡(luò)的輸入，再將圖像和網(wǎng)絡(luò)學(xué)習(xí)到的殘差相加，得到最終的網(wǎng)絡(luò)輸出［13］。VDSR具有以下優(yōu)點(diǎn)：深化了網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)大了感受野，充分利用分布在超大圖像區(qū)域的上下文信息，避免圖像信息的丟失，重建圖像細(xì)節(jié)；對(duì)殘差圖像進(jìn)行建模，學(xué)習(xí)高分辨率和低分辨率圖像之間的差異，提高學(xué)習(xí)速度，同時(shí)采用極高的學(xué)習(xí)速率，加快收斂速度；VDSR還應(yīng)用了自適應(yīng)梯度裁剪，使用可調(diào)節(jié)的梯度來(lái)最大限度地提高速度，同時(shí)抑制梯度爆炸［14］。VDSR將不同倍數(shù)的圖像混合在一起訓(xùn)練，解決了不同倍數(shù)的超分辨率問(wèn)題［15］。

圖2 VDSR網(wǎng)絡(luò)模型

2.3 DRCN

DRCN（Deeply-Recursive Convolutional Network for Image Super-Resolution）第一次將已有的遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用在超分辨率問(wèn)題上，同時(shí)利用殘差網(wǎng)絡(luò)的思想，加深了網(wǎng)絡(luò)結(jié)構(gòu)，增加了網(wǎng)絡(luò)感受野，提升了性能。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示分為三個(gè)模塊：第一個(gè)相當(dāng)于特征提取的嵌入網(wǎng)絡(luò)，第二個(gè)相當(dāng)于特征非線性映射的推斷網(wǎng)絡(luò)，第三個(gè)相當(dāng)于重建網(wǎng)絡(luò)，即從特征圖像恢復(fù)最后的重建結(jié)果［16］。其中，Inferencenet work網(wǎng)絡(luò)是一種遞歸神經(jīng)網(wǎng)絡(luò)，通過(guò)它可以使數(shù)據(jù)反復(fù)循環(huán)。其中，H1到Hd是D個(gè)共享參數(shù)的卷積層，通過(guò)同一重構(gòu)網(wǎng)絡(luò)對(duì)D個(gè)卷積層的每一層結(jié)果進(jìn)行處理，并在重構(gòu)網(wǎng)絡(luò)中添加輸入圖像，獲得D個(gè)重建結(jié)果輸出。

圖3 DRCN網(wǎng)絡(luò)模型

DRCN最大的特點(diǎn)在于多次應(yīng)用相同的卷積層，重復(fù)執(zhí)行多次遞歸而不會(huì)增加參數(shù)數(shù)量。在這個(gè)過(guò)程中，該方法加入了遞歸監(jiān)督，為了解決梯度和最優(yōu)遞歸的問(wèn)題，監(jiān)督所有遞歸，減輕了梯度消失或爆炸的影響。

2.4 SRDenseNet

DenseNet是一個(gè)具有密集連接的卷積神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)各層的輸入是所有前一層的輸出，該層學(xué)習(xí)到的圖像特征作為輸入直接傳輸?shù)皆搶雍竺娴乃袑?。如圖4是DenseNet的一個(gè)密連接塊，塊體結(jié)構(gòu)如下：BN-RELU-Conv。

圖4 DenseNet網(wǎng)絡(luò)結(jié)構(gòu)

DenseNet在密連接塊后將每個(gè)層的特性輸入到所有層中，這樣所有層都是串聯(lián)的，而不是像殘差網(wǎng)絡(luò)一樣簡(jiǎn)單相加。這種結(jié)構(gòu)可以緩解整個(gè)網(wǎng)絡(luò)中梯度消失的問(wèn)題，具有增強(qiáng)特征傳播、支持特征重用、減少參數(shù)個(gè)數(shù)等優(yōu)點(diǎn)。SRDenseNet結(jié)構(gòu)分為四部分，首先用一個(gè)卷積層學(xué)習(xí)低階圖像特征，然后用幾個(gè)密連接塊學(xué)習(xí)高階圖像特征，接著用幾個(gè)反卷積層學(xué)習(xí)上采樣的濾波參數(shù)，最后用一個(gè)卷積層生成高分辨率圖像輸出。SRDenseNet在超分辨率的深層網(wǎng)絡(luò)中引入密集跳躍連接，通過(guò)密集跳躍連接在不同級(jí)別上的特征融合，進(jìn)一步提高圖像超分辨率的重建性能。

2.5 SRGAN

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）由Goodfellow等提出，它啟發(fā)自博弈論中的二人零和博弈［20］。GAN具有強(qiáng)大的圖片生成能力，使其在圖片合成、圖像修補(bǔ)、超分辨率、草稿圖復(fù)原等方面都有廣泛的應(yīng)用［17］。Ledig等首次將生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）應(yīng)用到超分辨率圖像重建中，提出了基于生成對(duì)抗網(wǎng)絡(luò)的超分辨率（Super-Resolution using a Generative Adversarial Network，SRGAN）算法［18］，該算法將低分辨率圖片樣本輸入到生成器網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，來(lái)生成高分辨率圖片，再用判別器網(wǎng)絡(luò)辨別其輸入的高分辨率圖片是來(lái)自原始真實(shí)的高分辨率圖片還是生成的高分辨率圖片，當(dāng)判別器無(wú)法辨別出圖片的真?zhèn)螘r(shí)，說(shuō)明生成器網(wǎng)絡(luò)生成了高質(zhì)量的高分辨率圖片。實(shí)驗(yàn)結(jié)果表明相比以往的深度學(xué)習(xí)方法生成的圖片效果在視覺(jué)上更逼真。之前的基于深度學(xué)習(xí)的超分辨率方法雖然能夠獲得很高的峰值信噪比，但恢復(fù)出來(lái)的圖像通常會(huì)丟失高頻細(xì)節(jié)，使人難以有好的主觀感受效果。SRGAN主要利用感知損失和對(duì)抗損失來(lái)改善圖像恢復(fù)的真實(shí)性。感知損失是利用卷積神經(jīng)網(wǎng)絡(luò)提取出來(lái)的特征，通過(guò)比較卷積后的生成圖像與卷積后原始圖像的特征，使生成的圖像盡可能地接近原始目標(biāo)圖像。SRGAN的生成網(wǎng)絡(luò)使用了SRResNet作為網(wǎng)絡(luò)模型［19］，并通過(guò)均方誤差來(lái)優(yōu)化。通過(guò)計(jì)算訓(xùn)練后的VGG模型的高級(jí)特征上的感知損失，對(duì)SRGAN進(jìn)行了優(yōu)化。結(jié)合SRGAN的判別網(wǎng)絡(luò)，可以得到峰值信噪比不是最高，但具有真實(shí)視覺(jué)效果的超分辨重建結(jié)果。其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 SRGAN網(wǎng)絡(luò)模型

3 實(shí)驗(yàn)結(jié)果與分析

表1列出了文中所述的五種基于深度學(xué)習(xí)網(wǎng)絡(luò)模型的超分辨率圖像重建方法的PSNR和SSIM值。這些方法在set5、set14、B100、Urban100數(shù)據(jù)集下 完 成 測(cè) 試，對(duì) 比SRCNN、VDSR、DRCN、SRDenseNet、SRGAN方法，由作者所公布的實(shí)驗(yàn)結(jié)果整理得到表中數(shù)據(jù)。通過(guò)觀察實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)SRDenseNet在四個(gè)數(shù)據(jù)集下的測(cè)試結(jié)果中，4倍放大因子下，得到的PSNR和SSIM值最高。通過(guò)對(duì)比整體的結(jié)果，VDSR和DRCN都獲得了比較好的PSNR和SSIM值，這兩種方法在SRCNN的基礎(chǔ)上，都加深了網(wǎng)絡(luò)層次，擴(kuò)大了感受野范圍，并運(yùn)用了殘差網(wǎng)絡(luò)的思想提高了運(yùn)行速度。

表1 五種SR算法重建效果對(duì)比

4 結(jié)語(yǔ)

超分辨率圖像重建旨在提高圖像質(zhì)量，便于獲取更多關(guān)于圖像的細(xì)節(jié)信息，是計(jì)算機(jī)視覺(jué)領(lǐng)域一項(xiàng)重要的研究工作。本節(jié)對(duì)五種典型的基于深度學(xué)習(xí)的超分辨率重建方法進(jìn)行討論總結(jié)，從中可以得出以下問(wèn)題。

1）深度網(wǎng)絡(luò)類型和結(jié)構(gòu)構(gòu)建。通過(guò)對(duì)五種不同深度學(xué)習(xí)網(wǎng)絡(luò)模型分析發(fā)現(xiàn)，網(wǎng)絡(luò)結(jié)構(gòu)層次越深，感受野越大，越能夠充分利用圖像的上下文信息，減少圖像細(xì)節(jié)丟失的可能性。但同時(shí)越深的網(wǎng)絡(luò)模型，意味著難以收斂的訓(xùn)練過(guò)程，因此，在加深網(wǎng)絡(luò)模型層次的同時(shí)，結(jié)合殘差網(wǎng)絡(luò)、自適應(yīng)梯度裁剪等能夠避免深層網(wǎng)絡(luò)梯度爆炸/消失的優(yōu)化算法訓(xùn)練是非常必要的。

2）算法優(yōu)化。文中所列的五種超分辨率圖像重建方法都得到了較好質(zhì)量的重建圖像，與傳統(tǒng)方法相比，也提升了PSNR和SSIM值。但是其訓(xùn)練速度和可視化效果并未達(dá)到人們的預(yù)期，還具有較大的改進(jìn)空間。

3）評(píng)價(jià)機(jī)制。經(jīng)過(guò)30多年的研究和開(kāi)發(fā)，超分辨率圖像重建技術(shù)取得了長(zhǎng)足的進(jìn)步。如何構(gòu)建合理的評(píng)價(jià)機(jī)制，評(píng)價(jià)超分辨率圖像的質(zhì)量，進(jìn)而評(píng)價(jià)不同超分辨率算法的優(yōu)劣，也一直是超分辨率研究領(lǐng)域十分熱門(mén)的問(wèn)題。猶如SRGAN，在視覺(jué)效果上SRGAN很好地重建了圖像的細(xì)節(jié)信息，主觀感受最好。但是由于其不高的PSNR和SSIM值，自然讓我們想到另一個(gè)問(wèn)題，建立能夠反映主觀感受效果的評(píng)價(jià)機(jī)制。通過(guò)量化主觀人眼評(píng)價(jià)效果，結(jié)合客觀評(píng)價(jià)指標(biāo)，構(gòu)建有效的評(píng)價(jià)機(jī)制也是值得研究的問(wèn)題。

4）GAN模型。生成對(duì)抗網(wǎng)絡(luò)因其具有很好的圖像生成功能，在超分辨率圖像重建方法中嶄露頭角，獲得了最好的視覺(jué)效果。因此在未來(lái)工作中，著重考慮在當(dāng)前SRGAN網(wǎng)絡(luò)模型的基礎(chǔ)上結(jié)合當(dāng)下各類優(yōu)化算法和成熟的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步提高重建圖像的質(zhì)量和訓(xùn)練結(jié)果的定量評(píng)價(jià)指標(biāo)。

深度學(xué)習(xí)在超分辨率圖像重建中具有廣闊的應(yīng)用前景。本文總結(jié)了現(xiàn)有的超分辨率圖像重建的深度網(wǎng)絡(luò)模型，對(duì)比不同網(wǎng)絡(luò)模型的特點(diǎn)和訓(xùn)練方法，總結(jié)分析了現(xiàn)有模型存在的問(wèn)題以及模型構(gòu)建的新思路，提出生成對(duì)抗網(wǎng)絡(luò)在超分辨率問(wèn)題中的優(yōu)化策略和應(yīng)用方法，并將在下一階段詳細(xì)展開(kāi)研究與討論。文末簡(jiǎn)述了超分辨率重建問(wèn)題的其他相關(guān)研究方向——對(duì)于圖像質(zhì)量的評(píng)價(jià)機(jī)制，提出圖像質(zhì)量評(píng)價(jià)機(jī)制的不足和現(xiàn)存問(wèn)題，對(duì)以后建立反映主觀感受效果的評(píng)價(jià)機(jī)制提出具有實(shí)際參考價(jià)值的建議。