胡 誠,曹春陽,徐晨光,鄧承志

(江西省水信息協(xié)同感知與智能處理重點實驗室,南昌 330099)

0 引言

單幅圖像超分重建算法是視覺任務(wù)中圖像處理技術(shù)的研究熱點,快速有效地獲取高質(zhì)量的HR圖像是其在實際應(yīng)用中發(fā)揮作用的重要前提。深度學習技術(shù)是不斷創(chuàng)新網(wǎng)絡(luò)結(jié)構(gòu)及學習機制,實現(xiàn)復雜事務(wù)處理自動化,更加智能、出色地完成現(xiàn)實任務(wù)。近年來,基于深度學習的圖像超分算法不斷改進,網(wǎng)絡(luò)模型泛化能力和目標圖像重建效果遠優(yōu)于傳統(tǒng)算法,具有良好的應(yīng)用價值。超分辨率重建技術(shù)(Super-resolution,SR)是從硬件升級或改進軟件角度使原始圖像分辨率有所提高的技術(shù)總稱,即由一幅或多幅模糊卻相似的低分辨率(Low Resolution,LR)退化圖像利用相應(yīng)的算法,重建出一幅或多幅清晰的高分辨率圖像(High Resolution,HR)[1]。圖像超分技術(shù)的理論基礎(chǔ)是由時間序列長度獲得空間精細程度,采集多張相同情景下的圖像來提升空間分辨率。常用的基于深度學習的圖像超分網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)、深度殘差網(wǎng)絡(luò)及生成式對抗網(wǎng)絡(luò)等。綜述了淺層直連、殘差學習及博弈思想下的幾種經(jīng)典算法,并進行了實驗對比。

1 基于深度學習的超分模型

1.1 基于直接連接的網(wǎng)絡(luò)模型

SRCNN(Super-Resolution convolutional neural network)是超分技術(shù)在深度學習領(lǐng)域的第一次嘗試,由Dong[2]等參考稀疏編碼的理念設(shè)計而來,網(wǎng)絡(luò)結(jié)構(gòu)十分簡單,是一個僅包含三層卷積層的淺層網(wǎng)絡(luò)超分模型。該模型是典型的直連結(jié)構(gòu),采用雙三次(bicubic)插值預處理方式,將原始圖像放大至目標尺寸,通過三次卷積核大小不同的卷積操作,實現(xiàn)低分辨率圖像到高分辨率圖像端到端的映射。三次卷積操作分別解釋為圖像塊提取與特征表示、特征非線性映射及圖像重建。使用均方誤差作為損失函數(shù)訓練網(wǎng)絡(luò),相比于傳統(tǒng)的稀疏表示超分方法,在重建質(zhì)量和運算速度上具有一定的優(yōu)越性。

基于網(wǎng)絡(luò)訓練過程中內(nèi)存消耗、計算量大小及模型收斂速度等因素的考量,Dong[2]在SRCNN網(wǎng)絡(luò)模型末端加設(shè)反卷積層來實現(xiàn)上采樣操作,并于非線性映射部分采用更小的卷積核與更深的網(wǎng)絡(luò)設(shè)計,提出了FSRCNN模型,減小計算量的同時加快了訓練時間,模型性能有所提升。2016年,Shi[3]等根據(jù)像素重新排列組合思想,提出了ESPCN(Efficient Sub-Pixel CNN)模型,將在低分辨率圖像上進行卷積操作提取出來的特征圖輸入到亞像素卷積層,經(jīng)過通道重新排列組合得到高分辨率圖像。這種像素重組法是一種新的插值方式,通過網(wǎng)絡(luò)訓練學習得到LR-HR之間的映射關(guān)系并隱含在前面的卷積層中,為實現(xiàn)多尺度圖像超分提供了一種新的思路。

1.2 基于殘差學習的網(wǎng)絡(luò)模型

網(wǎng)絡(luò)深度不斷增加,越深層次的網(wǎng)絡(luò)層擁有的感受野不斷增大,對上下文信息的利用率更高,具有更好的特征學習能力。網(wǎng)絡(luò)參數(shù)也逐漸增多,訓練難度加大,模型難以收斂導致性能不升反降。在圖像超分問題上,原始的低分辨率圖像與重構(gòu)的高分辨率圖像之間的相似部分占比很高,即LR圖像與HR圖像之間包含大量相同的低頻信息,因此網(wǎng)絡(luò)只需學習高、低分辨率圖像之間的高頻殘差部分,在一定程度上減小了訓練難度[4]。

Kim[5]等把殘差學習運用到解決圖像超分問題中提出了一個20層的網(wǎng)絡(luò)模型VDSR(Very Deep CNN for SR),將預處理低分辨率圖像輸入網(wǎng)絡(luò),經(jīng)學習得到的殘差再與其相加,重構(gòu)出最終的高分辨率圖像。殘差連接很好地解決了深度網(wǎng)絡(luò)中的“退化”問題,外加自適應(yīng)梯度裁剪策略(Adjustable Gradient Clipping)的應(yīng)用,在加快模型收斂速度的同時,最大限度抑制了梯度消失或爆炸,創(chuàng)新性地提出了對不同放大倍數(shù)圖像進行混合訓練,以實現(xiàn)多尺度圖像超分。SRResNet在VDSR全局殘差思想的基礎(chǔ)上通過堆疊多個殘差塊來學習圖像的局部細節(jié),提高了模型深度和精度。Lim[6]等在SRResNet模型結(jié)構(gòu)上去除了殘差塊中的批量歸一化處理,提出網(wǎng)絡(luò)模型EDSR(Enhanced Deep Residual Network for SR),在相同的計算資源下可以擴展網(wǎng)絡(luò)模型規(guī)模,以提升性能。

為了加強層間信息傳遞,DRCN(Deep Recursive CNN)[7]借鑒遞歸神經(jīng)網(wǎng)絡(luò)的思想,利用全局殘差學習,共享遞歸層間參數(shù)。受DRCN的啟發(fā),Tai[8]等將局部殘差學習、全局殘差學習及多權(quán)重遞歸學習相結(jié)合,提出DRRN模型,其具有規(guī)模更大、計算更為復雜的52層網(wǎng)絡(luò)結(jié)構(gòu)。除了遞歸學習以外,基于密集連接的SRDenseNet、RDN(Residual Dense Network for SR)等網(wǎng)絡(luò)模型日新月異,這類網(wǎng)絡(luò)由一系列密集殘差塊串聯(lián)組成,充分利用各層級獲得的高頻局部特征進行全局信息融合重構(gòu)HR圖像,在實際視覺環(huán)境下,為了區(qū)分一幅圖像不同通道特征的重要性,將通道注意力機制引入到400層的殘差網(wǎng)絡(luò)模型RCAN(Residual Channel Attention Networks)中,為每個殘差塊都加入了通道注意力機制,對通道之間特征的重要程度進行自適應(yīng)學習劃分,相當于為各通道特征賦予大小不同的權(quán)重,合理利用了特征通道,減小了計算資源的浪費。RCAN采用RIR(Residual In Residual)結(jié)構(gòu)來降低網(wǎng)絡(luò)訓練難度,通過跳躍連接學習粗粒度殘差信息穩(wěn)定訓練過程,在一定程度上提升了模型的特征學習能力。

1.3 基于GAN的網(wǎng)絡(luò)模型

解決圖像超分問題時采用均方誤差作為損失函數(shù)訓練出來的網(wǎng)絡(luò)模型,重建的高分辨率圖像往往會丟失部分高頻細節(jié),雖然能夠獲得較高的峰值信噪比,但人的視覺感受并不是很好。生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)是一種生成模型,其核心思想是兩個深層網(wǎng)絡(luò)相互博弈、交替優(yōu)化,進而達到某種平衡,在圖像合成、圖像修補及草稿復原等領(lǐng)域有著良好的表現(xiàn)。

SRGAN是Ledig在圖像超分領(lǐng)域GAN的初次嘗試,模型分為生成器和判別器兩個對立模塊,生成器對原始圖像添加隨機噪聲,合成出盡可能真實的高分辨率圖像,判別器則負責辨別輸入圖像是來源于生成網(wǎng)絡(luò)還是真實圖像。兩個深層網(wǎng)絡(luò)經(jīng)過聯(lián)合訓練,博弈達到納什平衡時,即判別器無法判斷圖像真?zhèn)螘r,就可認為生成網(wǎng)絡(luò)具有合成高質(zhì)量SR圖像的能力。SRGAN重構(gòu)出的圖像雖然沒有獲得很高的PSNR值,但其視覺感知效果更為真實,在重建圖像高頻細節(jié)的方向上取得了一定的進步。

2 實驗方案

2.1 圖像質(zhì)量客觀評價指標

圖像質(zhì)量的客觀評價指標通常采用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)兩個指標。PSNR是原圖像與輸出圖像之間的均方誤差相對于(2^n-1)^2的對數(shù)值,單位為分貝(db)。SSIM是一種衡量兩幅圖像相似度的指標,結(jié)合圖像的整體結(jié)構(gòu)、亮度及對比度3個模塊信息來估計重建圖像的失真程度[9]。

實驗環(huán)境配置參數(shù)如表1所示。

表1 實驗環(huán)境配置參數(shù)Tab.1 Parameters of experimental environment configuration

2.2 實驗過程與結(jié)果分析

在公開數(shù)據(jù)集Set5、Set14、BSD100下分別對幾種基于深度學習的圖像超分模型進行客觀實驗及比較分析。由表2可知,傳統(tǒng)方法的代表(Bicubic)耗時最短,但圖像高頻部分難以重建,圖像失真較為嚴重,而神經(jīng)網(wǎng)絡(luò)的特征學習可解決這個問題,隨著網(wǎng)絡(luò)層數(shù)的加深與殘差學習及博弈優(yōu)化策略的引入,重建效果越來越好。VDSR與DRCN取得了較高的PSNR和SSIM值,均超過31 dB,SRGAN在這兩個指標上稍弱,只有29.90 dB,但其改進了損失函數(shù),通過對抗訓練在視覺上重構(gòu)出更加真實、更貼近人類視覺感受的圖像。

表2 實驗數(shù)據(jù)Tab.2 Experimental data

綜上所述,基于深度學習的方法在SISR問題上具有優(yōu)勢,列舉的算法中DRCN的性能最優(yōu),但在時間與感官效果上還有待提高。

3 展望

圖像超分是計算機視覺研究方向上的重要分支,對其他交叉領(lǐng)域的研究具有良好的推動作用。目前,技術(shù)重難點由傳統(tǒng)算法走向深度學習,網(wǎng)絡(luò)模型不斷迭代更新,算法性能不斷提升,人類感官效果越來越好。但基于深度學習的圖像超分技術(shù)仍存在一些問題,包括數(shù)據(jù)集、網(wǎng)絡(luò)模型適應(yīng)性與損失函數(shù)及學習機制創(chuàng)新問題等,需要繼續(xù)加強研究。