王彩云, 李陽雨, 李曉飛, 王佳寧, 魏文怡

(1.南京航空航天大學(xué)航天學(xué)院, 江蘇 南京 210016; 2.北京電子工程總體研究所, 北京 100854)

0 引 言

隨著無人機(jī)技術(shù)研究的飛速發(fā)展,航拍圖像成像效果要求也日益嚴(yán)格。圖像超分辨(super-resolution, SR)重構(gòu)技術(shù)旨在從低分辨(low-resolution, LR)圖像中恢復(fù)高分辨(high-resolution, HR)圖像,HR圖像具備邊緣銳化、無塊狀模糊等特點(diǎn),便于后續(xù)的圖像處理、分析與理解等工作。

目前圖像SR重構(gòu)方法可分為基于重構(gòu)和基于學(xué)習(xí)這兩類方法。基于重構(gòu)的方法[1-3]被廣泛研究,其核心在于利用已知的圖像退化模型,約束SR產(chǎn)生的HR圖像與輸入LR圖像間的映射關(guān)系[4-5];基于學(xué)習(xí)的方法是近年來的熱點(diǎn),高、低分辨率圖像間的映射關(guān)系通過學(xué)習(xí)獲取,這種方法能獲取更多高頻細(xì)節(jié),因此圖像重構(gòu)效果更好。該方法根據(jù)利用的圖像特征不同分為基于機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)兩類。2002年,Freeman[6]等人首次將機(jī)器學(xué)習(xí)應(yīng)用于圖像重構(gòu)任務(wù),但重構(gòu)圖像質(zhì)量較低。Dang[7]等人提出了一種基于局部HR補(bǔ)丁流形切線空間估計(jì)的圖像SR方法,同樣具有計(jì)算復(fù)雜度較高的問題?；谙∈璞硎镜臋C(jī)器學(xué)習(xí)重構(gòu)方法受壓縮感知理論啟發(fā),楊學(xué)峰[8]等人對(duì)訓(xùn)練圖像在小波域的不同頻帶建立不同的字典,利用全局限制求取HR圖像的初始解,最后在小波域?qū)Τ跏冀膺M(jìn)行多字典稀疏求解,能夠重建出質(zhì)量更高的圖像,并且計(jì)算復(fù)雜度有所下降,但是基于稀疏表示的重構(gòu)需要求解超完備字典的稀疏表示[9-10]。Timofte[11]與Yang[12]同樣研究基于稀疏字典的圖像SR重構(gòu)方法,均存在當(dāng)字典規(guī)?；虼貥?gòu)圖像的尺寸較大時(shí),計(jì)算復(fù)雜度仍較高的問題。Dong[13]等人首次將深度學(xué)習(xí)應(yīng)用于圖像SR,通過不同的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法獲取LR圖像特征與HR圖像特征映射關(guān)系并進(jìn)行圖像重建,獲得更高質(zhì)量的圖像。吳磊[14]等人在神經(jīng)網(wǎng)絡(luò)中引入多尺度思想,優(yōu)化圖像SR效果。

深度學(xué)習(xí)在數(shù)學(xué)上擁有更加簡單的表達(dá),具有很強(qiáng)的泛化學(xué)習(xí)能力,在分類任務(wù)、自然語言處理、目標(biāo)檢測、運(yùn)動(dòng)建模等領(lǐng)域[15-16]的應(yīng)用已取得成效,因此本文利用深度學(xué)習(xí)方法進(jìn)行SR重構(gòu)。另外,在硬件條件一般的情況下,基于深度學(xué)習(xí)方法的訓(xùn)練階段耗時(shí)較大,而本文方法通過構(gòu)建一種稀疏卷積神經(jīng)網(wǎng)絡(luò)SR(SR based on sparse convolutional neural network, SRSCNN)重構(gòu)方法,顯著縮短訓(xùn)練時(shí)間,能夠在更短時(shí)間內(nèi)實(shí)現(xiàn)圖像重構(gòu),滿足實(shí)時(shí)性要求。

1 圖像SR重構(gòu)理論

1.1 SR重構(gòu)原理

常見的圖像退化過程X→Y可表示為

Y=HX+n

(1)

式中：H為退化因子,表征退化模型的形變、模糊和降采樣等過程；n為噪聲。

退化模型如圖1所示。

圖1 圖像退化模型

圖像SR是圖像退化的逆過程,求解過程是不適定問題?；谏疃葘W(xué)習(xí)的SR重構(gòu)能夠?qū)W習(xí)高、低分辨圖像之間的端到端映射關(guān)系,其算法框架如圖2所示。

圖2 基于深度學(xué)習(xí)的SR重構(gòu)算法框架

1.2 圖像質(zhì)量評(píng)價(jià)方法

圖像質(zhì)量評(píng)價(jià)在圖像處理系統(tǒng)中,對(duì)算法分析比較和系統(tǒng)性能提供度量指標(biāo)[17]。圖像質(zhì)量評(píng)價(jià)存在主觀評(píng)價(jià)與客觀評(píng)價(jià)兩個(gè)分支。主觀評(píng)價(jià)是觀察者對(duì)圖像的主觀定性評(píng)價(jià)?？陀^評(píng)價(jià)一般為借助特定數(shù)學(xué)模型計(jì)算的圖像質(zhì)量量化值,同時(shí)也常用圖像質(zhì)量量化值與主觀觀測值的一致性來評(píng)估圖像質(zhì)量。常用的客觀評(píng)價(jià)標(biāo)準(zhǔn)有峰值信噪比(peak signal to noise ratio, PSNR)、信息熵(information entropy, IE)和結(jié)構(gòu)相似度(structure similarity, SSIM)[18]。

假設(shè)原始圖像I與測試圖像K像素為m×n,則

(2)

(3)

式中:MSE表示圖像均方誤差;MAX表示圖像的灰度值極大值,在8 bit的灰度圖中,MAX為255。

PSNR表征圖像失真度,單位為dB,PSNR值越大表示測試圖像與參考圖像之間的失真度越小,圖像質(zhì)量越高。這種方法從圖像的全局統(tǒng)計(jì)角度衡量圖像質(zhì)量,未考慮人眼的局部視覺因素特征,故PSNR的評(píng)價(jià)結(jié)果與人眼主觀不一致。相對(duì)于PSNR,SSIM是一種符合人眼視覺系統(tǒng)特征的圖像質(zhì)量客觀評(píng)價(jià)指標(biāo),根據(jù)圖像像素間的相關(guān)性構(gòu)造測試圖像與參考圖像之間結(jié)構(gòu)相似性,并由圖像的均值、標(biāo)準(zhǔn)差和協(xié)方差定義亮度、對(duì)比度和結(jié)構(gòu)相似度。3個(gè)相似度綜合就是SSIM指標(biāo)：

SSIM(i,j)=[l(i,j)]α[c(i,j)]β[s(i,j)]γ

(4)

式中：l(i,j)為亮度相似度;c(i,j)為對(duì)比度相似度;s(i,j)為結(jié)構(gòu)相似度;參數(shù)α、β、γ一般取值為1。

由于航拍圖像的SR重構(gòu)是自動(dòng)目標(biāo)識(shí)別的預(yù)處理部分,顯著性區(qū)域的質(zhì)量比全圖質(zhì)量更為重要,因此本文將梯度模相似性偏差(gradient magnitude similarity deviation, GMSD)[19]與顯著圖檢測融合,提出一種新的圖像質(zhì)量評(píng)價(jià)方法，即基于顯著性區(qū)域的GMSD(saliency-map-based GMSD, SGMSD)。流程如圖3所示。

圖3 SGMSD流程框圖

具體步驟為:首先檢測輸入圖像的顯著性區(qū)域,得到顯著圖Vs(i);接著計(jì)算圖像的梯度模相似圖GSM(i);然后引入顯著圖,得到基于顯著圖檢測的梯度相似圖SGSM(i);最后計(jì)算其相似性偏差即為SGMSD圖像質(zhì)量評(píng)價(jià)指標(biāo)。流程可以簡單描述如下。

步驟 1采用FT算法計(jì)算圖像顯著性圖Vs(i)。

步驟 2計(jì)算圖像的梯度模相似圖GSM(i)。

步驟 2.1Sobel梯度算子

設(shè)水平和豎直方向的Sobel算子Gx、Gy為

(5)

步驟 2.2梯度模相似圖計(jì)算

由式(6)和式(7)計(jì)算輸入圖像I與參考圖像R的梯度模mI與mR分別為

(6)

(7)

式中:I(i)與R(i)表示以i為中心位置的圖像區(qū)域。

接著由式(8)計(jì)算梯度模相似圖GSM(i)為

(8)

式中：c為極小正常數(shù),以防分母為0。

步驟 3計(jì)算基于顯著圖的梯度模相似圖SGSM(i):

SGSM(i)=GSM(i)Vs(i)

(9)

步驟 4最后計(jì)算SGSM(i)的相似度偏差SGMSD,即為所求評(píng)價(jià)指標(biāo):

(10)

(11)

式中:SGMSD的值越大,表明梯度相似度越高。

2 SRSCNN重構(gòu)

2.1 概述

Dong[20]等人提出的加速圖像SR卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)(fast SR CNN, FSRCNN)是一種緊湊的沙漏形CNN結(jié)構(gòu),相比于最早的SRCNN[7],其SR重構(gòu)效果更好,并且可以在通用CPU上實(shí)現(xiàn)實(shí)時(shí)性能。同時(shí),神經(jīng)網(wǎng)絡(luò)模型的稀疏技術(shù)能優(yōu)化神經(jīng)網(wǎng)絡(luò)性能,提高模型的泛化能力。代表性的稀疏方法有參數(shù)剪枝、低秩分解、參數(shù)量化和知識(shí)蒸餾4種[21]。相關(guān)研究發(fā)現(xiàn),人體的腦部結(jié)構(gòu)網(wǎng)絡(luò)的連接密度會(huì)隨著年齡增長反而逐漸減小,但是腦部學(xué)習(xí)能力卻不斷增強(qiáng)。推理可得,若刪除神經(jīng)網(wǎng)絡(luò)中較小的連接,減少神經(jīng)網(wǎng)絡(luò)的連接密度,將能夠加速網(wǎng)絡(luò)的推理和訓(xùn)練過程,有效降低計(jì)算成本。因此,本文采用參數(shù)剪枝的模型稀疏方法,優(yōu)化FSRCNN網(wǎng)絡(luò)。

本文基于FSRCNN的網(wǎng)絡(luò)結(jié)構(gòu),提出SRSCNN,包含7個(gè)卷積層和1個(gè)反卷積層,每個(gè)卷積層的激活函數(shù)均選擇PReLU函數(shù),損失函數(shù)采用歐氏距離。SRSCNN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 SRSCNN網(wǎng)絡(luò)結(jié)構(gòu)

為減少網(wǎng)絡(luò)參數(shù),本文提出的SRSCNN網(wǎng)絡(luò)結(jié)構(gòu)中各卷積層的和反卷積層的參數(shù)設(shè)置如表1所示。

表1 SRSCNN網(wǎng)絡(luò)參數(shù)設(shè)置

2.2 樣本庫建立

常見的通用圖像數(shù)據(jù)集有Set 5、Set 91、General-100、CIFAR-10、ImageNet等。本文選用Set91和General-100作為訓(xùn)練集,選用Set 5作為測試集。為提高模型的泛化能力,采用數(shù)據(jù)增強(qiáng)的方式擴(kuò)充樣本:將樣本庫內(nèi)圖像均旋轉(zhuǎn)90°、180°、270°。對(duì)樣本庫中的HR圖像進(jìn)行3倍下采樣處理,并將得到的高、低分辨率圖像進(jìn)行分塊,每個(gè)圖像塊的大小為7×7。

2.3 網(wǎng)絡(luò)訓(xùn)練

SRSCNN的訓(xùn)練過程類比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法,包含前向傳播、損失計(jì)算、后向傳播、權(quán)重更新4個(gè)階段。

初始化卷積核的權(quán)重W和偏置b,那么,前向傳播過程可表示為

(12)

式中:f為非線性激活函數(shù),用于解決線性不可分的問題,提高神經(jīng)網(wǎng)絡(luò)分類能力。

前向傳播后,由輸出計(jì)算損失函數(shù)L,并由梯度下降法更新權(quán)重和偏置:

(13)

SRSCNN稀疏化的具體步驟為:假設(shè)第t層有N個(gè)神經(jīng)元,根據(jù)當(dāng)前層權(quán)重W大小,對(duì)權(quán)重進(jìn)行排序,丟棄權(quán)重較小的部分連接,保留權(quán)重較大的連接,依次對(duì)中間6個(gè)隱含層的權(quán)重進(jìn)行選擇性篩選,達(dá)到稀疏網(wǎng)絡(luò)的目的,篩選策略如算法1所示。

算法1 SR重構(gòu)網(wǎng)絡(luò)權(quán)重篩選策略 設(shè)置S=sort(|W(t)|);k=N×s;λ=S(k);以λ為閾值選擇權(quán)重Mask=(|W(t)|>λ);while當(dāng)前為隱藏層W(t)=W(t-1)-η(t)Δf(W(t-1),x(t-1));W(t)=W(t)·Mask;t=t+1;end

其中,s為設(shè)定的稀疏度,本文設(shè)為0.7。

稀疏連接的神經(jīng)網(wǎng)絡(luò)能夠減少參數(shù)個(gè)數(shù),降低運(yùn)算復(fù)雜度。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)在inter core i7-8750H @2.20 GHz內(nèi)存為8 GB的Win10環(huán)境下進(jìn)行,使用Caffe深度學(xué)習(xí)框架。將原網(wǎng)絡(luò)訓(xùn)練0.5×105次的模型取出進(jìn)行稀疏化,稀疏化后的新網(wǎng)絡(luò)繼續(xù)訓(xùn)練。本文實(shí)驗(yàn)選擇圖像質(zhì)量評(píng)價(jià)以及算法運(yùn)行時(shí)間作為算法性能評(píng)判標(biāo)準(zhǔn),對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

以尺寸為457×343的航拍圖像為例,從主觀視覺效果看,SRSCNN具有較好的重構(gòu)效果,如圖5所示。

圖5 航拍圖像SR重構(gòu)效果

SRSCNN能夠大大縮短訓(xùn)練時(shí)間,如圖6所示。以航拍圖像為例,SRSCNN迭代1×105次時(shí),PSNR值為28.2;而原網(wǎng)絡(luò)FSRCNN需要迭代約2.1×105次才能夠得到相同的PSNR值。

圖6 PSNR隨迭代次數(shù)變化

選取兩種網(wǎng)絡(luò)訓(xùn)練3×105次的模型與Bicubic方法進(jìn)行對(duì)比驗(yàn)證實(shí)驗(yàn),將Set 14數(shù)據(jù)集中的lenna、baboon、comic、flowers和face 5張自然圖像作為實(shí)驗(yàn)對(duì)象。表2～表4分別是3種重構(gòu)算法下的重構(gòu)圖像的PSNR,SSIM,SGMSD評(píng)價(jià)指標(biāo)對(duì)比結(jié)果。

表2 重構(gòu)圖像PSNR值

表3 重構(gòu)圖像SSIM值

表4 重構(gòu)圖像SGMSD值

可以看到,在相同情況下,SRSCNN算法輸出圖像的PSNR、SSIM、SGMSD評(píng)價(jià)指標(biāo)值普遍更高,圖像重構(gòu)效果更好。

為對(duì)比算法的實(shí)時(shí)性能,分別將不同重構(gòu)方法對(duì)相同的圖像重復(fù)運(yùn)行500次,計(jì)算平均重構(gòu)時(shí)間。表5所示為各方法的平均重構(gòu)時(shí)間。

表5 平均重構(gòu)時(shí)間

由表5所示可看到,對(duì)于尺寸約300×300～500×500的圖像,SRSCNN的重構(gòu)速度約7～16 fps,達(dá)到實(shí)時(shí)性能。SRSCNN可以在不影響重構(gòu)效果的情況下縮短訓(xùn)練時(shí)間。

4 結(jié) 論

深度學(xué)習(xí)理論以其強(qiáng)大的學(xué)習(xí)能力,在圖像處理領(lǐng)域逐漸流行,其優(yōu)越的數(shù)據(jù)處理能力有助于降低硬件設(shè)備要求。為加快網(wǎng)絡(luò)模型學(xué)習(xí)能力,本文提出了一種稀疏化的神經(jīng)網(wǎng)絡(luò)SRSCNN,包含7個(gè)稀疏連接的卷積層和一個(gè)反卷積層,實(shí)驗(yàn)通過PSNR、SSIM、SGMSD這3種圖像質(zhì)量評(píng)價(jià)方法證明該網(wǎng)絡(luò)結(jié)構(gòu)能夠避免過擬合,并且在不影響重構(gòu)效果和計(jì)算速度的情況下縮短訓(xùn)練時(shí)間。SRSCNN的重構(gòu)速度較快,能夠達(dá)到實(shí)時(shí)性的要求,符合航拍圖像的處理環(huán)境。