胡 銳,趙佰亭,賈曉芬

(安徽理工大學(xué) 電氣與信息工程學(xué)院,安徽 淮南232001)

單幅圖像的超分辨率重建,是一種從低分辨率圖像恢復(fù)出高分辨率圖像的技術(shù)。目前高分辨率圖像廣泛應(yīng)用在遙感測繪、醫(yī)學(xué)圖像、視頻監(jiān)控和圖像生成等領(lǐng)域中[1-3]。受當(dāng)前技術(shù)發(fā)展限制以及成本考慮,利用軟件處理方法來獲得更高分辨率圖像,已經(jīng)成為圖像處理領(lǐng)域研究的熱點。

對于傳統(tǒng)的插值[4]和重建[5]方法,通常存在著重建效果差,邊緣模糊等問題。隨著科技的發(fā)展,人們開始將目光放在深度學(xué)習(xí)技術(shù)上。DONG等[6]首次將深度學(xué)習(xí)引入到圖像重建領(lǐng)域中,提出一種卷積神經(jīng)網(wǎng)絡(luò)的方法(super-resol ution convol utional neural net wor k,SRCNN),通過構(gòu)建3個卷積層實現(xiàn)圖像重建。SHI等[7]提出一種亞像素卷積的方法(efficient sub-pixel convol utional neural net wor k,ESPCN),不需要對低分辨率圖像預(yù)處理,直接作為網(wǎng)絡(luò)的輸入進行特征提取,在最后一層對特征圖進行排列實現(xiàn)上采樣操作,減少低分辨率圖像上下文信息的破壞,使得特征信息盡可能的得以保留。對于卷積網(wǎng)絡(luò)來說,越深的網(wǎng)絡(luò),其處理能力也就越好,而在圖像處理中,深度網(wǎng)絡(luò)也能夠更充分提取圖像中特征信息,使得處理效果得到提升,但是在運用中發(fā)現(xiàn),網(wǎng)絡(luò)層數(shù)增加會導(dǎo)致梯度彌散問題。KI M等[8]結(jié)合殘差網(wǎng)絡(luò)[9],提出一種深度卷積網(wǎng)絡(luò)的方法(ver y deep net wor k f or super-resol ution,VDSR),通過特征圖的累加來解決這一問題。ZHANG等[10]提出了一種殘差密集連接網(wǎng)絡(luò)的方法(residual dense net wor k,RDN),通過多個殘差密集塊的相互連接融合,能夠更有效的提取特征信息,提高重建質(zhì)量。ZHAO等[11]構(gòu)建了一種級聯(lián)通道分割網(wǎng)絡(luò)的方法(channel splitting net wor k,CSN),將特征信息在子網(wǎng)絡(luò)中分散處理,來減輕深度網(wǎng)絡(luò)的學(xué)習(xí)負擔(dān),提高訓(xùn)練效果。當(dāng)前,在圖像重建領(lǐng)域,基于學(xué)習(xí)的方法成為了研究的重點。

以上方法取得了一定的重建效果,但是均存在著感受野小、收斂速度慢以及信息丟失等問題,且所有的網(wǎng)絡(luò)結(jié)構(gòu)均是通過單一尺度的卷積核來提取特征信息,這里提出了一種雙路多尺度殘差網(wǎng)絡(luò)(binar y channels multi-scale residual net wor k,BMRN)的圖像超分辨率重建方法。將低分辨率圖像直接作為網(wǎng)絡(luò)的輸入進行特征提取,減少網(wǎng)絡(luò)參數(shù)量,降低訓(xùn)練難度,采用雙路并行的多尺度殘差卷積子網(wǎng)絡(luò)對底層特征進行提取,得到高頻信息,通過將亞像素卷積對特征圖進行排列,最終得到重建圖像,實現(xiàn)圖像的超分辨率重建。

1 殘差連接

在理論上,神經(jīng)網(wǎng)絡(luò)的深度越深,所能夠提取的信息也就越充分,對于后續(xù)的處理也就越有利。但是在實際中發(fā)現(xiàn),簡單增加網(wǎng)絡(luò)深度,會導(dǎo)致網(wǎng)絡(luò)出現(xiàn)梯度彌散問題。雖然正則化層能夠避免這一問題,但是又會導(dǎo)致網(wǎng)絡(luò)退化問題出現(xiàn)。為此,HE等[9]提出了殘差網(wǎng)絡(luò),用來維持網(wǎng)絡(luò)穩(wěn)定,增強信息的有效提取。公式為

式(1)中:?X1為殘差輸入,?X2為殘差輸出,W1為權(quán)值,b1為偏置量表示殘差過程學(xué)習(xí)映射。其結(jié)構(gòu)如圖1所示。

圖1 殘差結(jié)構(gòu)圖Fig.1 Residual str uct ure

2 雙路多尺度殘差網(wǎng)絡(luò)

對于圖像的超分辨率重建來說,通過對LR圖像中的細節(jié)特征提取利用,構(gòu)建由LR圖像到HR圖像之間端對端的關(guān)系映射,最終實現(xiàn)高分辨率圖像的重建。通常圖像重建的效果與卷積核大小及網(wǎng)絡(luò)深度有關(guān),而對于每個圖像特征都有著自己最佳的卷積尺度,在這種尺度上,圖像的特征是最明顯的。這里提出一種雙路多尺度殘差網(wǎng)絡(luò)的單幅圖像超分辨率重建方法。網(wǎng)絡(luò)包含3個部分:特征提取、非線性映射和上采樣與重建。網(wǎng)絡(luò)中的特征提取部分是用于提取輸入LR圖像底層特征,非線性映射部分用于學(xué)習(xí)高頻特征,最后的上采樣與重建部分實現(xiàn)最終的重建。整個網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。

圖2 雙路多尺度殘差卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Str ucture of binar y channels multiscale residual net wor k

2.1 特征提取

為了更充分的提取低分辨率圖像中的特征信息,這里采用兩個串聯(lián)的卷積層,卷積核的尺寸大小均為3×3。相較于大尺度卷積來說,利用兩個串聯(lián)的小尺度卷積,能夠降低訓(xùn)練難度,獲得更多的特征參數(shù),便于后續(xù)的重建操作。

式(2)中X為輸入的低分辨率圖像,H3×3(·)是用3×3像素卷積核處理的關(guān)系映射,則F1＝H3×3(F0)。

2.2 非線性映射

TANG等[12]和ZHAO等[11]通過構(gòu)建獨立子網(wǎng)絡(luò)來增強網(wǎng)絡(luò)性能。如圖3所示,在非線性映射階段,通過雙路并行的串聯(lián)MRN子網(wǎng)絡(luò)構(gòu)成,上下兩支路之間彼此對稱相似,為了避免單一尺度多導(dǎo)致的特征提取不充分的弊端,這里對兩條支路分別采取尺寸大小為3×3像素和5×5像素的卷積核來實現(xiàn)。后續(xù)通過融合操作將兩支路特征數(shù)據(jù)融合,利用1×1卷積層降維,并將網(wǎng)絡(luò)的輸入?yún)?shù)引入,建立起殘差模塊,避免數(shù)據(jù)膨脹和網(wǎng)絡(luò)衰退。

假設(shè)整個非線性映射網(wǎng)絡(luò)被表示為N M(·),則該模塊的輸出為N M(X0)。這里以上支路為例,假設(shè)在上支路中有n個MRN1,并且X0＝F1是第1個的輸入,那么第i個MRN1輸出有

其中(·)對應(yīng)著上支路中第i個MRN1的過程。因此,對于最后輸出的MRN1值有

對于下支路MRN2同理。

圖3 MRN1獨立子網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 MRN1 independent net wor k str uct ure

圖3為上支路MRN1獨立子網(wǎng)絡(luò)結(jié)構(gòu),其中每條支路包含j個串聯(lián)的殘差結(jié)構(gòu)(j＝1,2,…,m)。從上一個MRN1模塊的輸出作為第i個MRN1中第1階段的輸入。這里設(shè)為第i個MRN1中第j階段映射的輸入,其中的i＝0,1,2,…,n和j＝0,1,2,…,m,則第1階段的輸入為。對于MRN1中單個殘差結(jié)構(gòu)的運算則有

公式(5)中max(,)為激活函數(shù)運算,[…]表示“concat”連接。

在MRN1結(jié)構(gòu)中,最終生成的特征映射會通過一層卷積結(jié)構(gòu),然后將局部殘差學(xué)習(xí)(Local Residual Lear ning,LRL)引入,達到改善信息流的作用。表達式有

公式(6)中,H1×1(·)是在MRN1結(jié)束部分的1×1卷積運算,用來改變數(shù)據(jù)維度,殘差特征來自MRN1模塊的輸入,不受其它特征的影響。下支路MRN2同理。

為了獲得重建圖像,還需要進行上采樣重建操作。分別將非線性映射部分中上下支路每個獨立子網(wǎng)絡(luò)的輸出結(jié)果全部連接成一個張量,得到特征數(shù)據(jù)和,然后疊加融合得到X M,最終將輸入到上采樣重建階段進行重建操作。其中的X M有

2.3 上采樣與重構(gòu)

這一部分利用亞像素卷積實現(xiàn)上采樣操作,對于非線性映射模塊的輸出X M,先后通過1×1和3×3的卷積來處理,降低參數(shù)量,便于計算。后續(xù)將特征提取階段的F1引入,構(gòu)建全局殘差模塊穩(wěn)定模型,最終得到待恢復(fù)的融合特征數(shù)據(jù)X R。

為了得到最終的重建圖像,需要對所獲得的特征數(shù)據(jù)X R進行亞像素卷積上采樣,實現(xiàn)圖像尺寸的提升,然后經(jīng)過3×3卷積處理,調(diào)整參數(shù)量,最終獲得重建的高分辨率圖像Y。公式有

其中P S(·)為對應(yīng)的亞像素卷積上采樣函數(shù),為待重建圖像。

3 實驗結(jié)果及分析

3.1 實驗準(zhǔn)備

實驗采用的硬件平臺中CPU為Intel(R)Core(T M)i7-7700,GPU為NVIDIA GTX 1060,實驗環(huán)境為pyt hon 3.7,深度學(xué)習(xí)框架為Tensor Flow 1.10。采用了在SRCNN中所使用91張圖片作為訓(xùn)練數(shù)據(jù)集,為了達到更好的重建效果,還使用了BSD訓(xùn)練集中的200張圖片,共291張圖片作為訓(xùn)練數(shù)據(jù)集。為了避免過擬合,使用旋轉(zhuǎn)、翻轉(zhuǎn)的方法,使得訓(xùn)練集擴充4倍[13]。為了較為準(zhǔn)確的評判模型的優(yōu)劣,這里采用當(dāng)前主流的Set5、Set14、BSD100和Ur ban100作為測試集來分析研究[14]。

在網(wǎng)絡(luò)訓(xùn)練過程中,首先對訓(xùn)練集圖片進行預(yù)處理,裁剪為若干個原始高清圖像塊,其中步長16,分辨率為32×32。接著隨機選取64個作為一個bat h,進行插值下采樣來縮放3倍,然后輸入到網(wǎng)絡(luò)中訓(xùn)練。為了加快訓(xùn)練速度,減少訓(xùn)練復(fù)雜度,將獨立子網(wǎng)絡(luò)的數(shù)目設(shè)置為5個,每個子網(wǎng)絡(luò)中的殘差單元數(shù)目設(shè)置為3個,卷積層設(shè)置為64通道。

網(wǎng)絡(luò)模型是基于LR圖像到HR圖像之間的關(guān)系映射決定的,通過使得重建圖像與高清圖像之間損失最小化實現(xiàn)模型的建立。這里使用l1損失來進行模型的訓(xùn)練。

其中:Θ為整個模型訓(xùn)練集,Pbmrn(·)為網(wǎng)絡(luò)的映射函數(shù),x(i)為輸入LR圖像,y(i)為對應(yīng)HR圖像。

3.2 實驗結(jié)果

3.2.1 實驗評價標(biāo)準(zhǔn)

對于重建圖像的客觀評價,當(dāng)前常用峰值信噪比(peak signal to noise ratio,PSNR)[15]和結(jié)構(gòu)相似性(str uctural si milarity,SSI M)[16]來判定。

在這一部分，提出了一個訪問控制機制，對用戶發(fā)布到在線社交應(yīng)用上的消息進行處理。隱私策略和請求訪問消息的用戶等級由消息發(fā)布者自己定義。用戶對自己社交應(yīng)用中好友的分類類似于基于角色訪問控制中角色的分類，不同類型的好友對發(fā)布的消息有不同的訪問權(quán)限。

PSNR是用來描述隨機噪聲對重建圖像所造成的失真情況。計算公式為

其中,L為最大的灰度等級;VMSE為均方誤差。計算得出的VPSNR值越大,表示重建后圖像的質(zhì)量越高。

SSI M是用來衡量兩幅圖像之間的結(jié)構(gòu)相似度,從對比度、結(jié)構(gòu)特征和亮度上對圖像的質(zhì)量進行考慮。計算公式為

其中μx和μy分別為x和y的平均值,而σx和σy分別為x和y的方差,σxy為x和y的協(xié)方差。計算得出的SSI M值越大,表明圖像越相似,重建的效果就越好。

3.2.2 實驗結(jié)果對比與分析

為了驗證BMRN方法的優(yōu)勢,這里將BMRN與Bicubic[4]、SRCNN[6]和VDSR[8]方法進行重建效果的比較。

表1為各方法在Set5數(shù)據(jù)集中進行單幅圖像重建測試的PSNR值,表2為各方法在Set5、Set14、BSD100和Ur ban100共4個測試集上進行的3種放大倍數(shù)的平均PSNR和SSI M值,表中優(yōu)者均用黑體表示。從表1中可以發(fā)現(xiàn),針對Set5測試集的5幅圖像重建比較,相較于Bicubic、SRCNN和VDSR方法,BMRN方法的PSNR數(shù)值表現(xiàn)均為最高,平均值分別提高了4.05、1.05和0.18 d B;從表2中可以發(fā)現(xiàn),BMRN在不同數(shù)據(jù)集的重建測試中,多數(shù)獲得了最高的PSNR和SSI M測試結(jié)果,VDSR為次優(yōu)結(jié)果。在×2、×3和×4三個尺度下,BMRN的PSNR值分別比VDSR提高了0.11、0.02和0.07 d B。與數(shù)據(jù)集Set5、Ur ban100和BSD100相比,BMRN在數(shù)據(jù)集Set14上獲得了最高的PSNR增加。比如,在×2尺度下,BMRN的PSNR值分別比Bicubic、SRCNN和VDSR提高了3.09、0.88和0.30 d B。綜上,在客觀評價指標(biāo)中,BMRN方法表現(xiàn)最好。

表1 不同重建方法在Set5測試集上重建效果的PSNR(d B)對比Table 1 PSNR(d B)co mparison of different reconstruction methods on set5 test set

表2 不同重建方法在4個測試集上的PSNR(d B)/SSI M比較Table 2 Co mparison of PSNR(DB)/SSI M of different reconstr uction met hods on f our test sets

為了更加直觀的比較BMRN方法的優(yōu)勢,這里將BMRN與Bicubic、SRCNN和VDSR方法進行主觀視覺效果的比較。在Set5、Set14、BSD100和Urban100測試集中共選出4幅圖像作為測試圖像,分別輸入到各方法模型中來實現(xiàn)×3尺度下的重建操作,最終的重建效果如圖4所示。

從圖4中可以看出,相較于其它方法,BMRN重建的圖像在PSNR和SSI M評測指標(biāo)上均為最高,從重建圖像的細節(jié)上看,BMRN和VDSR方法相較于Bicubic和SRCNN方法來說,得到的圖像更為清晰,邊緣細節(jié)以及輪廓特征更為明顯,但是BMRN方法的視覺效果最好,銳度得到了一定的增強。綜上,在主觀評價比較中,BMRN方法表現(xiàn)的最好。

圖4 BMRN方法與其它方法的重建效果對比Fig.4 Co mparison of reconstr uction effect bet ween BMRN met hod and other met hods

由于SRCNN卷積層數(shù)較少,并不能有效提取圖像中的特征信息,而VDSR雖然增加網(wǎng)絡(luò)的深度,但是僅利用單一尺度卷積來處理,對圖像中的高頻信息提取能力較差。本研究所設(shè)計的BMRN采用不同尺度的分支結(jié)構(gòu),更有效的提取圖像中的細節(jié)特征,并且利用密集殘差連接來保證信息的有效性,能夠在增加網(wǎng)絡(luò)深度的同時穩(wěn)定模型梯度,避免信息丟失,較大程度的保留特征信息,最終使得重建圖像獲得較好的質(zhì)量效果。從以上實驗中可以得出,BMRN方法所重建的圖像,在客觀評價指標(biāo)以及主觀視覺效果上均優(yōu)于Bicubic、SRCNN和VDSR方法。

4 結(jié) 論

這里提出一種雙路多尺度殘差網(wǎng)絡(luò)(BMRN)的圖像超分辨率重建算法。該方法主要是由多個獨立子網(wǎng)絡(luò)構(gòu)成的雙路并行特征提取模塊來實現(xiàn),兩支路彼此相似,采用不同尺度卷積核來互補單一尺度帶來的信息提取不充分問題,通過殘差連接實現(xiàn)網(wǎng)絡(luò)的穩(wěn)定,避免梯度彌散現(xiàn)象,最后利用亞像素卷積模塊來實現(xiàn)圖像的上采樣操作,最大程度的保留原始低分辨率圖像的特征信息。在對不同數(shù)據(jù)集進行不同比例倍數(shù)的重建測試中,BMRN方法的平均PSNR和SSI M值比傳統(tǒng)Bicubic、SRCNN和VDSR方法有所提升,重建所得到的圖像在主觀評價指標(biāo)上也有著明顯優(yōu)勢。實驗結(jié)果表明:BMRN方法能夠?qū)崿F(xiàn)單幅圖像的超分辨率重建,較好的恢復(fù)出圖像輪廓特征和細節(jié)信息,具有一定的應(yīng)用價值。