許光宇,汪 雨

安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽 淮南 232001

圖像去模糊旨在將模糊圖像恢復(fù)為更清晰的圖像,在人類社會(huì)和工業(yè)生產(chǎn)中具有廣泛的應(yīng)用場(chǎng)景。傳統(tǒng)的圖像去模糊方法通過(guò)估計(jì)模糊核將圖像去模糊問(wèn)題轉(zhuǎn)化為求解模型的逆問(wèn)題,經(jīng)典的算法如Lucy-Richardson算法[1]、維納濾波算法[2],通過(guò)對(duì)模糊圖像進(jìn)行反卷積估計(jì)清晰的圖像。Liu等[3]提出了一種基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的Lucy-Richadson算法,可以在動(dòng)態(tài)條件下去除星敏感器獲取的星圖像模糊,提升星心提取的成功率和姿態(tài)確定精度。針對(duì)圖像的旋轉(zhuǎn)運(yùn)動(dòng)模糊,Li等[4]提出了一種新的模糊核估計(jì)模型,對(duì)于由旋轉(zhuǎn)運(yùn)動(dòng)產(chǎn)生的模糊圖像有著較好的恢復(fù)效果。但是圖像的模糊核往往是未知的,因此非盲去模糊方法對(duì)于解決實(shí)際問(wèn)題往往存在一定的局限性。Pan等[5]利用線性近似的方式,解決了暗通道先驗(yàn)當(dāng)中非凸非線性優(yōu)化的問(wèn)題,加強(qiáng)了暗通道的稀疏性,獲得了較好的去模糊性能。為了更準(zhǔn)確的估計(jì)模糊核,Zhao等[6]使用極值通道先驗(yàn)作為稀疏互補(bǔ)知識(shí)來(lái)提取顯著結(jié)構(gòu),比此前的方法具有更好的魯棒性和性能。Yang等[7]提出新的耦合正則化方式,利用算子分裂和乘法器的交替方向法導(dǎo)出一種數(shù)值格式,得到了一種更準(zhǔn)確、更高效且魯棒性更高的盲去模糊算法。Zhao等[8]提出了一個(gè)深度變分貝葉斯框架,利用恢復(fù)的潛在清晰圖像和模糊核的近似后驗(yàn)信息,獲得了良好的去模糊效果。

深度學(xué)習(xí)以其強(qiáng)大的特征提取和表達(dá)能力在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大成就,如圖像分類、目標(biāo)檢測(cè)等。為了克服傳統(tǒng)圖像去模糊算法的不足,研究者也探索了大量基于深度學(xué)習(xí)的圖像去模糊算法。Nah等[9]提出了深度多尺度卷積神經(jīng)網(wǎng)絡(luò),以端到端的方式恢復(fù)由于相機(jī)抖動(dòng)、失焦等原因引起的圖像模糊,在動(dòng)態(tài)場(chǎng)景去模糊中取得了優(yōu)良的性能。Tao等[10]中的多尺度循環(huán)網(wǎng)絡(luò)(scale-recurrent network deblur,SRN-Deblur),則是利用權(quán)重共享使得網(wǎng)絡(luò)結(jié)構(gòu)更簡(jiǎn)單,參數(shù)數(shù)量更少,訓(xùn)練更加容易。Zhang等[11]利用空間金字塔匹配的端到端卷積神經(jīng)網(wǎng)絡(luò)分層模型(deep multi-patch hierarchical network,DMPHN),通過(guò)分割圖片進(jìn)行多階段去模糊,進(jìn)一步的提升了網(wǎng)絡(luò)的處理性能。Gao等[12]提出參數(shù)選擇性共享和嵌套跳過(guò)連接的方法(parameter selective sharing and nested skip connections,PSS-NSC),使得網(wǎng)絡(luò)參數(shù)在子網(wǎng)絡(luò)中共享,內(nèi)存需求降低但計(jì)算復(fù)雜度仍然很高。Zamir等[13]提出了一種用于圖像恢復(fù)的多階段架構(gòu)(multi-stage progressive image restoration network,MPRNet),從輸入的退化圖像當(dāng)中逐步學(xué)習(xí)重建信息,在空間細(xì)節(jié)和高級(jí)上下文信息之間取得平衡,實(shí)現(xiàn)了強(qiáng)大的去模糊性能提升。

多尺度網(wǎng)絡(luò)去模糊的方法被證實(shí)是有效的,但仍然存在紋理不夠清晰,圖像細(xì)節(jié)模糊等問(wèn)題。本文提出了一種基于多輸入多輸出編解碼器網(wǎng)絡(luò)的圖像去模糊方法。首先,設(shè)計(jì)一個(gè)特征提取模塊提取多尺度模糊圖的全局和局部特征信息,為網(wǎng)絡(luò)提供更豐富的特征信息,并利用特征融合模塊將多個(gè)尺度下的特征信息融合。相比于傳統(tǒng)的多個(gè)子網(wǎng)絡(luò)堆疊的方式,使得不同尺度下的上下文特征信息與細(xì)節(jié)特征可以在單個(gè)編解碼器網(wǎng)絡(luò)當(dāng)中流動(dòng),增強(qiáng)了特征信息的流動(dòng)性。最后,提出了一個(gè)由L1損失、多尺度頻率重建損失與邊緣損失組成的混合損失函數(shù),可以更好的考慮圖像的高頻紋理結(jié)構(gòu)信息,提高復(fù)原圖像在細(xì)節(jié)上的表現(xiàn)。實(shí)驗(yàn)結(jié)果表明,本文方法與近年來(lái)的去模糊方法[9-14]相比,在客觀評(píng)價(jià)指標(biāo)與主觀視覺(jué)上均取得了較好的結(jié)果,能夠有效解決圖像非均勻盲去模糊中紋理細(xì)節(jié)不清晰的問(wèn)題,圖像去模糊后可以保留更多的紋理細(xì)節(jié)與邊緣輪廓信息,復(fù)原出更高質(zhì)量的圖像。

1 本文方法

1.1 圖像去模糊框架

圖像去模糊框架如圖1所示,網(wǎng)絡(luò)整體采用U-net結(jié)構(gòu)。它包括編碼器網(wǎng)絡(luò)塊(encode block,EB),解碼器網(wǎng)絡(luò)塊(decode block,DB),特征提取模塊(feature extraction module,FEM),特征融合模塊(feature fusion module,FFM)。其中編碼器網(wǎng)絡(luò)塊EB1由一個(gè)卷積核為3×3步長(zhǎng)為1的卷積層與一個(gè)殘差組構(gòu)成,每個(gè)殘差組包含8個(gè)多尺度殘差塊[9],每個(gè)殘差塊包括2個(gè)卷積核為3×3步長(zhǎng)為1的卷積層與1個(gè)ReLu激活函數(shù)。殘差塊中使用跳躍連接,能夠讓深層網(wǎng)絡(luò)獲取更豐富的信息,解決梯度消失的問(wèn)題。在EB1的基礎(chǔ)上,通過(guò)增加特征注意力模塊(feature attention module,FAM)[14]構(gòu)建了用于增強(qiáng)或抑制特征信息的編碼器網(wǎng)絡(luò)塊EB2和EB3。解碼器網(wǎng)絡(luò)塊DB1同樣由一個(gè)卷積層與一個(gè)殘差組構(gòu)成,解碼器網(wǎng)絡(luò)塊DB2和DB3則是在DB1的基礎(chǔ)上增加了轉(zhuǎn)置卷積,對(duì)特征圖進(jìn)行上采樣操作。

圖1 提出的網(wǎng)絡(luò)結(jié)構(gòu)

解碼階段中圖像輸出的過(guò)程可以表示為:

1.2 多尺度特征提取塊

為了從不同尺度的模糊圖像中提取特征信息,設(shè)計(jì)了一種基于多尺度的特征提取模塊。如圖2所示,此模塊通過(guò)兩條支路提取特征信息。主要支路使用一個(gè)卷積核為3×3步長(zhǎng)為1的卷積層和一個(gè)卷積核為1×1步長(zhǎng)為1卷積層進(jìn)行堆棧,為了保證特征提取的效率,僅使用兩層堆棧。另外一條支路,使用卷積核為3×3步長(zhǎng)為1的卷積層對(duì)輸入的模糊圖像進(jìn)行細(xì)化,在不過(guò)多增加計(jì)算量的前提下,獲得全局特征與局部特征信息。細(xì)化后的特征圖與主要支路的輸出特征進(jìn)行連接操作,最后使用額外的一個(gè)卷積核為1×1步長(zhǎng)為1的卷積層進(jìn)行卷積操作,對(duì)特征提取模塊的特征圖進(jìn)一步的信息融合并調(diào)整通道數(shù)。

圖2 多尺度特征提取模塊

特征提取過(guò)程可描述為:

Fa=Conv1(Conv3(Conv1(Conv3(Bn)))), (2)

Fb=Conv3(Bn), (3)

1.3 特征融合塊

1.4 損失函數(shù)

由于均方誤差(mean square error,MSE)損失函數(shù)受離群點(diǎn)影響較大,容易導(dǎo)致恢復(fù)的圖像過(guò)度平滑且邊緣模糊,采用了L1損失,多尺度頻率重建損失(multi-scale frequency reconstruction,MSFR)[14]與邊緣損失的混合損失函數(shù),在保證圖像去模糊的同時(shí),更關(guān)注高頻紋理信息。

(1)L1損失

L1損失函數(shù)對(duì)異常點(diǎn)有更好的魯棒性,受離群點(diǎn)的影響較小,可以保證圖像的結(jié)構(gòu)與邊緣信息,L1的表達(dá)式為:

L1=‖X-Y‖1, (13)

其中,X代表重建圖像;Y代表真實(shí)圖像。

(2)多尺度頻率重建損失

由于去模糊的目的是恢復(fù)丟失的高頻分量,因此必須減小頻率空間中的差值。MSRF損失函數(shù)可以用于評(píng)估多尺度重建圖像與真實(shí)圖像在頻域上的差異,減小頻域空間中的差值。MSFR損失函數(shù)可以表示為:

其中,K為層數(shù);tk是總元素?cái)?shù)將損失除以總元素?cái)?shù)進(jìn)行歸一化;F為將圖像信號(hào)傳輸?shù)筋l域的快速傅里葉變換(fast fourier transform,FFT),運(yùn)算效率高使用方便。

(3)邊緣損失

邊緣損失(Edge loss,ED)函數(shù)可以更好的考慮圖像的高頻紋理結(jié)構(gòu)信息,提高復(fù)原圖像的輪廓清晰度。

其中Δ為拉普拉斯算子;γ為常數(shù)值10-3。

最終的損失函數(shù)為:L=L1+α1LMSFR+α2LED,α1和α2分別取值為0.01和0.05。

2 實(shí)驗(yàn)結(jié)果與分析

為了充分驗(yàn)證所提出網(wǎng)絡(luò)模型的有效性,首先介紹了實(shí)驗(yàn)所采用的數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置,然后采用定量和定性分析法評(píng)估本文方法的性能,最后通過(guò)消融實(shí)驗(yàn)驗(yàn)證了所提各個(gè)部分的有效性。為公平比較,本文方法與其他基于深度學(xué)習(xí)的去模糊算法進(jìn)行對(duì)比,包括DeepDeblur[9]、SRN-Deblur[10]、DMPHN[11]和MIMO-Unet[14]。

2.1 實(shí)驗(yàn)數(shù)據(jù)集

選取GoPro[9]和HIDE[15]兩個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),GoPro數(shù)據(jù)集是由GoPro相機(jī)拍攝的高速視頻序列,單幅模糊圖像由連續(xù)的多幀清晰圖像取平均的方法獲得,連續(xù)多幀圖像的中間幀作為模糊圖像對(duì)應(yīng)的清晰圖像,GoPro數(shù)據(jù)集中共有3 214對(duì)720×1 280分辨率的清晰圖像與模糊圖像,其中2 103對(duì)圖像進(jìn)行訓(xùn)練,1 111對(duì)圖像進(jìn)行測(cè)試。HIDE數(shù)據(jù)集內(nèi)包括了多個(gè)場(chǎng)景下的運(yùn)動(dòng)模糊圖像,共包括8 422對(duì)720×1 280分辨率的清晰圖像和模糊圖像,測(cè)試集內(nèi)包含了2 025對(duì)模糊圖像與清晰圖像,用于評(píng)估網(wǎng)絡(luò)的泛化性能。

2.2 實(shí)驗(yàn)設(shè)置

本文算法基于PyTorch框架實(shí)現(xiàn),在NVIDIA GeForce RTX 3060 GPU上進(jìn)行訓(xùn)練與測(cè)試。訓(xùn)練過(guò)程中批大小設(shè)置為4,輸入圖像大小為256×256,采用Adam優(yōu)化器進(jìn)行優(yōu)化,學(xué)習(xí)率設(shè)置為10-4,每500輪降低0.5,共訓(xùn)練3 000輪,每個(gè)圖像水平翻轉(zhuǎn)概率為0.5以增強(qiáng)數(shù)據(jù)。在GoPro數(shù)據(jù)集上對(duì)提出的網(wǎng)絡(luò)進(jìn)行訓(xùn)練,在GoPro數(shù)據(jù)集和HIDE數(shù)據(jù)集上對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試。

2.3 定量與定性對(duì)比實(shí)驗(yàn)

2.3.1 定量對(duì)比實(shí)驗(yàn)

為了綜合評(píng)估復(fù)原圖像的效果,選取了峰值信噪比 (peak signal-to-noise ratio,PSNR)[16]與結(jié)構(gòu)相似性 (structural similarity,SSIM)[17]作為復(fù)原圖像定量分析的評(píng)價(jià)指標(biāo)。PSNR值越大表示恢復(fù)結(jié)果在整體上越接近原圖像;SSIM值越大,圖像結(jié)構(gòu)信息損失越小,具有更好的視覺(jué)效果。實(shí)驗(yàn)結(jié)果如表1所示,表中列出了各算法評(píng)價(jià)指標(biāo)的平均值,SRN-Deblur在DeepDeblur的基礎(chǔ)上采用跳躍連接與網(wǎng)絡(luò)權(quán)重共享,獲得了較好的評(píng)價(jià)結(jié)果。DMPHN通過(guò)分割圖片進(jìn)行多階段去模糊,較前兩種方法在評(píng)價(jià)指標(biāo)上有了明顯的上升。MIMO-Unet引入了多輸入多輸出的方式提升特征信息利用率,取得了次優(yōu)結(jié)果。所提出的算法在兩個(gè)數(shù)據(jù)集中均取得了最高的平均PSNR值與平均SSIM值。較MIMO-Unet本文方法在GoPro和HIDE數(shù)據(jù)集上分別提升了0.21 dB、0.010和0.13 dB、0.015。

2.3.2 定性對(duì)比實(shí)驗(yàn)

為了給出關(guān)于恢復(fù)性能的直觀結(jié)果,從GoPro和HIDE數(shù)據(jù)集中分別隨機(jī)選取3張不同場(chǎng)景的模糊圖進(jìn)行定性評(píng)估,本文方法和其他對(duì)比方法的去模糊結(jié)果如圖4和圖5所示。SRN-Deblur[10]對(duì)于文字模糊修復(fù)效果尚可,但對(duì)于人像模糊的恢復(fù)效果較差,仍有大部分模糊未去除,如圖4(c)第1幅圖中的車牌文字和后視鏡倒影,以及第2幅圖中的人臉和門牌號(hào)。DMPHN去模糊效果相較于SRN-Deblur有所進(jìn)步,在大部分區(qū)域有較好的去模糊性能,但圖像的紋理細(xì)節(jié)信息恢復(fù)不足。如圖4(c)第1幅圖中車輛后視鏡倒影和第2幅圖中女孩面部都存在細(xì)節(jié)不夠清晰的情況。MIMO-Unet在去模糊效果上比上述兩種方法有了明顯提高,擁有很好的主觀視覺(jué)效果,但邊緣細(xì)節(jié)等顯著信息并不突出。

在圖5的定性比較結(jié)果中,通過(guò)觀察第1幅和第3幅圖像中的人物與文字區(qū)域可發(fā)現(xiàn),SRN-Deblur的恢復(fù)結(jié)果(圖5(c))圖像紋理細(xì)節(jié)不清晰,去模糊能力有限,不論是人物的輪廓區(qū)域還是文字的細(xì)節(jié)部分,都存在細(xì)節(jié)缺陷。DMPHN去模糊效果較好(圖5(d)),但是在細(xì)節(jié)紋理方面仍然無(wú)法實(shí)現(xiàn)良好的效果,如第1幅圖中的“太平”二字仍有大片偽影未能去除。MIMO-Unet可以復(fù)原文字保留人物輪廓,但仍然無(wú)法較好地解決復(fù)原圖像出現(xiàn)偽影問(wèn)題,如圖5(e)第1幅圖中的人物與字體周圍的偽影,以及第3幅圖中的人物容貌細(xì)節(jié)。通過(guò)直觀對(duì)比可以看出,本文方法所產(chǎn)生的復(fù)原圖像中,圖像的文字紋理細(xì)節(jié)更加清晰,人物輪廓明顯且未出現(xiàn)偽影,主觀效果最接近真實(shí)圖像。

注:(a)模糊圖像;(b)清晰圖像;(c) SRN-Deblur;(d) DMPHN;(e) MIMO-Unet ;(f)本文算法。

注:(a)模糊圖像; (b)清晰圖像;(c) SRN-Deblur;(d) DMPHN;(e) MIMO-Unet ;(f)本文算法。

實(shí)驗(yàn)結(jié)果表明,所提的方法能夠較徹底的去除圖像非均勻模糊,同時(shí)保留更多的紋理邊緣等細(xì)節(jié)信息,恢復(fù)的圖像更清晰,擁有更佳的人眼視覺(jué)觀感。本文方法的恢復(fù)結(jié)果在主客觀評(píng)價(jià)方面均優(yōu)于相對(duì)比的方法,是一種有效的圖像去模糊方法。

2.4 消融實(shí)驗(yàn)

2.4.1 不同損失函數(shù)組合結(jié)果

在GoPro數(shù)據(jù)集上,對(duì)不同的損失函數(shù)進(jìn)行消融實(shí)驗(yàn),表2為不同損失函數(shù)的組合實(shí)驗(yàn)結(jié)果。從表2可知,在僅使用L2損失函數(shù)的情況下,平均PSNR和平均SSIM的值最小,去模糊的效果最差。單獨(dú)使用L1損失函數(shù)與單獨(dú)使用邊緣損失函數(shù),均比L2損失函數(shù)效果更好,但仍然無(wú)法獲得最佳的結(jié)果。其中在單獨(dú)L1損失函數(shù)獲得了次優(yōu)的結(jié)果,平均PSNR值與平均SSIM值分別達(dá)到了31.65 dB與0.945。本文使用的由L1損失,多尺度頻率重建損失與邊緣損失組成的混合損失函數(shù),獲得了最好的平均PSNR值與平均SSIM值,相較于L2損失函數(shù)平均PSNR值和平均SSIM值分別提升了1.07 dB和0.037,比次優(yōu)的L1損失函數(shù)平均PSNR和平均SSIM也分別提升了0.29 dB和0.016,因此本文選用混合損失函數(shù)。

2.4.2 不同網(wǎng)絡(luò)模塊對(duì)比

為了驗(yàn)證所提模塊的有效性,在GoPro數(shù)據(jù)集上進(jìn)行了不同模塊的組合實(shí)驗(yàn)。首先,評(píng)估了不同特征融合方法的有效性,將所提出的特征融合模塊FFM與傳統(tǒng)的特征圖逐元素相加及通道拼接的融合方式相對(duì)比。結(jié)果如表3所示,使用FFM比按元素相加的融合方式,平均PSNR提高了0.46 dB,平均SSIM提高了0.026,比特征圖拼接的方式平均PSNR提高0.40 dB,平均SSIM提高0.023。為了驗(yàn)證特征提取塊FEM的有效性,使用一層3×3卷積代替FEM,由表3中可知使用FEM時(shí)比單獨(dú)使用卷積操作效果更好,平均PSNR提高了0.19 dB,平均SSIM提高了0.020。

表3 不同模塊組合的消融實(shí)驗(yàn)

3 結(jié)束語(yǔ)

本文提出了一種基于多輸入多輸出編解碼器網(wǎng)絡(luò)的圖像去模糊方法,不同于傳統(tǒng)的多尺度網(wǎng)絡(luò)簡(jiǎn)單堆疊子網(wǎng)絡(luò)的方式,該網(wǎng)絡(luò)利用單一編解碼網(wǎng)絡(luò)結(jié)構(gòu)模擬傳統(tǒng)多尺度網(wǎng)絡(luò)的多個(gè)子網(wǎng)絡(luò)級(jí)聯(lián)結(jié)構(gòu),將多尺度模糊圖像輸入編解碼器當(dāng)中,按照“從粗到精”的策略逐步恢復(fù)清晰圖像。通過(guò)特征提取模塊提取不同尺度模糊圖像的全局和局部特征信息,網(wǎng)絡(luò)能夠獲取更豐富、更全面的特征信息;其次,使用特征融合模塊進(jìn)行特征融合,增強(qiáng)了網(wǎng)絡(luò)內(nèi)部特征的流動(dòng)能力;最后,在損失函數(shù)中引入L1損失、多尺度頻率重建損失和邊緣損失以提升圖像復(fù)原效果,同時(shí)盡可能多地保留紋理結(jié)構(gòu)和邊緣信息。與其他方法相比,本文方法在客觀評(píng)價(jià)與主觀效果上均取得了良好的去模糊效果,是一種有效的圖像去模糊方法。然而,本文方法對(duì)于人像的恢復(fù)效果不是特別,理想紋理細(xì)節(jié)過(guò)于豐富丟失真實(shí)性,未來(lái)的工作將集中在這個(gè)問(wèn)題上,繼續(xù)優(yōu)化網(wǎng)絡(luò)模型,提升人像的恢復(fù)效果。