陳清江，胡倩楠，李金陽(yáng)

（西安建筑科技大學(xué) 理學(xué)院，陜西 西安 710055）

1 引 言

近年來(lái)，圖像去模糊技術(shù)已應(yīng)用到醫(yī)學(xué)影像，刑事案件偵破，天文遙感等各個(gè)領(lǐng)域［1-2］。圖像去模糊技術(shù)可以提高圖像質(zhì)量，恢復(fù)丟失的信息。因此，研究圖像去模糊問(wèn)題具有重要的應(yīng)用價(jià)值。

圖像去模糊任務(wù)就是從模糊圖像中恢復(fù)出相應(yīng)的清晰圖像。去模糊問(wèn)題一般分為兩種，非盲去模糊［3］和盲去模糊［4］。早期研究大多致力于非盲去模糊問(wèn)題，即模糊核已知，但通常情況下模糊核是未知的，并且盲去模糊［5］是一個(gè)不適定問(wèn)題，這使得盲去模糊任務(wù)具有特別大的挑戰(zhàn)性。傳統(tǒng)盲去模糊方法［6-7］主要利用自然圖像的一些先驗(yàn)信息作為正則化項(xiàng)來(lái)求解圖像去模糊數(shù)學(xué)模型，迭代估計(jì)模糊核進(jìn)而估計(jì)出清晰圖像，但傳統(tǒng)方法只在特定模糊圖像上具有良好的去模糊效果，在其他圖像上魯棒性較差且計(jì)算量極大，容易產(chǎn)生振鈴現(xiàn)象［8］。近年來(lái)，深度學(xué)習(xí)技術(shù)已廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)問(wèn)題［9-15］，其中包括圖像去模糊問(wèn)題［16-17］。Sun 等［18］用卷積神經(jīng)網(wǎng)絡(luò)來(lái)去除非均勻模糊，但所用數(shù)據(jù)集是由清晰圖像和模糊核卷積運(yùn)算所得，與真實(shí)模糊圖像相差較大，不能很好的恢復(fù)真實(shí)模糊圖像。為此，Nah等［4］提出了一個(gè)具有清晰-模糊圖像對(duì)的逼真數(shù)據(jù)集—GoPro，并提出一種端到端的多尺度網(wǎng)絡(luò)去除非均勻運(yùn)動(dòng)模糊，獲得了較好的實(shí)驗(yàn)結(jié)果。Tao 等［19］提出了一種多尺度遞歸網(wǎng)絡(luò)，利用金字塔形式逐漸恢復(fù)出清晰圖像，實(shí)現(xiàn)更好的去模糊效果，但這些方法仍存在網(wǎng)絡(luò)模型計(jì)算量大，速度慢，高頻信息丟失等問(wèn)題。

受Nah 等［4］和Tao 等［19］的啟發(fā)，本文提出了一種基于多尺度交替連接殘差網(wǎng)絡(luò)（Multi-Scale Alternating Connection Residual Network，MACR）以端到端的方式去除運(yùn)動(dòng)模糊，實(shí)現(xiàn)快速恢復(fù)模糊圖像。本文工作包括以下四點(diǎn)：

（1）本文提出一種基于多尺度交替連接殘差網(wǎng)絡(luò)用于去除非均勻運(yùn)動(dòng)模糊，采用“從粗到細(xì)”的多尺度網(wǎng)絡(luò)結(jié)構(gòu)逐漸恢復(fù)出清晰圖像。本文所提多尺度網(wǎng)絡(luò)包括兩種多尺度：一為輸入圖像大小的放縮，各個(gè)尺度采取相同的網(wǎng)絡(luò)模型，不同尺度間進(jìn)行參數(shù)共享，降低參數(shù)量，防止過(guò)擬合現(xiàn)象。二為整個(gè)網(wǎng)絡(luò)特征提取模塊采用多尺度殘差模塊，用大小不同的卷積核來(lái)提取不同尺度的特征，然后再進(jìn)行特征融合。（2）提出一種多尺度殘差模塊（Multi-Scale Residual Module，MSRM）作為每個(gè)尺度的特征提取模塊，提高網(wǎng)絡(luò)模型對(duì)每個(gè)尺度的適應(yīng)性、增加網(wǎng)絡(luò)寬度、提高網(wǎng)絡(luò)性能。（3）從擴(kuò)大感受野的角度出發(fā)，提出基于擴(kuò)張卷積的交替連接殘差模塊（Alternate Connection Residual Block，ACRB）作為整個(gè)網(wǎng)絡(luò)模型的主干，該模塊利用帶有不同擴(kuò)張率的卷積層，來(lái)增大感受野并提取不同尺度的特征信息。交替連接殘差模塊與殘差密集模塊［22］、密集連接模塊［23］以及經(jīng)典的殘差模塊［24］相比，計(jì)算量小且去模糊效果更優(yōu)。（4）將提出的網(wǎng)絡(luò)模型在GoPro 數(shù)據(jù)集［4］上進(jìn)行訓(xùn)練和測(cè)試，并與目前的去模糊算法相比具有更優(yōu)的去模糊效果。

2 去模糊方法

2.1 交替連接殘差網(wǎng)絡(luò)的構(gòu)建

本文提出一種基于多尺度交替連接殘差網(wǎng)絡(luò)來(lái)進(jìn)行圖像去模糊，如圖1 所示。網(wǎng)絡(luò)采用金字塔模型以“從粗到細(xì)”的多尺度結(jié)構(gòu)逐漸恢復(fù)出清晰圖像，通過(guò)多個(gè)尺度的輸入，讓網(wǎng)絡(luò)學(xué)習(xí)到不同尺度的特征信息，在不改變網(wǎng)絡(luò)結(jié)構(gòu)下增大模型的感受野，各個(gè)尺度采用相同的網(wǎng)絡(luò)模型，在每個(gè)尺度間改變參數(shù)會(huì)引入不穩(wěn)定性［19］，故在各個(gè)尺度間進(jìn)行參數(shù)共享，降低參數(shù)量和訓(xùn)練難度并使網(wǎng)絡(luò)更加穩(wěn)定，采用殘差模型來(lái)提高網(wǎng)絡(luò)性能，加快網(wǎng)絡(luò)收斂速度。整個(gè)網(wǎng)絡(luò)模型由多尺度殘差模塊（MSRM）和交替連接殘差模塊（ACRB）堆疊而成。

圖1 多尺度交替連接殘差網(wǎng)絡(luò)模型Fig.1 Multi-Scale Alternating Connection Residual Network Module

本文所提網(wǎng)絡(luò)遵循傳統(tǒng)方法中的多尺度機(jī)制，以3 個(gè)不同分辨率的模糊圖像Xi(i=1，2，3)作為網(wǎng)絡(luò)輸入，均由原始模糊圖像下采樣得到，分別為256×256，128×128，64×64。首先，輸入最小尺度模糊圖像X1進(jìn)行去模糊處理，得到清晰的潛像Y1，然后再將得到的潛像上采樣到與X2相同的尺度，再與模糊圖像X2一同輸入網(wǎng)絡(luò)模型得到清晰的潛像Y2，同理，得到最后的清晰圖像Y3，這種多尺度網(wǎng)絡(luò)結(jié)構(gòu)不僅可以恢復(fù)模糊圖像的整體結(jié)構(gòu)，還能夠恢復(fù)出圖像的紋理細(xì)節(jié)。各個(gè)尺度具有完全相同的網(wǎng)絡(luò)結(jié)構(gòu)，不同尺度間進(jìn)行參數(shù)共享，降低訓(xùn)練難度，恢復(fù)出更加清晰的圖像。網(wǎng)絡(luò)參數(shù)配置如表1 所示。

表1 多尺度參數(shù)表Tab.1 Multi-scale parameter table

本文利用多尺度殘差模塊（MSRM）進(jìn)行特征提取，該模塊包括四個(gè)分支，如圖2 所示。每個(gè)分支分別使用1×1，3×3，5×5，7×7 的卷積核來(lái)提取具有不同感受野的特征信息，不同尺度的卷積核會(huì)產(chǎn)生不同尺寸的感受野，這對(duì)于去模糊任務(wù)是非常重要的，在四個(gè)分支進(jìn)行特征提取后進(jìn)行聚合操作（concat）合并，再用一個(gè)3×3 的卷積層來(lái)融合提取的不同尺度的特征信息，這種信息交互方式能夠融合各個(gè)尺度之間的特征信息，可以捕獲更多的全局信息，使后面的層共享不同尺度的特征信息，最后在輸入和輸出之間加入跳躍連接來(lái)學(xué)習(xí)殘差信息。在此模塊中輸入輸出圖像大小均保持不變，每個(gè)卷積層后都接一個(gè)修正線(xiàn)性單元（Rectified Linear Unit，ReLu），提高網(wǎng)絡(luò)表達(dá)能力。該模塊拓展了網(wǎng)絡(luò)的寬度，獲取了更多的特征信息，增加了學(xué)習(xí)的多樣性，提高了網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性。詳細(xì)的參數(shù)配置如表2 所示。

圖2 多尺度殘差模塊Fig.2 Multi-Scale Residual Module

表2 多尺度殘差模塊參數(shù)配置表Tab.2 Multi-scale residual module parameter configuration table

在圖像去模糊任務(wù)中，處理嚴(yán)重模糊區(qū)域時(shí)感受野越大去模糊效果越好，增大感受野的方式有三種：增加網(wǎng)絡(luò)層數(shù)，利用池化層和擴(kuò)大卷積核大小，但這三種方式會(huì)出現(xiàn)增加計(jì)算量，重要信息丟失以及梯度消失等問(wèn)題，而擴(kuò)張卷積在不擴(kuò)大卷積核大小的條件下迅速增大感受野，避免了上述問(wèn)題，故本文利用Yu［20］提出的擴(kuò)張卷積來(lái)增大感受野，提出了一種基于擴(kuò)張卷積的交替連接模塊（ACRB），如圖3 所示。

圖3 交替連接模塊Fig.3 Alternate Connection Module

該模塊設(shè)計(jì)了一種具有成對(duì)運(yùn)算潛力的新型交替連接方式，這種連接方式允許塊中的第一個(gè)操作與后續(xù)任何塊中的第二個(gè)操作進(jìn)行交互，這種交互式數(shù)量的增加有助于提高圖像恢復(fù)任務(wù)的性能，本文所用的成對(duì)操作為卷積層和具有不同擴(kuò)張率的擴(kuò)張卷積。由于本文設(shè)計(jì)了3 個(gè)成對(duì)操作，共6 層卷積，交替聚合操作（concat）后特征層通道數(shù)過(guò)多，故引入1 個(gè)1×1的卷積用于多通道的特征信息融合，并起到降維的作用。深度網(wǎng)絡(luò)可以更好的恢復(fù)圖像，但深度網(wǎng)絡(luò)很難訓(xùn)練，容易產(chǎn)生梯度消失問(wèn)題，故此模塊利用殘差學(xué)習(xí)來(lái)解決網(wǎng)絡(luò)深度帶來(lái)的梯度消失問(wèn)題，提高網(wǎng)絡(luò)性能。該模塊具體參數(shù)如表3 所示。

表3 交替連接模塊參數(shù)表Tab.3 Parameter table of Alternating Connection Module

2.2 損失函數(shù)

2.2.1 總損失函數(shù)

本文總損失函數(shù)由平均絕對(duì)誤差（Mean Absolute Error，MAE）和結(jié)構(gòu)損失（Structural Loss，SL）組成，其計(jì)算公式為：

其中：LA表示平均絕對(duì)誤差（MAE），LS表示結(jié)構(gòu)損失（SL），λ1，λ2分別為其對(duì)應(yīng)的權(quán)重，實(shí)驗(yàn)結(jié)果表 明：當(dāng)λ1取0.3，λ2取0.7 時(shí) 圖 像 去 模 糊 效 果最好。

2.2.2 平均絕對(duì)誤差（MAE）

均方誤差（Mean Squared Error，MSE）或L2損失是目前最廣泛的損失函數(shù)，然而Lim 等［21］人指出，在峰值信噪比（Peak Signal to Noise Ratio，PSNR）和 結(jié) 構(gòu) 相 似 度（Structural Similarity，SSIM）指標(biāo)方面，許多使用MAE 損失的圖像恢復(fù)任務(wù)訓(xùn)練取得了比MSE 損失更好的性能。故本文采用簡(jiǎn)單的MAE 損失作為總損失函數(shù)的一部分，計(jì)算公式如下：

其中：Ii為真實(shí)清晰圖像，I?i為預(yù)測(cè)圖像。

2.2.3 結(jié)構(gòu)損失（SL）

網(wǎng)絡(luò)模型在恢復(fù)模糊圖像時(shí)沒(méi)有約束，容易失去訓(xùn)練方向，導(dǎo)致模型訓(xùn)練不穩(wěn)定，故引入結(jié)構(gòu)損失作為約束項(xiàng)，增加網(wǎng)絡(luò)模型的穩(wěn)定性，提高網(wǎng)絡(luò)模型的泛化能力。結(jié)構(gòu)損失可以表示如下：

結(jié)構(gòu)相似性定義為：

μx，μy分別為圖像塊像素的平均值，σx，σy分別為圖像像素值的標(biāo)準(zhǔn)差，σxy是兩個(gè)圖像像素的協(xié)方差，C1，C2為常數(shù)。SSIM ∈[0，1]，結(jié)構(gòu)相似程度與SSIM 成正比，SSIM 損失函數(shù)考慮了人類(lèi)視覺(jué)感知，LSSIM表示為：

P?為像素塊的中間像素值。

多尺度結(jié)構(gòu)相似度損失（MS-SSIM）基于多層的SSIM 損失函數(shù)，考慮了分辨率，LMS－SSIM可以表示為：

P?為像素塊的中間像素值。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)配置

本實(shí)驗(yàn)訓(xùn)練與測(cè)試圖像來(lái)自Nah 等［4］人在2017 年提出的GoPro 數(shù)據(jù)集，共2013 張清晰-模糊圖像對(duì)。本文網(wǎng)絡(luò)模型在此數(shù)據(jù)集上訓(xùn)練3000 次達(dá)到收斂。

實(shí)驗(yàn)在Windows10 操作系統(tǒng)下基于Tensor-Flow2.0 深度學(xué)習(xí)框架與python3.7 進(jìn)行訓(xùn)練與測(cè)試。所用計(jì)算機(jī)GPU 配置為Nvidia GeForce 1660Ti（6 GB），顯存為6 GB。在訓(xùn)練過(guò)程中所有輸入圖像均剪裁為256×256×3，測(cè)試時(shí)圖像大小保持不變，batch_size=2，epoch=3 000。采用Adam 優(yōu)化器來(lái)優(yōu)化損失函數(shù)，動(dòng)量參數(shù)分別為0.9，0.999，實(shí)驗(yàn)設(shè)置固定學(xué)習(xí)率為0.000 1。

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1 不同對(duì)比算法結(jié)果分析

為了驗(yàn)證本文算法的高效性，選取目前最先進(jìn)的去模糊技術(shù)與本文算法進(jìn)行對(duì)比，使用峰值信噪比（PSNR）與結(jié)構(gòu)相似度（SSIM）作為性能衡量標(biāo)準(zhǔn)。表4 為不同去模糊算法在GoPro 測(cè)試集上的性能對(duì)比結(jié)果，圖4 為不同網(wǎng)絡(luò)模型在GoPro 測(cè)試集上可視化對(duì)比示例圖。

表4 不同算法的性能對(duì)比Tab.4 Performance comparison of different algorithms

圖4 不同算法的可視化對(duì)比Fig.4 Visual comparison of different algorithms

從表4 可以看出，本文方法得到了最高的PSNR 和SSIM 值。從圖4 中也可以看出Sun等［18］人的算法不能有效的去除圖像模糊，Nah等［4］和Tao 等［19］的去模糊效果雖有所提升，但還沒(méi)有達(dá)到最佳效果。運(yùn)用本文算法所得到的去模糊圖像沒(méi)有明顯的偽影，能保持清晰的紋理細(xì)節(jié)，更接近清晰圖像。

3.2.2 多尺度輸入結(jié)構(gòu)分析

為了檢驗(yàn)多尺度輸入結(jié)構(gòu)對(duì)圖像去模糊任務(wù)的有效性，本文分別從主觀效果以及客觀指標(biāo)上對(duì)比了單尺度，雙尺度和三尺度的去模糊效果，均 在Nah［4］等 人 提 出 的GoPro 數(shù) 據(jù) 集 進(jìn) 行 訓(xùn)練和測(cè)試，各個(gè)尺度的性能比較如表5 所示，在測(cè)試集上的去模糊效果如圖5 所示。

由表5 可以看出，雙尺度較單尺度平均峰值信噪比提高了0.842 9 dB，結(jié)構(gòu)相似度提高了0.011 6。三尺度較雙尺度峰值信噪比提高了0.756 2 dB，結(jié)構(gòu)相似度提高了0.009 3。從圖5可以看出單尺度去模糊效果不好，紋理細(xì)節(jié)不清楚，雙尺度較單尺度去模糊效果有所提升，但布料細(xì)節(jié)處理效果不佳，三尺度去模糊效果最好，細(xì)節(jié)較豐富，最接近清晰圖像。三個(gè)尺度性能最佳，故本文使用三個(gè)尺度來(lái)進(jìn)行圖像去模糊任務(wù)。

表5 各個(gè)尺度性能對(duì)比Tab.5 Performance Comparison of each scale

圖5 各個(gè)尺度去模糊效果對(duì)比Fig.5 Comparison of deblurring effects of different scales

3.2.3 交替連接殘差模塊分析

為了驗(yàn)證本文所提基于擴(kuò)張卷積的交替連接殘差模塊（ACRB）對(duì)于圖像去模糊任務(wù)的有效性，分別用殘差密集模塊（Residual Dense Block，RDB）［22］，密集連接模塊（Dense Connection Block，DCB）［23］以及經(jīng)典的殘差模塊（Resblock）［24］來(lái)代替本文的交替連接殘差模塊，在相同的實(shí)驗(yàn)環(huán)境下進(jìn)行訓(xùn)練與測(cè)試，殘差密集模塊（RDB），密集連接模塊（DCB）以及殘模塊如圖6所示，為了快速驗(yàn)證，不同模塊對(duì)比均在單尺度下進(jìn)行。

圖6 不同模塊Fig.6 Different Modules

從表6 可以看出本文所提的交替連接殘差模塊具有更好的性能，并且從圖7 也可看出利用交替連接殘差模塊恢復(fù)的圖像細(xì)節(jié)更豐富，具有更好的去模糊效果。

表6 單尺度下不同模塊性能對(duì)比Tab.6 Performance comparison of different modules in single scale

圖7 單尺度下不同模塊的主觀效果Fig.7 Subjective effects of different modules under single scale

4 結(jié) 論

針對(duì)目前圖像去模糊領(lǐng)域所存在計(jì)算量大，恢復(fù)圖像存在偽影等問(wèn)題，本文提出了一種基于多尺度交替連接殘差網(wǎng)絡(luò)進(jìn)行圖像盲去模糊，本文仍采用傳統(tǒng)多尺度機(jī)制，以“從粗到細(xì)”的方式逐漸恢復(fù)出清晰圖像，多尺度輸入能減少圖像偽影，保持邊緣結(jié)構(gòu)。本文提出了一種多尺度殘差模塊用于提取不同尺度模糊圖像的上下文信息。整個(gè)網(wǎng)絡(luò)模型以提出的交替連接殘差網(wǎng)絡(luò)為主干，為圖像恢復(fù)任務(wù)提供更多特征信息，利用平均絕對(duì)誤差損失和結(jié)構(gòu)損失共同約束訓(xùn)練方向，從而恢復(fù)出更加清晰的圖像。實(shí)驗(yàn)結(jié)果表明，本文方法的峰值信噪比為32.313 6 dB，結(jié)構(gòu)相似度為0.942 5，去模糊效果較目前先進(jìn)的去模糊技術(shù)相比有所提升。