楊?lèi)?ài)萍 李磊磊 張 兵 何宇清

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院 天津 300072)

1 引言

圖像模糊通常因拍攝相機(jī)抖動(dòng)或拍攝場(chǎng)景中的物體移動(dòng)而產(chǎn)生，圖像去模糊研究的目的是從給定的模糊圖像中估計(jì)出高質(zhì)量清晰圖像，以滿足日益增長(zhǎng)的手持相機(jī)用戶(hù)的需求，并應(yīng)用在各種計(jì)算機(jī)視覺(jué)任務(wù)，例如交通安全[1]、監(jiān)控影像[2]、醫(yī)學(xué)影像[3]和目標(biāo)檢測(cè)[4]等領(lǐng)域。

圖像去模糊是一個(gè)逆問(wèn)題，國(guó)內(nèi)外學(xué)者已經(jīng)提出了大量方法，其一般思路是通過(guò)正則化方法來(lái)約束該問(wèn)題的解空間。傳統(tǒng)的去模糊方法大多基于變分模型，圖像恢復(fù)的質(zhì)量取決于算法先驗(yàn)的選擇，如暗通道先驗(yàn)[5]有助于自然圖像的復(fù)原，像素強(qiáng)度先驗(yàn)[6]有助于得到顯著邊緣，梯度先驗(yàn)[7]能夠有效去除偽影等。Zhang等人[8]分別利用低、中、高3種不同強(qiáng)度的灰度先驗(yàn)估計(jì)模糊核，進(jìn)而估計(jì)清晰圖像。雖然上述方法取得了一定的復(fù)原效果，但這類(lèi)方法嚴(yán)重依賴(lài)于對(duì)圖像信息的先驗(yàn)假設(shè)，導(dǎo)致模型泛化能力較差。同時(shí)，這類(lèi)方法對(duì)模糊核的假設(shè)過(guò)于簡(jiǎn)單，而實(shí)際的模糊類(lèi)型往往是復(fù)雜和非線性的，現(xiàn)有方法難以得到實(shí)際應(yīng)用。

近年來(lái)，由于深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性擬合能力，其在低層視覺(jué)任務(wù)如圖像超分辨率[9]、圖像去模糊[10–12]等領(lǐng)域得到了廣泛的應(yīng)用。對(duì)于空間均勻模糊去除問(wèn)題，一些研究利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個(gè)從模糊圖像到模糊核的映射函數(shù)。Jain等人[13]最早將卷積神經(jīng)網(wǎng)絡(luò)用于圖像去模糊，其結(jié)合馬爾可夫隨機(jī)場(chǎng)模型提出了一個(gè)淺層的去模糊網(wǎng)絡(luò)，避免了傳統(tǒng)應(yīng)用馬爾可夫隨機(jī)場(chǎng)模型去模糊計(jì)算困難等問(wèn)題。Vasu等人[10]通過(guò)使用不同尺度的模糊先驗(yàn)構(gòu)建模糊圖像作為輸入樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)從模糊圖像到模糊核的映射函數(shù)。但是，由于實(shí)際模糊軌跡類(lèi)型的隨機(jī)多樣性，采用神經(jīng)網(wǎng)絡(luò)估計(jì)模糊核的方法對(duì)于非均勻模糊去除效果較差。為了改善空域可變模糊去除效果，一些研究采用端到端網(wǎng)絡(luò)學(xué)習(xí)模糊圖像到清晰圖像之間的映射關(guān)系。Nah等人[12]模擬傳統(tǒng)由粗到細(xì)的多尺度估計(jì)方法，率先提出一種多尺度卷積神經(jīng)網(wǎng)絡(luò)，并利用多尺度損失函數(shù)約束網(wǎng)絡(luò)訓(xùn)練，對(duì)多種降質(zhì)原因引起的圖像模糊進(jìn)行復(fù)原。在此基礎(chǔ)上，Tao等人[14]提出不同尺度共享網(wǎng)絡(luò)權(quán)重的尺度循環(huán)去模糊神經(jīng)網(wǎng)絡(luò)(Scaled Recurrent defuzzy Neural network,SRN)，其具有更簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)、更少的參數(shù)且更容易訓(xùn)練。Zhang等人[15]提出一個(gè)空間變換的循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)解決動(dòng)態(tài)場(chǎng)景下的去模糊問(wèn)題，模型明顯更小、運(yùn)行更快。Gao等人[16]提出選擇性參數(shù)共享跳躍連接去模糊網(wǎng)絡(luò)(PSS-SNR)，由粗及細(xì)提取圖像特征，并使用嵌套跳躍連接及選擇性參數(shù)共享等方式減輕網(wǎng)絡(luò)訓(xùn)練難度同時(shí)提高去模糊性能。文獻(xiàn)[4,17]先后提出DeblurGAN, DeblurGAN-v2，利用生成式對(duì)抗網(wǎng)絡(luò)恢復(fù)出更加逼真的清晰圖像；但其采用交叉熵?fù)p失函數(shù)，易出現(xiàn)梯度飽和現(xiàn)象，從而降低了網(wǎng)絡(luò)訓(xùn)練效率。Suin等人[18]利用全局注意機(jī)制和自適應(yīng)局部濾波器進(jìn)行特征提取，提高了圖像去模糊性能，且具有較快的速度。然而，這些方法通常采用插值技術(shù)將模糊圖像縮小到指定倍數(shù)后獲得低分辨率圖像再輸入至網(wǎng)絡(luò)，這樣仍會(huì)增加網(wǎng)絡(luò)的計(jì)算量并消耗大量的內(nèi)存。另外，隨著網(wǎng)絡(luò)層數(shù)加深和結(jié)構(gòu)加寬，網(wǎng)絡(luò)的整體參數(shù)量也大幅度增加，需要更多的計(jì)算資源和內(nèi)存消耗，難以用于實(shí)際場(chǎng)景[19]。

針對(duì)上述問(wèn)題，本文提出一種簡(jiǎn)單輕量的漸進(jìn)式殘差去模糊網(wǎng)絡(luò)。首先，設(shè)計(jì)淺層的殘差網(wǎng)絡(luò)結(jié)構(gòu)作為基準(zhǔn)模型，可充分利用圖像局部特征信息；在此基礎(chǔ)上，設(shè)置多階段遞歸調(diào)用上述基準(zhǔn)模型，構(gòu)造漸進(jìn)式殘差去模糊網(wǎng)絡(luò)；同時(shí)，在不同階段殘差網(wǎng)絡(luò)之間進(jìn)行參數(shù)共享以減少網(wǎng)絡(luò)參數(shù)，簡(jiǎn)化網(wǎng)絡(luò)模型。為了進(jìn)一步提升去模糊網(wǎng)絡(luò)的特征重建性能，提出基于特征重標(biāo)定策略的特征融合模塊，使得在引入少量參數(shù)的情況下，對(duì)輸入圖像與各個(gè)殘差網(wǎng)絡(luò)的輸出特征圖進(jìn)行通道加權(quán)，并對(duì)特征圖的空間信息進(jìn)行自適應(yīng)選擇，有效提升網(wǎng)絡(luò)的特征選擇能力，實(shí)現(xiàn)更好的特征重建。實(shí)驗(yàn)結(jié)果表明，所提網(wǎng)絡(luò)模型輕量快速，對(duì)各種可變模糊去除均可實(shí)現(xiàn)理想復(fù)原效果。

2 基本原理

2.1 圖像去模糊數(shù)學(xué)模型

圖像去模糊問(wèn)題是圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)經(jīng)典問(wèn)題，它的目標(biāo)是恢復(fù)模糊輸入中隱含的清晰圖像。當(dāng)模糊核滿足空間不變性時(shí)，模糊過(guò)程可以建模為式(1)的數(shù)學(xué)模型[20]

2.2 殘差學(xué)習(xí)

殘差學(xué)習(xí)是構(gòu)建輕量化模型的基本手段，殘差學(xué)習(xí)也可稱(chēng)為局部殘差學(xué)習(xí)，其通過(guò)跳躍連接將網(wǎng)絡(luò)的1層或多層進(jìn)行連接。殘差網(wǎng)絡(luò)將淺層的特征直接復(fù)制到深層特征中進(jìn)行殘差映射替代網(wǎng)絡(luò)層的堆疊，保證了網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中能夠進(jìn)行恒等映射，有效地避免了網(wǎng)絡(luò)模型的退化，殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。對(duì)于一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，當(dāng)輸入特征為x時(shí)，網(wǎng)絡(luò)通過(guò)學(xué)習(xí)映射輸出的特征為H(x)，通過(guò)學(xué)習(xí)得到殘差F(x)=H(x)?x，最終卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所得特征為H(x)=F(x)+x。

圖1 殘差網(wǎng)絡(luò)結(jié)構(gòu)

殘差結(jié)構(gòu)可以改變神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)，把原卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)函數(shù)等于恒定值的情況改為使輸入輸出的殘差為零。通過(guò)殘差網(wǎng)絡(luò)學(xué)習(xí)，使卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸出的變化更為敏感，解決了隨著網(wǎng)絡(luò)層數(shù)不斷加深出現(xiàn)梯度消失以及梯度爆炸等問(wèn)題，避免了模型退化現(xiàn)象。

3 本文方法

本文設(shè)計(jì)的輕量化漸進(jìn)式殘差網(wǎng)絡(luò)去模糊模型如圖2所示。網(wǎng)絡(luò)主體由兩部分組成，分別是殘差網(wǎng)絡(luò)模塊和特征重標(biāo)定模塊。

為了充分利用圖像的局部特征信息，并加強(qiáng)反向傳播時(shí)的信息流通和信息補(bǔ)償，論文以殘差網(wǎng)絡(luò)模塊作為基準(zhǔn)模塊并進(jìn)行多階段遞歸調(diào)用。殘差網(wǎng)絡(luò)模塊由常規(guī)殘差結(jié)構(gòu)組成，每個(gè)殘差結(jié)構(gòu)設(shè)計(jì)包含兩個(gè)普通卷積層，以保證整體網(wǎng)絡(luò)簡(jiǎn)單輕量。多階段遞歸調(diào)用具體過(guò)程如圖2所示，在第1個(gè)階段，特征提取層提取模糊圖像特征，提取特征經(jīng)過(guò)特征映射層學(xué)習(xí)模糊圖像與清晰圖像間的映射關(guān)系，并由輸出層輸出特征圖。之后的每個(gè)階段都將上一階段殘差網(wǎng)絡(luò)的輸出與原始模糊圖像作為一個(gè)整體輸入至特征重標(biāo)定模塊，將特征選擇的結(jié)果傳遞至下一階段。同時(shí)，在網(wǎng)絡(luò)每個(gè)階段進(jìn)行了參數(shù)共享，可大大簡(jiǎn)化網(wǎng)絡(luò)模型，減少網(wǎng)絡(luò)參數(shù)。

圖2 整體網(wǎng)絡(luò)結(jié)構(gòu)

特征重標(biāo)定模塊則由通道注意力和空間注意力環(huán)節(jié)級(jí)聯(lián)構(gòu)成，在不引入新的空間維度情況下進(jìn)行特征通道和特征空間融合，提升重要特征并抑制對(duì)當(dāng)前任務(wù)用處不大的特征，在只增加少量參數(shù)的情況下選擇有效的特征信息，提升網(wǎng)絡(luò)的特征選擇能力，改善去模糊網(wǎng)絡(luò)的重建效果。

3.1 輕量化漸進(jìn)式殘差網(wǎng)絡(luò)

本文提出的殘差網(wǎng)絡(luò)模塊被設(shè)計(jì)為淺層殘差網(wǎng)絡(luò)，以加快網(wǎng)絡(luò)收斂速度。整體網(wǎng)絡(luò)是對(duì)淺層殘差網(wǎng)絡(luò)模塊的多階段遞歸調(diào)用，同時(shí)對(duì)不同階段殘差網(wǎng)絡(luò)模塊之間實(shí)現(xiàn)參數(shù)共享，網(wǎng)絡(luò)的參數(shù)量大大降低，整體網(wǎng)絡(luò)簡(jiǎn)單輕量。

具體地，殘差網(wǎng)絡(luò)模塊包括3部分，分別是特征提取層、特征映射層和輸出層，如圖3所示。特征提取層包含一個(gè)卷積核大小為3× 3，步長(zhǎng)為1，池化為1的卷積層和一個(gè)ReLU激活函數(shù)，用于提取輸入圖像特征。特征映射層對(duì)第1部分提取的輸入特征進(jìn)行非線性映射和迭代運(yùn)算，學(xué)習(xí)模糊圖像到清晰圖像之間的映射關(guān)系。

圖3 殘差網(wǎng)絡(luò)模塊結(jié)構(gòu)

特征映射層由常規(guī)殘差結(jié)構(gòu)構(gòu)成，包含卷積核大小為3× 3，步長(zhǎng)為1，池化為1的卷積層和激活函數(shù)組。本文在不同殘差塊分別采用Tanh激活函數(shù)、ReLU激活函數(shù)和Sigmoid激活函數(shù)3種激活函數(shù)，有效降低了網(wǎng)絡(luò)的計(jì)算成本，避免了梯度爆炸和梯度消失現(xiàn)象。輸出層包含一個(gè)卷積核大小為3× 3，步長(zhǎng)為1，池化為1的卷積層和ReLU激活函數(shù)，用于輸出網(wǎng)絡(luò)所學(xué)習(xí)到的圖像特征并輸出相同大小的去模糊結(jié)果。對(duì)于第t個(gè)殘差網(wǎng)絡(luò)，其輸出可表示為

其中，xt?1為上一階段殘差網(wǎng)絡(luò)輸出特征圖，y為網(wǎng)絡(luò)輸入模糊圖像，fFR為 特征重標(biāo)定操作，xFR為經(jīng)過(guò)特征重標(biāo)定后輸入殘差網(wǎng)絡(luò)的特征圖，fin為殘差網(wǎng)絡(luò)特征提取層。首先，特征重標(biāo)定模塊將上一階段殘差網(wǎng)絡(luò)輸出特征圖與模糊圖像融合后進(jìn)行特征重標(biāo)定得到xFR，殘差網(wǎng)絡(luò)再將經(jīng)過(guò)特征重標(biāo)定

3.2 基于特征重標(biāo)定策略的特征融合

為了進(jìn)一步提升去模糊網(wǎng)絡(luò)的特征重建性能，本文在漸進(jìn)式殘差網(wǎng)絡(luò)中設(shè)計(jì)了一種特征重標(biāo)定模塊，引入通道注意力以及空間注意力機(jī)制協(xié)同操作提升網(wǎng)絡(luò)的特征選擇能力，特征重標(biāo)定模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。為了盡可能簡(jiǎn)化模型，網(wǎng)絡(luò)并不引入新的空間維度對(duì)特征通道與特征空間進(jìn)行融合，而是采用了一種特征重標(biāo)定策略提升有用特征并抑制用處不大的特征，因此模塊可控制在只增加少量參數(shù)的情況下，有效提升去模糊網(wǎng)絡(luò)的特征重建能力。

圖4 特征重標(biāo)定模塊結(jié)構(gòu)

由于卷積神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算過(guò)程中卷積核只關(guān)心局部感受野信息，每個(gè)單元的輸出特征都不能利用感受野區(qū)域外的上下文信息，因此通過(guò)卷積所得到的通道關(guān)系是局部且不準(zhǔn)確的[21]。為了解決這種通道間的依賴(lài)關(guān)系，注意力模塊首先對(duì)全局空間信息進(jìn)行壓縮，將每個(gè)通道特征圖在整張圖中的位置信息進(jìn)行融合，可避免小尺寸卷積核提取特征感受野范圍太小造成網(wǎng)絡(luò)評(píng)估偏差。壓縮過(guò)程主要通過(guò)全局平均池化來(lái)實(shí)現(xiàn)以產(chǎn)生通道的統(tǒng)計(jì)信息。對(duì)包含C個(gè)通道、尺寸為H×W的 特征圖U=[u1,u2,...,uc]進(jìn)行全局平均池化操作得到各個(gè)通道的統(tǒng)計(jì)量z，其中z的第c項(xiàng)可表示為

接著，為了充分利用壓縮操作整合提取的特征，系統(tǒng)通過(guò)評(píng)估操作獲得通道間的相關(guān)性。評(píng)估操作主要通過(guò)兩個(gè) 1×1 的卷積層來(lái)學(xué)習(xí)各個(gè)通道的權(quán)重映射，并通過(guò) ReLU 激活函數(shù)和 Sigmoid激活函數(shù)作為門(mén)函數(shù)獲得各個(gè)通道之間的權(quán)重輸出，可表示為

進(jìn)一步，注意力模塊對(duì)評(píng)估操作得到的各通道的權(quán)重值及各通道提取到的特征圖進(jìn)行特征重標(biāo)定處理，以得到更有效的特征表示。卷積神經(jīng)網(wǎng)絡(luò)中各通道所表達(dá)的信息具有不同的含義，包括提取圖像色彩信息的通道、提取圖像細(xì)節(jié)信息的通道等。對(duì)于圖像去模糊，不同通道受模糊核影響不同，其提取的特征信息、特征強(qiáng)弱也有所不同。因此，可利用注意力機(jī)制對(duì)每個(gè)通道的特征圖進(jìn)行選擇性加權(quán)。如圖4所示，對(duì)于各通道輸入特征，為其每個(gè)通道生成不同的加權(quán)特征圖，處理后的特征圖可表示為

特征重標(biāo)定模塊對(duì)不同階段得到的特征圖進(jìn)行加權(quán)處理，從通道和空間兩個(gè)層面對(duì)特征信息進(jìn)行選擇，以得到更有效的特征表示，改善去模糊效果。

3.3 損失函數(shù)

為了更好地約束網(wǎng)絡(luò)訓(xùn)練和去除人工偽影，本文在訓(xùn)練網(wǎng)絡(luò)時(shí)采用的L2損失函數(shù)(最小平方誤差)和感知損失，其中 L2損失函數(shù)可以表示為

本文基于輕量化漸進(jìn)式殘差網(wǎng)絡(luò)的圖像快速去模糊算法流程圖如圖5所示。

圖5 本文去模糊算法流程圖

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)采用的訓(xùn)練數(shù)據(jù)集為GOPRO訓(xùn)練集，包括2103張清晰圖像以及對(duì)應(yīng)的2103張模糊圖像，主要包含由相機(jī)抖動(dòng)或物體運(yùn)動(dòng)造成的模糊類(lèi)型，可以模擬動(dòng)態(tài)場(chǎng)景下的圖像模糊情形。同時(shí)采用GOPRO測(cè)試集評(píng)估網(wǎng)絡(luò)去模糊性能，其包含1111張清晰-模糊圖像對(duì)。訓(xùn)練過(guò)程采用ADAM優(yōu)化器更新網(wǎng)絡(luò)參數(shù)，基礎(chǔ)參數(shù)設(shè)置為：β1=0.9,β2=0.999。學(xué)習(xí)率初始化為0.0001，訓(xùn)練150個(gè)階段后學(xué)習(xí)率衰減為0.000001，批大小設(shè)置為16。實(shí)驗(yàn)環(huán)境為Python 3.6，Pytorch，Ubuntu16.04，顯卡為NVIDIA 1080Ti GPU。

4.2 實(shí)驗(yàn)結(jié)果

為說(shuō)明本文算法的有效性，從客觀評(píng)價(jià)指標(biāo)和主觀視覺(jué)效果兩個(gè)方面與近年來(lái)先進(jìn)的去模糊算法進(jìn)行對(duì)比，對(duì)比的算法主要包括Tao等人[14]提出的尺度間權(quán)值共享循環(huán)網(wǎng)絡(luò)SRN、Kupyn等人[4]提出的快速生成式對(duì)抗去模糊網(wǎng)絡(luò)DeblurGAN-v2和Gao等人[16]提出的選擇性參數(shù)共享跳躍連接去模糊網(wǎng)絡(luò)等。

采用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)兩種客觀指標(biāo)評(píng)價(jià)去模糊算法恢復(fù)的圖像質(zhì)量，同時(shí)采用模型參數(shù)量和運(yùn)行時(shí)間評(píng)價(jià)去模糊算法的效率，各方法實(shí)驗(yàn)結(jié)果如表1所示。其中，紅色表示該指標(biāo)中最好的結(jié)果，藍(lán)色代表次好的結(jié)果。由表1可以看出，本文提出的漸進(jìn)式殘差去模糊網(wǎng)絡(luò)處理時(shí)間最短，所用參數(shù)量最少。相較于文獻(xiàn)[4,6,9,12,14]，本文方法在峰值信噪比和結(jié)構(gòu)相似性方面都有較大提升。結(jié)構(gòu)相似性指標(biāo)略低于DeblurGAN-v2[17]，但是峰值信噪比要優(yōu)于該方法。Gao等人[16]提出的選擇性參數(shù)共享跳躍連接去模糊方法取得了最好的去模糊結(jié)果，但是該方法采用多尺度網(wǎng)絡(luò)結(jié)構(gòu)，輸入過(guò)程中大量的上采樣、下采樣操作需要大量的計(jì)算和內(nèi)存開(kāi)銷(xiāo)，導(dǎo)致網(wǎng)絡(luò)處理時(shí)間慢，運(yùn)行時(shí)間長(zhǎng)?？傮w來(lái)說(shuō)，本文算法可以實(shí)現(xiàn)理想的去模糊效果，同時(shí)可大大減少參數(shù)量，顯著提升網(wǎng)絡(luò)運(yùn)行速度。

表1 在合成數(shù)據(jù)集上PSNR和SSIM結(jié)果

進(jìn)一步，為了更加直觀地說(shuō)明本文提出的去模糊算法的性能，在GOPRO數(shù)據(jù)集中選取4張模糊圖像與目前流行的算法進(jìn)行去模糊效果對(duì)比，各方法去模糊效果如圖6所示。

由圖6(c)可以看出，當(dāng)圖像出現(xiàn)較嚴(yán)重模糊的情況時(shí)，文獻(xiàn)[14]的尺度循環(huán)去模糊網(wǎng)絡(luò)，復(fù)原圖像存在偽影且細(xì)節(jié)恢復(fù)不足 (如圖6(c)中第1張圖中廣告牌、第3張圖的汽車(chē)輪廓以及第4張圖的車(chē)身標(biāo)語(yǔ))。由圖6(d)可以看出，文獻(xiàn)[17]DeblurGAN去模糊后的圖像視覺(jué)效果良好，但細(xì)節(jié)恢復(fù)不足(如圖6(d)中最后一張圖中車(chē)身標(biāo)語(yǔ)的文字區(qū)域細(xì)節(jié)信息損失嚴(yán)重)。如圖6(f)所示，Zhang等人[9]使用的傳統(tǒng)方法仍然存在振鈴和紋路現(xiàn)象，視覺(jué)效果較差。由圖6(e)和圖6(g)可以看出，本文方法與文獻(xiàn)[16]方法都能實(shí)現(xiàn)較好的去模糊視覺(jué)效果。如圖6所示，第1張圖 “街景”圖像對(duì)比，本文提出的漸進(jìn)式殘差網(wǎng)絡(luò)所恢復(fù)的清晰圖像更加清晰，腿和手指等邊緣部分去除偽影效果更加明顯；第2張圖中本文算法對(duì)車(chē)牌部分恢復(fù)的數(shù)字更加清晰。另外，對(duì)于第3張圖中快速行駛的汽車(chē)，可以看出本文算法可以恢復(fù)出較好的汽車(chē)輪廓；最后一張圖中本文算法對(duì)汽車(chē)反光鏡部分的恢復(fù)以及車(chē)身標(biāo)語(yǔ)的恢復(fù)效果均優(yōu)于其他算法，且可較好地保持圖像的細(xì)節(jié)特征。綜上可以看出，本文提出去模糊網(wǎng)絡(luò)模型復(fù)原得到的圖像具有更好的視覺(jué)質(zhì)量。

圖6 GOPRO數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果

針對(duì)實(shí)際應(yīng)用問(wèn)題，圖像去模糊作為圖像預(yù)處理方法，應(yīng)用在各種高層次計(jì)算機(jī)視覺(jué)任務(wù)中，如顯著性檢測(cè)[22]。圖7的模糊-清晰圖像對(duì)是由真實(shí)相機(jī)拍攝而成的，利用本文去模糊算法對(duì)模糊圖像進(jìn)行了恢復(fù)，結(jié)果如圖7(b)所示，較為清晰地恢復(fù)了模糊圖像，且運(yùn)行時(shí)間為0.5 s，速度快實(shí)用性高。此外，本文利用文獻(xiàn)[23]代碼分別對(duì)模糊圖像、本文算法恢復(fù)圖像和清晰圖像做了顯著性檢測(cè)，結(jié)果如圖7所示。圖7(c)為清晰圖像檢測(cè)的顯著圖，很好地識(shí)別到了雕像的人形邊界，而圖7(a)模糊圖像的顯著圖頭部和上半身產(chǎn)生了不同程度的偽邊界，這是由于其雕像邊界運(yùn)動(dòng)模糊不再準(zhǔn)確。而本文算法去模糊的顯著圖除了多余識(shí)別雕像底座之外，人形輪廓恢復(fù)得很好，說(shuō)明本文去模糊算法可以很好地應(yīng)用到實(shí)際計(jì)算機(jī)視覺(jué)任務(wù)當(dāng)中。

圖7 本文算法去模糊實(shí)例

4.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的去模糊網(wǎng)絡(luò)中每個(gè)模塊的有效性及合理性，本文進(jìn)行了消融實(shí)驗(yàn)，分別驗(yàn)證特征重標(biāo)定模塊以及殘差模塊遞歸次數(shù)的有效性。

4.3.1 特征重標(biāo)定模塊

表2給出了特征重標(biāo)定模塊使用通道注意力機(jī)制及空間注意力機(jī)制不同組合的去模糊效果對(duì)比，圖8給出了相應(yīng)的實(shí)驗(yàn)結(jié)果圖?？梢钥闯觯皇褂每臻g注意力機(jī)制和通道注意力機(jī)制的漸進(jìn)式殘差網(wǎng)絡(luò)參數(shù)量為26.316 Mb，峰值信噪比為 30.08 dB。僅使用通道注意力機(jī)制相對(duì)于無(wú)注意力機(jī)制的殘差網(wǎng)絡(luò)PSNR提升0.08 dB，而參數(shù)量?jī)H提升了0.003 Mb。另外，僅使用空間注意力機(jī)制相對(duì)于無(wú)注意力機(jī)制的殘差網(wǎng)絡(luò)PSNR提升0.06 dB，參數(shù)量?jī)H提升了0.001 Mb。同時(shí)使用空間注意力機(jī)制和通道注意力機(jī)制的漸進(jìn)式殘差網(wǎng)絡(luò)PSNR提升了0.13 dB，參數(shù)量?jī)H提升了0.005 Mb，恢復(fù)的圖像局部模糊更少，結(jié)構(gòu)更清晰，效果最好?？梢园l(fā)現(xiàn)，同時(shí)使用兩種注意力機(jī)制可取得最優(yōu)性能同時(shí)只增加微小參數(shù)量。因此，特征重標(biāo)定模塊同時(shí)使用空間注意力機(jī)制和通道注意力機(jī)制提升網(wǎng)絡(luò)性能。

圖8 特征重標(biāo)定模塊消融實(shí)驗(yàn)主觀恢復(fù)結(jié)果對(duì)比

4.3.2 殘差模塊遞歸次數(shù)

對(duì)于不同遞歸數(shù)量殘差塊T=5, 6, 7的漸進(jìn)式殘差網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練，并在GOPRO數(shù)據(jù)集上進(jìn)行測(cè)試，以探究不同數(shù)量殘差塊對(duì)網(wǎng)絡(luò)性能的影響。

如表3和圖9所示，對(duì)于T=5時(shí)，即漸進(jìn)式殘差網(wǎng)絡(luò)使用5個(gè)殘差塊時(shí)網(wǎng)絡(luò)參數(shù)量為20.064 Mb，峰值信噪比為30.17 dB。當(dāng)漸進(jìn)式殘差網(wǎng)絡(luò)使用6個(gè)殘差塊時(shí)網(wǎng)絡(luò)參數(shù)量為26.321 Mb，峰值信噪比為30.21 dB。可以看到，相對(duì)于T=5時(shí)PSNR提升了0.04 dB，網(wǎng)絡(luò)參數(shù)量提升了6.257 Mb。漸進(jìn)式殘差網(wǎng)絡(luò)使用7個(gè)殘差塊時(shí)網(wǎng)絡(luò)參數(shù)量為30.712 Mb，峰值信噪比為 30.21 dB。通過(guò)對(duì)比可以發(fā)現(xiàn)，當(dāng)使用5個(gè)遞歸殘差塊時(shí)網(wǎng)絡(luò)參數(shù)量最少，網(wǎng)絡(luò)性能也相應(yīng)產(chǎn)生了一定的下降。當(dāng)使用6個(gè)殘差塊時(shí)，網(wǎng)絡(luò)既實(shí)現(xiàn)了較好的去模糊效果，參數(shù)量也相對(duì)較少。當(dāng)漸進(jìn)式殘差網(wǎng)絡(luò)使用7個(gè)殘差塊時(shí)，網(wǎng)絡(luò)的去模糊性能并未顯著提升，但網(wǎng)絡(luò)運(yùn)行時(shí)間相對(duì)于6個(gè)殘差塊提升了2～3倍，且需要更高的運(yùn)算開(kāi)銷(xiāo)。因此，本文使用含有6個(gè)殘差塊的漸進(jìn)式遞歸殘差網(wǎng)絡(luò)，在只含有少量參數(shù)的情況下實(shí)現(xiàn)了良好的去模糊性能。

圖9 殘差模塊遞歸次數(shù)消融實(shí)驗(yàn)主觀恢復(fù)結(jié)果對(duì)比

5 結(jié)束語(yǔ)

針對(duì)目前去模糊網(wǎng)絡(luò)模型參數(shù)量大、運(yùn)算時(shí)間長(zhǎng)、難以分析不同模塊的具體作用等問(wèn)題，本文設(shè)計(jì)了一種輕量、快速的去模糊網(wǎng)絡(luò)。在多個(gè)階段遞歸調(diào)用殘差網(wǎng)絡(luò)基準(zhǔn)模型，并在不同階段進(jìn)行參數(shù)共享以簡(jiǎn)化網(wǎng)絡(luò)模型，提升去模糊網(wǎng)絡(luò)效率。同時(shí)引入基于特征重標(biāo)定策略的特征融合模塊對(duì)輸入圖像與各個(gè)殘差網(wǎng)絡(luò)的輸出特征圖進(jìn)行通道加權(quán)，提升網(wǎng)絡(luò)的特征選擇能力，實(shí)現(xiàn)更好的特征重建，得到了更好更快的去模糊結(jié)果。