王成曦， 羅晨， 周江澔， 鄒浪， 賈磊

（1.東南大學(xué)軟件學(xué)院，江蘇 蘇州 215123；2.東南大學(xué)機(jī)械工程學(xué)院，江蘇 南京 211189；3.無錫尚實(shí)電子科技有限公司，江蘇 無錫 200240）

1 引 言

物體到攝像機(jī)焦平面的場景距離是決定相機(jī)所拍攝圖像清晰度的主要因素。遠(yuǎn)離相機(jī)焦平面的光線會(huì)聚到成像平面上時(shí)是一個(gè)類似圓形的區(qū)域而不是點(diǎn)，該區(qū)域被稱為彌散圓（Circle of confusion）。當(dāng)彌散圓的尺寸大過成像傳感器單元的尺寸時(shí)，相機(jī)成像就會(huì)產(chǎn)生離焦模糊現(xiàn)象［1］。離焦模糊會(huì)導(dǎo)致視覺信息丟失，嚴(yán)重影響圖像分類，目標(biāo)檢測(cè)以及語義分割等視覺任務(wù)的精度［2］。因此，單幅離焦圖片去模糊研究在機(jī)器視覺的多個(gè)應(yīng)用領(lǐng)域都有實(shí)用價(jià)值。

機(jī)器視覺領(lǐng)域，自動(dòng)光學(xué)檢測(cè)設(shè)備的成像系統(tǒng)往往景深較小，容易產(chǎn)生離焦模糊，嚴(yán)重影響視覺檢測(cè)效果。為了簡化研究，將工業(yè)成像系統(tǒng)近似看作一個(gè)空間不變的線性系統(tǒng)，將這種離焦模糊近似看作均勻離焦模糊。均勻離焦模糊圖像的退化過程可以近似看作清晰原圖與一個(gè)高斯或者圓盤模糊核卷積的過程，即高斯離焦模型和圓盤離焦模型［3］。

圖像去模糊的方法一般分為兩種，非盲去模糊［4］和盲去模糊［5-6］。早期關(guān)于圖像去模糊的研究主要集中在相對(duì)簡單的非盲去模糊問題上。非盲去模糊是一個(gè)病態(tài)問題，因?yàn)樵趫D像退化的過程中，丟失大量視覺信息是不可避免的［7］。所以，后續(xù)大部分研究都致力于構(gòu)造各種圖像先驗(yàn)來約束解空間，如總變分［8］、超拉普拉斯先驗(yàn)［9］、局部顏色先驗(yàn)［10］等。經(jīng)典的盲去模糊算法［11-13］同樣是依靠手工制作圖像先驗(yàn)作為圖像去模糊目標(biāo)函數(shù)的正則化項(xiàng)，然后通過設(shè)計(jì)有效的迭代算法逐步估計(jì)出模糊核以及清晰圖像。經(jīng)典的圖像去模糊算法雖然可以通過嚴(yán)格的數(shù)學(xué)模型進(jìn)行解釋，但是也存在著計(jì)算量太大，比較耗時(shí)，且容易出現(xiàn)偽影和振鈴現(xiàn)象等問題［14］。

由于難以從模糊圖像中獲得關(guān)于模糊核的信息，大多數(shù)基于深度學(xué)習(xí)的去模糊方法都采用了端到端網(wǎng)絡(luò)模型來解決盲去模糊的。Nah等人［15］提出一種稱為DeepDeblur的端到端多尺度去模糊網(wǎng)絡(luò)，無須估計(jì)模糊核，直接由模糊圖像估計(jì)清晰的圖像；Tao等人［16］提出了一種多尺度遞歸網(wǎng)絡(luò)，利用金字塔形式逐漸恢復(fù)出清晰圖像，實(shí)現(xiàn)更好的去模糊效果；Chen等人［17］提出了專用于圖像復(fù)原的簡單基線（Simple Baseline），驗(yàn)證了圖像復(fù)原網(wǎng)絡(luò)不需要很復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，一個(gè)非線性的，無激活函數(shù)的簡單網(wǎng)絡(luò)模塊（Nonlinear Activation Free Network Block，NAFNet-Block）在圖像復(fù)原任務(wù)中也可以達(dá)到當(dāng)時(shí)SOTA（State-of-the-art）的效果。然而，這些基于直接預(yù)測(cè)的方法過于依賴訓(xùn)練數(shù)據(jù)，反而容易丟失圖像的高頻信息，導(dǎo)致去模糊的結(jié)果細(xì)節(jié)不足。所以，如果能夠準(zhǔn)確地預(yù)測(cè)模糊圖像的模糊核，則可以進(jìn)一步提高去模糊算法的性能。從這個(gè)角度出發(fā)，文獻(xiàn)［18-19］中提出了基于深度學(xué)習(xí)的兩階段圖像盲去模糊算法。

不同于上述的基于監(jiān)督學(xué)習(xí)的方法，Ren等人［20］提出了一種基于自監(jiān)督方法的盲去模糊網(wǎng)絡(luò)SelfDeblur，該算法包含兩個(gè)生成網(wǎng)絡(luò)，深度圖像先驗(yàn)網(wǎng)絡(luò)（Deep Image Prior，DIP）［21］和全連接網(wǎng)絡(luò)（Full Connect Network，F(xiàn)CN），它們分別用于估計(jì)去模糊圖像和估計(jì)模糊核。該網(wǎng)絡(luò)采用自監(jiān)督的方法，所以不需要依賴海量的訓(xùn)練數(shù)據(jù)。但是，該算法復(fù)原一張模糊圖像需要數(shù)千次的迭代，計(jì)算成本極大，非常耗時(shí)。

為了解決以往算法的局限性以及改善離焦去模糊的效果，本文提出了一種針對(duì)于均勻離焦圖像的盲去模糊網(wǎng)絡(luò)（Uniform Defocus Blind Deblur Net，UDBD-Net）。首先，采用兩階段網(wǎng)絡(luò)，先準(zhǔn)確估計(jì)出離焦模糊核，并且在反卷積網(wǎng)絡(luò)中充分利用估計(jì)出的模糊核信息，以獲得更優(yōu)的去模糊效果。其次，在非盲反卷積網(wǎng)絡(luò)中，將經(jīng)典維納反卷積融入深度神經(jīng)網(wǎng)絡(luò)中，組成深度特征維納反卷積模塊（Deeper Feature-based Wiener Deconvolution，DFWD），增強(qiáng)網(wǎng)絡(luò)的可解釋性，然后使用一個(gè)基于編解碼網(wǎng)絡(luò)的特征強(qiáng)化模塊（Feature Reinforcement Module，F(xiàn)RM）來增強(qiáng)復(fù)原圖像的細(xì)節(jié)，同時(shí)去除偽影和振鈴現(xiàn)象。

2 均勻離焦去模糊方法

針對(duì)現(xiàn)有盲去模糊網(wǎng)絡(luò)的細(xì)節(jié)特征恢復(fù)較差，本文構(gòu)建一個(gè)針對(duì)均勻離焦模糊有效的盲去模糊網(wǎng)絡(luò)（UDBD-Net）。如圖1所示，均勻離焦盲去模糊網(wǎng)絡(luò)UDBD-Net主要包括一個(gè)離焦模糊核估計(jì)網(wǎng)絡(luò)和一個(gè)非盲反卷積的復(fù)原網(wǎng)絡(luò)。

圖1 均勻離焦去模糊網(wǎng)絡(luò)的整體結(jié)構(gòu)Fig.1 Overview architecture of uniform defocusing deblurring network

2.1 均勻離焦模糊核估計(jì)網(wǎng)絡(luò)

為了預(yù)先獲得模糊圖像的模糊信息，以便于得到更好地去模糊結(jié)果，模糊核估計(jì)通常是兩階段盲去模糊算法的第一步。受到Luo等人［22］提出的深度動(dòng)態(tài)線性核估計(jì)器的啟發(fā)，本文提出一種均勻離焦模糊核估計(jì)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示。首先，使用一個(gè)11×11大小的卷積核以及Res-Block模塊進(jìn)行特征提取。大的卷積核可以獲取大的視野，以捕捉模糊圖像整體的離焦信息。由于模糊核本身包含的信息有限，所以使用全局平均池化將特征圖壓縮為一維，以減少學(xué)習(xí)的參數(shù)并提高速度。然后，使用1×1的卷積核進(jìn)行維度轉(zhuǎn)換，然后通過Reshape操作將一維的特征圖分別轉(zhuǎn)換成11×11，7×7，5×5和1×1的二維濾波核。最后，將二維濾波核依次卷積，得到一個(gè)21×21的離焦模糊核。

圖2 模糊核估計(jì)網(wǎng)絡(luò)的結(jié)構(gòu)Fig.2 Architecture of blur kernel estimation network

2.2 非盲反卷積網(wǎng)絡(luò)

首先，為了讓估計(jì)出來的模糊核得到充分利用的同時(shí)，能夠從模糊圖像中提取到更加有用的信息，所以將基于特征空間上的維納反卷積模塊（Feature-based Wiener Deconvolution，F(xiàn)WD）［23］引入模型當(dāng)中。FWD算子公式如式（1）所示：

式（1）是特征空間下圖像退化過程的表達(dá)式。其中Fi(?)和Fi(y)分別表示清晰圖像x以及模糊圖像y的在特征圖空間中第i通道的張量，Hi表示FWD算子。式（2）是計(jì)算FWD算子的表達(dá)式。其中變量k表示模糊核，F(xiàn)表示離散的傅里葉變換表示F(k)的復(fù)共軛。和圖像空間中的維納反卷積一樣，式（2）中分別表示清晰圖像期望和加性噪聲期望的sxi和sni都是未知的。FWD模型中將sxi近似看作模糊特征（Blurred Feature）的標(biāo)準(zhǔn)差，并將sni近似看作模糊特征與其均值濾波結(jié)果之間的偏差。

為了更加準(zhǔn)確地估計(jì)sxi以及sni的值，本文提出將FWD算子公式簡化：

不同于在標(biāo)準(zhǔn)的圖像空間中的維納反卷積簡化公式，式（3）中的Ci不是一個(gè)簡單的規(guī)定常數(shù)，而是可以被神經(jīng)網(wǎng)絡(luò)估計(jì)的數(shù)值，而且在特征空間中每個(gè)通道都會(huì)估計(jì)一個(gè)Ci。式（3）在簡化FWD算子公式的同時(shí)，也實(shí)現(xiàn)了維納反卷積與神經(jīng)網(wǎng)絡(luò)更深層次的融合，因此將該模塊稱為深度特征維納反卷積（Deeper Feature-based Wiener Deconvolution，DFWD）。DFWD模塊的結(jié)構(gòu)示意圖如圖3所示。

圖3 深度特征維納反卷積模塊結(jié)構(gòu)圖Fig.3 Architecture of deeper feature-based wiener deconvolution module

模糊圖像經(jīng)過特征提取，得到模糊特征（Blurred Feature），在DFWD模塊的幫助下，生成去模糊圖像的潛在特征（Deblur Feature）。為了從潛在的特征中復(fù)原出高質(zhì)量的去模糊圖像，本文基于Chen等人［17］提出的NAFNet-Block模塊，搭建了特征增強(qiáng)模塊（Featuree Refinement Module，F(xiàn)RM）。FRM可以從反卷積模塊得到的去模糊圖像潛在特征（Deblur Feature）中復(fù)原出去模糊后的清晰圖像。

2.3 損失函數(shù)

為了讓網(wǎng)絡(luò)更好地收斂，采取兩階段訓(xùn)練法訓(xùn)練UDBD-Net。

第一階段中，核估計(jì)網(wǎng)絡(luò)和反卷積網(wǎng)絡(luò)各自單獨(dú)訓(xùn)練，真實(shí)的模糊核作為去模糊網(wǎng)絡(luò)的輸入，核估計(jì)網(wǎng)絡(luò)損失函數(shù)和反卷積網(wǎng)絡(luò)的損失函數(shù)如式（4）和式（5）所示：

其中：式（4）中的LE表示核估計(jì)網(wǎng)絡(luò)損失函數(shù)，k和?分別表示真實(shí)的模糊核以及模糊核估計(jì)網(wǎng)絡(luò)預(yù)測(cè)的模糊核；式（5）中LD表示反卷積網(wǎng)絡(luò)的損失函數(shù)，x和?分別表示真實(shí)的清晰圖像和反卷積網(wǎng)絡(luò)輸出的去模糊圖像。

第二階段中，將核估計(jì)網(wǎng)絡(luò)的輸出作為反卷積網(wǎng)絡(luò)的輸入，進(jìn)行聯(lián)合訓(xùn)練。這一階段損失函數(shù)LE+D的表達(dá)式如式（6）所示：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集生成方法

由于UDBD-Net的目標(biāo)是構(gòu)建一個(gè)有效的均勻離焦圖像去模糊網(wǎng)絡(luò)，然而大部分現(xiàn)存的去模糊數(shù)據(jù)集都是關(guān)于運(yùn)動(dòng)模糊的，所以采用人工合成的離焦圖像作為對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)的訓(xùn)練集和驗(yàn)證集。首先，分別從GOPRO［15］數(shù)據(jù)集和DIV2K［24］數(shù)據(jù)集中的訓(xùn)練集圖片選取800張清晰的原始圖片作為實(shí)驗(yàn)訓(xùn)練集的原始圖片。在模型訓(xùn)練中，訓(xùn)練集中的大圖裁剪成256×256的小圖，同時(shí)生成大小為21×21的高斯離焦模糊核，其中每個(gè)高斯核的寬度值σ為1~4之間的隨機(jī)數(shù)。然后將剪切好的圖片和生成的高斯核進(jìn)行卷積，得到模糊程度不同的離焦模糊圖片。測(cè)試集是選用GOPRO和DIV2K數(shù)據(jù)集中的測(cè)試集圖片，并選用Gaussian8［25］模糊核作為合成模糊測(cè)試圖片的模糊核，其中Gaussian8模糊核是指核寬度σ在1.8~3.2之間間隔0.2取樣的8個(gè)高斯模糊核。實(shí)驗(yàn)測(cè)試結(jié)果使用的客觀評(píng)價(jià)指標(biāo)是均方誤差（Mean Square Error，MSE）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性度（Structural Similarity Index Measure，SSIM）［26］。

3.2 離焦模糊核估計(jì)實(shí)驗(yàn)

在模型訓(xùn)練的第一階段，模糊核估計(jì)網(wǎng)絡(luò)單獨(dú)進(jìn)行訓(xùn)練。為了驗(yàn)證估計(jì)出的模糊核作為非盲復(fù)原網(wǎng)絡(luò)輸入的有效性，選擇基于總有界變分模型的FTVD算法［27］對(duì)模糊核估計(jì)網(wǎng)絡(luò)的結(jié)果進(jìn)行實(shí)驗(yàn)。如下圖4所示，圖4（a）是使用寬度σ=3.5的高斯核生成的離焦模糊圖；圖4（b）、圖4（c）和圖4（d）是使用FTVD非盲去模糊算法的結(jié)果，其中模糊核分別使用的是寬度σ=3.5的真實(shí)模糊核、寬度σ=3.7的不準(zhǔn)確模糊核以及離焦模糊核網(wǎng)絡(luò)估計(jì)出的模糊核。對(duì)比圖4（b）與圖4（d）的去模糊結(jié)果，可以看出模糊核估計(jì)網(wǎng)絡(luò)估計(jì)出的模糊核用在傳統(tǒng)反卷積方法中可以達(dá)到與真實(shí)模糊核相近的效果。此外從圖4（c）可以看出，傳統(tǒng)反卷積算法對(duì)于模糊核的準(zhǔn)確性非常敏感。由此可以說明模糊核估計(jì)網(wǎng)絡(luò)的結(jié)果準(zhǔn)確性非常高。

圖4 FTVD非盲去模糊算法的結(jié)果Fig.4 Results of the non-blind deblurring algorithm FTVD

3.3 合成圖像去模糊實(shí)驗(yàn)

為了驗(yàn)證UDBD-Net在均勻離焦去模糊問題上的優(yōu)異性能，選擇與近幾年提出的圖像去模糊算法進(jìn)行對(duì)比實(shí)驗(yàn)，主要包括采用自監(jiān)督策略的SelfBlur算法［20］、基于端到端網(wǎng)絡(luò)實(shí)現(xiàn)的DeepDeblur算法［15］、SRN算法［16］、NAFNet算法［17］以及非盲反卷積算法FWD［23］。其中非盲反卷積算法FWD［23］在對(duì)比實(shí)驗(yàn)中使用本文模糊核估計(jì)網(wǎng)絡(luò)的結(jié)果作為網(wǎng)絡(luò)的輸入。此外，選用的對(duì)比實(shí)驗(yàn)的算法都使用本文所用的訓(xùn)練集進(jìn)行重新訓(xùn)練。

關(guān)于均勻離焦去模糊模型定量的評(píng)價(jià)指標(biāo)，主要關(guān)注平均PSNR以及算法的平均推理時(shí)間。如表1所示，對(duì)比其他算法這三個(gè)指標(biāo)的結(jié)果后，可以明顯地發(fā)現(xiàn)本文提出的均勻離焦盲去模糊算法可以在沒有明顯增加推理時(shí)間的情況下，獲得最好的去模糊效果。SelfDeblur［20］是一個(gè)基于深度圖像先驗(yàn)（Deep Image Prior，DIP）的自監(jiān)督算法，不需要海量成對(duì)的模糊和清晰的圖片進(jìn)行訓(xùn)練，直接進(jìn)行優(yōu)化推理。該算法對(duì)于運(yùn)動(dòng)模糊的效果很顯著，但是對(duì)于本文中的均勻離焦模糊，不管是去模糊效果還是算法推理速度方面都遠(yuǎn)遠(yuǎn)落后于本文的算法。DeepDeblur［15］，SRN［16］和NAFNet［17］都是端到端去模糊網(wǎng)絡(luò)模型，不需要額外估計(jì)模糊核的信息，且得益于其簡單的網(wǎng)絡(luò)結(jié)構(gòu)，這些模型有著非?？斓耐评硭俣龋鏢RN［16］的算法預(yù)測(cè)單張DIV2K測(cè)試集圖像（2 040×1 560 pixels）或者單張GOPRO測(cè)試集圖片（1 280×720 pixels）都僅需要0.05 s左右。本文提出的UDBD-Net網(wǎng)絡(luò)是一個(gè)兩階段的去模糊網(wǎng)絡(luò)，需要準(zhǔn)確估計(jì)模糊核信息，以輔助圖像去模糊，所以要比一般的端到端模型更為復(fù)雜。雖然UDBD-Net模型由于更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)以及頻域轉(zhuǎn)換操作使得模型推理速度變慢，但是推理速度仍然在可以接受的范圍內(nèi)，且算法的性能與端到端網(wǎng)絡(luò)相比得到了很大的提升。尤其在GOPRO數(shù)據(jù)集圖片上，UDBD-Net去模糊結(jié)果的PSNR值比SRN［16］中的算法提高了4.12 dB。圖5表示DIV2K數(shù)據(jù)集和GOPRO數(shù)據(jù)集在模糊寬度σ在1.8~3.2之間不同模糊程度的平均PSNR值折線圖。從圖5中也可以看出提出的UDBD-Net在不同離焦模糊程度下的去模糊結(jié)果都是最好的。

表1 不同算法的去模糊客觀性能指標(biāo)對(duì)比Tab.1 Comparison of objective performance indicators of different algorithms

圖5 不同模糊程度下PSNR值對(duì)比Fig.5 Comparison of PSNR under different blurring degrees

關(guān)于均勻離焦去模糊模型主觀的評(píng)價(jià)指標(biāo)，主要關(guān)注模型去模糊結(jié)果的細(xì)節(jié)性和自然性。圖6和圖7分別是UDBD-Net與其他模型在DIV2K數(shù)據(jù)集和GOPRO數(shù)據(jù)集上的均勻離焦去模糊結(jié)果對(duì)比圖，從圖中可以看出UDBD-Net對(duì)比其他去模糊算法，獲得了最好的結(jié)果。從圖6和圖7中可以看出，SelfDeblur［20］算法結(jié)果都存在明顯的模糊以及大量的噪點(diǎn)。從圖6中的部分建筑的放大圖可以看出，DeepDeblur［15］，SRN［16］和NAFNet［17］三個(gè)端到端網(wǎng)絡(luò)都能夠去除部分的噪點(diǎn)和偽影等錯(cuò)誤信息，但同時(shí)也丟失了部分高頻信息，導(dǎo)致出現(xiàn)細(xì)節(jié)紋理消失的現(xiàn)象；而FWD［23］去模糊的結(jié)果保留了更多的圖像紋理細(xì)節(jié)，但同時(shí)也存在明顯的偽影和振鈴現(xiàn)象。在圖6和圖7中，對(duì)比UDBD-Net去模糊結(jié)果與其他算法的結(jié)果，可以明顯發(fā)現(xiàn)本文提出的UDBDNet模型，能夠還原出了圖像更多細(xì)節(jié)紋理的信息，并且能夠去除偽影、振鈴以及噪點(diǎn)等錯(cuò)誤信息，使得復(fù)原的圖像更加清晰自然。此外，結(jié)果最好的兩個(gè)模型UDBD-Net以及FWD［23］算法都是兩階段去模糊算法，由此可以推出在能夠準(zhǔn)確地估計(jì)并充分利用輸入圖像的模糊核信息的情況下，兩階段的去模糊網(wǎng)絡(luò)的效果要優(yōu)于端到端的網(wǎng)絡(luò)。

圖6 DIV2K數(shù)據(jù)集中測(cè)試圖片的去模糊視覺結(jié)果Fig.6 Visual results of a test image in DIV2K

圖7 GOPRO數(shù)據(jù)集中測(cè)試圖片的去模糊視覺結(jié)果Fig.7 Visual results of a test image in GOPRO

3.4 真實(shí)圖像去模糊實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證UDBD-Net模型的性能，使用真實(shí)的離焦模糊圖像進(jìn)行去模糊實(shí)驗(yàn)。實(shí)驗(yàn)中使用的真實(shí)模糊圖像是半導(dǎo)體顯示面板真實(shí)產(chǎn)線上，導(dǎo)電粒子檢測(cè)過程中線掃相機(jī)所拍攝到的離焦模糊圖像。圖8是UDBD-Net與其他模型對(duì)真實(shí)模糊圖像的去模糊結(jié)果對(duì)比圖。如圖8（e）所示，本文所提出的UDBD-Net對(duì)于真實(shí)均勻離焦模糊圖像具有較好的去模糊效果，復(fù)原的圖像自然，幾乎沒有偽影。圖8中（f）UDBD*表示使用UDBD-Net模型迭代3次的結(jié)果，從圖中可以明顯看出，迭代3次后的去模糊圖像更加清晰，且沒有增加明顯的偽影。對(duì)圖8中各模型的去模糊圖像進(jìn)行導(dǎo)電粒子檢測(cè)實(shí)驗(yàn)，實(shí)驗(yàn)中導(dǎo)電粒子檢測(cè)算法采用相同的參數(shù)，最終實(shí)驗(yàn)結(jié)果如圖9所示。從圖9（e）和圖9（f）可以看出，經(jīng)過UDBD-Net去模糊之后的圖像在導(dǎo)電粒子檢測(cè)中的表現(xiàn)要好于去模糊之前的模糊圖像；經(jīng)過UDBD-Net迭代3次后的去模糊圖像相較于只迭代1次的圖像，其粒子檢測(cè)結(jié)果有大幅提升。DeepDeblur［15］，SRN［16］和FWD［23］三個(gè)模型的去模糊結(jié)果都存在嚴(yán)重的偽影問題，所以在導(dǎo)電粒子檢測(cè)中出現(xiàn)大量誤檢，無法在實(shí)際生產(chǎn)中使用。

圖8 真實(shí)模糊圖像的去模糊視覺結(jié)果Fig.8 Visual results of a true blurred image

3.5 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)固定模糊核估計(jì)網(wǎng)絡(luò)，對(duì)UDBDNet網(wǎng)絡(luò)中的DFWD模塊、FRM模塊的有效性進(jìn)行研究。首先分別用移除FRM模塊、替換DFWD模塊為FWD模塊等方式對(duì)UDBD-Net網(wǎng)絡(luò)進(jìn)行改造。對(duì)改造后的模型進(jìn)行重新訓(xùn)練，并對(duì)訓(xùn)練好的模型進(jìn)行去模糊測(cè)試，其中測(cè)試圖片是應(yīng)用了Gaussian8［25］模糊核的GOPRO測(cè)試集圖片。本文在消融實(shí)驗(yàn)中依然使用PSNR和SSIM作為去模糊模型的評(píng)價(jià)指標(biāo)。

如表2所示，將DFWD模塊換成FWD模塊之后，模型的測(cè)試結(jié)果的PSNR比完整的的UDBD-Net網(wǎng)絡(luò)下降1.27 dB；將FRM中上下采樣操作去除后模型去模糊結(jié)果的PSNR下降6 dB左右。SSIM指標(biāo)在網(wǎng)絡(luò)改造后都有輕微的下降。綜上所述，UDBD-Net網(wǎng)絡(luò)中的DFWD模塊，F(xiàn)RM模塊都對(duì)提升UDBD-Net的去模糊性能有很大幫助。

表2 消融實(shí)驗(yàn)結(jié)果Tab.2 Results of ablation experiment

4 結(jié) 論

本文的工作主要是提出一個(gè)針對(duì)于均勻離焦模糊的圖像的兩階段去模糊網(wǎng)絡(luò)UDBDNet。該網(wǎng)絡(luò)使用深度回歸網(wǎng)絡(luò)準(zhǔn)確估計(jì)均勻離焦圖像的模糊核，并通過神經(jīng)網(wǎng)絡(luò)估計(jì)特征維納反卷積公式中的未知量，改進(jìn)反卷積網(wǎng)絡(luò)的性能，最后通過編碼解碼網(wǎng)絡(luò)進(jìn)一步去除錯(cuò)誤信息，復(fù)原出清晰的圖像。通過實(shí)驗(yàn)表明，UDBD-Net對(duì)于不同離焦程度的合成圖像下都能獲得清晰自然，偽影少的結(jié)果，在DIV2K和GOPRO測(cè)試集圖片上的PSNR分別達(dá)到31.16 dB和36.16 dB。對(duì)于真實(shí)離焦圖像而言，需要使用UDBD-Net模型迭代推理三次，才能得到較理想的去模糊效果。在未來的工作中，將改善網(wǎng)絡(luò)結(jié)構(gòu)，以提高模型對(duì)于真實(shí)模糊圖像的單次復(fù)原能力，并且嘗試研究非均勻離焦模糊圖像復(fù)原。