孫季豐 朱雅婷 王愷

(華南理工大學(xué) 電子與信息學(xué)院，廣東 廣州 510640)

圖像去模糊技術(shù)在交通管理、目標檢測、視頻監(jiān)控等方面起著極其重要的作用。生活中難免因為某些因素接收到模糊圖像，給生活和研究帶來不便。例如，車輛在行駛中由于車和路旁物體間的相對運動，且往往伴有抖動的情況，所攝圖像存在運動模糊，這不利于司機判斷路況。因此，對模糊圖像進行去運動模糊處理，具有一定現(xiàn)實意義。

傳統(tǒng)去運動模糊方法往往都基于對清晰圖像的先驗假設(shè)，從而估計出相應(yīng)的運動模糊核，然后將其與清晰圖像卷積，再疊加噪聲，最終獲得運動模糊圖像。其模糊核估計過程很繁雜，且去模糊效果很大程度上依賴于對圖像的先驗假設(shè)，很難泛化到其它模糊類型。文獻[1]試圖通過對模糊源的簡單假設(shè)來參數(shù)化模糊模型，他們認為模糊只是由3D相機運動引起的。然而，在動態(tài)場景中，模糊核估計更具挑戰(zhàn)性，因為存在多個移動物體以及相機運動。文獻[2]基于模糊核大小通常小于圖像尺寸的先驗知識，使用變分貝葉斯近似來對模糊核估計進行約束，從而恢復(fù)出真實圖像，但其復(fù)原圖像細節(jié)不夠清晰。文獻[3]引入相機抖動分類，利用重疊添加的空間變異過濾框架，介紹了一種適用于空間變化模糊的盲去卷積方法。

近年來，基于深度學(xué)習(xí)的圖像去模糊方法也不斷被提出。Sun等[4]使用卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)來預(yù)測運動模糊的概率分布，并通過圖像旋轉(zhuǎn)設(shè)計和馬爾可夫隨機場模型來推斷運動模糊場，實現(xiàn)了復(fù)雜的去運動模糊，但其去模糊處理過程耗時過長。隨著對抗神經(jīng)網(wǎng)絡(luò)(Generative Adversarial Network，GAN)在圖像生成及圖像翻譯領(lǐng)域中的興起，許多文獻利用GAN從事圖像去模糊工作的研究。Nah等[5]結(jié)合多尺度CNN和GAN訓(xùn)練的方法實現(xiàn)了動態(tài)場景去模糊，去模糊效果良好，但處理時間較長。文獻[6]提出了一種基于條件生成對抗網(wǎng)絡(luò)(conditional GAN，cGAN)和感知損失的去模糊方法，獲得較好的視覺效果及較高的峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似性(Structural Similarity Index，SSIM)指標，但去模糊后的圖像同樣存在邊緣模糊問題，且由于該方法沒有使用像素空間上的L2損失，其復(fù)原圖像的PSNR不是很高。

本研究對文獻[6]的DeblurGAN網(wǎng)絡(luò)進行修改，通過對文獻[6]生成網(wǎng)絡(luò)的標準卷積層進行低秩分解(即：將原來的3*3卷積改成瓶頸結(jié)構(gòu)[7]，并在瓶頸結(jié)構(gòu)內(nèi)進行低秩分解)，從而減少網(wǎng)絡(luò)參數(shù)量和計算量，加快網(wǎng)絡(luò)收斂。同時在網(wǎng)絡(luò)的卷積層和相應(yīng)轉(zhuǎn)置卷積層之間添加兩個對稱跳躍連接，充分融合網(wǎng)絡(luò)淺層的圖像信息，從而減少圖像信息丟失，保證去模糊效果。此外，本研究為解決DeblurGAN復(fù)原圖像邊緣不清晰問題，向原網(wǎng)絡(luò)損失函數(shù)加入互信息損失和梯度圖像L1損失，使模糊圖像的隱含特征能夠更好地表征輸入圖像的信息，從而獲得更清晰的去模糊圖像，最后通過實驗對文中算法的有效性進行了驗證。

1 相關(guān)理論

1.1 基于cGAN的圖像去運動模糊

1.1.1圖像盲去模糊

圖像的運動模糊模型可用式(1)表示：

IB=k(M)*IS+N

(1)

式中：*代表卷積操作，IB為模糊圖像，k(M)表示運動模糊核，IS表示潛在的清晰圖像，N為加性噪聲。

圖像去模糊就是從觀察到的模糊圖像中恢復(fù)出潛在清晰圖像的過程。但現(xiàn)實中模糊核往往是未知的，因此，圖像盲去模糊需同時估計潛在的清晰圖像和模糊核。

1.1.2基于cGAN的圖像盲去運動模糊模型

基于cGAN的圖像去運動模糊網(wǎng)絡(luò)能夠?qū)W習(xí)模糊圖像到清晰圖像的映射關(guān)系，其基本框架如圖1所示。含加性噪聲的模糊圖像B經(jīng)由生成器G可獲得生成圖像G(B)，然后將生成圖像G(B)和對應(yīng)的基準清晰圖像S輸入到判別器，判別器輸出一個標量值，該值代表判別器將輸入判為清晰圖像S的概率。再用判別器的判斷結(jié)果指導(dǎo)生成器不斷學(xué)習(xí)模擬基準的清晰圖像的分布，直到判別器難以辨別清晰圖像S和生成圖像G(B)，即可認為網(wǎng)絡(luò)已達最優(yōu)狀態(tài)。

圖1 基于cGAN的圖像盲去運動模糊的基本框架

Fig.1Basic framework ofimage blind motion deblurring based on cGAN

本研究采用cGAN訓(xùn)練方式來進行圖像去運動模糊實驗，其中，生成器由多個卷積層構(gòu)成，本研究將生成器的一部分卷積層改成瓶頸結(jié)構(gòu)并對其進行低秩分解，同時在生成器網(wǎng)絡(luò)中添加了全局對稱跳躍連接[8]，判別器由卷積識別網(wǎng)絡(luò)組成。

2 本研究的去運動模糊網(wǎng)絡(luò)模型

2.1 生成器

2.1.1生成器網(wǎng)絡(luò)結(jié)構(gòu)

本研究的生成器網(wǎng)絡(luò)架構(gòu)如圖2所示，主要由兩組3*1和1*3卷積塊、9個LR_ResBlock和兩組3*1和1*3轉(zhuǎn)置卷積塊構(gòu)成，每個LR_ResBlock由1個1*1的卷積層、1個3*1卷積層、1個1*3卷積層和1個1*1卷積層構(gòu)成，且將LR_ResBlock的輸入和輸出進行了殘差連接。本研究將DeblurGAN首尾的3*3卷積進行了標準的低秩分解，而LR_ResBlock為本研究對DeblurGAN的殘差模塊(ResBlock)進行修改后所采用的結(jié)構(gòu)，所作修改如下：在維持與DeblurGAN感受野相同的情況下，將原來ResBlock的3*3標準卷積改成瓶頸結(jié)構(gòu)，且瓶頸結(jié)構(gòu)中采用了3*1和1*3的卷積低秩分解，從而有效減少網(wǎng)絡(luò)的參數(shù)量和計算量，如圖3所示，圖中X為LR_ResBlock的輸入，D表示低秩分解的卷積核個數(shù)，卷積核大小d=3。

由于對網(wǎng)絡(luò)進行壓縮和加速可能會導(dǎo)致PSNR和SSIM指標的下降，為獲得較高的圖像保真度，本研究在網(wǎng)絡(luò)前端的卷積塊和其對應(yīng)的轉(zhuǎn)置卷積塊之間添加了兩個對稱跳躍連接(圖2的紅線部分)，從而充分地利用網(wǎng)絡(luò)淺層的圖像信息，以便獲得更好的去模糊效果。

LR_ResBlock的輸入特征圖首先經(jīng)過第一個1*1的卷積操作后，通道數(shù)降為m1，這樣有利于減少網(wǎng)絡(luò)的計算量，而網(wǎng)絡(luò)更深層的LR_ResBlock的輸入通道更多，其降維效果更明顯。接著通過3*1和1*3的卷積低秩分解操作，進一步減少計算量，再經(jīng)實例規(guī)一化和ReLU[9]激活，然后通過1*1的逐點卷積操作將上層的m2個通道的特征信息進行融合，并在其后采用Dropout[10]技術(shù)，從而有效加入高斯噪聲，模擬抖動分布，防止GAN崩潰，最后將LR_ResBlock的輸入和Dropout的輸出進行殘差連接求和作為整個LR_ResBlock的輸出。

圖2 生成器網(wǎng)絡(luò)架構(gòu)

(a)DeblurGAN使用標準卷積的ResBlock

(b)文中使用低秩分解的LR_ResBlock

2.1.2生成器網(wǎng)絡(luò)參數(shù)量和計算量

標準卷積的低秩分解如圖4所示。圖中，*表示卷積運算；C、W、H分別為輸入的通道數(shù)、寬和高；d為分解前的卷積核大小；N、W0和H0分別為輸出的通道數(shù)、寬和高；D為低秩分解的卷積核個數(shù)。通過計算得到標準卷積低秩分解的計算量壓縮比表達式為

(2)

當確定好C、N、d、W和W0的值時，分解個數(shù)D越小，計算量壓縮比R越大。

(a)標準卷積

(b)低秩分解

文中LR_ResBlock并非簡單地對DeblurGAN中ResBlock的兩個3*3標準卷積直接采用圖4常規(guī)低秩分解來得到多個級聯(lián)的3*1和1*3低秩卷積層，再進行堆疊，這樣確實會帶來一定壓縮加速效果，但會因過多低秩分解且沒有足夠的通道間的信息交流而導(dǎo)致網(wǎng)絡(luò)更深層提取的信息不足，使生成網(wǎng)所恢復(fù)的圖像質(zhì)量欠佳。文中LR_ResBlock是將標準卷積轉(zhuǎn)換成瓶頸結(jié)構(gòu)，并在瓶頸結(jié)構(gòu)中使用低秩分解，從而進一步減少計算量和參數(shù)量，同時LR_ResBlock結(jié)構(gòu)中最后的1*1逐點卷積還可將各通道的信息進行融合，以獲得更佳的圖像質(zhì)量，充分考慮了速度和質(zhì)量兩方面因素。

將DeblurGAN中ResBlock的兩個3*3卷積的輸出特征圖大小均記為DF×DF，文中LR_ResBlock的每一步輸出大小也為DF×DF。將DeblurGAN1個ResBlock和文中1個LR_ResBlock的參數(shù)量和計算量分別記為para1、Computation1，para2和Computation2，得：

para1=C×d×d×N+N×d×d×N=

(C+N)d2N

(3)

(4)

para2=C×m1+m1×d×1×D+D×1×d×

m2+m2×N

(5)

Computation2=(C×m1+m1×d×1×D+

D×1×d×m2+m2×N)×DF×DF

(6)

將文中1個LR_ResBlock對DeblurGAN中ResBlock的參數(shù)壓縮比和計算量壓縮比分別記為rp和rc，因為C=N，故：

D+D×1×d×m2+m2×N)=

(7)

D×d(m1+m2)×DF×DF]=rp

(8)

DeblurGAN中，C=N=256、d=3、DF=64。文中C、N、d、DF的取值均和DeblurGAN相同，m1=m2=64，則有：

(9)

考慮圖2的整個生成器網(wǎng)絡(luò)，則本研究引入圖3所示的采用低秩分解的LR_ResBlock之后，整個生成器網(wǎng)絡(luò)的計算量和參數(shù)量如表1所示。DeblurGAN網(wǎng)絡(luò)的相應(yīng)信息如表2所示。表中，CV、CT、P1和P2分別表示卷積層和轉(zhuǎn)置卷積層、DeblurGAN的生成網(wǎng)絡(luò)和本研究生成網(wǎng)絡(luò)的總參數(shù)量；C1表示DeblurGAN的生成網(wǎng)絡(luò)的總計算量，C2為本研究的生成網(wǎng)絡(luò)的總計算量。將本研究生成網(wǎng)絡(luò)對DeblurGAN生成網(wǎng)絡(luò)的總參數(shù)量壓縮比和總計算量壓縮比分別記為Rp和Rc。由表中數(shù)據(jù)可知，文中方法的參數(shù)量和計算量相對DeblurGAN分別壓縮至約3.25%和約5.32%，可由以下兩個式子算出：

(10)

(11)

表1文中方法的生成器網(wǎng)絡(luò)各層參數(shù)量和計算量

Table1Parameters and calculation for each layer of the generator network of the methods in the paper

網(wǎng)絡(luò)層輸出通道輸出尺寸堆疊數(shù)參數(shù)量/103計算量/108各網(wǎng)絡(luò)層的總參數(shù)量P1/103各網(wǎng)絡(luò)層的總計算量C1/108輸入3256Cv7*76425619.46.2Cv3*18128×25611.60.5Cv1*312812813.10.5Cv3*1864×12813.10.3Cv1*32566416.20.3LR_ResBlock25664935.841.47CT 3*18128×6416.20.5CT 1*312812813.10.5CT 3*18256×12813.11.0CT 1*36425611.61.0Cv7*7325619.46.2369.3630.23

表2DeblurGAN的生成器網(wǎng)絡(luò)各層參數(shù)量和計算量

Table2Parameters and calculation for each layer of the generator network of the DeblurGAN

網(wǎng)絡(luò)層輸出通道輸出尺寸堆疊數(shù)參數(shù)量/103計算量/108各網(wǎng)絡(luò)層的總參數(shù)量P1/103各網(wǎng)絡(luò)層的總計算量C1/108輸入3256Cv7*76425619.416.17Cv3*3128128173.7312.08Cv3*3256641294.912.08ResBlock256649 1179.6548.32CT 3*31281281294.948.32CT 3*364256173.7348.32Cv7*7325619.416.1711372.91568

2.2 判別器網(wǎng)絡(luò)

判別器網(wǎng)絡(luò)用來判別其輸入圖像是否清晰，文中的判別器網(wǎng)絡(luò)是一個使用梯度懲罰機制的具有5個卷積層的馬爾科夫片判別器(Markovian Patch Discriminator[11])，并將其記為PatchGAN，如圖5所示。在把圖像輸入進判別器之前，首先將整張圖像隨機裁剪成多個F×F的局部圖像塊(patch)，判別器只在patch的尺度上加入懲罰結(jié)構(gòu)，用來鑒別圖像中一個F×F的局部塊是否清晰。用判別器對整張圖像進行卷積，并對所有patch的判斷結(jié)果取平均值作為對整張圖像的最終判斷結(jié)果。當判別器輸出的概率值大于0.5時，即可認為輸入圖像為清晰圖像，否則判為模糊圖像。其中，F(xiàn)可以比整張圖像的尺寸小得多，也仍能產(chǎn)生高質(zhì)量的結(jié)果。這是因為更小的PatchGAN有著更少的參數(shù)，跑得更快，并且能夠應(yīng)用到任意大小的圖像中。經(jīng)多次迭代實驗后，文中取F=256。

圖5 判別器網(wǎng)絡(luò)

2.3 損失函數(shù)

2.3.1對抗訓(xùn)練損失

(1)對抗損失

文中采用具有梯度懲罰項的WGAN-GP[12]作為對抗損失函數(shù)，加入梯度懲罰可防止GAN崩潰，WGAN-GP可通過式(12)計算：

(12)

(2) 條件損失

一個成功的清晰圖像生成器，必須能夠成功欺騙判別器，讓判別器無法區(qū)分所輸入的圖像是否清晰，文中的條件損失函數(shù)可用式(13)求出，其訓(xùn)練目標是最大化判別器將生成圖像判為真實清晰圖像的概率。

《議定書》推動中國—東盟自由貿(mào)易區(qū)升級發(fā)展。但是，《議定書》并未涉足TPP開創(chuàng)和引領(lǐng)的多個“邊境后”規(guī)則，并未改變中國—東盟自由貿(mào)易區(qū)以邊境規(guī)則為主，屬于傳統(tǒng)關(guān)稅治理協(xié)議范疇的屬性。事實上，我國建立中國(上海)自由貿(mào)易試驗區(qū)的初衷之一，就是順勢利用全球經(jīng)貿(mào)規(guī)則新高地TPP帶來的倒逼改革效應(yīng)，在國內(nèi)建設(shè)能夠?qū)薚PP高標準、高要求的新開放高地。而且，中國—東盟自由貿(mào)易區(qū)在關(guān)稅領(lǐng)域的改進空間非常有限，升級版建設(shè)應(yīng)該以更高的開放水平為目標，嘗試性、試驗性、漸進性推動更大領(lǐng)域的雙邊市場開放與管制對接。

(13)

式中，B表示輸入的模糊圖像。該損失函數(shù)幫助生成器在給定輸入的模糊圖像情況下，在其輸入和輸出之間保持高度統(tǒng)計一致性，從而使生成器G保持輸出對輸入的模糊圖像的依賴性，以適應(yīng)不同種類和數(shù)量的抖動模糊，并防止它在“欺騙”鑒別器的過程中搖擺太遠，從而成功模擬出真實清晰圖像集的分布。

所以本研究的對抗訓(xùn)練損失為

LGAN=Ladv+Lcondition

(14)

2.3.2內(nèi)容損失

為維持圖像的內(nèi)容保真度，本研究在網(wǎng)絡(luò)的內(nèi)容損失函數(shù)上繼續(xù)沿用文獻[6]的感知損失。同時本研究希望生成器的編碼過程提取盡量多的專屬于原始輸入圖像的重要特征，進而通過該特征指導(dǎo)后續(xù)解碼出清晰圖像?？紤]到互信息可用來考察兩個變量間的相關(guān)性，因此本研究引入互信息損失，通過最大化模糊圖像和其隱含特征之間的互信息，即最大化它們之間的相關(guān)性，使模型提取出較好的隱含特征用于復(fù)原圖像。此外，為使恢復(fù)圖像有更好的邊緣特征，本研究引入生成圖像和真實清晰圖像間的梯度圖像L1損失。故本研究的內(nèi)容損失函數(shù)為

Lcontent=Lperceptual+a1Linf+a2Lgrad

(15)

其中：Lperceptual、Linf和Lgrad分別代表感知損失、互信息損失和梯度圖像L1損失，系數(shù)a1=0.5、a2=0.5。

(1)感知損失

感知損失是真實的清晰圖像和生成器所得的去模糊圖像經(jīng)深卷積層激活后所得的特征圖之間的歐幾里得距離，本研究采用的深卷積層為在ImageNet上的VGG19[13]預(yù)訓(xùn)練網(wǎng)絡(luò)模型的卷積層。感知損失的計算公式如下：

Φi，j(G(B))x，y]2

(16)

其中，Φi，j是輸入圖像向前傳遞到VGG19網(wǎng)絡(luò)的第j個卷積層(在第i個最大池化層之前)再經(jīng)ReLU激活后輸出的特征圖，Wi，j和Hi，j分別為該特征圖的寬和高，S和G(B)分別表示真實清晰圖像和生成器所得的去模糊圖像，x和y分別為特征圖上的像素點的x坐標和y坐標，本研究采用Φ3，3特征圖來計算感知損失。

(2)互信息損失

本研究只考慮最后一個LR_ResBlock的輸出特征圖這個隱含特征。用X表示輸入的模糊圖像的集合，x∈X代表輸入的某個模糊圖像，Z為隱含特征的集合，z∈Z表示其中某個隱含特征，p(z|x)為x經(jīng)生成器所提取的隱含特征的分布，則可通過互信息來衡量X和Z的相關(guān)性，本研究計算互信息時采用的對數(shù)底數(shù)為自然常數(shù)e，表示互信息的單位是奈特，其表達式如式(17)所示：

(17)

要獲得好的隱含特征，則應(yīng)最大化該特征與輸入之間的互信息：

(18)

將式(17)稍作變換，則互信息可表示為

(19)

(20)

(21)

式中的JS散度可參照文獻[14]，通過式(22)計算：

[ln(1-σ(T(x，z)))])}

(22)

式(22)的含義就是負采樣估計[15]，其中σ(T(x，z))是由4個全連接層構(gòu)成的判別網(wǎng)絡(luò)，模糊圖像x及其對應(yīng)的隱含特征z作為一個正樣本對，而x及隨機抽取的z則為負樣本對，式(22)最大化似然函數(shù)，就等價于最小化交叉熵。

(3)梯度圖像L1損失

由于清晰圖像具有顯著的邊緣特征，而模糊圖像的邊緣特征比較雜亂，故本研究在文獻[6]的損失函數(shù)基礎(chǔ)上，還引入了梯度圖像的L1距離，將其作為圖像去模糊的正則約束，有助于獲得具有清晰邊緣特征的生成圖像。本研究采用的梯度算子為Sobel算子，梯度圖像的計算公式如下：

(23)

文中的梯度圖像L1損失的計算公式為

(24)

2.3.3總體損失函數(shù)

網(wǎng)絡(luò)總體損失函數(shù)為對抗訓(xùn)練損失和內(nèi)容損失的線性組合，表達式如下：

L=LGAN+λ*Lcontent

(25)

實驗證明對抗訓(xùn)練損失和內(nèi)容損失相差100倍左右，故式中選λ=100。

3 實驗結(jié)果與分析

使用GOPRO[5]數(shù)據(jù)集進行網(wǎng)絡(luò)訓(xùn)練和驗證。GOPRO數(shù)據(jù)集由模糊-清晰圖像對組成，其中訓(xùn)練集2103對、驗證集1111對。文中將訓(xùn)練所得模型對GOPRO驗證集的復(fù)原結(jié)果與同類方法進行了比較；然后對自制的200張車載模糊圖像測試集進行去模糊，并使用SSD[16]檢測框架對去模糊前后的圖像進行檢測，比較準確率的變化，從而證明方法的有效性。

3.1 實驗數(shù)據(jù)集預(yù)處理

文中對訓(xùn)練的圖像數(shù)據(jù)進行隨機裁剪和縮放、水平翻轉(zhuǎn)和隨機角度旋轉(zhuǎn)等數(shù)據(jù)增強處理，以增強網(wǎng)絡(luò)泛化能力，并最終將清晰圖像和模糊圖像的像素值歸一化為[0，1]的范圍，且將圖像數(shù)據(jù)封裝成二進制格式再送入網(wǎng)絡(luò)進行訓(xùn)練，以加快網(wǎng)絡(luò)的數(shù)據(jù)讀取速度，加快網(wǎng)絡(luò)訓(xùn)練。

3.2 實驗網(wǎng)絡(luò)參數(shù)設(shè)置及實現(xiàn)細節(jié)

文中在Ubuntu系統(tǒng)下用Pytorch深度學(xué)習(xí)框架進行實驗，GPU為英偉達1080Ti。實驗采用自適應(yīng)矩陣估計(Adaptive Moment Estimation，Adam)作為優(yōu)化器，每對判別器進行5次梯度下降優(yōu)化更新后，再對生成器進行1次更新，網(wǎng)絡(luò)迭代訓(xùn)練250輪后收斂。生成器和判別器網(wǎng)絡(luò)初始學(xué)習(xí)率均設(shè)為10-4，經(jīng)150次迭代訓(xùn)練后，在接下來100輪訓(xùn)練中線性衰減學(xué)習(xí)率為零，采用Dropout策略和實例歸一化進行訓(xùn)練，batch size=4。此外，本研究借鑒文獻[17]的全局監(jiān)督低秩分解重構(gòu)策略，以網(wǎng)絡(luò)輸入的標簽信息(即基準清晰圖像標簽)作為監(jiān)督信息來逐層訓(xùn)練低秩分解層，從而有效減少傳統(tǒng)低秩分解的重構(gòu)過程中因擬合原始網(wǎng)絡(luò)層輸出而忽視網(wǎng)絡(luò)輸入的標簽信息所帶來的累積誤差。最終本研究網(wǎng)絡(luò)訓(xùn)練時長為4d。

3.3 實驗結(jié)果分析

為驗證文中所提去模糊網(wǎng)絡(luò)的有效性，分別使用文中方法、Sun等的方法、Nah等的方法及DeblurGAN方法，對GOPRO驗證集進行去模糊處理，并將處理結(jié)果進行主觀視覺效果比較，同時還進行了PSNR及SSIM兩項圖像質(zhì)量全參考客觀評價指標的定量對比分析，并統(tǒng)計各方法的測試運行時間；接著，對真實場景下的200張模糊車載圖像測試集進行去模糊，并用信息熵[18]和平均梯度2個圖像質(zhì)量無參考客觀指標來比較不同方法的去模糊效果；最后用SSD檢測框架對去模糊前后的圖像進行檢測，進一步比較不同方法的去模糊效果。

3.3.1復(fù)原圖像的主觀效果對比

對GOPRO驗證集進行了去模糊處理，并將處理結(jié)果進行局部放大來對比主觀視覺效果，圖6所示為其中3幅模糊圖像的實驗結(jié)果。

比較圖6所示實驗結(jié)果可看出，Sun等的方法去運動模糊后的圖像存在一定失真，且邊緣較模糊；DeblurGAN方法的去模糊結(jié)果圖像邊緣特征也不明顯；Nah等的方法處理結(jié)果最好；文中方法的復(fù)原圖像的保真度也較高，同時不存在偽影現(xiàn)象，邊緣特征顯著，這是因為本研究的損失函數(shù)不僅考慮了有助于圖像保真的感知損失和互信息損失，還考慮了有助于恢復(fù)邊緣特征的梯度圖像L1損失，從而獲得較好的去運動模糊效果。圖6(a)中，文中方法和Nah等的方法所復(fù)原的車牌字符邊緣更清晰；圖6(b)中，Sun等的方法所得復(fù)原圖像的窗戶紋理不夠清晰，而文中方法及其他兩種方法的結(jié)果更清晰；圖6(c)中，Sun等的方法所復(fù)原的墻壁仍有偽影，而文中方法沒有偽影，且磚塊線條比DeblurGAN清晰，光線色彩度更飽滿。

3.3.2全參考圖像質(zhì)量客觀評價及運行時間

不同去模糊方法在GOPRO驗證集的PSNR、SSIM和運行時間的實驗結(jié)果如表3所示。

表3不同方法在GOPRO驗證集上的全參考圖像質(zhì)量客觀評價及運行時間

Table3Objective evaluation of full-reference image quality and running time of different methods on the GOPRO validation dataset

評價指標Sun等的方法Nah等的方法DeblurGAN方法文中方法PSNR/dB24.528.125.3825.92SSIM0.7210.840.8140.781運行時間/s451.761.630.320.106

表3中所示的每個評價指標數(shù)據(jù)均為整個GOPRO驗證集上的平均值。由表3可見，文中方法獲得的PSNR值比DeblurGAN高，這得益于本研究采用的互信息損失和梯度圖像L1損失；Nah等的方法的處理效果最好，但運行時間較長；而文中方法運行時間最快，平均每張圖像的處理速度分別是DeblurGAN方法的3倍、Sun等的方法的4261倍、Nah等的方法的15倍，這得益于本研究采用的瓶頸結(jié)構(gòu)和其中的張量低秩分解技術(shù)。

3.3.3無參考圖像質(zhì)量客觀評價

用上述4種方法對200張現(xiàn)實場景的模糊車載圖像進行去模糊，并統(tǒng)計圖像平均信息熵和平均梯度，結(jié)果見表4。由表4可見，4種方法所得復(fù)原圖像的信息熵和梯度都比原圖高，但文中算法所復(fù)原圖像的平均信息熵高于DeblurGAN和Sun等的方法，僅次于耗時較長的Nah等的方法，表明所恢復(fù)圖像包含更多的信息；此外文中方法復(fù)原圖像的平均梯度也較高，僅次于Nah等的方法，說明文中方法相比于Sun等和DeblurGAN兩種方法，復(fù)原圖像的細節(jié)紋理更清晰，色彩更豐富。

表4不同方法的無參考圖像質(zhì)量客觀評價

Table4Objective evaluation of no-reference image quality of different methods

評價指標原圖像Sun等的方法Nah等的方法DeblurGAN方法文中方法信息熵6.9627.2317.5317.3137.452平均梯度5.0555.8936.9426.1126.411

3.3.4去模糊前后的目標檢測結(jié)果對比

最后，文中研究了圖像去模糊對目標檢測準確率的影響。用文中方法對200張模糊車載圖像測試集進行去模糊，并用SSD檢測框架分別對去模糊前后圖像進行檢測，置信度閾值設(shè)置為0.5。經(jīng)實驗驗證，文中方法所得復(fù)原圖像的檢測效果優(yōu)于DeblurGAN和Sun等的方法，準確效果和Nah等的方法相當，去模糊前的檢測準確率為71%，文中方法復(fù)原圖像的檢測準確率達82.7%。圖7所示為部分檢測結(jié)果。由圖7可見，去模糊前未檢測到的小目標和模糊物體經(jīng)文中方法去模糊之后被成功檢測到，同時置信度有所提高。如原模糊圖像1和Sun等的方法所復(fù)原的圖像1均只檢測到兩輛轎車，而文中方法和其余2種方法所復(fù)原的圖像1均被檢測到4輛汽車，且文中方法置信度比DeblurGAN方法高；原模糊圖像2只被檢測到2輛轎車，而經(jīng)4種去模糊方法分別處理后，前方3輛轎車被成功檢測到，且文中方法和Nah等的方法還檢測到后方的卡車。

(a)圖像1

(b)圖像2

(c)圖像3

圖像1

圖像2(a)原模糊圖像

復(fù)原圖像1

復(fù)原圖像2(b)Sun等的方法的處理結(jié)果

復(fù)原圖像1

復(fù)原圖像2(c)Nah等的方法的處理結(jié)果

復(fù)原圖像1

復(fù)原圖像2(d)DeblurGAN方法的處理結(jié)果

復(fù)原圖像1

復(fù)原圖像2(e)文中方法的處理結(jié)果

Fig.7SSD object detection results before and after deblurring

4 結(jié)論

(1)文中提出的基于DeblurGAN和低秩分解的圖像去運動模糊方法，經(jīng)過分析DeblurGAN存在的不足，在其損失函數(shù)上加入互信息損失和梯度圖像L1損失，同時將DeblurGAN中的3*3標準卷積改為瓶頸結(jié)構(gòu)，并在瓶頸結(jié)構(gòu)內(nèi)進行低秩分解；此外，在預(yù)處理階段將圖像封裝成二進制格式，加快數(shù)據(jù)讀取速度，縮短了訓(xùn)練時長；經(jīng)實驗驗證，該方法在保證PSNR略高于DeblurGAN、SSIM值基本相同的情況下，網(wǎng)絡(luò)模型大小壓縮至DeblurGAN的3.25%，平均每張圖像處理速率提升3倍，使得對大量圖像進行去模糊時，可節(jié)省很多時間，且計算量的減少降低了對硬件計算能力的要求。

(2)通過用不同方法對200張現(xiàn)實場景的車載模糊圖像的去模糊處理，證明了文中方法所得圖像的信息熵和平均梯度均高于Sun等的方法和DeblurGAN方法。

(3)通過SSD檢測框架對去模糊前后的圖像進行檢測，結(jié)果表明，文中方法復(fù)原圖像的檢測效果優(yōu)于Sun等的方法和DeblurGAN方法，檢測準確率比去模糊前高11.7個百分點，這有助于車載圖像快速有效去模糊和智能輔助駕駛，且對移植到數(shù)碼照相機和手機等計算能力受限的系統(tǒng)進行照片去抖有一定現(xiàn)實意義。