張曉凱，楊鴻波，楊明浩，張 洋

(1.北京信息科技大學(xué) 自動化學(xué)院，北京 100192；2.中國科學(xué)院 自動化研究所，北京 100190)

0 引言

運動模糊是拍照時最常見的偽像類型之一，相機抖動和目標物體快速運動都會引起圖像運動模糊，消除模糊成為研究熱點。在深度學(xué)習(xí)之前，傳統(tǒng)的去模糊方法主要采用各種約束或正則化來逼近運動模糊核，這會涉及復(fù)雜的非線性優(yōu)化[1]，而且從模糊圖像復(fù)原清晰圖像是個病態(tài)的過程，往往要引入先驗知識[2]來進行約束。此外，模糊核估計過程對噪聲和飽和度異常敏感導(dǎo)致對模糊核的假設(shè)過于嚴格，這也讓圖像去模糊變得復(fù)雜與困難。Pan等[3]提出基于正則化先驗圖像去模糊算法，通過尋找模糊圖像的顯著邊緣達到去除圖像偽影的方式恢復(fù)圖像的質(zhì)量。Yan等[4]在此基礎(chǔ)上提出預(yù)測反卷積傅里葉系數(shù)來估計全局模糊核的方法，使得圖像復(fù)原過程有更強的魯棒性。

無論是基于先驗知識約束還是正則化的圖像去模糊方法，都需要大量參數(shù)調(diào)整和迭代優(yōu)化計算，如果去模糊建模假設(shè)過于簡單會影響圖像復(fù)原質(zhì)量，而過于復(fù)雜又會使適應(yīng)性變差。

近年來，基于深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[5]的方法在去模糊領(lǐng)域取得了巨大的成功。Sun等[6]提出基于卷積神經(jīng)網(wǎng)絡(luò)來估計模糊核的方法，實現(xiàn)運動圖像去模糊。Nah等[7]采用端到端的方式提出多尺度CNN去模糊模型，模仿傳統(tǒng)的從粗到精的優(yōu)化方法，極大地增加收斂性，在動態(tài)場景圖像去模糊中取得了顯著的成果。除此之外，生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)[8]在圖像重建和圖像復(fù)原領(lǐng)域展示了巨大的影響力。SRGAN[9]提出基于生成對抗網(wǎng)絡(luò)進行圖像超分辨重建的方法，生成的圖像保留了更多的細節(jié)信息，使圖像在視覺上更精細更真實。

受GAN啟發(fā)，本文設(shè)計了一種多尺度深度自編碼的生成器，該生成器通過在編碼和解碼過程中添加跳層鏈接，不僅解決了在圖像重建過程中特征信息丟失等問題，還加強了圖像顯著邊緣結(jié)構(gòu)。將該生成器引入到GAN中，通過采用端到端的方式使生成圖像和清晰圖像在視覺感官上更接近。實驗結(jié)果表明，該方法能有效改善運動模糊圖像的質(zhì)量，得到去除運動模糊的清晰圖像。

1 相關(guān)工作

1.1 圖像去模糊

圖像模糊的數(shù)學(xué)模型可以表示為

B=k(M)?S+N

(1)

式中：B為模糊圖像；k(M)為由運動M產(chǎn)生的模糊核；S為清晰原圖；N為引入噪聲；?為二維卷積運算。一般模糊圖像可以認為是清晰圖像和模糊核卷積加上隨機噪聲所得到的，圖像去模糊可以簡化為模糊圖像B反卷積求清晰圖像S的過程。圖像去模糊早期工作更多關(guān)注模糊核，根據(jù)模糊核k(M)是否已知分為非盲去模糊和盲去模糊兩大類。非盲去模糊，即模糊核k(M)已知，通過維納(Wiener)或者正則化(Tikhonov)濾波器進行反卷積得到清晰圖像S。而盲去模糊，模糊核是未知的，需要同時估計模糊核k(M)和清晰圖像S。實際上，模糊核通常是復(fù)雜且不均勻的，錯誤的核估計會直接影響圖像復(fù)原的質(zhì)量，容易產(chǎn)生振鈴偽影現(xiàn)象。

1.2 生成對抗網(wǎng)絡(luò)

(2)

式中：V(D,G)為真實樣本和生成樣本的差異；Pr為真實樣本分布；Pf為假樣本分布；E為N個樣本概率分布的期望。上述過程可表述為：固定G時，D盡可能地判別出所有的假樣本；在固定D時，G最小化生成樣本和真實樣本的差異。

1.3 深度自編碼卷積網(wǎng)絡(luò)

深度自編碼網(wǎng)絡(luò)是基于Encode-Decode結(jié)構(gòu)的CNN網(wǎng)絡(luò)，它能夠很好地學(xué)習(xí)到非線性特征，在特征提取及去噪中起到非常重要的作用。如圖1所示，深度自編碼網(wǎng)絡(luò)分為編碼結(jié)構(gòu)(Encoder)和解碼結(jié)構(gòu)(Decoder)兩部分。編碼結(jié)構(gòu)中，輸入數(shù)據(jù)通過網(wǎng)絡(luò)結(jié)構(gòu)轉(zhuǎn)換為特征圖，特征圖再經(jīng)過卷積和下采樣得到多層隱含特征信息(空間信息，語義信息)。解碼結(jié)構(gòu)中，根據(jù)編碼的有效特征信息經(jīng)過上采樣和卷積得到輸入數(shù)據(jù)重構(gòu)的特征信息。

圖1 深度自編碼卷積網(wǎng)絡(luò)示意圖

編碼結(jié)構(gòu)和解碼結(jié)構(gòu)可以分別表示為：

He(x)=Encode(x;ΦE)

(3)

Hd(x)=Decode(He(x);ΦD)

(4)

式中：Encode()為編碼網(wǎng)絡(luò)結(jié)構(gòu)；Decode()為解碼網(wǎng)絡(luò)結(jié)構(gòu)；ΦE和ΦD分別為編碼結(jié)構(gòu)和解碼結(jié)構(gòu)中的網(wǎng)絡(luò)參數(shù)；He(x)和Hd(x)分別為編碼結(jié)構(gòu)和解碼結(jié)構(gòu)輸出。

2 基于生成對抗網(wǎng)絡(luò)去模糊方法

2.1 總體框架

本文基于GAN的原理實現(xiàn)圖像去運動模糊，其核心思想是先將模糊圖像B輸入到生成器并將生成圖像和數(shù)據(jù)集中與模糊圖像配對的清晰圖像S一同輸入到判別器，訓(xùn)練相互對抗不斷優(yōu)化各自參數(shù)的神經(jīng)網(wǎng)絡(luò)。G的目標是生成視覺上更接近S的清晰圖像G(B)，即最小化G(B)和S的差異以混淆判別器；D的目標是更準確地辨別出S和G(B)。圖像去模糊總體模型框架如圖2所示。

圖2 圖像去模糊總體模型框架

2.2 生成器網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

基于深度自編碼卷積網(wǎng)絡(luò)的生成器通過對輸入圖像進行編碼得到通道數(shù)更長的特征向量，而該特征向量在解碼過程中因數(shù)據(jù)重構(gòu)往往會缺失空間、內(nèi)容等有效信息。因此本文在深度自編碼卷積網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，設(shè)計了如圖3所示的多尺度深度自編碼生成器。其一，添加同一維度跳層鏈接，不但加強特征空間、內(nèi)容信息在網(wǎng)絡(luò)層之間的傳遞，而且可有效地解決梯度消失等問題；其二，借鑒傳統(tǒng)圖像去模糊“粗到精”的思想，結(jié)合多尺度CNN模型結(jié)構(gòu)去運動模糊。

圖3所示的多尺度深度自編碼生成器依次將圖像分為粗糙、中等、精細3個水平，分別記為Stage1、Stage2、Stage3。實驗表明精細和中等圖像特征信息更有利于粗糙圖像去運動模糊。

記Si,j為第i階段、第j個卷積核尺寸為3×3的卷積層的輸出，即：

Si,j(xi,j)=BN[δ(ki,j?xi,j+bi,j)]

(5)

式中：xi,j為輸入的特征圖；ki,j為卷積核；bi,j為偏置項；δ為修正線性單元激活函數(shù)(ReLU)；BN為批量正則化函數(shù)。將第i+1階段的解碼特征和第i階段的編碼特征進行融合可表示為

(6)

本文對在同一階段不同尺寸特征圖分別使用跳層連接，目的主要是解決解碼過程上采樣特征信息丟失等問題。編碼其實是特征抽象過程，下采樣之前特征圖包含更多低級特征信息(邊界、輪廓)，經(jīng)過下采樣后特征圖則包含更多高層抽象特征信息。相反解碼是抽象特征恢復(fù)過程，特征尺寸變化必然會導(dǎo)致信息丟失，而跳層連接起到補充信息的作用，在高層抽象特征補充語義信息，底層特征補充邊緣輪廓信息，經(jīng)跳層連接后同一階段特征融合可表示為

i=1,2,3

(7)

本文中下采樣使用2×2的最大池化層(Maxpooling)，上采樣使用2×2的線性上采樣。通道數(shù)為256的特征圖采用改進的殘差網(wǎng)絡(luò)塊Resblock，目的是提高網(wǎng)絡(luò)訓(xùn)練的收斂速度。通道數(shù)為128的特征圖中引入瓶頸層，即先用1×1大小的卷積核，再用3×3大小卷積核，最后用1×1大小的卷積核，目的是通過減少網(wǎng)絡(luò)參數(shù)來降低計算量。

2.3 判別器模型結(jié)構(gòu)

判別器網(wǎng)絡(luò)模型不斷優(yōu)化生成器使生成圖像更接近真實圖像。該網(wǎng)絡(luò)主要有9個卷積層結(jié)構(gòu)，每個卷積層都添加LReLU激活函數(shù)，之后添加全連接層，最后添加Sigmoid激活函數(shù)將輸出映射到[0,1]之間，具體判別器網(wǎng)絡(luò)層次結(jié)構(gòu)如表1所示。

表1 判別器模型參數(shù)

2.4 損失函數(shù)

損失函數(shù)用來指導(dǎo)模型訓(xùn)練，對訓(xùn)練效果起著關(guān)鍵作用。本文采用的GAN[8]損失函數(shù)由內(nèi)容損失和對抗損失兩大部分加權(quán)而成，表示為：

Ltotal=Lcont+λLadv

(8)

式中：Ltotal為總的損失；Lcont為內(nèi)容損失；Ladv為對抗損失；λ為對抗損失函數(shù)的權(quán)重，在本實驗中λ=1×10-3。對抗損失通過不斷優(yōu)化生成器和判別器使生成圖像更接近真實圖像，將其表示為

[log[1-D(G(B))]]

(9)

式中：psharp(S)為清晰圖像的分布；pblur(B)為模糊圖像的分布。該損失函數(shù)使得生成圖像在視覺效果上更真實。

在內(nèi)容損失上，本文采用多階段損失函數(shù)?？紤]到Stage1模糊圖像和清晰圖像邊緣特征差異比較大，故在Stage1階段使用L1損失函數(shù)，該函數(shù)利用L1梯度正則化[14]約束低頻特征細節(jié)信息，保留圖像更多邊緣信息和結(jié)構(gòu)細節(jié)，將其表示為

(10)

本文在Stage2和Stage3使用L2損失損失函數(shù)，該損失函數(shù)有助于解決圖像生成時高頻特征信息缺失等問題。相較于L1損失，該損失函數(shù)訓(xùn)練生成的圖像更符合自然圖像的整體分布，細節(jié)也更逼真，將其表示為

(11)

式中：Li為第i階段生成器模型的輸出；Si為第i階段清晰圖像；ci為第i階段通道數(shù)；wi為第i階段寬；hi為第i階段高。最后，總損失函數(shù)定義為：

Ltotal=Lstage1+Lstage2+Lstage3+λLadv

(12)

3 實驗

3.1 實驗環(huán)境

本文實驗環(huán)境配置如表2所示。

表2 實驗環(huán)境配置

3.2 實驗數(shù)據(jù)集和訓(xùn)練參數(shù)設(shè)置

本次實驗采用公開的GOPRO數(shù)據(jù)集[5]和Kohler數(shù)據(jù)集[15]。GOPRO數(shù)據(jù)集是由Nal等用GOPRO4相機拍攝一系列連續(xù)視頻圖像累加高速視頻中的視頻幀，來模擬不同場景下運動模糊圖像的產(chǎn)生過程。該數(shù)據(jù)集共包含3 214對模糊圖像和清晰圖像，其中訓(xùn)練集2 103對，測試集1 111對，每對圖像分辨率為1 280×720。Kohler數(shù)據(jù)集是標準的基準數(shù)據(jù)集，該數(shù)據(jù)集可用于對非均勻去模糊模型進行定性評估。該數(shù)據(jù)集總共有48張圖像，是由4張原始圖像經(jīng)過12種不同模糊核卷積得到，可用來評估算法去模糊的程度。

在GOPRO訓(xùn)練集上進行測試前要將每對模糊圖像和清晰圖像隨機在相同位置裁剪出分辨率為256×256的圖像。首先進行單階段訓(xùn)練：將裁剪后的圖像對送入Stage1階段，256×256圖像對下采樣為128×128圖像對后送入Stage2階段，128×128圖像對下采樣為64×64圖像對后送入Stage3階段，不同階段分別訓(xùn)練一個模型；然后進行多階段訓(xùn)練，即Stage2階段和Stage3階段特征融合到Stage1階段。本次實驗采用Adam優(yōu)化器，將batchsize設(shè)為2，對抗損失權(quán)重λ設(shè)為1×10-3，梯度L1正則化權(quán)重β設(shè)為1×10-4，學(xué)習(xí)率設(shè)為5×10-3，在迭代訓(xùn)練3×104之后，學(xué)習(xí)率降為5×10-4，實驗總共迭代5×104次。

3.3 實驗評價指標

實驗采用峰值信噪比(peak signal to noise ratio，PSNR)和結(jié)構(gòu)相似度(structural similarity，SSIM)[16]評價算法有效性。

3.4 實驗結(jié)果

在GOPRO測試集上首先進行單階段測試，即其他兩個階段未對該階段進行特征共享的情況下，分別測試Stage1、Stage2和Stage3的PSNR和SSIM值。然后測試多階段特征共享后的PSNR和SSIM值，同時對比了不同階段圖像去運動模糊的運行時間。實驗結(jié)果如表3所示。

表3 不同階段去模糊性能

從表3可以看出，單階段中Stage2階段PSNR和SSIM值高于Stage1和Stage3階段，運行時間上Stage3階段圖像復(fù)原耗時最短。

在GOPRO數(shù)據(jù)集中將本文方法與3種常用的去模糊算法進行對比，性能指標值和直觀效果圖分別如表4和圖4所示。Kim等[17]的算法基于傳統(tǒng)的圖像去運動模糊方法，圖像復(fù)原結(jié)果存在明顯的失真現(xiàn)象，且圖像復(fù)原時間太久，不滿足實際場景應(yīng)用需求。Sun等[6]的算法基于卷積神經(jīng)網(wǎng)絡(luò)估計模糊核，這種方法適用于復(fù)原均勻運動引起的模糊，但無法復(fù)原非均勻運動引起的模糊，導(dǎo)致在復(fù)雜場景中去模糊后的圖像仍不清晰。Nah等[7]的算法基于多尺度CNN去模糊方法，相比較上述兩種算法無論是圖像復(fù)原質(zhì)量還是復(fù)原時間均有較大提升，但復(fù)原后圖像邊緣輪廓、局部細節(jié)仍不夠清晰。本文算法復(fù)原的圖像在視覺感官上更接近清晰圖像，且在邊緣細節(jié)上也有明顯改善。而且本文方法的PSNR和SSIM指標均高于其他方法，且圖像復(fù)原時間更短。

表4 GOPRO測試集上不同方法去模糊性能

圖4 GOPRO測試集上各類算法去模糊結(jié)果對比

在Kohler數(shù)據(jù)集上，將原始圖像經(jīng)過幾種不同的模糊核卷積后得到不同的模糊圖像如圖5所示，然后采用本文算法對得到的模糊圖像去模糊，實驗結(jié)果如圖6所示。從兩圖對比可以看出，本文方法能夠較好地復(fù)原幾種不同的模糊圖像，對于在不同模糊圖像中失真嚴重的具體細節(jié)例如墻燈和門燈，本文方法均可達到不同程度去模糊的效果。實驗結(jié)果表明本文方法能有效改善運動模糊圖像的質(zhì)量，得到去除運動模糊的清晰圖像。

圖5 Kohler測試集上不同模糊核卷積后得到的模糊圖像

圖6 Kohler測試集上本文去模糊結(jié)果

4 結(jié)束語

本文基于生成對抗網(wǎng)絡(luò)提出一種高效的圖像去模糊的新方法。通過深度自編碼卷積網(wǎng)絡(luò)和多尺度特征融合機制設(shè)計了一種多尺度深度自編碼的生成器，減少了圖像復(fù)原過程中特征信息丟失等問題，重建出邊緣結(jié)構(gòu)更銳利、局部細節(jié)更豐富的清晰圖像。該網(wǎng)絡(luò)結(jié)構(gòu)簡單、網(wǎng)絡(luò)參數(shù)量少，采用端到端方式，既加快了網(wǎng)絡(luò)訓(xùn)練的收斂速度，又避免了模糊核估計帶來的困擾，縮短了圖像復(fù)原時間。在GOPRO數(shù)據(jù)集上，實驗結(jié)果表明，本文方法在評價指標PSNR和SSIM上均取得了不錯效果，顯著提高了圖像復(fù)原質(zhì)量。本文方法為后續(xù)深度去模糊等相關(guān)工作提供了一種新思路，此外，本文方法還可以推廣到復(fù)雜場景目標識別任務(wù)中，如水下目標識別、無人機目標識別等。