紀(jì)佳奇，盧振坤，熊福棚，張?zhí)?，楊?/p>

基于多級(jí)跳躍殘差組的運(yùn)動(dòng)人像去模糊網(wǎng)絡(luò)

紀(jì)佳奇，盧振坤*，熊福棚，張?zhí)?，楊?/p>

（廣西民族大學(xué) 電子信息學(xué)院，南寧 530006）（ ? 通信作者電子郵箱lzk06@sina.com）

為解決復(fù)原后的運(yùn)動(dòng)模糊人像圖像的輪廓模糊、細(xì)節(jié)丟失等問(wèn)題，提出了基于多級(jí)跳躍殘差組生成對(duì)抗網(wǎng)絡(luò)（GAN）的運(yùn)動(dòng)人像去模糊方法。首先，改進(jìn)殘差塊以構(gòu)造多級(jí)跳躍殘差組模塊，并改進(jìn)PatchGAN的結(jié)構(gòu)以使GAN能夠更好地結(jié)合各層的圖像特征；其次，使用多損失融合的方法優(yōu)化網(wǎng)絡(luò)，從而增強(qiáng)重建后圖像的真實(shí)紋理；最后，采用端到端的模式將運(yùn)動(dòng)模糊的人像圖像進(jìn)行盲去模糊操作，并輸出清晰的人像圖像。在CelebA數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相較于DeblurGAN（Deblur GAN）、尺度循環(huán)網(wǎng)絡(luò)（SRN）和MSRAN（Multi-Scale Recurrent Attention Network）等基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法，所提方法的峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）分別至少提高了0.46 dB和0.05；同時(shí)，所提方法的模型參數(shù)更少，修復(fù)速度更快，且復(fù)原后的人像圖像具有更多的紋理細(xì)節(jié)。

圖像去模糊；盲去模糊；生成對(duì)抗網(wǎng)絡(luò)；多級(jí)跳躍殘差組；多損失融合

0 引言

拍攝人像圖像時(shí)容易產(chǎn)生運(yùn)動(dòng)模糊，主要原因是在相機(jī)的短曝光時(shí)間內(nèi)，相機(jī)與拍照對(duì)象產(chǎn)生了相對(duì)運(yùn)動(dòng)。單幅運(yùn)動(dòng)圖像去模糊問(wèn)題是指在給定一幅運(yùn)動(dòng)模糊圖像的情況下，估計(jì)未知的清晰圖像。圖像去模糊問(wèn)題分為兩種類型：盲去模糊和非盲去模糊。早期的方法主要是非盲去模糊，即假設(shè)模糊系數(shù)已知，采用Lucy-Richardson算法［1］、Wiener或Tikhonow濾波器等進(jìn)行去卷積操作，但是實(shí)際情況中模糊圖像的模糊核通常是未知的。自Fergus等［2］研究成功，許多方法被相繼提出。Pan等［3］采用暗通道檢驗(yàn)的模糊核估計(jì)方法，提出了L0正則化項(xiàng)，以最小化恢復(fù)圖像的暗通道。該方法在一般的自然圖像上表現(xiàn)良好，但不適用于特殊的場(chǎng)景，如文本圖像、人像圖像和低光照?qǐng)D像。Li等［4］采用數(shù)據(jù)驅(qū)動(dòng)先驗(yàn)方式，提出了一種基于半二次方分裂法和梯度下降算法的高效數(shù)值算法，在計(jì)算過(guò)程中可以快速收斂，并且可以應(yīng)用在不同的場(chǎng)景中。Levin等［5］采用超拉普拉斯先驗(yàn)建模圖像的梯度估計(jì)模糊核，但該方法僅適合求解一維的模糊核。除了以上幾種方法，還有使用稀疏核先驗(yàn)［6］、正則化稀疏先驗(yàn)［7］等方法進(jìn)行圖像去模糊操作；但是傳統(tǒng)方法存在模糊核的估計(jì)準(zhǔn)確度不高、圖像修復(fù)質(zhì)量差、去模糊位置不準(zhǔn)確等缺點(diǎn)，導(dǎo)致成像圖像質(zhì)量不高。

近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的方法在計(jì)算機(jī)視覺領(lǐng)域得到了廣泛的應(yīng)用?；谏疃葘W(xué)習(xí)的運(yùn)動(dòng)圖像去模糊方法，借助神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力，能夠更好地抓取圖像特征，提高去模糊效果，修繕圖像紋理細(xì)節(jié)，展現(xiàn)出良好的圖像復(fù)原效果。Xu等［8］引入一種新穎的、可分離結(jié)構(gòu)的卷積結(jié)構(gòu)進(jìn)行反卷積，它使網(wǎng)絡(luò)具有更強(qiáng)的表現(xiàn)力，可以映射到更高的維度以適應(yīng)非線性特征，并取得了比圖像先驗(yàn)更好的復(fù)原效果。Sun等［9］使用CNN估計(jì)模糊系數(shù)，再使用馬爾可夫隨機(jī)場(chǎng)，將基于patch的估計(jì)融合到運(yùn)動(dòng)核的密集域中。Gong等［10］使用完全卷積網(wǎng)絡(luò)（Fully Convolutional Network， FCN）估計(jì)運(yùn)動(dòng)流，并據(jù)此進(jìn)行圖形去模糊，得到清晰圖像。Nah等［11］使用一種端到端的多尺度神經(jīng)網(wǎng)絡(luò)，遵循傳統(tǒng)的“由粗到細(xì)”的網(wǎng)絡(luò)框架恢復(fù)模糊圖像。網(wǎng)絡(luò)的輸入和輸出都采用高斯金字塔形式，同時(shí)提出了多尺度損失函數(shù)，更好地優(yōu)化處理模糊圖像中的不同層次特征，但它的結(jié)構(gòu)復(fù)雜，收斂較慢。Kupyn等［12］提出去模糊網(wǎng)絡(luò)DeblurGAN（Deblur Generation Adversarial Network），使用端到端的基于條件性的生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）和內(nèi)容損失的學(xué)習(xí)方法。對(duì)抗網(wǎng)絡(luò)通過(guò)學(xué)習(xí)圖像的圖形結(jié)構(gòu)特征，在運(yùn)動(dòng)模糊圖像上取得了較好的視覺觀感和感知保真度，但是在處理小尺寸的模糊圖像時(shí)，容易出現(xiàn)振鈴效果。Tao等［13］利用“由粗到細(xì)”的方法，在單幅去模糊圖像中使用尺度循環(huán)網(wǎng)絡(luò)（Scale-Recurrent Network， SRN）還原圖像；但是該方法在還原模糊人像時(shí)，人像邊緣細(xì)節(jié)容易模糊不清。Wu等［14］結(jié)合“由粗到細(xì)”和“堆疊”這兩種結(jié)構(gòu)，解決了原本“由粗到細(xì)”架構(gòu)用于人臉去模糊時(shí)，模型難訓(xùn)練、參數(shù)計(jì)算量大等問(wèn)題，但該方法在人像的紋理細(xì)節(jié)部分修復(fù)效果較差。陳貴強(qiáng)等［15］使用半監(jiān)督的方式，在不需要訓(xùn)練大量成對(duì)圖像的基礎(chǔ)上，將視頻監(jiān)控下的模糊人像圖像恢復(fù)成清晰人像圖像；但是由于缺少先驗(yàn)知識(shí)，在人像圖像過(guò)于模糊時(shí)，人像輪廓難以恢復(fù)。歐陽(yáng)寧等［16］在GAN的基礎(chǔ)上，使用形變卷積模塊和通道注意力模塊組成的自適應(yīng)殘差塊，有效去除圖像的運(yùn)動(dòng)模糊，但對(duì)于結(jié)構(gòu)較為復(fù)雜的人像圖像復(fù)原效果較差。魏海云等［17］針對(duì)運(yùn)動(dòng)模糊圖像引入帶有注意力機(jī)制的殘差塊，加入空間金字塔池化，復(fù)原非均勻模糊圖像。劉萬(wàn)軍等［18］在多尺度網(wǎng)絡(luò)中使用跨尺度網(wǎng)絡(luò)權(quán)值共享并融合DenseNet，減少模型參數(shù)，提高網(wǎng)絡(luò)的穩(wěn)定性。王向軍等［19］提出MSRAN（Multi-Scale Recurrent Attention Network），在SRN的基礎(chǔ)上，使用深度可分離卷積，改進(jìn)注意力機(jī)制模塊，并對(duì)卷積層密集連接，提高網(wǎng)絡(luò)特征參數(shù)的利用率；雖然該網(wǎng)絡(luò)帶來(lái)了良好的模糊圖像修復(fù)效果，但是網(wǎng)絡(luò)較為龐大，訓(xùn)練測(cè)試速度較慢。Zhang等［20］提出一種深度堆疊的多尺度補(bǔ)丁網(wǎng)絡(luò)（Deep Multi-Patch Hierarchical Network， DMPHN），打破了簡(jiǎn)單堆疊網(wǎng)絡(luò)深度而不能提升性能的限制，在不同層輸入具有相同分辨率，采用較小的濾波器尺寸提高網(wǎng)絡(luò)的計(jì)算速度。李福海等［21］提出一種梯度信息聯(lián)合GAN的去模糊方法，該方法的生成網(wǎng)絡(luò)使用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network， FPN）和梯度分支獲取多尺度特征和更小的局部特征，再聯(lián)合梯度信息和FPN重建圖像的高頻信息。虞志軍等［22］提出一種增強(qiáng)多尺度特征網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用多分支不同大小的卷積核擴(kuò)大感受野，使用跳躍連接跨階進(jìn)行特種融合，解決了多尺度圖像特征提取利用不充分和深層網(wǎng)絡(luò)信息丟失的問(wèn)題。王晨卿等［23］提出一種多尺度條件下的GAN，該網(wǎng)絡(luò)使用一種多尺度殘差塊，在單個(gè)塊內(nèi)構(gòu)建分級(jí)連接和增加不同感受野分支，以提高多尺度殘差模塊的特征提取能力。魏丙財(cái)?shù)龋?4］針對(duì)拍攝過(guò)程中的運(yùn)動(dòng)抖動(dòng)、電子干擾導(dǎo)致的圖像模糊問(wèn)題，提出了一種基于深度殘差的GAN，并通過(guò)改進(jìn)PatchGAN［25］，將底層感受野提高了兩倍，但是該方法在人像細(xì)節(jié)部位恢復(fù)上仍存在不足。

針對(duì)上述問(wèn)題，本文改進(jìn)GAN，提出了一種端到端基于多級(jí)跳躍殘差組生成對(duì)抗網(wǎng)絡(luò)的運(yùn)動(dòng)人像去模糊方法。利用GAN強(qiáng)大的學(xué)習(xí)圖形結(jié)構(gòu)能力和保留圖像紋理細(xì)節(jié)的能力，本文方法的生成網(wǎng)絡(luò)使用改進(jìn)殘差塊（Residual Block）和多級(jí)跳轉(zhuǎn)連接［26］組成的多級(jí)跳躍殘差組模塊學(xué)習(xí)圖像的多層特征，使網(wǎng)絡(luò)更加穩(wěn)定，細(xì)節(jié)處理更加完善，輸出清晰人像圖像，判別網(wǎng)絡(luò)使用改進(jìn)的PatchGAN結(jié)構(gòu)進(jìn)行判別。相較于DeblurGAN［12］，本文方法的參數(shù)更少、速度更快，模糊人像修復(fù)效果更好。

1 相關(guān)工作

1.1　人像圖像的模糊

人像去模糊的目的是從所獲得的模糊人像圖像中恢復(fù)清晰人像。模糊人像圖像的生成過(guò)程通常可以表示為以下數(shù)學(xué)模型［19］：

1.2　生成對(duì)抗網(wǎng)絡(luò)

作為深度學(xué)習(xí)領(lǐng)域研究的重點(diǎn)，各式各樣的GAN層出不窮，如DeblurGAN、SRGAN（Super-Resolution GAN）、ESRGAN（Enhanced SRGAN）等。根據(jù)文獻(xiàn)［27］，本文方法在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的對(duì)抗訓(xùn)練中生成真實(shí)的去模糊人像圖像。判別網(wǎng)絡(luò)使用PatchGAN的方式，交替與生成網(wǎng)絡(luò)一起優(yōu)化［26］，以解決對(duì)抗性最小最大問(wèn)題，公式如下：

其中：為數(shù)據(jù)分布；是隨機(jī)噪聲分布；、表示輸入的真實(shí)數(shù)據(jù)和隨機(jī)噪聲。在GAN中，訓(xùn)練G的目標(biāo)是盡量生成真實(shí)圖像，以欺騙D；而D的目標(biāo)是區(qū)分G生成圖像與真實(shí)圖像。本文方法的流程如圖1所示。

2 本文方法

2.1　生成網(wǎng)絡(luò)

結(jié)構(gòu)復(fù)雜的網(wǎng)絡(luò)可能難以訓(xùn)練，但是復(fù)雜的映射關(guān)系可能大幅提升網(wǎng)絡(luò)的性能。為了使更深層次的網(wǎng)絡(luò)表現(xiàn)得更好，本文使用批量標(biāo)準(zhǔn)化（Batch Normalization， BN）消除中間層數(shù)據(jù)分布發(fā)生改變的問(wèn)題，保留BN層可以幫助網(wǎng)絡(luò)加快學(xué)習(xí)速度、解決梯度消失的問(wèn)題，保證網(wǎng)絡(luò)的穩(wěn)定性。本文方法的生成網(wǎng)絡(luò)部分如圖2所示，網(wǎng)絡(luò)由3部分組成：淺層特征提取模塊、多級(jí)跳躍殘差組模塊和特征重建模塊。生成網(wǎng)絡(luò)的核心部分由具有相同布局的個(gè)殘差組構(gòu)成。受文獻(xiàn)［28-29］的啟發(fā)，使用2個(gè)卷積層（Conv）、1個(gè)BN層和2個(gè)整流線性單元（Rectified Linear Unit， ReLU）作為激活函數(shù)改進(jìn)殘差塊。

為了進(jìn)一步提高本文方法的恢復(fù)圖像質(zhì)量，設(shè)計(jì)一個(gè)多級(jí)跳躍殘差組模塊，代替原本生成網(wǎng)絡(luò)中的殘差塊。多級(jí)跳躍殘差組模塊由3個(gè)改進(jìn)殘差塊、1個(gè)3×3的卷積層和多級(jí)跳躍連接組成，激活函數(shù)使用ReLU。多級(jí)跳躍連接可以有效地將圖像原始特征信息傳給更深層次，進(jìn)行跨層有效學(xué)習(xí)，最后將原始特征和深度殘差特征以對(duì)應(yīng)元素相加的方式融合。

特征重建模塊使用兩個(gè)3×3的卷積層、一個(gè)9×9的卷積層和ReLU，激活函數(shù)使用tanh。特征重建模塊能夠重建殘差組的深層次特征，并結(jié)合全局跳躍連接生成去模糊圖像。在圖2中，卷積操作時(shí)的步長(zhǎng)大小為1。

圖2　生成網(wǎng)絡(luò)結(jié)構(gòu)

2.2　判別網(wǎng)絡(luò)

本文在判別網(wǎng)絡(luò)中使用PatchGAN方式。普通GAN的判別網(wǎng)絡(luò)是將輸入映射成一個(gè)實(shí)數(shù)，即輸入樣本為真樣本的概率；而PatchGAN將輸入映射為×的矩陣，X，j的值表示每個(gè)patch為真實(shí)樣本的概率，將X，j求平均值，即為判別網(wǎng)絡(luò)最終輸出。PatchGAN的X，j對(duì)應(yīng)判別網(wǎng)絡(luò)輸入圖像的一小塊的判別輸出，它的感受域?qū)?yīng)輸入圖像的一小塊區(qū)域，可以充分考慮圖像不同部分的影響，在模糊人像的修復(fù)上，可以更關(guān)注圖像的細(xì)節(jié)。如表1所示，判別網(wǎng)絡(luò)中含有8個(gè)卷積層，卷積核大小都設(shè)置為3×3，每一層卷積后都加入非線性激活函數(shù)LeakyReLU（負(fù)斜率=0.2），避免整個(gè)網(wǎng)絡(luò)最大池化。判別網(wǎng)絡(luò)的過(guò)濾器（filter）數(shù)從64增長(zhǎng)到1 024，特征數(shù)量每增加一倍時(shí)，就使用步長(zhǎng)為2的卷積層使圖像分辨率降低為原本的1/2。輸入人像圖像默認(rèn)設(shè)置大小為256×256×3，PatchGAN通過(guò)8層卷積層的疊加，將16×16×1作為最終的判別矩陣的大小。

表1　判別網(wǎng)絡(luò)模型參數(shù)

2.3　改進(jìn)的殘差結(jié)構(gòu)

殘差網(wǎng)絡(luò)（Residual Network）［30］很好地解決了網(wǎng)絡(luò)層數(shù)過(guò)深導(dǎo)致的訓(xùn)練難度大、梯度消失和梯度爆炸等問(wèn)題，引入殘差網(wǎng)絡(luò)可以訓(xùn)練更深的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3為多級(jí)跳躍殘差組和改進(jìn)殘差塊。通過(guò)實(shí)驗(yàn)可知，BN層可以有效解決梯度消失問(wèn)題，但改進(jìn)殘差塊用于模糊人像修復(fù)時(shí)，模糊人像圖像尺寸較小，采用大小為2的小批量訓(xùn)練模型，因此改進(jìn)殘差塊包括1個(gè)BN層，2個(gè)3×3卷積核的卷積層，2個(gè)ReLU激活函數(shù)，這樣可以加快收斂，使得網(wǎng)絡(luò)訓(xùn)練更加靈活。最后使用一個(gè)跳躍連接，在一定程度上解決梯度消失帶來(lái)的問(wèn)題。

圖3　多級(jí)跳躍殘差組結(jié)構(gòu)

2.4　損失函數(shù)

本文使用和文獻(xiàn)［12，28-29］中同樣預(yù)訓(xùn)練的VGG19。圖4為VGG19不同層的特征圖對(duì)比，對(duì)比不同層的圖像特征信息可以看出，激活前的特征圖包含了更多的信息。

圖4　VGG19不同層激活前后特征圖對(duì)比

對(duì)抗損失的計(jì)算方式如下：

感知損失側(cè)重修復(fù)圖像的一般內(nèi)容［32］，能保持圖像的感知保真度，使生成圖像與清晰圖像的內(nèi)容和全局結(jié)構(gòu)更加接近。感知損失計(jì)算方式如下：

3 實(shí)驗(yàn)與結(jié)果分析

3.1　實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)使用CelebA數(shù)據(jù)集［34］進(jìn)行訓(xùn)練測(cè)試。CelebA是一個(gè)大規(guī)模的人臉屬性數(shù)據(jù)集，包含20多萬(wàn)張名人圖像，每張圖像有40個(gè)屬性注釋，該數(shù)據(jù)集中的圖像涵蓋了較大的姿勢(shì)變化和背景變化。CelebA的圖像種類多、數(shù)量多、注釋豐富，包括10 177個(gè)身份、202 599張人臉圖像和5個(gè)地標(biāo)位置，每張圖像有40個(gè)二進(jìn)制屬性注釋。本文將180 000張人像圖像用于訓(xùn)練，22 599張用于性能評(píng)估，圖像的大小為178×218，訓(xùn)練時(shí)將RGB圖像大小重新設(shè)置為256×256。模糊數(shù)據(jù)集采用3×3的高斯模糊進(jìn)行處理，運(yùn)動(dòng)模糊數(shù)據(jù)集采用getRotationMatrix2D函數(shù)，生成旋轉(zhuǎn)中心和旋轉(zhuǎn)角度為20°以內(nèi)的任意整數(shù)的旋轉(zhuǎn)變化矩陣，再通過(guò)warpAffine方法進(jìn)行仿射變換，模擬真實(shí)場(chǎng)景中不同程度的圖像運(yùn)動(dòng)模糊。實(shí)驗(yàn)分兩組，一組還原處理3×3的高斯模糊人像圖像，另一組還原處理旋轉(zhuǎn)中心和旋轉(zhuǎn)角度均為20°的人像運(yùn)動(dòng)模糊圖像。

為了驗(yàn)證真實(shí)場(chǎng)景中對(duì)模糊的人像圖像的處理效果，本文采用GoPro數(shù)據(jù)集。GoPro數(shù)據(jù)集包括3 214張大小為1 280×720的模糊圖像，其中2 103張是訓(xùn)練圖像，1 111張是測(cè)試圖像。該數(shù)據(jù)集由一一對(duì)應(yīng)的真實(shí)模糊圖像與ground truth圖像組成，均由高速攝像機(jī)拍攝。

3.2　評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文方法在運(yùn)動(dòng)人像去模糊上的有效性，在相同條件下進(jìn)行了大量實(shí)驗(yàn)。采用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity， SSIM）作為評(píng)價(jià)指標(biāo)。PSNR和SSIM的公式如下：

3.3　消融實(shí)驗(yàn)

3.3.1VGG19不同卷積層去模糊效果對(duì)比

表2　VGG19不同卷積層的去模糊效果對(duì)比

3.3.2不同損失函數(shù)組合

在CelebA數(shù)據(jù)集上，對(duì)不同損失函數(shù)的去模糊效果進(jìn)行了實(shí)驗(yàn)，結(jié)果如表3、圖5所示?？梢钥闯?，只使用對(duì)抗損失和感知損失作為損失函數(shù)得到的性能指標(biāo)較低，使用對(duì)抗損失和感知損失融合的損失函數(shù)得到的結(jié)果最好。

表3　不同損失函數(shù)的消融實(shí)驗(yàn)結(jié)果

圖5　不同損失函數(shù)的去模糊結(jié)果

3.4　實(shí)驗(yàn)結(jié)果與分析

3.4.1不同數(shù)量殘差塊去模糊效果對(duì)比

為了探究不同殘差塊數(shù)組成的多級(jí)跳躍殘差組對(duì)去模糊效果的影響，分別在不同殘差塊數(shù)下進(jìn)行實(shí)驗(yàn)，結(jié)果如表4、圖6所示。每組殘差塊的最后加入了一個(gè)卷積核為3×3、通道數(shù)為64的卷積層，激活函數(shù)使用ReLU。當(dāng)殘差塊數(shù)為1時(shí)，本文方法能基本還原人像的輪廓信息，但是色準(zhǔn)偏差較大；通過(guò)增加每個(gè)殘差組中殘差塊的數(shù)量后，當(dāng)殘差塊數(shù)為3時(shí)，得到了視覺效果最佳的人像修復(fù)效果。由表4可知，相較于每個(gè)多級(jí)跳躍殘差組使用1個(gè)和2個(gè)殘差塊，使用3個(gè)殘差塊的PSNR分別提升了2.36 dB和1.98 dB，SSIM分別提升了0.19和0.12。綜上可知，隨著每個(gè)多級(jí)跳躍殘差組中的殘差塊數(shù)的增多，本文方法在運(yùn)動(dòng)人像去模糊方面擁有更好的色準(zhǔn)還原能力和更強(qiáng)的圖像高頻細(xì)節(jié)修復(fù)能力；但考慮模型計(jì)算量，為了高效快速地去除運(yùn)動(dòng)模糊人像，以下實(shí)驗(yàn)均使用3個(gè)殘差塊。

3.4.2CelebA數(shù)據(jù)集上效果驗(yàn)證

為了驗(yàn)證本文方法的有效性和魯棒性，以在CelebA數(shù)據(jù)集上的平均PSNR和平均SSIM作為定量評(píng)價(jià)指標(biāo)，分別進(jìn)行人像圖像高斯模糊去除和運(yùn)動(dòng)模糊去除對(duì)比實(shí)驗(yàn)，與模糊去除的典型方法Multi-scale CNN［11］、DeblurGAN［12］、SRN［13］、MSRAN［19］和DMPHN［20］進(jìn)行定量比較，其中DeblurGAN同樣使用GAN，實(shí)驗(yàn)結(jié)果如表5～6所示。

表4　不同數(shù)量的殘差塊性能分析

圖6　不同殘差塊數(shù)情況下的去模糊結(jié)果

從表5可知，本文方法在CelebA數(shù)據(jù)集上取得了最佳的PSNR和SSIM值，相較于DeblurGAN和DMPHN，分別提高了4.29 dB、0.09和0.58 dB、0.03。其中，本文的生成網(wǎng)絡(luò)模型比DeblurGAN的生成網(wǎng)絡(luò)模型參數(shù)量減少了74.33%。

表5　不同方法去除人像高斯模糊性能的定量比較結(jié)果

圖7為不同方法對(duì)模糊人像去模糊效果對(duì)比。其中：基于GAN的DeblurGAN對(duì)模糊圖像的修復(fù)效果有限，在人像的邊緣和細(xì)節(jié)部分，存在較大的失真現(xiàn)象，圖像邊緣存在粘連的情況，圖像整體修復(fù)效果不佳；SRN、MSRAN和DMPHN均采用多尺度循環(huán)網(wǎng)絡(luò)的方式對(duì)圖像去模糊，整體成像效果較接近，并且比DeblurGAN的人像修復(fù)效果更好，修復(fù)的圖像整體相對(duì)平滑；本文方法修復(fù)的人像圖像較其他對(duì)比方法，在紋理方面細(xì)節(jié)更加豐富，能清楚地還原發(fā)絲的輪廓和細(xì)節(jié)，并且人物和背景之間的虛化更加自然。

圖7　不同方法在CelebA數(shù)據(jù)集上對(duì)高斯模糊人像的去模糊結(jié)果對(duì)比

表6給出了針對(duì)人像圖像去除運(yùn)動(dòng)模糊的對(duì)比實(shí)驗(yàn)結(jié)果。相較于同樣使用GAN的DeblurGAN，本文方法在PSNR和SSIM值上分別提高了1.95 dB、0.09。與使用多尺度的SRN和MSRAN相比，分別提高了2.42 dB、0.10和0.46 dB、0.05。與DMPHN相比，分別提高了1.35 dB、0.07，但是DMPHN的修復(fù)速度更高。其中，本文方法的單張圖像的修復(fù)時(shí)間相較于DeblurGAN減少了8.25%。

表6　不同方法去除人像運(yùn)動(dòng)模糊性能的定量比較結(jié)果

圖8為不同方法對(duì)運(yùn)動(dòng)模糊人像去模糊的結(jié)果。在去除運(yùn)動(dòng)模糊后，DeblurGAN修復(fù)圖像的效果有限，依舊存在失真現(xiàn)象。圖8（c）～（d）、（f）都具有一定的去模糊效果，但是在邊緣細(xì)節(jié)部分存在模糊、噪點(diǎn)較多的問(wèn)題。本文方法修復(fù)的圖像較其他對(duì)比方法具有更清晰的邊緣。

圖8　不同方法在CelebA數(shù)據(jù)集上對(duì)運(yùn)動(dòng)模糊人像的去模糊結(jié)果對(duì)比

由以上實(shí)驗(yàn)結(jié)果可以看出，本文方法在人像的高斯模糊去除和運(yùn)動(dòng)模糊去除上均取得了不錯(cuò)的成績(jī)。本文方法對(duì)CelebA數(shù)據(jù)集上的圖像復(fù)原質(zhì)量更高、時(shí)間更短，在較少的生成網(wǎng)絡(luò)參數(shù)基礎(chǔ)上，實(shí)現(xiàn)更好的人像的紋理細(xì)節(jié)修復(fù)效果，修復(fù)后的人像圖像人眼視覺觀感更佳。

3.4.3GoPro數(shù)據(jù)集上效果驗(yàn)證

為了驗(yàn)證本文方法在真實(shí)場(chǎng)景的去模糊效果，采用GoPro數(shù)據(jù)集測(cè)試，并與典型模糊去除方法Multi-scale CNN、DeblurGAN、SRN、MSRAN和DMPHN進(jìn)行定量比較，評(píng)價(jià)指標(biāo)采用PSNR和SSIM，結(jié)果如表7所示。DMPHN取得了最高的PSNR值，比本文方法高0.03 dB；但在SSIM指標(biāo)上，本文方法取得最佳數(shù)值，相較于DMPHN提高了0.2。相較于同樣使用生成對(duì)抗網(wǎng)絡(luò)的DeblurGAN，本文方法的PSNR和SSIM數(shù)值分別提高了2.23 dB、0.07。

圖9為不同方法在GoPro數(shù)據(jù)集上對(duì)運(yùn)動(dòng)模糊圖像的去模糊結(jié)果對(duì)比。在人像修復(fù)方面，DeblurGAN在去模糊時(shí)，偏向于較高銳化度，導(dǎo)致人像部分修復(fù)細(xì)節(jié)不足；SRN與MSRAN的修復(fù)效果相較于DeblurGAN有所改善，但存在噪點(diǎn)和色差；本文方法在修復(fù)人像時(shí)，能減少噪點(diǎn)的影響并準(zhǔn)確還原顏色。但是，在標(biāo)牌圖的去模糊結(jié)果中，DeblurGAN的高銳化度帶來(lái)了更好的識(shí)別效果，MSRAN能夠還原字母的邊緣輪廓，表明MSRAN在文字修復(fù)上效果最好，文字輪廓更清晰。本文方法在人像方面修復(fù)效果優(yōu)于其他對(duì)比方法，顏色還原更為準(zhǔn)確，輪廓較為清晰；但由于本文方法是在人像數(shù)據(jù)集上訓(xùn)練，所以在標(biāo)識(shí)牌的修復(fù)效果上稍弱于MSRAN。綜上，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法在人像去模糊上的有效性和魯棒性。

表7　不同方法在GoPro數(shù)據(jù)集上的去模糊效果實(shí)驗(yàn)結(jié)果對(duì)比

圖9　不同方法在GoPro數(shù)據(jù)集上對(duì)運(yùn)動(dòng)模糊圖像的去模糊結(jié)果對(duì)比

4 結(jié)語(yǔ)

本文針對(duì)運(yùn)動(dòng)人像圖像去模糊問(wèn)題，提出了一種基于多級(jí)跳躍殘差組生成對(duì)抗網(wǎng)絡(luò)的運(yùn)動(dòng)人像去模糊方法。本文方法采用端到端的模式，在生成網(wǎng)絡(luò)中構(gòu)造由改進(jìn)的殘差塊組成的多級(jí)跳躍殘差組模塊，充分利用神經(jīng)網(wǎng)絡(luò)中各層的數(shù)據(jù)，得到更多圖像特征，實(shí)現(xiàn)了精度更高的人像運(yùn)動(dòng)模糊復(fù)原。與DeblurGAN相比，本文方法提高了模糊人像圖像的還原質(zhì)量，同時(shí)減少了修復(fù)圖像的修復(fù)時(shí)間和生成網(wǎng)絡(luò)的參數(shù)量。實(shí)驗(yàn)結(jié)果表明，在不同模糊程度的人像圖像上，本文方法均取得了良好的圖像還原效果，修復(fù)的人像圖像輪廓層次更加鮮明，紋理細(xì)節(jié)更加豐富。然而，由于對(duì)抗網(wǎng)絡(luò)訓(xùn)練的不穩(wěn)定性，本文方法對(duì)一些結(jié)構(gòu)較為豐富的人像圖像的恢復(fù)效果不是很理想，在人像圖像的邊緣與背景交界部分依舊存在噪點(diǎn)。未來(lái)的工作將集中于上述問(wèn)題，并通過(guò)尋找新的方法改善缺點(diǎn)。

[1] WHITE R L. Image restoration using the damped Richardson-Lucy method［C］// Proceedings of the SPIE 2198， Instrumentation in Astronomy Ⅷ. Bellingham， WA： SPIE， 1994： 1342-1348.

[2] FERGUS R， SINGH B， HERTZMANN A， et al. Removing camera shake from a single photograph［M］// ACM SIGGRAPH 2006 Papers. New York： ACM， 2006： 787-794.

[3] PAN J， SUN D， PFISTER H， et al. Blind image deblurring using dark channel prior［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1628-1636.

[4] LI L， PAN J， LAI W S， et al. Learning a discriminative prior for blind image deblurring［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6616-6625.

[5] LEVIN A. Blind motion deblurring using image statistics［C］// Proceedings of the 19th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2006： 841-848.

[6] YUAN X， ZHU J， LI X. Blur kernel estimation by structure sparse prior［J］. Applied Sciences， 2020， 10（2）： No.657.

[7] LIU S， FENG Y， ZHANG S， et al.0sparse regularization-based image blind deblurring approach for solid waste image restoration［J］. IEEE Transactions on Industrial Electronics， 2019， 66（12）： 9837-9845.

[8] XU L， REN J S J， LIU C， et al. Deep convolutional neural network for image deconvolution［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 1. Cambridge： MIT Press， 2014： 1790-1798.

[9] SUN J， CAO W， XU Z， et al. Learning a convolutional neural network for non-uniform motion blur removal［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 769-777.

[10] GONG D， YANG J， LIU L， et al. From motion blur to motion flow： a deep learning solution for removing heterogeneous motion blur［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3806-3815.

[11] NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 257-265.

[12] KUPYN O， BUDZAN V， MYKHAILYCH M， et al. DeblurGAN： blind motion deblurring using conditional adversarial networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8183-8192.

[13] TAO X， GAO H， SHEN X， et al. Scale-recurrent network for deep image deblurring［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8174-8182.

[14] WU Y， HONG C， ZHANG X， et al. Stack-based scale-recurrent network for face image deblurring［J］. Neural Processing Letters， 2021， 53（6）： 4419-4436.

[15] 陳貴強(qiáng)，何軍，羅順茺. 基于改進(jìn)CycleGAN的視頻監(jiān)控人臉超分辨率恢復(fù)算法［J］. 計(jì)算機(jī)應(yīng)用研究， 2021， 38（10）：3172-3176.（CHEN G Q， HE J， LUO S C. Improved video surveillance face super-resolution recovery algorithm based on CycleGAN［J］. Application Research of Computers， 2021， 38（10）：3172-3176.）

[16] 歐陽(yáng)寧，鄧超陽(yáng)，林樂(lè)平. 基于自適應(yīng)殘差的運(yùn)動(dòng)圖像去模糊［J］. 計(jì)算機(jī)工程與設(shè)計(jì)， 2021， 42（6）：1684-1690.（OUYANG N， DENG C Y， LIN L P. Motion image deblurring based on adaptive residuals［J］. Computer Engineering and Design， 2021， 42（6）： 1684-1690.）

[17] 魏海云，鄭茜穎，俞金玲. 基于多尺度網(wǎng)絡(luò)的運(yùn)動(dòng)模糊圖像復(fù)原算法［J］. 計(jì)算機(jī)應(yīng)用， 2022， 42（9）： 2838-2844.（WEI H Y， ZHENG Q Y， YU J L. Motion blurred image restoration algorithm based on multi-scale network［J］. Journal of Computer Applications， 2022， 42（9）： 2838-2844.）

[18] 劉萬(wàn)軍，張正寰，曲海成. 融合DenseNet的多尺度圖像去模糊模型［J］. 計(jì)算機(jī)工程與應(yīng)用， 2021， 57（24）： 219-226.（LIU W J， ZHANG Z H， QU H C. Multi-scale image deblurring model with DenseNet［J］. Computer Engineering and Applications， 2021， 57（24）：219-226.）

[19] 王向軍，歐陽(yáng)文森. 多尺度循環(huán)注意力網(wǎng)絡(luò)運(yùn)動(dòng)模糊圖像復(fù)原方法［J］. 紅外與激光工程， 2022， 51（6）： No.20210605.（WANG X J， OUYANG W S. Multi-scale recurrent attention network for image motion deblurring［J］. Infrared and Laser Engineering， 2022， 51（6）： No.20210605.）

[20] ZHANG H， DAI Y， LI H， et al. Deep stacked hierarchical multi-patch network for image deblurring［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5971-5979.

[21] 李福海，蔣慕蓉，楊磊，等. 基于生成對(duì)抗網(wǎng)絡(luò)的梯度引導(dǎo)太陽(yáng)斑點(diǎn)圖像去模糊方法［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（11）：3345-3352.（LI F H， JIANG M R， YANG L， et al. Solar speckle image deblurring method with gradient guidance based on generative adversarial network［J］. Journal of Computer Applications， 2021， 41（11）： 3345-3352.）

[22] 虞志軍，王國(guó)棟，張鐔月. 基于增強(qiáng)多尺度特征網(wǎng)絡(luò)的圖像去模糊［J］. 激光與光電子學(xué)進(jìn)展， 2022， 59（22）： No.2215007.（YU Z J， WANG G D， ZHANG X Y. Image deblurring based on enhanced multi-scale feature network［J］. Laser and Optoelectronics Progress， 2022， 59（22）： No.2215007.）

[23] 王晨卿，荊濤，劉云鵬，等. 基于多尺度條件生成對(duì)抗網(wǎng)絡(luò)的圖像去模糊［J］. 計(jì)算機(jī)工程與設(shè)計(jì)， 2022， 43（4）：1074-1082.（WANG C Q， JIN T， LIU Y P， et al. Image deblurring based on multi-scale conditional generative adversarial network［J］. Computer Engineering and Design， 2022， 43（4）：1074-1082.）

[24] 魏丙財(cái)，張立曄，孟曉亮，等. 基于深度殘差生成對(duì)抗網(wǎng)絡(luò)的運(yùn)動(dòng)圖像去模糊［J］. 液晶與顯示， 2021， 36（12）： 1693-1701.（WEI B C， ZHANG L Y， MENG X L， et al. Motion image deblurring based on depth residual generative adversarial network［J］. Chinese Journal of Liquid Crystals and Displays， 2021， 36（12）： 1693-1701.）

[25] LI C， WAND M. Precomputed real-time texture synthesis with Markovian generative adversarial networks［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9907. Cham： Springer， 2016： 702-716.

[26] SCHULER C J， HIRSCH M， HARMELING S， et al. Learning to deblur［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（7）： 1439-1451.

[27] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Cambridge： MIT Press， 2014： 2672-2680.

[28] LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 105-114.

[29] WANG X， YU K， WU S， et al. ESRGAN： enhanced super-resolution generative adversarial networks［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11133. Cham： Springer， 2019： 63-79.

[30] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.

[31] JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution［C］// Proceedings of the 2016 European Conference on Computer Vision. Berlin： Springer， 2016： 694-711.

[32] ISOLA P， ZHU J Y， ZHOU T， et al. Image-to-image translation with conditional adversarial networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976.

[33] DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 248-255.

[34] LIU Z， LUO P， WANG X， et al. Large-scale CelebFaces attributes （CelebA） dataset［DS/OL］. ［2022-06-14］.http：//mmlab.ie.cuhk.edu.hk/projects/CelebA.html.

[35] KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30） ［2022-06-14］.https：//arxiv.org/pdf/1412.6980.pdf.

Moving portrait debluring network based on multi-level jump residual group

JI Jiaqi， LU Zhenkun*， XIONG Fupeng， ZHANG Tian， YANG Hao

（，，530006，）

To address the issues of blurred contours and lost details of portrait image with motion blur after restoration， a moving portrait deblurring method based on multi-level jump residual group Generation Adversarial Network （GAN） was proposed. Firstly， the residual block was improved to construct the multi-level jump residual group module， and the structure of PatchGAN was also improved to make GAN better combine with the image features of each layer. Secondly， the multi-loss fusion method was adopted to optimize the network to enhance the real texture of the reconstructed image. Finally， the end-to-end mode was used to perform blind deblurring on the motion blurred portrait image and output clear portrait image. Experimental results on CelebA dataset show that the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the proposed method are at least 0.46 dB and 0.05 higher than those of the Convolutional Neural Network （CNN）-based methods such as DeblurGAN （Deblur GAN）， Scale-Recurrent Network （SRN） and MSRAN （Multi-Scale Recurrent Attention Network）. At the same time， the proposed method has fewer model parameters， faster restoration， and more texture details in the restored portrait images.

image debluring; blind deblurring; Generative Adversarial Network (GAN); multi-level jump residual group; multi-loss fusion

This work is partially supported by National Natural Science Foundation of China （61561008）， Natural Science Foundation of Guangxi （2018GXNSFAA294019）.

JI Jiaqi， born in 1997， M. S. candidate. His research interests include deep learning， image processing.

LU Zhenkun， born in 1979， Ph. D.， professor. His research interests include image processing， ultrasound testing and imaging， computer vision， deep learning.

XIONG Fupeng， born in 1998， M. S. candidate. His research interests include deep learning.

ZHANG Tian， born in 1999， M. S. candidate. Her research interests include deep learning， image processing.

YANG Hao， born in 1995， M. S. candidate. His research interests include deep learning， image processing.

1001-9081（2023）10-3244-07

10.11772/j.issn.1001-9081.2022091457

2022?10?08；

2023?01?03；

國(guó)家自然科學(xué)基金資助項(xiàng)目（61561008）；廣西自然科學(xué)基金資助項(xiàng)目（2018GXNSFAA294019）。

紀(jì)佳奇（1997—），男，江蘇徐州人，碩士研究生，主要研究方向：深度學(xué)習(xí)、圖像處理； 盧振坤（1979—），男，廣西百色人，教授，博士，CCF會(huì)員，主要研究方向：圖像處理、超聲檢測(cè)與成像、計(jì)算機(jī)視覺、深度學(xué)習(xí)； 熊福棚（1998—），男，河南光山人，碩士研究生，主要研究方向：深度學(xué)習(xí)； 張?zhí)穑?999—），女，陜西黃陵人，碩士研究生，主要研究方向：深度學(xué)習(xí)、圖像處理； 楊豪（1995—），男，廣西欽州人，碩士研究生，主要研究方向：深度學(xué)習(xí)、圖像處理。

TP391.41

A

2023?02?01。