朱龍闖

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都610065）

0 引言

圖像運(yùn)動(dòng)去模糊，即從帶有運(yùn)動(dòng)性質(zhì)模糊的原始圖像中恢復(fù)出包含重要細(xì)節(jié)的清晰圖像，一直是計(jì)算機(jī)視覺領(lǐng)域一項(xiàng)具有挑戰(zhàn)的工作。隨著網(wǎng)絡(luò)媒體的發(fā)展，生活中產(chǎn)生了大量與人臉相關(guān)的圖片和短視頻等媒體信息。盡管近年來，數(shù)字成像技術(shù)已經(jīng)取得了巨大的進(jìn)步，但在捕獲內(nèi)容的同時(shí)，由于在成像傳感器曝光的期間，場(chǎng)景中物體或者相機(jī)的相對(duì)運(yùn)動(dòng)所引起的運(yùn)動(dòng)模糊也成為了一個(gè)普遍存在的現(xiàn)象。由此帶來了顯著的視覺質(zhì)量的下降、圖像細(xì)節(jié)的丟失等諸多問題，在文獻(xiàn)[1]中表明因模糊而退化的低質(zhì)圖像可能造成許多計(jì)算機(jī)視覺任務(wù)（例如人臉識(shí)別）的性能下降。因此，一種專門設(shè)計(jì)的，人性化的去運(yùn)動(dòng)模糊算法對(duì)于處理以人像為中心的視覺數(shù)據(jù)是十分必要且有益的。

深度學(xué)習(xí)的興起和發(fā)展，給計(jì)算機(jī)視覺領(lǐng)域的研究帶來了前所未有的成就。尤其是文獻(xiàn)[2]提出的生成式對(duì)抗網(wǎng)絡(luò)（GAN）以及其變形因?yàn)槟軌蚋玫亟?shù)據(jù)分布，保留圖像的紋理細(xì)節(jié)，來生成更加清晰銳利令人信服的圖像，目前已經(jīng)運(yùn)用于生成高質(zhì)圖像、圖像翻譯與風(fēng)格遷移、圖像還原與修復(fù)等任務(wù)中。受圖像超分辨率、圖像修復(fù)等工作的啟發(fā)，本文的工作正是以GAN 作為框架，通過端對(duì)端的學(xué)習(xí)方式估計(jì)運(yùn)動(dòng)對(duì)象的模糊內(nèi)核，結(jié)合對(duì)于生成器以及判別器網(wǎng)絡(luò)的修改，來更好地適應(yīng)高分辨率圖像任務(wù)，同時(shí)增加了人臉先驗(yàn)的損失函數(shù)設(shè)計(jì)可以有效約束引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)。

總而言之，工作的主要貢獻(xiàn)是：提出了一種高效的盲去運(yùn)動(dòng)模糊的框架，可以提高高分辨率運(yùn)動(dòng)模糊圖像的處理能力。結(jié)合人臉先驗(yàn)信息，能夠更好地定位人臉，高效獲取特定位置和場(chǎng)景下的圖像語義信息。

1 相關(guān)研究

1.1 圖像去運(yùn)動(dòng)模糊

在傳統(tǒng)研究中，可以將單張圖像去模糊分為盲去模糊與非盲去模糊。前者將以估計(jì)模糊核的形式進(jìn)行處理，通過反卷積的方式生成清晰圖像；后者則是通過大量的圖像先驗(yàn)信息和已知的模糊核進(jìn)行圖像恢復(fù)，是一種更加“理想化”的去模糊方法。然而無論是函數(shù)簡(jiǎn)單擬合模糊核還是手工選取的圖像先驗(yàn)，都難以估計(jì)真實(shí)圖像中的模糊變化。

隨著深度學(xué)習(xí)的興起，推動(dòng)了計(jì)算機(jī)視覺任務(wù)的突破性發(fā)展。Sun 等人[12]首次利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來估計(jì)模糊核。Chakrabarti[13]注重局部信息，獨(dú)立對(duì)各圖像局部進(jìn)行推理恢復(fù)。此外，Nah[14]直接使用端對(duì)端的方式，跳過了模糊核估計(jì)這一步驟，直接從模糊圖像恢復(fù)中恢復(fù)清晰圖像，效果令人印象深刻。

GAN 在圖像領(lǐng)域作出了重大貢獻(xiàn)。文獻(xiàn)[15,17]借鑒了圖像翻譯的思路[16]去解決圖像模糊問題。特別文獻(xiàn)[6]結(jié)合Wasserstein GAN[17]、PatchGAN[16]的思想，更加適應(yīng)高分辨率圖像任務(wù)的處理。Lu 等人[18]將內(nèi)容和模糊進(jìn)行拆分解纏，利用兩個(gè)編碼器分別對(duì)內(nèi)容和模糊進(jìn)行特征提取和模糊信息捕獲。

1.2 生成式對(duì)抗網(wǎng)絡(luò)

生成式對(duì)抗網(wǎng)絡(luò)[2]由Goodfellow 于2014 年提出，其包含兩個(gè)部分：生成器和判別器。生成器負(fù)責(zé)根據(jù)輸入的信息，通過不斷訓(xùn)練學(xué)習(xí)，生成能夠欺騙判別器的人工合成樣本數(shù)據(jù)，而判別器負(fù)責(zé)對(duì)輸入的數(shù)據(jù)進(jìn)行驗(yàn)偽，同時(shí)也不斷學(xué)習(xí)提高自身鑒別能力。兩者本質(zhì)上構(gòu)成了最大-最小化的博弈游戲。其目標(biāo)函數(shù)表示如下：

眾所周知，GAN 目標(biāo)函數(shù)的優(yōu)化也一直是一個(gè)難題。文獻(xiàn)[17]證明了傳統(tǒng)的GAN 存在著兩大問題：梯度消失/爆炸和模式崩潰，為此提出了以Wasserstein 距離代替JS 散度的方法來幫助優(yōu)化。Mao[20]、Berthelot[21]、Qi[22]等均在損失函數(shù)設(shè)計(jì)上作出了貢獻(xiàn)。

除了在目標(biāo)函數(shù)上通過非正則化或正則化的基礎(chǔ)改進(jìn)，為滿足實(shí)際任務(wù)的需求，GAN 的模型結(jié)構(gòu)上也做出了諸多調(diào)整。cGAN[18]指導(dǎo)了如何通過指定標(biāo)簽生成數(shù)據(jù)；InfoGAN[11]通過從噪聲z 中拆分出結(jié)構(gòu)化的隱含編碼的方法，使得生成過程具有一定程度的可控性、可解釋性；DCGAN[10]引入CNN 概念，極大增強(qiáng)了GAN 的數(shù)據(jù)生成質(zhì)量。

2 算法實(shí)現(xiàn)

整個(gè)算法流程圖如圖1 所示。

生成器網(wǎng)絡(luò)以帶有運(yùn)動(dòng)模糊的圖像做為輸入，估計(jì)并處理恢復(fù)出相應(yīng)的圖像。同時(shí)，判別器網(wǎng)絡(luò)將生成器網(wǎng)絡(luò)生成的圖像與原始清晰圖像做為圖像對(duì)，判斷并輸出反饋兩者之間的差別。

2.1 生成器結(jié)構(gòu)

本工作的生成器借鑒了“U-Net”[24]類似的編碼-解碼的網(wǎng)絡(luò)結(jié)構(gòu)，通過躍層連接形式，將不同層次之間的信息共享。在本文的場(chǎng)景中，人臉的圖像結(jié)構(gòu)相對(duì)固定。對(duì)于人臉盲去運(yùn)動(dòng)模糊，其中一項(xiàng)任務(wù)就是對(duì)人臉結(jié)構(gòu)以及背景信息的精準(zhǔn)分割。躍層連接通過融合不同尺度的特征信息，可以起到補(bǔ)充信息的作用：在高層補(bǔ)充了語義信息，在底層細(xì)化了分割的輪廓，使網(wǎng)絡(luò)能夠更好地適用于高分辨率圖像的學(xué)習(xí)過程，生成更加清晰的圖像。此外文獻(xiàn)[3]研究指出這種跳級(jí)連接能夠促使網(wǎng)絡(luò)的最小化過程更平坦，從而對(duì)新的數(shù)據(jù)敏感度更低，泛化能力更強(qiáng)。同時(shí)，為了提升網(wǎng)絡(luò)的魯棒性，減輕網(wǎng)絡(luò)梯度消失的問題，更有效地利用網(wǎng)絡(luò)特征，加強(qiáng)了特征之間的傳遞與共享，減少參數(shù)量和計(jì)算量，同時(shí)保證網(wǎng)絡(luò)效果，本文引入Dense Block[8]的設(shè)計(jì)，在同層網(wǎng)絡(luò)之間進(jìn)行稠密連接。生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖1 算法流程圖

生成器包含4 個(gè)躍層結(jié)構(gòu)。每一層網(wǎng)絡(luò)都會(huì)經(jīng)過兩次3×3 的卷機(jī)操作，卷積后利用Instance Norm 進(jìn)行歸一化，并利用Dense 思想通過Concat 操作進(jìn)行結(jié)合，同時(shí)為了快速獲取底層信息和恢復(fù)圖像，引入了最大池化和相應(yīng)的上采樣過程。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 判別器結(jié)構(gòu)

在對(duì)抗博弈思想中，判別器的作用就是區(qū)分輸入的圖像是由生成器生成還是原圖。在不斷學(xué)習(xí)強(qiáng)化自身判別能力的同時(shí)，給予生產(chǎn)器相應(yīng)的反饋，幫助生成器生成更加逼真，接近原始狀態(tài)的圖像。原始GAN 的判別器最終得到的是一個(gè)判斷為整體圖像真假概率的二分向量。但是在圖像間，尤其是高分辨率圖像的轉(zhuǎn)換任務(wù)中，為了得到更好的效果，僅使用整體圖像真假概率這一信息顯然是不夠的。因此在本文的工作中，改進(jìn)了原始GAN 的判別器結(jié)構(gòu)。本文通過引入PatchGAN[16]中對(duì)于判別器的改進(jìn)，將我們工作中的判別器輸出調(diào)整為一個(gè)N×N 的向量矩陣，采用矩陣中的每一個(gè)向量可以表示圖像局部的信息來代替整體圖像的真假概率信息。L1 損失可以使模型學(xué)到低頻的特征，PatchGAN 的結(jié)構(gòu)可以使模型學(xué)到高頻的特征，可以更好地恢復(fù)人臉的紋理、風(fēng)格等信息。

2.3 損失函數(shù)

在本文工作中，將損失函數(shù)表示為對(duì)抗損失、內(nèi)容損失與人臉先驗(yàn)差別的組合：

其中，在本文實(shí)驗(yàn)中的λ值設(shè)定為100，μ的值設(shè)定為1000。本文工作選擇了WGAN-GP 做為評(píng)價(jià)函數(shù)，因?yàn)槠浔蛔C實(shí)在生成器的結(jié)構(gòu)上更具有魯棒性。損失函數(shù)計(jì)算如下：

在內(nèi)容損失上，由于L1 或者M(jìn)SE 損失函數(shù)會(huì)造成生成圖像出現(xiàn)模糊的假象[23]。本文工作為更好適應(yīng)清晰化圖像的場(chǎng)景，選擇了感知損失[9]，基于生成圖像與目標(biāo)圖像之間的特征圖差別。它的定義如下：

其中?i,j表示圖像特征圖，IS,IB表示原始清晰圖像和模糊圖像。

在人臉先驗(yàn)上，通過利用dlib[4]，來計(jì)算生成器圖像與原始圖像人臉之間的特征點(diǎn)差別，并使用歐氏距離絕對(duì)值作為衡量。公式如下：

對(duì)抗損失側(cè)重于恢復(fù)一般內(nèi)容，內(nèi)容損失能夠更好地恢復(fù)紋理信息，加上人臉先驗(yàn)可以更好地定位人臉，適應(yīng)人臉去運(yùn)動(dòng)模糊的場(chǎng)景。

3 網(wǎng)絡(luò)訓(xùn)練與結(jié)果對(duì)比

3.1 數(shù)據(jù)集的處理

相較于其他例如超分辨率和風(fēng)格遷移的圖像到圖像轉(zhuǎn)換任務(wù)，去運(yùn)動(dòng)模糊問題很難得到大量有效的清晰-模糊的圖像對(duì)用于訓(xùn)練。由于人臉場(chǎng)景運(yùn)動(dòng)模糊的公開數(shù)據(jù)集過少，我們的數(shù)據(jù)集主要利用開源數(shù)據(jù)集CelebA[5]篩選出的清晰人臉圖像，借鑒文獻(xiàn)[6]中的做法，利用Boracchi 和Foi[7]提出的通過馬爾科夫隨機(jī)過程生成隨機(jī)生運(yùn)動(dòng)軌跡的方法，然后對(duì)軌跡進(jìn)行子像素插值法生成模糊核模擬二維空間上的運(yùn)動(dòng)。處理后的數(shù)據(jù)集效果如圖3。

圖3 原圖與運(yùn)動(dòng)模糊處理后圖像對(duì)（a）原始圖像；（b）運(yùn)動(dòng)模糊處理后的圖像

3.2 訓(xùn)練細(xì)節(jié)

我們使用CPU：Intel Core i7-9897，GPU：NVIDIA RTX2080，內(nèi)存16G 的硬件平臺(tái)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)集由5077 對(duì)清晰-模糊的圖像對(duì)組成，另外847張模糊圖像作為訓(xùn)練過程中的驗(yàn)證數(shù)據(jù)集。所有圖像的分辨率為300×300。實(shí)驗(yàn)選取Adam 優(yōu)化器，學(xué)習(xí)率10-4等超參設(shè)置下進(jìn)行100 輪訓(xùn)練。訓(xùn)練共計(jì)用時(shí)110 小時(shí)。

3.3 實(shí)驗(yàn)結(jié)果

為了更好地評(píng)價(jià)算法的有效性，我們使用了峰值信噪這一客觀評(píng)價(jià)指標(biāo)。峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）經(jīng)常用于對(duì)圖像重建質(zhì)量的評(píng)價(jià)，可以通過均方誤差MSE 進(jìn)行變形定義。

圖4 實(shí)驗(yàn)結(jié)果圖（a）原始圖像；（b）運(yùn)動(dòng)模糊處理后的圖像；（c）通過算法恢復(fù)的圖像

原圖與模糊圖像之間的峰值信噪比均值僅17.69，經(jīng)過本文算法處理后生成的圖像在峰值信噪比評(píng)價(jià)指標(biāo)上得到了26.79 的平均值，說明算法對(duì)于恢復(fù)圖像質(zhì)量上效果顯著。

4 結(jié)語

本文提出了不用預(yù)先估計(jì)模糊核，利用GAN 對(duì)運(yùn)動(dòng)模糊圖像進(jìn)行盲去運(yùn)動(dòng)模糊的方法。通過加入人臉先驗(yàn)信息，感知損失，修改網(wǎng)絡(luò)結(jié)構(gòu)等方法得到了擁有盲去運(yùn)動(dòng)模糊能力的生成式對(duì)抗網(wǎng)絡(luò)模型。將隨機(jī)運(yùn)動(dòng)模糊的圖像作為網(wǎng)絡(luò)的輸入，經(jīng)網(wǎng)絡(luò)模型處理可以恢復(fù)出清晰的圖像。本文通過圖像在客觀圖像質(zhì)量評(píng)價(jià)指標(biāo)下的數(shù)值驗(yàn)證了網(wǎng)絡(luò)的有效性。但是網(wǎng)絡(luò)仍然存在一些問題：例如網(wǎng)絡(luò)參數(shù)量過大，訓(xùn)練速度緩慢，生成的圖像存在明顯的規(guī)則的色素塊等，這些將是接下來需要解決的問題。