劉慶俞,劉 磊,陳 磊,肖 強(qiáng)

(1.淮南師范學(xué)院 計算機(jī)學(xué)院,安徽 淮南 232038;2.國家大學(xué) 計算機(jī)與信息技術(shù)學(xué)院,菲律賓 馬尼拉 0900)

圖像修復(fù)是指將一幅破損或有缺失的圖像利用技術(shù)手段進(jìn)行補(bǔ)全,使其語義連貫、紋理細(xì)節(jié)合理。圖像修復(fù)的目標(biāo)是通過重建破損區(qū)域像素來盡量恢復(fù)到原始圖像。圖像修復(fù)是計算機(jī)視覺領(lǐng)域的一個熱點(diǎn)研究課題,在很多方面發(fā)揮著巨大作用,比如字畫的破損修復(fù)、圖像的超分辨率、圖像去霧[1-2]、公安人員對口罩遮擋嫌疑人的人臉識別等。

圖像修復(fù)技術(shù)主要有傳統(tǒng)修復(fù)方法[3-5]和基于深度學(xué)習(xí)的修復(fù)方法[6-8]。擴(kuò)散理論的傳統(tǒng)修復(fù)算法是利用周邊的像素來填補(bǔ)缺失區(qū)域,它只能修復(fù)小的缺失區(qū)域且很難生成語義豐富的圖像結(jié)構(gòu)。基于塊的修復(fù)方法可以從源圖像集中提取相似的像素塊來快速填補(bǔ)圖像。它的主要問題是假設(shè)缺失區(qū)域和其他圖像具有相同或相似的像素信息。因此,對于簡單結(jié)構(gòu)的圖像修復(fù)效果較好,但是對于復(fù)雜的缺失區(qū)域往往修復(fù)效果不佳,且計算量較大。近年來隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,尤其是生成對抗網(wǎng)絡(luò)的出現(xiàn),基于深度學(xué)習(xí)的圖像修復(fù)算法為圖像修復(fù)提供了新的解決思路。這類方法一個重要特點(diǎn)是可以從未遮擋的其他區(qū)域內(nèi)提取到有意義的語義信息,進(jìn)而生成新的內(nèi)容重建缺失像素。

Context Encoder(CE)[9]是首個基于生成對抗網(wǎng)絡(luò)[10]的圖像修復(fù)方法,整體結(jié)構(gòu)為編碼-解碼器結(jié)構(gòu)。編碼器將缺損圖像映射到低維特征空間,解碼器用于重構(gòu)圖像,編碼后的特征通過基于通道的全連接層融合輸入至解碼各階段。但由于在生成過程中未充分考慮到全局一致性與語義連貫性,導(dǎo)致重構(gòu)部分存在較嚴(yán)重的視覺模糊現(xiàn)象。

為了提升圖像修復(fù)效果,本方案在CE模型的基礎(chǔ)上引入UNet[11-13]結(jié)構(gòu),利用其跳層連接融合低層紋理特征和高層語義特征。另外在生成器的下采樣模塊中引入改進(jìn)的殘差模塊和自注意力模塊[14],以保證在降低參數(shù)量的同時不降低圖像特征提取能力。

1 相關(guān)理論

1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,簡稱GAN)最早是由Goodfellow等人提出的一種深度學(xué)習(xí)模型,一經(jīng)提出就被認(rèn)為是二十年來機(jī)器學(xué)習(xí)領(lǐng)域最酷的想法。GAN網(wǎng)絡(luò)的原理結(jié)構(gòu)框架如圖1所示,其中G表示生成網(wǎng)絡(luò)(Generator),它通過接收隨機(jī)噪聲數(shù)據(jù)z生成相應(yīng)的圖像。D是表示判別網(wǎng)絡(luò)(Discriminator),用來判斷輸入的圖像x是真實(shí)的圖像還是G生成的“假”圖像。判別器的輸出表示x為真實(shí)圖像的概率,0表示判定其是假的圖片,1則代表判別器鑒定其為真實(shí)圖像。

圖1 GAN網(wǎng)絡(luò)結(jié)構(gòu)

GAN的思想主要來源于“零和博弈”理論。研究人員之所以將其引入到深度學(xué)習(xí)領(lǐng)域,就是利用生成器和判別器這兩個前饋網(wǎng)絡(luò)進(jìn)行最小最大博弈的對抗訓(xùn)練。訓(xùn)練過程中鼓勵生成器不斷向真實(shí)數(shù)據(jù)的分布逼近,進(jìn)而做到生成“以假亂真”的圖像。由于具備這種靈巧的博弈對抗學(xué)習(xí)機(jī)制以及擬合數(shù)據(jù)分布的潛在能力,可以用來進(jìn)行圖像修復(fù)。因此,可進(jìn)一步將這種博弈關(guān)系表示為:

MinGMaxD(D,G)=Ex～Pdata(x)[logD(x)]+

Ez～Pz(z)[log(1-D(G(z)))]

(1)

式(1)中,z和x分別表示隨機(jī)噪聲矢量和從真實(shí)數(shù)據(jù)分布Pdata(x)采樣的真實(shí)圖像。D(x)和D(G(z))分布表示對真實(shí)圖像和生成圖像的判別結(jié)果。式(1)也表示GAN是一種可以生成特定數(shù)據(jù)分布的模型。

正是因?yàn)镚AN這種無監(jiān)督且可產(chǎn)生新內(nèi)容的博弈過程,使其在圖像處理和圖像修復(fù)領(lǐng)域得到更廣泛的關(guān)注。在損失函數(shù)的作用下,通過判別器的不斷優(yōu)化,會促使生成器生成更接近于真實(shí)圖像的優(yōu)質(zhì)圖像。這對于圖像修復(fù)技術(shù)尤為重要,因?yàn)樾迯?fù)結(jié)果主觀上就是通過人眼視覺感知、判斷算法的優(yōu)劣。

1.2 自注意力機(jī)制

自注意力機(jī)制是注意力機(jī)制的一種,在圖像處理方面,上下文信息對于局部特征的提取非常重要。自注意力機(jī)制通過(key、query、value)這種三元組提供了一種有效的捕捉圖像全局上下文信息的建模方式。具體可以表示為:

(2)

式(2)中,f和g分別是一種查詢變換,βi,j表示修復(fù)第j個像素時,模型對第i個像素點(diǎn)的關(guān)注程度。假設(shè)o是N個C維的向量組,配合另外一種變換h,可以得到自注意力層的輸出特征圖oj,具體如式(3)所示。

o=(o1,o2,…,oN)∈RC*N

=Whxi,v(xi)=Wvxi

(3)

于是最終特征輸出為:

yi=μoi+xi

(4)

式(4)中,μ為可訓(xùn)練的影響因子,其初始值一般為0。xi為輸入,yi即是自注意力機(jī)制處理后的輸出特征。隨著訓(xùn)練的進(jìn)行,可以獲得從局部到全局的信息。

2 模型設(shè)計

本文將UNet結(jié)構(gòu)和CE模型相結(jié)合,在生成器中加入改進(jìn)的殘差模塊和自注意力機(jī)制來提升圖像修復(fù)效果,具體框架如圖2所示。生成器經(jīng)過連續(xù)的下采樣提取特征并降低特征圖大小,在上采樣的過程中得出修復(fù)后的小圖。最后將修復(fù)后的小圖嵌入遮擋的原始圖像中得到最后的修復(fù)圖像。

圖2 模型整體框架

2.1 生成器

本文假設(shè)原始遮擋圖像大小為128×128,遮擋掩碼居中為64×64。生成器由7個下采樣模塊和6個上采樣模塊組成,輸出為修復(fù)后的遮擋區(qū)域。圖3為下采樣模塊結(jié)構(gòu),包括2個改進(jìn)后的殘差模塊,其中一個殘差模塊通過步長stride設(shè)置為2來降低特征圖大小。

圖3 下采樣模塊結(jié)構(gòu)

殘差網(wǎng)絡(luò)的出現(xiàn)是深度學(xué)習(xí)領(lǐng)域的重要成果[15],它指出在神經(jīng)網(wǎng)絡(luò)中,較深的網(wǎng)絡(luò)應(yīng)該不會比較淺的網(wǎng)絡(luò)效果差,通過輸入的恒等映射即可實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)。圖4左圖即為原始的殘差模塊,它可以解決網(wǎng)絡(luò)退化問題。殘差網(wǎng)絡(luò)越深,特征提取能力越好。考慮到不同大小的卷積核能夠提取不一樣的特征,本研究在原始?xì)埐钅K的基礎(chǔ)上增加了多尺度卷積神經(jīng)網(wǎng)絡(luò)分支來進(jìn)行特征融合,從而更好地在下采樣過程中提取有效特征。改進(jìn)后的殘差模塊包括3路卷積分支,分別是1×1、3×3和5×5的卷積分支,模塊的輸出為3路卷積結(jié)果的融合。根據(jù)實(shí)際需要來計算復(fù)雜度,可以調(diào)整分支數(shù)。卷積分支中,激活函數(shù)使用LeakyRelU,使用InstanceNorm2d替換BatchNorm2d。

圖4 多尺度殘差模塊

圖5是上采樣模塊結(jié)構(gòu),也包括了一個改進(jìn)后的殘差模塊,步長stride為1,即特征圖大小不變。上采樣模塊中使用了“Concatenate”操作,將處理得到的特征圖與對應(yīng)大小的上采樣特征圖進(jìn)行通道維度的疊加處理。這種操作的結(jié)構(gòu)是結(jié)合了底層和高層的特征,盡量保持其他未遮擋區(qū)域像素的一致。

圖5 上采樣模塊結(jié)構(gòu)

2.2 判別器

判別器和生成器相輔相成,用于判斷輸入的圖像是真實(shí)的“自然”圖像,還是生成器生成的“假”圖像。圖6顯示判別器共有三個卷積操作,分別將輸入圖像大小減半,輸出為(1,8,8)的矩陣。矩陣中的每一個點(diǎn)代表了原始輸入圖像的一個區(qū)域。

圖6 判別器結(jié)構(gòu)

2.3 損失函數(shù)

在生成對抗網(wǎng)絡(luò)中,損失函數(shù)起著重要的作用,判別器和生成器分別對應(yīng)自己的損失函數(shù)。生成器損失函數(shù)包括L1損失(LossL1)和對抗損失(Lossadv),兩種損失的權(quán)重之和1(γL1+γadv=1),具體為:

LossG=γL1×LossL1+γadv×Lossadv

(5)

對于判別器,它接收2種輸入圖像,真實(shí)圖像給予高判別值,生成圖像則數(shù)值較低。損失函數(shù)只采用對抗損失,具體為:

LossD=Lossadv(D)

(6)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境設(shè)置

本文的圖像修復(fù)模型訓(xùn)練和測試均在Celeb A數(shù)據(jù)集上進(jìn)行。該圖像數(shù)據(jù)集包括202599張各國名人的人臉圖像,選取其中26000張用于模型訓(xùn)練,1000張用于測試。圖像初始化為128*128,人臉遮擋區(qū)域居中且為64×64。

實(shí)驗(yàn)硬件環(huán)境為Intel Xeon處理器,128G內(nèi)存和8塊3090顯卡。軟件環(huán)境使用Red Hat 4.8.5,Python 3.7.1,Pytorch 1.10。實(shí)驗(yàn)超參數(shù)γadv為1,γL1為100,batch size為300,優(yōu)化器為Adam。

3.2 定性分析

為了證明模型的有效性,將本文所提的圖像修復(fù)算法與CE、CE-UNet(CE模型的生成器添加UNet結(jié)構(gòu))和GLGAN[16]在同一個圖像數(shù)據(jù)集上進(jìn)行對比。圖7為四種修復(fù)算法在矩形遮擋的人臉圖像上修復(fù)的效果圖(模型訓(xùn)練到800epoch)。其中,第一列為遮擋人臉圖像,最后一列為原始正常人臉。中間四列依次為不同修復(fù)算法的修復(fù)結(jié)果。顯然,本文修復(fù)算法的效果優(yōu)于其他三種算法。CE和CE-UNet算法修復(fù)后的圖像存在明顯的模糊和邊界突出的問題,而GLGAN算法的整體修復(fù)效果略差于本文方法。本文修復(fù)效果和原始人臉具有較好的一致性,人臉的細(xì)節(jié)恢復(fù)較好,保證了視覺上的自然和紋理的連貫性。

圖7 修復(fù)效果圖(800epoch)

3.3 定量分析

為了更好地說明本文修復(fù)算法的有效性,使用PSNR(峰值信噪比)和SSIM(結(jié)構(gòu)相似性)[17]兩項(xiàng)參數(shù)進(jìn)行定量數(shù)據(jù)分析。PSNR一般用于衡量最大值信號和噪音數(shù)據(jù)之間的圖像質(zhì)量參考值。PSNR值越大,圖像失真越少。SSIM是一種衡量圖像之間相似度的指標(biāo)。一般來說,SSIM在評價圖像質(zhì)量上更能符合人類一般的視覺特性。SSIM使用的兩張圖像中,一張為原始的無失真圖像,另一張為處理后的圖像。顯示本文所提算法的修復(fù)結(jié)果在PSNR和SSIM兩項(xiàng)指標(biāo)上也是優(yōu)于前面3種算法,如表1所示。

表1 修復(fù)結(jié)果的定量分析表

結(jié)語

本文在原始CE模型的基礎(chǔ)上改進(jìn)了生成器和判別器網(wǎng)絡(luò)結(jié)構(gòu)。生成器采用UNet跳層連接,同時下采樣模塊使用了多尺度的殘差模塊和自注意力機(jī)制以提高模型的特征提取能力。在對抗損失和L1損失函數(shù)的作用下,實(shí)現(xiàn)了更好的圖像修復(fù)效果。實(shí)驗(yàn)結(jié)果表明,本文修復(fù)算法在定量分析和定性分析方面都取得了明顯的提升。