楊云 張小璇 楊欣悅

摘 要：針對現(xiàn)有的圖像修復(fù)算法重建結(jié)果存在的局部結(jié)構(gòu)不連通、細(xì)節(jié)還原不準(zhǔn)確等問題，提出了一種基于語義先驗(yàn)和雙通道特征提取的圖像修復(fù)算法（semantic prior and dual channel extraction，SPDCE）。該算法利用語義先驗(yàn)網(wǎng)絡(luò)學(xué)習(xí)缺失區(qū)域的語義信息和上下文知識，對缺失區(qū)域進(jìn)行預(yù)測，增強(qiáng)了生成圖像的局部一致性；然后通過雙通道特征提取網(wǎng)絡(luò)充分挖掘圖像信息，提升了對紋理細(xì)節(jié)的感知和利用能力；再使用上下文特征調(diào)整模塊在多個尺度上捕獲并編碼豐富的語義特征，從而生成更真實(shí)的圖像視圖和更精細(xì)的紋理細(xì)節(jié)。在CelebAHQ和Places2數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，SPDCE算法與常用算法相比，峰值信噪比（peak signaltonoise ratio，PSNR）和結(jié)構(gòu)相似性（structural similarity，SSIM）分別提升1.6～1.73 dB和3.1%～9.9%，L1 loss下降15.2%～27.8%。實(shí)驗(yàn)證明所提算法修復(fù)后的圖像具有更合理的結(jié)構(gòu)和更豐富的細(xì)節(jié)，圖像修復(fù)效果更優(yōu)。

關(guān)鍵詞：圖像修復(fù)；語義先驗(yàn)；雙通道特征提?。惶卣骶酆?/p>

中圖分類號：TP391.41?? 文獻(xiàn)標(biāo)志碼：A??? 文章編號：1001-3695（2023）12-046-3810-06

doi： 10.19734/j.issn.1001-3695.2023.04.0171

Image restoration based on semantic prior and dual channel feature extraction

Abstract：Aiming at the problems of local structure disconnection and inaccurate detail restoration in existing image restoration algorithms， this paper proposed an inpainting algorithm based on semantic prior and dual channel feature extraction（SPDCE）. The algorithm used semantic prior network to learn the semantic information and context knowledge of the missing area， predicted the missing area， and enhanced the local consistency of the generated image. Then， the dual channel feature extraction network fully mined image information， enhanced the perception and utilization of texture details. Next， the context feature adjustment module could capture and encode rich semantic features at multiple scales， thereby generating more realistic image views and finer texture details. After conducting experimental verification on the datasets CelebAHQ and Places2， the results show that compared with commonly used algorithms， the SPDCE algorithm improved the peak signal ratio （PSNR） and structural similarity （SSIM） by 1.6 dB to 1.73 dB and 3.1% to 9.9%， while L1 loss decreased by 15.2% to 27.8%. Experimental results show that the repaired image of the proposed algorithm has more reasonable structure and richer details， and the inpainting effect is better.

Key words：image inpainting; semantic priori; dual channel feature extraction; feature aggregation

0 引言

圖像修復(fù)的目標(biāo)是使用已有信息在一定程度上重建出具有可信度的圖像結(jié)構(gòu)和內(nèi)容。近年來，圖像修復(fù)技術(shù)已經(jīng)成為圖像處理領(lǐng)域的重要研究內(nèi)容之一，并被廣泛應(yīng)用于多個領(lǐng)域，比如破損圖像恢復(fù)［1］、對象移除［2］等。由于在圖像修復(fù)過程中需要考慮缺失區(qū)域鄰域、圖像紋理結(jié)構(gòu)一致等問題，圖像修復(fù)技術(shù)還有很多難點(diǎn)等待攻克，需要基于現(xiàn)有的研究成果繼續(xù)研究更加穩(wěn)定有效的圖像修復(fù)算法。

在深度學(xué)習(xí)之前，主要使用傳統(tǒng)方法進(jìn)行圖像修復(fù)，傳統(tǒng)方法分為基于擴(kuò)散和基于補(bǔ)丁兩類?；跀U(kuò)散的方法將圖像中周圍的像素信息通過算法擴(kuò)散到缺失的像素位置，并通過計算周圍像素的值來估計缺失像素的值。Bertalmio等人［1］提出BSCB模型，沿著等照度線的方向?qū)D像的已知信息光滑地傳播到圖像缺失區(qū)域，從而實(shí)現(xiàn)對圖像的自動修復(fù)。Shen等人［3］提出整體變分（total variation，TV）方法和基于曲率的擴(kuò)散膜（curvaturedriven diffusion，CDD）。基于補(bǔ)丁的圖像修復(fù)方法是利用與受損區(qū)域相似的圖像塊（即補(bǔ)?。﹣硖鎿Q受損區(qū)域的像素值。Efros等人［4］提出非參數(shù)采樣合成算法，該算法使用了馬爾可夫隨機(jī)場模型，但因每次只修復(fù)一個點(diǎn)，導(dǎo)致時間代價巨大。Criminisi等人［5］在Efros模型［4］的基礎(chǔ)上從完好區(qū)域?qū)ふ遗c破損區(qū)域相似度最高的補(bǔ)丁，然后將其結(jié)構(gòu)和紋理信息復(fù)制到圖像的缺失區(qū)域，然而它會出現(xiàn)馬賽克效應(yīng)和紋理混亂現(xiàn)象。這些傳統(tǒng)方法能有效地修復(fù)小范圍缺失，但是當(dāng)需要修復(fù)的區(qū)域變大時，它們的修復(fù)效果就會下降。

針對傳統(tǒng)方法的局限性，提出神經(jīng)網(wǎng)絡(luò)的方法來提高圖像修復(fù)的質(zhì)量。Pathak等人［6］提出以編碼解碼為基礎(chǔ)的基于內(nèi)容編碼（context encoder，CE）的圖像修復(fù)模型，首次對大區(qū)域缺失圖像提供一個合理的參數(shù)化修復(fù)算法。Iizuka等人［7］在CE網(wǎng)絡(luò)基礎(chǔ)上提出一種添加局部判別器的雙判別模型，提高了細(xì)節(jié)修復(fù)能力。Yang等人［8］提出一種基于多尺度神經(jīng)網(wǎng)絡(luò)的圖像修復(fù)方法，該方法綜合考慮了圖像的內(nèi)容和紋理的限制，在保持上下文信息的前提下，充分挖掘深度學(xué)習(xí)網(wǎng)絡(luò)中各特征層之間的關(guān)聯(lián)性，從而生成更多的高頻率細(xì)節(jié)，提升修復(fù)后的圖像質(zhì)量。Yu等人［9］引入粗略到細(xì)化的兩階段網(wǎng)絡(luò)模型對圖像進(jìn)行修復(fù)，一階段網(wǎng)絡(luò)進(jìn)行粗略預(yù)測，二階段網(wǎng)絡(luò)將粗修復(fù)預(yù)測結(jié)果作為輸入并預(yù)測產(chǎn)生更精確的修復(fù)結(jié)果，但修復(fù)結(jié)果會存在失真現(xiàn)象。上述方法能較好地恢復(fù)受損圖像的顏色與內(nèi)容，但其細(xì)節(jié)與紋理的恢復(fù)卻存在一定的局限性，且當(dāng)受損面積過大時，可能會因?yàn)槿狈τ行畔ⅲ瑢?dǎo)致修復(fù)圖像出現(xiàn)結(jié)構(gòu)扭曲現(xiàn)象。

針對上述問題，本文開展相關(guān)研究，提出了基于語義先驗(yàn)和雙通道特征提取的圖像修復(fù)算法SPDCE。本文主要貢獻(xiàn)如下：

a）提出了語義先驗(yàn)網(wǎng)絡(luò)，通過利用網(wǎng)絡(luò)學(xué)習(xí)到的先驗(yàn)知識，修復(fù)算法可以更加準(zhǔn)確地還原出缺失區(qū)域的結(jié)構(gòu)特征，使修復(fù)結(jié)果具有結(jié)構(gòu)上的合理性。

b）提出了雙通道特征提取網(wǎng)絡(luò)，其共享編碼器和解碼器，增強(qiáng)了對紋理細(xì)節(jié)的感知和利用能力。上層設(shè)計了基于門控殘差的多尺度模塊（multiscale gated residuals，MSGR），通過跨層連接機(jī)制實(shí)現(xiàn)特征高效傳遞，獲取更深層的特征信息；下層采用結(jié)合CA注意力機(jī)制的混合卷積網(wǎng)絡(luò)，增大感知范圍，增強(qiáng)模型對有效區(qū)域特征的提取能力。

c）引入上下文特征調(diào)整模塊（contextual feature aggregation，CFA），使用多尺度特征聚合來編碼多尺度的豐富語義特征，增強(qiáng)圖像局部特征之間的相關(guān)性，并保持整體圖像的一致性。

1 相關(guān)工作

1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）由Goodfellow等人［10］在2014年提出，因?yàn)樗梢栽谌笔Щ驌p壞的圖像部分上生成高質(zhì)量的填充內(nèi)容，所以常被用于圖像修復(fù)領(lǐng)域。生成對抗網(wǎng)絡(luò)由生成器和判別器組成。生成器的主要任務(wù)是將噪聲信號轉(zhuǎn)換成與原始數(shù)據(jù)相似的數(shù)據(jù)，而判別器則試圖區(qū)分生成器產(chǎn)生的數(shù)據(jù)和原始數(shù)據(jù)。生成器和判別器通過對抗學(xué)習(xí)進(jìn)行訓(xùn)練，在訓(xùn)練過程中互相競爭，同時相互促進(jìn)。生成器的訓(xùn)練目標(biāo)是最大化判別器無法區(qū)分生成的數(shù)據(jù)和原始數(shù)據(jù)的概率，而判別器的訓(xùn)練目標(biāo)是最小化這個概率。生成對抗網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.2 通道注意力機(jī)制

圖像修復(fù)需要從原始圖像中學(xué)習(xí)缺失區(qū)域的上下文信息，并利用這些信息來預(yù)測缺失像素的值。在這個過程中，引入注意力機(jī)制可以幫助模型集中注意力于缺失區(qū)域周圍的有用信息，它可以根據(jù)輸入圖像的局部特征自適應(yīng)地加權(quán)不同的上下文信息，從而提高圖像修復(fù)的準(zhǔn)確性。CA注意力機(jī)制［11］將位置信息嵌入到通道注意力中，通過采用1D全局池化運(yùn)算，將輸入特征從垂直和水平兩個方向上聚合成兩個獨(dú)立的方向型特征圖。在此基礎(chǔ)上，對兩種特征圖進(jìn)行編碼，使之能夠在一定程度上反映出兩種特征圖之間的長距離相關(guān)性，從而將位置信息存儲到所產(chǎn)生的注意力圖中，最后通過乘法運(yùn)算將兩個注意力圖應(yīng)用到輸入的特征圖中，用來強(qiáng)調(diào)注意區(qū)域的表示。CA注意力結(jié)構(gòu)如圖2所示。

2 本文模型

基于語義先驗(yàn)和雙通道特征提取的圖像修復(fù)的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。圖像修復(fù)流程如下：輸入RGB破損圖像和對應(yīng)的單通道掩碼，編碼器提取圖像特征，同時將其送入語義先驗(yàn)網(wǎng)絡(luò)學(xué)習(xí)高級語義特征，然后將編碼器和語義模塊學(xué)習(xí)到的特征進(jìn)行融合，之后分別送入兩個通道進(jìn)行特征學(xué)習(xí)；上層通道由八個相聯(lián)的MSGR模塊組成，通過跨層連接機(jī)制實(shí)現(xiàn)特征高效傳遞，獲取更深層特征信息，下層通道采用結(jié)合CA注意力機(jī)制的混合卷積網(wǎng)絡(luò)，增強(qiáng)模型對有效區(qū)域特征的提取能力，接著將兩者學(xué)習(xí)到的特征經(jīng)過上下文特征調(diào)整模塊CFA進(jìn)行多尺度融合，將融合的結(jié)果送入解碼器輸出生成的圖像；最后將生成圖像送入譜歸一化馬爾可夫判別器進(jìn)行真假判別，從而優(yōu)化生成器模型的參數(shù)，提高生成圖像的質(zhì)量和逼真度。

2.1 生成器網(wǎng)絡(luò)

2.1.1 語義先驗(yàn)網(wǎng)絡(luò)

圖像修復(fù)旨在補(bǔ)全圖像中的破損區(qū)域，然而當(dāng)破損區(qū)域較大時，修復(fù)結(jié)果會出現(xiàn)局部扭曲，導(dǎo)致修復(fù)前后結(jié)構(gòu)不一致。為解決這一問題，本文提出語義先驗(yàn)網(wǎng)絡(luò)SPM，它可以在預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的監(jiān)督下，學(xué)習(xí)缺失區(qū)域像素的語義信息和上下文知識，對缺失區(qū)域進(jìn)行預(yù)測，為后續(xù)的圖像修復(fù)過程提供結(jié)構(gòu)指導(dǎo)，以生成合理且真實(shí)的修復(fù)結(jié)果。同時利用編碼器提取圖像特征信息，接著通過仿射變換自適應(yīng)地調(diào)制學(xué)習(xí)到的不同特征，將兩者進(jìn)行有效融合之后送入雙通道特征提取網(wǎng)絡(luò)進(jìn)一步進(jìn)行圖像修復(fù)。

在將輸入圖像和掩碼送入語義先驗(yàn)網(wǎng)絡(luò)SPM前，首先對其進(jìn)行上采樣upsample以保留更多的局部結(jié)構(gòu)，先將完整圖像I∈Euclid ExtraaBp3×H×W變?yōu)镮′∈Euclid ExtraaBp3×2H×2W作為預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)K的輸入，提取圖像特征S作為語義先驗(yàn)的監(jiān)督，如式（1）所示。

S=K（I′）（1）

再將破損圖像Im∈Euclid ExtraaBp3×W×H和掩碼M∈Euclid ExtraaBp1×H×W變?yōu)镮m0∈Euclid ExtraaBp3×2H×2W和M′∈Euclid ExtraaBp1×2H×2W，接著將兩者融合得到破損圖像I′m∈Euclid ExtraaBp4×2H×2W，然后將I′m和M′作為輸入，送入語義先驗(yàn)網(wǎng)絡(luò)SPM，如式（2）所示。

I′m=concat（Ups（Im，M））（2）

SPM首先通過一個尺寸為7×7的卷積來獲取更大的鄰域信息，接著使用三個卷積核大小為4×4的卷積來學(xué)習(xí)淺層信息，每層卷積后使用LeakyReLU激活函數(shù)進(jìn)行非線性變換。隨后通過12個密集殘差塊進(jìn)一步提取圖像的深層特征，這些密集殘差塊通過堆疊多個密集連接層的方式，能夠有效地提取到更加豐富和準(zhǔn)確的特征表示。在獲得深層特征之后，將其與淺層信息進(jìn)行融合，以充分利用不同層級的特征信息，最后進(jìn)行特征重建，獲取到最終的語義先驗(yàn)信息Sm，整個過程可以用式（3）表示。

Sm=SPM（I′m，M′）（3）

在生成器中，輸入數(shù)據(jù)不僅被傳遞到語義先驗(yàn)網(wǎng)絡(luò)中進(jìn)行處理，還同時輸入到編碼器進(jìn)行學(xué)習(xí)。編碼器由三層門控卷積組成。門控卷積［12］是基于部分卷積思路，通過運(yùn)行一種可學(xué)習(xí)的動態(tài)特征選擇機(jī)制來獲取破損區(qū)域附近的關(guān)聯(lián)特征，獲得掩碼與背景的關(guān)系，計算過程如式（4）～（6）所示。

Gatingy，x=∑∑Wg·I（4）

Featurey，x=∑∑Wf·I（5）

Oy，x=（Gatingy，x）⊙σ（Featurey，x）（6）

其中：I表示輸入特征；Wg和Wf表示用于計算門控值和特征值的兩個卷積濾波器；σ（·）表示對輸出在［0，1］的門控計算值使用sigmoid激活函數(shù)；（·）表示任意的激活函數(shù)。

編碼器的輸入為完整圖像I和破損圖像M，首先對輸入圖像進(jìn)行處理得到破損圖像Im，然后將圖像送入編碼器encoder后獲得圖像特征Fm，如式（7）所示。

Fm=E（Im，M）（7）

使用學(xué)習(xí)到的語義先驗(yàn)指導(dǎo)圖像特征進(jìn)行修復(fù)時，由于兩種特征關(guān)注的是圖像的不同方面，直接將它們進(jìn)行拼接會導(dǎo)致生成圖像出現(xiàn)顏色失真及偽影現(xiàn)象，且破損區(qū)域會合成無意義的斑塊像素，所以本文通過空間自適應(yīng)歸一化spade模塊將兩者進(jìn)行有效融合，保證破損區(qū)域的修復(fù)結(jié)果具有更加合理和準(zhǔn)確的像素分布。

spade模塊結(jié)構(gòu)如圖4所示。首先對輸入的語義先驗(yàn)Sm進(jìn)行卷積操作，學(xué)習(xí)正則化層中的仿射參數(shù)γ和β，然后對輸入圖像特征Fm進(jìn)行歸一化操作，并使用學(xué)習(xí)到的參數(shù)對圖像特征進(jìn)行空間逐像素的仿射變換，計算過程如式（8）（9）所示。

［γ，β］=spade（Sm）（8）

F′m=γ·IN（Fm）+β（9）

2.1.2 雙通道特征提取網(wǎng)絡(luò)

在圖像修復(fù)過程中，傳統(tǒng)的單通道特征提取網(wǎng)絡(luò)主要關(guān)注單一通道的特征表示，對于紋理細(xì)節(jié)的感知和利用能力有限，往往難以充分捕捉破損區(qū)域中各種復(fù)雜紋理信息。因此本文提出了雙通道特征提取網(wǎng)絡(luò)，以提升網(wǎng)絡(luò)的特征提取能力，實(shí)現(xiàn)更精確和真實(shí)的圖像修復(fù)效果。

為實(shí)現(xiàn)特征的高效傳遞，設(shè)計并使用了一種新的殘差模塊MSGR，結(jié)構(gòu)如圖5所示，將8個MSGR模塊相連作為雙通道特征提取網(wǎng)絡(luò)的上層通道，通過跨層連接機(jī)制更好地學(xué)習(xí)和利用輸入圖像中的低層細(xì)節(jié)和高頻信息。

MSGR一方面將標(biāo)準(zhǔn)卷積的內(nèi)核拆分為多個子內(nèi)核，以實(shí)現(xiàn)更高效的特征提取。具體來說是將輸入的256通道的Fin拆分為4個64通道的子內(nèi)核，每個內(nèi)核再分別通過四種不同的擴(kuò)張率提取圖像特征信息，接著再將子內(nèi)核多次融合得到新的特征圖Fout1。另一方面它通過標(biāo)準(zhǔn)卷積和sigmoid運(yùn)算計算空間變換的門控值Fout2，最后通過Fout2的加權(quán)來聚合子內(nèi)核學(xué)習(xí)到的特征和殘差特征，計算如式（10）所示。

Fout=Fin⊙Fout2+Fout1⊙（1－Fout2）（10）

對于圖像修復(fù)來說，簡單地堆疊傳統(tǒng)卷積無法取得令人滿意的效果，因?yàn)樗鼘⑺休斎胂袼囟家暈橛行袼?，?dǎo)致修復(fù)后圖像出現(xiàn)偽影、破損邊緣模糊等問題。因此本文采用門控卷積和擴(kuò)張卷積來替代傳統(tǒng)卷積，作為特征提取網(wǎng)絡(luò)的下層通道。

首先采用3層尺寸為3×3的門控卷積，它能夠在特征提取的過程中學(xué)習(xí)已知區(qū)域與破損區(qū)域之間的關(guān)系，從而提高修復(fù)算法對細(xì)節(jié)和紋理的恢復(fù)能力。在門控卷積之后引入CA注意力機(jī)制，通過對通道注意力進(jìn)行建模，修復(fù)網(wǎng)絡(luò)能夠自適應(yīng)地加權(quán)不同通道的特征響應(yīng)，從而更加準(zhǔn)確地捕捉到有效區(qū)域的紋理細(xì)節(jié)特征；接著采用4層擴(kuò)張率分別為1、3、5、8的擴(kuò)張卷積來逐漸增大感受野的范圍，使修復(fù)網(wǎng)絡(luò)能夠更準(zhǔn)確地理解圖像語義和紋理上下文信息，增強(qiáng)對圖像中全局信息的感知能力；最后再使用2層門控卷積進(jìn)一步提取圖像特征。通過這種組合方式，網(wǎng)絡(luò)的特征提取能力得到了增強(qiáng)，能夠更準(zhǔn)確地重建出紋理細(xì)節(jié)豐富的圖像，使修復(fù)結(jié)果更加逼真和自然。

2.1.3 上下文特征調(diào)整模塊

雙通道特征提取網(wǎng)絡(luò)會輸出關(guān)注點(diǎn)不同的特征圖，然而直接對學(xué)習(xí)到的特征圖進(jìn)行拼接，導(dǎo)致大量有效信息丟失，使修復(fù)圖像出現(xiàn)偽影現(xiàn)象，上下文特征調(diào)整模塊CFA［13］能夠在多個尺度上捕獲并編碼豐富的語義特征，使得不同尺度的特征能夠相互補(bǔ)充和協(xié)同，從而增強(qiáng)圖像局部特征之間的相關(guān)性，確保了整體圖像的一致性，結(jié)構(gòu)如圖6所示。

給定特征圖F，首先提取3×3的像素點(diǎn)計算其余弦相似度并通過softmax計算，如式（11）（12）所示。

fi和fj分別對應(yīng)特征圖F的第i和第j個提取的補(bǔ)丁，接著利用提取的補(bǔ)丁根據(jù)注意力重構(gòu)特征圖，如式（13）所示。

f′i為重構(gòu)特征圖Frec的第i個補(bǔ)丁，將重構(gòu)特征圖Frec送入生成器W，它由兩層卷積組成，卷積核大小分別為3×3和1×1，每層卷積后面使用ReLU激活函數(shù)，生成器W可以預(yù)測像素級的權(quán)重圖，接著對不同的權(quán)重圖使用不同的擴(kuò)張率和不同的空洞卷積來捕獲多尺度語義特征，最后對多尺度語義特征進(jìn)行聚合，得到輸出特征FC，如式（14）（15）所示。

2.2 判別器網(wǎng)絡(luò)

判別器網(wǎng)絡(luò)用于判別輸入圖像是真實(shí)圖像還是修復(fù)圖像，并通過與修復(fù)網(wǎng)絡(luò)的對抗訓(xùn)練，改善修復(fù)圖像中存在的邊界偽影問題，以此提高破損區(qū)域與非破損區(qū)域內(nèi)紋理結(jié)構(gòu)的一致性。判別器采用馬爾可夫判別器，其將輸入的圖像分割成多個重疊的patch，然后對所有的patch分別進(jìn)行判別，最后取判別結(jié)果的平均值輸出true或者false；同時在判別器上應(yīng)用譜歸一化技術(shù)，改善網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定的問題，判別器結(jié)構(gòu)如圖7所示。

2.3 損失函數(shù)

本文使用L1損失、風(fēng)格損失、感知損失和對抗損失來引導(dǎo)網(wǎng)絡(luò)進(jìn)行優(yōu)化，以提高圖像修復(fù)模型的精度，更好地恢復(fù)破損圖像中的結(jié)構(gòu)和紋理細(xì)節(jié)。

L1損失是指修復(fù)圖像和原始圖像之間的絕對差異，它可以表示為修復(fù)圖像和原始圖像像素之間差異的總和。L1損失的值越小，修復(fù)圖像和原始圖像之間的差異越小，說明修復(fù)結(jié)果更接近原始圖像，如式（16）所示。

L1=‖（Igt－Ipred）⊙（1+δM）‖1（16）

風(fēng)格損失Lsty是通過比較修復(fù)后的圖像與風(fēng)格參考圖像之間的特征差異來計算損失值，具體是指修復(fù)圖像和真實(shí)圖像深度特征的Gram矩陣之間的L1距離，它可以幫助修復(fù)后的圖像更好地保留原始圖像的風(fēng)格特征，如式（17）所示。

Lsty=Ei［‖φ（Igt）－φ（Ipred）‖1］（17）

感知損失Lprec是兩幅圖像輸入VGG19網(wǎng)絡(luò)后所提取特征之間的歐氏距離，其可以幫助修復(fù)后的圖像更好地保留原始圖像的結(jié)構(gòu)和紋理特征，計算公式如式（18）所示。

其中：（·）是來自預(yù)訓(xùn)練網(wǎng)絡(luò)第i層的激活圖；Ni是（·）中元素的數(shù)量。

對抗損失Ladv衡量了判別器網(wǎng)絡(luò)評估修復(fù)圖像的能力，以及生成器網(wǎng)絡(luò)生成修復(fù)圖像的逼真程度。通過最小化對抗損失，生成器網(wǎng)絡(luò)能夠生成更加真實(shí)和自然的修復(fù)圖像，如式（19）所示。

其中：minG表示最小化生成器的結(jié)果，minD表示最大化判別器的結(jié)果；Pdata（Igt）表示真實(shí)圖像的分布；Pcomp（Ipred）表示修復(fù)圖像的分布。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

本文采用數(shù)據(jù)集CelebAHQ和Places2對所提算法進(jìn)行訓(xùn)練和測試。掩碼數(shù)據(jù)集采用Liu等人［14］的不規(guī)則掩碼數(shù)據(jù)集，根據(jù)破損區(qū)域大小將其劃分為五個區(qū)間，分別為10%～20%，20%～30%，30%～40%，40%～50%，50%～60%，掩碼數(shù)據(jù)集原尺寸為512×512，訓(xùn)練過程將其重新調(diào)整為256×256。不規(guī)則掩碼數(shù)據(jù)集示例如圖8所示。

實(shí)驗(yàn)在Windows系統(tǒng)上運(yùn)行，CPU為Intel CoreTM i57200U，GPU為NVIDIA RTX 3080 Ti（12 GB），網(wǎng)絡(luò)框架采用PyTorch，訓(xùn)練過程中將batchsize設(shè)置為4，生成器和判別器的初始學(xué)習(xí)率分別設(shè)置為0.000 1和0.000 3，優(yōu)化算法使用Adam，其中參數(shù)beta1設(shè)為0.5，參數(shù)beta2設(shè)為0.99。

3.2 實(shí)驗(yàn)結(jié)果和分析

3.2.1 定性比較

為了更好地對本文設(shè)計的網(wǎng)絡(luò)模型修復(fù)能力進(jìn)行驗(yàn)證，將SPDCE算法分別與RFR［15］、ShiftNet［16］、CTSDG［13］、SWTA［17］和ESD［18］進(jìn)行對比，結(jié)果如圖9、10所示。

圖9為CelebAHQ數(shù)據(jù)集上SPDCE與其他五種算法修復(fù)結(jié)果的對比，從左到右測試圖像的隨機(jī)掩膜覆蓋占比分別為10%～20%，20%～30%，30%～40%，40%～50%，50%～60%。從圖9中可見，RFR利用循環(huán)特征推理，在缺失區(qū)域比較大時修復(fù)效果不錯，但在小區(qū)域修復(fù)時細(xì)節(jié)不夠精確，會造成局部結(jié)構(gòu)扭曲，RFR修復(fù)圖的后4張眼睛區(qū)域均產(chǎn)生了扭曲效果。CTSDG采用紋理與結(jié)構(gòu)雙流網(wǎng)絡(luò)進(jìn)行修復(fù)，在小區(qū)域表現(xiàn)良好，但在較大區(qū)域破損時，修復(fù)結(jié)果會存在破損陰影。第3行的修復(fù)結(jié)果中，兩位女士臉頰能看到較明顯的陰影。ShiftNet使用深度特征重排方法，能夠在破損區(qū)域生成完整的新內(nèi)容，但存在局部模糊問題，如第4行ShiftNet的修復(fù)結(jié)果所示，第3張男士右眼區(qū)域和第4張男士左眼區(qū)域較模糊，最后一張修復(fù)臉部下半?yún)^(qū)域模糊，影響視覺的整體一致性。SWTA將Tranformer與傳統(tǒng)CNN結(jié)合，可以較好地恢復(fù)圖像結(jié)構(gòu)，但其紋理細(xì)節(jié)不夠精細(xì)，第5行第2張左側(cè)臉部邊緣不夠流暢。ESD使用雙解碼器，背景單調(diào)時修復(fù)效果較好，但背景復(fù)雜時修復(fù)會出現(xiàn)顏色失真現(xiàn)象，第6行第2張女士左側(cè)臉頰出現(xiàn)紫色偽影。與其他算法相比，SPDCE算法的修復(fù)結(jié)果擁有較完整的結(jié)構(gòu)及更精細(xì)的紋理細(xì)節(jié)，視覺效果良好。

圖10為Places2數(shù)據(jù)集上本文算法與其他五種算法修復(fù)結(jié)果的對比。從圖中可見，RFR和CTSDG的修復(fù)結(jié)果均存在不同程度的局部模糊問題，但當(dāng)圖像大區(qū)域缺損時，RFR的修復(fù)效果比CTSDG更優(yōu)，對比圖10中它們修復(fù)的最后一張圖片，CTSDG修復(fù)兩個窗戶相接處可見較為明顯的模糊。ShiftNet在修復(fù)結(jié)構(gòu)復(fù)雜的自然圖像時，缺損區(qū)域會生成大量無效像素，如第4行圖像可見較明顯的灰色斑塊紋理。ESD相對于其他算法，改善了紋理修復(fù)的問題，但修復(fù)的圖像有時會出現(xiàn)多余的內(nèi)容，如第6行第4張右上角天空出現(xiàn)了不存在的結(jié)構(gòu)。SWTA算法修復(fù)較為合理，但破損區(qū)域大面積缺失時存在一定問題，第5行第5張修復(fù)后花的左下角出現(xiàn)粗糙的斑駁。與其他算法相比，SPDCE算法的修復(fù)結(jié)果明顯改善了偽影現(xiàn)象，具有更精細(xì)的紋理細(xì)節(jié)，與真實(shí)圖像更接近。

3.2.2 定量比較

為了客觀比較SPDCE與其他算法的修復(fù)效果，采用峰值信噪比PSNR、結(jié)構(gòu)相似性SSIM和平均L1損失三種指標(biāo)對修復(fù)結(jié)果進(jìn)行評估。PSNR是用于衡量兩幅圖像中相應(yīng)像素之間誤差的指標(biāo)，其單位為分貝（dB），數(shù)值越大表示失真越小。SSIM是用來衡量兩張圖片之間結(jié)構(gòu)相似性的指標(biāo)，它比較了兩張圖片的亮度、對比度和結(jié)構(gòu)等因素，并給出了一個0～1的相似度得分，數(shù)值越接近1表示兩張圖片越相似。平均L1損失用于度量修復(fù)圖像像素與原始圖像像素之間的絕對差值，通過計算兩者之間每個像素的差異，并對所有差值取平均，得到L1損失的數(shù)值，較低的L1損失值表示修復(fù)圖像與原始圖像之間的差距更小，修復(fù)的結(jié)果更接近原始圖像。表1為CelebAHQ數(shù)據(jù)集上本文算法與其他算法不同掩膜比例的定量比較結(jié)果，表2為Places2數(shù)據(jù)集上本文算法與其他算法不同掩膜比例的定量比較結(jié)果。

表1中數(shù)據(jù)表明，當(dāng)掩膜率較小時，表中算法都取得了較好的客觀指標(biāo)，但隨著掩膜比例的不斷增大，客觀指標(biāo)都出現(xiàn)了不同程度的變化，PSNR和SSIM越來越低，L1 loss越來越高。在四組對比算法中，RFR和SWTA的指標(biāo)相對較好，因此將SPDCE算法與這兩種算法的客觀指標(biāo)進(jìn)行對比。在10%～40%和40%～60%內(nèi)，SPDCE算法相較RFR算法PSNR平均提升1.12 dB和0.94 dB，SSIM平均提升0.7%和2.2%，L1 loss平均下降2.6%和4.7%；相較SWTA算法，PSNR平均提升1.35 dB和0.72 dB，SSIM平均提升1%和0.9%，L1 loss平均下降8.1%和3.6%。

從表2中可以看出，CTSDG和SWTA相較于其他兩種對比算法，客觀指標(biāo)更優(yōu)，因此將SPDCE算法與上述兩種算法的客觀指標(biāo)進(jìn)行對比。在10%～40%和40%～60%內(nèi)SPDCE算法相較CTSDG算法PSNR平均提升0.91 dB和0.59 dB，SSIM平均提升2%和7.5%，L1 loss平均下降25.8%和6.5%；相較SWTA算法，PSNR平均提升0.93 dB和0.5 dB，SSIM平均提升2.1%和6.4%，L1 loss平均下降25.6%和3.8%。

3.3 消融實(shí)驗(yàn)

3.3.1 語義先驗(yàn)網(wǎng)絡(luò)消融實(shí)驗(yàn)

為了驗(yàn)證語義先驗(yàn)網(wǎng)絡(luò)在圖像修復(fù)中的重要作用，本文進(jìn)行了消融實(shí)驗(yàn)，比較了有語義先驗(yàn)網(wǎng)絡(luò)和沒有語義先驗(yàn)網(wǎng)絡(luò)的修復(fù)效果，實(shí)驗(yàn)結(jié)果如圖11所示，從左往右分別為真實(shí)圖像、缺損圖像、未使用語義先驗(yàn)網(wǎng)絡(luò)的修復(fù)結(jié)果、完整模型修復(fù)結(jié)果。如圖可見，當(dāng)缺乏語義先驗(yàn)網(wǎng)絡(luò)的引導(dǎo)時，第一行女士的左眼變得細(xì)長且內(nèi)部結(jié)構(gòu)混亂；第二行房屋黃色窗戶出現(xiàn)斷裂，且下面的字跡無法辨認(rèn)，從而證明了語義先驗(yàn)網(wǎng)絡(luò)在引導(dǎo)圖像生成合理結(jié)構(gòu)上的優(yōu)勢。

3.3.2 雙通道特征提取網(wǎng)絡(luò)消融實(shí)驗(yàn)

為了驗(yàn)證雙通道提取網(wǎng)絡(luò)在圖像修復(fù)的重要作用，本文進(jìn)行了消融實(shí)驗(yàn)，在實(shí)驗(yàn)中刪除雙通道特征網(wǎng)絡(luò)的上層通道，即刪除8個相聯(lián)的MSGR模塊，將雙通道特征提取變?yōu)閱瓮ǖ?。?shí)驗(yàn)結(jié)果如圖12所示。如圖可見：當(dāng)缺乏MSGR模塊，將雙通道變成單通道特征提取時，第一行圖像三層臺階相接處出現(xiàn)模糊，臺階混在一起無法辨認(rèn)；第二行兩個木屋中間的灰白藍(lán)三色融合在一起，沒有明顯的邊界，從而證明本文所提出的由MSGR模塊所組成的雙通道特征提取網(wǎng)絡(luò)可以生成更精細(xì)的紋理細(xì)節(jié)。

4 結(jié)束語

本文提出了一種基于語義先驗(yàn)和雙通道特征提取的圖像修復(fù)算法SPDCE。該算法利用語義先驗(yàn)網(wǎng)絡(luò)學(xué)習(xí)輸入圖像破損區(qū)域的高級語義信息，提高了生成圖像的結(jié)構(gòu)一致性；通過雙通道特征提取網(wǎng)絡(luò)，增強(qiáng)了網(wǎng)絡(luò)的特征提取能力，使網(wǎng)絡(luò)更加關(guān)注待修復(fù)區(qū)域，從而使修復(fù)圖像的紋理細(xì)節(jié)特征更加清晰；引入上下文特征調(diào)整模塊，使用多尺度特征聚合來編碼多尺度的豐富語義特征，增強(qiáng)了圖像局部特征之間的相關(guān)性；最后使用譜歸一化馬爾可夫判別器對生成的圖像進(jìn)行真假判別，優(yōu)化生成器模型的參數(shù)，提高了生成圖像的質(zhì)量和逼真度。實(shí)驗(yàn)結(jié)果表明，相比先前的算法，SPDCE算法能夠在圖像缺損區(qū)域重構(gòu)出各種高頻信息，并且提升了修復(fù)圖像的PSNR和SSIM，同時降低了L1 loss。盡管改進(jìn)后的網(wǎng)絡(luò)模型已經(jīng)可以生成足夠逼真的圖像，然而與原圖相比仍存在一些輕微的細(xì)節(jié)差異，因此未來的工作將致力于進(jìn)一步改進(jìn)網(wǎng)絡(luò)模型，以達(dá)到更好的圖像修復(fù)效果。

參考文獻(xiàn)：

［1］Bertalmio M，Sapiro G，Caselles V，et al. Image inpainting ［C］// Proc of the 27th Annual Conference on Computer Graphics and Interactive Techniques. 2000： 417-424.

［2］Yi Zili，Tang Qiang，Azizi S，et al. Contextual residual aggregation for ultra highresolution image inpainting ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 7508-7517.

［3］Shen Jianhong，Chan T F. Mathematical models for local texture inpaintings ［J］. SIAM Journal on Applied Mathematics，2002，62（3）： 1019-1043.

［4］Efros A A，Leung T K. Texture synthesis by nonparametric sampling ［C］// Proc of the 7th IEEE International Conference on Computer Vision. Piscataway，NJ： IEEE Press，1999： 1033-1038.

［5］Criminisi A，Perez P，Toyama K. Region filling and object removal by exemplarbased image inpainting ［J］. IEEE Trans on Image Processing，2004，13（9）： 1200-1212.

［6］Pathak D，Krahenbuhl P，Donahue J，et al. Context encoders： feature learning by inpainting ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 2536-2544.

［7］Iizuka S，SimoSerra E，Ishikawa H. Globally and locally consistent image completion［J］.ACM Trans on Graphics，2017，36（4）：1-14.

［8］Yang Jie，Qi Zhiquan，Shi Yong. Learning to incorporate structure knowledge for image inpainting［C］//Proc of AAAI Conference on Artificial Intelligence. Menlo Park，CA： AAAI Press，2020： 12605-12612.

［9］Yu Jiahui，Lin Zhe，Yang Jimei，et al. Generative image inpainting with contextual attention ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2018： 5505-5514.

［10］Goodfellow I，PougetAbadie J，Mirza M，et al. Generative adversarial networks ［J］. Communications of the ACM，2020，63（11）：139-144.

［11］Hou Qibin，Zhou Daquan，F(xiàn)eng Jiashi. Coordinate attention for efficient mobile network design ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2021： 13713-13722.

［12］Yu Jiahui，Lin Zhe，Yang Jimei，et al. Freeform image inpainting with gated convolution ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 4471-4480.

［13］Guo Xiefan，Yang Hongyu，Huang Di. Image inpainting via conditional texture and structure dual generation ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2021： 14134-14143.

［14］Liu Guilin，Reda F A，Shih K J，et al. Image inpainting for irregular holes using partial convolutions ［C］// Proc of European Conference on Computer Vision. Berlin： Springer，2018： 85-100.

［15］Li Jingyuan，Wang Ning，Zhang Lefei，et al. Recurrent feature reasoning for image inpainting ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 7760-7768.

［16］Yan Zhaoyi，Li Xiaoming，Li Mu，et al. ShiftNet： image inpainting via deep feature rearrangement ［C］// Proc of European Conference on Computer Vision. Berlin： Springer，2018： 1-17.

［17］Liu T J，Chen Powei，Liu K H. Lightweight image inpainting by stripe window transformer with joint attention to CNN ［EB/OL］. （2023-01-02）. https：//doi. org/10. 48550/arxiv. 2301. 00553.

［18］王倩娜，陳燚. 面向圖像修復(fù)的增強(qiáng)語義雙解碼器生成模型 ［J］. 中國圖象圖形學(xué)報，2022，27（10）： 2994-3009. （Wang Qianna，Chen Yan. Enhanced semantic dual decoder generation model for image inpainting ［J］. Journal of Image and Graphics，2022，27（10）： 2994-3009.）