李海燕,晁艷靜,李海江,郭 磊,李紅松

(1. 云南大學(xué) 信息學(xué)院, 云南 昆明 650504; 2. 云南交通投資建設(shè)集團有限公司(云南交投), 云南 昆明 650228)

圖像修復(fù)用相似像素填充圖像中缺失區(qū)域,生成內(nèi)容合理的圖像。現(xiàn)有的圖像修復(fù)方法主要有兩類:傳統(tǒng)的修復(fù)算法和基于神經(jīng)網(wǎng)絡(luò)的修復(fù)算法。

基于擴散的方法[1-6]是經(jīng)典的傳統(tǒng)修復(fù)算法,這類方法將已知的相似像素傳播到缺失區(qū)域,僅能修復(fù)小面積缺失。Bertalmio等[5]提出同時填充紋理和結(jié)構(gòu)的修復(fù)算法,將圖像表達為兩個函數(shù)之和再分別重構(gòu)每個函數(shù),能修復(fù)細小劃痕,但是當(dāng)缺失面積大時,此方法只能修復(fù)缺失區(qū)域邊緣,無法修復(fù)其內(nèi)部。Criminisi等[6]提出一種基于塊的紋理合成算法,首先計算填充區(qū)域的優(yōu)先權(quán),然后傳播紋理及結(jié)構(gòu)信息并更新置信度完成修復(fù)。由于缺乏對圖像的高級理解,該方法通常無法生成語義合理的結(jié)果和已知圖像中不存在的結(jié)構(gòu),當(dāng)缺失內(nèi)容包含豐富紋理時,生成細節(jié)的能力不足。

為了克服傳統(tǒng)修復(fù)算法的局限性,近年來學(xué)者們提出了許多基于深度學(xué)習(xí)的修復(fù)方法[7-17]。Xie等[7]提出結(jié)合稀疏編碼和神經(jīng)網(wǎng)絡(luò)的修復(fù)算法,該方法只能用于灰度圖的小區(qū)域修復(fù)。Iizuka等[8]提出兼顧全局和局部一致性的全卷積修復(fù)網(wǎng)絡(luò),改善了圖像的細節(jié),可修復(fù)含多個小區(qū)域缺失的圖像,但很難修復(fù)大面積語義缺失。為更好修復(fù)大面積缺失,兩階段修復(fù)模型逐漸興起。Yu等[9]提出在細修復(fù)網(wǎng)絡(luò)中嵌入上下文注意模塊,增加生成內(nèi)容與周圍顏色和紋理的一致性判別,該方法可以修復(fù)大面積語義缺失,但圖像包含復(fù)雜背景時,難以修復(fù)紋理細節(jié)。Nazeri等[10]提出結(jié)合邊緣結(jié)構(gòu)與對抗網(wǎng)絡(luò)的兩階段修復(fù)模型,先訓(xùn)練出可能的邊緣圖,然后將其作為先驗條件生成內(nèi)部紋理。此方法可以產(chǎn)生較好的紋理細節(jié),但是當(dāng)圖像存在大面積語義缺失時,修復(fù)的結(jié)構(gòu)不合理。Xiong等[11]提出前景感知修復(fù)算法,以兩階段對抗模型為基礎(chǔ),預(yù)測前景輪廓作為修復(fù)先驗,雖然能完成大孔洞修復(fù),但較難生成精細的紋理細節(jié),且修復(fù)結(jié)果包含模糊結(jié)構(gòu)或錯誤紋理。文獻[12]提出基于混合空洞卷積網(wǎng)絡(luò)的兩階段多鑒別器修復(fù)算法,使用平行路徑網(wǎng)絡(luò)提高修復(fù)精度,并用多個鑒別器增強圖像的全局結(jié)構(gòu),但修復(fù)大面積且包含多處不連續(xù)缺失時,會出現(xiàn)紋理細節(jié)模糊。Peng等[13]提出第一階段學(xué)習(xí)結(jié)構(gòu)特征分布,為缺失圖像生成多樣性結(jié)構(gòu)的兩階段修復(fù)算法,提高了生成圖像的視覺質(zhì)量,修復(fù)的結(jié)構(gòu)一致性較好,但無法生成精細的細節(jié)紋理。此外,單階段修復(fù)模型也有許多改進,Wang等[14]提出多列卷積的修復(fù)算法,修復(fù)大面積與多個不連續(xù)缺失時的整體效果較好,但修復(fù)邊緣細節(jié)能力不足。Xie等[15]改進了多列卷積,有效去除修復(fù)模糊,但修復(fù)大面積缺失時得到的結(jié)構(gòu)不連續(xù)。Zheng等[16]提出連接平行路徑的方法,一條路徑獲得缺失圖像的部分先驗分布,另一條路徑利用分布重建圖像,但是該方法在修復(fù)多處不連續(xù)缺失時,會出現(xiàn)結(jié)構(gòu)扭曲及偽影。Liu等[17]提出空間概率多樣性歸一化和感知多樣性損失,在缺失區(qū)域生成逼真的視覺效果,但存在修復(fù)紋理細節(jié)不足的缺陷。

綜上所述,現(xiàn)有算法在修復(fù)背景和紋理精細且存在多處不連續(xù)缺失區(qū)域時,會出現(xiàn)結(jié)構(gòu)不一致、無法生成合理的紋理細節(jié)(包含邊緣偽影或細節(jié)模糊)等問題。針對這些不足,本文提出基于并行生成卷積的殘差連接圖像修復(fù)算法,有效修復(fù)大面積且包含多處不連續(xù)的缺失區(qū)域。提出算法的主要創(chuàng)新點在于:①提出基于多尺度卷積、殘差連接與注意力機制的兩階段修復(fù)網(wǎng)絡(luò)架構(gòu),使用兩列卷積平行生成模型修復(fù)缺失區(qū)域的合理結(jié)構(gòu),并行捕獲多尺度細節(jié)信息,增加修復(fù)結(jié)果的結(jié)構(gòu)相似性。②提出殘差連接與注意力機制融合方法,提高結(jié)構(gòu)和內(nèi)容的精度,生成精細紋理。③使用光譜歸一化馬爾可夫鑒別器SN-PatchGAN和預(yù)訓(xùn)練視覺幾何組(visual geometry group,VGG)網(wǎng)絡(luò)提取特征并計算損失,對細節(jié)網(wǎng)絡(luò)的輸出進行判別優(yōu)化,增強修復(fù)結(jié)果的整體與局部一致性,改善修復(fù)質(zhì)量。

1 算法整體框架

本文提出一種融合多尺度卷積、殘差連接與注意力機制的兩階段圖像修復(fù)算法,算法整體框架如圖1所示。

圖1 提出網(wǎng)絡(luò)的整體算法結(jié)構(gòu)Fig.1 Overall network structure of the proposed algorithm

Iin、Ic、Iout和Igt分別為有破損的輸入圖像、結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)的輸出、整體生成網(wǎng)絡(luò)的輸出和真實圖像。待修復(fù)圖像經(jīng)過生成網(wǎng)絡(luò)輸出后與真實圖像一起送入鑒別網(wǎng)絡(luò)進行對抗鑒別,鑒別器計算鑒別損失后反饋優(yōu)化生成網(wǎng)絡(luò)。與現(xiàn)有兩階段修復(fù)網(wǎng)絡(luò)相比,提出修復(fù)網(wǎng)絡(luò)的創(chuàng)新點在于:結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)使用并行生成卷積,并引入門控卷積和膨脹因子,使用結(jié)構(gòu)重建損失優(yōu)化結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)。在細節(jié)修復(fù)網(wǎng)絡(luò)中引入跳躍殘差連接和注意力機制,并設(shè)計其融合機制,生成清晰紋理。

1.1 結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)

為避免現(xiàn)有兩階段修復(fù)網(wǎng)絡(luò)中生成圖像結(jié)構(gòu)扭曲的不足,提出使用并行卷積網(wǎng)絡(luò)進行合理的結(jié)構(gòu)修復(fù),它包括兩個并行的編-解碼器分支以及一個共享的解碼模塊,分別用于從含掩碼M的輸入中提取不同尺度的特征和將深層特征轉(zhuǎn)換到自然空間。兩個并行分支使用不同卷積核大小對圖像進行編解碼,感受不同尺度的信息和空間分辨率。為了擴大信息感受野,提出算法使用空洞卷積[12]代替普通卷積。結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)如圖2所示,編解碼器均包括9個門控卷積層、4個擴張卷積層和2個反卷積層,使用兩層門控卷積作為共享解碼模塊進行信息融合。將缺失圖像輸入并行網(wǎng)絡(luò),使用xavier初始訓(xùn)練[18]。最后的卷積層使用Tanh激活函數(shù)外,其他層使用α=0.2的LeakyReLU激活函數(shù),采用組歸一化[19]方式。共享解碼后得到結(jié)構(gòu)修復(fù)結(jié)果。若并行網(wǎng)絡(luò)分支表示為fi,共享解碼模塊表示為F,則結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)輸出結(jié)果Ic的計算如下:

圖2 結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Structure repair network model structure diagram

(1)

其中,Iin=Igt⊙(1-M)。 為保證生成結(jié)構(gòu)的合理性,使用結(jié)構(gòu)重建損失訓(xùn)練網(wǎng)絡(luò),損失函數(shù)表示為:

(2)

提出的結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)優(yōu)于現(xiàn)有的編解碼結(jié)構(gòu)。常用的編-解碼器將圖像轉(zhuǎn)換為具有相同大小信息感受野的公共特征空間,忽略了各類特征的級別差異。提出的并行卷積網(wǎng)絡(luò)生成的圖像包含不同尺度的結(jié)構(gòu)信息,在解碼階段相互補充,引入門控卷積擴大圖像信息捕獲范圍,加入組歸一化使訓(xùn)練過程不受batchsize的影響,加入結(jié)構(gòu)重建損失,提高生成圖像的結(jié)構(gòu)相似性。

1.2 殘差連接與注意力機制融合網(wǎng)絡(luò)

提出的細節(jié)修復(fù)網(wǎng)絡(luò)與現(xiàn)有兩階段修復(fù)算法的不同之處在于:引入殘差連接,將低層次信息通過編解碼之間的長跳躍連接向解碼層傳遞,在解碼層之前引入自注意力機制[20],提取圖像深層語義信息,設(shè)計殘差連接與注意力機制融合模塊,將圖像低層次信息與深層語義信息結(jié)合,促進上下文信息交互,將融合結(jié)果輸入生成器經(jīng)上采樣操作后,修復(fù)缺失內(nèi)容的精細細節(jié)。細節(jié)修復(fù)網(wǎng)絡(luò)如圖3所示。

圖3 細節(jié)修復(fù)網(wǎng)絡(luò)Fig.3 Fine repair network

生成器的基本架構(gòu)是上下文編解碼器,共包括11個門控卷積層、4個擴張卷積層和2個反卷積層,最后一層卷積使用Tanh激活函數(shù),其余卷積層均使用LeakyReLU激活函數(shù)。自注意力機制計算像素點間的相關(guān)性,提取圖像細節(jié)特征。設(shè)輸入特征為x,從中提取低維特征向量K、Q、V, 計算輸入向量的注意力分值:

(3)

加權(quán)得到所有注意力分?jǐn)?shù):

(4)

其中,wK、wQ、wV中表示隨機初始化權(quán)重矩陣。

計算出注意力分?jǐn)?shù)后,提出算法使用殘差連接融合上下文信息,并融入注意力分?jǐn)?shù)加權(quán)的高級特征信息填充低級特征圖Si(i={1,2,3})中的對應(yīng)像素,恢復(fù)缺失內(nèi)容的清晰細節(jié)。 設(shè)計殘差連接與注意力機制的融合方法如下:

將低級特征圖S分為N小塊,獲得每一小塊的注意力分?jǐn)?shù)為:

(5)

使用注意力分?jǐn)?shù)加權(quán)得到的信息塊Rj填充低級特征圖S中的缺失區(qū)域:

(6)

式中,R是殘差圖像,Ri是從掩碼外提取的第i個色塊。將填充后的低級特征圖與圖像深層信息一起輸入生成器的上采樣模糊圖像中,獲得清晰的紋理細節(jié)。

1.3 鑒別器與損失函數(shù)

為更好地優(yōu)化整體網(wǎng)絡(luò),增強圖像修復(fù)結(jié)果的整體與局部一致性,提出以SN-PatchGAN鑒別器為全局與局部鑒別器計算對抗損失。全局鑒別器關(guān)注整體的特征差異,局部鑒別器關(guān)注缺失區(qū)域的局部像素信息,再使用VGG19網(wǎng)絡(luò)計算特征塊的VGG損失,并引入置信驅(qū)動的重建損失優(yōu)化整體網(wǎng)絡(luò),獲得更連續(xù)的圖像特征。SN-PatchGAN鑒別器和VGG19網(wǎng)絡(luò)模型如圖4所示。

圖4 鑒別器模型結(jié)構(gòu)Fig.4 Discriminator model structure diagram

SN-PatchGAN鑒別器使用全卷積網(wǎng)絡(luò),輸出圖像大小為h×w×c(h、w、c分別代表高度、寬度和通道數(shù)),堆疊5個步長卷積,內(nèi)核大小為5,步幅為2。VGG特征提取塊為預(yù)先訓(xùn)練的VGG19網(wǎng)絡(luò)。

1.4 置信驅(qū)動重建損失

引入置信驅(qū)動的重建損失,使靠近填充邊界的未知像素比遠離填充邊界的未知像素受到更大的約束。設(shè)已知像素的置信度為1,將未知像素的置信度設(shè)為與邊界的距離相關(guān)。為了將已知像素的置信度傳播到未知像素,使用大小為64×64、標(biāo)準(zhǔn)偏差為40的高斯濾波器g創(chuàng)建損失權(quán)重掩碼Mw。

(7)

(8)

其中,θ是可學(xué)習(xí)的參數(shù),G([X,M];θ)表示生成模型G的輸出,Y為真實圖像。

1.5 對抗損失

使用改進的Wasserstein GAN[21]、全局與局部鑒別器計算對抗損失,提高生成圖像的視覺質(zhì)量。對抗損失定義為:

Ladv=-EX～PX[D(G(X;θ))]+

(9)

1.6 VGG損失

采用相對距離度量局部特征與目標(biāo)特征之間的相似度。

(10)

其中:v、s分別是生成圖像和真實圖像從VGG第L特征層中提取的神經(jīng)補丁;R(v,s)表示v與s的相對相似度;μ(v,s)表示v與s之間的余弦相似度;YL表示預(yù)訓(xùn)練VGG第L特征層生成的特征;r∈ρv(YL)表示r屬于YL(不包括v);ε、h是兩個正常數(shù)。

預(yù)測圖像與真實圖像之間的VGG損失定義為:

(11)

其中,z表示歸一化因子。 根據(jù)VGG19的多個特征層計算最終的VGG損失:

(12)

其中,conv4_2描述圖像語義結(jié)構(gòu),conv2_2 和 conv3_2描述圖像紋理。最小化VGG損失,使預(yù)測圖像最接近真實圖像。

綜上,整個模型損失函數(shù)為:

L=Lc+λvggLvgg+λadvLadv

(13)

其中,λadv和λvgg是用于平衡不同損失項的參數(shù)。

1.7 算法實現(xiàn)流程

所提算法實現(xiàn)步驟如算法1所示。

算法1 并行卷積算法實現(xiàn)流程

2 實驗及結(jié)果分析

使用PyTorch3.7.0的GPU實現(xiàn)網(wǎng)絡(luò)框架,使用Adam[22]優(yōu)化器優(yōu)化算法。

2.1 數(shù)據(jù)集與掩碼選擇

在CelebA、Paris Street與Place2三個公開數(shù)據(jù)集上對提出算法進行性能評估。在CelebA、Place2公開數(shù)據(jù)集中選擇20 000幅和1 000幅圖像作為訓(xùn)練集和測試集,在Paris Street中選擇14 900幅和100幅圖像作為訓(xùn)練集和測試集。使用規(guī)則掩碼與多個隨機不規(guī)則掩碼,在同樣的訓(xùn)練與測試條件下,將提出算法與多元圖像完成(pluralistic image completion, PIC)算法[16]、可學(xué)習(xí)雙向注意力圖(learnable bidirectional attention maps, LBAM)算法[15]和生成多列卷積神經(jīng)網(wǎng)絡(luò)(generative multi-column convolutional neural networks, GMCNN)算法[14]的修復(fù)結(jié)果進行對比。

2.2 生成圖像結(jié)果對比

圖5是對Paris Street數(shù)據(jù)集疊加規(guī)則掩碼后各算法修復(fù)效果對比。上圖缺失區(qū)域只包含線條等簡單紋理,PIC算法可以修復(fù)出大致的圖像結(jié)構(gòu),但出現(xiàn)線條扭曲;LBAM算法只修復(fù)出離缺失區(qū)域邊緣較近的圖像結(jié)構(gòu);GMCNN算法修復(fù)的結(jié)果結(jié)構(gòu)較好,線條較平整,但顏色變化較大;提出算法可修復(fù)出筆直且合理的線條結(jié)構(gòu)。

(a) 原圖(a) Original image (b) 掩碼圖(b) Mask image (c) PIC算法(c) PIC algorithm (d) LBAM算法(d) LBAM algorithm(e) GMCNN算法(e) GMCNN algorithm(f) 提出算法(f) Proposed algorithm

圖5中圖的缺失區(qū)域為簡單結(jié)構(gòu)(柱子)與復(fù)雜紋理(窗戶)的結(jié)合,PIC算法對窗戶的復(fù)雜紋理修復(fù)效果不佳,生成的紋理細節(jié)模糊;LBAM算法不能合理修復(fù)缺失區(qū)域的中心部分,無法保證結(jié)構(gòu)的連續(xù)性;GMCNN算法可以修復(fù)出圖像大致的結(jié)構(gòu)和紋理,但中間部分有錯誤的窗戶形狀存在;相比較而言,提出算法修復(fù)的結(jié)構(gòu)合理且紋理清晰。

圖5下圖的缺失區(qū)域包含復(fù)雜紋理和深色背景,PIC算法無法很好地修復(fù)深色背景邊緣,生成混亂的結(jié)構(gòu);LBAM算法在深淺色背景連接處生成的內(nèi)容模糊;GMCNN算法不能正確判斷深色區(qū)域的合理內(nèi)容,生成的結(jié)構(gòu)相似性較差;相比較而言,提出算法的修復(fù)結(jié)果語義更連續(xù),結(jié)構(gòu)更合理。

圖6是對Place2數(shù)據(jù)集疊加規(guī)則掩碼后各模型修復(fù)效果對比。 上圖缺失區(qū)域顏色單一且結(jié)構(gòu)較簡單,PIC算法可以修復(fù)出大致的結(jié)構(gòu),但出現(xiàn)大片顏色偽影;LBAM算法修復(fù)的山峰與天空連接處模糊,存在邊緣偽影;GMCNN算法在山尖處出現(xiàn)結(jié)構(gòu)斷裂現(xiàn)象;提出算法修復(fù)的結(jié)構(gòu)較連續(xù)。

(a) 原圖(a) Original image (b) 掩碼圖(b) Mask image (c) PIC算法(c) PIC algorithm (d) LBAM算法(d) LBAM algorithm(e) GMCNN算法(e) GMCNN algorithm(f) 提出算法(f) Proposed algorithm

圖6中圖缺失區(qū)域包含豐富的顏色信息,PIC算法不能修復(fù)出缺失區(qū)域的合理內(nèi)容;LBAM算法修復(fù)的結(jié)構(gòu)較合理但細節(jié)不清晰;GMCNN算法修復(fù)結(jié)果中包含明顯的掩碼痕跡,生成區(qū)域顏色較深;提出算法修復(fù)的結(jié)果合理且與周圍區(qū)域相似性較高。

圖6下圖的缺失區(qū)域包含復(fù)雜紋理,PIC算法的修復(fù)結(jié)果連續(xù)性差且紋理不清晰;LBAM算法修復(fù)的結(jié)構(gòu)較好,紋理較清晰但出現(xiàn)塊狀斑點;GMCNN算法修復(fù)的結(jié)果包含明顯的水滴偽影;相比較而言,提出算法可得到較合理的細節(jié)內(nèi)容。

圖7是對CelebA數(shù)據(jù)集疊加規(guī)則掩碼的修復(fù)效果對比。上圖掩碼覆蓋了頭發(fā)與額頭邊緣,PIC算法不能合理區(qū)分額頭與頭發(fā)像素,修復(fù)效果較差;LBAM算法生成的頭發(fā)結(jié)構(gòu)較連續(xù),但臉部結(jié)構(gòu)扭曲;GMCNN算法生成的結(jié)構(gòu)較完整,但有明顯的掩碼痕跡;提出算法可以生成合理的結(jié)構(gòu)與紋理。

(a) 原圖(a) Original image (b) 掩碼圖(b) Mask image (c) PIC算法(c) PIC algorithm (d) LBAM算法(d) LBAM algorithm(e) GMCNN算法(e) GMCNN algorithm(f) 提出算法(f) Proposed algorithm

圖7中圖的掩碼幾乎覆蓋了人臉的所有五官。PIC算法修復(fù)的嘴巴結(jié)構(gòu)混亂;LBAM算法修復(fù)的眼睛有重疊現(xiàn)象;GMCNN算法修復(fù)的臉部線條不連續(xù);提出算法得到的結(jié)果與原圖相似度較高。

圖7下圖中,PIC算法生成的內(nèi)容不清晰,有大量的顏色不一致現(xiàn)象,視覺效果較差;LBAM算法生成的結(jié)果存在明顯扭曲,難以修復(fù)五官細節(jié);GMCNN算法修復(fù)的顴骨相似性較差;相比較而言,提出算法修復(fù)的結(jié)構(gòu)完整,有較好的視覺特征。

為驗證提出算法對大面積不規(guī)則缺失修復(fù)的有效性,在Paris Street數(shù)據(jù)集上添加多個不規(guī)則掩碼,將提出算法與多缺失修復(fù)算法GMCNN對比,如圖8所示。上圖中,在白色管道與深色墻沿邊緣處,GMCNN算法未能正確修復(fù)出白色管道;相比較而言,提出算法能修復(fù)出清晰的白色管道,并在管道與深色墻沿連接處生成清晰的邊緣細節(jié)。在窗戶邊沿處,GMCNN算法修復(fù)的部分線條結(jié)構(gòu)扭曲,提出算法修復(fù)的結(jié)果結(jié)構(gòu)清晰且與原圖相似性較高。

(a) 原圖(a) Original image (b) 掩碼圖(b) Mask image (c) GMCNN算法(c) GMCNN algorithm (d) 提出算法(d) Proposed algorithm

圖8中圖中,GMCNN算法修復(fù)的窗框紋理模糊,且顏色較深,窗框與玻璃相接處的結(jié)構(gòu)不夠連續(xù);提出算法可以正確區(qū)分窗框與玻璃,生成的窗框內(nèi)容清晰且結(jié)構(gòu)連續(xù)。

圖8下圖中,缺失區(qū)域包含橫條百葉窗的復(fù)雜紋理,GMCNN算法不能修復(fù)出百葉窗的復(fù)雜線條,但是提出算法可以修復(fù)出清晰的線條結(jié)構(gòu)。在門與窗戶的掩碼處,GMCNN算法修復(fù)的門邊緣細節(jié)較差,窗戶的結(jié)構(gòu)模糊;相對而言,提出算法修復(fù)的結(jié)構(gòu)和紋理較清晰,有較好的語義連續(xù)性和合理性。

為客觀評價提出算法,用峰值信噪比(peak signal to noise ratio, PSNR)、結(jié)構(gòu)相似性(structural similarity, SSIM)和L2損失——均方誤差(mean squared error, MSE)分別對三種數(shù)據(jù)集進行定量分析,其結(jié)果如表1～3所示。

表1 Paris Street數(shù)據(jù)集定量分析

表2 Place2數(shù)據(jù)集定量分析

表3 CelebA數(shù)據(jù)集定量分析

從表1～3的評價指標(biāo)可以看出,提出算法的客觀指標(biāo)在三種數(shù)據(jù)集上都獲得了最好的效果。

3 結(jié)論

提出并行生成卷積的殘差連接圖像修復(fù)算法,基于結(jié)構(gòu)和細節(jié)修復(fù)網(wǎng)絡(luò)對缺失圖像進行修復(fù)。結(jié)構(gòu)修復(fù)網(wǎng)絡(luò)包含兩個并行生成器,可生成具有不同尺度特征的圖像并經(jīng)過共同解碼模塊合成圖像分量,對合成圖像使用L2損失優(yōu)化結(jié)構(gòu)修復(fù)網(wǎng)絡(luò),增加修復(fù)圖像的結(jié)構(gòu)相似性。細節(jié)修復(fù)網(wǎng)絡(luò)是融合了殘差連接與注意力機制的生成對抗網(wǎng)絡(luò)模型,可獲得精細的紋理細節(jié)。使用SN-PatchGAN全局與局部鑒別器對網(wǎng)絡(luò)進行判別優(yōu)化, 增強修復(fù)結(jié)果的整體與局部一致性。對算法進行定性比較和定量分析,結(jié)果表明:提出算法能有效修復(fù)大面積缺失圖像,提升圖像細節(jié)、語義和結(jié)構(gòu)的真實性與完整性。