摘 要：針對(duì)中國(guó)歷史建筑中瓦當(dāng)構(gòu)件圖像在修復(fù)過程中圖像紋理紊亂和邊緣結(jié)構(gòu)模糊丟失加劇的問題，提出了一種基于高階紋理與結(jié)構(gòu)特征交互的生成對(duì)抗式瓦當(dāng)圖像修復(fù)方法。首先以編碼器-解碼器作為基本架構(gòu)，對(duì)破損圖像及其邊緣結(jié)構(gòu)圖進(jìn)行紋理與結(jié)構(gòu)特征的編碼與解碼；其次，在編碼器和解碼器中設(shè)計(jì)循環(huán)部分卷積層以增強(qiáng)圖像高階與低階特征的交互，提高模型對(duì)瓦當(dāng)圖像紋理和結(jié)構(gòu)細(xì)節(jié)的表征能力；最后，設(shè)計(jì)特征融合層以實(shí)現(xiàn)紋理和結(jié)構(gòu)特征圖的信息融合與細(xì)節(jié)增強(qiáng)。針對(duì)典型瓦當(dāng)構(gòu)件，構(gòu)建了一套包含圖像類、圖案類和文字類的瓦當(dāng)圖像數(shù)據(jù)集。在該數(shù)據(jù)集中進(jìn)行瓦當(dāng)圖像修復(fù)實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，所提方法與常用算法相比，在主觀感受和客觀評(píng)價(jià)指標(biāo)方面均表現(xiàn)出更加優(yōu)異的修復(fù)結(jié)果。

關(guān)鍵詞：瓦當(dāng)圖像修復(fù)；高階特征交互；循環(huán)部分卷積層；特征融合

中圖分類號(hào)：TP391"" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）12-044-3851-08

doi： 10.19734/j.issn.1001-3695.2024.03.0086

Tile image inpainting based on high-order texture and structural feature interaction

Hu Tao， Liu Shiping， Wang Hao， Cheng Pengfei， Meng Qinglei， Xin Yuankang

（School of Mechanical Science amp; Engineering， Huazhong University of Science and Technology， Wuhan 430074， China）

Abstract：Aiming at the problem of increasing image texture disorder and edge structure blurring and loss during the inpainting process of tile component images in Chinese historical buildings， this paper proposed a generative adversarial tile image inpainting method based on the interaction of high-order texture and structural features. Firstly， the method used an encoder-decoder as the basic architecture to encode and decode texture and structure features of the damaged image and its structure image. Secondly， this paper designed the recursive partial convolutional layer in the encoder and decoder to enhance the interaction between the high-order and low-order features of the image， and to improve the model’s ability of characterizing the texture and structural details of the tile image. Finally， this paper designed the feature fusion layer to realize the information fusion and detail enhancement of texture and structure feature maps. For typical tile components， this paper constructed a tile image dataset containing image type， pattern type and text type. This paper carried out experimental validation on the constructed dataset， and the experimental results show that the proposed method in this paper exhibits more excellent inpainting results in terms of both subjective feeling and objective evaluation indexes compared with commonly used algorithms.

Key words：tile image inpainting; high-order feature interaction; recursive partial convolutional layer; feature fusion

0 引言

瓦當(dāng)作為中國(guó)歷史建筑屋檐上的一類構(gòu)件，不僅起到保護(hù)木制檐頭、防止風(fēng)雨侵蝕的作用，同時(shí)具有極高的藝術(shù)與文化價(jià)值[1]。瓦當(dāng)構(gòu)件在長(zhǎng)期的風(fēng)吹日曬、雨水侵蝕等自然環(huán)境影響下，表面易出現(xiàn)剝落、破裂、殘缺等病害。破損瓦當(dāng)構(gòu)件的原貌推理及修復(fù)，對(duì)傳承中國(guó)特有的文化藝術(shù)遺產(chǎn)具有重要意義?，F(xiàn)有的歷史建筑構(gòu)件修復(fù)方法大多依賴于對(duì)已有案例修復(fù)知識(shí)的遷移重用[2]和修復(fù)人員的修復(fù)經(jīng)驗(yàn)，修復(fù)條件和成本要求較高。圖像修復(fù)技術(shù)通過數(shù)字化的方法修復(fù)圖像中的缺損部分，在壁畫[3，4]、歷史書畫[5，6]、古文物[7]等歷史文物的修復(fù)中表現(xiàn)出了很大的潛力和研究?jī)r(jià)值。因此，本文將圖像修復(fù)技術(shù)應(yīng)用于瓦當(dāng)構(gòu)件的圖像修復(fù)中，以實(shí)現(xiàn)瓦當(dāng)破損區(qū)域的原貌修復(fù)。

傳統(tǒng)的圖像修復(fù)方法通過圖像信息的平滑傳播或搜索匹配良好的樣本塊對(duì)缺失區(qū)域進(jìn)行填充和修復(fù)。Shen等人[8]引入整體變分（total variation，TV）模型，通過最小化能量實(shí)現(xiàn)了圖像補(bǔ)全。針對(duì)TV模型信息貫通性不足的問題，Chan等人[9]提出了曲率驅(qū)動(dòng)擴(kuò)散（curvature driven diffuse，CDD）的圖像修復(fù)算法，在保證像素相似性的同時(shí)考慮了圖像的曲率平滑，保持了圖像修復(fù)過程中的紋理連續(xù)性。Li等人[10]在修復(fù)過程中引入擴(kuò)散系數(shù)，該系數(shù)由缺失區(qū)域像素和其鄰域像素間的距離和方向計(jì)算得到，提高了缺失區(qū)域修復(fù)的平滑性和整體一致性。Ruic＇等人[11]提出了一種基于樣本塊的修復(fù)方法，使用馬爾可夫隨機(jī)場(chǎng)在紋理分量中搜索匹配良好的樣本塊進(jìn)行缺失區(qū)域的修復(fù)。Xu等人[12]提出樣本塊稀疏度的概念，將樣本塊的稀疏度定義為與相鄰樣本塊間的非零相似度，稀疏度高的樣本塊被視為與修復(fù)區(qū)域具有較高的相似度，優(yōu)先用于修復(fù)。Levin等人[13]在修復(fù)過程中引入統(tǒng)計(jì)學(xué)思想，基于局部特征直方圖在圖像上構(gòu)建指數(shù)分布以尋找與已知圖像最為相似的樣本。呂伏等人[14]針對(duì)井下煤巖圖像修復(fù)中基于樣本塊方法存在的紋理和結(jié)構(gòu)不連續(xù)問題，提出利用局部方差特征和信息熵的區(qū)域類型劃分和樣本塊選擇方法，保持了修復(fù)邊緣的連續(xù)性。傳統(tǒng)的圖像修復(fù)算法在圖像紋理結(jié)構(gòu)簡(jiǎn)單時(shí)能夠取得較好的修復(fù)效果，但對(duì)于具有復(fù)雜結(jié)構(gòu)和紋理且破損區(qū)域較大的圖像，修復(fù)時(shí)容易出現(xiàn)語(yǔ)義錯(cuò)誤、邊緣斷層的現(xiàn)象。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的圖像修復(fù)方法在復(fù)雜圖像及大面積破損區(qū)域的圖像修復(fù)中表現(xiàn)出了高質(zhì)量的修復(fù)效果。Pathak等人[15]提出上下文編碼器（context encoder），在捕捉圖像視覺結(jié)構(gòu)的同時(shí)，能夠有效地學(xué)習(xí)到視覺結(jié)構(gòu)中蘊(yùn)涵的語(yǔ)義信息。Nazeri等人[16]針對(duì)圖像結(jié)構(gòu)在修復(fù)過程中難以恢復(fù)的問題，提出兩階段的圖像修復(fù)模型，首先對(duì)缺失區(qū)域結(jié)構(gòu)進(jìn)行預(yù)測(cè)，預(yù)測(cè)后的邊緣圖像用于指導(dǎo)第二階段的修復(fù)。Li等人[17]針對(duì)大面積區(qū)域修復(fù)時(shí)存在的語(yǔ)義模糊問題，設(shè)計(jì)了循環(huán)特征推理（recurrent feature reasoning，RFR）模塊，利用相鄰像素之間的相關(guān)性加強(qiáng)對(duì)大缺失區(qū)域像素修復(fù)時(shí)的約束。Suvorov等人[18]認(rèn)為在大缺失區(qū)域、復(fù)雜結(jié)構(gòu)下修復(fù)效果差的原因之一是網(wǎng)絡(luò)模型缺乏有效的接受野，通過引入快速傅里葉卷積（fast Fourier convolutions， FFC），結(jié)合大型掩碼進(jìn)行訓(xùn)練，所提出的網(wǎng)絡(luò)模型具有足夠的接受野，在實(shí)現(xiàn)出色的修復(fù)性能的同時(shí)還具備很好的泛化能力。陳永等人[19]針對(duì)壁畫圖像修復(fù)過程中破損區(qū)域與完好區(qū)域信息的一致性問題，提出聯(lián)合特征推理和語(yǔ)義增強(qiáng)的壁畫圖像修復(fù)算法，設(shè)計(jì)了區(qū)域漸進(jìn)結(jié)構(gòu)和特征推理模塊，修復(fù)結(jié)果具有更好的紋理細(xì)節(jié)和結(jié)構(gòu)一致性。趙磊等人[20]針對(duì)中國(guó)古畫圖像修復(fù)后的細(xì)節(jié)信息丟失和修復(fù)后內(nèi)容模糊問題，提出漸進(jìn)式多級(jí)特征修復(fù)算法，由高層語(yǔ)義特征漸進(jìn)式地向較低層的語(yǔ)義特征修復(fù)，實(shí)現(xiàn)了較為精細(xì)的修復(fù)。上述研究在一定程度上實(shí)現(xiàn)了大面積破損下的圖像修復(fù)，但對(duì)圖像細(xì)節(jié)的修復(fù)仍存在一定的局限性，且修復(fù)過程中忽略了圖像高階特征所包含的圖像紋理和結(jié)構(gòu)細(xì)節(jié)[21]。

相較于自然圖像，瓦當(dāng)圖像的灰度特征變化以及復(fù)雜的細(xì)節(jié)特征不易被提取，在修復(fù)過程中圖像紋理紊亂和邊緣結(jié)構(gòu)模糊丟失的問題加劇。具體表現(xiàn)為：

a）瓦當(dāng)構(gòu)件因其整體顏色趨于一致，其圖像紋理和結(jié)構(gòu)邊界并不明晰，修復(fù)過程中更易造成邊緣結(jié)構(gòu)的模糊甚至丟失。如圖1（a）所示，其待修復(fù)區(qū)域的結(jié)構(gòu)邊界在圖像中的梯度變化并不明顯，難以被捕捉。修復(fù)結(jié)果僅保持了紋理與整體的一致，但關(guān)鍵的邊緣結(jié)構(gòu)卻未能正確恢復(fù)。

b）對(duì)于瓦當(dāng)構(gòu)件中較為復(fù)雜的細(xì)節(jié)結(jié)構(gòu)，修復(fù)后的邊緣結(jié)構(gòu)容易出現(xiàn)邊緣結(jié)構(gòu)交叉與紊亂的問題。如圖1（b）所示，其修復(fù)后的效果雖然整體上與原圖像保持一致，但在視覺上呈現(xiàn)出明顯的紋理和結(jié)構(gòu)紊亂、邊界不清的問題。

要解決瓦當(dāng)圖像修復(fù)過程面臨的主要問題，關(guān)鍵在于對(duì)瓦當(dāng)圖像中的復(fù)雜紋理與結(jié)構(gòu)細(xì)節(jié)特征進(jìn)行有效建模，從而在修復(fù)過程中盡可能保證修復(fù)區(qū)域的完整和自然。因此，本文提出了一種基于高階紋理與結(jié)構(gòu)特征交互的瓦當(dāng)圖像修復(fù)算法，通過圖像高階特征與低階特征的互補(bǔ)，旨在提高模型對(duì)于瓦當(dāng)圖像紋理與結(jié)構(gòu)細(xì)節(jié)的表征能力，保證修復(fù)后圖像邊緣結(jié)構(gòu)的完整以及紋理的清晰自然。同時(shí)，本文針對(duì)瓦當(dāng)構(gòu)建了一套典型瓦當(dāng)圖像數(shù)據(jù)集，并在該數(shù)據(jù)集的基礎(chǔ)上進(jìn)行修復(fù)實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)表明，本文方法能夠有效地恢復(fù)圖像的細(xì)節(jié)，修復(fù)后瓦當(dāng)圖像的紋理清晰自然、邊緣結(jié)構(gòu)完整。

1 本文方法

1.1 總體網(wǎng)絡(luò)架構(gòu)

為了實(shí)現(xiàn)瓦當(dāng)圖像高階紋理與結(jié)構(gòu)特征的有效建模與交互，本文提出了一種基于循環(huán)部分卷積的生成對(duì)抗式瓦當(dāng)圖像修復(fù)網(wǎng)絡(luò)（recursive partial convolution generative adversarial networks， RPConv-GAN）。RPConv-GAN的總體架構(gòu)如圖2所示，該網(wǎng)絡(luò)模型由生成器、循環(huán)部分卷積（recursive partial convolution， RPConv）模塊、特征融合模塊以及判別器組成。為了充分提取瓦當(dāng)圖像中的紋理和結(jié)構(gòu)特征，生成器接受待修復(fù)瓦當(dāng)圖像及其邊緣結(jié)構(gòu)圖作為輸入，分別從紋理和結(jié)構(gòu)兩方面對(duì)破損區(qū)域進(jìn)行修復(fù)。生成器對(duì)瓦當(dāng)圖像有效像素區(qū)域的主要特征進(jìn)行編碼和解碼，得到瓦當(dāng)圖像的邊緣和紋理修復(fù)特征圖。RPConv模塊內(nèi)嵌于生成器的編碼和解碼部分，它能夠?qū)崿F(xiàn)同一尺度特征圖下低階特征和高階特征的空間交互，以增強(qiáng)模型對(duì)圖像細(xì)節(jié)的表征能力。特征融合模塊對(duì)輸出的紋理和結(jié)構(gòu)特征圖進(jìn)行信息交互和融合，以提高修復(fù)后的圖像平滑與自然程度。全局判別器將修復(fù)后圖像與原圖像進(jìn)行對(duì)比判別，確保修復(fù)后瓦當(dāng)圖像在視覺上的真實(shí)性以及語(yǔ)義上的一致性。

1.2 生成器網(wǎng)絡(luò)

本文以編碼器-解碼器形式的網(wǎng)絡(luò)架構(gòu)作為生成器的基本框架，編碼器階段通過堆疊的卷積層不斷聚合破損圖像及其邊緣結(jié)構(gòu)圖的高層特征，解碼器階段通過上采樣層來恢復(fù)破損區(qū)域的紋理和結(jié)構(gòu)。網(wǎng)絡(luò)的編碼以部分卷積層（partial convolution， PConv）作為主要網(wǎng)絡(luò)層，以減少無(wú)效像素對(duì)修復(fù)區(qū)域的影響。在編碼器和解碼器的淺層和深層位置設(shè)計(jì)RPConv模塊以充分捕捉圖像的紋理和結(jié)構(gòu)細(xì)節(jié)。編碼器部分前三層PConv層分別采用大小為7×7、5×5、5×5的卷積核進(jìn)行卷積操作，后四層PConv層卷積核大小為3×3。解碼器部分則以編碼器同樣的結(jié)構(gòu)參數(shù)進(jìn)行特征圖的解碼。特征圖經(jīng)過各卷積層后的大小和通道數(shù)如圖2所示。

1.2.1 部分卷積層

掩碼后的整張圖像進(jìn)行卷積操作容易受到缺失區(qū)域無(wú)效像素的影響，使得修復(fù)后的圖像產(chǎn)生顏色差異、偽影等現(xiàn)象。為了使模型能夠更好地關(guān)注待修復(fù)圖像的有效信息，本文采用部分卷積[22]作為基本卷積層，對(duì)掩碼以外的區(qū)域進(jìn)行卷積并在修復(fù)過程中不斷更新掩碼。部分卷積的定義如式（1）所示。

x′=ωT（X⊙M）sum（1）sum（M）+b ""if sum（M） gt; 00otherwise（1）

其中：ω為當(dāng)前卷積核的權(quán)重;b為偏置;X為輸入特征圖;M為掩碼。對(duì)于輸入的特征圖，通過與掩碼作點(diǎn)乘，可以過濾掉無(wú)效像素而只對(duì)有效像素區(qū)域進(jìn)行卷積。圖像中無(wú)效像素區(qū)域在輸出特征圖中值為0，不包含任何有效信息。

隨著缺損區(qū)域的不斷修復(fù)，掩碼也需要不斷更新，在每一次卷積之后，掩碼更新的定義為

m′=1" if sum（M） gt; 00" otherwise（2）

其中：m′為更新后的掩碼。在每一次卷積之后，圖像缺失區(qū)域的部分無(wú)效像素被填充，此時(shí)更新對(duì)應(yīng)區(qū)域的掩碼值。

1.2.2 循環(huán)部分卷積層

瓦當(dāng)圖像修復(fù)后的效果取決于模型對(duì)瓦當(dāng)圖像中細(xì)節(jié)特征變化的捕捉和表征能力。在一幅圖像中，高階次統(tǒng)計(jì)量相較于低階次統(tǒng)計(jì)量通常包含著圖像中更多的結(jié)構(gòu)和紋理細(xì)節(jié)[21]，傳統(tǒng)的圖像卷積層只能捕捉到圖像中變化較為明顯的邊緣特征，難以捕捉到同一尺度特征圖下的高階細(xì)節(jié)特征。同時(shí)，傳統(tǒng)卷積核受限于固定大小感知野的局部特征和空間依賴關(guān)系，特征圖的全局空間特征交互不足，而圖像中高階特征與低階特征間的交互，往往有利于提高模型的特征表征能力[23]。因此，本文設(shè)計(jì)循環(huán)部分卷積層RPConv，一方面對(duì)同一尺度下的瓦當(dāng)特征圖進(jìn)行高階特征的提取，以獲得瓦當(dāng)圖像中的難以提取到的細(xì)節(jié)紋理和結(jié)構(gòu)特征；另一方面引入循環(huán)結(jié)構(gòu)，增強(qiáng)同一尺度特征圖下高階特征（瓦當(dāng)紋理與結(jié)構(gòu)細(xì)節(jié)特征）與低階特征（瓦當(dāng)主體紋理與結(jié)構(gòu)特征）間的交互，以提高模型對(duì)于瓦當(dāng)圖像主要紋理結(jié)構(gòu)特征和細(xì)節(jié)紋理結(jié)構(gòu)特征的統(tǒng)一表征能力，確保修復(fù)后圖像的邊緣結(jié)構(gòu)完整、紋理清晰自然。

在循環(huán)部分卷積層中，首先對(duì)輸入特征圖進(jìn)行線性投影如式（3）所示。

y=（X⊙M）=［pHW×C0，qHW×C0］∈RHW×2C（3）

其中：（·）為線性投影層，卷積核大小為1×1;X∈RHW×2C為輸入的特征圖，使用1×1卷積將輸入特征圖的通道數(shù)由原來C的增加為2C。定義同一尺度特征圖下的空間特征交互如式（4）所示。

p1=φ（pHW×C0⊙qHW×C0）∈RHW×2C（4）

其中：φ（·）為部分卷積層；p1為特征圖中不同位置下空間特征交互結(jié)果。對(duì)于線性投影后的特征圖y，對(duì)其不同通道下的特征p0和q0進(jìn)行點(diǎn)乘操作可以捕捉到不同通道特征間的關(guān)聯(lián)和依賴關(guān)系，并增強(qiáng)特征圖不同位置下的特征。在此基礎(chǔ)上，結(jié)合部分卷積層進(jìn)一步提取當(dāng)前尺度特征圖下的高階特征，以獲得瓦當(dāng)圖像有效信息中更為細(xì)節(jié)處的邊緣和紋理特征（圖3）。為使RPConv更加關(guān)注于當(dāng)前尺度下瓦當(dāng)圖像高階特征的提取和增強(qiáng)，RPConv中對(duì)特征圖進(jìn)行部分卷積操作時(shí)不改變特征圖的大小，并不對(duì)掩碼進(jìn)行更新操作。

為了使模型能夠充分地建模瓦當(dāng)圖像的整體特征和細(xì)節(jié)特征，在上述空間特征交互操作的基礎(chǔ)上進(jìn)行循環(huán)設(shè)計(jì)（圖4），以實(shí)現(xiàn)同一尺度特征圖下低階特征與高階特征間的交互，增強(qiáng)模型對(duì)紋理和結(jié)構(gòu)細(xì)節(jié)的表征能力，將線性映射后的特征圖y按通道拆分為四個(gè)部分，如式（5）所示。

y=［pHW×C/40，qHW×C/40，qHW×C/21，qHW×C2］∈RHW×2C（5）

對(duì)相鄰特征圖循環(huán)執(zhí)行空間交互操作如式（6）所示。

pk+1=φ（pk⊙qk） k = 0， 1， 2（6）

其中：pk+1為相鄰特征圖的空間交互結(jié)果。特征圖pk（kgt;0）經(jīng)過部分卷積之后包含當(dāng)前尺度特征圖下的高階特征，即當(dāng)前尺度下特征圖中更為細(xì)節(jié)和局部的紋理結(jié)構(gòu)特征。特征圖qk由特征圖y按通道拆分得到，包含同一尺度下圖像的低階特征，也即原始特征圖中瓦當(dāng)?shù)闹黧w紋理結(jié)構(gòu)特征。通過循環(huán)執(zhí)行特征圖pk和qk的空間特征交互操作，可以實(shí)現(xiàn)同一尺度下低階特征和更高階次特征的相互整合，保留瓦當(dāng)圖像中不容易被提取到的細(xì)節(jié)特征，得到更為復(fù)雜和完整的瓦當(dāng)圖像特征。上述循環(huán)空間交互的設(shè)計(jì)，也使得RPConv模塊能夠增強(qiáng)網(wǎng)絡(luò)模型對(duì)瓦當(dāng)圖像復(fù)雜紋理和結(jié)構(gòu)細(xì)節(jié)的表征能力，實(shí)現(xiàn)更好的修復(fù)效果。循環(huán)部分卷積層的輸出特征圖在大小與通道數(shù)上均與輸入特征圖保持一致。

1.3 特征融合層

瓦當(dāng)破損圖像及其邊緣結(jié)構(gòu)圖像經(jīng)過生成器的編碼與解碼后分別得到了初步修復(fù)后的紋理特征圖和結(jié)構(gòu)特征圖。為了充分保留瓦當(dāng)圖像破損區(qū)域修復(fù)后的紋理和結(jié)構(gòu)細(xì)節(jié)，本文設(shè)計(jì)了特征融合層以實(shí)現(xiàn)紋理特征與結(jié)構(gòu)特征之間的信息交換和整合，將修復(fù)區(qū)域的紋理和結(jié)構(gòu)平滑地融合在一起（圖5）。本文設(shè)計(jì)的特征融合層中，首先將紋理特征圖和結(jié)構(gòu)特征圖在通道維度上進(jìn)行拼接。特征拼接操作如式（7）所示。

Fconcat=concat（Ft，F(xiàn)s）（7）

其中：concat（·）為通道維度的拼接運(yùn)算，F(xiàn)t為紋理特征圖；Fs為結(jié)構(gòu)特征圖；Fconcat為特征拼接后的輸出。

對(duì)于拼接后的特征圖，為實(shí)現(xiàn)不同通道間的信息交互和自適應(yīng)整合，本文使用1×1卷積層對(duì)拼接后特征圖Fconcat進(jìn)行線性映射，所使用的卷積核通道數(shù)為3，以保證映射后特征圖的通道數(shù)與修復(fù)后圖像特征圖保持一致。1×1卷積層一方面可以有效地實(shí)現(xiàn)圖像紋理和結(jié)構(gòu)特征的跨通道自適應(yīng)組合，并對(duì)特征圖進(jìn)行快速降維; 另一方面1×1卷積能夠減少權(quán)重參數(shù)的數(shù)量，進(jìn)而降低模型的計(jì)算量。隨后，將紋理特征圖和結(jié)構(gòu)特征圖疊加到線性映射后的特征圖中，進(jìn)一步增強(qiáng)特征圖不同空間位置下的紋理和結(jié)構(gòu)特征細(xì)節(jié)。最后，為使修復(fù)后圖像更加平滑和自然，使用sigmoid激活函數(shù)進(jìn)行特征圖的非線性映射以得到瓦當(dāng)圖像的最終修復(fù)結(jié)果。

Iout=σ（（（Fconcat）Ft）Fs）（8）

1.4 損失函數(shù)

為保證修復(fù)后瓦當(dāng)圖像在紋理、結(jié)構(gòu)和風(fēng)格上與原圖像的一致性，本文采用聯(lián)合損失函數(shù)進(jìn)行模型的訓(xùn)練，損失函數(shù)包括重建損失、對(duì)抗損失和風(fēng)格損失。

1.4.1 重建損失

重建損失（reconstruction loss）通過L1范數(shù)來衡量修復(fù)后圖像和原圖像在像素層面的相似度。重建損失Lrec的定義如式（9）所示。

Lrec=‖Igt－Iout‖1（9）

其中：‖·‖表示L1范數(shù)；Igt為原圖像；Iout為修復(fù)后的圖像。

1.4.2 對(duì)抗損失

對(duì)抗損失（adversarial loss）衡量修復(fù)后圖像與原圖像間的高層紋理和結(jié)構(gòu)特征差異，以保證修復(fù)后圖像的視覺真實(shí)性以及紋理結(jié)構(gòu)的一致性。對(duì)抗損失Ladv的定義如式（10）所示。

Ladv=minG maxDEIgt［log（D（Igt））］+EIout［log（1－D（Iout））］（10）

其中：G為生成器；D為判別器。

1.4.3 風(fēng)格損失

在保證修復(fù)后圖像與原圖的紋理結(jié)構(gòu)一致性的同時(shí)，本文引入風(fēng)格損失（style loss）來衡量修復(fù)后圖像和原圖像在風(fēng)格上的相似度。本文利用Gram矩陣計(jì)算圖像間的風(fēng)格差異，風(fēng)格損失Lstyle的定義如式（11）所示。

Lstyle=‖ψ（Igt）Tψ（Igt）－ψ（Iout）Tψ（Iout）‖1（11）

其中：ψ（·）為二維卷積層，用于計(jì)算修復(fù)后圖像和原圖像的特征圖；ψ（·）Tψ（·）為Gram矩陣。

結(jié)合上述損失函數(shù)，本文采用的聯(lián)合損失函數(shù)定義如式（12）所示。

L=λrecLrec+λadvLadv+λstyleLstyle（12）

其中：λrec、λadv、λstyle分別表示各損失函數(shù)的權(quán)重。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

2.1.1 瓦當(dāng)圖像數(shù)據(jù)集

本文針對(duì)中國(guó)歷史建筑中不同類別的典型瓦當(dāng)構(gòu)件進(jìn)行圖像采集和圖像預(yù)處理，構(gòu)建了一套中國(guó)歷史建筑中的典型瓦當(dāng)圖像數(shù)據(jù)集。如圖6所示，該數(shù)據(jù)集中包含圖像類、圖案類以及文字類三類具有代表性的瓦當(dāng)圖像，數(shù)據(jù)集總共包含6 000幅分辨率為256×256像素的瓦當(dāng)圖像。其中，每一類別的瓦當(dāng)圖像數(shù)量為2 000幅。

2.1.2 掩碼圖像數(shù)據(jù)集

為適應(yīng)瓦當(dāng)構(gòu)件不同程度的破損，本文使用Liu等人[22]提出的不規(guī)則掩碼數(shù)據(jù)集，如圖7所示。該數(shù)據(jù)集包含12 000幅分辨率為512×512像素的掩碼圖像，掩碼的孔洞大小比例在1%～60%。在模型訓(xùn)練過程中，為適應(yīng)網(wǎng)絡(luò)模型的輸入尺寸，需要將掩碼圖像等比例縮放為256×256像素。

2.2 實(shí)驗(yàn)設(shè)置

本文使用構(gòu)建的瓦當(dāng)圖像數(shù)據(jù)集對(duì)所提出的RPConv-GAN進(jìn)行實(shí)驗(yàn)評(píng)估。實(shí)驗(yàn)過程中隨機(jī)選擇瓦當(dāng)圖像數(shù)據(jù)集中的5 000幅圖像作為訓(xùn)練集，其余1 000幅圖像作為測(cè)試集。實(shí)驗(yàn)過程中使用的開發(fā)語(yǔ)言為Python 3.9，深度學(xué)習(xí)框架為PyTorch 1.12，模型訓(xùn)練過程中使用的GPU為NVIDIA GeForce 3090，CPU為12th Gen Intel Core i9-12900。訓(xùn)練過程中模型使用Adam優(yōu)化器進(jìn)行優(yōu)化，生成器學(xué)習(xí)率為0.000 2，判別器學(xué)習(xí)率為0.000 02，batch size為8，迭代次數(shù)為150 000次，聯(lián)合損失函數(shù)中各損失函數(shù)的權(quán)重為λrec=10，λadv=0.5，λstyle=250。

2.3 對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文模型在瓦當(dāng)圖像修復(fù)上的有效性和先進(jìn)性，將RPConv-GAN與圖像修復(fù)任務(wù)中表現(xiàn)優(yōu)異的算法進(jìn)行修復(fù)實(shí)驗(yàn)對(duì)比，所使用的對(duì)比算法包括PConv[22]、Deepfillv2[24]、RFR[17]以及AOT-GAN[25]。各算法使用官方實(shí)現(xiàn)版本在本文構(gòu)建的瓦當(dāng)圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練，訓(xùn)練過程中的模型參數(shù)為官方提供的默認(rèn)參數(shù)。

2.3.1 定性實(shí)驗(yàn)

為了直觀地對(duì)RPConv-GAN的修復(fù)效果進(jìn)行驗(yàn)證，首先對(duì)不同類型的瓦當(dāng)圖像進(jìn)行了隨機(jī)掩碼修復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖8～10所示。

圖8為各算法對(duì)圖像類瓦當(dāng)圖像的修復(fù)結(jié)果。圖像類瓦當(dāng)以復(fù)雜圖像為主要內(nèi)容，在修復(fù)過程中容易出現(xiàn)紋理紊亂、細(xì)節(jié)丟失的問題。PConv算法通過部分卷積來過濾無(wú)效像素的影響，但對(duì)紋理細(xì)節(jié)的修復(fù)不足。從第2張和第4張瓦當(dāng)圖像的修復(fù)結(jié)果中可以看出，修復(fù)后的紋理不夠自然和平滑。Deepfillv2算法引入門控機(jī)制來學(xué)習(xí)軟掩碼，在一定程度上減少了修復(fù)過程中產(chǎn)生的偽影，但其對(duì)于結(jié)構(gòu)細(xì)節(jié)的修復(fù)效果不佳。從第4張瓦當(dāng)圖像放大區(qū)域的修復(fù)結(jié)果可以看出，修復(fù)后的邊緣輪廓不清，沒有修復(fù)出結(jié)構(gòu)細(xì)節(jié)。RFR算法通過循環(huán)特征推理模塊增強(qiáng)修復(fù)區(qū)域中心和圖像有效區(qū)域間的約束，在缺失區(qū)域面積比較大時(shí)修復(fù)效果較好，但對(duì)小面積的修復(fù)時(shí)細(xì)節(jié)不夠清晰，第1張瓦當(dāng)圖像的修復(fù)結(jié)果在紋理結(jié)構(gòu)上都較為模糊。AOT-GAN算法通過不同膨脹率的卷積核來提取圖像的細(xì)節(jié)特征，修復(fù)細(xì)節(jié)相較于前三個(gè)算法表現(xiàn)更好，但在2張瓦當(dāng)圖像中對(duì)獸面圖像的左眼修復(fù)結(jié)果與右眼的風(fēng)格一致性不足。相較于以上算法，RPConv-GAN的修復(fù)結(jié)果細(xì)節(jié)結(jié)構(gòu)更加清晰，紋理更加平滑自然。

圖9、10分別為各算法對(duì)圖案、文字類瓦當(dāng)圖像的修復(fù)結(jié)果。圖案類和文字類瓦當(dāng)圖像以多變的結(jié)構(gòu)輪廓為主要內(nèi)容，在修復(fù)過程中容易出現(xiàn)邊緣輪廓不完整、邊界不清的問題。PConv和Deepfillv2的修復(fù)結(jié)果均存在邊緣結(jié)構(gòu)不完整、不清晰的現(xiàn)象，在圖9第2張瓦當(dāng)圖像以及圖10第1張瓦當(dāng)圖像中，修復(fù)處的結(jié)構(gòu)都存在丟失。RFR的修復(fù)結(jié)果在整體的視覺效果上優(yōu)于PConv和Deepfillv2算法，但在細(xì)節(jié)邊緣結(jié)構(gòu)的修復(fù)上仍存在邊界交叉和模糊的問題。從圖9第3張瓦當(dāng)圖像以及圖10第4張瓦當(dāng)圖像可以看出，修復(fù)處細(xì)節(jié)結(jié)構(gòu)不夠清晰。AOT-GAN的修復(fù)結(jié)果整體效果較好，但如圖9第3張瓦當(dāng)圖像以及圖10第3張瓦當(dāng)圖像的修復(fù)處仍存在細(xì)節(jié)處的結(jié)構(gòu)模糊和邊界不清的問題。相較于以上算法，RPConv-GAN的修復(fù)結(jié)果在邊緣結(jié)構(gòu)上更加完整，細(xì)節(jié)結(jié)構(gòu)邊界分明，這表明RPConv-GAN對(duì)于瓦當(dāng)圖像的修復(fù)具備更好的紋理和結(jié)構(gòu)細(xì)節(jié)表征能力。

為了更加充分地說明本文算法在瓦當(dāng)圖像修復(fù)中的實(shí)際效果，對(duì)各類型的瓦當(dāng)圖像進(jìn)行了中心掩碼修復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)中采用的中心掩碼大小為64×64，實(shí)驗(yàn)結(jié)果如圖11所示。

從瓦當(dāng)圖像的中心掩碼修復(fù)結(jié)果可以看出，PConv修復(fù)區(qū)域出現(xiàn)了紋理和結(jié)構(gòu)的紊亂，修復(fù)結(jié)果較為不合理。Deepfillv2和RFR整體的修復(fù)效果要優(yōu)于PConv，但Deepfillv2對(duì)于邊緣結(jié)構(gòu)的修復(fù)并不完整，圖11中對(duì)第6張和第7張圖像的修復(fù)只是恢復(fù)出了合理的紋理，但未能正確修復(fù)出瓦當(dāng)?shù)慕Y(jié)構(gòu)邊界。RFR在中心掩碼的修復(fù)過程中出現(xiàn)了明顯的紋理紊亂問題，圖11中對(duì)第5張和第7張圖像的修復(fù)都出現(xiàn)了不自然且不合理的邊緣結(jié)構(gòu)。AOT-GAN的整體修復(fù)效果較好，但同樣存在邊緣結(jié)構(gòu)恢復(fù)不完整、不清晰的情況，圖11中對(duì)第2、4、6張圖像的修復(fù)能夠看出對(duì)邊緣結(jié)構(gòu)一定程度上的恢復(fù)，但并不完整且較為模糊。相較于以上算法，RPConv-GAN在中心掩碼修復(fù)中表現(xiàn)出了更好的修復(fù)效果，對(duì)于其他算法未能恢復(fù)的細(xì)節(jié)邊緣結(jié)構(gòu)能夠正確且更為完整地修復(fù)，在紋理上也更為自然。

2.3.2 定量實(shí)驗(yàn)

除了對(duì)瓦當(dāng)圖像修復(fù)結(jié)果在視覺上進(jìn)行定性分析外，本文選擇峰值信噪比（peak signal-to-noise ratio， PSNR）、結(jié)構(gòu)相似度（structural similarity， SSIM）、FID分?jǐn)?shù)（Fréchet inception distance， FID）[26]以及L1距離四個(gè)指標(biāo)對(duì)各算法的修復(fù)結(jié)果進(jìn)行客觀的定量比較。其中，PSNR用于衡量修復(fù)后圖像的質(zhì)量；SSIM則衡量修復(fù)后圖像與原圖像在結(jié)構(gòu)上的相似度；FID分?jǐn)?shù)通過計(jì)算修復(fù)后圖像與原圖像的概率分布，來衡量修復(fù)后圖像與原圖像間的相似性與語(yǔ)義一致性；L1距離直接衡量修復(fù)后圖像與原圖像在像素級(jí)的差異。

表1列出了各算法在不同孔洞大小掩碼下的瓦當(dāng)圖像修復(fù)的各指標(biāo)計(jì)算結(jié)果。從表中可以看出，在掩碼比例較小時(shí)，各算法修復(fù)效果均較好。而隨著掩碼比例的增大，各算法在PSNR和SSMI指標(biāo)上呈現(xiàn)下降的趨勢(shì)，F(xiàn)ID指標(biāo)和L1指標(biāo)則呈現(xiàn)上升的趨勢(shì)。在對(duì)比算法中，RFR和AOT-GAN算法在各項(xiàng)指標(biāo)中表現(xiàn)更加優(yōu)異。而RPConv-GAN在各個(gè)評(píng)價(jià)指標(biāo)上均接近或優(yōu)于對(duì)比算法。綜合考慮不同比例的掩碼修復(fù)結(jié)果，RPConv-GAN在PSNR指標(biāo)上相較于RFR和AOT-GAN分別提升了2.67%和2.93%，在SSMI指標(biāo)上分別提升了2.32%和2.90%，在FID指標(biāo)上分別降低了25.29%和12.06%，在L1指標(biāo)上分別降低了11.90%和25.83%。

表2列出了各算法在中心掩碼下的瓦當(dāng)圖像修復(fù)的各指標(biāo)計(jì)算結(jié)果。從表中可以看出，各對(duì)比算法在中心掩碼下的修復(fù)效果在圖像質(zhì)量、結(jié)構(gòu)相似度、L1指標(biāo)上較為接近。Deepfillv2在FID分?jǐn)?shù)上最小，表明其修復(fù)結(jié)果在風(fēng)格和語(yǔ)義上更接近于原始的瓦當(dāng)圖像。RPConv-GAN在各個(gè)指標(biāo)上均接近或優(yōu)于對(duì)比算法。相較于效果較好的Deepfillv2和RFR算法，在PSNR指標(biāo)上分別提升了9.62%和9.46%，在SSMI指標(biāo)上分別提升了3.85%和3.62%，在FID指標(biāo)上相較于Deepfillv2算法提高了6.64%，相較于RFR算法降低了29.53%，在L1指標(biāo)上則分別降低了33.06%和23.58%。

2.4 消融實(shí)驗(yàn)

從對(duì)比實(shí)驗(yàn)的結(jié)果可以看出，本文提出的RPConv模塊有效地提高了瓦當(dāng)圖像的修復(fù)效果。RPConv一方面通過提取瓦當(dāng)圖像中的高階細(xì)節(jié)特征來獲得更多的圖像細(xì)節(jié)信息，一方面通過瓦當(dāng)圖像中高階特征與低階特征的交互整合，使模型能夠更加準(zhǔn)確地恢復(fù)圖像的細(xì)節(jié)結(jié)構(gòu)。為進(jìn)一步驗(yàn)證RPConv在瓦當(dāng)圖像修復(fù)過程中的有效性，在所構(gòu)建的瓦當(dāng)圖像數(shù)據(jù)集中分別進(jìn)行RPConv模塊的定性和定量消融實(shí)驗(yàn)驗(yàn)證。

2.4.1 定性消融實(shí)驗(yàn)

為了驗(yàn)證循環(huán)部分卷積層在瓦當(dāng)圖像修復(fù)上的效果，在構(gòu)建的瓦當(dāng)圖像數(shù)據(jù)集上進(jìn)行定性消融實(shí)驗(yàn)。實(shí)驗(yàn)針對(duì)無(wú)RPConv模塊的基礎(chǔ)網(wǎng)絡(luò)和有RPConv模塊的完整模型，首先在構(gòu)建的數(shù)據(jù)集中進(jìn)行隨機(jī)掩碼下的實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果如圖12～14所示。

圖12為圖像類瓦當(dāng)?shù)南趯?shí)驗(yàn)結(jié)果。從圖中可以看出，當(dāng)缺少RPConv模塊時(shí)，圖像修復(fù)處的邊緣結(jié)構(gòu)較模糊，對(duì)于邊緣結(jié)構(gòu)的修復(fù)不夠完整和清晰。第1張瓦當(dāng)圖像中花瓣邊緣更加紊亂，第3張瓦當(dāng)圖像中鳥類的足部細(xì)節(jié)不夠清晰。圖13為圖案類瓦當(dāng)?shù)南趯?shí)驗(yàn)結(jié)果，當(dāng)缺少RPConv模塊時(shí)，對(duì)第1張和第3張圖像中的條狀紋的修復(fù)出現(xiàn)了邊緣交叉和模糊的現(xiàn)象。相比之下，有RPConv模塊的完整模型能夠更準(zhǔn)確地捕捉到瓦當(dāng)圖像修復(fù)處的細(xì)節(jié)變化，因此在上述修復(fù)區(qū)域中能夠更好地還原修復(fù)處的細(xì)節(jié)及邊緣結(jié)構(gòu)。圖14為文字類瓦當(dāng)?shù)南趯?shí)驗(yàn)結(jié)果，當(dāng)缺少RPConv模塊時(shí)，各圖像在文字修復(fù)過程中均出現(xiàn)了文字筆畫丟失或者模糊的問題。在引入RPConv模塊后，圖像中文字筆畫的邊緣結(jié)構(gòu)則被完整清晰地修復(fù)出來。從以上結(jié)果可以看出，RPConv模塊在圖像的紋理和結(jié)構(gòu)細(xì)節(jié)表征和修復(fù)能力上都具有突出的優(yōu)勢(shì)。

為了進(jìn)一步說明RPConv對(duì)瓦當(dāng)圖像細(xì)節(jié)結(jié)構(gòu)修復(fù)的有效性，對(duì)各類瓦當(dāng)圖像進(jìn)行中心掩碼的消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖15所示。從圖15中可以看出，在缺少RPConv模塊時(shí)，模型對(duì)中心掩碼處的修復(fù)更多的是對(duì)于紋理的簡(jiǎn)單填充，難以修復(fù)出有效的邊緣結(jié)構(gòu)。在圖15中第1、3、4張圖像的修復(fù)中，待修復(fù)區(qū)域的紋理較為紊亂，而邊緣結(jié)構(gòu)則較為模糊或者沒有被正確地修復(fù)出來。在引入RPConv模塊后，模型對(duì)于中心掩碼處邊緣結(jié)構(gòu)和紋理地修復(fù)效果更好，修復(fù)后的邊緣結(jié)構(gòu)更為清晰和自然。中心掩碼消融實(shí)驗(yàn)結(jié)果也表明RPConv模塊在對(duì)瓦當(dāng)圖像結(jié)構(gòu)細(xì)節(jié)的捕捉能力更強(qiáng)，修復(fù)效果更佳。

2.4.2 定量消融實(shí)驗(yàn)

為了更加客觀地驗(yàn)證循環(huán)部分卷積層在瓦當(dāng)圖像修復(fù)中的作用，在構(gòu)建的瓦當(dāng)圖像數(shù)據(jù)集上開展隨機(jī)掩碼和中心掩碼下的RPConv定量消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3和4所示。從表3和4中可以看出，在有RPConv模塊時(shí)，模型在各項(xiàng)指標(biāo)都表現(xiàn)出更加優(yōu)異的結(jié)果。在隨機(jī)掩碼消融實(shí)驗(yàn)下，綜合考慮不同掩碼下的修復(fù)結(jié)果，完整模型相較于缺少RPConv模塊的模型在PSNR和SSIM指標(biāo)上分別提升了7.58%和7.03%，在FID和L1指標(biāo)上分別降低了31.11%和37.20%。而在中心掩碼消融實(shí)驗(yàn)下，完整模型相較于缺少RPConv模塊的模型在PSNR和SSIM指標(biāo)上分別提升了6.36%和2.94%，在FID和L1指標(biāo)上分別降低了27.09%和18.18%。從定量消融實(shí)驗(yàn)的結(jié)果可以看出，RPConv對(duì)于修復(fù)后瓦當(dāng)圖像的質(zhì)量、紋理結(jié)構(gòu)以及語(yǔ)義風(fēng)格都帶來了較大提升。

3 結(jié)束語(yǔ)

針對(duì)中國(guó)歷史建筑構(gòu)件瓦當(dāng)圖像修復(fù)中存在的紋理紊亂、結(jié)構(gòu)模糊丟失的問題，本文提出了一種基于高階紋理與結(jié)構(gòu)特征交互的瓦當(dāng)圖像修復(fù)方法，并構(gòu)建了基于循環(huán)部分卷積的生成對(duì)抗式瓦當(dāng)圖像修復(fù)網(wǎng)絡(luò)模型。該模型分別從紋理和結(jié)構(gòu)兩方面對(duì)破損的瓦當(dāng)圖像進(jìn)行修復(fù)，為了增強(qiáng)圖像高階特征和低階特征的交互，提高模型對(duì)復(fù)雜紋理和結(jié)構(gòu)細(xì)節(jié)的表征能力，設(shè)計(jì)了循環(huán)部分卷積層以實(shí)現(xiàn)同一尺度特征圖下圖像高低階的特征交互；同時(shí)設(shè)計(jì)了特征融合層以實(shí)現(xiàn)瓦當(dāng)圖像紋理和結(jié)構(gòu)特征圖的信息交換與整合。針對(duì)典型瓦當(dāng)構(gòu)件，本文構(gòu)建了一套包含圖像類、圖案類以及文字類的瓦當(dāng)圖像數(shù)據(jù)集，并在此基礎(chǔ)上進(jìn)行瓦當(dāng)圖像的修復(fù)實(shí)驗(yàn)和消融實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)表明，本文方法能夠有效地修復(fù)瓦當(dāng)圖像的結(jié)構(gòu)細(xì)節(jié)，在紋理上也更加平滑和自然。在未來，一方面將會(huì)進(jìn)一步擴(kuò)充當(dāng)前數(shù)據(jù)集，提高模型對(duì)瓦當(dāng)圖像修復(fù)結(jié)果的多樣性；另一方面將研究有限樣本下的模型訓(xùn)練策略，以提高現(xiàn)有模型對(duì)不同類型歷史建筑構(gòu)件修復(fù)的泛化能力。

參考文獻(xiàn)：

[1]王劭琨， 侯艷芳， 郭靖. 中國(guó)古建筑屋檐之美——瓦當(dāng) [J]. 磚瓦， 2021 （3）： 41-43. （Wang Shaokun， Hou Yanfang， Guo Jing. The beauty of Chinese ancient architectural eaves [J]. Brick and Tile， 2021 （3）： 41-43.）

[2]Wang Ru， Chen Wei. Case-based reasoning of damaged ancient buildings based on ontology [C]// Proc of the 2nd International Conference on Civil Architecture and Energy Science. [S.l.]： EDP Science， 2020.

[3]Wang Nianyi， Wang Weilan， Hu Wenjin， et al. Thanka mural inpainting based on multi-scale adaptive partial convolution and stroke-like mask [J]. IEEE Trans on Image Processing， 2021，30： 3720-3733.

[4]張子迎， 稅午陽(yáng)， 周明全， 等. 數(shù)字壁畫病害提取與修復(fù)算法研究 [J].計(jì)算機(jī)應(yīng)用研究， 2021， 38 （8）： 2495-2498， 2504. （Zhang Ziying， Shui Wuyang， Zhou Mingquan， et al. Research on disease extraction and inpainting algorithm of digital grotto murals [J]. Application Research of Computers， 2021， 38 （8）： 2495-2498， 2504.）

[5]Luo Renquan， Luo Renze， Guo Liang， et al. An ancient Chinese painting restoration method based on improved generative adversarial network" [C]// Proc of the 4th International Conference on Artificial Intelligence Technologies and Applications. [S.l.]： IOP Publi-shing， 2022：1-7.

[6]Lyu Qiongshuai， Zhao Na， Yang Yu， et al. A diffusion probabilistic model for traditional Chinese landscape painting super-resolution [J]. Heritage Science， 2024， 2024 （12）： article ID 4.

[7]朱欣娟， 雷倩， 吳曉軍. 基于生成式對(duì)抗網(wǎng)絡(luò)的文物圖像超分辨率重建及色彩修復(fù) [J]. 西安工程大學(xué)學(xué)報(bào)， 2021， 35 （3）： 86-92. （Zhu Xinjuan， Lei Qian， Wu Xiaojun. Super-resolution reconstruction and color restoration of cultural relic images based on generative adversarial network [J].Journal of Xi’an Polytechnic University ， 2021， 35 （3）： 86-92.）

[8]Shen Jianhong， Chan T F. Mathematical models for local nontexturedinpaintings [J]. SIAM Journal on Applied Mathematics， 2002， 62 （3）： 1019-1043.

[9]Chan T F， Shen Jianhong.Nontexture inpainting by curvature-driven diffusions [J]. Journal of Visual Communication and Image Representation， 2001， 12 （4）： 436-449.

[10]Li Kangshun， Wei Yunshan， Yang Zhen， et al. Image inpainting algorithm based on TV model and evolutionary algorithm [J]. Soft Computing， 2016，20： 885-893.

[11]Ruic' T， Piurica A. Context-aware patch-based image inpainting using Markov random field modeling [J]. IEEE Trans on Image Processing， 2015， 24 （1）： 444-456.

[12]Xu Zongben， Sun Jian. Image inpainting by patch propagation using patch sparsity [J].IEEE Trans on Image Processing，" 2010， 19 （5）： 1153-1165.

[13]Levin A， Zomet A， Weiss Y. Learning how to inpaint from global ima-ge statistics [C]// Proc of the 9th IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press，" 2003： 305-312.

[14]呂伏， 張文麗. 強(qiáng)化邊緣結(jié)構(gòu)的分段自適應(yīng)圖像修復(fù)算法 [J].計(jì)算機(jī)應(yīng)用研究 ， 2023， 40 （6）： 1900-1905. （Lyu Fu， Zhang Wenli. Enhanced edge structure image inpainting based on piecewise adaptive algorithm [J]. Application Research of Computers， 2023， 40 （6）： 1900-1905.）

[15]Pathak D， Krahenbuhl P， Donahue J， et al. Context encoders： feature learning by inpainting [C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press，" 2016： 2536-2544.

[16]Nazeri K， Ng E， Joseph T， et al. EdgeConnect： structure guided ima-ge inpainting using edge prediction [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press，" 2019： 3265-3274.

[17]Li Jingyuan， Wang Ning， ZhangLefei， et al. Recurrent feature reasoning for image inpainting [C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press，" 2020： 7760-7768.

[18]Suvorov R， Logacheva E， Mashikhin A， et al. Resolution-robust large mask inpainting with Fourier convolutions [C]// Proc of IEEE/CVF Winter Conference on Applications of Computer Vision. Piscata-way， NJ： IEEE Press， 2022： 2149-2159.

[19]陳永， 趙夢(mèng)雪， 陶美風(fēng). 聯(lián)合特征推理和語(yǔ)義增強(qiáng)的漸進(jìn)式壁畫修復(fù) [J]. 湖南大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2023， 50 （8）： 1-12. （Chen Yong， Zhao Mengxue， Tao Meifeng. Progressive mural inpain-ting with joint feature inference and semantic enhancement [J].Journal of Hunan University： Natural Science ， 2023， 50 （8）： 1-12.）

[20]趙磊， 林思寰， 林志潔， 等. 中國(guó)古畫漸進(jìn)式多級(jí)特征修復(fù)算法 [J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖學(xué)學(xué)報(bào)， 2023， 35 （7）： 1040-1051. （Zhao Lei， Lin Sihuan， Lin Zhihao， et al. Progressive multilevel feature restoration algorithm for Chinese ancient paintings [J]. Journal of Computer-Aided Design amp; Computer Graphics， 2023， 35 （7）： 1040-1051.）

[21]Zhang Baochang， Gao Yongsheng， Zhao Sanqiang， et al. Local deriva-tive pattern versus local binary pattern： face recognition with high-order local pattern descriptor [J]. IEEE Trans on Image Proces-sing， 2009， 19 （2）： 533-544.

[22]Liu Guilin， Reda F A， Shih K J， et al. Image inpainting for irregular holes using partial convolutions [C]// Proc of European Conference on Computer Vision. Berlin： Springer， 2018： 85-100.

[23]Rao Yongming， Zhao Wenliang， Tang Yansong， et al. HorNet： efficient high-order spatial interactions with recursive gated convolutions [C]// Proc of Advances in Neural Information Processing System. [S.l.]： NeurIPS， 2022： 10353-10366.

[24]Yu Jiahui， Lin Zhe， Yang Jimei， et al. Free-form image inpainting with gated convolution [C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2019： 4471-4480.

[25]Zeng Yanhong， Fu Jianlong， Chao Hongyang， et al. Aggregated contextual transformations for high-resolution image inpainting [J]. IEEE Trans on Visualization and Computer Graphics， 2022， 29 （7）： 3266-3280.

[26]Heusel M， Ramsauer H， Unterthiner T， et al. GANs trained by a two time-scale update rule converge to a local Nash equilibrium [C]// Advances in Neural Information Processing System. [S.l.]： NeurIPS， 2017： 6626-6637.