婁蘊(yùn)祎 張冬妍 葛奕麟 崔明迪 張澤冰

摘要：木材生長加工過程中產(chǎn)生的缺陷會(huì)影響產(chǎn)品質(zhì)量并且浪費(fèi)大量木材資源，為提高木材利用率與缺陷修復(fù)效果，提出一種基于可學(xué)習(xí)的雙向注意力映射（Learnable Bidirectional Attention Maps，LBAM）網(wǎng)絡(luò)模型的輕量化Lightweight LBAM網(wǎng)絡(luò)（LL-Net）。該網(wǎng)絡(luò)使用級聯(lián)與并行方式的膨脹卷積擴(kuò)大感受野，修改掩膜更新的激活函數(shù)提高修復(fù)效果，減少網(wǎng)絡(luò)深度，在保證效果前提下降低參數(shù)量。結(jié)果表明，LL-Net與全局與局部判別器（Global and Local Discriminator，GL）方法相比，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性 （Structural Similarity，SSIM）最高分別提升48.6%和14.2%；與上下文注意力（Contextual Attention，CA）方法相比，PSNR和SSIM最高分別提升23.0%和7.9%；與LBAM方法相比，PSNR和SSIM最高分別提升1.5%和0.6%。并且LL-Net網(wǎng)絡(luò)參數(shù)量為63.58 m，相較于LBAM方法降低了75%。該方法可取得紋理更清晰、語義一致性更好的修復(fù)效果，為單板缺陷修復(fù)提供指導(dǎo)性意見。

關(guān)鍵詞：圖像修復(fù)；深度學(xué)習(xí)；單板；雙向注意力映射

中圖分類號：S781.5; TP391.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號：1006-8023（2023）02-0132-07

Image Inpainting of Veneer with Improved Learnable

Bidirectional Attention Maps

LOU Yunyi， ZHANG Dongyan*， GE Yilin， CUI Mingdi， ZHANG Zebing

（College of Mechanical and Electrical Engineering， Northeast Forestry University， Harbin 150040， China）

Abstract：Defects in the growth and processing of wood will affect product quality and waste a significant amount of wood. To improve the use rate of wood and defect repair effect， this study proposes a Lightweight LBAM Network （LL-Net） for veneer based on learnable bidirectional attention maps （LBAM）. In this network， cascade and parallel dilated convolution were utilized to increase the receptive field， and activation function of mask update was modified to improve the repair effect， reduce the network depth， and reduce the number of parameters on the premise of ensuring the effect. The results showed that compared with Global and Local Discriminator （GL） method， the Peak Signal-to-Noise Ratio （PSNR） and Structural Similarity （SSIM） were increased by 48.6% and 14.2%， respectively. Compared with Contextual Attention （CA）， the PSNR and SSIM were increased by 23.0% and 7.9%， respectively. Compared with LBAM， the PSNR and SSIM were increased by 1.5% and 0.6%， respectively. The number of LL-Net network parameters was 63.58 m， which was 75% lower than that of LBAM method. This method can achieve clearer texture and better semantic consistency， and provide guidance for veneer defect repair.

Keywords：Image inpainting; deep learning; veneer; learnable bidirectional attention maps

收稿日期：2022-07-14

基金項(xiàng)目：林業(yè)公益性行業(yè)科研專項(xiàng)（201504307）

第一作者簡介：婁蘊(yùn)祎，碩士研究生。研究方向?yàn)榱謽I(yè)工程自動(dòng)化。Email： 2313348732@qq.com

*通信作者：張冬妍，副教授，碩士生導(dǎo)師。研究方向?yàn)榱謽I(yè)工程。Email： nefuzdhzdy@nefu.edu.cn

引文格式：婁蘊(yùn)祎，張冬妍，葛奕麟，等. 基于改進(jìn)雙向注意力映射的單板圖像修復(fù)[J].森林工程，2023，39（2）：132-138.

LOU Y Y， ZHANG D Y， GE Y L， et al. Image inpainting of veneer with improved learnable bidirectional attention maps[J]. Forest Engineering，2023，39（2）：132-138.

0引言

單板產(chǎn)品由多層單板組成，木材生長與加工過程產(chǎn)生的木節(jié)、裂紋、腐爛和蟲蛀等缺陷分散在整個(gè)單板上[1]。這些缺陷既影響產(chǎn)品的力學(xué)性能又影響產(chǎn)品的外觀，降低木材利用率，導(dǎo)致大量木材資源被浪費(fèi)[2]。為提高單板的等級及木材利用率，在單板加工時(shí)提倡以挖代拼的挖補(bǔ)工藝[3]。目前缺陷處理的方式如Raute公司的Patchman系統(tǒng)[4]，使用機(jī)器視覺進(jìn)行缺陷檢測與定位，之后挖去缺陷并用不同紋理的補(bǔ)片掩蓋或嵌入缺陷進(jìn)行修補(bǔ)。國家《普通膠合板外觀等技術(shù)條件》將單板分3級，其中優(yōu)等品指外觀基本看不出加工缺陷與天然缺陷，若符合優(yōu)等品的標(biāo)準(zhǔn)可以很好地滿足工業(yè)上的應(yīng)用需求[5]。然而，Patchman雖然可以達(dá)到一定程度的修補(bǔ)效果，但無法構(gòu)建自然且美觀的單板紋理，且加工后缺陷處明顯，單板品質(zhì)較低。因此，本研究使用圖像修復(fù)技術(shù)以提高單板缺陷修復(fù)效果，以期提高單板整張率，提供美觀裝飾材料，并起到保護(hù)天然珍貴樹種資源的效果。

基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)旨在通過計(jì)算機(jī)自動(dòng)修復(fù)圖像中的缺損內(nèi)容[6]，生成圖像中原本不存在的事物。Pathak等[7]提出編碼-解碼結(jié)構(gòu)的上下文編碼器（Context Encoder， CE） 模型，利用對抗損失修復(fù)圖像并打開了將深度學(xué)習(xí)與圖像修復(fù)結(jié)合的大門，但修復(fù)后圖像模糊且存在明顯的人工痕跡。針對這一問題Iizuka等[8]提出全局與局部判別器（Global and Local Discriminator， GL），全局判別器根據(jù)完整圖像確保整體一致性，局部判別器根據(jù)修復(fù)區(qū)域確保局部一致性，然而由于模型空間問題對于像素較大的圖像無法產(chǎn)生合理結(jié)果。針對這些問題，Song等[9]將圖像修復(fù)過程分解為推理、匹配和翻譯3個(gè)階段，使用U-Net網(wǎng)絡(luò)還原出修復(fù)圖像，修復(fù)速度更快并且修復(fù)效果更好。不同于上述分階段的修復(fù)方法，Yan等[10]提出Shift-Net修復(fù)網(wǎng)絡(luò)，通過U-Net將圖像特征傳送到上采樣中進(jìn)而提升修復(fù)效果。之后，Yu等[11]將注意力機(jī)制加入到網(wǎng)絡(luò)中，提出了上下文注意力（Contextual Attention， CA）修復(fù)模型，解決修復(fù)過程中無法從較遠(yuǎn)距離獲得信息的問題，然而忽略特征之間的連續(xù)性導(dǎo)致修復(fù)后圖像不連貫。針對這一問題，Liu等[12]提出連貫語義注意力機(jī)制，有效地解決修復(fù)后圖像斷層的現(xiàn)象。上述方法采用標(biāo)準(zhǔn)卷積對有效像素與損失區(qū)域進(jìn)行無差別處理，受限于處理規(guī)則損失，有著一定的局限性。但是單板缺陷是不規(guī)則的，因此李月龍等[13]提出部分卷積進(jìn)行圖像修復(fù)，將掩膜更新并用于下一卷積層，解決不規(guī)則掩膜修復(fù)效果差的問題。然而由于部分卷積使用硬掩膜方式，掩膜更新過程是不可學(xué)習(xí)的，導(dǎo)致修復(fù)效果無法滿足視覺要求。為了解決這一問題Xie等[14]提出了可學(xué)習(xí)的雙向注意力映射（Learnable Bidirectional Attention Maps， LBAM）模型，在上采樣過程中引入反向掩膜，使用U-Net [15]的跳躍鏈接將下采樣中圖像與掩膜信息分別與上采樣中圖像與掩膜信息拼接，使得修復(fù)后圖像更清晰。盡管LBAM可以初步滿足修復(fù)需求，但是仍然存在訓(xùn)練速度慢，修復(fù)效果不合理等問題。

因此本研究針對LBAM網(wǎng)絡(luò)參數(shù)量大、訓(xùn)練速度慢及修復(fù)后紋理間斷等問題，提出一種圖像修復(fù)方法Lightweight LBAM Network（LL-Net）。網(wǎng)絡(luò)中使用并行與級聯(lián)的膨脹卷積進(jìn)行特征融合，解決修復(fù)圖像內(nèi)部數(shù)據(jù)結(jié)構(gòu)損失的問題，并修改掩膜更新的激活函數(shù)，提高圖像修復(fù)效果。在單板圖像數(shù)據(jù)集上與其他3種方法進(jìn)行比較，本研究方法可以得到紋理更清晰、視覺更可信的修復(fù)效果，為單板缺陷修復(fù)提供可信度高的模板，能夠提高單板產(chǎn)品質(zhì)量與木材利用率。

1實(shí)驗(yàn)與方法

1.1實(shí)驗(yàn)數(shù)據(jù)及環(huán)境

研究中使用采集單板圖像設(shè)備如圖1所示，該設(shè)備配備了OscarF810CIRF工業(yè)相機(jī)，相機(jī)分辨率為2 048×2 048，傳動(dòng)帶的速度約為2 m/s。在拍照過程中，使用具有均勻光的LED燈板照亮單板表面，減少陰影與過度曝光等因素的影響。拍攝得到帶有橫紋、斜紋、不規(guī)則紋理的單板紋理圖像10 000張，帶有孔洞、裂紋等缺陷的圖像100張，將其像素大小裁剪為256×256。先隨機(jī)選擇7 000張圖像用作訓(xùn)練集，其余3 000張用作測試集，然后分別通過4種數(shù)據(jù)擴(kuò)增方法將訓(xùn)練集擴(kuò)增至40 000張，測試集擴(kuò)增至10 000張。擴(kuò)增方法如圖2所示。圖2（a）為原始圖像；圖2（b）以Y軸作為對稱軸，對圖像進(jìn)行翻轉(zhuǎn)操作；圖2（c）使圖像進(jìn)行旋轉(zhuǎn)；圖2（d）對圖像進(jìn)行加噪處理；圖2（e）對圖像進(jìn)行隨機(jī)亮度變換。

1.2研究方法

1.2.1LL-Net

研究方法的圖像修復(fù)網(wǎng)絡(luò)LL-Net整體框架如圖3所示，分為編碼器、特征融合和解碼器3個(gè)部分。Iin是帶有掩膜的木板圖像，Iout是修復(fù)后木板圖像，Min與1－Min是掩膜輸入圖像。編碼器部分，使用VGG[16]網(wǎng)絡(luò)下采樣。中間特征融合部分使用級聯(lián)與并行的膨脹卷積，用來擴(kuò)大感受野的同時(shí)避免使用過多池化導(dǎo)致圖像內(nèi)部數(shù)據(jù)結(jié)構(gòu)丟失等問題。解碼器部分，由于在上采樣過程中會(huì)丟失部分語義特征，所以使用U-Net的跳躍鏈接，將下采樣中圖像和掩膜的信息與上采樣的圖像和掩膜分別拼接。在掩膜前向傳播的過程中，掩膜隨著更新變得越來越小，網(wǎng)絡(luò)越來越注重修復(fù)損失區(qū)域，而在反向傳播的過程中，非掩膜區(qū)域變得越來越小，網(wǎng)絡(luò)越來越注重提升已修復(fù)區(qū)域的質(zhì)量。

1.2.2掩膜激活函數(shù)

部分卷積[13]使用的卷積掩膜為

Mc=Mk1/9 。（1）

式中：M為0-1硬掩膜；為卷積算子；k1/9為每個(gè)元素為1/9的3×3卷積濾波器。

由于M是硬掩膜，不可自動(dòng)修改，影響掩膜在網(wǎng)絡(luò)中的效果，因此本研究先用可學(xué)習(xí)的卷積濾波器km替換k1/9，然后將掩膜的激活函數(shù)修改為

f（Mc）=（ReLU（Mc）） 。（2）

式中，參數(shù)設(shè)置為0.7。將此激活函數(shù)應(yīng)用于更新掩膜中，提升網(wǎng)絡(luò)的修復(fù)效果。

1.2.3膨脹卷積

標(biāo)準(zhǔn)卷積膨脹率為1，如圖4（a）所示，此時(shí)這個(gè)卷積核的感受野大小為3×3。Yu 等[17]提出膨脹卷積，設(shè)置膨脹率提高卷積的感受野，如圖4（b）和圖4（c）所示，膨脹率分別為2和4，整個(gè)卷積核的感受野為7×7和15×15。

本研究在特征融合部分使用級聯(lián)與并行方式的膨脹卷積，在進(jìn)行消融實(shí)驗(yàn)確定使用如圖5所示形式的方案。圖5中膨脹系數(shù)分別為1、2、4，從上至下的感受野分別為15、7、3、1，最后將4條路線的結(jié)果相加得到融合的特征。

1.2.4損失

為了更好地修復(fù)圖像，本研究使用像素重構(gòu)損失、感知損失[18]、風(fēng)格損失[19]和對抗損失[20]訓(xùn)練本網(wǎng)絡(luò)。

1）像素重構(gòu)損失

使用Iin表示有掩膜的輸入圖像，Min表示掩膜區(qū)域，Igt表示真實(shí)圖像，LL-Net輸出可以定義為Iout=φ（Iin，Min;θ），θ是需要學(xué)習(xí)的模型參數(shù)，使用l1范數(shù)誤差作為像素重構(gòu)損失。

Ll1=‖Iout－Igt‖1。（3）

2）感知損失

為了解決l1損失僅捕捉高級語義，與人類對圖像修復(fù)質(zhì)量的感知不一致，引入了感知損失（Lperc）。

Lperc=1N∑Ni=1‖Pi（Igt）－Pi（Iout）‖2。（4）

其中Pi（I）是第i個(gè)池化層的特征映射，在本研究方法中使用預(yù)訓(xùn)練的VGG-16的1、2、3層。

3）風(fēng)格損失

為使修復(fù)效果的紋理細(xì)節(jié)更好，本研究采用從VGG-16的池化層中定義的特征圖上的風(fēng)格損失，從每一層特征圖構(gòu)造一個(gè)矩陣。假設(shè)特征圖Pi（I）的大小為Hi×Wi×Ci，風(fēng)格損失（Lstyle）可以定義為

Lstyle=1N∑Ni=11Ci×CiPi（Igt）（Pi（Igt））T

－Pi（Iout）（Pi（Iout））T2。

（5）

4）對抗損失

對抗損失在圖像修復(fù)領(lǐng)域被廣泛應(yīng)用，在低水平視覺中用來提升圖像修復(fù)的視覺質(zhì)量。為了提高GAN的訓(xùn)練穩(wěn)定性，Arjovsky等[21]使用wasserstein距離測量生成圖像與真實(shí)圖像的分布差異，Gulrajani等[22]在此基礎(chǔ)上引入梯度懲罰在判別器上加強(qiáng)Lipschitz約束。在參考文獻(xiàn)[22]基礎(chǔ)上本研究將對抗損失表示為

Ladv=minΘmaxDEIgt～Pdata（Igt）D（Igt）－

EIout～Pdata（Iout）D（Iout）+λEI^～PI^[（||I^D（I^）||）2-1]2。（6）

式中：D（·）代表鑒別器;I^是通過線性插值從Igt和Iout中隨機(jī)抽取的樣本;λ在實(shí)驗(yàn)中設(shè)置為10。

5）總損失

考慮上述所有損失函數(shù)，總損失函數(shù)設(shè)置為

L=λ1Ll1+λ2Ladv+λ3Lperc+λ4Lstyle 。 （7）

式中，λ1，λ2，λ3，λ4為權(quán)重參數(shù)。根據(jù)部分卷積[13]及LBAM [14]，將參數(shù)設(shè)置為λ1=1，λ2=0.1，λ3=0.05，λ4=120，并取得有效結(jié)果。

2結(jié)果與分析

在數(shù)據(jù)集上，將提出的LL-Net方法與GL [8]、CA [11]、LBAM [14] 3種方法作對比，驗(yàn)證和評估了LL-Net的圖像修復(fù)能力。

2.1定性評價(jià)

在定性評價(jià)中，使用規(guī)則掩膜與不規(guī)則掩膜分別進(jìn)行對比，并在具有缺陷的單板圖像上驗(yàn)證了對紋理的重建效果。圖6（a）是原圖像，圖6（b）是帶有中心掩膜的輸入圖像，圖6（c）—圖6（e）是對比方法的修復(fù)結(jié)果，圖6（f）為本方法的修復(fù)結(jié)果。

由圖6可知，本研究比較了不同方法對于中心規(guī)則掩膜與不規(guī)則掩膜修復(fù)的效果。GL修復(fù)后圖像存在明顯陰影；CA修復(fù)后會(huì)產(chǎn)生圖像色差問題并存在紋理間斷現(xiàn)象；LBAM修復(fù)效果較好但仍然會(huì)出現(xiàn)紋理扭曲等現(xiàn)象，有時(shí)無法產(chǎn)生合理的結(jié)果。然而，本研究方法無論是規(guī)則掩膜與不規(guī)則掩膜，在色差、紋理連續(xù)性和語義一致性等方面均得到合理的結(jié)果，同時(shí)修復(fù)效果最接近于真實(shí)圖像。研究推測，在降低網(wǎng)絡(luò)深度情況下，使用膨脹卷積擴(kuò)大感受野提高特征提取范圍可以有效提升效果，并利用空間通道注意力降低干擾特征的影響。這些推測在消融實(shí)驗(yàn)中得到證實(shí)。

為了驗(yàn)證對單板缺陷圖片的重建效果，挑選不同紋理的缺陷圖像，修復(fù)結(jié)果如圖7所示，圖7（a）為原始圖像；圖7（b）為遮掩缺陷后的圖像；圖7（c）為本研究方法得到的修復(fù)結(jié)果。從圖像中可以看到，本研究方法去除缺陷并生成紋理清晰，結(jié)構(gòu)完整，結(jié)果合理的圖像。這可以證明，本研究方法可以有效地修復(fù)單板缺陷圖像，為單板缺陷提供真實(shí)并客觀的修復(fù)圖像模板并給予指導(dǎo)性意見。

2.2定量評價(jià)

根據(jù)峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）與結(jié)構(gòu)相似性（Structural Similarity，SSIM）指標(biāo)評價(jià)LL-Net、GL [8]、CA [11]和LBAM [14]4種方法對圖像的修復(fù)效果。

PSNR基于對應(yīng)像素間的誤差，是使用最廣泛的一種客觀圖像評價(jià)指標(biāo)。給定一個(gè)m×n大小的圖像I和修復(fù)圖像K，像素值由B表示，其均方誤差MSE（公式中用MSE表示）和PSNR（公式中有PSNR表示）公式如下所示。

MSE=1mn∑m－1i=0∑n－1j=0I（i，j）－K（i，j）2。 （8）

PSNR=10log10（（2B－1）2MSE） ??。（9）

SSIM是從亮度、對比度和結(jié)構(gòu)3方面評判圖像相似性。公式如下所示，其中μx為x的均值；μy為y的均值；σ2x為x的方差；σ2y為y的方差；σxy為x和y的協(xié)方差；c1=（k1L）2；c2=（k2L）2；c3=c2/2；k1=0.01；k2=0.03。

l（x，y）=2μxμy+c1μ2x+μ2y+c1c（x，y）=

2σxσy+c2σx2+σy2+c2s（x，y）=σxy+c3σxσy+c3。（10）

在試驗(yàn)中，使用相同的測試集進(jìn)行測試，掩膜使用占原圖像像素10%～20%、20%～30%、30%～40%和40%～50%大小的規(guī)則掩膜。對于不同大小掩膜，將4種方法最后5個(gè)訓(xùn)練模型分別測試得到的PSNR和SSIM值分別相加取平均數(shù)。結(jié)果見表2，其中參數(shù)值越高代表效果越好。從表2中可以看出LL-Net的PSNR、SSIM值在不同大小掩膜下均高于其他方法，這證明了本研究方法的有效性。

2.3消融實(shí)驗(yàn)

加入膨脹卷積與降低網(wǎng)絡(luò)深度的效果。使用膨脹卷積替換網(wǎng)絡(luò)中的普通卷積時(shí)，膨脹卷積的感受野要求小于圖像的特征尺寸。當(dāng)膨脹率分別為1、2、4、8時(shí)膨脹卷積感受野分別為3、7、15、31。由圖8可知，在本研究中，使用這4種情況來替換網(wǎng)絡(luò)中五角星1，2，3，4的位置。將4種情況分為4組，分別命名為D4、D8、D16、D32。每組都取最后的5個(gè)模型分別進(jìn)行測試，得到對應(yīng)的PSNR、SSIM值與其網(wǎng)絡(luò)參數(shù)量。將5組PSNR與SSIM值相加取平均數(shù)，原方法與這4種情況結(jié)果見表3。

通過表3可以發(fā)現(xiàn)，D16方法的PSNR、SSIM值最高，同時(shí)參數(shù)量僅有63.58 m，相對于LBAM參數(shù)量減少75.6%。這是由于膨脹卷積增加網(wǎng)絡(luò)提取特征的范圍，使得網(wǎng)絡(luò)提取更多有效像素，可以提升修復(fù)效果。實(shí)木單板特征相對并不復(fù)雜，因此本研究使用膨脹卷積精簡網(wǎng)絡(luò)使PSNR值與SSIM值相較于原網(wǎng)絡(luò)有所提升，并且由于降低網(wǎng)絡(luò)深度導(dǎo)致參數(shù)量明顯下降。但是D32的網(wǎng)絡(luò)深度過淺，導(dǎo)致細(xì)節(jié)特征提取較差，因此參數(shù)值相較于原網(wǎng)絡(luò)明顯下降。

3結(jié)論

本研究提出一種基于LBAM的單板圖像修復(fù)方法LL-Net，首先修改激活函數(shù)，提升掩膜在網(wǎng)絡(luò)中的作用并改善修復(fù)效果，然后使用級聯(lián)與并行方式的膨脹卷積擴(kuò)大特征提取范圍；同時(shí)，減少網(wǎng)絡(luò)深度降低網(wǎng)絡(luò)參數(shù)量，可以更快地訓(xùn)練網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，在單板圖像數(shù)據(jù)集上，本研究所提出的LL-Net與GL、CA、LABM方法相比可以獲得紋理更清晰，更接近于真實(shí)的修復(fù)結(jié)果，為單板缺陷修復(fù)提供真實(shí)且客觀的修復(fù)圖像模板并為其提供依據(jù)。

【參考文獻(xiàn)】

[1]WONG R. Green possibilities in a green industrial sector： the lumber industry[J]. Physical Sciences Reviews， 2020， 5（9）：1-14.

[2]牟洪波，王世偉，戚大偉，等.基于灰度共生矩陣和模糊BP神經(jīng)網(wǎng)絡(luò)的木材缺陷識(shí)別[J].森林工程，2017，33（4）：40-43，54.

MU H B， WANG S W， QI D W， et al. Wood defects recognition based on gray-level co-occurrence matrix and fuzzy BP neural network[J]. Forest Engineering， 2017， 33（4）： 40-43， 54.

[3]王阿川，侯暢，宋宏光，等.基于圖像分解的單板節(jié)子缺陷圖像修補(bǔ)方法研究[J].林業(yè)機(jī)械與木工設(shè)備，2013，41（8）：50-54.

WANG A C， HOU C， SONG H G， et al. Study on method for repairing veneer knot defect images based on image decomposition[J]. Forestry Machinery & Woodworking Equipment， 2013， 41（8）： 50-54.

[4]王阿川.基于變分PDE的單板缺陷圖像檢測及修補(bǔ)關(guān)鍵技術(shù)研究[D].哈爾濱：東北林業(yè)大學(xué)，2011.

WANG A C. Research on the key technology of veneer defect image detection and patching based on variational PDE[D]. Harbin： Northeast Forestry University， 2011.

[5]蒼圣.基于PDE的旋切單板表面缺陷圖像修補(bǔ)方法研究[D].哈爾濱：東北林業(yè)大學(xué)，2011.

CANG S. Based on PDE sub-section defect image veneer repair[D]. Harbin： Northeast Forestry University， 2011.

[6]李月龍，高云，閆家良，等.基于深度神經(jīng)網(wǎng)絡(luò)的圖像缺損修復(fù)方法綜述[J].計(jì)算機(jī)學(xué)報(bào)，2021，44（11）：2295-2316.

LI Y L， GAO Y， YAN J L， et al. A review of image defect repair methods based on deep neural network [J]. Chinese Journal of Computers， 2021， 44（11）： 2295-2316.

[7]PATHAK D， KRAHENBUHL P， DONAHUE J， et al. Context encoders： feature learning by inpainting[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 27-30， 2016， Las Vegas， NV， USA. IEEE， 2016： 2536-2544.

[8]IIZUKA S， SIMO-SERRA E， ISHIKAWA H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics， 2017， 36（4）： 1-14.

[9]SONG Y H， YANG C， LIN Z， et al. Contextual-based image inpainting： infer， match， and translate[M]//Computer Vision-ECCV 2018. Cham： Springer International Publishing， 2018： 3-18.

[10]YAN Z Y， LI X M， LI M， et al. Shift-net： image inpainting via deep feature rearrangement[M]//Computer Vision-ECCV 2018. Cham： Springer International Publishing， 2018： 3-19.

[11]YU J H， LIN Z， YANG J M， et al. Generative image inpainting with contextual attention[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23， 2018， Salt Lake City， UT， USA. IEEE， 2018： 5505-5514.

[12]LIU H Y， JIANG B， XIAO Y， et al. Coherent semantic attention for image inpainting[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27-November 2， 2019， Seoul， Korea （South）. IEEE， 2020： 4169-4178.

[13]李月龍， 高云， 閆家良， 等. 基于深度神經(jīng)網(wǎng)絡(luò)的圖像缺損修復(fù)方法綜述 [J]. 計(jì)算機(jī)學(xué)報(bào)， 2021， 44（11）： 2295-2316.

LI Y L， GAO Y， YAN J L， et al. A review of image defect repair methods based on deep neural network [J]. Chinese Journal of Computers， 2021， 44（11）： 2295-2316.

[14]XIE C H， LIU S H， LI C， et al. Image inpainting with learnable bidirectional attention maps[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. October 27-November 2， 2019， Seoul， Korea （South）. IEEE， 2020： 8857-8866.

[15]RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science. Cham： Springer International Publishing， 2015： 234-241.

[16]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014： arXiv： 1409.1556. https：//arxiv.org/abs/1409.1556

[17]YU F， KOLTUN V. Multi-scale context aggregation by dilated convolutions[EB/OL]. 2015： arXiv： 1511.07122. https：//arxiv.org/abs/1511.07122

[18]JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution[M]//Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 694-711.

[19]GATYS L A， ECKER A S， BETHGE M. Image style transfer using convolutional neural networks[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. June 27-30， 2016， Las Vegas， NV， USA. IEEE， 2016： 2414-2423.

[20]CRESWELL A， WHITE T， DUMOULIN V， et al. Generative adversarial networks： an overview[J]. IEEE Signal Processing Magazine， 2018， 35（1）： 53-65.

[21]ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein generative adversarial networks[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. August 6-11， 2017， Sydney， NSW， Australia. New York： ACM， 2017： 214-223.

[22]GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. December 4-9， 2017， Long Beach， California， USA. New York： ACM， 2017： 5769-5779.