錢冠宇，鄧紅霞，劉健虎，李海芳

(太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 晉中 030600)

0 引 言

傳統(tǒng)的圖像修復(fù)方法主要有兩種，一種是使用偏微分方程修復(fù)的方法，采用擴(kuò)散的思路，將信息缺失部分附近的信息擴(kuò)散到待修復(fù)部分[1-3]。但這種修復(fù)方法僅適用于缺失面積較小的情況。之后學(xué)者提出另外一種塊匹配方法[4,5]。從圖像中未缺失的部分進(jìn)行檢索匹配出與缺失部分相似的區(qū)域，然后再進(jìn)行對(duì)修補(bǔ)缺失部分，能夠達(dá)到較好的修復(fù)效果。但這類修復(fù)方法比較依賴待修復(fù)圖像中存在的信息，如果不能匹配到與缺失部分相似的信息塊，那么它修復(fù)缺失區(qū)域的效果則不會(huì)很好。

針對(duì)傳統(tǒng)方法的局限性，提出神經(jīng)網(wǎng)絡(luò)[6-15]的方法來提高圖像修復(fù)的質(zhì)量。李等[16]提出了一種多尺度生成對(duì)抗網(wǎng)絡(luò)圖像修復(fù)算法，提高了圖像修復(fù)的精確度，但在某些情況下修復(fù)圖像會(huì)看起來很不自然，出現(xiàn)這種情況的原因可能是由于網(wǎng)絡(luò)在卷積過程中提取了一些無效像素的特征。肖等[17]提出了結(jié)合感知注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)圖像修復(fù)算法，得到更合理語義信息的修復(fù)效果；然而，該方法無法修復(fù)不規(guī)則破損區(qū)域的圖像。針對(duì)以上的問題，本文采用生成對(duì)抗模型來修復(fù)圖像，引入殘差注意力模塊提取缺失區(qū)域的有效信息以及通過多尺度判別器對(duì)全局和局部信息的一致性約束，最終實(shí)現(xiàn)缺失圖片的修復(fù)。通過實(shí)驗(yàn)的對(duì)比，進(jìn)一步探討本文算法的性能。

1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network，GAN)是Goodfellow等[18]提出的一種新理念深度學(xué)習(xí)模型，它是在相互博弈中達(dá)到平衡的一種網(wǎng)絡(luò)模型。原始的GAN模型將一個(gè)隨機(jī)的噪聲向量Z輸入到生成網(wǎng)絡(luò)中，然后輸出一張生成的假圖片，與真實(shí)的圖片一起送入判別網(wǎng)絡(luò)中判定圖片真假的概率，并將判別的結(jié)果反饋給生成網(wǎng)絡(luò)。原始GAN模型由于模型易崩塌的缺點(diǎn)，只能生成低分辨率圖像，生成的圖像較為模糊。GAN網(wǎng)絡(luò)問世以來，大多數(shù)學(xué)者開始研究一系列變種GAN網(wǎng)絡(luò)，例如把條件控制信息加入到GAN網(wǎng)絡(luò)的訓(xùn)練中，以控制輸出的結(jié)果屬性。Arjovsk等[19]提出的一種新的截?cái)鄵p失函數(shù)可以極大提高GAN網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，避免模型崩塌，能夠合成質(zhì)量更好的樣本。之后引起了一系列GAN網(wǎng)絡(luò)的研究及應(yīng)用，以及能夠生成高分辨率圖像的GAN網(wǎng)絡(luò)被提出，例如DCGAN，CycleGAN等網(wǎng)絡(luò)。隨著這些變種GAN網(wǎng)絡(luò)的出現(xiàn)，GAN網(wǎng)絡(luò)的各種應(yīng)用研究也因此極大增加。例如在低質(zhì)量數(shù)據(jù)的提升上有超分辨率重建，圖像的去雨去霧和去除模糊，圖像的修復(fù)這些方面GAN網(wǎng)絡(luò)都有一定的效果，通過改進(jìn)GAN網(wǎng)絡(luò)的結(jié)構(gòu)和約束范式可以進(jìn)一步提高這些低質(zhì)量數(shù)據(jù)方法的提升效果。

2 融合多尺度殘差注意力的修復(fù)方法

MRS-Net(multiscale residual squeeze-and-excitation networks)模型與生成對(duì)抗網(wǎng)絡(luò)相似，整體網(wǎng)絡(luò)框架分為一個(gè)修復(fù)網(wǎng)絡(luò)和D1、D2兩個(gè)不同尺度的判別器網(wǎng)絡(luò)以及一個(gè)預(yù)訓(xùn)練的Vgg16網(wǎng)絡(luò)。MRS-Net模型整體框架如圖1所示。

圖1 MRS-Net框架

修復(fù)模型結(jié)構(gòu)如圖2所示，將256*256修復(fù)模型圖片通過編碼器進(jìn)行4次下采樣，下采樣后會(huì)增大感受野，但會(huì)造成部分特征丟失，因此采用24塊殘差序列注意力塊來強(qiáng)化重要通道的特征，弱化非重要通道的特征，進(jìn)行更好的特征提取，提高模型計(jì)算能力，最后通過解碼器進(jìn)行4次上采樣輸出256*256修復(fù)后的圖片，同時(shí)在下采樣和上采樣之間使用跳躍連接層可以更好地利用圖像原始信息，能夠更好推測(cè)出缺失部分信息。將修復(fù)的結(jié)果進(jìn)行重構(gòu)損失、感知損失、風(fēng)格損失、全變分損失、多尺度聯(lián)合判斷修復(fù)圖像與真實(shí)圖像的相似程度，判斷修復(fù)結(jié)果的好壞，并將結(jié)果反向傳播給修復(fù)模型，網(wǎng)絡(luò)依據(jù)反饋結(jié)果進(jìn)行梯度下降尋找最優(yōu)模型參數(shù)，可以讓修復(fù)的圖片在完成修復(fù)的情況下近似于真實(shí)圖片，能夠“騙過”判別器，以達(dá)到較好的修復(fù)效果，同時(shí)可以提高模型的魯棒性。

圖2 修復(fù)模型結(jié)構(gòu)

多尺度判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，使用了兩個(gè)較為淺層的網(wǎng)絡(luò)作為判別器，通過使用二進(jìn)制的交叉熵?fù)p失來反饋給判別網(wǎng)絡(luò)，判別網(wǎng)絡(luò)依據(jù)反饋結(jié)果進(jìn)行梯度下降尋找最優(yōu)模型參數(shù)，可以更好地判別修復(fù)結(jié)果。經(jīng)過兩個(gè)網(wǎng)絡(luò)的相互迭代博弈使模型達(dá)到最優(yōu)修復(fù)的效果。

圖3 多尺度判別器網(wǎng)絡(luò)結(jié)構(gòu)

算法整體流程是在修復(fù)模型輸入添加不同形狀掩碼后生成的256*256缺損圖像，經(jīng)過修復(fù)模型的修復(fù)，然后輸出256*256修復(fù)圖像，計(jì)算修復(fù)后圖像的重構(gòu)損失，全變分損失，通過一個(gè)預(yù)訓(xùn)練的Vgg16模型來提取圖像的淺層和深層特征來計(jì)算感知損失，風(fēng)格損失，并且將修復(fù)后的圖像下采樣為128*128的圖像，指導(dǎo)其修復(fù)圖像，同時(shí)可以避免生成器在博弈過程中產(chǎn)生過擬合現(xiàn)象，提高模型的泛化能力。兩個(gè)判別器模型對(duì)圖像的修復(fù)會(huì)有不同的約束，大尺度的判別器增強(qiáng)了圖像全局結(jié)構(gòu)的完整性，小尺度的判別器增強(qiáng)了圖像的紋理細(xì)節(jié)，增強(qiáng)了修復(fù)后圖像的真實(shí)感。將修復(fù)模型修復(fù)后的圖像和原始完整圖像輸入第一個(gè)判別器網(wǎng)絡(luò)，下采樣的修復(fù)圖像和下采樣的原始完整圖像輸入第二個(gè)判別器網(wǎng)絡(luò)，然后聯(lián)合兩個(gè)判別器網(wǎng)絡(luò)輸出的結(jié)果進(jìn)行計(jì)算。通過加權(quán)融合多種損失結(jié)果來反向傳播給修復(fù)模型。

2.1 殘差注意力模塊

在計(jì)算機(jī)視覺中，注意力的目的是讓神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中能夠忽視無用信息并且重點(diǎn)關(guān)注有用信息。SE注意力[20]可以加強(qiáng)重要的通道信息，弱化不重要的通道信息，加強(qiáng)了子通道信息之間相關(guān)性。它通過全局平均池化、全連接層讓特征映射提高全局感受野，能夠利用圖像的全局信息進(jìn)行預(yù)測(cè)修復(fù)。本文提出的殘差注意力模塊結(jié)構(gòu)如圖4所示，輸入模塊中的是512*16*16的特征圖。圖像缺損區(qū)域的信息通常不僅和同一子通道的上下文像素點(diǎn)有緊密聯(lián)系，在不同子通道之間也會(huì)有密切聯(lián)系。因此，將SE注意力[20]模塊嵌入到殘差結(jié)構(gòu)中，可以增加特征圖中通道之間的聯(lián)系。通常加深網(wǎng)絡(luò)層數(shù)會(huì)在學(xué)習(xí)過程中提高網(wǎng)絡(luò)的計(jì)算能力，但是會(huì)發(fā)生過擬合現(xiàn)象，梯度傳播困難，同時(shí)造成資源浪費(fèi)。而殘差機(jī)制能使網(wǎng)絡(luò)層次不斷加深并且可以有效防止梯度消失以更好的提取圖像缺失部分特征，確保前面層的特征被再利用，從而避免過深的計(jì)算造成的信息損失。因此殘差注意力模塊能幫助提取圖像缺損區(qū)域的有效信息，盡管整個(gè)網(wǎng)絡(luò)會(huì)稍微增加了一點(diǎn)計(jì)算量，但是能夠達(dá)到比較好效果。

圖4 殘差注意力結(jié)構(gòu)

2.2 多尺度判別器

多尺度判別器是兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)相同，尺度不同的判別器，它對(duì)生成256*256的圖像以及下采樣后128*128的圖像進(jìn)行鑒別，輸出一個(gè)到0,1之間的分?jǐn)?shù)。不同尺度的判別器往往具有不同的感受范圍。因?yàn)樾迯?fù)后的圖像往往產(chǎn)生模糊以及高頻信息的丟失，因此，結(jié)合圖像全局和局部信息提高修復(fù)結(jié)果能夠反饋給生網(wǎng)。

2.3 損失函數(shù)的構(gòu)建

2.3.1 重構(gòu)損失

在圖像轉(zhuǎn)換問題中，重構(gòu)損失是一種基于輸出圖像與真實(shí)圖像之間的差值方法，計(jì)算兩幅圖片中所有對(duì)應(yīng)位置的像素點(diǎn)之間的均方差，最小化差值就會(huì)使兩幅圖像更相似

(1)

其中，1代表“1范式”。注意，N是使用缺失面積調(diào)整懲罰的分母。它意味著如果一個(gè)面被一個(gè)小的遮擋所干擾修復(fù)的結(jié)果應(yīng)該非常接近實(shí)際情況，如果缺損程度較大，只要結(jié)構(gòu)和一致性是合理的，則可以重新限制。

2.3.2 感知損失

通過最小化重構(gòu)損失，來優(yōu)化輸出圖像的數(shù)據(jù)，最終輸出高質(zhì)量的圖像。但該方法的弊端是效率低下，實(shí)時(shí)性差。感知損失在度量圖像相似性方面比重構(gòu)損失更具魯棒性。感知損失函數(shù)是兩幅圖像輸入Vgg16網(wǎng)絡(luò)后所提取特征之間的歐式距離，i表示修復(fù)后圖像與原始圖像在網(wǎng)絡(luò)第i層特征圖的歐氏距離

(2)

2.3.3 風(fēng)格損失

風(fēng)格損失函數(shù)是兩幅圖像輸入Vgg16網(wǎng)絡(luò)后所提取特征之間的格拉姆矩陣的歐氏距離。j表示修復(fù)后圖像與原始圖像在網(wǎng)絡(luò)第j層特征圖格拉姆矩陣的歐氏距離

(3)

2.3.4 總變分損失

總變分損失在低質(zhì)量圖像數(shù)據(jù)提升中經(jīng)常應(yīng)用于圖像的去噪處理和修復(fù)處理。通常像素信息缺失圖像的總變分和完整圖像的總變分相比會(huì)有顯著性差異?？傋兎质怯?jì)算圖像數(shù)據(jù)梯度幅值的積分。限制了總變分就會(huì)使圖像變得更為平滑

(4)

2.3.5 生成對(duì)抗損失

修復(fù)網(wǎng)絡(luò)將對(duì)抗損失最小化來反向傳播更新網(wǎng)絡(luò)，兩個(gè)尺度的判別器網(wǎng)絡(luò)將對(duì)抗損失最大化來反向傳播更新網(wǎng)絡(luò)。Pdate(Igt) 代表真實(shí)圖像的分布，Pmiss(I) 代表輸入圖像的分布，D(.) 是判別器網(wǎng)絡(luò)對(duì)于輸入的圖像是修復(fù)圖像和真實(shí)圖像的概率預(yù)測(cè)

(5)

2.3.6 聯(lián)合損失

通過加權(quán)融合多種損失結(jié)果來判斷修復(fù)圖像與真實(shí)圖像的相似程度，并將結(jié)果通過反向傳播給修復(fù)模型，網(wǎng)絡(luò)依據(jù)反饋結(jié)果進(jìn)行梯度下降尋找最優(yōu)模型參數(shù)

l=αladv+βlpixel+δlprec+εlstyle+ωltv

(6)

3 實(shí)驗(yàn)和結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)采用數(shù)據(jù)集CelebA和數(shù)據(jù)集Oxford Buildings，CelebA數(shù)據(jù)集是包含20萬張人臉數(shù)據(jù)的公共數(shù)據(jù)集。實(shí)驗(yàn)選取48 100張圖片，劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集包括44 100張圖片，測(cè)試數(shù)據(jù)集包括4000張圖片。數(shù)據(jù)集Oxford Buildings包含上百萬張各式建筑物圖片，實(shí)驗(yàn)選取20 000張圖片，使用19 800張為訓(xùn)練數(shù)據(jù)集，200張為測(cè)試數(shù)據(jù)集。在數(shù)據(jù)處理部分，對(duì)于每張圖片檢測(cè)人臉并裁剪成256*256大小的圖片。實(shí)驗(yàn)數(shù)據(jù)使用的是成對(duì)的數(shù)據(jù)，完整圖片相對(duì)的缺失數(shù)據(jù)較少且不容易收集，所以實(shí)驗(yàn)設(shè)計(jì)了中心矩形掩碼，隨機(jī)矩形掩碼，隨機(jī)數(shù)量的不同形狀掩碼，由已有完整圖片添加缺失掩碼生成缺失圖片，從而產(chǎn)生成對(duì)的數(shù)據(jù)集。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)使用現(xiàn)較流行的深度學(xué)習(xí)框架Pytorch框架，實(shí)驗(yàn)軟件配置為python3.6，硬件配置為i7+Nvida2080Ti，使用Linux操作系統(tǒng)。實(shí)驗(yàn)中Batch_size設(shè)置為1，使用Adam優(yōu)化算法來優(yōu)化模型，學(xué)習(xí)率設(shè)置為0.0002，beta1為0.5。實(shí)驗(yàn)設(shè)置30個(gè)epoch。

3.3 評(píng)價(jià)方法

實(shí)驗(yàn)中使用了SSIM(結(jié)構(gòu)相似性)與PSNR(峰值信噪比)兩種評(píng)價(jià)指標(biāo)來測(cè)評(píng)修復(fù)后圖像與真實(shí)的圖像的差異性和相似性。這兩種評(píng)價(jià)方法經(jīng)常用來作為低質(zhì)量的圖像數(shù)據(jù)提升為高質(zhì)量的圖像數(shù)據(jù)的評(píng)價(jià)指標(biāo)。SSIM的原理是從兩幅圖像的3個(gè)方面(亮度l、對(duì)比度c、結(jié)構(gòu)s)來評(píng)測(cè)兩幅圖像的相似性。它的取值的范圍為[0，1]，數(shù)值接近1就代表著兩幅圖像越相似

SSIM(X,Y)=l(X,Y)*c(X,Y)*s(X,Y)

(7)

PSNR的原理是計(jì)算兩幅圖像對(duì)應(yīng)的像素點(diǎn)之間的差異性，公式中MSE代表兩幅圖像的均方誤差，較大的PSNR數(shù)值就代表著圖像失真的程度較小

(8)

3.4 實(shí)驗(yàn)結(jié)果

本節(jié)針對(duì)不同的實(shí)驗(yàn)結(jié)果分為3部分進(jìn)行討論分析與總結(jié)，第一部分是與不同模型的方法在公共數(shù)據(jù)集上的性能指標(biāo)對(duì)比，以及與不同模型方法中修復(fù)后的可視化結(jié)果對(duì)比。第二部分是消融實(shí)驗(yàn)，同時(shí)討論了殘差注意力塊層數(shù)和使用的不同損失函數(shù)對(duì)于MRS-Net的影響。第三部分是與不同模型方法在不同缺失面積的修復(fù)結(jié)果之間的比較，以及與不同模型方法在大面積的缺失的修復(fù)結(jié)果之間的比較。

3.4.1 對(duì)比實(shí)驗(yàn)

將MRS-Net與CE、GL、PIC-Net、Shift-Net等在圖像修復(fù)方面具有代表性的算法進(jìn)行比較。在圖5的結(jié)果對(duì)比中可以看出CE算法無法推測(cè)出圖像中合理的缺失信息；GL算法可以計(jì)算出圖像中較為合理的缺失信息，但是在一些地方有較明顯的差異性；PIC-Net算法可以使圖像的修復(fù)結(jié)果較為合理，但和真實(shí)的圖片有些差距，同時(shí)修復(fù)局部地區(qū)存在一些偽影；Shift-Net算法能夠計(jì)算出圖像中合理的缺失信息，并達(dá)到較好的效果，但是在圖像的細(xì)節(jié)不具有較好的一致性；MRS-Net修復(fù)圖像的結(jié)果相比于其它幾個(gè)模型有進(jìn)一步提高，同時(shí)具有更加精細(xì)的紋理細(xì)節(jié)，修復(fù)的結(jié)果有更好的一致性。圖6可視化了不同修復(fù)算法在4種缺失類型的圖片，從圖6的結(jié)果可以看出MRS-Net在4種缺失類型可以較好完成修復(fù)任務(wù)。在較大面積缺失時(shí)其它的算法對(duì)于修復(fù)效果有一定的偏差，而MRS-Net可以較好彌補(bǔ)這些缺陷，合理修復(fù)缺失部位；在局部細(xì)節(jié)信息缺失時(shí)，對(duì)比的算法對(duì)于像眼睛、眉毛等部位的缺失達(dá)達(dá)不到較好的修復(fù)水平，而MRS-Net的修復(fù)結(jié)果對(duì)于局部精細(xì)部分有更好的修復(fù)效果。

圖5 不同算法對(duì)比結(jié)果

圖6 不規(guī)則破損圖算法對(duì)比結(jié)果

為了驗(yàn)證MRS-Net具有較好的修復(fù)性能，使用PSNR和SSIM兩個(gè)圖像評(píng)價(jià)指標(biāo)來對(duì)比經(jīng)典修復(fù)算法與MRS-Net在測(cè)試集上的修復(fù)效果。從表1的對(duì)比實(shí)驗(yàn)結(jié)果可看出，MRS-Net在SSIM指標(biāo)上相比于其它幾個(gè)算法能提高2%～5%左右，在PSNR指標(biāo)上能提高1～3左右。由于人臉圖像的結(jié)構(gòu)大體輪廓有一定的相似性，而Oxford Buil-dings數(shù)據(jù)集圖片復(fù)雜度較高，相似性較低，所以對(duì)于建筑物圖像修復(fù)的任務(wù)具有一定的挑戰(zhàn)性，圖5的第五行到第八行對(duì)在Oxford Buildings數(shù)據(jù)集上的修復(fù)結(jié)果進(jìn)行了可視化，對(duì)于建筑物圖片的修復(fù)任務(wù)，其它幾個(gè)算法的修復(fù)結(jié)果不是很理想，而由于MRS-Net的方法可以較好推斷出建筑物圖像缺失信息并且提高修復(fù)圖像的清晰程度，因此可以達(dá)到較好的修復(fù)效果。同時(shí)，從表1的結(jié)果中可以看出，MRS-Net在SSIM指標(biāo)上比其它3個(gè)模型能提高2%～7%左右，在PSNR指標(biāo)上能提高1～4左右。

表1 評(píng)價(jià)指標(biāo)不同算法對(duì)比結(jié)果(PSNR/SSIM)

3.4.2 消融實(shí)驗(yàn)

為了驗(yàn)證MRS-Net改進(jìn)的效果，進(jìn)行了消融實(shí)驗(yàn)。在消融實(shí)驗(yàn)中算法使用相同的損失函數(shù)，從表2中可以看出，在修復(fù)缺失圖像上MRS-Net的方法在SSIM指標(biāo)上比其它4個(gè)消融模型提高1%～5%左右，在PSNR指標(biāo)上能提高1～3左右。第一行是基礎(chǔ)的編碼器解碼器網(wǎng)絡(luò)的修復(fù)結(jié)果存在修復(fù)后圖像質(zhì)量差，相似度低的問題。第二行M是使用多尺度判別器和第三行是使用殘差注意力上修復(fù)結(jié)果的指標(biāo)均低于MRS-Net的指標(biāo)，從而可以看出MRS-Net改進(jìn)的有效性。第四行M3是使用3個(gè)判別器和殘差注意力的時(shí)候，模型的性能反而會(huì)降低，推測(cè)可能是因?yàn)榕袆e器的性能過于強(qiáng)大，從而打破了博弈的平衡性，在博弈中修復(fù)模型處于劣勢(shì)，造成修復(fù)模型性能的降低。

表2 在CelebA數(shù)據(jù)集評(píng)價(jià)指標(biāo)消融結(jié)果(PSNR/SSIM)

不同的殘差注意力塊層數(shù)對(duì)于修復(fù)結(jié)果的影響，在深度學(xué)習(xí)中更深的網(wǎng)絡(luò)往往可以學(xué)習(xí)到更好的預(yù)期結(jié)果，但過深的網(wǎng)絡(luò)也會(huì)導(dǎo)致不良的結(jié)果，因此探索階段選擇使用12層、24層、36層不同的層數(shù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，圖7的結(jié)果中表明12層殘差注意力塊可以較好修復(fù)缺失圖片，但在眼睛和眉毛部分會(huì)存在些許模糊；24層殘差注意力塊能夠較好地推測(cè)出缺失部分的語義信息；36層殘差注意力塊的修復(fù)結(jié)果會(huì)出現(xiàn)大范圍的模糊偽影。所以實(shí)驗(yàn)中最終選取加入24層殘差注意力模塊的改進(jìn)模型作為算法的修復(fù)網(wǎng)絡(luò)。之后探索了在MRS-Net上使用不同損失函數(shù)對(duì)于修復(fù)結(jié)果的影響。如圖8的結(jié)果顯示，列1使用了生成對(duì)抗損失之后，修復(fù)的結(jié)果比較模糊，修復(fù)的部分會(huì)有偽影，達(dá)不到預(yù)期的修復(fù)效果，所以需要加入重構(gòu)損失來消除修復(fù)后模糊現(xiàn)象。列2加入重構(gòu)損失后可以提高圖像的清晰度，但是在眼睛部位存在些許偽影，而在列3加入了全變分損失后，可以較好地消除眼部偽影，但修復(fù)后額頭部位有不平滑的修復(fù)現(xiàn)象，列4中加入了Vgg16提取圖像高層特征計(jì)算感知損失使得圖像結(jié)構(gòu)近似于原圖內(nèi)容，但是與原圖內(nèi)容相比在圖像風(fēng)格方面過于暗淡，在列5中加入了Vgg16提取圖像低層特征風(fēng)格損失后，提高了圖像與原圖風(fēng)格的相似度，同時(shí)提高修復(fù)圖像清晰度，達(dá)到預(yù)期想要的結(jié)果。

圖7 在CelebA數(shù)據(jù)集不同殘差注意力塊數(shù)結(jié)果

圖8 在CelebA數(shù)據(jù)集不同損失消融結(jié)果

3.4.3 模型魯棒性實(shí)驗(yàn)

為了驗(yàn)證模型的魯棒性，實(shí)驗(yàn)對(duì)比了不同算法在缺失面積占比為5%～10%、11%～20%、21%～30%、31%～40%、41%～50%時(shí)的性能表現(xiàn)，見表3和表4。MRS-Net在不同面積的缺失圖像上修補(bǔ)均有最高的峰值信噪比和結(jié)構(gòu)相似性指標(biāo)數(shù)值。此外，隨著圖像缺失面積的增大，兩個(gè)指標(biāo)的下降幅度比較低，在圖9的結(jié)果中使用不同形狀和不同數(shù)量的特大面積缺失的圖像進(jìn)行修復(fù)，GL算法在圖像修復(fù)效果都很不理想，對(duì)于特大面積缺失的圖像不能進(jìn)行較好的修復(fù)；PIC-Net算法對(duì)于前三行的圖像修復(fù)效果相比于GL算法有些許提高，可以合理修復(fù)缺失部位，在第四行與第五行的圖像修復(fù)效果相比于GL算法降低了，幾乎沒有修復(fù)圖像的缺失部位；Shift-Net算法可能是由于泛化能力不足導(dǎo)致圖像的修復(fù)結(jié)果不理想；相比于其它算法，MRS-Net有較好的圖像修復(fù)效果，可以體現(xiàn)MRS-Net具有較好的魯棒性。

圖9 不規(guī)則特大面積缺失結(jié)果

表3 在CelebA數(shù)據(jù)集不同面積峰值信噪比對(duì)比結(jié)果(PSNR)

表4 在CelebA數(shù)據(jù)集不同面積結(jié)構(gòu)相似性對(duì)比結(jié)果(SSIM)

MRS-Net對(duì)于普通的圖像修復(fù)效果較好，但對(duì)于色彩過于復(fù)雜或者形狀奇特的圖像修復(fù)效果不可觀，如圖10所示，后續(xù)會(huì)尋找相應(yīng)的解決辦法。

圖10 復(fù)雜形狀修復(fù)結(jié)果

4 結(jié)束語

本文提出一種融合多尺度殘差注意力的修復(fù)缺失圖像模型。使用融合的殘差序列提取注意力，提高圖像中缺損區(qū)域特征圖子通道之間的相關(guān)性，使得提取的圖像特征預(yù)測(cè)圖像結(jié)構(gòu)和語義信息是缺損區(qū)域的有效信息，多尺度判別器來約束修復(fù)的內(nèi)容。實(shí)驗(yàn)結(jié)果表明，與先前的算法相比，MRS-Net在修復(fù)多種形狀缺失塊圖像和大面積缺失塊圖像的清晰度與相似性取得了較好的效果，圖像修復(fù)的結(jié)果與真實(shí)的圖像有較好的一致性。MRS-Net可以應(yīng)用在人臉去遮擋修復(fù)和建筑物的修復(fù)。最終會(huì)得到修復(fù)質(zhì)量較好的圖像。

但是本文所提方法也存在一定不足，對(duì)于特大面積缺失和缺失部分圖案復(fù)雜的圖像修復(fù)效果會(huì)有部分降低，下一階段將對(duì)特大面積的缺失和缺失部分圖案復(fù)雜的圖像修復(fù)進(jìn)行研究，提高模型對(duì)于特大面積缺失圖像的修復(fù)能力。