王鑫瑋，朱希安，張本奎，杜康寧，郭亞男

(1.北京信息科技大學(xué) 光電測(cè)試技術(shù)及儀器教育部重點(diǎn)實(shí)驗(yàn)室，北京 100101； 2.北京信息科技大學(xué) 信息與通信工程學(xué)院，北京 100101； 3.中國(guó)科學(xué)院空天信息創(chuàng)新研究院 地理與賽博空間信息技術(shù)研究部，北京 100080)

0 引 言

素描人臉合成旨在根據(jù)輸入的光學(xué)人臉圖像合成一張素描人臉圖像。在進(jìn)行素描人臉合成時(shí)，若輸入光學(xué)人臉圖像分辨率較低、質(zhì)量較差，合成圖像的質(zhì)量會(huì)顯著降低。若能對(duì)輸入的低分辨率光學(xué)圖像在進(jìn)行素描人臉合成的同時(shí)恢復(fù)其高頻信息，則能顯著提升素描人臉合成圖像的質(zhì)量。因此根據(jù)低分辨率光學(xué)圖像合成高分辨率素描圖像有著重要的實(shí)際意義。

目前的素描人臉合成算法在處理低分辨率圖像方面的能力較差，在僅有低分辨率光學(xué)圖像的條件下無(wú)法合成高質(zhì)量素描圖像。為了解決上述問(wèn)題，本文提出了一種超分辨率素描人臉合成方法。具體地，在輸入低分辨率光學(xué)人臉圖像后，根據(jù)低分辨率圖像特征預(yù)測(cè)高分辨率圖像的小波包分解系數(shù)，通過(guò)該系數(shù)重建一張高分辨率光學(xué)人臉圖像，并通過(guò)重建圖像合成相應(yīng)的高分辨率素描人臉圖像。實(shí)驗(yàn)結(jié)果表明，本文方法合成的素描圖像的質(zhì)量較高，合成圖像的噪聲較少，合成高質(zhì)量圖像的能力更強(qiáng)。

1 相關(guān)工作

目前最先進(jìn)的素描人臉合成算法大體可分為兩類(lèi)：基于數(shù)據(jù)驅(qū)動(dòng)的素描人臉合成方法和基于模型驅(qū)動(dòng)的素描人臉合成方法?；跀?shù)據(jù)驅(qū)動(dòng)的方法首先從訓(xùn)練的光學(xué)圖像塊中搜索相似的候選塊，并通過(guò)對(duì)候選塊進(jìn)行線性組合重構(gòu)目標(biāo)光學(xué)圖像，再通過(guò)同樣的方式組合對(duì)應(yīng)的素描塊獲得最終的素描圖像?；跀?shù)據(jù)驅(qū)動(dòng)的素描人臉合成方法可分為貝葉斯推理、稀疏表示和子空間學(xué)習(xí)等方法。

基于貝葉斯推理的方法使用概率圖形模型對(duì)候選圖像進(jìn)行融合。Zhang等[1]提出了一種魯棒的素描人臉合成網(wǎng)絡(luò)，該網(wǎng)絡(luò)能通過(guò)一個(gè)素描模板合成任意風(fēng)格的素描人臉圖像。然而，由于融合時(shí)去除黑色區(qū)域的能力有限，當(dāng)輸入光學(xué)人臉圖像存在多余的陰影時(shí)，輸出圖像會(huì)產(chǎn)生多余的偽影。在稀疏表示領(lǐng)域[2]，Zhang等[3,4]提出了基于稀疏表示素描人臉合成方法，該方法的特點(diǎn)是在搜索過(guò)程中用稀疏系數(shù)代替照片塊的像素值。然而，由于缺少局部約束，合成的素描人臉圖像往往會(huì)丟失部分信息?；谧涌臻g學(xué)習(xí)的方法[5]側(cè)重于候選圖像融合。Zhang等[6]提出了一種基于低秩表示(DLLRR)的方法，該方法通過(guò)挖掘潛在的素描信息，能在訓(xùn)練數(shù)據(jù)較少時(shí)穩(wěn)定地恢復(fù)圖像基本結(jié)構(gòu)。然而，當(dāng)輸入光學(xué)人臉圖像存在多余的陰影時(shí)，輸出圖像也會(huì)產(chǎn)生多余的偽影。

基于模型驅(qū)動(dòng)的方法學(xué)習(xí)光學(xué)人臉圖像和素描人臉圖像之間的映射關(guān)系，并使用學(xué)習(xí)到的映射將光學(xué)人臉圖像轉(zhuǎn)換為素描人臉圖像。在基于模型驅(qū)動(dòng)的方法中，基于深度學(xué)習(xí)的相關(guān)算法研究最為廣泛。Gatys等[7]提出了一種素描生成器，能生成特定風(fēng)格的素描圖像，但是網(wǎng)絡(luò)容易丟失細(xì)節(jié)信息。Zhang等[8]提出了一種具有生成損失的全卷積網(wǎng)絡(luò)。由于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)過(guò)于簡(jiǎn)單，當(dāng)輸入圖像的光照條件較差時(shí)，輸出圖像包含了大量的噪聲。具有生成器和判別器的生成對(duì)抗網(wǎng)絡(luò)[9]能在進(jìn)行素描合成時(shí)減少部分輸出圖像的噪聲，但是當(dāng)訓(xùn)練圖像和測(cè)試圖像的光照條件相差較大時(shí)，輸出圖像的面部會(huì)產(chǎn)生扭曲。Zhu等[9]提出了一種CycleGAN，在光學(xué)圖像與素描圖像不配對(duì)的情況下實(shí)現(xiàn)素描合成。Wang等[10]將多對(duì)抗性網(wǎng)絡(luò)引入了CycleGAN合成素描圖像，稱(chēng)為PS2MAN。由于基于條件生成對(duì)抗網(wǎng)絡(luò)(cGAN)在素描人臉合成任務(wù)中的出色表現(xiàn)，許多研究人員對(duì)cGAN進(jìn)行了進(jìn)一步的研究。例如，Zhang等[11]提出一種基于多領(lǐng)域?qū)剐詫W(xué)習(xí)的素描人臉合成方法。該方法沒(méi)有建立光學(xué)域和素描域之間的映射關(guān)系，而是利用cGAN來(lái)學(xué)習(xí)光學(xué)域和素描域的內(nèi)在聯(lián)系。Zhu等[12]通過(guò)將協(xié)同損失與cGAN結(jié)合提出了協(xié)同cGAN(Col-cGAN)。Zhang等[13]將cGAN引入雙傳輸框架，將高頻信息從光學(xué)域傳輸?shù)剿孛栌颉?/p>

單幅圖像超分辨率重建技術(shù)主要分為3類(lèi)：第一類(lèi)是基于差值的方法，該類(lèi)方法由于操作簡(jiǎn)單、速度快的特點(diǎn)被廣泛應(yīng)用于圖像處理領(lǐng)域。但是，簡(jiǎn)單的插值規(guī)則會(huì)使重建圖像出現(xiàn)不同層次的鋸齒效應(yīng)，導(dǎo)致重建質(zhì)量較差。第二類(lèi)是基于重建的方法，該類(lèi)方法雖然可以重建相對(duì)清晰的圖像，但存在計(jì)算量大、高頻細(xì)節(jié)易丟失等問(wèn)題。第三類(lèi)是基于學(xué)習(xí)的方法，基于學(xué)習(xí)的圖像超分辨率算法通過(guò)研究低分辨率圖像與對(duì)應(yīng)高分辨率圖像間的映射關(guān)系對(duì)輸入圖像進(jìn)行超分辨率重建。Dong C等[14]通過(guò)一個(gè)卷積網(wǎng)絡(luò)直接學(xué)習(xí)低分辨率圖像與對(duì)應(yīng)的高分辨率圖像之間的映射，根據(jù)學(xué)習(xí)到的映射實(shí)現(xiàn)圖像的超分辨率重建。目前基于深度學(xué)習(xí)的超分辨率重建算法性能已有較大提升，Kim J等[15]參照VGG網(wǎng)絡(luò)提出了VDSR算法，網(wǎng)絡(luò)層數(shù)達(dá)到了20層。DRRN[16]在超分辨率算法中引入RNN[17]，由于其網(wǎng)絡(luò)層共享參數(shù)，網(wǎng)絡(luò)深度進(jìn)一步增加到52層。Tong T等結(jié)合DenseNet[18]的網(wǎng)絡(luò)結(jié)構(gòu)提出了64層的SRDenseNet[19]。Lim B等[20]提出增強(qiáng)型網(wǎng)絡(luò)EDSR，網(wǎng)絡(luò)層數(shù)達(dá)到65層。RDN算法[21]通過(guò)將ResNet[22]和DenseNet結(jié)合到一起，提出了一個(gè)網(wǎng)絡(luò)深度為149層的網(wǎng)絡(luò)，大大改善了網(wǎng)絡(luò)的性能。對(duì)于超分辨率問(wèn)題，已經(jīng)有許多基于小波的方法被提出[23-25]。在單幅圖像的超分辨率重建方面，Gao等[26]提出了一種混合小波卷積網(wǎng)絡(luò)，他們使用小波來(lái)提供一組稀疏編碼[27]和一個(gè)用于稀疏編碼的卷積網(wǎng)絡(luò)，Mallat等[28]的研究表明使用小波變換來(lái)分離數(shù)據(jù)在不同尺度下的變化能保證數(shù)據(jù)的線性化和可分離性。

2 本文方法

2.1 整體網(wǎng)絡(luò)架構(gòu)

本文提出了一種端到端的超分辨率素描人臉合成網(wǎng)絡(luò)，整體網(wǎng)絡(luò)架構(gòu)如圖1所示。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)由4個(gè)模塊組成，其中嵌入模塊提取輸入圖像的特征，小波預(yù)測(cè)模塊根據(jù)提取特征預(yù)測(cè)輸入圖像對(duì)應(yīng)的高分辨率圖像的小波包分解系數(shù)，重建模塊將預(yù)測(cè)得到的小波包分解系數(shù)重建為高分辨率圖像，最終通過(guò)素描合成模塊得到最終輸出的高分辨率素描人臉圖像。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 嵌入模塊

2.2.2 小波預(yù)測(cè)模塊

由于小波變換[30]在處理多分辨率圖像的高度直觀性和高效性，本文選擇在小波域?qū)D像進(jìn)行處理。本文方法使用Haar小波包變換[30,31]，在計(jì)算復(fù)雜度最低時(shí)充分描述不同頻率的面部信息。

在小波包分解等級(jí)為n(放大倍數(shù)為2n)的條件下，可以將小波預(yù)測(cè)模塊分為多個(gè)獨(dú)立的小波預(yù)測(cè)子模塊。每個(gè)子模塊將嵌入模塊的輸出的特征作為輸入，生成相應(yīng)的小波系數(shù)。與嵌入模塊相同，所有卷積層的卷積核大小為3×3，stride為1，pad為1，因此預(yù)測(cè)出的每個(gè)小波系數(shù)都與輸入大小相同。另外，由于Haar小波變換系數(shù)之間的高度獨(dú)立性，使得信息不允許在每?jī)蓚€(gè)子模塊之間流動(dòng)，使得模塊具有可擴(kuò)展性。預(yù)測(cè)模塊中子模塊數(shù)目的不同，對(duì)應(yīng)實(shí)現(xiàn)不同超分尺度的放大。例如，Nw=4和Nw=16分別表示放大2倍和4倍。

在該模塊中采用小波損失對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。小波損失包括小波預(yù)測(cè)損失和紋理?yè)p失。

小波預(yù)測(cè)損失定義如式(1)所示

(1)

紋理?yè)p失定義如式(2)所示

(2)

該損失應(yīng)用于原始光學(xué)小波包分解系數(shù)和預(yù)測(cè)光學(xué)小波包分解系數(shù)的高頻系數(shù)之間，用來(lái)保證高頻小波系數(shù)不隨訓(xùn)練衰減到0，從而防止紋理細(xì)節(jié)信息的丟失。其中γi是平衡權(quán)重，用于平衡紋理?yè)p失對(duì)不同等級(jí)小波包分解系數(shù)的影響。α和ε為松馳因子，用于控制紋理?yè)p失的大小。在實(shí)驗(yàn)中，參數(shù)設(shè)置為γi=1，α=1.2和ε=0。

2.2.3 重建模塊

重建模塊能根據(jù)預(yù)測(cè)網(wǎng)絡(luò)的輸入得到最終重建的高分辨率光學(xué)人臉圖像。它包括一個(gè)卷積核大小為2n×2n，stride為2n的反卷積層(r為放大倍數(shù))，雖然反卷積層的大小取決于放大倍數(shù)2n，但它可以通過(guò)恒定的小波重構(gòu)矩陣進(jìn)行初始化，并在訓(xùn)練中固定。因此，它對(duì)整個(gè)網(wǎng)絡(luò)的可擴(kuò)展性沒(méi)有影響。

2.2.4 素描合成模塊

在訓(xùn)練過(guò)程中使用素描合成損失對(duì)網(wǎng)絡(luò)進(jìn)行約束。素描合成損失包括對(duì)抗損失和循環(huán)一致性損失。對(duì)抗損失定義如式(3)、式(4)所示

lGp2s=Ey～Pdata(y)[logDs(y)]+Ex～Pdata(x)[log(1-Ds(Gp2s(x)))]

(3)

lGs2p=Ex～Pdata(x)[logDp(x)]+Ey～Pdata(y)[log(1-Ds(Gs2p(y)))]

(4)

其中，x和y分別為原始光學(xué)圖像和原始素描圖像，Gp2s(·)和Gs2p(·)分別表示素描生成器和光學(xué)生成器，Dp(·)和Ds(·)分別表示光學(xué)判別器和素描生成器。對(duì)抗損失應(yīng)用在光學(xué)圖像映射為素描圖像的過(guò)程，本文采用的對(duì)抗損失為原始的交叉熵?fù)p失。由于僅使用對(duì)抗損失會(huì)使生成網(wǎng)絡(luò)中存在多余映射問(wèn)題，從而導(dǎo)致生成數(shù)據(jù)的穩(wěn)定性降低。為了減少其它多余映射關(guān)系，提高重建圖像與輸入圖像之間的匹配程度，因此引入循環(huán)一致性損失。

循環(huán)一致性損失定義如式(5)所示

(5)

素描合成損失最終定義如式(6)所示

lfeature=lGp2s+lGs2p+σlcyc

(6)

σ為循環(huán)一致性損失權(quán)重，用于控制生成圖像的結(jié)構(gòu)一致性。

合成完成后，在輸出素描圖像和原始素描圖像間引入圖像MSE損失，用以平衡重建圖像的平滑與銳化程度，提高生成圖像的質(zhì)量。

圖像MSE損失定義如式(7)所示

(7)

2.3 損失函數(shù)

綜上，總損失函數(shù)定義為如式(8)所示

ltotal=lwavelet+μltexture+υlfeature+ρlfull-image

(8)

其中，μ、υ、ρ為控制相關(guān)損失項(xiàng)重要性的權(quán)重參數(shù)。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

由于本文方法用于實(shí)現(xiàn)高分辨率的素描合成，因此本文采用經(jīng)典素描人臉數(shù)據(jù)集CUHK學(xué)生數(shù)據(jù)集來(lái)評(píng)估本文方法的性能。

CUHK學(xué)生數(shù)據(jù)集由香港中文大學(xué)(CUHK)學(xué)生數(shù)據(jù)庫(kù)的188張面孔的光學(xué)素描圖像對(duì)構(gòu)成，包含134名男性和56名女性。其中88對(duì)圖像作為訓(xùn)練集，剩余的100對(duì)圖像作為測(cè)試集。

3.2 實(shí)驗(yàn)設(shè)置

本網(wǎng)絡(luò)采用端到端的訓(xùn)練方式，數(shù)據(jù)集原始圖像大小為256×256，訓(xùn)練時(shí)根據(jù)超分倍數(shù)分別獲取其對(duì)應(yīng)等級(jí)的小波包分解低頻分量和雙三次差值下采樣圖像作為輸入進(jìn)行聯(lián)合訓(xùn)練。該訓(xùn)練方式可以提高網(wǎng)絡(luò)應(yīng)對(duì)不同下采樣方法得到的低分辨率圖像的魯棒性。設(shè)置迭代周期為500，初始學(xué)習(xí)率為0.0002，從第100個(gè)周期開(kāi)始線性衰減，到最后一個(gè)周期衰減到0。采用參數(shù)設(shè)置為beta1=0.5，beta2=0.999的Adam優(yōu)化器更新網(wǎng)絡(luò)參數(shù)。在網(wǎng)絡(luò)初始化方面，卷積層權(quán)重采用正態(tài)分布隨機(jī)初始化，bias初始化為0。訓(xùn)練時(shí)，網(wǎng)絡(luò)批處理大小設(shè)置為1。為了客觀評(píng)價(jià)生成圖像的質(zhì)量，本文采用圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)結(jié)構(gòu)相似性(structural similarity index，SSIM)和峰值信噪比(peak signal to noise ratio，PSNR)對(duì)圖像整體進(jìn)行質(zhì)量評(píng)估。PSNR用于評(píng)價(jià)生成圖像著色的真實(shí)程度，其值越大，表示失真越少；SSIM用于衡量目標(biāo)間結(jié)構(gòu)的相似程度，SSIM測(cè)量值越大，表示兩張圖像相似度越高。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法各個(gè)模塊在超分辨率素描人臉圖像合成的有效性，在CUHK學(xué)生數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)。首先，使用Bicubic對(duì)低分辨率素描人臉圖像進(jìn)行放大，然后通過(guò)CycleGAN網(wǎng)絡(luò)對(duì)放大的低分辨率光學(xué)人臉圖像進(jìn)行素描合成得到素描人臉圖像；其次，在非端到端的框架下，先使用小波超分網(wǎng)絡(luò)對(duì)輸入低分辨率光學(xué)人臉圖像進(jìn)行超分辨率重建，再使用CycleGAN網(wǎng)絡(luò)對(duì)超分辨率重建結(jié)果進(jìn)行素描合成。

在進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比時(shí)，首先對(duì)比小波超分網(wǎng)絡(luò)+CycleGAN和Bicubic+CycleGAN的實(shí)驗(yàn)結(jié)果，驗(yàn)證在素描合成過(guò)程中引入超分辨率重建網(wǎng)絡(luò)是否能夠提升素描合成圖像的質(zhì)量。其次，對(duì)比本文方法與小波超分網(wǎng)絡(luò)+CycleGAN的實(shí)驗(yàn)結(jié)果，驗(yàn)證端到端條件下進(jìn)行超分辨率素描合成能否進(jìn)一步改善素描合成圖像的效果。

圖2表示超分倍數(shù)為4時(shí)高分辨率素描人臉圖像的消融實(shí)驗(yàn)結(jié)果，其中圖2(a)為輸入光學(xué)圖像，圖2(b)為Bicubic+CycleGAN結(jié)果，圖2(c)為小波超分網(wǎng)絡(luò)+CycleGAN結(jié)果，圖2(d)為本文方法結(jié)果，圖2(e)為原始素描圖像。圖2結(jié)果表示，圖2(b)、圖2(c)方法輸出結(jié)果的視覺(jué)效果較為雜亂，邊界整體較為模糊，部分五官細(xì)節(jié)信息丟失，眼睛和嘴部等結(jié)構(gòu)信息也存在一定扭曲，圖像面部和背景區(qū)域相較圖2(e)生成了過(guò)多陰影。因此，僅通過(guò)素描合成網(wǎng)絡(luò)或通過(guò)非端到端的方法合成的高分辨率素描人臉圖像質(zhì)量較差。而圖2(d)方法輸出結(jié)果邊界清晰，細(xì)節(jié)完整，面部結(jié)構(gòu)信息與原始素描較為相似，整體質(zhì)量較高。

圖2 超分倍數(shù)為4時(shí)消融實(shí)驗(yàn)結(jié)果對(duì)比

此外，通過(guò)計(jì)算圖像的峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)對(duì)消融實(shí)驗(yàn)結(jié)果進(jìn)行了定量分析，結(jié)果見(jiàn)表1。表1結(jié)果表明，僅引入超分辨率重建網(wǎng)絡(luò)在非端到端條件下合成素描圖像雖然可以提升合成圖像的質(zhì)量，但提升效果有限。而本文方法提升合成圖像質(zhì)量的效果較好，驗(yàn)證了本文方法的有效性。

表1 消融實(shí)驗(yàn)性能指標(biāo)

3.3.2 對(duì)比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文方法的高分辨率素描合成效果，本文使用CUHK學(xué)生數(shù)據(jù)集在超分倍數(shù)為2和4時(shí)的條件下進(jìn)行了兩組對(duì)比實(shí)驗(yàn)。首先，超分辨率對(duì)比實(shí)驗(yàn)使用不同超分網(wǎng)絡(luò)對(duì)低分辨率光學(xué)人臉圖像進(jìn)行超分辨率重建，然后通過(guò)CycleGAN網(wǎng)絡(luò)對(duì)重建的低分辨率光學(xué)人臉圖像進(jìn)行素描合成得到對(duì)比實(shí)驗(yàn)結(jié)果；其次，素描合成對(duì)比實(shí)驗(yàn)使用小波超分網(wǎng)絡(luò)對(duì)低分辨率光學(xué)人臉圖像進(jìn)行超分辨率重建，然后使用不同素描合成網(wǎng)絡(luò)進(jìn)行素描合成得到對(duì)比實(shí)驗(yàn)結(jié)果。對(duì)比實(shí)驗(yàn)過(guò)程中，除本文方法外，均在非端對(duì)端框架下，使用經(jīng)現(xiàn)有超分辨率重建方法重建后的高分辨率光學(xué)圖像作為輸入圖像，使用素描合成網(wǎng)絡(luò)進(jìn)行素描合成得到最終的對(duì)比圖像。對(duì)比實(shí)驗(yàn)用以驗(yàn)證不同超分辨率重建網(wǎng)絡(luò)和不同素描合成網(wǎng)絡(luò)在非端到端時(shí)參與高分辨率素描人臉圖像合成的效果。

超分辨率對(duì)比實(shí)驗(yàn)結(jié)果如圖3和圖4所示。圖3為超分倍數(shù)為2時(shí)不同超分辨率重建網(wǎng)絡(luò)合成圖像，圖4為超分倍數(shù)為4時(shí)不同超分辨率重建網(wǎng)絡(luò)合成圖像，圖(a)為光學(xué)輸入圖像，圖(b)為EDSR合成圖像，圖(c)為MetaSR合成圖像，圖(d)為RCAN合成圖像，圖(e)為RDN合成圖像，圖(f)為本文方法合成圖像，圖(g)為原始素描圖像。在圖3和圖4結(jié)果中，由于圖(b)～圖(e)方法均是非端到端的，與消融實(shí)驗(yàn)類(lèi)似，輸出結(jié)果同樣存在邊界較為模糊，面部和背景區(qū)域存在較多的陰影和偽影，嘴部和眼睛等位置出現(xiàn)結(jié)構(gòu)扭曲等問(wèn)題。圖(f)方法生成圖像則較為清晰，細(xì)節(jié)與結(jié)構(gòu)信息完整，整體視覺(jué)效果較好。

圖3 超分倍數(shù)為2時(shí)不同超分辨率方法實(shí)驗(yàn)結(jié)果對(duì)比

圖4 超分倍數(shù)為4時(shí)不同超分辨率方法實(shí)驗(yàn)結(jié)果對(duì)比

表2定量分析了超分辨率對(duì)比實(shí)驗(yàn)結(jié)果的峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)，結(jié)果表明本文方法性能在多個(gè)超分倍數(shù)上優(yōu)于其它超分辨率對(duì)比方法。

素描合成對(duì)比實(shí)驗(yàn)結(jié)果如圖5和圖6所示。圖5為超分倍數(shù)為2時(shí)不同素描合成網(wǎng)絡(luò)合成圖像，圖6為超分倍數(shù)

表2 超分辨率對(duì)比實(shí)驗(yàn)性能指標(biāo)

圖5 超分倍數(shù)為2時(shí)不同素描合成方法實(shí)驗(yàn)結(jié)果對(duì)比

圖6 超分倍數(shù)為4時(shí)不同素描合成方法實(shí)驗(yàn)結(jié)果對(duì)比

為4時(shí)不同素描合成網(wǎng)絡(luò)合成圖像，圖(a)為光學(xué)輸入圖像，圖(b)為FSW合成圖像，圖(c)為MDAL合成圖像，圖(d)為PS2MAN合成圖像，圖(e)為本文方法合成圖像，圖(f)為原始素描圖像。圖5和圖6結(jié)果顯示，圖(b)～圖(d)方法生成的圖像大多邊緣模糊，且在背景和面部等信息量較少的位置存在偽影。圖(b)方法合成的素描風(fēng)格與原始素描不匹配，圖(c)方法結(jié)果存在較多偽影，圖(d)方法結(jié)果存在細(xì)節(jié)失真的問(wèn)題，圖(e)方法生成結(jié)構(gòu)清晰，細(xì)節(jié)完整，對(duì)比其它方法整體質(zhì)量較高。

表3定量分析了對(duì)比實(shí)驗(yàn)結(jié)果的峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)，結(jié)果表明本文方法性能在多個(gè)超分倍數(shù)上優(yōu)于其它素描合成對(duì)比方法。

表3 素描合成對(duì)比實(shí)驗(yàn)性能指標(biāo)

此外，在對(duì)比實(shí)驗(yàn)中統(tǒng)計(jì)了對(duì)不同性能指標(biāo)下不同方法合成圖像的分布，統(tǒng)計(jì)結(jié)果如圖7、圖8所示。橫軸代表性能指標(biāo)大小，縱軸代表圖像數(shù)量占比，曲線上點(diǎn)的縱坐標(biāo)表示合成圖像中性能指標(biāo)(PSNR或SSIM)大于其橫坐標(biāo)數(shù)值的圖像數(shù)量與總合成圖像數(shù)量的比值。分布圖表明，本文方法在不同超分倍數(shù)的條件下，合成的高質(zhì)量圖像數(shù)量占比高于其它對(duì)比方法，合成高質(zhì)量圖像的能力更強(qiáng)。

4 結(jié)束語(yǔ)

本文提出了一種超分辨率素描人臉合成方法，根據(jù)低分辨率光學(xué)人臉圖像合成一張高分辨率素描人臉圖像。該方法在素描合成網(wǎng)絡(luò)中引入了超分辨率重建模塊，通過(guò)預(yù)測(cè)高分辨率圖像小波包分解系數(shù)的方式提高了圖像的分辨率的功能。以端對(duì)端的方式統(tǒng)一訓(xùn)練多個(gè)模塊，并使用小波預(yù)測(cè)損失、素描合成損失和圖像MSE損失對(duì)網(wǎng)絡(luò)進(jìn)行整體約束，實(shí)驗(yàn)結(jié)果表明，本文方法較其它方法在主觀視覺(jué)和客觀量化等方面都取得了更好的評(píng)價(jià)，能夠獲得細(xì)節(jié)完整，輪廓清晰的高分辨率素描人臉圖像。

圖7 超分辨率對(duì)比實(shí)驗(yàn)圖像分布

圖8 素描合成對(duì)比實(shí)驗(yàn)圖像分布