王先傲，林樂平，歐陽寧

(桂林電子科技大學 信息與通信學院,廣西 桂林 541004)

人臉超分辨率重建是從低分辨率(low resolution,簡稱LR)圖像中恢復高分辨率(high resolution,簡稱HR)圖像，因為一張低分辨率圖像對應的高分辨率圖像擁有較多的可能性，所以人臉重建的過程是一個不適定問題。目前大多數解決方法是通過卷積神經網絡(convolutional neural network,簡稱CNN)建立從LR圖像到HR圖像的映射關系，以峰值信噪比(peak signal to noise ratio,簡稱PSNR)作為圖像重建質量的評價標準，其數值越高就表明重建效果越好。

LR圖像由于缺乏高頻信息，丟失了圖像的紋理細節(jié)信息，因此重建圖像的高頻信息至關重要。Dong等[1]首次將稀疏表示與CNN相結合，設計了一個3層的卷積神經網絡，重建圖像的PSNR數值超過了傳統(tǒng)算法。以MSE為目標函數優(yōu)化模型參數，可得到PSNR更高的超分辨率圖像，但細節(jié)并不一定更加突出。針對此問題，Ledig等[2]提出了一種基于生成對抗網絡(generative adversarial networks,簡稱GAN)[3]與感知損失[4]的圖像超分辨率重建方法，其能夠得到細節(jié)更突出的人臉圖像。Huang等[5]針對極低分辨率的人臉圖像，提出一種結合哈爾小波的低分辨率人臉重建算法，通過CNN預測對應的小波系數，以小波逆變換重構出超分辨率圖像，重建質量得到較大提高。上述大多數算法以均方誤差(mean squared error,簡稱MSE)作為損失函數進行優(yōu)化，雖然能夠得到PSNR值較高的重建圖像，但生成圖像過于平滑。

為了得到細節(jié)豐富的高分辨率人臉圖像，提出一種基于生成對抗網絡的人臉超分辨率重建算法。其中生成模型與對抗模型均采用了利于圖像重建的網絡結構，算法優(yōu)點如下：

1)生成模型由2條支路構成，并主要對圖像的高頻信息進行重建，由深度殘差網絡構成的判別模型對真假圖像進行判別，最終可得到更加自然真實的超分辨率圖像。

2)通過融合對抗損失WGAN-GP[6]與MSE損失對網絡參數進行聯(lián)合優(yōu)化，并以對抗損失為主導，能夠賦予重建圖像更多細節(jié)，MSE用以保證圖像重建前后身份的一致性，最終網絡可迅速收斂。

1 基于生成對抗網絡的人臉重建算法設計

1.1 生成器

大多數基于CNN的人臉重建算法可分為3步：1)HR圖像通過插值下采樣，得到LR圖像作為模型輸入；2)通過網絡得到放大后的超分辨率(super resolution,簡稱SR)圖像；3)以HR圖像為標簽，通過損失函數的反向傳播優(yōu)化網絡參數。

受文獻[7-9]提出方法的啟發(fā)，設計了一種基于生成對抗網絡的重建算法來解決人臉超分辨率問題。模型結構如圖1所示。

圖1 生成對抗網絡結構圖

圖1(a)為生成器結構，圖1(b)為判別器結構，Real表示真實圖像，F(xiàn)ake表示生成器生成的圖像。其中生成器由2條支路組成，分別對應圖像的高頻分量與低頻分量。由插值上采樣層組成的低頻支路對應圖像的輪廓信息，由深度殘差網絡組成的高頻支路則對應人臉圖像的細節(jié)信息。判別器的作用是對真假圖像進行區(qū)分，網絡訓練的過程就是判別器與生成器不斷博弈的過程，當最終生成器生成的圖像能夠騙過判別器時，模型即達到了收斂，生成器的設計思路如圖1所示。

一幅高分辨率人臉圖像由高頻信息與低頻信息組成，

IHR=Ilf+Ihf。

(1)

(2)

(3)

(4)

1.2 判別器

為了能夠得到更加真實的超分辨率圖像，提供了一個由深度殘差網絡組成的判別器對生成圖像與真實圖像進行區(qū)分，如圖1(b)所示。判別網絡由14個卷積層組成，卷積通道由64遞增至512。生成器與判別器的卷積核大小均為3×3，小尺寸的卷積核能夠減少參數，并且可以通過堆疊多個3×3卷積核達到相同的感受野，同時提高非線性映射能力。采用的殘差模塊結構如圖2所示。

圖2 殘差模塊結構

圖2(a)為生成器所用殘差單元，圖2(b)為判別器所采用的殘差單元。通過借鑒文獻[8-9]中的網絡設計思想，生成器與判別器中采用了更適用于超分辨率重建的殘差模塊，卷積核尺寸均為3×3，padding為1，卷積前后特征圖大小不變。生成器中采用雙線性插值進行上采樣操作，而判別器中采用池化層對特征圖進行下采樣。殘差單元以及批歸一化層(batch normalization，簡稱BN)[10]的加入可以一定程度上緩解深度網絡帶來的梯度消失與梯度爆炸問題，加速網絡收斂。

1.3 損失函數

RPSN作為圖像質量評價指標，其定義為

(5)

由式(5)可看出，當2幅圖像之間的EMS越小時，對應的RPSN值越高。因此，以EMS作為損失函數可以帶來較高的RPSN值。與此同時，EMS越小，說明2幅圖像之間的像素平均值越接近，容易導致生成圖像過于平滑。

針對上述原因，將WGAN-GP[6]損失與MSE加權融合作為網絡的目標函數，并以對抗損失為主導，MSE的加入是為了保證重建前后身份的一致性，優(yōu)化方法為

l=αlWGAN-GP+lMSE。

(6)

其中：lMSE為均方誤差損失；α為權重系數，用來平衡對抗損失與重建損失，lWGAN-GP是一種改進的GAN損失。

(7)

(8)

其中：W、H為圖像的寬度和高度；ISR、IHR分別為生成圖像和目標圖像；i,j為像素所在位置的索引。通過優(yōu)化lMSE可使得生成圖像的像素點均值逐漸向目標圖像逼近。

2 實驗結果與分析

本實驗基于Ubuntu14.04 操作系統(tǒng)，使用GTX1080Ti 顯卡加速，pytorch深度學習框架實現(xiàn)模型搭建。

2.1 實驗數據與預處理

采用公開的人臉數據庫CelebA[11]、LS3D[12]中的圖像作為高分辨率人臉數據，CelebA數據集中大部分為正面人臉，LS3D則含有多種姿態(tài)的人臉圖像，共選取30 000人臉作為高分辨率人臉數據庫。

在保證訓練與測試數據不重復的前提下，從CelebA中選取3 000張高分辨率人臉進行重建測試。對所有訓練和測試樣本都做相同的預處理，高分辨率人臉大小為64×64，通過下采樣得到16×16的低分辨率人臉圖像。

2.2 實驗參數設置

在本實驗中，平衡系數α=0.05，λ=10。生成器學習速率為0.000 1，判別器學習率為0.000 4，進行交替迭代訓練。權重衰減設為0.000 5，批次大小為64，采用Adam[13](β1=0.9,β2=0.999)算法進行隨機梯度優(yōu)化，共迭代200個周期。

2.3 實驗結果分析

實驗測試結果分為2個方面：1)針對CelebA數據集中的3 000張高分辨率人臉圖像，以不同算法進行重建結果對比，以人的視覺主觀判斷為標準；2)重建圖像的FID(fréchet inception distance)[14]分數和RPSN數值對比。

2.3.1 重建結果對比

分別與雙三次插值算法(Bicubic)、Wavelet-SRNet[5]、SRGAN[2]進行對比，放大4倍的重建結果如圖3所示。其中圖3(a)為16×16的低分辨率圖像，圖3(e)為本算法得到的重建結果，圖3(f)為64×64的目標圖像。從圖3可看出，Wavelet-SRNet與SRGAN算法所得到的圖像相較于原圖更為平滑，而本方法能夠生成紋理細節(jié)豐富的圖像，在視覺上與原圖更加接近。SRGAN與本方法都是基于GAN進行超分辨率人臉重建，不同的是本方法充分利用了GAN的生成能力，而SRGAN仍是以MSE為主導，因而本方法可得到五官更加清晰的人臉圖像，但是某些紋理與原圖存在一些差別，這是本方法仍然需要改進的地方。

圖3 重建結果對比

2.3.2 重建圖像的RPSN與FID對比

分別對重建圖像的RPSN值與FID分數進行對比，如表1所示。FID[14]是圖像數據之間的相似性度量，用于評估重建圖像的質量，計算重建圖像與目標圖像之間的FID分數，其數值越小，表明跟實際圖像越接近。

表1 重建圖像的RPSN與FID分數對比

Wavelet-SRNet與SRGAN的RPSN值相對更高，而本算法可以達到更低的FID分數，表明重建結果與實際圖像更加接近。由于網絡參數優(yōu)化過程中，并未主要針對MSE進行訓練，而是更加注重利用生成器的生成能力賦予圖像更多紋理，導致RPSN值并不突出。

3 結束語

為了得到紋理豐富的高分辨率圖像，提出了一種基于生成對抗網絡的人臉重建算法。算法采用了更適用于圖像重建的殘差單元模塊，優(yōu)化過程中以對抗損失為主導，可生成與目標圖像更相似的超分辨率人臉圖像。基于CelebA數據集對重建結果進行對比，實驗結果表明，本算法能夠得到細節(jié)豐富的人臉圖像，且FID分數高于其他人臉重建算法。