楊巨成，左美然，魏 峰，孫 笑，白亞欣，王 嫄，陳亞瑞

(1. 天津科技大學人工智能學院，天津 300457；2. 天津科技大學機械工程學院，天津 300222)

人臉超分辨率(face super-resolution，F(xiàn)SR)是一種低水平的計算機視覺任務，其目標是從低分辨率輸入中恢復高分辨率人臉圖像，提高后續(xù)人臉圖像任務的性能，如人臉對齊[1]、人臉檢測[2-3]和人臉識別[4-6].隨著深度學習的發(fā)展，盡管人臉超分辨率方法提供了很多解決方案，但是這些方法依然存在以下兩個問題.

一方面，目前典型的方法[7-8]利用前饋結(jié)構(gòu)，從輸入的低分辨率圖像計算一系列中間特征，通過一次或有限次上采樣操作直接增加圖像分辨率到最終高分辨率結(jié)果．SRCNN[9]對輸入的低分辨率圖像直接進行插值上采樣到最終尺寸，然后再進行特征提取和重建．FSRNet[10]設(shè)計了編碼解碼的結(jié)構(gòu)，在編碼器中對低分辨率輸入進行一次上采樣到中間表示，然后通過解碼器對提取的特征進一步上采樣到最終尺寸．此外，LapSRN[11]和EDSR[12]利用多個上采樣子網(wǎng)絡，逐步對低分辨率輸入進行上采樣．上述這些方法采用前饋結(jié)構(gòu)，然而人類視覺系統(tǒng)更傾向于使用反饋連接指導任務[13]．因此，這些網(wǎng)絡由于缺乏反饋難以充分表示低分辨率輸入到高分辨率結(jié)果的映射，特別是在放大倍數(shù)較大(如8倍放大)的情況下導致生成圖像存在模糊、紋理粗糙等問題．

另一方面，人臉超分辨率方法的解空間隨著放大倍數(shù)的增加呈指數(shù)增長，所以研究者們嘗試使用強大的人臉先驗約束生成高質(zhì)量的人臉圖像.PMGMSAN[14]使用預先訓練的網(wǎng)絡提取面部成分或解析映射圖，并將先驗信息輸入到后續(xù)網(wǎng)絡中以恢復超分辨率結(jié)果．然而，PMGMSAN直接從低分辨率輸入中提取先驗信息，使得獲得準確的先驗信息成為一個困難和挑戰(zhàn)．多階段人臉超分辨率方法[15]則將先驗估計分支嵌入到超分辨率重建分支中．首先對低分辨率輸入進行初步采樣，然后利用中間特征估計先驗信息以進行后續(xù)重建，并通過L2損失約束估計的先驗信息以及由高清人臉圖像生成的先驗信息．由于上述方法從低分辨率輸入、中間結(jié)果或特征中提取人臉先驗信息，導致先驗信息不準確，并且使用像素級先驗損失函數(shù)如L2作為約束條件，因此難以提供強有力的約束，使得生成的圖像模糊，感知質(zhì)量較差.

鑒于上述問題，本文提出一種基于誤差反饋和面部后先驗信息的人臉超分辨率重建方法(face superresolution using error feedback and facial posterior，EFBNet)，并通過一個包含通道級的面部注意力損失和相對判別器對抗損失的優(yōu)化目標訓練網(wǎng)絡．首先，采用一系列上下采樣操作捕獲低分辨率輸入到高分辨率結(jié)果之間的相互依賴性，提取多粒度特征，并提出誤差反饋機制優(yōu)化提取到的多粒度特征．通過上采樣操作計算生成高維特征圖與輸入之間的誤差，通過下采樣操作計算生成低維特征圖與輸入之間的誤差．誤差反饋機制可以在早期自校正特征提取，并引導網(wǎng)絡提取與面部細節(jié)相關(guān)區(qū)域的特征，以充分表示低分辨率輸入到高分辨率結(jié)果的映射，生成高質(zhì)量的人臉圖像．然后，為了得到精確的先驗信息，采用面部先驗信息提取和人臉超分辨率重建相互促進的結(jié)構(gòu)，從超分辨率結(jié)果而不是低分辨率輸入或中間特征提取精確的先驗信息，即后先驗信息．先驗估計分支利用重建的圖像提取后先驗信息，精確的后先驗信息進而促進生成更高質(zhì)量的人臉圖像．最后，為了借助精確的后先驗信息進一步提供強有力的約束，設(shè)計了一個新的優(yōu)化目標，它在L2損失的基礎(chǔ)上引入通道級的面部注意力損失和相對判別對抗損失．面部注意力損失聚焦于后先驗信息周圍區(qū)域的特征，相對判別對抗損失專注于銳化的邊緣，生成內(nèi)容精確、紋理逼真的超分辨率結(jié)果．在標準數(shù)據(jù)集上的實驗表明，本方法在定量指標上達到了當前最優(yōu)性能，可視化結(jié)果進一步表明該方法在清晰度、失真程度和紋理細節(jié)等方面具有顯著優(yōu)勢．

1 模型設(shè)計

1.1 網(wǎng)絡結(jié)構(gòu)

提出了一種基于生成對抗網(wǎng)絡的使用誤差反饋和面部后先驗信息的人臉超分辨率方法．其中輸入的低分辨率人臉圖像、超分辨率結(jié)果和高清人臉圖像分別表示為ILR、ISR和IHR．生成器由兩個分支組成：基于誤差反饋的迭代上下采樣重建分支(簡稱重建分支)和生成后先驗信息的人臉關(guān)鍵點估計分支(簡稱關(guān)鍵點估計分支)．判別器采用ESRGAN[8]中的結(jié)構(gòu).整個網(wǎng)絡以端到端的方式進行訓練．基于誤差反饋和面部后先驗信息的人臉超分辨率模型如圖1所示.

圖1 基于誤差反饋和面部后先驗信息的人臉超分辨率模型Fig. 1 Face super-resolution using error feedback and facial posterior information

重建分支包含3個部分：粗上采樣模塊(CUM)、基于誤差反饋的迭代上下采樣模塊(EFSM)和全局跳躍連接．全局跳躍連接繞過粗上采樣模塊和基于誤差反饋的迭代上下采樣模塊，為結(jié)果提供一個插值上采樣的圖像．因此，粗上采樣模塊和基于誤差反饋的迭代上下采樣模塊用于恢復ILR的殘差圖像Ires．

由于從非常低分辨率的輸入中獲得先驗信息不精確，因此首先通過粗上采樣模塊恢復粗糙的上采樣結(jié)果．該模塊由卷積層和像素重組層組成，輸出為

其中fCUM表示粗上采樣操作．1F與關(guān)鍵點估計分支的輸出 Flandmark拼接在一起作為基于誤差反饋的迭代上下采樣模塊的輸入．Fconcat是拼接的結(jié)果．

其中fconcat表示拼接操作．

在基于誤差反饋的迭代上下采樣模塊中采用循環(huán)結(jié)構(gòu)，其可以展開為T次迭代．第t次迭代(t∈T)中EFSM接收 Fconcat和上一次迭代的輸出表示EFSM的最終輸出，即

其中fEFSM表示EFSM的操作．

為了與全局跳躍連接提供的插值上采樣圖像匹配，使用卷積操作得到殘差圖像Ires，即

其中fconv表示卷積操作．

最終的輸出ISR為

其中fup表示通過全局跳躍連接提供的插值上采樣操作．

關(guān)鍵點估計分支的體系結(jié)構(gòu)遵循文獻[15]．

1.2 基于誤差反饋的迭代上下采樣模塊

基于誤差反饋的迭代上下采樣模塊由一系列上下采樣塊組成，共N個采樣塊，在低分辨率和高分辨率特征圖之間交替．此外，在此模塊中引入密集連接充分利用特征．先前所有下采樣(上采樣)塊的輸出串聯(lián)起來作為上采樣(下采樣)塊的輸入，如圖1所示．這種連接能夠有效地利用各種高分辨率成分產(chǎn)生理想的結(jié)果．

在第n個上采樣塊中：先前n?1個下采樣塊計算出的低分辨率特征圖被拼接為Ln?1，并作為第n個上采樣塊的輸入(n∈N)，結(jié)構(gòu)圖如圖2(a)所示，其定義為

其中：fdeconv1和fdeconv2表示s倍的上采樣操作，fconv表示s倍的下采樣操作．

第n個上采樣塊將Ln?1映射到中間高分辨率集合，然后再將其映射回低分辨率集合．產(chǎn)生的和之間的誤差再次映射到高分辨率，從而產(chǎn)生新的中間誤差集合Hen．通過將兩個中間集合相加得到該塊的最終輸出Hn．

下采樣塊的定義與上采樣塊非常相似，但它將高分辨率特征圖映射到低分辨率空間，如圖2(b)所示，定義為

圖2 上采樣塊和下采樣塊Fig. 2 Up-sampling block and down-sampling block

這些采樣塊可以理解為一種自我校正過程，該過程將誤差反饋到采樣層，并通過反饋誤差迭代地修改中間表示，有助于引導網(wǎng)絡更關(guān)注與面部細節(jié)有關(guān)的區(qū)域．

2 優(yōu)化目標

為了提供強有力的約束，設(shè)計優(yōu)化目標，該優(yōu)化目標包括關(guān)鍵點損失、面部注意力損失、像素損失、感知損失和相對判別對抗損失．

關(guān)鍵點損失( Llandmark)：在關(guān)鍵點估計分支，使用Llandmark計算在像素級最小化ISR的關(guān)鍵點熱圖LSR和IHR的關(guān)鍵點熱圖LHR之間的距離．

面部注意力損失( Lattention)：除關(guān)鍵點損失外，還使用面部注意力損失關(guān)注預測的關(guān)鍵點周圍區(qū)域的面部細節(jié)．這使關(guān)鍵點估計分支自適應地引導與關(guān)鍵點有關(guān)的特征，而不必過多關(guān)注那些特征較少的區(qū)域．

其中Mmax為LHR的通道最大值．

像素損失(Lpixel)：使用L2損失作為IHR和ISR之間的像素損失．

感知損失(Lperc)：應用感知損失增強超分辨率圖像的感知質(zhì)量[10,16]．采用預訓練的人臉識別模型VGG19[17]提取圖像特征．該損失通過減小IHR和ISR特征之間的歐氏距離提高感知相似度，其中φ(ISR)和φ( IHR)分別是通過VGG19網(wǎng)絡提取的圖像特征．

相對判別對抗損失(DL)：不同于標準判別器D估計一個輸入圖像是真實和偽造的概率，本文采用RaGAN[18]的思想試圖預測真實圖像比偽造的相對更真實的概率．

其中DRa表示RaGAN的判別器．

生成器試圖欺騙判別器并最小化對抗損失Ladv．

最終，生成器的損失函數(shù)定義為

其中α、β、γ、μ、ω 均為模型的訓練參數(shù)．

3 實驗與分析

3.1 實驗細節(jié)

數(shù)據(jù)集：模型在兩個常用的人臉數(shù)據(jù)集Helen[19]和CelebA[20]進行了充分的實驗．對于這兩個數(shù)據(jù)集，先使用OpenFace[21-22]檢測IHR的68個關(guān)鍵點．根據(jù)檢測的關(guān)鍵點，在每幅圖像中裁剪正方形區(qū)域以刪除背景，并將像素大小調(diào)整為128×128，而無需任何預對齊．然后，將這些高清人臉圖像采樣到16×16的低分辨率輸入．對于CelebA數(shù)據(jù)集，使用168854張圖像進行訓練，使用1000張圖像進行測試．對于Helen數(shù)據(jù)集，使用2005張圖像進行訓練，使用50張圖像進行測試．

實驗設(shè)置和訓練設(shè)置：本文提出的EFBNet模型在兩個分支之間進行了4次迭代．由于Helen數(shù)據(jù)集的圖像數(shù)量很少，因此對訓練圖像執(zhí)行數(shù)據(jù)增強，訓練圖像隨機旋轉(zhuǎn)90°、180°、270°并水平翻轉(zhuǎn)．模型中的訓練參數(shù)分別設(shè)置為α＝1、β＝0.1、γ＝0.1、μ＝0.1和ω＝0.05．該模型由ADAM優(yōu)化器[23]訓練，其中β1＝0.9、β2＝0.999和ε＝1×10-8．初始學習率是1×10-4，并在1×104、2×104、4×104次迭代后逐次減半.實驗基于Pytorch[24]在NVIDIA TITAN RTX(24G)上實現(xiàn)．

評估指標：與之前的模型相似[9-10,16]，本文使用常用的評估指標峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)[25]評估重建性能．

3.2 與現(xiàn)有方法比較

在兩個常用人臉數(shù)據(jù)集CelebA和Helen上將本文提出的方法與最新方法進行了比較．

對CelebA數(shù)據(jù)集的評估：將本文提出的EFBNet與其他方法在定性和定量上進行比較，其中包括一般的超分辨率方法(SRCNN[9]、SRGAN[16]和EDSR[26])和人臉超分辨率方法(FSRNet[10]和SAAN[27])．所有模型都使用相同的訓練集進行訓練．如表1所示，當放大倍數(shù)為8時，EFBNet在PSNR和SSIM方面均明顯優(yōu)于其他方法．圖3為在CelebA數(shù)據(jù)集上與現(xiàn)有其他方法的可視化對比，其中GT代表高清人臉圖像．由此可見，EFBNet借助誤差反饋及時進行自校正處理，獲得了更好的推理結(jié)果．精確的后先驗信息和強有力的監(jiān)督進一步優(yōu)化面部的紋理細節(jié)，提高圖像的視覺保真度．此外，在圖3中，EFBNet不僅能夠重建清晰的面部結(jié)構(gòu)，而且具有很強的魯棒性，對于姿勢和旋轉(zhuǎn)變化大的人臉具有接近真實的恢復效果．這主要得益于人臉先驗估計使用超分辨率結(jié)果生成更準確的后先驗信息，從而鼓勵重建分支進一步增強人臉圖像質(zhì)量．

表1 在CelebA數(shù)據(jù)集的定量對比Tab. 1 Quantitative comparison on CelebA datasets

圖3 在CelebA數(shù)據(jù)集上與現(xiàn)有其他方法的可視化對比Fig. 3 Visual comparison with state-of-the-art methods on CelebA datasets

對Helen數(shù)據(jù)集的評估：當放大倍數(shù)為8時，將本文提出的EFBNet與其他人臉超分辨率方法[10,28-29]進行了定性和定量的比較，結(jié)果如表2和圖4所示，其中圖4中LR代表輸入的低分辨率人臉圖像，GT代表高清人臉圖像．從表2中可以看出，EFBNet在Helen測試集上實現(xiàn)了最高性能，比現(xiàn)有的人臉超分辨率方法(FSRNet)高2.98dB．與其他方法的可視化結(jié)果對比可看出，受益于誤差反饋和提出的優(yōu)化目標，EFBNet生成的人臉圖像五官結(jié)構(gòu)完整且更加清晰．由于引入面部注意力損失，其引導網(wǎng)絡學習更真實的面部細節(jié)，故相較于其他方法，在眼睛、嘴巴等部位的紋理細節(jié)信息更加豐富且失真程度?。?/p>

表2 在Helen數(shù)據(jù)集的定量對比Tab. 2 Quantitative comparison on Helen datasets

圖4 在Helen數(shù)據(jù)集上與現(xiàn)有方法的可視化對比Fig. 4 Visual comparison with state-of-the-art methods on Helen datasets

3.3 對比實驗

誤差反饋的影響：為了說明誤差反饋機制的有效性，當放大倍數(shù)為8時，對比有和沒有誤差反饋機制(命名為EFBNet_L)對PSNR和SSIM的影響．分別用卷積和反卷積操作替換上采樣塊和下采樣塊，則基于誤差反饋的迭代上下采樣模塊類似于先前的超分辨率方法[30]．其可視化比較如圖5所示．

圖5 誤差反饋機制對實驗結(jié)果的影響Fig. 5 Visual results using error feedback mechanism

由圖5可知，本文提出的EFBNet能夠保留像素級精度，同時提高面部圖像的感知質(zhì)量．原因是誤差反饋將引導特征提取關(guān)注與面部細節(jié)有關(guān)的區(qū)域，以優(yōu)化當前預測．因此，它可以實現(xiàn)從低分辨率輸入到超分辨率結(jié)果的較優(yōu)映射，以生成更好細節(jié)的人臉圖像.

損失函數(shù)的影響：3個實驗分析面部注意力損失和相對判別對抗損失對Helen數(shù)據(jù)集的影響，分別命名為model 1、model 2和model 3(本文的優(yōu)化目標).表3為使用不同損失函數(shù)的定量對比．

表3 使用不同損失函數(shù)的定量對比Tab. 3 Quantitative results of using different loss functions

由表3可知，model 2的性能優(yōu)于model 1．這是由于面部注意力損失使網(wǎng)絡在通道級更關(guān)注面部的關(guān)鍵點區(qū)域，從而產(chǎn)生更清晰的面部圖像且失真?。送?，相對判別對抗損失有助于學習更銳利的邊緣和更詳細的紋理．因此，model 3較model 2添加相對判別對抗損失后，定量指標幾乎沒有改善，但是面部圖像更加逼真自然，尤其是紋理細節(jié)方面(圖6).總之，model 3不僅著眼于面部關(guān)鍵點區(qū)域以減少失真，而且迫使網(wǎng)絡恢復更具結(jié)構(gòu)意義的面部細節(jié)以得到清晰逼真的結(jié)果．

圖6 損失函數(shù)對實驗結(jié)果的影響Fig. 6 Visual comparisons for showing the effects of different loss function

不同先驗信息的影響：與FSRNext[10]類似，本文使用人臉對齊模型廣泛使用的度量指標歸一化均方根誤差(NRMSE)，探究先驗信息提取順序?qū)Τ直媛蕡D像質(zhì)量的影響．較低的NRMSE 值表示更好的對齊精度和更高的SR圖像質(zhì)量．FSRNet在中間特征中提取面部關(guān)鍵點和面部解析映射圖指導超分辨率重建，而SAAN從輸入和中間結(jié)果中自適應地提取面部語義信息作為先驗信息．不同的先驗信息對超分辨率圖像質(zhì)量的影響見表4．由表4可以看出，EFBNet方法均優(yōu)于其他方法．雖然其他方法也使用面部先驗，例如面部關(guān)鍵點和面部解析映射圖等，但先驗信息是從輸入的低分辨率圖像或中間特征中估計的．因此，這種面部先驗只能為重建過程提供有限的指導，導致恢復結(jié)果存在不完整的、模糊的面部結(jié)構(gòu)．不同的是，本文提出的EFBNet使用生成的超分辨率結(jié)果估計先驗信息，即后先驗信息，以便為重建提供更準確的指導信息，得到更清晰的超分辨率結(jié)果.

表4 不同的先驗信息對超分辨率圖像質(zhì)量的影響Tab. 4 Influence of different prior information on the quality of super-resolution images

4 結(jié) 語

本文提出的EFBNet方法是基于生成對抗網(wǎng)絡使用誤差反饋和面部后先驗信息指導網(wǎng)絡生成高質(zhì)量的人臉圖像，并通過一個新的優(yōu)化目標訓練網(wǎng)絡．在該方法中，人臉超分辨率重建和人臉后先驗估計相互促進，以產(chǎn)生準確的后先驗約束．誤差反饋機制幫助重建分支迭代的優(yōu)化中間表示．優(yōu)化目標中的面部注意力損失，其基于強大的后先驗信息在通道級約束解空間和相對判別對抗損失，其專注于恢復清晰的邊緣紋理，驅(qū)動網(wǎng)絡生成高分辨率的、更好面部紋理細節(jié)的圖像．在公開的人臉數(shù)據(jù)集上進行的人臉超分辨率的實驗顯示出本文方法的顯著優(yōu)勢．

致謝：本論文還獲得了天津市企業(yè)科技特派員項目(20YDTPJC00560)和天津市研究生科研創(chuàng)新項目(人工智能專項)(2020YJSZXB11)的資助．