胡正平 潘佩云 崔紫微 趙夢(mèng)瑤 畢 帥

（1.燕山大學(xué)信息科學(xué)與工程學(xué)院，河北秦皇島 066004；2.燕山大學(xué)河北省信息傳輸與信號(hào)處理重點(diǎn)實(shí)驗(yàn)室，河北秦皇島 066004）

1 引言

隨著深度學(xué)習(xí)技術(shù)不斷成熟，深度模型在人臉識(shí)別［1］領(lǐng)域有較好的應(yīng)用，這些人臉識(shí)別模型大多利用較高分辨率人臉圖像進(jìn)行訓(xùn)練，因此對(duì)于較高分辨率人臉具有魯棒性。然而現(xiàn)實(shí)世界中因拍攝設(shè)備、拍攝環(huán)境等原因，采集到的圖像會(huì)出現(xiàn)分辨率較低的情況。同時(shí)對(duì)于一些為節(jié)省資源而使用成本低的監(jiān)控設(shè)備場(chǎng)所，其獲取的畫(huà)面分辨率可能會(huì)較低。針對(duì)這類圖像，深度學(xué)習(xí)模型的識(shí)別效果不理想，因此如何在補(bǔ)全丟失特征信息的基礎(chǔ)上，將低分辨率（Low-Resolution，LR）人臉重建［2］到高分辨率（High-Resolution，HR）人臉，這對(duì)開(kāi)放環(huán)境下展開(kāi)后續(xù)人臉識(shí)別工作有重大研究意義。

針對(duì)LR 圖像重建研究，重建方法主要分三大類：基于插值［3］、基于重建［4］和基于學(xué)習(xí)［5］?；诓逯担?］重建方法主要依據(jù)像素間線性關(guān)系，通過(guò)計(jì)算得到插值點(diǎn)的像素值，該方法重建圖像相對(duì)平滑，對(duì)圖像細(xì)節(jié)表達(dá)不到位，圖像邊緣不清晰?；谥亟ǎ?］算法主要根據(jù)低分辨率圖像整體特征以及同場(chǎng)景下的不同信息，通過(guò)利用數(shù)學(xué)知識(shí)實(shí)現(xiàn)對(duì)重建圖像的約束，從而完成重建高分辨率圖像工作，該方法計(jì)算量大并且不易控制重建圖像精度?；趯W(xué)習(xí)［5］重建算法可根據(jù)構(gòu)造LR-HR 圖像對(duì)，通過(guò)學(xué)習(xí)兩者間的特征分布來(lái)約束重建高分辨率圖像，該方法可在網(wǎng)絡(luò)訓(xùn)練過(guò)程中學(xué)習(xí)到不同層次的圖像特征，建立LR 圖像與HR 圖像間映射關(guān)系，從而完成對(duì)LR 圖像重建工作。該方法通過(guò)與深度學(xué)習(xí)結(jié)合，在圖像重建上有較多應(yīng)用。

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）憑著其自身可通過(guò)對(duì)抗學(xué)習(xí)完成圖像生成、數(shù)據(jù)擴(kuò)增等特性，在圖像重建方面得到關(guān)注。2016年，Radford等人［6］提出無(wú)監(jiān)督表示學(xué)習(xí)的深度卷積生成對(duì)抗網(wǎng)絡(luò)（Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks，DCGAN）模型。該模型將卷積神經(jīng)網(wǎng)絡(luò)和GAN網(wǎng)絡(luò)進(jìn)行結(jié)合，經(jīng)過(guò)在不同數(shù)據(jù)上訓(xùn)練，模型能較好提取圖像特征，同時(shí)GAN網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性得到提升，可以完成圖像生成工作。然而面對(duì)復(fù)雜的重建工作時(shí)，需要增加網(wǎng)絡(luò)層數(shù)才能學(xué)習(xí)到更多有效特征信息，研究表明增加網(wǎng)絡(luò)層數(shù)可獲得更好重建效果，但同時(shí)計(jì)算量也隨之增加，并且復(fù)雜的網(wǎng)絡(luò)容易出現(xiàn)訓(xùn)練梯度消失或者梯度爆炸。He等人［7］提出殘差思想，在網(wǎng)絡(luò)結(jié)構(gòu)上采用Skip Connection 連接，通過(guò)累加特征圖來(lái)解決梯度爆炸、消失等問(wèn)題。Ledig 等人［8］提出SRGAN（Super-Resolution Using a Generative Adversarial Network）網(wǎng)絡(luò)模型，利用殘差塊代替簡(jiǎn)單卷積網(wǎng)絡(luò)，使得網(wǎng)絡(luò)訓(xùn)練容易達(dá)到收斂狀態(tài)，且不易出現(xiàn)梯度消失。2018年，Wang等人［9］在SRGAN基礎(chǔ)上提出ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks）網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)使用殘差密集塊（Residual Dense Block，RDB）作為生成網(wǎng)絡(luò)的主體，在圖像重建上達(dá)到不錯(cuò)效果，但其生成的圖像存在偽影，同時(shí)在LR人臉重建問(wèn)題上容易出現(xiàn)重建人臉與原有人臉結(jié)構(gòu)不匹配的問(wèn)題。同年，Kossaifi等人［10］提出GAGAN（Geometry-Aware Generative Adversarial Networks）模型，在算法中融入人臉幾何結(jié)構(gòu)設(shè)想，使整個(gè)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中具有較好的人臉生成效果。然而上述模型在重建人臉圖像時(shí)忽略LR圖像攜帶的特有身份信息，而身份信息保留在后續(xù)人臉識(shí)別工作中體現(xiàn)價(jià)值。為保證重建過(guò)程中人臉身份信息的保留，2019 年Hsu 等人［11］提出的Si-GAN 模型，在DCGAN［6］基本網(wǎng)絡(luò)框架上采用雙生成器結(jié)構(gòu)，對(duì)輸入LR 圖像對(duì)進(jìn)行簡(jiǎn)單標(biāo)記，當(dāng)輸入圖像對(duì)來(lái)自同一類則標(biāo)記為“1”，反之標(biāo)記為“0”。這一操作使得重建過(guò)程中相同類圖像的特征距離更小，不同類圖像間特征距離更大，不僅解決超低分辨率條件下低分辨率人臉重建問(wèn)題，還在重建過(guò)程中保持人臉身份信息，這對(duì)后續(xù)利用深度模型對(duì)重建人臉進(jìn)行識(shí)別具備優(yōu)勢(shì)。綜上，文獻(xiàn)［6，8-11］在LR圖像重建上均有不錯(cuò)效果，但這些模型都存在著對(duì)各通道特征同等處理，缺乏處理不同類型信息靈活性的問(wèn)題。在模型初始訓(xùn)練中，卷積更偏向?qū)植恳蕾囮P(guān)系和局部接受域進(jìn)行建模，當(dāng)網(wǎng)絡(luò)達(dá)到一定深度時(shí)卷積才能建立全局依賴關(guān)系［12］，而一些全局特征信息在卷積學(xué)習(xí)過(guò)程中會(huì)存在丟失問(wèn)題。而文獻(xiàn)［12-14］表明注意力機(jī)制在建模全局依賴關(guān)系［12-13］以及降低無(wú)關(guān)圖像域特征信息［14］表現(xiàn)出良好性能。因此注意力機(jī)制在圖像重建中的應(yīng)用對(duì)于提升重建圖像的質(zhì)量可起到增進(jìn)作用。其中文獻(xiàn)［12］將注意力機(jī)制與GAN 網(wǎng)絡(luò)結(jié)合，形成模型SAGAN（Self-Attention GAN），該模型可以根據(jù)全局特征生成圖像細(xì)節(jié)。2018年，Kastaniotis等人［15］在注意力框架基礎(chǔ)上，提出ATA-GANs（Attention-Aware Generative Adversarial Networks）模型，該方法進(jìn)一步提升重建圖像細(xì)節(jié)精度。

受已有文獻(xiàn)的啟發(fā)：將注意機(jī)制與對(duì)抗學(xué)習(xí)模型相結(jié)合，本文提出融合注意力機(jī)制的高分辨率人臉識(shí)別圖像重建模型。通過(guò)在不同位置殘差塊網(wǎng)絡(luò)結(jié)構(gòu)后添加注意力模塊，作為對(duì)淺層卷積偏重局部關(guān)系學(xué)習(xí)的補(bǔ)充，使得網(wǎng)絡(luò)在建立全局依賴關(guān)系以及學(xué)習(xí)有利重建人臉特征信息上有更好性能。鑒別器在全卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上添加注意力模塊，達(dá)到對(duì)全局人臉結(jié)構(gòu)更好幾何約束，鑒別過(guò)程中更好區(qū)分真假人臉圖像的目的。最終生成器在與鑒別器進(jìn)行不斷迭代優(yōu)化訓(xùn)練過(guò)程中，重建出人臉特征更加完善、視覺(jué)效果更加清晰的HR人臉圖像。

2 融合注意力機(jī)制的高分辨率人臉識(shí)別圖像重建模型

融合注意力機(jī)制的高分辨率人臉識(shí)別圖像重建模型框圖如圖1所示。模型由兩個(gè)生成器和一個(gè)鑒別器組成。生成器由殘差塊、注意力模塊、上采樣模塊以及若干個(gè)卷積層構(gòu)成。鑒別器由若干個(gè)卷積層嵌套注意力模塊組成。

2.1 殘差模塊

殘差網(wǎng)絡(luò)（Residual Block Network，ResNet）［7］可以解決當(dāng)神經(jīng)網(wǎng)絡(luò)較深時(shí)，在反向傳播過(guò)程中出現(xiàn)梯度爆炸、梯度消失的問(wèn)題。同時(shí)，殘差網(wǎng)中Skip Connection 能起到信息補(bǔ)充作用，可減少訓(xùn)練過(guò)程中信息丟失情況。其網(wǎng)絡(luò)結(jié)構(gòu)由一系列殘差塊構(gòu)成，常見(jiàn)殘差塊結(jié)構(gòu)如圖2所示。

圖2（a）殘差塊可表示成：xi+1=xi+F(xi，wi)，其中xi表示輸入，xi+1表示輸出。F(xi，wi)代表殘差映射，對(duì)應(yīng)圖2（a）左邊一系列操作，該操作一般由二到三個(gè)卷積層構(gòu)成。xi對(duì)應(yīng)圖2（a）右邊曲線操作稱為直接映射。實(shí)際操作中，xi和xi+1的特征圖數(shù)量有可能不一致，這時(shí)需采用圖2（b）所示的殘差塊結(jié)構(gòu)。此時(shí)xi+1=h(xi)+F(xi，wi)，其中h(xi)=Wi·xi，Wi表示對(duì)輸入進(jìn)行1×1 卷積操作。當(dāng)網(wǎng)絡(luò)訓(xùn)練達(dá)到一定精度時(shí)，網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)轉(zhuǎn)變?yōu)楹愕扔成鋵W(xué)習(xí)，即使輸入xi近似于輸出xi+1，以此來(lái)保證在后面訓(xùn)練中網(wǎng)絡(luò)性能不會(huì)下降。

2.2 注意力模塊

注意力機(jī)制［16-17］賦予模型在訓(xùn)練時(shí)能區(qū)分信息的重要程度，并根據(jù)訓(xùn)練需要聚焦于圖像特征中相關(guān)較大的部分。研究者們將注意力機(jī)制運(yùn)用到神經(jīng)網(wǎng)絡(luò)，類似人類視覺(jué)選擇機(jī)制，注意力機(jī)制會(huì)使其在提取輸入樣本特征時(shí)有針對(duì)性選擇，對(duì)有利網(wǎng)絡(luò)模型訓(xùn)練的特征分配較高權(quán)重，對(duì)不影響網(wǎng)絡(luò)模型性能甚至是不利網(wǎng)絡(luò)訓(xùn)練的特征分配較低權(quán)重。

綜上，注意力機(jī)制可學(xué)習(xí)到更利于模型訓(xùn)練的特征信息。因此，本文將注意力機(jī)制引入模型訓(xùn)練。注意力模塊框架如圖3 所示。x∈RC*N*N是第i層輸入圖像特征圖，C代表通道數(shù)，N代表圖像分辨率。為計(jì)算注意力和注意力特征圖，首先將x轉(zhuǎn)換到特征空間f，g，h。f(x)和g(x)后續(xù)矩陣相乘以及Softmax操作如公式（1），公式（2）所示。

βji表示在合成第j個(gè)區(qū)域時(shí)，第i個(gè)位置的參與程度。如圖3所示，注意力模塊最終輸出可表示為：o=(o1，o2，…，oj，…，oN)∈RC×N。其中oj定義如下：

上述公式中提到的f(x)、g(x)、h(xi)、v(xi)可分別表示為f(x)=Wfx，g(x)=Wgx，h(xi)=Whxi，v(xi)=Wvxi其中均代表學(xué)習(xí)權(quán)重矩陣，實(shí)驗(yàn)中C1=C/8。注意力模塊進(jìn)一步將注意力層輸出乘以比例參數(shù)，然后加回輸入要素圖。所以注意力模塊最終輸出為：yi=λoi+xi，這里λ∈[0，1]是需要學(xué)習(xí)的標(biāo)量，并將其初始化為0，訓(xùn)練過(guò)程中再逐漸增大權(quán)重。

2.3 融合注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)

如何學(xué)習(xí)獲取真實(shí)樣本高維特征分布，以重建出與真實(shí)樣本難以區(qū)分的偽樣本，這在圖像重建方面有重要意義。2014 年，Goodfellow 等人［18］首次提出生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）模型，該模型可能在對(duì)抗訓(xùn)練過(guò)程中逐漸學(xué)習(xí)到真實(shí)樣本的高維特征分布，進(jìn)而生成偽樣本。其基本結(jié)構(gòu)如圖4 所示，主要由生成器（Generator，G）和鑒別器（Discriminator，D）組成。GAN原理源于博弈中二人“零和博弈”思想。

在訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)整個(gè)過(guò)程中，優(yōu)化目標(biāo)函數(shù)如公式（4）所示。

其中Pdata(x)、Pz(z)分別代表真實(shí)數(shù)據(jù)x的概率分布和噪聲數(shù)據(jù)z的概率分布。鑒別器D 輸出對(duì)輸入數(shù)據(jù)的判別結(jié)果，網(wǎng)絡(luò)訓(xùn)練最終目的是正確判斷數(shù)據(jù)來(lái)源，即當(dāng)輸入數(shù)據(jù)來(lái)自真實(shí)數(shù)據(jù)時(shí)，輸出D(x)盡可能趨向于1，相反則為0。因此訓(xùn)練鑒別器過(guò)程中需不斷調(diào)參使得D(x)盡可能大，D(G(z))盡可能小。而訓(xùn)練生成器G 時(shí)，就需要Pz(z)盡量與Pdata(x)做到同分布，因此要保證D(G(z))盡量大。

2.3.1 融合注意力機(jī)制的生成網(wǎng)絡(luò)

融合注意力機(jī)制的生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。網(wǎng)絡(luò)使用殘差塊、注意力模塊、上采樣以及3×3卷積模塊堆疊而成，在第二層殘差塊和第五層殘差塊的末端添加注意力模塊，目的是用來(lái)彌補(bǔ)淺層卷積偏向局部依賴關(guān)系建模而缺乏對(duì)全局信息學(xué)習(xí)的不足。同時(shí)注意力模塊能在不斷學(xué)習(xí)過(guò)程中對(duì)利于人臉重建的特征信息分配高權(quán)重值，對(duì)不利于重建的特征信息分配低權(quán)重值。

2.3.2 融合注意力機(jī)制的鑒別網(wǎng)絡(luò)

融合注意力機(jī)制的鑒別器網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示，鑒別器是由若干個(gè)卷積層構(gòu)成，將注意力模塊引入鑒別器中，利用注意力模塊作為不同卷積層連接，將人臉特征圖傳遞給下層網(wǎng)絡(luò)。鑒別器的最終輸出是標(biāo)準(zhǔn)化數(shù)值，該數(shù)值用來(lái)表示判別輸入HR人臉圖像的真假，真為“1”假為“0”。

3 模型訓(xùn)練和優(yōu)化

鑒別器優(yōu)化過(guò)程即為最小化交叉熵值過(guò)程，鑒別器損失函數(shù)如公式（5）所示。

因此GAN 網(wǎng)絡(luò)訓(xùn)練中，總的對(duì)抗損失函數(shù)和文獻(xiàn)［18］中相似，如公式（7）中的描述。

此外在訓(xùn)練中，為使生成樣本更加逼真，模型還添加內(nèi)容損失Lc。對(duì)于給定真實(shí)輸入HR 人臉圖像對(duì)，如果二者是同一身份則身份標(biāo)簽s設(shè)置為1，二者來(lái)自不同身份則身份標(biāo)簽s 設(shè)置為0。內(nèi)容損失Lc定義為：

兩張圖片越相似，兩者特征信息就越接近，其特征距離值也就越小。Ew中使用特征間L1-范數(shù)，用來(lái)描述圖像間的相似性。Lb用來(lái)確保不同身份人臉圖像的特征間距離大于預(yù)定邊界閾值y，即確保不同身份人臉圖像的距離越來(lái)越大。同時(shí)LG用來(lái)確保相同身份人臉圖像的特征距離盡可能小。

綜上，整體網(wǎng)絡(luò)訓(xùn)練最終可轉(zhuǎn)換成公式（12）描述的最小-最大優(yōu)化問(wèn)題，其中D、G 分別代表鑒別器和生成器，LGAN表示對(duì)抗損失，Lc代表內(nèi)容損失，LAGAN(D，G)表示總損失函數(shù)。三者間關(guān)系為L(zhǎng)AGAN=LGAN+Lc。

4 實(shí)驗(yàn)仿真

實(shí)驗(yàn)在三個(gè)數(shù)據(jù)集CASIA-WebFace、CelebA 和LFW 上進(jìn)行。CASIA 數(shù)據(jù)集包含494414 張人臉圖像，他們來(lái)自于10575個(gè)不同人臉對(duì)象，包含各種形態(tài)人臉，比如：正面、側(cè)面、不同光照、戴眼鏡等。為保證模型對(duì)人臉形態(tài)具有魯棒性，實(shí)驗(yàn)隨機(jī)選取491131 張人臉子集作為訓(xùn)練集，該子集中人臉圖像具有豐富形態(tài)，部分人臉圖像如圖7 所示。CelebA和LFW 數(shù)據(jù)集分別來(lái)自名人人臉圖像和自然生活中的人臉圖像，這兩個(gè)數(shù)據(jù)中包含各式各樣人臉，且兩數(shù)據(jù)集數(shù)據(jù)分布各不相同。

實(shí)驗(yàn)在CASIA 數(shù)據(jù)集上進(jìn)行生成對(duì)抗訓(xùn)練，在3283 張CASIA 人臉子集，以及1000 張隨機(jī)抽取的CelebA和LFW 數(shù)據(jù)集上完成模型測(cè)試。對(duì)于數(shù)據(jù)，首先將其進(jìn)行隨機(jī)組合，根據(jù)其存儲(chǔ)路徑生成TXT文本文件，以此作為網(wǎng)絡(luò)中輸入圖片的讀取路徑。該文件中每行的信息除兩張人臉圖像的存儲(chǔ)路徑外，還有相應(yīng)的身份標(biāo)簽。當(dāng)兩張人臉屬于同一個(gè)身份的標(biāo)簽為“1”，屬于不同身份的標(biāo)簽為“0”。8×8 圖像進(jìn)行4 倍重建時(shí)，批處理大小設(shè)置為64，學(xué)習(xí)率最初設(shè)置為0.0002，當(dāng)?shù)?000 次時(shí)，學(xué)習(xí)率變化成原有的1/2。不同于8×8 重建實(shí)驗(yàn)，在16×16 重建實(shí)驗(yàn)中，批處理設(shè)置為8，學(xué)習(xí)率初始化為0.0001。優(yōu)化器Adam 設(shè)置如下：beta1=0.5，beta2=0.999，epsilon=1e-8。為驗(yàn)證本模型的有效性，實(shí)驗(yàn)與SiGAN［11］的兩種結(jié)構(gòu)以及雙三次插值方法進(jìn)行對(duì)比，并采用峰值信噪比（PSNR）、結(jié)構(gòu)相似度（SSIM），這兩個(gè)指標(biāo)衡量網(wǎng)絡(luò)模型性能。

4.1 CASIA數(shù)據(jù)集

在CASIA 數(shù)據(jù)集中進(jìn)行兩個(gè)實(shí)驗(yàn)，第一組實(shí)驗(yàn)分別在8×8 分辨率LR 人臉圖像和16×16 分辨率LR人臉圖像上進(jìn)行，利用融合注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)重建方法，分別進(jìn)行4倍人臉重建，并與雙三次插值法、SiGAN（densenet）［11］、SiGAN（resnet）［11］進(jìn)行對(duì)比。

從CASIA 中選取5 個(gè)身份，不同重建方法的主觀視覺(jué)比較如圖8 所示，從左至右依次代表LR、Bicubic、SiGAN（densenet）［11］、SiGAN（resnet）［11］、Ours、HR 圖像。圖8（a）表示8×8 分 辨率人臉重建 至32×32 分辨率人臉效果圖，圖8（b）表示16×16 分辨率人臉重建至64×64 分辨率人臉效果圖。根據(jù)圖8發(fā)現(xiàn)，傳統(tǒng)插值法Bicubic重建人臉效果過(guò)于平滑模糊。SiGAN（densenet）［11］方法重建人臉效果比較接近真實(shí)HR圖像但存在偽影。SiGAN（resnet）［11］方法在臉部細(xì)節(jié)處重建存在不足，如圖8（a）中第二行第四列以及第五行第四列顯示。對(duì)比發(fā)現(xiàn)本實(shí)驗(yàn)重建效果略好于上述方法，尤其在細(xì)節(jié)方面，本實(shí)驗(yàn)方法更貼合原HR圖像。

從客觀角度看，重建圖像與真實(shí)HR 圖像間的PSNR 和SSIM 測(cè)試結(jié)果如表1 所示。根據(jù)表1 中數(shù)據(jù)發(fā)現(xiàn)，與其他方法相比，在8×8 分辨率LR 人臉重建上，模型PSNR 達(dá)到23.44dB，SSIM 達(dá)到0.718，數(shù)據(jù)表明本實(shí)驗(yàn)方法無(wú)論在圖像清晰度，還是結(jié)構(gòu)相似度上均略高于其他方法。在16×16 分辨率LR 人臉重建上，模型PSNR 達(dá) 到24.32dB，SSIM 達(dá) 到0.738。本實(shí)驗(yàn)方法在結(jié)構(gòu)相似度上均略高于其他方法，從清晰度分析SiGAN（resnet）［11］方法重建圖像最為清晰。

表1 CASIA數(shù)據(jù)集上不同方法重建HR人臉的PSNR和SSIM比較Tab.1 Comparison of PSNR and SSIM of different methods to restore HR face on CASIA dataset

在CASIA 數(shù)據(jù)集中進(jìn)行第二組識(shí)別實(shí)驗(yàn)，首先隨機(jī)挑選出668 類身份信息人臉共包含圖像136835 張人臉圖像。為利于識(shí)別工作展開(kāi)，選取的這些身份人臉每一類中包含人臉圖像均大于120 張。實(shí)驗(yàn)利用經(jīng)典稀疏表示分類（Sparse representation-based classifier，SRC）方法，對(duì)3282 張測(cè)試人臉圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)識(shí)別率測(cè)試結(jié)果如表2 所示。根據(jù)表2 數(shù)據(jù)顯示，本文方法重建后的人臉，在識(shí)別準(zhǔn)確率上有所提升。

表2 不同方法重建的HR人臉識(shí)別性能的比較Tab.2 Comparison of HR face recognition performance reconstructed by different methods

由CASIA 數(shù)據(jù)集中兩組實(shí)驗(yàn)可知，將注意力模塊引入生成對(duì)抗網(wǎng)絡(luò)，可有效提升網(wǎng)絡(luò)性能。此外在提升重建HR 人臉視覺(jué)質(zhì)量的同時(shí)，在人臉原有特征，特別是身份特征上有保留優(yōu)勢(shì)，該優(yōu)勢(shì)在識(shí)別工作上，使用Ours方法重建的人臉識(shí)別率均大于其他重建方法識(shí)別率。

4.2 LFW和CelebA數(shù)據(jù)集

實(shí)驗(yàn)還在LFW 和CelebA 這兩個(gè)人臉數(shù)據(jù)集中進(jìn)行測(cè)試，從LFW和CelebA兩個(gè)數(shù)據(jù)集中隨機(jī)抽取1000張圖像作為測(cè)試圖像。實(shí)驗(yàn)所用預(yù)訓(xùn)練模型均和4.1節(jié)中采用的模型一致。在LFW和CelebA這兩個(gè)人臉數(shù)據(jù)集中進(jìn)行兩個(gè)實(shí)驗(yàn)，來(lái)驗(yàn)證本文訓(xùn)練模型的有效性和通用性。第一組實(shí)驗(yàn)中，對(duì)1000張LR人臉輸入進(jìn)行重建工作，并計(jì)算PSNR、SSIM。

從主觀角度看，隨機(jī)選取6個(gè)不同身份的人臉圖像，他們?cè)诓煌亟ǚ椒ㄏ碌闹亟ńY(jié)果如圖9所示，從左至右依次代表LR、Bicubic、SiGAN（densenet）［11］、SiGAN（resnet）［11］、Ours、HR圖像。根據(jù)圖9發(fā)現(xiàn)，本實(shí)驗(yàn)方法在視覺(jué)效果上略好于其他方法，在細(xì)節(jié)方面，本實(shí)驗(yàn)方法與原HR圖像更為相近。

從客觀角度來(lái)講，由表3 中數(shù)據(jù)可得，在8×8 分辨率LR 人臉重建上，本實(shí)驗(yàn)?zāi)Ｐ蚉SNR 達(dá)到20.59 dB，SSIM 達(dá)到0.552，數(shù)據(jù)表明本實(shí)驗(yàn)方法無(wú)論在圖像清晰度，還是結(jié)構(gòu)相似度上均略高于其他方法。在16×16 分辨率LR 人臉重建上，模型PSNR達(dá)到22.74 dB，SSIM 達(dá)到0.666。本實(shí)驗(yàn)方法在結(jié)構(gòu)相似度上均略高于其他方法，從清晰度分析Si-GAN（resnet）［11］方法重建圖像最為清晰。

表3 CelebA、LFW數(shù)據(jù)集上不同方法重建HR人臉的PSNR和SSIM比較Tab.3 Comparison of PSNR and SSIM of different methods to restore HR face on CelebA and LFW dataset

在LFW 和CelebA 混合數(shù)據(jù)集中進(jìn)行第二組實(shí)驗(yàn)，利用VGG16 網(wǎng)絡(luò)模型［19］pool5 層輸出，計(jì)算重建高分辨率人臉圖像和真實(shí)高分辨率人臉圖像間特征距離（DVGG）。DVGG計(jì)算特征空間中L2-范數(shù)距離，數(shù)值越小代表圖像間特征更相似，進(jìn)而說(shuō)明重建圖像保持原有圖像的身份信息。實(shí)驗(yàn)結(jié)果如表4所示。

表4 CelebA、LFW數(shù)據(jù)集上不同方法重建HR人臉的特征距離（DVGG）比較Tab.4 Compare the feature distance（DVGG）of HR faces with different methods on CelebA and LFW datasets

由LFW 和CelebA 這兩個(gè)人臉數(shù)據(jù)集中的實(shí)驗(yàn)得出與CASIA數(shù)據(jù)集實(shí)驗(yàn)類似的結(jié)果。但由于LFW和CelebA 數(shù)據(jù)集與CASIA 數(shù)據(jù)集之間數(shù)據(jù)分布規(guī)律不同，因此在LFW和CelebA數(shù)據(jù)集兩個(gè)數(shù)據(jù)上的PSNR、SSIM 比在CASIA 數(shù)據(jù)集中表現(xiàn)略弱，但本文方法依然有較好低分辨率人臉重建效果。特征距離結(jié)果表明其在人臉身份保持上也具有一定體現(xiàn)。

5 結(jié)論

針對(duì)現(xiàn)有人臉處理模型對(duì)低分辨率人臉適用性的不足，以及由于拍攝設(shè)備及拍攝環(huán)境等因素造成采集圖像存在分辨率低的問(wèn)題，本文提出融合注意力機(jī)制的高分辨率人臉識(shí)別圖像重建模型。在殘差塊堆疊網(wǎng)絡(luò)結(jié)構(gòu)中添加注意力模塊，其中殘差塊可有效防止訓(xùn)練過(guò)程中出現(xiàn)梯度消失等現(xiàn)象，并且Skip Connection結(jié)構(gòu)可對(duì)下級(jí)網(wǎng)絡(luò)輸入信息進(jìn)行補(bǔ)充，以減少特征傳輸過(guò)程中信息丟失。注意力機(jī)制作為網(wǎng)絡(luò)間相互連接的子模塊，可有效彌補(bǔ)淺層卷積偏向局部依賴關(guān)系建模而缺乏對(duì)全局信息學(xué)習(xí)的不足，同時(shí)能針對(duì)性學(xué)習(xí)到更利于人臉重建的特征信息。實(shí)驗(yàn)表明，該人臉重建算法能重建出視覺(jué)效果相對(duì)較好的圖像，同時(shí)重建圖像可保留人臉身份信息。