徐潤(rùn)昊，程吉祥，李志丹，付小龍

（西南石油大學(xué)電氣信息學(xué)院，成都 610500）

0 概述

運(yùn)用圖像處理技術(shù)進(jìn)行人臉識(shí)別以獲取身份信息在實(shí)際生活中具有重要意義。該技術(shù)已被廣泛應(yīng)用于公共安全監(jiān)控、移動(dòng)支付、警方取證等領(lǐng)域。人臉識(shí)別的發(fā)展主要分為3 個(gè)階段［1］：第1 階段主要研究人臉識(shí)別所需要的面部幾何特征；第2 階段是人機(jī)交互階段，主要將人臉面部特征用多維特征矢量表示；第3 階段是機(jī)器自動(dòng)學(xué)習(xí)階段，推動(dòng)人臉識(shí)別進(jìn)行實(shí)用化。目前，正常情境下的完整人臉識(shí)別準(zhǔn)確率已經(jīng)滿(mǎn)足一定場(chǎng)景需要，然而實(shí)際人臉表情和姿態(tài)具有復(fù)雜性和易變性，且帽子、口罩、圍巾等物體易對(duì)人臉產(chǎn)生遮擋，檢測(cè)到的人臉不一定完好無(wú)缺，這易造成人臉識(shí)別準(zhǔn)確率急劇下降，限制該技術(shù)在復(fù)雜場(chǎng)景下的應(yīng)用［2］。因此，研究有遮擋的人臉識(shí)別對(duì)于拓展人臉識(shí)別應(yīng)用具有重要意義。

本文提出一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的含遮擋人臉識(shí)別算法，通過(guò)構(gòu)建一種改進(jìn)的循環(huán)生成對(duì)抗網(wǎng)絡(luò)對(duì)遮擋人臉進(jìn)行盲修復(fù)，該算法不需要使用遮擋區(qū)域的信息，僅通過(guò)2 個(gè)生成器和2 個(gè)判別器循環(huán)訓(xùn)練，就能提高生成人臉與原遮擋人臉的特征重合度及豐富有效人臉特征。在此基礎(chǔ)上，構(gòu)建基于ResNet-50［3］的卷積網(wǎng)絡(luò)，并對(duì)修復(fù)后的人臉圖像進(jìn)行再識(shí) 別。通過(guò)令RegularFace 損失函 數(shù)［4］與softmax 損失函數(shù)配合使用來(lái)處理修復(fù)后人臉可能存在的特征融合問(wèn)題。

1 相關(guān)工作

研究有遮擋的人臉識(shí)別一般有2 個(gè)思路。一種是對(duì)遮擋人臉進(jìn)行有效的人臉提取，然后再根據(jù)提取的有效人臉特征進(jìn)行人臉識(shí)別。魯棒的特征提取方法是對(duì)人臉圖像中顏色、亮度等低階特征和姿態(tài)、表情等高階特征進(jìn)行分解［5］。傳統(tǒng)的魯棒特征提取方法如梯度臉［6］，通過(guò)將人臉圖像處理成梯度直方圖，去除不必要的信息，并保留關(guān)鍵信息。FPH 框架［7］則通過(guò)將卷積神經(jīng)網(wǎng)絡(luò)引入經(jīng)典的“特征圖-模式圖-柱狀圖”模式來(lái)提取特征。文獻(xiàn)［8］提出子空間回歸方法，將不同類(lèi)別的人臉劃分為不同的子空間，令有遮擋人臉和無(wú)遮擋人臉各自回歸到相應(yīng)的子空間，并對(duì)無(wú)遮擋的子空間進(jìn)一步處理。CEN等［9］提出一種基于深度字典表示的人臉圖像分類(lèi)方法，其使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)遮擋人臉圖像進(jìn)行深層特征提取，然后使用字典對(duì)提取的深層特征進(jìn)行線(xiàn)性編碼。這類(lèi)方法所提取的有效特征忽略甚至直接丟棄了許多其他特征，容易造成識(shí)別準(zhǔn)確率過(guò)低。另一種思路是先對(duì)遮擋部分的人臉進(jìn)行修復(fù)，然后再經(jīng)過(guò)恰當(dāng)?shù)淖R(shí)別網(wǎng)絡(luò)對(duì)修復(fù)后的人臉進(jìn)行分類(lèi)，這種方法通過(guò)恢復(fù)原來(lái)缺失的特征信息，使待識(shí)別的人臉擁有接近原圖的豐富特征，采用的方法包括自動(dòng)編碼器、生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）等。文獻(xiàn)［10］使用自動(dòng)編碼器作為生成器，采用全局和局部2 個(gè)判別器使生成圖像的語(yǔ)義更加豐富。文獻(xiàn)［11］針對(duì)圖像修復(fù)可能出現(xiàn)不夠清晰的情況，采用圖像解耦后融合的方法來(lái)修復(fù)人臉。文獻(xiàn)［12］提出一種Multi-Loss 模型，將注意力機(jī)制和GAN 結(jié)合來(lái)提升修復(fù)效果。文獻(xiàn)［13］針對(duì)網(wǎng)格遮擋設(shè)計(jì)一種加權(quán)的FCN 修復(fù)模型，但不適用于其他類(lèi)型的遮擋。文獻(xiàn)［14］提出一種級(jí)聯(lián)生成對(duì)抗網(wǎng)絡(luò)的修復(fù)方法，生成器采用由粗到精的級(jí)聯(lián)模式，判別器采用將局部和全局相融合的雙重判別式模型。

現(xiàn)有大多數(shù)修復(fù)方法均需要遮擋區(qū)域信息來(lái)保證復(fù)原的真實(shí)性，但是這對(duì)于一定規(guī)模的人臉識(shí)別來(lái)說(shuō)不切合實(shí)際。對(duì)修復(fù)后人臉進(jìn)行分類(lèi)的方法有SVM［15］、貝葉斯分類(lèi)器［16］等，但這些分類(lèi)方法效果有偏差并且很難與特征提取網(wǎng)絡(luò)相結(jié)合，實(shí)際使用中有諸多不便?；谏疃葘W(xué)習(xí)的方法是一種端到端的方法，其將特征提取和特征分類(lèi)融合在一個(gè)模型中，是當(dāng)前研究熱點(diǎn)。

2 卷積神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)人臉識(shí)別的重要組成部分，其作用是從人臉中提取更豐富、更深層次的特征，主要由卷積層、池化層和全連接層組成。卷積層的核心為卷積核，輸入的特征通過(guò)卷積核進(jìn)行一系列卷積操作后就能得到更深層次的特征。池化層連接在卷積層之后，主要的作用是減少通過(guò)卷積層得到的特征圖大小，從而減少參數(shù)計(jì)算量，一般常用的池化層有全局平局池化和最大池化2 種。全連接層通常使用在網(wǎng)絡(luò)的末端，把二維的特征圖轉(zhuǎn)換成一維特征用于識(shí)別分類(lèi)。設(shè)計(jì)恰當(dāng)?shù)木矸e網(wǎng)絡(luò)可以有效提取人臉特征，對(duì)于最終識(shí)別準(zhǔn)確率也有較大影響。自從卷積神經(jīng)網(wǎng)絡(luò)AlexNet［17］問(wèn)世，研究人員設(shè)計(jì)了諸多網(wǎng)絡(luò)結(jié)構(gòu)以更深層次地提取圖像特征，如VGGNet、GoogleNet、ResNet 等網(wǎng)絡(luò)。

2.2 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)［18］是當(dāng)下人工智能研究的熱點(diǎn)，經(jīng)典的GAN 模型如圖1 所示。

如圖1 所示，經(jīng)典的GAN 模型由生成器和判別器2 部分構(gòu)成，生成器能夠?qū)W習(xí)真實(shí)圖像分布，判別器通過(guò)將生成器得到的圖像與原圖像進(jìn)行對(duì)比來(lái)判斷生成圖片的真實(shí)性。GAN 訓(xùn)練的目標(biāo)函數(shù)為：

圖1 經(jīng)典的GAN 模型Fig.1 Classical GAN model

其中：x表示真的樣本；P(z)表示假的樣本分布；z為輸入G的隨機(jī)噪聲分布；G(z)表示生成器G生成的圖片；D(x)表示判別器D判斷真實(shí)的圖片是否真實(shí)的概率；D(G(z))則表示判別器D判斷G網(wǎng)絡(luò)生成的圖片是否真實(shí)的概率。

GAN 的優(yōu)化目標(biāo)函數(shù)為最大最小優(yōu)化問(wèn)題，其可以采用博弈思想交叉訓(xùn)練，具體訓(xùn)練過(guò)程可以拆解為如下2 步：

1）優(yōu)化判別器D，即將真實(shí)圖像X和生成圖像G(z) 放入判別器D中訓(xùn)練，使D(X) 越大越好、D(G(z))越小越好，相應(yīng)優(yōu)化目標(biāo)如式（2）所示：

2）優(yōu)化生成器G，將上述判別器D得到的結(jié)果再反饋給G網(wǎng)絡(luò)，然后G網(wǎng)絡(luò)調(diào)整自身的參數(shù)生成更加真實(shí)的圖片再去“欺騙”判別器，使得D(G(z))越大越好，相應(yīng)優(yōu)化目標(biāo)如式（3）所示：

經(jīng)過(guò)生成器和判別器交替訓(xùn)練一段時(shí)間后，生成器G通過(guò)大量地學(xué)習(xí)同類(lèi)圖像數(shù)據(jù)中的特征以生成更加真實(shí)的圖像，當(dāng)判別器無(wú)法準(zhǔn)確判斷出圖片到底是真實(shí)的還是由G網(wǎng)絡(luò)生成的時(shí)，即實(shí)現(xiàn)了生成目的。

3 本文方法

本文提出一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的遮擋人臉圖像識(shí)別算法，其結(jié)構(gòu)如圖2 所示，該模型分為遮擋人臉修復(fù)和人臉識(shí)別2 個(gè)模塊。不同于只對(duì)遮擋部分進(jìn)行修復(fù)的方法，本文人臉修復(fù)方法是對(duì)整個(gè)圖像進(jìn)行重構(gòu)且不需要遮擋部位信息，因此是一種盲修復(fù)方式。修復(fù)模塊的輸入是一張帶遮擋的人臉，通過(guò)模型直接輸出一張還原好原圖特征的圖片。修復(fù)模塊采用了2 對(duì)生成器和判別器循環(huán)訓(xùn)練，生成器1 將遮擋人臉盡可能地還原成無(wú)遮擋的正常人臉，判別器2 則判別修復(fù)后人臉與正常無(wú)遮擋人臉的差異，即把帶遮擋的域映射到無(wú)遮擋正常人臉的域?？紤]到生成器生成過(guò)程具有隨機(jī)性，導(dǎo)致還原的圖片可能帶有大面積其他人臉的特征，因此通過(guò)生成器2 將已修復(fù)圖片再生成回原始遮擋圖片，判別器2 則判別該圖片與原遮擋圖片的差異，通過(guò)第2 對(duì)生成器和判別器的操作使得由生成器1 修復(fù)好的圖片擁有更多的原始人臉特征。識(shí)別模塊通過(guò)Resnet-50 來(lái)提取人臉特征，同時(shí)針對(duì)修復(fù)后的人臉可能存在一些特征融合的問(wèn)題，引入一種能夠?qū)⒉煌?lèi)的類(lèi)間距離量化的損失函數(shù)RegularFace，以處理類(lèi)內(nèi)距離過(guò)大和類(lèi)間距離過(guò)小對(duì)分類(lèi)的影響。

圖2 基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的遮擋人臉識(shí)別模型Fig.2 Face recognition with occlusion model based on cyclic generative adversarial networks

3.1 基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的人臉修復(fù)

人臉修復(fù)模塊由2 對(duì)生成器和判別器的循環(huán)生成對(duì)抗網(wǎng)絡(luò)構(gòu)成，其中：生成器由編碼器、轉(zhuǎn)換器和解碼器構(gòu)成。編碼器由3 層卷積層組成，依次逐漸提取更高級(jí)的特征，特征的數(shù)量也即濾波器數(shù)量，本文實(shí)驗(yàn)輸入圖片大小為256×256×3 像素，通過(guò)編碼器后，輸入變成64×64×256 像素。轉(zhuǎn)換器由6 個(gè)殘差塊組成，由編碼器輸出圖像的不同通道組合了圖像的不同特征，根據(jù)這些特征將圖像的特征向量即編碼由帶遮擋轉(zhuǎn)換到正常無(wú)遮擋。每個(gè)殘差塊由2 個(gè)卷積層組成，為了確保先前圖層的輸入屬性也可以用于后面的圖層，保證其輸出與原始輸入不會(huì)有太大偏差，將輸入殘差添加到輸出中。解碼器的作用是從特征向量重新構(gòu)建低級(jí)特征，這里用了3 層的轉(zhuǎn)置卷積，將低級(jí)特征轉(zhuǎn)換為正常無(wú)遮擋的圖像。

普通判別器的基本構(gòu)成是卷積層、全連接層、密集連接層和全連接層，然后將判別的結(jié)果即輸入樣本為真樣本的概率作為一個(gè)實(shí)數(shù)輸出，其輸入一般是真實(shí)圖像和生成圖像的整張圖像，但這類(lèi)判別器接收的圖像范圍過(guò)大，可能造成圖像生成時(shí)分辨率較低、圖片不清晰等情況。本文修復(fù)模塊中的判別器采用PathGAN［19］，其原理如圖3 所示。該判別器由5 個(gè)卷積層構(gòu)成，輸出為一個(gè)n×n的矩陣，輸出矩陣的均值作為T(mén)rue 或False 輸出。輸出矩陣中的每一個(gè)輸出均代表原圖的一個(gè)感受野，對(duì)應(yīng)了原圖的一部分，相比一般的GAN 網(wǎng)絡(luò)判別器輸出為一個(gè)數(shù)，該判別器考慮到了圖像不同部分的影響，且對(duì)圖像的一小塊進(jìn)行判別輸出，這樣訓(xùn)練時(shí)能夠使模型更能關(guān)注圖像細(xì)節(jié)，生成的圖片將更加清晰。本文將輸入圖像處理成大小為8×8×1 像素的不同塊，判別器的輸入大小為256×256×3 像素。

圖3 PatchGAN 判別器的原理Fig.3 Principle of PatchGAN discriminator

修復(fù)模塊損失函數(shù)包括判別器損失和循環(huán)一致性損失。判別器損失的目的是使生成目標(biāo)與原始圖片盡可能相似，采用均方誤差形式，表達(dá)式如式（4）所示：

其中：yi代表實(shí)際值代表估計(jì)值。在此基礎(chǔ)上可以定義2 個(gè)判別器的損失，判別器1 使第1 個(gè)生成器生成的無(wú)遮擋圖片和原無(wú)遮擋圖片相似，損失函數(shù)表達(dá)式如式（5）所示：

判別器2 使第2 個(gè)生成器生成的有遮擋圖片跟原有遮擋圖片相似，損失函數(shù)表達(dá)式如式（6）所示：

其中：A表示有遮擋的人臉；B表示無(wú)遮擋的人臉；fA表示當(dāng)輸入為原圖時(shí)生成器2 生成的圖片，fB表示當(dāng)輸入為原圖時(shí)生成器1 生成的圖片，rA和rB分別表示原有遮擋的圖片和無(wú)遮擋的圖片。

循環(huán)一致性損失使得原圖經(jīng)過(guò)1 個(gè)循環(huán)訓(xùn)練后得到的圖片與原圖相似，其主要采用L1損失函數(shù)，如式（7）所示：

其中：y(i)代表實(shí)際值代表估計(jì)值。

正循環(huán)的損失表達(dá)式如式（8）所示：

逆循環(huán)的損失表達(dá)式如式（9）所示：

其中：sA表示當(dāng)輸入為生成圖片時(shí)生成器2 生成的圖片；sB表示當(dāng)輸入為生成圖片時(shí)生成器2 生成的圖片。

在上述損失基礎(chǔ)上，可定義修復(fù)模塊總的損失函數(shù)表達(dá)式如式（10）所示：

3.2 人臉識(shí)別模塊

由于人臉特征非常豐富，淺層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)無(wú)法很好地提取到深層的特征，但一昧地通過(guò)堆疊卷積層和池化層來(lái)加深網(wǎng)絡(luò)深度會(huì)導(dǎo)致梯度消失和網(wǎng)絡(luò)退化，影響網(wǎng)絡(luò)優(yōu)化性能。本文所提識(shí)別網(wǎng)絡(luò)采用殘差網(wǎng)絡(luò)ResNet-50 結(jié)構(gòu)，該網(wǎng)絡(luò)通過(guò)跳躍連接消除深層卷積神經(jīng)網(wǎng)絡(luò)中的網(wǎng)絡(luò)退化問(wèn)題，降低了網(wǎng)絡(luò)訓(xùn)練的難度，且不會(huì)增加額外的參數(shù)和計(jì)算量。

損失函數(shù)用于度量本文網(wǎng)絡(luò)輸出預(yù)測(cè)值和實(shí)際值的差距，它是一個(gè)非負(fù)函數(shù)。一般來(lái)說(shuō)，損失函數(shù)越小，模型的魯棒性越好。損失函數(shù)的宗旨是增大不同類(lèi)別的類(lèi)間距離和縮小同一類(lèi)別的類(lèi)內(nèi)距離，常見(jiàn)的損失函數(shù)如CenterLoss［20］、Softmax［21］及其變體［22-24］，這些損失函數(shù)能夠較好地縮小同類(lèi)別特征的內(nèi)間距離，但由于人臉很多特征具有相似性，不同類(lèi)別間的距離也可能較小，因此上述損失函數(shù)在人臉識(shí)別中可能會(huì)導(dǎo)致識(shí)別準(zhǔn)確率較低。本文識(shí)別模塊采用RegularFace［4］損失函數(shù)，其使用不同類(lèi)別中心點(diǎn)的角距離來(lái)量化不同類(lèi)別的類(lèi)間距離，類(lèi)間距離的表達(dá)式如式（11）所示：

其損失函數(shù)為：

其中：ω代表類(lèi)別的權(quán)重向量；ωi表示ω的第i列，j表示距離i最近的聚類(lèi)中心；?(i,j)表示ωi和ωj之間的夾角，識(shí)別的目的是希望?(i,j)值越大越好，即pi的值越小越好。本文識(shí)別模塊中，將該損失函數(shù)與Softmax 函數(shù)搭配使用，這樣既能有效地縮小同一類(lèi)的類(lèi)內(nèi)距離，又能增大不同類(lèi)的類(lèi)間距離。Softmax 函數(shù)的表達(dá)式如式（13）所示：

因此，識(shí)別模塊損失函數(shù)如式（14）所示：

其中：λ用于平衡2 個(gè)損失函數(shù)，本文取值為1。

4 仿真實(shí)驗(yàn)

為驗(yàn)證本文算法的有效性，本文對(duì)盲修復(fù)結(jié)果及識(shí)別準(zhǔn)確率進(jìn)行了多輪實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)環(huán)境為Windows 10，采用編程環(huán)境為pytorch和python3.6.8，硬件為顯存11 GB的RTX2080Ti GPU、3.6 GHz的i7-9700K CPU、32 G RAM的PC 機(jī)。

4.1 數(shù)據(jù)集選擇

本文選用CASIA-WebFace［25］人臉數(shù)據(jù)集中的20個(gè)不同身份的人，共計(jì)約12 000 張圖片作為數(shù)據(jù)集。由于本文修復(fù)方法主要針對(duì)物體遮擋，因此在選擇圖像時(shí)主要挑選光線(xiàn)充足和正臉的圖像以避免光線(xiàn)遮擋和自遮擋對(duì)實(shí)驗(yàn)的影響。實(shí)驗(yàn)將原圖片的250×250 像素變換為256×256 像素。由于沒(méi)有標(biāo)準(zhǔn)和通用的遮擋人臉數(shù)據(jù)集，并且現(xiàn)實(shí)中的遮擋類(lèi)型具有多樣性，因此在訓(xùn)練數(shù)據(jù)時(shí)采用圖片點(diǎn)乘的方式給原圖加上了不同類(lèi)型和大小的遮擋作為訓(xùn)練集，如圖4 所示。

圖4 不同遮擋類(lèi)型的圖片示例Fig.4 Examples of different occlusion types

4.2 模型訓(xùn)練

本文方法包括修復(fù)和識(shí)別2 部分，兩者獨(dú)立訓(xùn)練，具體訓(xùn)練方式如下。

4.2.1 修復(fù)網(wǎng)絡(luò)訓(xùn)練

在訓(xùn)練集中選取1 000 張涵蓋20 個(gè)不同身份的圖片并隨機(jī)加上圖4 所示的遮擋（稱(chēng)為數(shù)據(jù)集1）作為生成器1 的輸入，再?gòu)纳鲜鲇?xùn)練集中隨機(jī)挑選另外1 000張不同身份的圖片（稱(chēng)為數(shù)據(jù)集2）做為第1個(gè)判別器的輸入。因此，判別器1 的輸入包括生成器1的輸出和數(shù)據(jù)集2，然后生成器1 的輸出再做為生成器2 的輸入；將生成器2 的輸出和數(shù)據(jù)集1 再輸入判別器2，這樣循環(huán)訓(xùn)練直到生成器1 的輸出收斂為無(wú)遮擋的人臉圖片。普通GAN 的訓(xùn)練方式是判別器先于生成器開(kāi)始訓(xùn)練，并且訓(xùn)練次數(shù)多于生成器。本文訓(xùn)練方式也不例外，略有差別的是判別器2 要在生成器1 生成幾輪后才開(kāi)始訓(xùn)練，以便得到較好的圖片投入逆向訓(xùn)練中，一般200 個(gè)epoch 后網(wǎng)絡(luò)開(kāi)始收斂，生成器1 得到較好的修復(fù)結(jié)果。

由于修復(fù)網(wǎng)絡(luò)訓(xùn)練過(guò)程中并沒(méi)有用到遮擋區(qū)域信息，因此達(dá)到了盲修復(fù)的目的，盡管此類(lèi)修復(fù)后的圖像整體效果較原圖的清晰化程度低，但總體特征相較于遮擋圖像而言具有較大程度的改善，因此識(shí)別準(zhǔn)確率也會(huì)有質(zhì)的提升，后續(xù)實(shí)驗(yàn)結(jié)果也驗(yàn)證了這一點(diǎn)。修復(fù)網(wǎng)絡(luò)超參數(shù)設(shè)置如表1 所示。

表1 修復(fù)網(wǎng)絡(luò)訓(xùn)的超參數(shù)設(shè)置Table 1 Hyper-parameter setting for the training of inpainting network

4.2.2 識(shí)別網(wǎng)絡(luò)訓(xùn)練

表2 識(shí)別網(wǎng)絡(luò)訓(xùn)練的超參數(shù)設(shè)置Table 2 Hyper-parameter setting for the training of identification network

4.3 實(shí)驗(yàn)結(jié)果及分析

本文對(duì)不同遮擋類(lèi)型、不同遮擋面積和不同遮擋區(qū)域的修復(fù)效果和識(shí)別準(zhǔn)確率進(jìn)行實(shí)驗(yàn)，并對(duì)比了DCGAN+CNN 算法下的修復(fù)效果及識(shí)別準(zhǔn)確率，分析引入RegularFace 損失函數(shù)對(duì)識(shí)別效果的影響。

4.3.1 修復(fù)結(jié)果分析

修復(fù)效果分析具體如下：

1）不同遮擋類(lèi)型的修復(fù)結(jié)果

針對(duì)不同遮擋類(lèi)型的部分人臉圖像修復(fù)效果如圖5所示。由圖5 可知不同類(lèi)型的遮擋包括線(xiàn)性遮擋和矩形遮擋。對(duì)于線(xiàn)性遮擋，遮擋部分被還原得比較接近客觀(guān)事實(shí)，且未遮擋的部分無(wú)明顯變化，整個(gè)人臉看上去較為真實(shí)連貫。對(duì)于矩形遮擋，小塊遮擋能很好地還原，但當(dāng)矩形遮擋面積過(guò)大時(shí)，修復(fù)效果不甚理想。

圖5 不同遮擋類(lèi)型的修復(fù)效果對(duì)比Fig.5 Comparison of repair effects of different occlusion types

2）不同遮擋面積的修復(fù)效果

對(duì)不同遮擋面積的分析建立在同一人的相同遮擋形狀上，本文選用了不同面積的線(xiàn)性遮擋和不同面積的矩形遮擋進(jìn)行實(shí)驗(yàn)，結(jié)果如圖6 所示。從修復(fù)效果可以看出，修復(fù)效果隨著遮擋面積的增大而逐漸變差。

圖6 不同遮擋面積的修復(fù)效果對(duì)比Fig.6 Comparison of repair effect of different occlusion area

3）不同遮擋部位的修復(fù)效果

五官特征對(duì)于人臉識(shí)別的準(zhǔn)確率影響很大［26］，因此本文對(duì)不同遮擋區(qū)域的人臉修復(fù)效果進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7 所示。

圖7 不同遮擋部位的修復(fù)效果對(duì)比Fig.7 Comparison of repair effect of different occlusion site

由圖7 可知，當(dāng)嘴巴和鼻子受到遮擋時(shí)，修復(fù)效果較好，但當(dāng)眼睛收到遮擋時(shí)，其修復(fù)后的細(xì)節(jié)丟失比較嚴(yán)重。

4）與其他算法修復(fù)效果對(duì)比

本文對(duì)比了DCGAN+CNN 算法的修復(fù)效果，實(shí)驗(yàn)結(jié)果如圖8 所示。

圖8 本文算法與DCGAN+CNN 算法的修復(fù)效果對(duì)比Fig.8 Comparison of repair effect between the algorithm in this paper and the DCGAN+CNN algorithm

如圖8 所示，DCGAN+CNN 算法臉部修復(fù)細(xì)節(jié)不如本文算法連貫，臉部甚至較原圖較小，而本文算法保留了大量未遮擋區(qū)域的特征，看起來(lái)更加自然，這也從側(cè)面證明了本文算法的有效性。

4.3.2 修復(fù)前后識(shí)別準(zhǔn)確率的比較

本文的最終目的是提高帶遮擋人臉的識(shí)別準(zhǔn)確率，而不是過(guò)度追求復(fù)原成清晰無(wú)缺的圖片。人臉識(shí)別準(zhǔn)確率與網(wǎng)絡(luò)提取到的人臉特征密切相關(guān)，本文修復(fù)方法保留和補(bǔ)充了大量的原圖特征，且修復(fù)得到的圖片也符合語(yǔ)義，因此相較于直接識(shí)別帶遮擋人臉圖片，準(zhǔn)確率會(huì)有很大提升。

本文所用的識(shí)別模型在正常人臉數(shù)據(jù)集上達(dá)到了一個(gè)較高的識(shí)別準(zhǔn)確率，以此為參照分別比較了不同遮擋類(lèi)型的修復(fù)準(zhǔn)確率，結(jié)果如圖9 所示。

圖9 相同面積下的不同遮擋類(lèi)型對(duì)修復(fù)前后識(shí)別準(zhǔn)確率的影響Fig.9 Influence of different occlusion types in the same area on recognition accuracy before and after repair

由圖9 可知，在遮擋面積相同時(shí)，矩形遮擋修復(fù)前后的識(shí)別準(zhǔn)確率都很低，但修復(fù)后的識(shí)別準(zhǔn)確率較修復(fù)前仍提升了一倍多，表明修復(fù)后的人臉獲得了更多有效特征。線(xiàn)性遮擋在修復(fù)后識(shí)別準(zhǔn)確率提升得最多，修復(fù)后的效果也最好。而五官遮擋的人臉盡管修復(fù)后的效果不佳，但由于其特征復(fù)原得比較好，所以識(shí)別準(zhǔn)確率也有很大提升，僅次于線(xiàn)性遮擋修復(fù)后的識(shí)別效果。由圖10 可知，當(dāng)線(xiàn)性遮擋面積小于30%時(shí)，由于遮擋面積較小，修復(fù)前的識(shí)別準(zhǔn)確率已經(jīng)達(dá)到較高狀態(tài)，故修復(fù)后的準(zhǔn)確率提升不大，但仍有約10%的提升。當(dāng)遮擋面積在30%附近時(shí)，修復(fù)后的識(shí)別準(zhǔn)確率有很大的提升，當(dāng)遮擋面積進(jìn)一步增大到40%后，修復(fù)后的識(shí)別準(zhǔn)確率提升了約一倍。

圖10 不同線(xiàn)性遮擋面積對(duì)修復(fù)前后識(shí)別率的影響Fig.10 Influence of different linear occlusion areas on recognition rate before and after repair

識(shí)別正確和錯(cuò)誤的示例分別如圖11、圖12 所示。由圖12（a）可以看出，當(dāng)五官特征恢復(fù)較差時(shí)，容易導(dǎo)致識(shí)別失敗。對(duì)比圖11（b）、圖12（b）可知，識(shí)別網(wǎng)絡(luò)本身對(duì)識(shí)別效果也有重要影響。

圖11 識(shí)別成功的示例Fig.11 Identify successful examples

圖12 識(shí)別失敗的示例Fig.12 Identify examples of failures

4.3.3 識(shí)別網(wǎng)絡(luò)性能分析

為驗(yàn)證RegularFace 損失函數(shù)的性能，本文對(duì)使用RegularFace+Softmax（簡(jiǎn)記為R+S）損失函數(shù)和僅單使用Softmax（簡(jiǎn)記為S）損失函數(shù)情況下修復(fù)前后的識(shí)別準(zhǔn)確率進(jìn)行了比較，實(shí)驗(yàn)結(jié)果如圖13 和圖14所示。

圖13 不同損失函數(shù)修復(fù)前識(shí)別準(zhǔn)確率對(duì)比Fig.13 Comparison of recognition accuracy before repair of different loss functions

圖14 不同損失函數(shù)修復(fù)后識(shí)別準(zhǔn)確率對(duì)比Fig.14 Comparison of recognition accuracy after repair of different loss functions

由圖13 可知，修復(fù)前的人臉丟失了過(guò)多特征，無(wú)論用哪種損失函數(shù)的識(shí)別準(zhǔn)確率均很低，但用RegularFace+Softmax 損失函數(shù)較于Softmax 仍有部分提升。由圖14 可知，修復(fù)后的識(shí)別準(zhǔn)確率均有明顯提升，使用RegularFace+Softmax 損失函數(shù)的提升效果也更明顯，尤其是五官遮擋，這是由于RegularFace 有對(duì)類(lèi)間距離進(jìn)行量化的特點(diǎn)，對(duì)于五官這些難以分類(lèi)的特征效果提升更加明顯。

4.3.4 與其他算法的對(duì)比

本文選取了DCGAN+CNN 算法進(jìn)行對(duì)比實(shí)驗(yàn)，其中DCGAN 作為修復(fù)算法來(lái)修復(fù)人臉圖像，CNN則選用與本文相同的ResNet50，損失函數(shù)統(tǒng)一使用softmax，識(shí)別結(jié)果如表3、表4 所示。

由表3、表4 可知，無(wú)論是在不同的遮擋類(lèi)型還是不同遮擋面積條件下，本文算法的人臉識(shí)別準(zhǔn)確率都更高，DCGAN+CNN 算法相較于本文算法留存的原圖特征較少，當(dāng)遮擋面積較小時(shí)，本文算法優(yōu)勢(shì)明顯，當(dāng)遮擋面積達(dá)到50%左右時(shí)，DCGAN+CNN算法的識(shí)別準(zhǔn)確率較低，而本文算法的識(shí)別準(zhǔn)確率還能維持在一個(gè)較高的水平。

表3 不同算法對(duì)不同遮擋類(lèi)型的識(shí)別準(zhǔn)確率對(duì)比Table 3 Comparison of recognition accuracy of different occlusion types by different algorithms %

表4 不同算法對(duì)不同遮擋面積的識(shí)別準(zhǔn)確率對(duì)比Table 4 Comparison of recognition accuracy of different algorithms for different occlusion areas %

5 結(jié)束語(yǔ)

針對(duì)當(dāng)前含遮擋人臉識(shí)別方法準(zhǔn)確率較低的問(wèn)題，本文提出一種基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的含遮擋人臉識(shí)別算法。采用先修復(fù)再識(shí)別的方式，在修復(fù)階段不需要遮擋信息，僅通過(guò)2 個(gè)生成器和2 個(gè)判別器循環(huán)訓(xùn)練，使生成的人臉與原遮擋人臉的特征重合度高且修復(fù)后語(yǔ)義連貫性較好，實(shí)現(xiàn)人臉遮擋圖像的盲修復(fù)。同時(shí)，在識(shí)別階段引入RegularFace 損失函數(shù)，有效增加不同類(lèi)的類(lèi)間距離，減小同類(lèi)間的類(lèi)間距離。實(shí)驗(yàn)結(jié)果表明，與DCGAN+CNN 算法相比，所提算法對(duì)不同遮擋類(lèi)型和遮擋區(qū)域的人臉圖像識(shí)別準(zhǔn)確率均有所提高。但本文算法對(duì)大面積矩形遮擋圖像，以及對(duì)隨機(jī)遮擋和日常遮擋的修復(fù)效果也有待提升。下一步將引入遮擋區(qū)域估計(jì)方式以充分利用原始未遮擋圖像信息，提升遮擋人臉的識(shí)別準(zhǔn)確率。