周輝

（中國(guó)石油大學(xué)（華東）計(jì)算機(jī)與科學(xué)技術(shù)學(xué)院 青島 266580）

1 引言

得益于深度學(xué)習(xí)［1～3］的發(fā)展，人臉識(shí)別技術(shù)有了突破式發(fā)展。由于深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)的方法，數(shù)據(jù)集的質(zhì)量直接影響識(shí)別算法的精度。不幸的是，目前幾個(gè)比較常用的公共人臉識(shí)別數(shù)據(jù)集（CASIA-WebFace，MS1M，CelebA）都存在著樣本不均衡的問(wèn)題，一般數(shù)目比較少的類(lèi)稱(chēng)之為UR數(shù)據(jù)（Under Represent Data）。幾乎在所有的人臉數(shù)據(jù)集中都存在UR 數(shù)據(jù)，這就使得在訓(xùn)練網(wǎng)絡(luò)的過(guò)程中，通過(guò)網(wǎng)絡(luò)得到的數(shù)據(jù)分布不均衡，從而影響到網(wǎng)絡(luò)整體的識(shí)別性能。雖然目前人臉識(shí)別方向發(fā)展已經(jīng)比較成熟，甚至都投入了商用，但是訓(xùn)練中遇到的樣本不均衡數(shù)據(jù)始終制約著人臉識(shí)別，無(wú)法進(jìn)一步提高人臉識(shí)別精度。早期的解決方法是直接去掉UR 數(shù)據(jù)類(lèi)別，只對(duì)樣本數(shù)據(jù)多的類(lèi)別進(jìn)行訓(xùn)練。但是這樣做會(huì)造成訓(xùn)練數(shù)據(jù)不足，嚴(yán)重削弱網(wǎng)絡(luò)的泛化能力；另一種常用做法是通過(guò)歸一化權(quán)重的方式，強(qiáng)行將正常類(lèi)別和UR 數(shù)據(jù)類(lèi)別對(duì)應(yīng)的權(quán)重向量歸一到同一均衡數(shù)據(jù)分布中，但會(huì)造成決策邊界傾斜［4］，使學(xué)習(xí)得到的分布與實(shí)際的分布差異較大，影響最終識(shí)別效果；此外，還可以將UR 數(shù)據(jù)里的圖片通過(guò)旋轉(zhuǎn)、平移、縮放等仿射變換方式得到新的和原圖相似的圖片，將這些圖片和原圖一起送入網(wǎng)絡(luò)訓(xùn)練：這類(lèi)方法被稱(chēng)作顯式數(shù)據(jù)增強(qiáng)，但是增強(qiáng)得到的數(shù)據(jù)與真實(shí)數(shù)據(jù)分布存在較大差異，所以這種顯式數(shù)據(jù)增強(qiáng)對(duì)網(wǎng)絡(luò)整體效果的提升并大。近年來(lái)，隱式數(shù)據(jù)增強(qiáng)作為一個(gè)處理樣本不均衡問(wèn)題的新方法逐步受到人們關(guān)注。FTL［5］提出一種隱式數(shù)據(jù)增強(qiáng)手段：以類(lèi)中心向量為基準(zhǔn)，在特征空間做數(shù)據(jù)增強(qiáng)來(lái)訓(xùn)練網(wǎng)絡(luò)。具體來(lái)說(shuō)，由于人臉識(shí)別是一種細(xì)粒度分類(lèi)問(wèn)題［8］，因此可以假設(shè)整個(gè)數(shù)據(jù)集滿(mǎn)足一種高斯分布，在這種高斯分布中，每個(gè)類(lèi)別都有著自己特有的特征向量均值而共享一個(gè)協(xié)方差，因此，可以在訓(xùn)練的過(guò)程中將普通類(lèi)的協(xié)方差矩陣特征逐步遷移至UR 類(lèi)，以此解決樣本不均衡問(wèn)題。

然而，F(xiàn)TL 是基于center-loss 的一種處理不均衡數(shù)據(jù)集的衍生方法，這類(lèi)算法只能使類(lèi)內(nèi)距離減小而不能使類(lèi)間距離增大，這就使得數(shù)據(jù)整體在歐氏空間上不符合正態(tài)分布。因?yàn)閿?shù)據(jù)符合正態(tài)分布是深度學(xué)習(xí)算法奏效的前提，所以這使得臉識(shí)別效果受到不利影響。

本文針對(duì)這一問(wèn)題，將隱式數(shù)據(jù)增強(qiáng)引入角度量空間。因?yàn)橥ㄟ^(guò)softmax 損失獲得的特征具有固有的角度分布［7］，所以在角空間進(jìn)行隱式數(shù)據(jù)增強(qiáng)不會(huì)影響數(shù)據(jù)的整體分布。此外，還對(duì)FTL中的協(xié)方差矩陣做相關(guān)改進(jìn)，使UR 類(lèi)別在特征空間中盡可能地產(chǎn)生多樣性特征向量來(lái)減輕不均衡數(shù)據(jù)集對(duì)識(shí)別算法所造成的負(fù)面影響。

在通用數(shù)據(jù)集上的結(jié)果表明，該算法能有效提高最終的人臉識(shí)別精度。

2 本文算法

2.1 問(wèn)題描述

2.2 損失函數(shù)

最常用的分類(lèi)損失函數(shù)Softmax損失如下：

由于批正則化（batch normalization）的引入，bj的值已經(jīng)不起作用，所以之后的論文基本將bj的值設(shè)置為0，這樣式（1）中，其中θj為與ai之間的夾角，同時(shí)設(shè)置及，這么做是為了將特征向量的模歸一到一個(gè)常數(shù)中，方便向量之間進(jìn)行公平的比較，至此，特征預(yù)測(cè)和權(quán)重調(diào)整的預(yù)測(cè)就只依賴(lài)于θj，原式（1）可改寫(xiě)為

通過(guò)式（2），需學(xué)習(xí)的特征向量就被分布在一個(gè)半徑為s 的超球面上了。Sphereface 很自然地將損失函數(shù)從歐式距離判別改寫(xiě)成了角度距離判別，這種角度距離判別被證明更好地體現(xiàn)特征度量。為了使得特征向量有讓類(lèi)內(nèi)距離更小類(lèi)間距離更大的能力，Sphereface引入變量m對(duì)式（2）做改進(jìn)：

當(dāng)一個(gè)特征向量在極坐標(biāo)中同時(shí)和兩個(gè)類(lèi)中心向量比較時(shí)，對(duì)于同類(lèi)別的角度距離乘以m（m＞1）。這樣，在有著監(jiān)督信息的訓(xùn)練過(guò)程中，就越希望同類(lèi)別的角度距離小。不同類(lèi)別的角度距離大，以此來(lái)抑制來(lái)保持損失函數(shù)盡量最小化。為了進(jìn)一步優(yōu)化這個(gè)算法，Sphereface 的衍生方法Arcface對(duì)變量m做相關(guān)改進(jìn)，最終得到可以使類(lèi)內(nèi)距離更小而類(lèi)間距離更大的優(yōu)化式（4）：

在式（4）中，m1，m2，m3都是超參用于提升特征向量的表征能力。與Arcface 相同，將三個(gè)超參m1，m2，m3分別設(shè)置為1，0.3，0.2。

本文使用在特征域?qū)R類(lèi)圖像做隱式語(yǔ)義數(shù)據(jù)增強(qiáng)。為了得到UR 類(lèi)特征向量的語(yǔ)義方向，這里假定增強(qiáng)后的特征向量滿(mǎn)足正態(tài)分布N(ui，λ∑)，即，根據(jù)Sphereface，每個(gè)類(lèi)別的中心特征向量可以由其網(wǎng)絡(luò)最后一層FC對(duì)應(yīng)的相關(guān)類(lèi)別權(quán)重向量來(lái)表示，即第j 個(gè)類(lèi)別的權(quán)重向量可以作為此類(lèi)的類(lèi)中心向量表征。為所有普通類(lèi)中心向量的協(xié)方差矩陣，初始的∑并不能完全獲得真實(shí)的分布信息，為了解決這個(gè)問(wèn)題，本是使用退火策略，先隨機(jī)初始化∑，在訓(xùn)練過(guò)程中∑，將學(xué)習(xí)得到的∑比重慢慢增加，本文設(shè)置，t 為第t 個(gè)迭代周期，T 為總迭代周期。為了使UR 類(lèi)數(shù)據(jù)得到更好的訓(xùn)練，本文通過(guò)學(xué)習(xí)普通類(lèi)協(xié)方差矩陣將這種特性引入U(xiǎn)R類(lèi)，從而得到盡可能多的UR類(lèi)數(shù)據(jù)滿(mǎn)足訓(xùn)練。

首先，將普通類(lèi)圖像以顯式數(shù)據(jù)增強(qiáng)的方式即旋轉(zhuǎn)，裁剪等方法送入網(wǎng)絡(luò)訓(xùn)練，得到圖片的特征向量ai，再利用特征向量ai使用式（5）迭代計(jì)算協(xié)方差矩陣∑：

其中ni為每一類(lèi)的圖片樣本總數(shù)。然后對(duì)這個(gè)協(xié)方差矩陣λ∑，做隨機(jī)采樣M 次得到一個(gè)新的矩陣，根據(jù)矩陣Q對(duì)UR 類(lèi)圖片送入網(wǎng)絡(luò)得到的特征向量ui做隱式數(shù)據(jù)增強(qiáng)，最終得到的隱式數(shù)據(jù)增強(qiáng)特征向量vi，具體計(jì)算過(guò)程如式（6）所示：

M為隨機(jī)對(duì)協(xié)方差矩陣∑的抽樣次數(shù)，每次得到的隱式數(shù)據(jù)增強(qiáng)特征向量記為vik，θjk為vik與WTj之間的夾角。

2.3 算法流程

整體網(wǎng)絡(luò)框架如圖1 所示，本文算法主要是在網(wǎng)絡(luò)中將普通類(lèi)和UR 類(lèi)交替訓(xùn)練，在訓(xùn)練的過(guò)程中慢慢學(xué)習(xí)得到協(xié)方差矩陣∑，以協(xié)方差矩陣對(duì)UR類(lèi)在網(wǎng)絡(luò)中的特征向量做數(shù)據(jù)增強(qiáng)。算法流程步驟如下：

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖

輸入：人臉數(shù)據(jù)集D，初始超參λ0。

輸出：類(lèi)中心特征向量矩陣W，深度網(wǎng)絡(luò)G 權(quán)重參數(shù)Θ。

Step1.隨機(jī)初始化W、Θ，設(shè)置整體迭代周期為T(mén)，初始迭代時(shí)刻設(shè)置為t=0。

Step2.1. 將最小批量樣本送入網(wǎng)絡(luò)G 計(jì)算出特征向量ai=G(xi，Θ)。

Step2.3. 使用SGD 或者Range 優(yōu)化器迭代更新W、Θ，并重復(fù)Step2過(guò)程，直至遍歷完整個(gè)人臉數(shù)據(jù)集的普通類(lèi)。

Step3.1. 將最小批量樣本送入網(wǎng)絡(luò)G 計(jì)算出特征向量ui=G(zi，Θ)。

Step3.2. 根據(jù)式（6）隨機(jī)采樣協(xié)方差矩陣λ∑將隱式數(shù)據(jù)增強(qiáng)M 次，得到特征向量集帶入式（7）計(jì)算損失L。

Step3.3. 使用Adam 優(yōu)化器迭代更新W、Θ ，并重復(fù)Step3過(guò)程，直至遍歷完整個(gè)人臉數(shù)據(jù)集的UR類(lèi)。

Step4.迭代時(shí)刻t自加1，重復(fù)Step2、Step3步驟，直至t=T結(jié)束。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集及評(píng)價(jià)標(biāo)準(zhǔn)

本文方法使用CASIA-WebFace 人臉數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并在多個(gè)公開(kāi)人臉數(shù)據(jù)集LFW 、YTF、IJB-A、MegaFace 進(jìn)行人臉驗(yàn)證、人臉鑒定實(shí)驗(yàn)評(píng)估。

1）CASIA-WebFace：由溫森塞公司的Dong Yi和中國(guó)科學(xué)院的Zhen Lei 等于2013 年發(fā)布。 是一個(gè)大規(guī)模人臉數(shù)據(jù)集，主要用于身份鑒定和人臉識(shí)別，其包含10，575 個(gè)主題和494，414 張圖像，該數(shù)據(jù)集采用半自動(dòng)的方式收集互聯(lián)網(wǎng)人臉圖像，并以此簡(jiǎn)歷大規(guī)模數(shù)據(jù)集。

2）LFW：該數(shù)據(jù)集是目前人臉識(shí)別的常用測(cè)試集，其中提供的人臉圖片均來(lái)源于生活中的自然場(chǎng)景，因此識(shí)別難度會(huì)增大，尤其由于多姿態(tài)、光照、表情、年齡、遮擋等因素影響導(dǎo)致即使同一人的照片差別也很大。并且有些照片中可能不止一個(gè)人臉出現(xiàn)，對(duì)這些多人臉圖像僅選擇中心坐標(biāo)的人臉作為目標(biāo)，其他區(qū)域的視為背景干擾。LFW 數(shù)據(jù)集共有13233 張人臉圖像，每張圖像均給出對(duì)應(yīng)的人名，共有5749 人，且絕大部分人僅有一張圖片。每張圖片的尺寸為250×250，絕大部分為彩色圖像，但也存在少許黑白人臉圖片。

3）YTF：數(shù)據(jù)集包含了3425 個(gè)視頻，涉及1595個(gè)不同的人。所有的視頻都是從YouTube 上下載的，平均每個(gè)科目有2.15 個(gè)視頻，最短的剪輯長(zhǎng)度為48幀，最長(zhǎng)的剪輯長(zhǎng)度為6070幀，平均一段視頻的長(zhǎng)度為181.3幀。

4）IJB-A：一個(gè)用于人臉檢測(cè)和識(shí)別的數(shù)據(jù)庫(kù)，全稱(chēng)為IARPA Janus Benchmark A，其包含1845 個(gè)對(duì)象、11754 張圖片、55026 個(gè)視頻幀、7011 個(gè)視頻和10044 張非人臉圖像，該數(shù)據(jù)集由美國(guó)國(guó)家標(biāo)準(zhǔn)化研究院NIST 發(fā)布。

5）MegaFace：由華盛頓大學(xué)（University of Washington）計(jì)算機(jī)科學(xué)與工程實(shí)驗(yàn)室于2015年針對(duì)名為“MegaFace Challenge”的挑戰(zhàn)而發(fā)布并維護(hù)的公開(kāi)人臉數(shù)據(jù)集，是目前最為權(quán)威熱門(mén)的評(píng)價(jià)人臉識(shí)別性能的指標(biāo)之一。數(shù)據(jù)集中的人臉圖像均采集自Flickr creative commons dataset，共包含690，572個(gè)身份共1，027，060張圖像。這是第一個(gè)在百萬(wàn)規(guī)模級(jí)別的人臉識(shí)別算法測(cè)試標(biāo)準(zhǔn)，本文使用MegaFace Challenge 1做id檢測(cè)。

本文對(duì)網(wǎng)絡(luò)性能的評(píng)估分別在人臉驗(yàn)證和人臉鑒定兩個(gè)識(shí)別任務(wù)中進(jìn)行，人臉驗(yàn)證則是根據(jù)給定的兩張人臉圖像判斷它們是否是同一個(gè)人，而人臉鑒定主要是將給定的面部圖像賦予已知身份的面部鑒定。人臉驗(yàn)證的評(píng)測(cè)指標(biāo)本文使用常用指標(biāo)FAR（False Accept Rate）即鑒定錯(cuò)誤接受比例，具體計(jì)算公式如下：

T為閾值選取參數(shù)，本文閾值選取為0.01，即評(píng)價(jià)指標(biāo)為FAR@.01。對(duì)于人臉鑒定評(píng)價(jià)就采用常用的檢索準(zhǔn)確度，這里取Rank1測(cè)試精度。

3.2 實(shí)驗(yàn)設(shè)置

本文方法實(shí)驗(yàn)設(shè)計(jì)和ArcFace的實(shí)驗(yàn)設(shè)置基本一致。本方法采用基本神經(jīng)網(wǎng)絡(luò)框架ResNet50，采用損失函數(shù)為式（7），根據(jù)上述算法流程展開(kāi)實(shí)驗(yàn)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證分析，本文將式（7）中三個(gè)超參m1，m2，m3分別設(shè)置為1，0.3，0.2。其他方法如Cos-Face參數(shù)都選用其論文中的最優(yōu)結(jié)果。

在數(shù)據(jù)處理部分中，本文將人臉數(shù)據(jù)按照各類(lèi)中數(shù)量高于20 的歸為普通類(lèi)，低于或等于20 的歸為UR類(lèi)。根據(jù)文獻(xiàn)［12］提出了標(biāo)準(zhǔn)化的面孔對(duì)原始人臉圖片進(jìn)行裁剪及相關(guān)仿射變換，使圖片尺度變?yōu)?12×112且更易于網(wǎng)絡(luò)提取特征的最終圖片。

本文所有實(shí)驗(yàn)代碼實(shí)驗(yàn)都基于Pytorch，使用了兩塊NVIDIA Tesla P40 GPU，在CASIA WebFace人臉數(shù)據(jù)集中，采用隨機(jī)梯度下降A(chǔ)dam優(yōu)化器，設(shè)置batch-size 為64，初始學(xué)習(xí)率為0.1，在迭代周期10k、20k、28k 時(shí)分別將學(xué)習(xí)率降為原來(lái)的10%，總共迭代周期為30k次。

3.3 結(jié)果及分析

表1～2 所示為不同方法使用CASIA WebFace人臉數(shù)據(jù)集上訓(xùn)練并在多個(gè)測(cè)試數(shù)據(jù)庫(kù)上分別做人臉驗(yàn)證和人臉鑒定的結(jié)果。通過(guò)數(shù)據(jù)對(duì)比，可以看出本文算法在人臉驗(yàn)證和人臉鑒定的表現(xiàn)均優(yōu)于所有對(duì)比方法。其中實(shí)驗(yàn)的網(wǎng)絡(luò)框架都是使用了ResNet50，以保證對(duì)比的公平性。從表中信息可以觀測(cè)出ArcFace的性能無(wú)論是在人臉驗(yàn)證和人臉鑒定中都優(yōu)于其他方法，F(xiàn)TL 方法是基于Center-Loss 和隱式數(shù)據(jù)增強(qiáng)的方法，性能由于Center-Loss，但是在和ArcFace的比較中并沒(méi)有很強(qiáng)的優(yōu)勢(shì)，本文將隱式數(shù)據(jù)增強(qiáng)方法引入角度距離度量損失函數(shù)，實(shí)驗(yàn)表明結(jié)果良好。

表1 不同方法在LFW和YTF數(shù)據(jù)集中FAR@.01

表2 不同方法在IJB-A和MegeFace數(shù)據(jù)集中Rank1

為了更好地驗(yàn)證本方法隱式增強(qiáng)特性，本文也考慮了對(duì)協(xié)方差矩陣的抽樣次數(shù)做了相關(guān)對(duì)比實(shí)驗(yàn)，如圖2 所示，從圖中可以看出，人臉驗(yàn)證和人臉鑒定的精度在開(kāi)始階段都隨著M的增加而增加，但是在M 到了60 之后就不會(huì)再增加了。是由于隨著單個(gè)樣本特征向量的隱式擴(kuò)充，導(dǎo)致該類(lèi)分布的方差超出了一定界限，最終造成精度的下降，本文根據(jù)人臉驗(yàn)證和鑒定的最優(yōu)精度取M對(duì)應(yīng)的值。

圖2 協(xié)方差矩陣的抽樣次數(shù)對(duì)實(shí)驗(yàn)精度的影響

此外，還研究了Batch-Size 的大小對(duì)結(jié)果的影響，如表3、4所示，最終根據(jù)結(jié)果選取Batch-Size為64。

表3 不同Batch Size在兩種人臉鑒定數(shù)據(jù)集中Rank1

表4 不同Batch Size在兩種人臉驗(yàn)證數(shù)據(jù)集中FAR@.01

4 結(jié)語(yǔ)

本文提出一種將隱式數(shù)據(jù)增強(qiáng)引入角度量損失函數(shù)的人臉識(shí)別算法，有效地緩解了樣本不均衡對(duì)識(shí)別精度的不利影響。隱式數(shù)據(jù)增強(qiáng)使深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練更有針對(duì)性，從而使不同數(shù)據(jù)集的人臉識(shí)別性能得到提升，對(duì)之后的人臉識(shí)別工作有啟發(fā)性意義。