黃怡涓，左劼，孫頻捷

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065；2.上海政法學(xué)院，上海200000）

0 引言

在身份認(rèn)證場(chǎng)景中，人臉已經(jīng)成為顯著的生物特征，近幾年對(duì)于人臉識(shí)別的研究也越來(lái)越多。人臉識(shí)別廣泛應(yīng)用于金融、安防、通行和手機(jī)解鎖等場(chǎng)景。在計(jì)算機(jī)視覺領(lǐng)域，人臉識(shí)別已經(jīng)是一個(gè)研究了很長(zhǎng)時(shí)間的話題?；谏疃葘W(xué)習(xí)的方法近幾年取得了突破性進(jìn)展，在LFW 等公開數(shù)據(jù)集上性能遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)的手工特征方法。深度學(xué)習(xí)方法的動(dòng)機(jī)在于學(xué)習(xí)一個(gè)從輸入到特征空間的映射函數(shù)，從而獲得人臉圖像在高維特征空間中的表達(dá)。特征在高維空間中的性質(zhì)嚴(yán)重依賴于損失函數(shù)的設(shè)計(jì)，為了使得人臉圖像的特征表達(dá)對(duì)于身份具有很強(qiáng)的可分性，基于多分類的方法主要對(duì)分類損失函數(shù)進(jìn)行不同的改進(jìn)，基于度量學(xué)習(xí)的方法主要探索如何使得類間距離大于類內(nèi)距離。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

在神經(jīng)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）廣泛應(yīng)用于圖像重建、圖像分類、目標(biāo)檢測(cè)和人臉識(shí)別等。雖然卷積神經(jīng)網(wǎng)絡(luò)在20 年以前已經(jīng)被提出[1]，最近幾年硬件的提升才讓訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)成為可能。最初的LeNet5[2]僅有5 層卷積、VGG19[3]增加到19 層，最近幾年高速神經(jīng)網(wǎng)絡(luò)[4]和殘差神經(jīng)網(wǎng)絡(luò)[5]才超過(guò)100 層卷積層。卷積神經(jīng)網(wǎng)絡(luò)通常由卷積層、采樣層、激活函數(shù)和批歸一化[6]等組成，常見的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。卷積層利用采用卷積核滑窗的方式獲取下一個(gè)特征圖的神經(jīng)元的值，每一次卷積的計(jì)算都是一個(gè)線性操作。為了讓網(wǎng)絡(luò)具有非線性表達(dá)能力，卷積層之后通常接一個(gè)非線性函數(shù)也叫激活函數(shù)，常用的激活函數(shù)有Relu、Tanh 和Sigmoid 等。當(dāng)特征圖的空間尺寸過(guò)大時(shí)，一次卷積的計(jì)算時(shí)間比較高且神經(jīng)元的感受野較小。為了獲得更大的感受野和減少特征計(jì)算時(shí)間，激活函數(shù)之后會(huì)增加一個(gè)采樣層，常用的采樣層有最大值采樣和均值采樣。對(duì)于一個(gè)分類任務(wù)，網(wǎng)絡(luò)最后會(huì)接一個(gè)全連接層，全連接層的維度和類別數(shù)一致。最后通過(guò)Softmax 獲得每個(gè)類別的概率分布。

圖1 卷積神經(jīng)網(wǎng)絡(luò)PipeLine[3]

1.2 度量學(xué)習(xí)

度量學(xué)習(xí)是學(xué)習(xí)一個(gè)距離函數(shù)直接作為相似度的度量，學(xué)習(xí)的目標(biāo)是使得在特征空間中相似的目標(biāo)離得近、不相似的離得遠(yuǎn)。而深度度量學(xué)習(xí)主要是利用深度神經(jīng)網(wǎng)絡(luò)提取輸入的特征表達(dá)，在特征所在的高維空間定義一個(gè)度量，例如L2 距離、Cosine 距離等，根據(jù)定義的度量性質(zhì)設(shè)計(jì)損失函數(shù)進(jìn)行端到端學(xué)習(xí)。度量學(xué)習(xí)常用于人臉識(shí)別等任務(wù)中，如圖2 所示，學(xué)習(xí)的目標(biāo)是使得網(wǎng)絡(luò)收斂后相似的目標(biāo)在定義的度量下（以L2 距離為例）離得更近。

圖2 度量學(xué)習(xí)在人臉識(shí)別中的應(yīng)用

2 研究進(jìn)展

2.1 基于多分類的人臉識(shí)別方法研究

多分類的方法是在閉集上訓(xùn)練一個(gè)多分類器，設(shè)計(jì)分類損失讓閉集上的特征能具有強(qiáng)可分性。在測(cè)試階段，底庫(kù)和查詢利用閉集上訓(xùn)練的模型來(lái)獲取圖像的特征表達(dá)。由于測(cè)試集是開集，基于多分類思路的識(shí)別性能具有如下缺陷：①更多的類別訓(xùn)練效果更好，但是更多的類別嚴(yán)重受限于硬件計(jì)算資源，網(wǎng)絡(luò)最后一層全連接層的參數(shù)W ∈Rd×n隨著ID 數(shù)量n 的增加而增加；②基于閉集學(xué)習(xí)到的特征可分性不一定在開集識(shí)別中足夠的可分。

多分類方法廣泛運(yùn)用的損失函數(shù)是Softmax loss，最近有很多工作提出如何讓Softmax loss 學(xué)習(xí)到的特征據(jù)有更強(qiáng)的可分性質(zhì)[7,8,9,10,11,12,13,14,15]。Wen等人提出Center loss[7]，利用L2 約束讓Batch 中每個(gè)樣本“離類別中心盡可能的小”，也即是減少類內(nèi)距離。這個(gè)方法存在一個(gè)明顯的缺陷就是訓(xùn)練階段更新類別中心時(shí)間成本太高。觀察基于Softmax loss 訓(xùn)練的模型，最后一個(gè)全連接層的參數(shù)近似等于每個(gè)類別的類中心特征。基于這個(gè)結(jié)論，文獻(xiàn)[10,16]提出對(duì)分類的角度添加間隔來(lái)增大類間間隔并減少類內(nèi)間隔，但是這些方法為了計(jì)算做了很多的近似，訓(xùn)練過(guò)程中并不穩(wěn)定。CosFace[11]直接對(duì)Cosin 值添加間隔，在公開數(shù)據(jù)集上獲得了比SphereFace 更好的人臉識(shí)別性能。

目前在多個(gè)公開數(shù)據(jù)集上獲得最佳性能的方法是ArcFace[17]，網(wǎng)絡(luò)框架如圖3 所示。對(duì)特征和最后一層全連接層的參數(shù)做了模長(zhǎng)歸一化之后，參數(shù)和特征的點(diǎn)積等價(jià)于Cosine 相似度。利用Arc-Cosin 函數(shù)計(jì)算出特征和參數(shù)（近似為類中心）的夾角，然后直接對(duì)角度增加間隔，從而獲得更好的類間可分性。

圖3 ArcFace網(wǎng)絡(luò)框架[17]

廣泛使用的分類損失函數(shù)Softmax loss，其計(jì)算如公式（1）：

xi∈Rd表示第i 個(gè)樣本的特征，yi表示分類結(jié)果。在文章里面d=512，Wj∈Rd表示最后一層全連接層參數(shù)W ∈Rd×n的第j 列，bj∈Rn是偏置項(xiàng)。N 和n 分別是Batch size 和類別數(shù)。傳統(tǒng)的Softmax loss 廣泛應(yīng)用于深度人臉識(shí)別任務(wù)中[18,19]。傳統(tǒng)的Softmax loss 函數(shù)并不能讓學(xué)習(xí)到的特征具有更小的類內(nèi)方差和更大的類間方差，當(dāng)類內(nèi)方差變大的時(shí)候（姿態(tài)、光照和年齡等變化），識(shí)別性能會(huì)嚴(yán)重下降。

為了簡(jiǎn)潔，固定bj=0 ，然后對(duì)點(diǎn)積做恒等變換=||Wj||||xi||cos θj，其中θj是參數(shù)Wj和特征xi之間的夾角。通過(guò)歸一化，使得||Wj||=1、||xi||=1，對(duì)特征做Re-scale 使得模長(zhǎng)是s。對(duì)特征和參數(shù)做歸一化使得分類只依賴于特征和參數(shù)之間的夾角，學(xué)習(xí)到的特征被約束到一個(gè)半徑是s 的超球面上。特征和參數(shù)歸一化之后的損失函數(shù)定義如公式（2）。

每個(gè)樣本的特征都是在類別中心的長(zhǎng)球面附近，對(duì)參數(shù)和特征的夾角添加一個(gè)懲罰因子m 來(lái)增強(qiáng)類間差異和類內(nèi)一致性，添加懲罰因子m 后的損失函數(shù)定義如公式（3）：

作者選擇了8 個(gè)不同的ID，每個(gè)ID 包含1500 張圖像，訓(xùn)練了Softmax loss 和ArcFace，最后降維可視化后發(fā)現(xiàn)ArcFace 可分性更好，對(duì)比見圖4。在多個(gè)公開數(shù)據(jù)集上，ArcFace 獲得了最佳的識(shí)別性能。

圖4 Softmax和ArcFace特征降維可視化對(duì)比圖

2.2 基于度量學(xué)習(xí)的人臉識(shí)別方法研究

度量學(xué)習(xí)方法主要包含三個(gè)部分：特征提取網(wǎng)絡(luò)、采樣策略和損失函數(shù)。特征提取網(wǎng)絡(luò)對(duì)于人臉識(shí)別任務(wù)主要是基于卷積神經(jīng)網(wǎng)絡(luò)，不同的計(jì)算平臺(tái)可以根據(jù)需求選擇或者設(shè)計(jì)合適backbone。常用的損失函數(shù)有Contrastive loss[20]和Triplet loss[21]。Contrastive loss 的定義如公式（4）：

其中i 和j 分別表示樣本i 和j，yij表示i 和j 是否為相同ID；0 表示不是同一個(gè)人，1 表示是同一個(gè)人；Dij表示樣本i 和樣本j 之間L2 距離。對(duì)比損失優(yōu)化的目標(biāo)使得同一個(gè)ID 的距離更小，不同ID 之間的距離區(qū)域常數(shù)?。對(duì)比損失沒(méi)有充分考慮到正負(fù)樣本距離之間的大小關(guān)系，F(xiàn).Schroff 等人[21]提出將Triplet loss作為度量學(xué)習(xí)的損失函數(shù)。Triplet loss 定義了anchor、正樣本點(diǎn)和負(fù)樣本點(diǎn)，學(xué)習(xí)的目標(biāo)是使得anchor 和正樣本點(diǎn)之間的距離小于anchor 和負(fù)樣本點(diǎn)之間的距離，直觀的理解可以參考圖5。

圖5 Triplet 優(yōu)化目標(biāo)[21]

Triplet loss 定義如公式（5）：

其中N 是mini-batch 的大??；i 表示第i 各樣本。Triplet loss 的優(yōu)化目標(biāo)是使得類間距離大于類內(nèi)距離加上要給間隔?。相比Contrastive loss，Triplet loss 增加了類內(nèi)距離和類間距離的大小關(guān)系，最后在公開的人臉數(shù)據(jù)集上的1:1 和1:n 的識(shí)別性能均超過(guò)了Contrastive loss。其中1:1 表示人臉驗(yàn)證，1:n 表示人臉識(shí)別。雖然三元組有很多優(yōu)點(diǎn)，但是三元組的采樣和Semi-hard 挖掘依然是影響模型性能的重要超參。

3 結(jié)語(yǔ)

基于多分類和度量學(xué)習(xí)的人臉識(shí)別方法從優(yōu)化的目標(biāo)上可以分為兩種不同的方法。多分類的思路是利用大量的閉集數(shù)據(jù)訓(xùn)練Softmax loss 等損失函數(shù)，讓網(wǎng)絡(luò)學(xué)習(xí)到的特征具有很強(qiáng)的可分性從而能泛化到開集識(shí)別數(shù)據(jù)集上。多分類方法學(xué)習(xí)到的人臉特征，其可分性質(zhì)嚴(yán)重受限于閉集上類別數(shù)量，由于網(wǎng)絡(luò)的參數(shù)量和ID 數(shù)量成正比，其類別數(shù)量嚴(yán)重的被計(jì)算能力限制住?；诙攘繉W(xué)習(xí)的方法不管是訓(xùn)練還是測(cè)試都是面向開集，當(dāng)訓(xùn)練集中樣本較小的情況下依然可以訓(xùn)練。多分類和度量學(xué)習(xí)各有優(yōu)勢(shì)，針對(duì)人臉識(shí)別任務(wù)，不管是多分類還是度量學(xué)習(xí)的方法都能在公開benchmark 上獲得不錯(cuò)的識(shí)別性能。雖然在公開的數(shù)據(jù)集上多分類方法獲得了最佳的識(shí)別性能，但是當(dāng)需要解決的問(wèn)題規(guī)模很大的時(shí)候，例如工業(yè)界安防、通行和手機(jī)解鎖等場(chǎng)景，可能度量學(xué)習(xí)更具有優(yōu)勢(shì)，這些場(chǎng)景天生就是開集識(shí)別問(wèn)題。未來(lái)可以考慮將多分類和度量學(xué)習(xí)做多任務(wù)學(xué)習(xí)一起優(yōu)化，利用多任務(wù)學(xué)習(xí)的方法優(yōu)化模型。開集上的識(shí)別問(wèn)題，往往需要模型推薦一個(gè)閾值，當(dāng)兩張比對(duì)的人臉?lè)謹(jǐn)?shù)超過(guò)閾值認(rèn)為是同一個(gè)人、低于閾值則不是同一個(gè)人。當(dāng)樣本分布變化很大的時(shí)候，例如多光照、多姿態(tài)、不同年齡和遮擋變化等，這些場(chǎng)景會(huì)導(dǎo)致類內(nèi)和類間的距離方差過(guò)大。當(dāng)類內(nèi)和類間距離方差過(guò)大閾值便不能對(duì)齊，表現(xiàn)為正常光和暗光場(chǎng)景的thr@far 差異過(guò)大，目前還沒(méi)有閾值對(duì)齊方面的研究，未來(lái)可以考慮增加這方面的工作。