張旭 北京中盾安全技術(shù)開發(fā)公司

引言

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）作為當(dāng)代人工智能的核心技術(shù)之一，在視覺領(lǐng)域已經(jīng)取得了巨大的成功，顯著地提高了人臉識別技術(shù)在公共安全領(lǐng)域的應(yīng)用水平。這主要歸因于大規(guī)模地訓(xùn)練數(shù)據(jù)、端到端的訓(xùn)練框架以及較多的開源深度學(xué)習(xí)框架。

在一般的圖像分類、場景及行為識別中（如車輛、人體、人臉檢測等），測試樣本的可能類別是存在于訓(xùn)練集中的，一般將此類問題歸納為閉集識別。因此，對于此種問題，使用SoftMax損失函數(shù)能夠直接解決。類別預(yù)測層（最后的全連接層）扮演著線性分類器的角色，并且深度學(xué)習(xí)得到的特征容易被分離開。

對于人臉識別來說，由于提前收集所有的測試樣本（所有的類別）用于訓(xùn)練是不可能的，因此用于人臉識別的深度特征不僅需要是可分的而且還要具有區(qū)分性。深度學(xué)習(xí)得到的特征需要足夠具有區(qū)分性和普遍性才能確認(rèn)新的未曾訓(xùn)練的類別。區(qū)分性的特征是盡可能地壓縮類內(nèi)間距，擴(kuò)大類間距。具有區(qū)分性特性的特征能夠使用最近鄰（NN）或K近鄰（K-NN）方法進(jìn)行很好地分類，并且不依據(jù)類別標(biāo)記的預(yù)測。然而，SoftMax損失函數(shù)僅僅鼓勵特征的分離，得到的特征并不足以用于人臉識別。

為訓(xùn)練具有區(qū)分性的特征，構(gòu)造高效的損失函數(shù)是有意義的。因為隨機(jī)梯度下降方法（Stochastic Gradient Descent，SGD）是根據(jù)mini-batch來優(yōu)化CNN網(wǎng)絡(luò)的。而mini-batch并不能反應(yīng)深度特征的全局分布。由于訓(xùn)練集合的龐大規(guī)模，在每一次迭代過程中使用所有的數(shù)據(jù)并不現(xiàn)實。作為替代方法，對比損失函數(shù)（Contrastive Cost Function[1]）和三元損失函數(shù)（Triple Cost Function[2]）分別對人臉圖像對和人臉圖像三聯(lián)體（三個一組）構(gòu)建損失函數(shù)。然而，與圖像的整體樣本相比，訓(xùn)練圖像的數(shù)目正在驟增，這不可避免地導(dǎo)致收斂速度降低和測試數(shù)據(jù)的不穩(wěn)定性。通過仔細(xì)地選擇圖像訓(xùn)練數(shù)據(jù)對，這些問題可能被減輕，但是選擇的這個過程增加了計算的復(fù)雜度以及對訓(xùn)練帶來的不方便。

中心損失（Center Loss）[3]的提出可以有效地增強(qiáng)深度學(xué)習(xí)得到的特征的區(qū)分性。特別地，針對每一個類別學(xué)習(xí)到一個對應(yīng)的中心。在訓(xùn)練過程中，同時更新特征中心和最小化深度特征與其對應(yīng)的中心之間的距離。根據(jù)Wen等人[3]文章中提供的算法，本文發(fā)現(xiàn)隨著中心損失的權(quán)重加大，類的中心向坐標(biāo)系靠近，致使類與類的區(qū)分性降低。因此本文提出一種強(qiáng)區(qū)分的深度學(xué)習(xí)訓(xùn)練方法，提出中心擴(kuò)散損失函數(shù)；修改中心損失函數(shù)對類中心計算的方法，并在國際學(xué)術(shù)人臉識別測試集和多省公安檢查站人臉證件照驗證實戰(zhàn)應(yīng)用中測試。

一、相關(guān)研究

在FaceNet[2]使用之前，人臉識別方法是使用一個被使用已知人臉身份的集合訓(xùn)練的分類層，之后，將中間瓶頸層作為人臉識別的抽象表達(dá)。這種方法的缺點是非直接性和低效性。人們需要寄期望于中間瓶頸層對新的人臉依然可以很好地抽象表達(dá)，并且，通過使用瓶頸層，抽象的結(jié)構(gòu)通常很大。因此人們提出純數(shù)據(jù)驅(qū)動的方法，該方法直接學(xué)習(xí)人臉像素的表示，而不是使用人工設(shè)計的特征，通過使用大量標(biāo)注的人臉數(shù)據(jù)集，以獲得對姿勢、光照以及其他條件的適應(yīng)性。

目前已有較多的人臉核驗及識別的工作完成。全部敘述這些文章超出了本文的范圍，因此本文簡述與本篇文章相關(guān)的技術(shù)。

文獻(xiàn)[4][5]的研究中，使用傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)結(jié)合的系統(tǒng)。該系統(tǒng)結(jié)合使用PCA對深度特征進(jìn)行降維，并使用SVM對它進(jìn)行分類。

Zhenyao等人[5]使用一個深度網(wǎng)絡(luò)來“扭曲”人臉到一個標(biāo)準(zhǔn)的正面視圖，之后學(xué)習(xí)CNN，將一個人的每張臉歸為一類。在網(wǎng)絡(luò)輸出時，結(jié)合PCA與SVM對人臉進(jìn)行核實。

通過工頻耐壓試驗后，將綜合絕緣抱桿分別應(yīng)用于廣漢10 kV三涼路新豐支線82號桿、什邡10 kV雙禾路松柏支線26號桿、中江10 kV回朝路06號桿等3處進(jìn)行絕緣桿作業(yè)法帶電接引線的作業(yè)，如圖11、圖12所示。

Sun等人[6,4]提出一種壓縮和相對方便的計算網(wǎng)絡(luò)。他們使用一種結(jié)合的25個網(wǎng)絡(luò)的模型，每個操作對應(yīng)著人臉的不同區(qū)塊。在Embedding空間中使用PCA和Joint Bayesian model。他們的方法并不需要配準(zhǔn)2D/3D圖像。這個網(wǎng)絡(luò)被訓(xùn)練使用結(jié)合人臉分類和人臉驗證的損失函數(shù)。驗證損失函數(shù)類似于Triplet Loss，最小化同一人臉的L2距離，并且在不同人臉之間強(qiáng)加一個限制邊界。不同之處在于，只有圖像對被比較了，而Triplet Loss鼓勵正樣本對與負(fù)樣本對之間的相對距離約束。

Wang等人[7]將Triplet Loss作為相似性度量應(yīng)用于圖像訓(xùn)練的排序?qū)又?，來排序圖像的語義和視覺相似性。

Sun等人[8]通過對每一個卷積層增加一個全鏈接層和損失函數(shù)來增強(qiáng)監(jiān)督信號。Schroff F等人[9-12]使用三元損失函數(shù)來訓(xùn)練CNN 網(wǎng)絡(luò)。隨著深度表示，錨和一個正的之間的距離被最小化，而一個錨和一個負(fù)之間的距離最大化，直到滿足正樣本與負(fù)樣本之間的邊界。

二、一種加強(qiáng)區(qū)分的特征訓(xùn)練方法

不同于中心損失函數(shù)，考慮類內(nèi)元素與中心之間的距離，本文使用的中心擴(kuò)散函數(shù)還考慮擴(kuò)大不同類別之間的距離。因此，該方法能夠產(chǎn)生高度區(qū)分性的特征。與此同時，類別中心計算方式也做了相應(yīng)的調(diào)整，使類別的中心不再隨著損失函數(shù)權(quán)重的增大而向坐標(biāo)系中心聚集，因而更加提高類與類的區(qū)分性。

（一）中心擴(kuò)散損失函數(shù)

類的分離（可分）與類之間擴(kuò)散（遠(yuǎn)距離）存在較大的區(qū)別。如圖1所示，在λ=le-5時，類與類之間是可分的，這是SoftMax Loss的作用，但可分并不表示特征之間的距離相近（距離相近的兩個不同的點），尤其對于人臉識別的應(yīng)用。因此Yandong Wen等人[3]又增加了中心損失函數(shù)（Center Loss），將類內(nèi)距離考慮到損失之中，從而使特征之間更加的聚合。如公式1所示，損失函數(shù)由兩部分構(gòu)成：SoftMax Loss和Center Loss，為了權(quán)衡這兩個權(quán)重之間的比重，通過一個權(quán)重參數(shù)來平衡兩個損失函數(shù)之間的關(guān)系。

其中，Ls表 示SoftMax損失函數(shù)，Lc表示Center損失函數(shù)。公式2中的cyi表 示類別yi的中心。SoftMax部分確保類與類之間可分性，而Center Loss則是盡量縮小類內(nèi)之間的距離。然而，可分性與區(qū)分性是有差別的。通過SoftMax計算的類別是線性可分的，而區(qū)分性則側(cè)重于類與類之間存在較大的空間以及類內(nèi)高度聚合。

上述的方法存在著一些缺陷。首先，中心損失函數(shù)隨著λ權(quán)重的增大，樣本的特征整體向中心壓縮。如圖1所示，隨著λ權(quán)重的增大，中心損失函數(shù)在整體損失函數(shù)的比重增大，cyi不斷向中心靠攏，cyi的更新是根據(jù)xi確定的，要想對Lc減小，相應(yīng)地對Center Loss部分的壓縮的比例也會增大，因此樣本整體向中心壓縮。整體向中心壓縮會降低類別之間的區(qū)分性。例如：同比例收縮類內(nèi)距離和類間距離等價于等比例縮放，并不能體現(xiàn)類的聚合。因此選擇較優(yōu)的超參λ在公式2中很重要。

其次，公式2中，只考慮了縮小類內(nèi)元素之間的距離，并沒有考慮不同類別之間的距離。Ls只負(fù)責(zé)類與類之間是可分的，并不能確保中心與中心之間擁有可以區(qū)分的距離。如圖1所示，當(dāng)λ=1時，類存在按距離誤分的點對（異類的點對小于同類點對間距離）。

因此，本文考慮一種新的損失函數(shù)中心擴(kuò)散損失函數(shù)(Disc Loss)公式4。

該損失函數(shù)不但要縮小類內(nèi)元素之間的距離，同時還要增大其他類別樣本與該類別之間的距離。公式4中，使用類內(nèi)最大至中心距離與類外最小至中心距離，使距離最遠(yuǎn)的類內(nèi)點與距離最近的類外點具有較大的損失，因而加快類的內(nèi)部收縮以及防止類外點的逼近，加強(qiáng)類與類之間的區(qū)分性。為了防止類別之間過于擴(kuò)散，受Florian等人[2]啟發(fā)，在公式后添加邊界，當(dāng)最大類內(nèi)與最小類外之差大于margin時，此時便滿足損失函數(shù)的最優(yōu)條件，且類中心相應(yīng)地也不會更新，進(jìn)而保證了類與類之間的距離。

（二）MINIST分類實驗

本文使用MINIST[13]手寫數(shù)字識別數(shù)據(jù)集來測試中心擴(kuò)散損失函數(shù)。手勢識別的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

?

首先本文使用公式2損失函數(shù)測試MINIST訓(xùn)練過程及效果。如圖1所示，可以清楚地從圖中看到在增大的同時，特征空間整體分布的范圍縮小，類與類之間的距離也同時縮小，類與類之間的區(qū)分性逐漸降低。

之后，本文使用公式4損失函數(shù)對相同網(wǎng)絡(luò)和數(shù)據(jù)集進(jìn)行測試，其效果如圖2所示?？梢钥吹诫S著λ不斷增大，類內(nèi)數(shù)據(jù)點壓縮的速度加快，類與類之間具有了較大的區(qū)分性，特征空間整體上不再縮小，類與類之間的距離不再縮小，類與類之間具有較遠(yuǎn)的間距，特征之間具有較強(qiáng)的區(qū)分性。

三、人臉識別的應(yīng)用

本章利用公式4作為損失函數(shù)，將其應(yīng)用于人臉識別中，并在公開的人臉識別數(shù)據(jù)庫LFW[15]以及自有數(shù)據(jù)集OWNDataset上進(jìn)行測試，來驗證所提出方法的作用。OWNDataset中每一個樣本由一對證件照和實際場景抓拍到的照片組成，共14萬對，本文為每一樣本隨機(jī)配對10組。

本文使用Inception-Resnet[17]網(wǎng)絡(luò)結(jié)構(gòu)對人臉數(shù)據(jù)進(jìn)行訓(xùn)練。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。由于人臉已具有高度的區(qū)分性，因此在測試時，本文對特征進(jìn)行標(biāo)準(zhǔn)化，然后計算兩個特征之間的L2距離作為人臉的相似度。

（一）人臉圖像預(yù)處理

所有的人臉圖像以及其特征點通過MTCNN算法[12]檢測出來。所檢測的特征點的個數(shù)為5，分別對應(yīng)著人臉的左眼，右眼，鼻子，左嘴角和右嘴角。通過仿射變換將所有的檢測到人臉的圖片變換到標(biāo)準(zhǔn)的人臉位置上。丟棄檢測失敗的人臉，不做任何處理。變換后的人臉照片被剪切到160X160大小像素。每幅圖像具有RGB三個通道，并且對每幅圖像進(jìn)行歸一化[-1，1]。

（二）訓(xùn)練測試

本文使用目前公開的數(shù)據(jù)集進(jìn)行訓(xùn)練，分別是CASIAWebFace[14]和 Facescrub[16]。通過圖片預(yù)處理之后，整個訓(xùn)練集共554458張人臉圖像，共11109人。在訓(xùn)練過程中，這些人臉被隨機(jī)地左右翻轉(zhuǎn)，生成的模型在LFW[16]測試庫進(jìn)行交叉驗證測試（10組），之后將Disc Loss模型生成的結(jié)果在本文收集的數(shù)據(jù)集進(jìn)行訓(xùn)練和交叉驗證測試（10組），并與兩個算法廠商在同樣的測試集上進(jìn)行對比。

（三）測試結(jié)果

最終本文的訓(xùn)練結(jié)果如圖4、圖5所示。圖4是使用Disc Loss層和Center Loss層在LFW測試庫上生成的ROC曲線對比結(jié)果，其統(tǒng)計結(jié)果如表2所示，其準(zhǔn)確率可以達(dá)到0.994±0.003。圖5是Disc Loss訓(xùn)練的模型在自有數(shù)據(jù)集上OWN-Dataset與兩個算法廠商的ROC曲線對比結(jié)果，其統(tǒng)計結(jié)果如表3所示。在錯誤接受率為0.1%時，使用本文方法訓(xùn)練的模型的正確接受率為94.9%，遠(yuǎn)超于與本文比較的兩個算法廠家A、B的結(jié)果。

?

?

四、總結(jié)

公安視頻畫面多出現(xiàn)光線、角度、姿態(tài)、遮擋等一系列情況，導(dǎo)致人臉的類內(nèi)距離較大。本文通過建立中心擴(kuò)散函數(shù)來在訓(xùn)練的過程中擴(kuò)大不同類別之間的距離，同時減小類別之內(nèi)的距離。在國際學(xué)術(shù)人臉識別測試集和多省公安檢查站人臉證件照驗證實戰(zhàn)應(yīng)用中測試表明，本文提出的算法相比現(xiàn)有深度學(xué)習(xí)人臉識別算法具有更強(qiáng)的環(huán)境適應(yīng)能力和相似人員區(qū)分能力。

[1] Sun Y, Wang X, Tang X. Deep Learning Face Representation by Joint Identification-Verification[J]. 2014, 27:1988-1996.

[2] Schroff F, Kalenichenko D, Philbin J. FaceNet: A Unified Embedding for Face Recognition and Clustering[J]. 2015:815-823.

[3] Wen Y, Zhang K, Li Z, et al. A Discriminative Feature Learning Approach for Deep Face Recognition[J]. 2016, 47(9):499-515.

[4] Sun Y, Wang X, Tang X. Deeply Learned Face Representations are Sparse, Selective, and Robust[C]// Computer Vision and Pattern Recognition. IEEE, 2015:2892-2900.

[5] Zhu Z, Luo P, Wang X, et al. Recover Canonical-View Faces in the Wild with Deep Neural Networks[J]. Eprint Arxiv, 2014.

[6] Sun Y, Wang X, Tang X. Deep Learning Face Representation by Joint Identification-Verification[J]. 2014, 27:1988-1996.

[7] Wang J, Song Y, Leung T, et al. Learning Fine-Grained Image Similarity with Deep Ranking[C]// Computer Vision and Pattern Recognition. IEEE, 2014:1386-1393.

[8] Sun Y, Wang X, Tang X. Deeply Learned Face Representations are Sparse, Selective, and Robust[C]// Computer Vision and Pattern Recognition. IEEE, 2015:2892-2900.

[9] Schroff F, Kalenichenko D, Philbin J. FaceNet: A Unified Embedding for Face Recognition and Clustering[J]. 2015:815-823.

[10] Parkhi O M, Vedaldi A, Zisserman A. Deep Face Recognition[C]// British Machine Vision Conference. 2015:41.1-41.12.

[11] Liu J, Deng Y, Bai T, et al. Targeting Ultimate Accuracy: Face Recognition via Deep Embedding[J], 2015.

[12] Zhang K, Zhang Z, Li Z, et al. Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks[J].IEEE Signal Processing Letters, 2016, 23(10):1499-1503.3].

[13] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based Learning Applied to Document Recognition[J]. Proceedings of the IEEE,1998, 86(11):2278-2324.

[14] Dong Yi, Zhen Lei, Shengcai Liao and Stan Z. Li, "Learning Face Representation from Scratch". arXiv preprint arXiv:1411.7923. 2014.

[15] Huang G B, Mattar M, Berg T, et al. Labeled Faces in the Wild:A Database for Studying Face Recognition in Unconstrained Environments[J]. Month, 2007.

[16] Ng H W, Winkler S. A Data-driven Approach to Cleaning Large Face Datasets[C]// IEEE International Conference on Image Processing. IEEE, 2015:343-347.

[17] SzegedyC, loffe S, Vanhoucke V, et al. Inception-v4. Inception-ResNet and the Impact of Residual Connections on Learning[J].2016.