張曉林,范 宇,劉惟錦,王春華

(北京航天長峰科技工業(yè)集團有限公司,北京 100039)

引言

人臉識別[1,2]技術(shù)是計算機視覺領(lǐng)域的研究熱點,同時在安防領(lǐng)域也有大量的應(yīng)用需求.最近幾年,隨著公安部門在傳感技術(shù)、云計算技術(shù)、視頻智能監(jiān)控技術(shù)、圖像聯(lián)網(wǎng)技術(shù)等方面的迅猛發(fā)展,針對公安系統(tǒng)領(lǐng)域安防業(yè)務(wù)需求的人臉識別技術(shù)就顯得尤為重要,在嫌疑人追逃、可疑人員確認、重點場所布控等方面,人臉識別都有著不可替代的作用.

早期使用較多的人臉識別方法主要是局部二值模型(LBP)[3]特征結(jié)合支持向量機(SVM)分類器的方法,該方法在多種實驗條件下都有很好的識別準確率,但是在真實環(huán)境中由于光照、遮擋以及其他不確定因素,導(dǎo)致識別性能顯著下降.近年來隨著深度學(xué)習(xí)的發(fā)展,基于深度學(xué)習(xí)的人臉識別算法相比于早期傳統(tǒng)算法,在準確率和魯棒性方面都有了顯著的提升.

在人臉識別的研究中,最常用的圖像庫是LFW[4],該數(shù)據(jù)庫中共有5749人的13 233幅圖像,其中1680人擁有兩幅及以上的圖像.該數(shù)據(jù)庫所采集的照片是生活中人臉的圖片,目的是能夠提高在自然條件下人臉識別的精確度.

目前在該圖像庫下,國內(nèi)外的很多研究團隊的實驗室利用深度學(xué)習(xí)算法的識別準確率已經(jīng)高達95%乃至99%以上.Z Zhu[5]等人提出了一種新的深度學(xué)習(xí)模型,該模型可以在保持個體之間差異的同時,極大地減少單個個體的人臉圖像之間的差異,該方法在LFW 數(shù)據(jù)集上取得了96.45% 的成績.Y Taigman[6]等人通過使用額外的3D模型改進了人臉對齊的方法,然后使用采集到的四百萬張人臉圖片訓(xùn)練一個9層的網(wǎng)絡(luò)模型,該方法在LFW數(shù)據(jù)集上取得了97.35%的準確率.Y Sun[7]等人同時使用了 VGG Net和 GoogLeNet相結(jié)合來進行人臉識別,利用這兩種框架在LFW數(shù)據(jù)集上取得了97.45%的成績.E Zhou[8]等人使用的是常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)模型,但他們將從互聯(lián)網(wǎng)上搜集到的五百萬張人臉圖片作為數(shù)據(jù)集用來訓(xùn)練該網(wǎng)絡(luò),使其在LFW數(shù)據(jù)集上的準確率高達99.50%.F Schroff[9]等人開發(fā)出一種新的人臉識別系統(tǒng),該系統(tǒng)將人臉圖像直接映射到歐式空間,空間中距離的大小代表人臉圖像相似性的大小,當(dāng)該映射空間形成之后,在此基礎(chǔ)上進行人臉識別就顯得輕松而且自然,該方法在LFW數(shù)據(jù)集上的準確率為99.63%.

從上述研究成果來看基于深度學(xué)習(xí)算法的人臉驗證準確率已經(jīng)達到甚至超過了人眼,但并不能武斷地說計算機進行人臉識別的準確率已經(jīng)超越了人類.這主要是基于兩點原因,首先是在LFW數(shù)據(jù)集上是進行人臉驗證,是判斷一對輸入圖像中出現(xiàn)的是否是同一個人,而人臉識別是在一個人臉庫中找到和輸入人臉最相近的圖像,相比而言,后者的難度要遠大于前者,尤其是在百萬甚至千萬量級的人臉庫中.其次,在實際的業(yè)務(wù)應(yīng)用中,獲取個人大量的標注身份信息的圖像是不現(xiàn)實的,很多時候只能使用單張的個人身份證照片構(gòu)建人臉庫,而在進行人臉識別時,獲取的測試人臉圖像由于光線、分辨率、清晰度、傾斜角度和時間跨度等因素,都會大大增加人臉識別的難度.

針對公安部門在日常業(yè)務(wù)中對基于證件照進行人臉識別的迫切需求,本文進行了基于深度學(xué)習(xí)的證件照人臉識別的研究與實現(xiàn).

1 人臉識別系統(tǒng)算法設(shè)計

人臉識別系統(tǒng)從輸入圖像中自動識別圖像中人的身份信息,本質(zhì)上是從構(gòu)建的人員身份庫中找到和輸入圖像中包含的最相似的人臉,人臉識別要做的是計算兩幅人臉圖像的相似度是否足夠高.

如圖1所示,人臉識別系統(tǒng)的實現(xiàn)一般包括人臉檢測、特征點定位、人臉對齊、特征向量提取和相似度衡量五個過程.其中人臉檢測找到臉在哪里,即找到圖像中人臉的精確位置; 特征點定位找到五官在哪里,分別找到左眼中心、右眼中心、鼻尖、左嘴角和右嘴角的位置; 人臉對齊實現(xiàn)測試圖像和參考圖像的五官位置; 特征向量提取將人臉圖像表示為特征向量; 相似度衡量比較兩幅人臉圖像特征向量之間的相似度是否足夠高.本文使用MTCNN算法[10]完成人臉檢測和特征點定位,使用普氏分析進行人臉對齊,使用FaceNet進行人臉特征提取,計算特征向量的歐式距離進行人臉圖像相似度衡量.

圖1 人臉識別流程

1.1 基于MTCNN的人臉檢測算法

在人臉檢測階段,分別采用了P-Net,R-Net和ONet,3個不同的網(wǎng)絡(luò)結(jié)構(gòu)三階級聯(lián),如圖2所示.

首先是 Proposal Network (P-Net),該網(wǎng)絡(luò)的主要功能是初步獲取人臉區(qū)域范圍以及邊界框的回歸向量,可以同時并快速地獲得多個包含人臉的邊界框.然后通過非極大值抑制對這些候選的邊界框進行校準,這樣可以篩選出重疊度較高的邊界框并將它們進行合并.其次是 Refine Network (R-Net),該網(wǎng)絡(luò)的主要功能依然是通過邊界框以及非極大值抑制的方法將不滿足要求的邊界框進行合并,但是由于該網(wǎng)絡(luò)框架相比Proposal Network在最后多了一個全連接層,因此其篩選能力更強,可以將之前無法識別出的干擾邊界框進行合并與排除.最后是 Output Network (O-Net),該網(wǎng)絡(luò)也是有著同樣的目的,不過其相比于R-Net多了一個卷積層,因此在處理時會更加精細.經(jīng)過上述3個網(wǎng)絡(luò)的處理,可以得到檢測出的人臉邊界框以及5個關(guān)鍵點(雙眼、鼻尖、左右嘴角)的坐標.

同時,每個網(wǎng)絡(luò)也都是一個多任務(wù)的網(wǎng)絡(luò),所處理的任務(wù)分別為人臉有無的檢測、人臉邊界框的確定以及對五個特征點的定位.

首先在判斷圖像是否包括人臉時采用的交叉熵損失函數(shù)為:

在人臉邊界框回歸時,采用的歐氏距離損失函數(shù)為:

在確定人臉的特征點時采用的歐式距離損失函數(shù)為:

其中表示三個任務(wù)在當(dāng)前階段的網(wǎng)絡(luò)中所占的重要性,為當(dāng)前采樣的指示器.

由于本文中采用的數(shù)據(jù)集為身份證照片,即能夠保證數(shù)據(jù)集中每張圖像有且只有一張很清晰的人臉,因此在提取特征向量的人臉檢測過程中可以省略三組網(wǎng)絡(luò)中的前兩組,只保留最后的O-Net,經(jīng)過實驗證實檢測的準確率依然可以滿足要求.

1.2 普氏分析法進行人臉對齊

普氏分析[11]是一種用來分析形狀分布的統(tǒng)計方法,從數(shù)學(xué)上來講,就是利用最小二乘法尋找形狀A(yù)到形狀B的仿射變換.

仿射變換是空間中直角坐標變換的一種,它是二維坐標之間的一個線性變換.因此,仿射變換也可以通過一系列的原子變換來疊加復(fù)合實現(xiàn).具體的原子轉(zhuǎn)換包括平移、縮放、旋轉(zhuǎn)和倒置等.

仿射變換將原坐標變換為新坐標的計算方法為:

其中變換矩陣

使用普氏分析進行人臉對齊時,根據(jù)獲取的人臉特征點的位置,通過最小二乘法求解參考圖像特征點與測試圖像特征點之間的變換矩陣,然后對測試圖像進行變換以獲得對齊之后的測試圖像.

1.3 基于FaceNet的人臉特征提取

FaceNet是Google提出的人臉識別算法,該算法是基于海量人臉數(shù)據(jù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò),可以將人臉圖像映射成128維的特征向量.相比于其他人臉識別算法,FaceNet并沒有使用softmax進行分類學(xué)習(xí),而是采用端對端的方式,直接將圖像編碼為歐式空間的特征向量,進而基于學(xué)習(xí)到的特征向量進行人臉驗證、識別等應(yīng)用.其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,在網(wǎng)絡(luò)的最前面就是一個傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò),去掉softmax層后,經(jīng)過L2范數(shù)的歸一化就可以得到特征表示,最后得到一個三元組損失函數(shù) (Triplet Loss).Triplet是由三個名為 Anchor,Positive,Negative 三個樣本組成的訓(xùn)練三元組,其中Anchor是隨機選取的一個訓(xùn)練樣本,Positive表示和Anchor樣本同屬一個類別的訓(xùn)練樣本,Negative表示和Anchor樣本屬于不同類別的訓(xùn)練樣本.Triplet Loss 基于一個 Anchor樣本的特征向量和其Positive樣本的特征向量之間的距離一定小于其和Negative樣本的特征向量之間的距離,并且至少要小于一個閾值以增強模型的判別能力,如公式(5)所示.

圖3 FaceNet模型結(jié)構(gòu)

是表示Anchor樣本的特征向量,alpha表示間隔.最終要最小化的損失函數(shù)為:

1.4 特征向量相似度衡量

人臉圖像經(jīng)過前面的人臉檢測、特征點定位、人臉對齊、特征向量提取之后,已經(jīng)被表示成為128維的特征向量,接下來計算測試圖像特征向量與人臉庫各圖像特征向量之間的歐式距離,再選取歐式距離最小的圖像最為最佳匹配結(jié)果即可完成最終的人臉識別.

2 實驗結(jié)果與分析

本節(jié)對比了人臉識別系統(tǒng)中各環(huán)節(jié)不同算法對最終識別準確率的影響.人臉庫選用15 000幅身份證照片,測試圖像使用1416幅圖像.測試圖像集由包含多種分辨率、清晰度、角度和年齡跨度的人員生活照片組成.在實驗過程中,使用MTCNN算法進行人臉檢測和特征點定位,對比了兩種不同的人臉對齊算法和三種不同的人臉識別模型對識別精度的影響.其中,第一種人臉對齊算法為旋轉(zhuǎn)人臉圖像雙眼特征點為水平關(guān)系,下文簡稱為“旋轉(zhuǎn)對齊”,第二種對齊算法為上文介紹的普氏分析法.三種人臉識別模型分別為Vgg-Face,Caffe-Face和Facenet.人臉識別精度統(tǒng)計了兩種識別結(jié)果,分別是識別結(jié)果中置信度第一的識別結(jié)果為正確結(jié)果的概率和識別結(jié)果中前十置信度的識別結(jié)果中包含正確結(jié)果的概率,分別簡稱為top-1和top-10.

本文所有的實驗過程都基于Windows10操作系統(tǒng),硬件環(huán)境為 Intel Xeon E3-1230(3.40 GHz) CPU,32 GB RAM,NVIDIA GeForce GTX TITAN X,采用的深度學(xué)習(xí)框架為TensorFlow 1.2.1.

2.1 不同對齊方法識別準確率對比

實驗過程中首先對比了兩種對齊算法對識別精度的影響,實驗過程使用Vgg-Face進行人臉特征提取,使用歐式距離進行相似度衡量.實驗結(jié)果如表1所示.

表1 不同對齊方法人臉識別準確率 (單位: %)

從表1中可以看出,使用普氏分析對齊進行人臉識別的精度明顯優(yōu)于旋轉(zhuǎn)對齊方法.這是由于旋轉(zhuǎn)對齊時只是旋轉(zhuǎn)圖像使得雙眼水平,并沒有將各圖像的特征點進行嚴格意義的對齊.而普氏分析法通過最小二乘法迭代減小測試圖像與參考圖像特征點之間的距離,從而實現(xiàn)測試圖像和參考圖像之間的嚴格意義的對齊.基于表1的實驗結(jié)果,下文的實驗都使用普氏分析法進行人臉對齊.

2.2 不同人臉特征提取算法識別準確率對比

實驗過程中對比了Vgg-Face,Caffe-Face和FaceNet進行人臉特征提取對識別準確率的影響,實驗過程中使用歐氏距離衡量相似度,結(jié)果如表2所示.從表中可以看出,FaceNet識別準確率效果最好.

表2 不同人臉特征提取算法識別準確率 (單位: %)

2.3 不同特征相似度衡量方法識別準確率對比

本節(jié)對比了兩種特征相似度衡量的識別準確度.第一種方法是上文提到的歐式距離,第二種方法是基于人臉圖像提取的128維特征進行了特征重映射,通過訓(xùn)練Siamese[12]網(wǎng)絡(luò)將特征映射為512維的特征,網(wǎng)絡(luò)包含兩個添加了BN層的全連接層,損失函數(shù)使用對比損失.表3為使用FaceNet進行人臉特征提取之后原始特征和使用Siamese網(wǎng)絡(luò)重映射之后的特征進行相似度衡量得到的識別精確率對比.

表3 使用原始特征與 Siamese 重映射特征精確率對比 (單位: %)

綜合表3和表4可以看出,在計算時間效率基本接近的情況下,使用Siamese進行特征重映射優(yōu)于原始進行相似度衡量的識別準確率,尤其是top-10準確率提升了2.5%.現(xiàn)階段受限于訓(xùn)練樣本的數(shù)量,為避免過擬合無法增大模型的容量,后續(xù)可以增大樣本量進行更大模型容量的實驗.

表4 總 1416幅測試圖像原始特征與Siamese重映射特征相似度衡量時間效率對比(單位: s)

3 結(jié)束語

本文針對安防領(lǐng)域?qū)θ四樧R別的業(yè)務(wù)需求,進行了基于深度學(xué)習(xí)算法的證件照人臉識別的研究與實現(xiàn).對人臉檢測、特征點定位、人臉對齊、特征向量提取和相似度衡量五個人臉識別的關(guān)鍵環(huán)節(jié)都進行了實現(xiàn)并對比了多種算法,在此基礎(chǔ)上,本文又進行了人臉特征向量的Siamese重映射以進一步提升識別精度.實驗結(jié)果表明,本文實現(xiàn)的人臉識別系統(tǒng),可以基于公安證件照進行良好的人臉識別,同時具有良好的時間效率,實現(xiàn)了對人臉圖像的高效精確識別,具有良好的應(yīng)用價值和市場前景.

參考文獻

1李月龍,靳彥,汪劍鳴,等.人臉特征點提取方法綜述.計算機學(xué)報,2016,39(7): 1356–1374.[doi: 10.11897/SP.J.1016.2016.01356]

2吳翔,唐煥華,劉錦高.基于雙目視覺的立體人臉識別系統(tǒng).計算機系統(tǒng)應(yīng)用,2009,18(5): 61–64.

3黃金鈺,張會林,閆日亮.LBP直方圖與 PCA 的歐式距離的人臉識別.計算機系統(tǒng)應(yīng)用,2012,21(6): 202–204,198.

4Huang GB,Mattar M,Berg T,et al.Labeled faces in the wild: A database for studying face recognition in unconstrained environments.Technical Report 07-49.Amherst: University of Massachusetts,2007.

5Zhu ZY,Luo P,Wang XG,et al.Deep learning identitypreserving face space.Proceedings of 2013 IEEE International Conference on Computer Vision.Sydney,NSW,Australia.2013.113–120.

6Taigman Y,Yang M,Ranzato MA,et al.DeepFace: Closing the gap to human-level performance in face verification.Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA.2014.1701–1708.

7Sun Y,Wang XG,Tang XO.Deep learning face representation from predicting 10,000 classes.Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA.2014.1891–1898.

8Zhou EJ,Fan HQ,Cao ZM,et al.Extensive facial landmark localization with coarse-to-fine convolutional network cascade.Proceedings of 2013 IEEE International Conference on Computer Vision Workshops.Sydney,NSW,Australia.2013.386–391.

9Schroff F,Kalenichenko D,Philbin J.FaceNet: A unified embedding for face recognition and clustering.Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,MA,USA.2015.815–823.

10Zhang KP,Zhang ZP,Li ZF,et al.Joint face detection and alignment using multitask cascaded convolutional networks.IEEE Signal Processing Letters,2016,23(10): 1499 –1503.[doi: 10.1109/LSP.2016.2603342]

11Gower JC.Generalized Procrustes analysis.Psychometrika,1975,40(1): 33–51.[doi: 10.1007/BF02291478]

12Bertinetto L,Valmadre J,Henriques JF,et al.Fullyconvolutional Siamese networks for object tracking.In: Hua G,Jégou H,eds.Computer Vision – ECCV 2016 Workshops.Cham: Springer,2016.850–865.