程志偉 王振陽 黃宏成 時良仁 劉彥博

(1.上海交通大學汽車電子控制技術國家工程實驗室；2.上海交通大學學生創(chuàng)新中心，上海市 200240)

0 引言

近年來，人工智能的興起使諸多領域都發(fā)生了變革，其中汽車的智能化與網聯化也在逐漸實現。借助于人臉識別這種強大的智能算法，解鎖車輛是值得探究的一個方向。典型人臉識別系統(包含人臉檢測、特征提取和人臉識別)魯棒性較差，不適合用于車輛解鎖。在此基礎上增加活體檢測模塊能有效避免惡性攻擊，保證了車輛解鎖的便捷性與安全性。

1 人臉識別相關研究

完整的人臉識別系統涵蓋人臉位置檢測、活體檢測、人臉識別等。人臉位置檢測大致可分為基于知識、基于不變特征和基于統計模型。早期的人臉位置檢測有采用基于知識的算法，由于將人臉知識進行硬編碼轉換成合理的規(guī)則是非常困難的，基于知識的方法存在識別精度差的問題?；诓蛔兲卣鞯娜四槞z測通過各種面部不變特征來確定圖像中是否存在人臉。此外，在RGB、HSV、YCbCr等顏色空間采用皮膚不變特征檢測人臉的算法也有不少應用。基于不變特征的魯棒性較差，光照變化、噪音、遮擋會使檢測結果嚴重偏離。基于統計模型的方法將圖像映射到低維空間并采用機器學習算法區(qū)分人臉和背景[1]，這是人臉檢測應用最多、效果最好的算法。

活體檢測對人臉識別系統的安全性是至關重要的。真實人臉和假冒人臉在圖像紋理、三維結構、運動信息這三方面是有所區(qū)別的，其中根據圖像紋理(圖像陰影、圖像模糊、圖像高光)來區(qū)分真假人臉的方法應用較廣。較為典型的算法有：LGS算法、基于旋轉不變LBPV算法和傅里葉頻譜分析法。以上方法均采用了手工提取特征，所提取的特征可能存在局限性，而采用深度學習自動提取特征能很好地解決這些問題，達到更高準確率、更魯棒的活體檢測效果。

人臉識別大致可分為基于幾何特征、基于模板匹配兩大類方法?；趲缀翁卣鞯姆椒ū举|上是一種匹配局部信息來識別人臉的算法，而基于模板匹配的算法則是計算模板和圖像的全局自相關來實現人臉識別，總體性能更好，其中比較常見的有特征臉法、彈性圖匹配、淺層神經網絡方法、深度學習方法。近年來的深度學習可以說完全統治了識別領域。神經網絡方法的優(yōu)勢在于它可以通過訓練獲得其他方法難以實現的特征的隱形表現，避免了復雜的特征提取(深度學習直接將特征提取與分類融為一體)。

2 人臉識別系統

2.1 人臉位置檢測

人臉檢測是活體檢測和人臉識別的前提，為保證檢測的速度和精度采用基于統計模型的方法，具體是采用實時性較好、精度較高的Haar-like特征的級聯分類器[2]檢測人臉。人臉檢測的主要步驟如下：首先計算圖像的積分圖并在積分圖上計算Haar-like特征，然后采用AdaBoost算法訓練區(qū)分人臉和非人臉的強分類器，最后使用篩選式級聯分類器把強分類器級聯到一起，提高人臉檢測的速度與精度。

Haar-like特征是由Viola等人提出的，具體形式如圖1所示，它包括兩個二矩形、一個三矩形以及一個對角四矩形。二矩形特征是計算左右區(qū)域的像素和之差，三矩形特征是計算左右區(qū)域與中間區(qū)域的像素和之差，四矩形特征則是計算對角區(qū)域像素和之差。在一個子窗口中至少有數以十萬計的Haar-like特征，大量的運算無法滿足實時性要求。因此，需要計算原始圖像的積分圖，積分圖只需遍歷一次圖像就可以求出圖像中所有區(qū)域像素和，然后在積分圖上進行特征計算，能夠大幅提升計算效率。

(1)(2)(3)(4)

圖1 Haar-like特征示意圖

Fig.1 Schematic diagram of Haar-like features

計算出Haar-like特征后利用Adaboost算法訓練弱分類器并形成強分類器。其中弱分類器的訓練步驟如下：先對每個特征計算所有訓練樣本的特征值，并將其排序；然后求得每個元素的分類誤差，尋找誤差最小的元素作為最優(yōu)閾值，這樣就得到了最優(yōu)弱分類器。強分類器的產生需要經過多輪迭代，相當于讓所有弱分類器投票，在對投票結果按照弱分類器的錯誤率加權求和，將投票加權求和的結果與平均投票結果比較得出最終的結果。獲得了強分類器之后，采用級聯策略將其組合成最終的人臉檢測算法。

2.2 活體檢測

卷積神經網絡是由Yann Lecun等人提出的一種學習算法，該算法開啟了深度學習的浪潮。典型的卷積神經網絡有AlexNet[3]、VGG[4]、Googlenet[5]、ResNet[6]。一般的卷積神經網絡由卷積層、線形整流層、池化層、全連接層組成。卷積神經網絡在大型數據集ImageNet 1000類物體識別的準確率已經高達90%，可見卷積神經網絡的特征提取和識別能力足夠強大。受此啟發(fā)，使用深度神經網絡提取真人和照片的圖像特征，并對真人和照片進行分類。由于從零開始訓練一個深度卷積神經網絡往往會耗費幾周甚至幾個月的時間，因此采用了遷移學習的方法。遷移學習就是將ImageNet 1000類物體上已經訓練好的網絡模型針對自己的數據集進行微調，使其能很好地區(qū)分不同類別。事實證明，遷移學習是高效并且完全可靠的學習策略。

活體檢測算法的總體框架如圖2所示，算法分訓練階段與測試階段。在訓練階段，首先將訓練集中的圖像大小統一調整為224*224像素，然后將同一尺寸的訓練圖像輸入ResNet18進行特征提取，最后得出分類結果并計算損失，進行反向傳播從而訓練出一個區(qū)分度好、泛化能力強的模型。在測試階段，同樣先把測試集中的圖像大小統一為224*224像素，然后利用訓練好的ResNet18進行分類，最后計算出分類的準確率并對訓練模型做出評估。

圖2 活體檢測算法流程

活體檢測網絡在Microsoft提出的ResNet18基礎上進行了修改，具體網絡模型見圖3。該網絡是一個18層的殘差卷積神經網絡，輸入為224*224的人臉圖像，經過一系列卷積層、Relu層、池化層輸出一個二維向量，從而表示輸入圖像屬于人臉和照片的概率。網絡訓練之前，首先將標準的ResNet18的1000維全連接層改為2維全連接層，然后采用遷移學習的方法在原始模型的基礎上微調所有filter的參數。為了保證網絡收斂，不宜采用較大地學習率，因而學習率設為0.001。經過訓練，在訓練集上活體檢測能達到100%的準確率，在測試集上達到了93%的準確率，因此基本實現了活體檢測功能，有效避免了照片、視頻等惡性攻擊，確保了人臉解鎖識別系統的安全性。

圖3 修改后的ResNet18網絡結構

2.3 人臉識別

人臉識別階段是將攝像頭實時采集的圖像和本地的參考圖像做比對，計算相似性，從而識別身份信息。人臉識別是整套系統的關鍵，識別的精度與速度直接影響系統的性能。

綜合考慮各方面因素，采用谷歌提出的FaceNet[7]卷積神經網絡模型進行人臉識別。FaceNet的網絡結構如圖4所示，網絡的輸入為三通道220*220人臉圖像，首先經過卷積操作，卷積核的大小為64*7*7*3，卷積之后的特征圖大小為110*110*64；然后在特征圖上進行Relu操作，特征圖大小保持不變；緊接著在特征圖上進行池化操作，得到55*55*64的特征圖；最后進行標準化操作，避免網絡出現過擬合。重復以上操作數次，最終經過幾個全連接層和L2正則化得到一個128維的歐氏距離。FaceNet網絡模型參數較多，訓練時間過長，因而直接采用訓練好的權重進行識別。經過訓練之后，同一個人之間的距離會非常接近，不同人之間的距離會遠離，可以通過設置合理的閾值來區(qū)分不同人臉，從而達到高準確率的人臉識別效果。

圖4 FaceNet網絡結構

3 人臉識別算法驗證

考慮到車輛空間局限性、硬件成本以及算法性能等諸多因素，采用Raspberry Pi 3B+開發(fā)板、Movidius NCS計算棒和夜視紅外攝像頭驗證人臉識別系統的可靠性。經過實驗驗證，系統能快速地檢測人臉，檢測速度約為每秒30幀，完全滿足檢測實時性要求。同時，系統可以較好地區(qū)分真實人臉和二次采集的人臉圖像，識別效果如圖5所示。從圖中可以看出，活體檢測模塊能將左邊的照片與右邊的真人進行有效的區(qū)分。系統的人臉識別模塊具有極高的準確率。人臉識別模塊采用的FaceNet深度學習算法在著名的LFW人臉數據集上能達到99.63%的準確率，高于正常人類的識別能力，能夠勝任解鎖車輛的任務。在實驗過程中，未曾出現將非用戶誤認為用戶而解鎖的情況。綜上所述，所設計的人臉識別系統算法是有效的，并且準確率高、實時性較好。

圖5 活體檢測效果

4 結論

為實現車輛智能解鎖，設計了一套完整的人臉識別系統，包括了人臉檢測、活體檢測以及人臉識別三大部分。在嵌入式平臺樹莓派上進行了實驗驗證，該系統可以不分晝夜快速檢測與識別人臉并解鎖車輛，此外對照片、視頻的攻擊有較好的防護，能夠滿足系統的安全性要求。整套系統創(chuàng)新性高，實用性強，符合車輛智能化、網聯化的發(fā)展趨勢。未來，對上述人臉識別系統還可以做一些改進。一方面，可通過配備3D結構光傳感器實現更好的抗攻擊性能，另一方面，可以對現有算法進行一定優(yōu)化，提高系統的實時性。