鄒新雷 王云

【摘要】? ? 隨著人臉識別技術的普及與應用，用戶對于人臉識別的技術細節(jié)以及人臉識別的速度有了技術需求。對于實時非合作性質的人臉識別，其精確度與速度經(jīng)常難以滿足用戶需求。本文設計并實現(xiàn)了一種能夠自動識別人臉的系統(tǒng)，能篩除掉質量不足以進行人臉識別的人臉圖像，加快識別速度，實現(xiàn)對實時視頻的高速人臉識別。

【關鍵詞】? ? 人臉檢測? ? 機器學習? ? 人臉識別

引言：

在算法飛速發(fā)展的今天，人臉識別越來越多的普及到了我們的生活與工作中，火車站、機場的安檢，遍布城市的天眼監(jiān)控系統(tǒng)，都有人臉識別活躍的地方。在我們平日生活生產應用的領域中，很多圖像中的人員并不會仔細正臉面對攝像頭，這就導致了人臉識別所需信息的不足。除此以外，光照、遮擋等環(huán)境因素也會導致無法采集到人臉識別所需要的信息。如果能通過機器學習的方法，篩除掉信息不足的人員，便能夠提升系統(tǒng)識別率，節(jié)省系統(tǒng)運算空間。本文基于此目的進行了對人臉識別系統(tǒng)的一系列設計。

一、系統(tǒng)總體設計方案

由于本系統(tǒng)的運作路線明確，由檢測→質量判斷→人臉識別構成，所以初期設定了如上圖1所示的系統(tǒng)框架。但是在實際應用中，人臉識別的耗時大概要占到80到100毫秒，也就是幀率10左右，完全不能實現(xiàn)實時識別的要求。除此之外，對同一目標的多次檢測識別也浪費了許多系統(tǒng)資源。

因此，考慮到檢測與質量判斷的速度只有幾毫秒，不會影響視頻的流暢性，我們在系統(tǒng)內加入了跟蹤的算法，重新設計了一種多線程的運行方式，具體框架如圖2所示。

在這個方案的具體運行路線如下：

1.對攝像頭傳輸?shù)膱D像進行檢測，框出視頻中人員的位置;

2.根據(jù)人員框的跟蹤ID判斷，如果該ID已經(jīng)在上一幀識別過了，則顯示識別結果回到步驟1，未識別則進入人臉質量判斷模塊;

3.對人臉進行質量判斷，考察陰陽臉，光照，遮擋，正臉與攝像頭的傾斜角等因素給出質量評分，評分低于標準則篩除該人員，回到步驟1，評分足夠則將圖像傳入人臉識別模塊;

4.人臉識別的算法模塊在另一個線程運行（耗時為80-100ms），展示識別結果的主線程從人臉識別線程取出其標志位，代表識別完成與否，識別未完成則在人臉顯示“識別中”，回到步驟1，識別完成則取出其識別結果展示在人臉上，回到步驟1。

二、系統(tǒng)算法技術介紹

2.1人臉檢測算法MTCNN

MTCNN，Multi-task convolutional neural network（多任務卷積神經(jīng)網(wǎng)絡）是2016年中國科學院深圳研究院提出的用于人臉檢測任務的多任務神經(jīng)網(wǎng)絡模型，MTCNN總體可分為P-Net、R-Net、和O-Net三層網(wǎng)絡結構。本系統(tǒng)通過編寫model.py定義了P-Net、R-Net、和O-Net的網(wǎng)絡結構。P-Net為全卷積的網(wǎng)絡，主要包含3*3的卷積層、2*2的池化層，該網(wǎng)絡用于人臉目標的初步檢測，將特征輸入經(jīng)過三個卷積層之后，通過一個人臉分類器判斷該區(qū)域是否是人臉。R-Net網(wǎng)絡接收P-Net的結果作為輸入，主要包含3*3、2*2的卷積層、3*3的池化層，并增加了全連接層。O-Net和R-Net的結構類似，只是輸入尺寸為48*48，同時增加一層卷積層，以及全連接層的維度增加為256維，因此可以保留更多的圖像特征，再進行人臉判別、人臉區(qū)域邊框回歸和人臉特征定位。所以O-Net的輸出作為最終的網(wǎng)絡模型輸出。其算法流程圖如圖3所示。

2.2人臉質量判斷算法

人臉質量的判斷因素眾多，本系統(tǒng)考慮的因素有：人臉姿態(tài)，人眼閉合，人臉模糊度以及人臉光照。所應用的算法有：基于關鍵點的人臉姿態(tài)估計算法，基于關鍵點的人眼閉合檢測算法，二次模糊算法，基于深度學習的人臉遮擋檢測算法。

基于深度學習的方法通常訓練一個深度CNN分類網(wǎng)絡或檢測網(wǎng)絡，這種方法首先通過人臉檢測定位人臉的區(qū)域，然后將人臉區(qū)域送入CNN網(wǎng)絡，輸出無遮擋或遮擋人臉的結果。本項目采用Yolov3進行訓練。

2.3人臉識別算法SeetaFace

SeetaFace，是中科院計算機所山世光老師所帶領的團隊開發(fā)出來的人臉識別庫，包括人臉檢測，人臉識別以及人臉對齊三個模塊。

其中，人臉識別模塊的特征提取算法是基于卷積神經(jīng)網(wǎng)絡的，使用的是深度卷積神經(jīng)網(wǎng)絡VIPLFaceNet，這是一個包含兩個全連接層與七個卷積層的DCNN，是由2012年設計的AlexNet修改而來。與原網(wǎng)絡相比，有三處改進：

①VIPLFaceNet將5x5的卷積核拆分為兩層3x3的卷積核，在不改變計算量的情況下加深了網(wǎng)絡的深度;

②VIPLFaceNet中每個卷積層的kernel數(shù)目和FC2層節(jié)點都有所減少;

③引入了FNL（Fast Normalization Layer），使得網(wǎng)絡收斂速度加快，也更具有泛化性。

以LFW數(shù)據(jù)集測試為例，VIPLFaceNet錯誤率較原網(wǎng)絡降低了40%，訓練時間僅為原網(wǎng)絡的20%，測試時間為60%。

其流程圖如圖4所示。

三、室內測試結果

本系統(tǒng)在實驗室內進行測試。在光照充足以及正臉面對情況下，都能準確實時的識別到目標結果，實地測試檢測結果如圖5所示。能夠準確的檢測到人臉的位置，首先（1）在側臉情況下由于判斷人臉質量不足以進行人臉識別展示結果“ignored”，在（2）的正臉情況下準確識別到我們二人的ID“wangyun”、“zouxinlei”。

四、結束語

本文設計一種非合作的人臉智能識別系統(tǒng)，該系統(tǒng)基于人臉檢測、機器學習、人臉識別等技術，利用多線程的設計思想，完成了一種準確、實時的人臉識別程序，目前已在與酒仙網(wǎng)合作的智能門店項目中成功應用，在門店監(jiān)控領域有很大的市場應用價值。

參? 考? 文? 獻

[1]Chunming Wu，Ying Zhang. MTCNN and FACENET Based Access Control System for Face Detection and Recognition[J]. Automatic Control and Computer Sciences，2021，55（1）.

[2]陳飛玥，朱玉蓮，陳曉紅.多層特征融合的PCANet及其在人臉識別中的應用[J/OL].南京師大學報（自然科學版）：1-7[2021-04-30].http：//kns.cnki.net/kcms/detail/32.1239.N.20210426.2145.006.html.

[3]胡超，李春國，楊綠溪.稀疏特征重用的人臉特征提取網(wǎng)絡[J/OL].信號處理：1-14[2021-04-30].http：//kns.cnki.net/kcms/detail/11.2406.TN.20210422.1828.029.html.