李言章，熊躍偉，廖 慶，楊曉梅，胡小琴

（1.新疆海納同創(chuàng)智能科技有限公司，新疆 克拉瑪依834000；2.新疆克拉瑪依市委，新疆 克拉瑪依834000；3.四川川大智勝軟件股份有限公司，四川 成都221008；4.四川大學(xué)，四川 成都221116）

人臉識別是基于人的臉部特征信息進(jìn)行身份識別的一種生物識別技術(shù)。它通過將現(xiàn)場采集到的目標(biāo)人員的人臉圖像與事先保存在數(shù)據(jù)庫中的各種人員的人臉注冊數(shù)據(jù)進(jìn)行比對，來實現(xiàn)目標(biāo)人員的身份識別與確認(rèn)[1-2]。根據(jù)人臉注冊數(shù)據(jù)的維數(shù)特征，可將人臉識別技術(shù)分為二維人臉識別技術(shù)和三維人臉識別技術(shù)[3]。

當(dāng)前，利用機動車緝查布控系統(tǒng)（以下簡稱“卡口系統(tǒng)”）在對過往車輛的駕駛員進(jìn)行人臉識別時，采用的都是二維人臉識別技術(shù)，即在抓拍的過車圖片中獲得駕駛員的臉部圖像后，將其與公安車駕管數(shù)據(jù)庫中駕駛員辦理駕照時采集的正臉照片（或其他數(shù)據(jù)庫中的正臉照片）進(jìn)行比對，以此來確定駕駛員的真實身份[4]。

二維人臉識別在不同情況下識別效果如圖1所示。當(dāng)卡口系統(tǒng)抓拍到的駕駛員臉部圖像為正臉姿態(tài)時，現(xiàn)有系統(tǒng)能夠準(zhǔn)確識別出駕駛員的身份；但當(dāng)卡口系統(tǒng)抓拍到的駕駛員臉部圖像有較大角度偏轉(zhuǎn)、存在環(huán)境陰影或有局部遮擋時，現(xiàn)有系統(tǒng)就無法進(jìn)行有效的人臉識別；絕大多數(shù)機動車的前擋風(fēng)玻璃及前后窗玻璃都貼有隔熱膜，白天由于光線反射作用下，卡口抓拍的過車圖片中很難看清駕駛員的臉部特征，這也是影響當(dāng)前卡口系統(tǒng)駕駛員人臉識別效率的一個重要因素[5]。

圖1 二維人臉識別在不同情況下識別效果

近年來，三維人臉識別研究取得了較大進(jìn)展。三維人臉識別的主要特點是在識別中利用了三維人臉數(shù)據(jù)[6]。相比于二維人臉數(shù)據(jù)，三維人臉數(shù)據(jù)不僅有紋理信息，還包含三維空間信息。由于通過高精度三維人臉建模技術(shù)獲取的人臉細(xì)節(jié)特征點是二維人臉圖像或低精度三維人臉模型的數(shù)十倍或上百倍，使用高精度三維人臉注冊數(shù)據(jù)進(jìn)行人臉比對時，不僅可大幅度減少誤識率，且防偽能力強。而由注冊人三維全臉模型生成的各種可能姿態(tài)和光照條件下呈現(xiàn)的數(shù)萬張二維圖片訓(xùn)練的識別算法及軟件，可克服二維人臉識別現(xiàn)有瓶頸難題，有效解決姿態(tài)變化及光照變化對人臉識別準(zhǔn)確率的影響，成功實現(xiàn)動態(tài)視頻圖像中可能有很大姿態(tài)變化和光照變化的人臉自動準(zhǔn)確識別[7]。因此，為了提高駕駛員人臉識別效率，本文設(shè)計一種基于三維全臉數(shù)據(jù)的透玻透膜駕駛員動態(tài)人臉識別系統(tǒng)。

1 機動車駕駛員三維動態(tài)人臉識別系統(tǒng)設(shè)計

本文設(shè)計的基于三維全臉數(shù)據(jù)的透玻透膜駕駛員動態(tài)人臉識別系統(tǒng)由高清攝像機、紅外激光補光器、三維人臉數(shù)據(jù)庫、三維動態(tài)識別服務(wù)器4個部分構(gòu)成。圖2為機動車駕駛員三維動態(tài)人臉識別系統(tǒng)示意圖，在紅外補光設(shè)備配合下，高清攝像機可透過車窗玻璃膜獲取清晰的駕駛員臉部圖像，并將人臉圖像傳輸?shù)饺S動態(tài)識別服務(wù)器中，然后結(jié)合三維人臉數(shù)據(jù)庫中的高精度駕駛員三維人臉注冊數(shù)據(jù)與三維動態(tài)識別服務(wù)器中的高適應(yīng)性的三維動態(tài)識別算法得到比對結(jié)果，最后將結(jié)果數(shù)據(jù)發(fā)送至終端軟件進(jìn)行展示。

圖2 機動車駕駛員三維動態(tài)人臉識別系統(tǒng)示意圖

本文系統(tǒng)主要有兩大模塊，分別為三維人臉數(shù)據(jù)庫和三維人臉動態(tài)識別，前者的主要功能為采集駕駛員的高精度三維人臉數(shù)據(jù)并將其提供給后者進(jìn)行三維人臉識別，后者的主要功能為利用高適應(yīng)三維人臉動態(tài)識別算法將在實時監(jiān)控中捕獲人臉圖像與三維人臉數(shù)據(jù)庫進(jìn)行比對。系統(tǒng)流程圖如圖3所示。

圖3 系統(tǒng)流程圖

2 三維人臉數(shù)據(jù)庫建立

在進(jìn)行三維人臉識別之前，需要建立一個與駕駛員信息相匹配的三維人臉數(shù)據(jù)庫，建立三維人臉數(shù)據(jù)需要進(jìn)行3個步驟：三維人臉數(shù)據(jù)采集、數(shù)據(jù)處理和搭建數(shù)據(jù)庫。

2.1 三維人臉數(shù)據(jù)采集

三維人臉數(shù)據(jù)可以從二維彩色圖像估計得到，也可以利用三維成像設(shè)備直接獲取。從二維彩色圖像估計的人臉深度數(shù)據(jù)可靠性不高，且容易受光照、姿態(tài)、表情、遮擋等因素影響。因此，目前三維人臉識別中更常用的方法是直接利用三維成像設(shè)備獲取三維人臉數(shù)據(jù)。本文系統(tǒng)使用的三維傳感器是由川大智勝公司自主研發(fā)的一款低成本、高精度并能快速獲取圖像的雙目相機。三維傳感器由3個相機組成，每個模組包括左右（上下）2個攝像頭和1個USB（通用串行總線）的紋理攝像頭，以保證采集到的人臉的全面性和準(zhǔn)確度。三維傳感器相機需要進(jìn)行標(biāo)定，不同傳感器生成的標(biāo)定文件不同，標(biāo)定文件的準(zhǔn)確性影響建模的效果，所以在使用之前就會標(biāo)定好相機。二維攝像頭實時預(yù)覽畫面的同時也會按照一定的頻率進(jìn)行人臉檢測，當(dāng)檢測到人臉之后會觸動三維傳感器進(jìn)行抓拍，系統(tǒng)對抓拍的多組圖片會進(jìn)行相應(yīng)的處理，首先還是會對左右相機的一張圖片進(jìn)行人臉檢測，獲取這些圖片中人臉的位置。然后對多組圖片進(jìn)行人臉部分區(qū)域處理生成比較小的視差圖，最后再按照一定的格式通過TCP傳輸?shù)胶笈_。

2.2 數(shù)據(jù)處理

在三維人臉數(shù)據(jù)采集后對數(shù)據(jù)進(jìn)行優(yōu)化操作，如人臉補洞、光滑以及人臉切割和姿態(tài)糾正等一系列操作最終得到三維人臉模型。三維人臉模型信息豐富，包含深度信息和紋理信息。為了便于存儲和運算，將三維人臉模型在不用視角下進(jìn)行投影生成對應(yīng)的深度圖，如圖4所示。

圖4 不同視角下三維人臉模型的深度圖

深度圖為一種表示深度的圖像或圖像通道，包含與場景對象的表面到視點間的距離有關(guān)的信息，具備描述三維人臉模型特征的優(yōu)點，被廣泛用于三維人臉識別中。本系統(tǒng)將掃描到的三維人臉模型數(shù)據(jù)處理為三個正交視角的深度圖，并將人員信息與其作為樣本和標(biāo)簽進(jìn)行綁定存于數(shù)據(jù)庫中。

2.3 數(shù)據(jù)庫搭建

本文數(shù)據(jù)庫采用MySQL數(shù)據(jù)庫，是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)。它是由MySQL原廠開發(fā)、管理和提供支持，現(xiàn)在是Oracle旗下產(chǎn)品，使用結(jié)構(gòu)化查詢語言進(jìn)行數(shù)據(jù)庫管理。MySQL由于性能高、速度快、成本低、可靠性好已經(jīng)成為最流行的數(shù)據(jù)庫之一并受到許多公司的青睞。系統(tǒng)主要設(shè)計兩張表，分別是三維人臉數(shù)據(jù)注冊表、駕駛證信息表，用以記錄相關(guān)信息，如表1和表2所示。三維人臉注冊表主要存儲駕駛員的個人信息、三維人臉模型數(shù)據(jù)和其深度圖；駕駛證信息表則主要收錄駕駛員的駕照信息，兩張表通過編號互相索引。

表1 三維人臉注冊表

表2 駕駛證信息表

3 三維人臉動態(tài)識別算法

圖5為本系統(tǒng)采用的多視角卷積神經(jīng)網(wǎng)絡(luò)（multi-viewCNN）結(jié)構(gòu)，用以進(jìn)行三維人臉動態(tài)識別。卷積神經(jīng)網(wǎng)絡(luò)是于1998年提出的一種多層人工神經(jīng)網(wǎng)絡(luò)，本質(zhì)是多層感知機，分為數(shù)據(jù)輸入層、卷積計算層、ReLU激勵層、池化層和全連接層。每一層實際是對輸入的數(shù)據(jù)進(jìn)行編碼操作可以看作是多個平面，而每個平面由多個獨立的神經(jīng)元組成，相鄰兩層的神經(jīng)元之間相互連接，而處于同一層神經(jīng)元之間沒有連接。本文系統(tǒng)將三維模型生成不同視角下的深度圖，輸入到多視角卷積神經(jīng)網(wǎng)絡(luò)對多視角下的圖像提取特征，并使用視角池化層（view pooling）對多視角圖像進(jìn)行融合，然后將特征輸入到分類器中進(jìn)行有監(jiān)督訓(xùn)練，根據(jù)分類標(biāo)簽概率進(jìn)行打分，將得分最高的結(jié)果輸出。

圖5 多視角卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

為了測試該算法的性能，本文將該算法應(yīng)用到一些常用的三維人臉數(shù)據(jù)庫上，如表3所示記錄了每個數(shù)據(jù)庫采集人數(shù)、樣本數(shù)和數(shù)據(jù)類型等信息，經(jīng)過訓(xùn)練和測試得到表4記錄的多視角卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在這些數(shù)據(jù)庫上的首位識別率，可以看到該算法的識別率均高于96%，對數(shù)據(jù)庫的適應(yīng)性強，是一種能夠滿足實際需要的算法。

表3 常用的三維人臉數(shù)據(jù)庫

表4 MVCNN在常用三維人臉數(shù)據(jù)庫上的識別率

4 系統(tǒng)運行效果

本系統(tǒng)提供一個可視化終端軟件用以顯示捕獲的人臉圖像與三維人臉識別后的從數(shù)據(jù)庫中提取出的相匹配的三維人臉模型，并且將其與二維人臉識別結(jié)果進(jìn)行對比。可視化終端軟件采用C++語言通過QT庫進(jìn)行界面設(shè)計，并通過記錄查詢與數(shù)據(jù)庫進(jìn)行交互。圖6和圖7顯示了真實監(jiān)控中不同視角三維人臉識別和二維人臉識別對駕駛員人臉識別結(jié)果對比。

圖6 視角1識別結(jié)果對比

圖7 視角2識別結(jié)果對比

圖6 中從監(jiān)控中共捕獲了5幀駕駛員側(cè)臉圖，可以看到本系統(tǒng)的三維人臉識別將其全部識別出來并匹配了正確的三維人臉模型，而二維人臉識別只能識別出3幀。圖7中從監(jiān)控中共捕獲了5幀駕駛員人臉圖，其中2幀為正面，3幀為側(cè)面，可以看到本文系統(tǒng)將其全部正確識別并分別把正視角和側(cè)視角的三維人臉模型正確匹配，而二維人臉識別只能識別出前兩幀正視角人臉圖像。

5 結(jié)語

本文設(shè)計了一種基于三維全臉數(shù)據(jù)的透玻透膜駕駛員動態(tài)人臉識別系統(tǒng)，實驗結(jié)果表明，該系統(tǒng)可捕獲監(jiān)控中駕駛員的人臉圖像并將其在不同角度下正確識別，比起二維人臉識別技術(shù)，該系統(tǒng)可在路側(cè)移動部署，且在復(fù)雜環(huán)境下人臉識別效率高，具有實際意義。三維動態(tài)人臉識別系統(tǒng)將為交警部門快速設(shè)置車輛緝查應(yīng)急布控點位、迅速處置交通安全風(fēng)險增添又一高效、便捷的手段。