鄧 雄，王洪春*

（1. 重慶師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院，重慶401331；2. 智慧金融與大數(shù)據(jù)分析重慶市重點(diǎn)實(shí)驗(yàn)室（重慶師范大學(xué)），重慶401331）

（?通信作者電子郵箱wanghc@cqnu.edu.cn）

0 引言

隨著人類社會進(jìn)入數(shù)字時代，生物識別技術(shù)越來越多地被應(yīng)用于身份認(rèn)證，其中人臉識別技術(shù)因其安全性和非接觸性等優(yōu)點(diǎn)，已成為學(xué)術(shù)界和工業(yè)界的一個重點(diǎn)研究方向［1］。然而人臉識別系統(tǒng)容易受到欺騙攻擊，如照片攻擊、視頻攻擊和3D 面具攻擊等，嚴(yán)重威脅了系統(tǒng)的安全性。針對欺騙攻擊，設(shè)計一個檢測精度高、耗時短、魯棒性強(qiáng)、泛化能力強(qiáng)的人臉反欺騙系統(tǒng)至關(guān)重要。

面向人臉識別系統(tǒng)的反欺騙檢測又稱為人臉活體檢測。真實(shí)人臉圖像和欺騙人臉圖像在圖像紋理信息、圖像光譜信息、圖像運(yùn)動信息、圖像深度信息等方面存在一定的差異。利用這些差異可以設(shè)計不同的活體檢測方法，對真假人臉作出判斷。近年來，有關(guān)人臉活體檢測方面的研究發(fā)展迅速，取得了許多有價值的研究成果，主要集中在三個方面:基于手工設(shè)計特征表達(dá)的方法、基于深度學(xué)習(xí)的方法和基于融合策略的方法［2］。

基于手工設(shè)計特征表達(dá)的人臉活體檢測方法包括基于紋理信息分析的方法［3-5］、基于深度信息的方法［6-7］、基于光譜信息的方法、基于運(yùn)動信息的方法［8］，以及其他方法（如基于熱紅外圖的方法［9］、基于圖像質(zhì)量的方法［10］和基于上下文線索的方法［11］等）。雖然基于手工設(shè)計特征表達(dá)的方法也可以取得不錯的精度，但往往由于特征描述子的層次較低導(dǎo)致模型的泛化能力較弱。

隨著深度學(xué)習(xí)方法廣泛地應(yīng)用于計算機(jī)視覺領(lǐng)域，它以數(shù)據(jù)驅(qū)動方式學(xué)習(xí)到的特征與手工設(shè)計特征表達(dá)的方法相比更具優(yōu)勢，可以學(xué)習(xí)到更多一般性特征，以適用于各種欺騙類型，這對于提高算法的魯棒性和泛化能力都有益。Yang 等［12］首次提出將卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）用于人臉欺騙檢測，文獻(xiàn)［13］提出了采用遷移學(xué)習(xí)的方法，Manjani 等［14］提出的方法針對面具攻擊，Gan 等［15］利用三維卷積神經(jīng)網(wǎng)絡(luò)（Three-Dimensional CNN，3DCNN）從短視頻中提取連續(xù)視頻幀的時空特征來用于活體檢測。值得注意的是，當(dāng)有大量的訓(xùn)練圖像可供訓(xùn)練時，深度學(xué)習(xí)可以獲得更好的效果。

單個信息具有一定的局限性，為了克服單個信息的局限性，彌補(bǔ)單個信息的不足，可以將不同的信息進(jìn)行融合，這不僅提高活體檢測的準(zhǔn)確度，而且對于提高算法的魯棒性和泛化能力也意義重大。Tronci 等［16］提出一種融合紋理信息和運(yùn)動信息的活體檢測方法；Komulainen 等［17］對文獻(xiàn)［16］方法加以改進(jìn)，檢測效率進(jìn)一步得到提升；Wang 等［7］利用深度信息和紋理信息，也取得了很好的效果；Tang 等［18］提出使用CNN從人臉圖像的不同信息中學(xué)習(xí)多個深層特征（包括時間特征、顏色特征、局部特征等）來進(jìn)行活體檢測。

鑒于深度學(xué)習(xí)算法和融合算法在人活體檢測方面表現(xiàn)出的優(yōu)勢，為了滿足檢測精度和實(shí)時性的需求，本文基于輕量化卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2 設(shè)計一個特征融合算法，在NUAA（Nanjing University of Aeronautics and Astronautics）和Siw（Spoof in the Wild）數(shù)據(jù)集上進(jìn)行驗(yàn)證，并與目前最新的算法進(jìn)行對比，分析其優(yōu)勢和不足。

1 基于MobileNetV2和特征融合的算法

1.1 融合策略

模式分類算法一般基于特征，一種特征一般只對圖像部分特性的變化較為敏感，而對其他特性的變化不敏感，如:方向梯度直方圖（Histogram of Oriented Gradients，HOG）特征、尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）特征等。當(dāng)兩類圖像在某種特征敏感特性上差異不大時，基于單一特征訓(xùn)練的分類器很難給出正確的分類［19］。因此，為了提高活體檢測算法的魯棒性和泛化能力，需要把不同的信息進(jìn)行融合。常見的融合方法有數(shù)據(jù)融合、特征融合、分類器融合（決策層的融合）等，這些融合方式分別對應(yīng)于分類問題的數(shù)據(jù)預(yù)處理、特征提取、分類器設(shè)計等環(huán)節(jié)。融合策略包含一些具體的方法，如圖1所示。

圖1 融合方法分類Fig.1 Classification of fusion methods

不同的融合方法具有各自的優(yōu)缺點(diǎn)。數(shù)據(jù)融合發(fā)生在最底層，優(yōu)點(diǎn)是保留了原始數(shù)據(jù)的所有信息，缺點(diǎn)是初始數(shù)據(jù)中通常含有冗余信息和噪聲，不利于計算。數(shù)據(jù)融合廣泛應(yīng)用于深度學(xué)習(xí)領(lǐng)域，主要表現(xiàn)在數(shù)據(jù)集的擴(kuò)充。分類器融合發(fā)生在高層語義層次，算法簡單高效，對分類精度和泛化能力有一定的提升，但是高層的融合不可避免地會造成初始數(shù)據(jù)信息的丟失，具有一定的局限性。特征融合發(fā)生在中層，數(shù)據(jù)特征保留了顯著的、必要的信息，既比數(shù)據(jù)融合降低了原始數(shù)據(jù)的冗余和噪聲，又比決策層的融合有更充分的數(shù)據(jù)信息，計算量適中。

隨著深度學(xué)習(xí)理論的發(fā)展，融合方法變得越來越靈活且易于實(shí)現(xiàn)，同時表現(xiàn)出了不錯的效果，基于深度學(xué)習(xí)的融合方法受到越來越多的關(guān)注。Feichtenhofer 等［20］提出了空間特征融合算法和時間特征融合算法，不僅可以在Softmax 層融合（決策級融合），還可以在卷積層融合（特征級融合）。

基于上述分析，本文將采用深度學(xué)習(xí)算法設(shè)計特征融合的卷積神經(jīng)網(wǎng)絡(luò)，即在卷積層利用級聯(lián)融合函數(shù)將不同的特征圖進(jìn)行融合，以充分利用互補(bǔ)的信息。

1.2 HSV顏色空間

HSV 色系與RGB 色系具有以下不同:1）RGB 色系基于三原色（紅、綠、藍(lán)），是一種不均勻的顏色空間；而HSV 色系基于顏色的色調(diào)H、飽和度S和亮度V，是一種均勻的顏色空間。2）RGB 空間中的三個分量的相關(guān)性較高；而HSV 空間消除了三個分量的相關(guān)性，亮度和色度可分離。因此，HSV顏色空間有時更有利于圖像處理［21］。圖2（a）、（b）展示了RGB 和HSV顏色空間的差異。

圖2 RGB圖、HSV圖與LBP圖的例子Fig.2 Samples of RGB，HSV and LBP images

Boulkenafet 等在文獻(xiàn)［5］中已經(jīng)證明了使用HSV 和YCbCr顏色空間的色彩信息比RGB空間的色彩信息在人臉活體檢測中更加具有區(qū)分性。不同的是文獻(xiàn)［5］采用的是手工設(shè)計的特征提取和表達(dá)的算法，而本文將采用卷積神經(jīng)網(wǎng)絡(luò)分別從RGB 和HSV 空間學(xué)習(xí)高層次的圖像特征，進(jìn)而對真假人臉進(jìn)行判斷。

1.3 LBP算法

局部二值模式（Local Binary Pattern，LBP）由Ojala等［22］提出，用來描述圖像局部紋理特征。LBP 算法計算復(fù)雜度低且具有灰度不變性和旋轉(zhuǎn)不變性，因而得到了廣泛的應(yīng)用，且出現(xiàn)了不少改進(jìn)算法。Liu 等［23］對局部二值模式的發(fā)展作了詳細(xì)的調(diào)查研究，并對各種LBP算法進(jìn)行了闡述。

傳統(tǒng)的LBP算子具體流程是:在3× 3的窗口內(nèi)，將周圍8個像素點(diǎn)的像素（灰度值）與中心像素點(diǎn)的像素比較:若周圍像素比中心像素大，則將該像素點(diǎn)的位置標(biāo)注為1；反之則將其標(biāo)注為0。通過這種方式得到8位二進(jìn)制編碼，然后以一定的方式可以得到該中心點(diǎn)的LBP 值，該過程如圖3 所示。最后統(tǒng)計圖像全部像素點(diǎn)的LBP值即可得到最終的LBP紋理特征，以反映所在區(qū)域內(nèi)的紋理信息。

上述過程可以用公式表示為:

其中:(xc，yc)表示中心；pc表示中心點(diǎn)的像素；pi表示周圍點(diǎn)的像素；P表示周圍像素點(diǎn)的個數(shù)

LBP 算法對光照有較強(qiáng)的穩(wěn)健性，本文首先從真假人臉的RGB 圖像中獲取LBP 圖像（如圖2（c）所示），然后輸入CNN，學(xué)習(xí)更高層次的具有區(qū)分性的圖像特征，對真假人臉作出判別。

圖3 LBP算子的計算過程Fig.3 Calculation process of LBP operators

1.4 MobileNetV2

MobileNetV2［24］是一種輕量化的卷積神經(jīng)網(wǎng)絡(luò)，采用的依然是深度可分離卷積［25］，主要是在MobileNet［26］的基礎(chǔ)上進(jìn)行兩點(diǎn)改進(jìn)。首先，MobileNetV2借鑒了ResNet［27］的殘差結(jié)構(gòu)但又有所不同，具體體現(xiàn)在:在ResNet 中殘差塊對輸入圖像先降維、卷積、再升維，而MobileNetV2中殘差塊則是對輸入圖像先升維、深度分離卷積、再降維（如圖4 所示），這個過程被稱作倒殘差。深度分離卷積在特征提取過程中通常期望在高維度的輸入中進(jìn)行，倒殘差模塊的作用是將輸入數(shù)據(jù)變換到高維度后再經(jīng)過深度分離卷積提取特征，這樣能夠提高模型的表達(dá)能力。其次，ReLU激活函數(shù)通常應(yīng)用于高維空間能夠有效增加模型的非線性表達(dá)能力，而在低維空間則會破壞特征，而第二個1× 1 卷積用于降維，降維后為了不破壞特征，MobileNetV2 去掉了第二個1× 1卷積后的ReLU 激活函數(shù)，這種做法被稱為線性瓶頸。

圖4 ResNet與MobileNetV2的殘差塊Fig.4 Residual blocks of ResNet and MobileNetV2

MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)如表1［24］所示，其中:Conv2d是標(biāo)準(zhǔn)卷積；bottleneck 是由卷積層組成的倒殘差塊；Avgpool是平均池化；t表示第一個1× 1卷積對通道數(shù)“擴(kuò)張”的倍數(shù)；c 表示輸出通道數(shù)；n 表示殘差塊重復(fù)的次數(shù)；s 表示重復(fù)的殘差塊中第一個殘差塊中深度卷積的步長；k 表示分類的類數(shù)。該網(wǎng)絡(luò)中間各層用于提取特征，最后一層用于分類。

表1 MobileNetV2結(jié)構(gòu)［24］Tab.1 Architecture of MobileNetV2［24］

1.5 本文算法

為了確保人臉活體檢測的準(zhǔn)確性、實(shí)時性和泛化能力，網(wǎng)絡(luò)結(jié)構(gòu)的確定是重中之重。影響網(wǎng)絡(luò)結(jié)構(gòu)的因素有很多，如卷積層的個數(shù)、輸入圖片的尺寸等。MobileNetV2雖然在多分類問題上體現(xiàn)出了良好的性能，但在二分類問題上的性能還需要驗(yàn)證，而且特征融合后的MobileNetV2參數(shù)量和運(yùn)算量也會增多，不利于實(shí)時性的需求。因此，針對人臉活體檢測的實(shí)際需求，以MobileNetV2模型為基礎(chǔ)網(wǎng)絡(luò)，對其結(jié)構(gòu)進(jìn)行微調(diào)，并加入特征融合思想，設(shè)計一個適用于人臉活體檢測的輕量化網(wǎng)絡(luò)模型十分有必要。

首先需要確定單路卷積網(wǎng)絡(luò)的輸入尺寸和卷積層數(shù)量。本文基于MobileNetV2 的結(jié)構(gòu)，設(shè)計了一個“瘦身”后的網(wǎng)絡(luò)（其結(jié)構(gòu)如表2 所示），并以NUAA 數(shù)據(jù)集上80%的數(shù)據(jù)作為訓(xùn)練集，另20%的數(shù)據(jù)作為測試集來驗(yàn)證微調(diào)后的模型性能。實(shí)驗(yàn)的對比結(jié)果如表3所示。

表2 微調(diào)后的MobileNetV2結(jié)構(gòu)Tab.2 Architecture of fine-tuned MobileNetV2

表3 MobileNetV2與微調(diào)后的網(wǎng)絡(luò)在NUAA數(shù)據(jù)集上的性能對比Tab.3 Performance comparison between MobileNetV2 and improved network on NUAA dataset

由表2 可知，“瘦身”后的結(jié)構(gòu)與原始的MobileNetV2 相比，卷積層減少了很多。在表3 中:等錯誤率（Equal Error Rate，EER）反映人臉活體檢測的錯誤率水平；浮點(diǎn)運(yùn)算次數(shù)（FLoating point Operations Per second，F(xiàn)LOPs）可以理解為計算量大小，參數(shù)量和FLOPs 用來衡量模型的復(fù)雜度。由表3可知，“瘦身后”的結(jié)構(gòu)在參數(shù)量和計算量都大量減少的同時，模型的性能基本上沒有變化，因此本文將采用微調(diào)后的網(wǎng)絡(luò)結(jié)構(gòu)，并加入特征融合思想，設(shè)計用于人臉活體檢測的模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

利用bottleneck1 和bottleneck2 分別從RGB 圖、HSV 圖和LBP 圖中提取特征，將各自的特征圖堆疊在一起進(jìn)行特征層的融合，然后利用bottleneck3 和bottleneck4 從融合后的特征圖中進(jìn)一步提取具有區(qū)分性的信息，最后經(jīng)過卷積層和Softmax 層，給出真假人臉的判斷。通過特征層的融合，可以充分利用上述三種信息，克服單一信息的不足，而且有助于提高模型的準(zhǔn)確率和泛化能力。MobileNetV2屬于輕量級網(wǎng)絡(luò)，在保證其性能的同時，較少的運(yùn)算量使其能夠?qū)崟r在嵌入式平臺運(yùn)行。

圖5 融合算法結(jié)構(gòu)Fig. 5 Structure of fusion algorithm

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

NUAA 數(shù)據(jù)集是被公認(rèn)為第一個公開的用于人臉活體檢測的數(shù)據(jù)集，該數(shù)據(jù)集由南京航空航天大學(xué)Tan 等［28］于2010年發(fā)布。該數(shù)據(jù)集包含15 個人的照片數(shù)據(jù)，使用普通的攝像頭分三次采集得到。該數(shù)據(jù)集包括豐富的外觀變換，如光照、性別、有無眼鏡等。在真實(shí)圖像捕獲期間，為了使真實(shí)圖像和打印的照片圖像更相似，志愿者被要求正面直視攝像頭，保持自然表情，且沒有明顯的移動（如眨眼和頭部移動等）。在欺騙圖像制作期間，首先利用佳能相機(jī)為每個志愿者拍攝高清照片，印刷在相紙上（共三種:6.8 cm×10.2 cm、8.9 cm×12.7 cm的相片紙和普通A4紙上打印的彩色照片），然后在攝像頭下模擬如下五類攻擊手段:

a）水平和垂直的進(jìn)行前后移動；

b）沿垂直軸旋轉(zhuǎn)照片；

圖6 Siw數(shù)據(jù)集的采集方式Fig.6 Collection mode of Siw database

c）沿水平軸旋轉(zhuǎn)照片；

d）沿垂直軸彎曲照片；

e）沿水平軸彎曲照片。

NUAA 數(shù)據(jù)集共采集了3 491 張真實(shí)圖像和9 123 張欺騙圖像，且每張圖像保存大小為640 × 480。

隨著傳感器技術(shù)的進(jìn)步，現(xiàn)有的反欺騙系統(tǒng)可能容易受到新興的高質(zhì)量欺騙介質(zhì)的影響。使系統(tǒng)對這些攻擊具有魯棒性的一種方法是收集新的高質(zhì)量數(shù)據(jù)集。為了滿足這一需求，Liu 等［29］收集了一個命名為Siw 的人臉反欺騙數(shù)據(jù)集。該數(shù)據(jù)集提供了165 個人的真實(shí)和欺騙視頻。對于每個志愿者，有8 個真實(shí)和最多20 個欺騙視頻，總共4 478 個視頻。所有視頻均為30 frame/s，長度約為15 s，1 080P HD 分辨率。真實(shí)視頻分為四個場景，包括距離、姿勢、光照和表情的變化。欺騙攻擊視頻包括多種形式的照片攻擊和視頻攻擊。具體采集格式如圖6所示。

Siw 數(shù)據(jù)集不僅在個體數(shù)以及活體人臉的變化方面豐富了數(shù)據(jù)集，而且提供了三個測試協(xié)議:協(xié)議1 旨在評估模型的基本性能，要求用訓(xùn)練視頻的前60 幀訓(xùn)練模型，并測試所有測試視頻。協(xié)議2 旨在評估相同欺騙類型（視頻攻擊）下的泛化能力，采用留一法的策略:在三個重放媒體上訓(xùn)練并在第四個上進(jìn)行測試，記錄四個分?jǐn)?shù)的均值和標(biāo)準(zhǔn)差。協(xié)議3 旨在評估未知欺騙攻擊時的性能，從照片攻擊中選擇數(shù)據(jù)進(jìn)行訓(xùn)練，從視頻攻擊中選擇數(shù)據(jù)進(jìn)行測試，反之亦然。

2.2 評價標(biāo)準(zhǔn)

錯誤接受率（False Acceptance Rate，F(xiàn)AR）表示欺騙人臉圖像中預(yù)測為真實(shí)人臉的概率；錯誤拒絕率（False Rejection Rate，F(xiàn)RR）表示真實(shí)人臉圖像中預(yù)測為欺騙人臉的概率；等錯誤率（Equal Error Rate，EER）表示利用驗(yàn)證集數(shù)據(jù)進(jìn)行測試得到的ROC 曲線上FAR 和FRR 相等時的值；半錯誤率（Half Total Error Rate，HTER）表示以驗(yàn)證集上FAR 等于FRR時的閾值為測試集上的閾值計算測試集上FRR 與FAR 的均值。為了與其他實(shí)驗(yàn)結(jié)果進(jìn)行對比，本文在NUAA 數(shù)據(jù)集上的實(shí)驗(yàn)采用的指標(biāo)為EER。

Siw數(shù)據(jù)集上提供的協(xié)議中使用的是另一套評價指標(biāo)，來自于生物識別防假體攻擊方面的標(biāo)準(zhǔn)文件ISO/IEC 30107-3［30］，包 括APCER（Attack Presentation Classification Error Rate）、BPCER（Bona Fide Presentation Classification Error Rate）、ACER（Average Classification Error Rate），定義如下:

其中:NPAI表示第PAI類欺騙攻擊的攻擊次數(shù)；S表示欺騙攻擊的類別數(shù)；NBF表示活體人臉檢測的次數(shù)；APCERPAI表示第PAI類欺騙攻擊的錯誤識別率；APCER 表示所有類別的欺騙攻擊中最大的錯誤識別率。若第i 次檢測判斷為假體人臉，則Resi為1；若判斷為活體人臉，則Resi為0。為了與其他實(shí)驗(yàn)作對比，本文在Siw數(shù)據(jù)集上的實(shí)驗(yàn)也將采用這套指標(biāo)。

2.3 實(shí)驗(yàn)設(shè)置及結(jié)果

本文人臉數(shù)據(jù)集在使用人臉檢測算法從視頻中提取的過程中已經(jīng)對齊，網(wǎng)絡(luò)中輸入的HSV 圖和LBP 圖為112×112 的RGB 圖轉(zhuǎn)換得到，故不需要再作對齊處理，batchsize 設(shè)置為10；反向傳播的優(yōu)化算法采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）算法，學(xué)習(xí)率設(shè)為0.000 1，衰減率為0.000 5；實(shí)驗(yàn)使用tensoflow-gpu 1.10.0，keras 2.2.2搭建的環(huán)境進(jìn)行訓(xùn)練和測試，硬件設(shè)備的處理器為Inter Core i7-8700 CPU@3.2 GHz，內(nèi)存為16.0 GB.

1）實(shí)驗(yàn)一。

為了驗(yàn)證特征融合的有效性，在NUAA 數(shù)據(jù)集上測試單特征、兩特征融合和三特征融合的性能。首先分別單獨(dú)輸入RGB 圖、HSV 圖和LBP 圖，驗(yàn)證單特征的性能，然后與兩特征融合和三特征融合的結(jié)果作對比。以NUAA數(shù)據(jù)集上80%的數(shù)據(jù)作為訓(xùn)練集，另20%的數(shù)據(jù)作為測試集，實(shí)驗(yàn)的對比結(jié)果如表4所示。

表4 不同特征在NUAA數(shù)據(jù)集上的EER對比 單位：%Tab.4 EER comparison of different features on NUAA database unit:%

實(shí)驗(yàn)結(jié)果表明，RGB顏色信息、HSV顏色信息和LBP紋理信息都可以用于活體檢測，其中RGB 信息的效果最好；兩特征融合比單特征取得了更好的結(jié)果，三特征融合比兩特征融合取得了更好的結(jié)果，從而說明了融合不同的特征信息可以克服單一信息的不足，能有效地提高活體檢測的準(zhǔn)確率，降低錯誤率。

2）實(shí)驗(yàn)二。

為了驗(yàn)證本文提出的基于深度學(xué)習(xí)和特征融合算法的有效性，利用本文方法在NUAA 數(shù)據(jù)集上測試，并與其他一些代表算法對比，實(shí)驗(yàn)對比結(jié)果如表5所示。

表5 與其他方法在NUAA數(shù)據(jù)集上的性能對比Tab.5 Performance comparison with other methods on NUAA database

實(shí)驗(yàn)結(jié)果表明，基于MobileNetV2的特征融合方法在人臉活體檢測方面表現(xiàn)出了不錯的效果，更重要的是本文設(shè)計的網(wǎng)絡(luò)在檢測單張人臉圖像時所使用的時間僅為6 ms，在實(shí)際應(yīng)用時具有不可比擬的優(yōu)勢。

3）實(shí)驗(yàn)三。

為了驗(yàn)證本文算法在復(fù)雜數(shù)據(jù)集上的性能以及在同一個數(shù)據(jù)集上的泛化能力，利用本文方法在Siw 數(shù)據(jù)集上測試，并與其他方法（包括特征融合方法）作對比，實(shí)驗(yàn)對比結(jié)果如表6所示。

表6 與其他方法在Siw數(shù)據(jù)集上的性能對比Tab.6 Performance comparison with other methods on Siw database

上述結(jié)果表明，在復(fù)雜的數(shù)據(jù)集下，基于MobileNetV2 的特征融合方法在人臉活體檢測方面同樣表現(xiàn)出了很好的性能。MobileNetV2借鑒了ResNet的短路連接思想，每個支路可以提取得到充分的特征信息，再融合不同支路的特征信息無疑會進(jìn)一步提高檢測準(zhǔn)確率。文獻(xiàn)［34］采用的是基于ResNet-18 和特征融合的方法，與其結(jié)果相比，本文算法獲得了更優(yōu)的結(jié)果，同時MoboleNetV2 使用了深度分離卷積，計算量較文獻(xiàn)［34］方法減少了很多，速度更快。從協(xié)議2和協(xié)議3的實(shí)驗(yàn)結(jié)果來看，基于MobileNetV2的特征融合算法的泛化能力同樣經(jīng)得起考驗(yàn)。

4）實(shí)驗(yàn)四。

為了進(jìn)一步驗(yàn)證本文算法在跨數(shù)據(jù)集訓(xùn)練和測試時的泛化能力，進(jìn)行跨數(shù)據(jù)集測試。實(shí)驗(yàn)包括兩個方案，方案1 是指在NUAA 數(shù)據(jù)集上訓(xùn)練，在Siw 數(shù)據(jù)集上測試；方案2 是指在Siw數(shù)據(jù)集上訓(xùn)練，在NUAA 數(shù)據(jù)集上測試。本文算法與其他算法的對比結(jié)果如表7所示。

表7 跨數(shù)據(jù)集測試EER對比 單位：%Tab.7 EER comparison of inter-test between NUAA and Siw datasets unit:%

為了驗(yàn)證算法的通用性，跨數(shù)據(jù)集測試是一個不錯的途徑:以一個數(shù)據(jù)集的數(shù)據(jù)訓(xùn)練模型，以另一個數(shù)據(jù)集的數(shù)據(jù)測試模型的性能。目前大部分的跨數(shù)據(jù)集測試大都在同類別欺騙攻擊的數(shù)據(jù)集上測試，對于跨數(shù)據(jù)集、跨欺騙攻擊類別的測試還比較少。本文做了NUAA 和Siw 兩個數(shù)據(jù)集上跨數(shù)據(jù)集測試的實(shí)驗(yàn)，從表7 可知，跨數(shù)據(jù)集測試的結(jié)果并不理想，而且以NUAA 為訓(xùn)練集以Siw 為測試集的結(jié)果最差，原因是NUAA 數(shù)據(jù)集過于簡單，包含的欺騙攻擊手段比較單一，訓(xùn)練的模型在復(fù)雜的數(shù)據(jù)集上測試時效果較差，這也說明了建立一個大規(guī)模包含多模態(tài)欺騙攻擊手段數(shù)據(jù)集的必要性。另一方面，為了提高算法跨數(shù)據(jù)集測試時的性能，有必要對融合算法作進(jìn)一步的研究。

3 結(jié)語

人臉識別系統(tǒng)容易受到欺騙攻擊，給系統(tǒng)的安全性能帶來挑戰(zhàn)。如何設(shè)計一個檢測精度高、耗時短、魯棒性強(qiáng)、泛化能力強(qiáng)的人臉反欺騙系統(tǒng)成為目前的研究熱點(diǎn)。本文基于輕量級網(wǎng)絡(luò)MobileNetV2 設(shè)計了一個用于人臉活體檢測的特征融合算法，并在NUAA 和Siw 數(shù)據(jù)集上進(jìn)行了驗(yàn)證，該方法都表現(xiàn)出了很好的性能，同時輕量化的網(wǎng)絡(luò)為移動端的嵌入使用提供了可能。

隨著深度傳感器越來越多的應(yīng)用于移動設(shè)備，基于RGBD 圖像的人臉識別和活體檢測算法值得進(jìn)一步的研究，在設(shè)備允許的條件下，把本文方法中的LBP圖替換為深度圖，理論上可以取得更好的結(jié)果。本文作者接下來將進(jìn)一步研究融合深度信息的活體檢測算法；同時在特征融合算法、分類器融合算法、輕量化網(wǎng)絡(luò)設(shè)計等方面也將深入研究。