穆大強，李 騰

(安徽大學(xué)電氣工程與自動化學(xué)院，安徽 合肥 230601)

近年來，人臉識別系統(tǒng)被廣泛應(yīng)用在各種場合，例如上班打卡考勤、小區(qū)門禁等。然而，在傳統(tǒng)的人臉識別系統(tǒng)中存在著較大的安全隱患。主要是因為其不能識別攝像頭獲取到的人臉區(qū)域圖像究竟是來自真實的人臉還是攻擊類型的人臉(如人臉照片攻擊、人臉視頻攻擊、人臉合成攻擊等)。因此如何阻止這種惡意身份欺騙是人臉識別過程中一項關(guān)鍵的技術(shù)。

為了解決上述人臉欺騙的問題，人臉反欺騙技術(shù)應(yīng)運而生。與傳統(tǒng)的人臉識別系統(tǒng)相比，加入人臉反欺騙的系統(tǒng)更具安全性?；仡櫖F(xiàn)有的人臉反欺騙手段可分為3類：①基于手工特征的人臉反欺騙方法，該方法是人臉反欺騙早期常用的手段。其主要使用到的手工特征有：HOG[1-2]，LBP[3-5]，DoG[6-7]，SIFT[8]和SURF[9]等，再利用支持向量機(support vector machine，SVM)進行分類[10-11]。②基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的人臉反欺騙方法，該方法中CNN被用作特征提取器[11]，再使用SVM進行分類。③基于深度信息的人臉反欺騙方法，其主要通過提取人臉的深度信息[12-13]來進行分類。

上述方法中多為使用單一面部特征進行決策，因此獲得的模型魯棒性有待提高。為了盡可能提升人臉反欺騙模型的魯棒性，本文提出融合多種模態(tài)人臉活性特征的方法。即通過融合不同顏色空間(HSV與YCbCr)與時序上人臉活性特征來提升模型的魯棒性。為了驗證多模態(tài)融合方法的有效性，本文利用REPLAY_ATTACK和CASIA-FASD 2個基準(zhǔn)數(shù)據(jù)集來測試模型的性能。與先前的工作相比較，該方法具有以下創(chuàng)新與貢獻：

(1) 設(shè)計了一種新穎的多輸入CNN結(jié)構(gòu)，融合多種模態(tài)上的人臉特征，以提升人臉反欺騙模型的魯棒性。

(2) 從基于人臉圖像的多色彩空間以及用于面部反欺騙的時序信息中自動學(xué)習(xí)最佳特征表示。

(3) 在2個基準(zhǔn)數(shù)據(jù)集上實現(xiàn)了最先進的性能。

1 基于多模態(tài)融合的人臉反欺騙方法

從提取不同模態(tài)上人臉特征為出發(fā)點，展開了多模態(tài)融合的人臉反欺騙方法的探索，通過提取多種模態(tài)上人臉特征并融合以提升人臉反欺騙的魯棒性。包括：不同顏色空間(YCbCr與HSV)上完整人臉與局部人臉patch制作、時序圖制作、不同模態(tài)上特征提取與融合和多級水平特征聯(lián)合的決策網(wǎng)絡(luò)構(gòu)建。最后，通過大量實驗證明該方法的有效性。

1.1 多模態(tài)數(shù)據(jù)制作

1.1.1 顏色空間上數(shù)據(jù)的制作

在HSV與YCbCr顏色空間上制作了2種不同的人臉圖像：完整的人臉圖像和局部人臉patch圖像。使用局部人臉的patch圖像的原因如下：

(1) 為了增加CNN學(xué)習(xí)訓(xùn)練樣本的數(shù)量和解決訓(xùn)練過程中可能出現(xiàn)的過擬合現(xiàn)象，對于所有可用的人臉反欺騙數(shù)據(jù)集，僅有限數(shù)量的樣本可用于訓(xùn)練。例如，CASIA-FASD僅采集20個人的真假面孔，每個人有12個短視頻。即使可以從每個視頻中提取數(shù)百張面孔，由于跨幀的高度相似性，在CNN學(xué)習(xí)時，模型容易出現(xiàn)過擬合現(xiàn)象。

(2) 當(dāng)使用全臉圖像作為輸入時，傳統(tǒng)的CNN由于臉部圖像分辨率的變化而需要調(diào)整臉部的大小，由于縮放比例的變化可導(dǎo)致判別信息的減少。相反，使用局部人臉patch圖像可以保持面部圖像的原始分辨率，從而保留判別能力。

(3) 假設(shè)欺騙特有的區(qū)分性信息在空間上存在于整個面部區(qū)域中，則patch級別的輸入可以強制CNN發(fā)現(xiàn)此類信息，從而更有效地學(xué)習(xí)到人臉中有鑒別力特征。

對于完整人臉圖像的獲取。

(1) 利用人臉檢測器MTCNN[14]獲取到視頻中RGB顏色空間上的人臉圖像，同時，可以得到5個人臉關(guān)鍵點，利用這5個關(guān)鍵點對人臉進一步地校正，以降低人臉姿態(tài)的影響?？衫梅律渥儞Q將檢測到的人眼關(guān)鍵點旋轉(zhuǎn)至同一水平位置，使得2個眼睛中心點到兩嘴角中心點的距離是24個像素，且2個眼中心點的Y軸坐標(biāo)是24像素，將人臉區(qū)域大小縮放至128×128。校正前后的人臉區(qū)域圖像對比如圖1所示。

圖1 校正前后人臉對比Fig. 1 Face comparison before and after alignment

(2) 通過調(diào)用opencv工具將RGB顏色空間轉(zhuǎn)換到HSV與YCbCr顏色空間上。

對于局部人臉的patch圖像獲取，一種簡單而有效的方式為將得到的完整人臉圖像進行隨機的裁剪，得到2組數(shù)量為10，大小分別為72×72和56×56的人臉patch圖像，如圖2所示。

圖2 不同顏色空間上的完整人臉圖像與patch圖像Fig. 2 Complete face image and patch image in different color spaces

1.1.2 時序圖數(shù)據(jù)制作

利用視頻序列中圖像幀間時間信息的策略。首先將3幅不同時間位置的彩色圖像轉(zhuǎn)換成3幅灰度圖像，然后將灰度圖像作為一個整體疊加得到時序圖，并將時序圖輸入到CNN中學(xué)習(xí)人臉特征。圖3為3幅灰度圖像疊加的示例(也可采用多幅圖片進行疊加，此處以3幅圖片為代表說明該方法)。

圖3 時序圖制作過程Fig. 3 Temporal images production process

1.2 網(wǎng)絡(luò)設(shè)計

網(wǎng)絡(luò)設(shè)計分為融合網(wǎng)絡(luò)和決策網(wǎng)絡(luò)2部分，融合網(wǎng)絡(luò)用于提取各模態(tài)上的特征，并進行融合得到深度特征。最后將深度特征輸入到?jīng)Q策網(wǎng)絡(luò)中進行最終的預(yù)判。

1.2.1 融合網(wǎng)絡(luò)設(shè)計

融合網(wǎng)絡(luò)的設(shè)計是根據(jù)特征圖可視化的效果所設(shè)計，其包含5個卷積層，一個最大池化層，而且每個卷積層后均跟著BatchNorm層與Relu層。圖4描述了融合過程。

圖4 多模態(tài)特征融合過程Fig. 4 Multi-modal feature fusion process

為了展示融合網(wǎng)絡(luò)的細節(jié)，表1介紹了融合網(wǎng)絡(luò)的參數(shù)設(shè)置。

由表1可知，第4層卷積核的大小為1×1，之所以使用1×1的卷積核，主要考慮以下3個作用：

(1) 將特征圖的數(shù)量進一步地擴展到144。

(2) 使用1×1的卷積層替換到全連接層，可不限制輸入圖片大小的尺寸，使網(wǎng)絡(luò)更靈活。

(3) 實現(xiàn)跨通道的交互和信息整合，提高網(wǎng)絡(luò)的表達能力。

表1 融合網(wǎng)絡(luò)細節(jié)展示Table 1 Fusion network details display

其他4個卷積層使用3×3卷積核。這是由于較小的濾波器會揭示輸入圖像的更多詳細信息，因此使用3×3代替較大的卷積核。在前2層中，使用了內(nèi)核大小為3×3的64個過濾器，這是最低的。對于第3層，過濾器的數(shù)量增加了一倍，達到128個。此外，ReLU封裝在每個級別，以加快網(wǎng)絡(luò)訓(xùn)練速度，且提高了其性能以實現(xiàn)更快的收斂。

1.2.2 決策網(wǎng)絡(luò)設(shè)計

決策網(wǎng)絡(luò)的設(shè)計用于對輸入深度特征圖做出最終的判斷。其借鑒了inception結(jié)構(gòu)的思想，包含了3種不同水平的特征，即高水平、中水平和低水平特征，通過聯(lián)合3種不同水平的特征進行決策。之所以要融合不同水平的特征，是因為人臉反欺騙是一種特殊的細粒度圖像識別任務(wù)，網(wǎng)絡(luò)應(yīng)該更多地關(guān)注圖像的細節(jié)。3個級別的特征融合可以提供更詳細的特征，從而提高模型性能。具體網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計見表2。

表2 決策網(wǎng)絡(luò)細節(jié)展示Table 2 Decision network details

在表2中，將Lobal Average Pooling 1之后Conv-3之前的特征稱為低水平特征，將Lobal Average Pooling 2之后Conv-5之前的特征稱為中水平特征，將Lobal Average Pooling 3之后FC之前的特征稱為高水平特征，聯(lián)合這3種不同水平的特征經(jīng)過全連接FC得到一個二維的特征向量，最后經(jīng)過Softmax函數(shù)得到分類概率。圖5展示了利用決策網(wǎng)絡(luò)進行分類的過程。

圖5 融合不同水平特征的決策網(wǎng)絡(luò)Fig. 5 Decision network combining different levels of features

在整個決策網(wǎng)絡(luò)的設(shè)計中，對原有的殘差網(wǎng)絡(luò)進行了改進。殘差結(jié)構(gòu)是被HE等[15]提出用來解決深度網(wǎng)絡(luò)在訓(xùn)練時出現(xiàn)梯度爆炸、梯度彌散等問題。殘差網(wǎng)絡(luò)對模型的準(zhǔn)確有了大幅度的提高，其殘差模塊設(shè)計如圖6所示，主要利用恒等映射連接來解決深度網(wǎng)絡(luò)中出現(xiàn)的梯度消失的問題。

圖6 殘差網(wǎng)絡(luò)改進對比Fig. 6 Comparison of residual network improvement

2 實驗設(shè)計與結(jié)果分析

為保證評估的公平性與客觀性，本文使用人臉反欺騙方法中最常用的2個評價指標(biāo)(ERR與HTER)進行評測，在2個基準(zhǔn)數(shù)據(jù)集上(REPLAY_ATTACK與CASIA-FASD)對所提出的模型進行了驗證。

REPLAY_ATTAC數(shù)據(jù)集：其包含50個采集對象，共有1 300個活體與假體視頻。對于數(shù)據(jù)集中的每個采集對象，均在2種光照條件下錄視頻。每個對象在2種環(huán)境下收集了4個活體視頻序列。假體序列則是在固定支持攻擊(攻擊設(shè)備設(shè)置在固定支架上)和手持條件(攻擊設(shè)備由操作員持有)下捕獲的。攻擊類型分為打印攻擊、移動攻擊和高清晰度攻擊3種，所有視頻集被劃分為訓(xùn)練集(15個采集對象)，開發(fā)集(15個采集對象)和測試集(20個采集對象)。

CASIA-FASD數(shù)據(jù)集：包含600個視頻，共50個采集對象，每個采集對象采集了12個視頻(3個真實視頻和9個欺騙視頻)。每個主題包含3種不同的欺騙攻擊：視頻攻擊、扭曲照片攻擊和剪切照片攻擊。該數(shù)據(jù)集中訓(xùn)練集包括20個采集對象和測試集包括30個采集對象。

以下介紹2個評價指標(biāo)的具體定義：

ERR：是分類錯誤的樣本數(shù)占樣本總數(shù)的比例。對樣例集D，分類錯誤率為

其中，統(tǒng)計分類器預(yù)測出的結(jié)果與真實結(jié)果不相同的個數(shù)，然后除以總的樣例集D的個數(shù)。

HTER：是衡量人臉活體檢測性能的重要指標(biāo)，其計算式為

其中，F(xiàn)RR為錯誤拒絕率，是把真實面孔分類為假面孔；FAR為錯誤接受率，是把假面孔分類為真實面孔。

實驗軟硬件環(huán)境、損失函數(shù)及模型訓(xùn)練設(shè)置如下：

軟硬件設(shè)置：Mxnet框架；CPU為E5-2620 V3；內(nèi)存64 G；GPU為GTX TITAN X (12 G)。

損失函數(shù)：損失函數(shù)采用的是softmax loss，其表達式為

其中，Wj為網(wǎng)絡(luò)最后一個全連接層的權(quán)重W的第j列；b為偏置項。

模型訓(xùn)練設(shè)置：在訓(xùn)練網(wǎng)絡(luò)時，使用隨機梯度下降的方式(stochastic gradient descent，SGD)去更新網(wǎng)絡(luò)中每層的權(quán)重。在本次訓(xùn)練中，由于數(shù)據(jù)量較大，所以在設(shè)置初始學(xué)習(xí)率時選擇為0.1，并且每20個epoch降低50%的學(xué)習(xí)率。經(jīng)過6次學(xué)習(xí)率降低后，網(wǎng)絡(luò)達到最優(yōu)化。

2.1 多顏色空間特征實驗

對于不同的顏色空間上提取的人臉活性特征，在人臉反欺騙模型的性能上有著較為顯著的差異。RGB是用于傳感，表示和顯示彩色圖像的最常用的色彩空間。但是，由于3種顏色成分(紅色、綠色和藍色)之間的高度相關(guān)性以及亮度和色度信息的不完美分離，其在圖像分析中的應(yīng)用受到了很大的限制。還需考慮除RGB外的另外HSV和YCbCr 2個顏色空間上人臉活性信息。

首先在CASIA-FASD數(shù)據(jù)集上進行實驗，將該數(shù)據(jù)集中的訓(xùn)練集作為訓(xùn)練樣本，并在測試集進行性能測試，統(tǒng)計測試集錯誤率。表3記錄了3種顏色空間上進行人臉反欺騙的實驗結(jié)果。從表3中可看出，當(dāng)實驗使用單一的顏色空間特征進行人臉反欺騙時，HSV與YCbCr顏色空間的模型性能要優(yōu)于RGB顏色空間。最后實驗進一步地融合HSV與YCbCr顏色空間特征以提升模型的性能，結(jié)果顯示融合后的特征更具有鑒別力。

表3 不同顏色空間上人臉活體檢測錯誤率對比(%)Table 3 Comparison of error rate of face liveness detection in different color spaces (%)

此外其他顏色空間也被用來進行人臉活體檢測，并嘗試融合更多顏色空間進行人臉反欺騙，實驗結(jié)果見表4。由表4可知，在Lab顏色空間上提取人臉特征進行人臉反欺騙時，其錯誤率為5.47%；當(dāng)融合RGB，HSV和YCbCr 3種顏色空間時，錯誤率雖有下降，但模型速度下降明顯，若在不考慮檢測速度的前提下，可通過融合更多顏色空間上的特征來提升模型的精度。

表4 其他顏色空間與多顏色空間融合對比試驗Table 4 Contrast test of fusion between other color spaces and multi-color spaces

2.2 時序特征實驗

表5為在數(shù)據(jù)集CASIA-FASD上執(zhí)行融合時序特征的實驗結(jié)果。為融合時序特征時，模型的錯誤率從1.79%降低到1.76%，表明模型的性能得到了進一步提升。其次，時序特征也可單獨用于人臉反欺騙，其錯誤率為5.23%，遠超YCbCr和HSV顏色空間上的實驗錯誤率。導(dǎo)致此結(jié)果的原因：可能是由于數(shù)據(jù)集中前后幀間的相似性較高，所以堆疊過后的時序圖沒有包含豐富的動態(tài)特征，以至于實驗結(jié)果顯得差強人意。但是，通過比較表3，時序特征要比在RGB顏色空間上的特征更具有鑒別力，因此，本文決定融合時序特征以進一步優(yōu)化模型的性能。

表5 時序特征實驗(%)Table 5 Time series characteristic experiment (%)

2.3 不同水平特征融合實驗

在決策網(wǎng)絡(luò)中融合了高、中、低3種水平特征進行預(yù)判，主要是由于人臉反欺騙是一種特殊的細粒度圖像識別任務(wù)，所以網(wǎng)絡(luò)應(yīng)較多地注重圖像的細節(jié)。聯(lián)合3個級別的特征可以提供更詳細的人臉信息，從而提高模型性能。為了證明這一點，本文進行了不同水平特征融合實驗(表6)。由表6可知，在聯(lián)合3種水平特征后模型性能達到最優(yōu)化。

表6 不同水平特征融合對比實驗(%)Table 6 Contrast test of feature fusion at different levels (%)

2.4 多指標(biāo)測試與對比

REPLAY_ATTACK也是一個具有挑戰(zhàn)性的人臉反欺騙數(shù)據(jù)庫，該方法同樣在其上進行性能測試。除了測試錯誤率之外，另外一個重要評判指標(biāo)HTER也被測試記錄。

表7為近年來具有代表性的人臉反欺騙方法及其錯誤率。表8展示了各個方法的半錯誤率，與之相比，本文所提出的多模融合的方法取得了非常具有競爭力的結(jié)果。

表7 在錯誤率上的對比(%)Table 7 Comparison of error rates (%)

表8 半錯誤率對比(%)Table 8 Comparison of half error rate (%)

2.5 泛化能力測試

為了深入了解多模融合人臉反欺騙方法的泛化能力，本文進行了跨數(shù)據(jù)庫的評估。在此實驗中，利用一個數(shù)據(jù)庫對網(wǎng)絡(luò)進行訓(xùn)練，然后在另一個數(shù)據(jù)庫上進行了測試。實驗結(jié)果見表9。

表9 跨數(shù)據(jù)庫實驗結(jié)果及方法對比(%)Table 9 Cross-database experiment results and method comparison (%)

在REPLAY_ATTACK數(shù)據(jù)集上優(yōu)化的模型略微優(yōu)于基于CASIA-FASD數(shù)據(jù)集上優(yōu)化的模型。其原因可能是，與REPLAY_ATTACK數(shù)據(jù)庫相比，CASIA-FASD數(shù)據(jù)集在收集的數(shù)據(jù)中包含更多的變化(如，成像質(zhì)量和相機與人臉之間的接近度)。因此，針對重放攻擊數(shù)據(jù)庫優(yōu)化的模型在新的環(huán)境條件下表現(xiàn)略顯遜色。不過可以通過聯(lián)合2個數(shù)據(jù)庫的訓(xùn)練集進行訓(xùn)練網(wǎng)絡(luò)，以使模型擁有更好的泛化能力。

3 小 結(jié)

本文提出了一種基于多輸入CNN的新型人臉反欺騙技術(shù)。CNN被用于從時序圖和2個顏色空間中學(xué)習(xí)區(qū)分性的多個深度特征，以防止面部欺騙。由于這些類型的特征彼此互補，因此進一步提出了一種將所有模態(tài)特征融合在一起以提高性能的策略。在2個最具挑戰(zhàn)性的面部反欺騙基準(zhǔn)數(shù)據(jù)庫中評估了該方法，實驗結(jié)果證明，該方法優(yōu)于先前的面部防欺騙技術(shù)。另外，由2個數(shù)據(jù)庫間評估表明，本文所提出的方法具有良好的泛化能力。