趙 洋,許 軍,靳永強(qiáng),王藝鋼,梁迎春

(1.沈陽(yáng)化工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 沈陽(yáng) 110142；2.遼寧省化工過(guò)程工業(yè)智能化技術(shù)重點(diǎn)實(shí)驗(yàn)室,遼寧 沈陽(yáng) 110142)

0 引言

隨著科學(xué)技術(shù)的飛速發(fā)展，人臉識(shí)別技術(shù)廣泛應(yīng)用于安防、商業(yè)和金融等領(lǐng)域。人臉識(shí)別系統(tǒng)會(huì)受到很多非法用戶的欺詐性攻擊。人臉的活體檢測(cè)是提高其安全性的一種有效手段，主要作用是區(qū)分真實(shí)人臉與人臉圖像，從而提高系統(tǒng)的安全性。文獻(xiàn)[1]提出了一種基于顏色紋理馬爾可夫特征和支持向量機(jī)遞歸特征消除的方法，通過(guò)判斷真實(shí)人臉和欺詐人臉之間的像素差異來(lái)區(qū)分是否是真實(shí)人臉。該方法雖然容易實(shí)現(xiàn)，成本較低，但是準(zhǔn)確率不理想。文獻(xiàn)[2]中提出了一種動(dòng)作活體的檢測(cè)方法，該方法通過(guò)眼睛睜開(kāi)與否和嘴巴張開(kāi)與否的動(dòng)態(tài)來(lái)判斷是否為活體，能達(dá)到很高的識(shí)別率，但需要用戶的高度配合，對(duì)用戶不太友好，實(shí)效性較差。文獻(xiàn)[3]中提出了一種基于熱紅外成像的方法判斷真實(shí)圖像和面具圖像的熱紅外圖差異，利用真實(shí)人臉與偽造人臉在熱紅外圖上的差異來(lái)區(qū)分是否為真實(shí)人臉，但該方法并不適宜當(dāng)下大規(guī)模應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的出現(xiàn)，使圖像的特征提取效率顯著提高，不僅能得到圖像深度層次的語(yǔ)義信息，還能提高模型的泛化能力。文獻(xiàn)[4]中提出一種基于深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)學(xué)習(xí)特征進(jìn)行活體檢測(cè)的方法，該方法雖然在識(shí)別效果方面表現(xiàn)優(yōu)異，但是面對(duì)圖像連續(xù)幀之間的空間變化，識(shí)別效果卻不盡如人意。文獻(xiàn)[5]中提出了基于MobileNetV2[6]輕量化的人臉識(shí)別方法。首先對(duì)人臉的LBP，RGB，HSV圖分別進(jìn)行特征提取，將提取到的特征圖連接在一起繼續(xù)提取特征，最后進(jìn)行識(shí)別。該方法可移植性比較理想，但是不能應(yīng)對(duì)復(fù)雜的攻擊手段。文獻(xiàn)[7]中提出了一種基于多模型融合的可見(jiàn)光人臉活體檢測(cè)方法。該方法雖然取得了不錯(cuò)的效果，但是對(duì)局部替換的活體檢測(cè)任務(wù)不是很友好。文獻(xiàn)[8]中通過(guò)塊的局部特征和顯著特征相結(jié)合的方式達(dá)到了人臉?lè)纻蔚男Ч?，但模型的泛化能力還需要進(jìn)一步提高。DNN的發(fā)展使當(dāng)今網(wǎng)絡(luò)能自發(fā)地提取人臉的特征信息，而引入注意力機(jī)制更能讓網(wǎng)絡(luò)聚焦于重要的信息區(qū)域，提高準(zhǔn)確率。

針對(duì)以上問(wèn)題，本文提出了一種多模態(tài)特征融合的人臉活體檢測(cè)算法。首先將人臉的RGB圖、深度圖和紅外圖分別輸入到18層殘差網(wǎng)絡(luò)(Residual Network-18，ResNet18)的前3個(gè)模塊中進(jìn)行特征提取；然后分別將每個(gè)模態(tài)的特征圖送到SENet(Squeeze-and-Excitation Network)中進(jìn)行加權(quán)求和，在通道維度上對(duì)圖像進(jìn)行拼接；最后將3個(gè)模態(tài)的圖像一起送入特征提取網(wǎng)絡(luò)進(jìn)行特征匹配，得到判別結(jié)果。采用3個(gè)模態(tài)圖像的原因是：因?yàn)榛铙w人臉的反射機(jī)制不同，紅外圖能夠很輕松地區(qū)分出真實(shí)人臉和偽造人臉的差異；深度圖通過(guò)人臉的3D數(shù)據(jù)，能避免2D媒介的假臉攻擊，提高系統(tǒng)的安全性。通過(guò)引入注意力機(jī)制，表征于局部信息，找到最需要、最有用的信息，能夠提高模型的準(zhǔn)確率。

1 人臉活體檢測(cè)模型

1.1 人臉識(shí)別流程

CNN的出現(xiàn)極大地提高了圖像在特征提取方面的性能。它主要通過(guò)對(duì)圖像的層層表達(dá)，獲得圖像更深層次的語(yǔ)義信息。淺層的卷積層在特征提取的過(guò)程中只會(huì)提取到圖像的一些邊、角和顏色等信息。深層的卷積層能更容易地提取到語(yǔ)義信息?；铙w人臉和攻擊性人臉會(huì)在攝像頭捕捉的時(shí)候因?yàn)榉瓷涔獾牟煌@現(xiàn)差異。CNN通過(guò)對(duì)提取到的特征之間的差異判斷是真實(shí)人臉還是偽造人臉。本文主要采用神經(jīng)網(wǎng)絡(luò)并行的方式，將3種模態(tài)的圖像分別輸入網(wǎng)絡(luò)進(jìn)行特征提取，得到更加豐富的人臉特征，對(duì)提取到的3個(gè)模態(tài)上的特征進(jìn)行融合，然后將融合后的特征圖送入網(wǎng)絡(luò)得到語(yǔ)義特征，最后通過(guò)決策層進(jìn)行分類鑒別。人臉識(shí)別流程如圖1所示。

圖1 人臉識(shí)別流程Fig.1 Face recognition flow

圖1中，人臉檢測(cè)是在圖像或視頻中確定人臉的位置；圖像預(yù)處理是系統(tǒng)對(duì)獲得的受到各種條件或外部環(huán)境干擾的人臉圖片進(jìn)行去噪、修正和過(guò)濾等處理；活體檢測(cè)是檢測(cè)人臉是否為真實(shí)人臉；特征提取是將人臉的信息進(jìn)行數(shù)字化，然后通過(guò)轉(zhuǎn)化成特征向量的形式對(duì)人臉進(jìn)行表征[9]；人臉識(shí)別是對(duì)提取到的人臉特征信息進(jìn)行劃分，判斷屬于數(shù)據(jù)庫(kù)中的哪一類別。

1.2 RseNet18網(wǎng)絡(luò)結(jié)構(gòu)

通常情況下，特征的豐富程度是通過(guò)堆疊層的數(shù)量(深度)來(lái)實(shí)現(xiàn)的，但并不是網(wǎng)絡(luò)層數(shù)越多精度越高，而是呈先上升后逐漸降低的趨勢(shì)，所以并非所有的特征提取任務(wù)都適用較深的網(wǎng)絡(luò)結(jié)構(gòu)。殘差網(wǎng)絡(luò)結(jié)構(gòu)于2015年被提出，并且在ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)分類任務(wù)中取得了第一名的優(yōu)異成績(jī)[10]。ResNet18網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 ResNet18網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 ResNet18 network structure

由表1可以看出，ResNet18由res1，res2，res3，res4，res5和全連接層組成。其中res1中卷積核大小為7×7，通道數(shù)(卷積核個(gè)數(shù))為64。res2，res3，res4，res5每部分都由2個(gè)塊組成，每個(gè)塊執(zhí)行2次相同的卷積。塊內(nèi)是殘差的形式，如圖2所示。

圖2 殘差結(jié)構(gòu)Fig.2 Residual structure

圖2顯示的殘差結(jié)構(gòu)[11]分別由F(X)部分和X恒等映射部分組成，F(xiàn)(X)由2個(gè)卷積層構(gòu)成，每個(gè)卷積層后面都緊跟批量歸一化(Batch Normalization,BN)和ReLU激活函數(shù)，既加快了模型的收斂速度，又增強(qiáng)了非線性的能力。F(X)將在模型反向傳播的過(guò)程中學(xué)習(xí)更新。如果殘差趨向于0，那么模型在前向傳播的過(guò)程中會(huì)更傾向于恒等映射X。

2 算法流程

2.1 人臉預(yù)處理

在獲取人臉圖像的過(guò)程中，攝像頭的像素、背景的復(fù)雜程度和光照強(qiáng)度[12]等因素可能會(huì)影響整個(gè)人臉識(shí)別的結(jié)果。為了增強(qiáng)系統(tǒng)的魯棒性，提高模型的準(zhǔn)確率，本文需要對(duì)圖像進(jìn)行增強(qiáng)[13]。首先要確定人臉位置，通過(guò)攝像頭獲取到視頻中的單幀圖像，利用圖像處理庫(kù)(Opencv)中Haar級(jí)聯(lián)方法對(duì)人臉進(jìn)行定位，然后通過(guò)仿射變換矩陣實(shí)現(xiàn)對(duì)人臉的對(duì)齊。仿射變換矩陣如下：

(1)

式中，X′和Y′為矯正后的像素位置；θ為旋轉(zhuǎn)的角度；a，b為水平位移和垂直位移；x和y為原圖片的像素位置。通過(guò)計(jì)算左、右眼中心坐標(biāo)，求得雙眼的傾斜夾角θ，通過(guò)逆時(shí)針旋轉(zhuǎn)θ°獲得對(duì)齊后的人臉。人臉校正的過(guò)程如圖3所示。

圖3 人臉校正Fig.3 Face correction

2.2 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

殘差網(wǎng)絡(luò)主要解決了隨著網(wǎng)絡(luò)層數(shù)的增加，精度丟失的問(wèn)題。然而，在采用多模態(tài)進(jìn)行訓(xùn)練時(shí)，每張模態(tài)的圖片對(duì)檢測(cè)結(jié)果同等重要，而且模型在檢測(cè)的過(guò)程中應(yīng)該傾向于學(xué)習(xí)對(duì)檢測(cè)結(jié)果重要的特征。如圖4所示，本文在ResNet18的基礎(chǔ)上，主要做了以下2個(gè)方面的改進(jìn)：

圖4 優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Optimized network structure

① 采用網(wǎng)絡(luò)并行的方式對(duì)3個(gè)模態(tài)的圖像進(jìn)行特征提取，一能保證它們對(duì)模型同等的重要性并且保持特征之間的獨(dú)立性;二能提高模型的訓(xùn)練速度。

② 在網(wǎng)絡(luò)并行模塊之后，加入了基于通道注意力機(jī)制的特征融合。每個(gè)特征圖對(duì)模型學(xué)習(xí)的幫助程度不同，添加了通道注意力機(jī)制后能夠更容易地學(xué)習(xí)重要的特征，提高識(shí)別的準(zhǔn)確率。

由圖4可以看出，3個(gè)模態(tài)圖像分別經(jīng)過(guò)res1，res2，res3網(wǎng)絡(luò)提取特征，然后基于注意力機(jī)制進(jìn)行特征融合，送入到res4，res5繼續(xù)進(jìn)行特征提取，最后經(jīng)過(guò)自適應(yīng)的平均池化層和全連接層進(jìn)行決策分類。

2.2.1 并行層結(jié)構(gòu)

ResNet18網(wǎng)絡(luò)結(jié)構(gòu)中，采用res1，res2，res3這3個(gè)網(wǎng)絡(luò)模塊先進(jìn)行特征提取，如圖5所示。

圖5 并行層中的殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Residual network structure in parallel layer

2.2.2 基于注意力機(jī)制的特征融合

SENet是一個(gè)輕量化的網(wǎng)絡(luò)[14]，并且很容易和別的網(wǎng)絡(luò)模型結(jié)合在一起使用，如圖6所示。該網(wǎng)絡(luò)首先將提取后的特征圖經(jīng)過(guò)全局平均池化操作獲得一個(gè)1×1×C(特征圖通道數(shù))的向量。然后經(jīng)過(guò)2次卷積學(xué)習(xí)得到權(quán)重，對(duì)權(quán)重進(jìn)行Softmax歸一化，既保證了權(quán)重大小都為正，又保證了權(quán)重都在0～1，權(quán)重之和為1。最后將操作生成的權(quán)重與原始的特征層相乘，加權(quán)到原有的通道上，對(duì)原始的特征進(jìn)行重標(biāo)定[15]。權(quán)重在模型的反向傳播中進(jìn)行訓(xùn)練更新。重要的信息分配的權(quán)重大，次要的信息分配的權(quán)重小，這樣就能得到一個(gè)對(duì)人臉活體檢測(cè)貢獻(xiàn)度不同的特征層。重要的特征對(duì)結(jié)果的影響會(huì)更大，模型也會(huì)更偏向?qū)W習(xí)這些重要的信息。

圖6 SENet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 SENet network structure

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為Windows 10操作系統(tǒng)，CPU型號(hào)為Intel Core i5-10200H，8 GB內(nèi)存，GPU型號(hào)為NVIDIA GeForce RTX 2060顯卡，6 GB顯存，編程框架為Pytorch 1.7.0，編程軟件為Pycharm。

在實(shí)驗(yàn)的過(guò)程中迭代次數(shù)為90，批量處理圖片的大小(Batch size)為16，采用的優(yōu)化器為隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)。學(xué)習(xí)率采用余弦退火函數(shù)[16]，函數(shù)的表達(dá)式如下：

(2)

式中，T為總迭代次數(shù)；M為保存模型次數(shù)；T/M為一個(gè)周期的長(zhǎng)度(以迭代次數(shù)step來(lái)算)；t為當(dāng)前迭代次數(shù)；ɑ0為初始學(xué)習(xí)率；ɑ(t)為當(dāng)前學(xué)習(xí)率。從式(2)可以看出，雖然余弦函數(shù)是周期函數(shù)，但是只用到了[cos(0),cos(π)]區(qū)間內(nèi)的值，而該區(qū)間周期性重復(fù)的操作由mod函數(shù)實(shí)現(xiàn)。由式(2)計(jì)算出的學(xué)習(xí)率范圍為[ɑ0,0]，即每個(gè)周期內(nèi)學(xué)習(xí)率從ɑ0衰減到0。

3.2 數(shù)據(jù)集

公開(kāi)的數(shù)據(jù)集中大部分是RGB人臉圖像，這種圖像很容易受到攻擊，從而影響模型識(shí)別的精度。本文選用多模態(tài)的人臉活體檢測(cè)數(shù)據(jù)庫(kù)CASIA-SURF作為數(shù)據(jù)集。數(shù)據(jù)集中含有RGB圖、深度圖、紅外圖3個(gè)模態(tài)，有1 000個(gè)類別，共492 522張人臉。整個(gè)數(shù)據(jù)集中有6種攻擊手段，分別是去除眼睛區(qū)域的展平打印圖片和彎曲打印圖片；去除鼻子區(qū)域的展平打印圖片和彎曲打印圖片；去除嘴巴區(qū)域的展平打印圖片和彎曲打印圖片。數(shù)據(jù)集按照7∶2∶1的比例分成訓(xùn)練集、測(cè)試集和驗(yàn)證集[17]。

3.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中采用平均分類錯(cuò)誤率(Average Classification Error Rate,ACER)和準(zhǔn)確率(Accuracy，ACC)作為實(shí)驗(yàn)結(jié)果的評(píng)估指標(biāo)，平均分類錯(cuò)誤率越小、準(zhǔn)確率越高表示算法的性能越好。平均分類錯(cuò)誤率是指攻擊分類錯(cuò)誤率(Attack Presentation Classification Error Rate,APCER )和正常分類錯(cuò)誤率(Normal Presentation Classification Error Rate,NPCER)的均值[18]。計(jì)算方式如下:

(3)

(4)

(5)

(6)

式中，TP為活體人臉判定為活體人臉的數(shù)量；TN為非活體人臉判定為非活體人臉的數(shù)量；FP為非活體人臉判斷為活體人臉的數(shù)量；FN為活體人臉判斷為非活體的人臉數(shù)量。

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 基于注意力機(jī)制的特征融合實(shí)驗(yàn)

在CASIA-SURF數(shù)據(jù)集上將基于注意力機(jī)制的特征融合和融合特征拼接(Concatenated Features)進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同融合方法的實(shí)驗(yàn)對(duì)比Tab.2 Experimental comparison of different fusion methods

從表2可以看出，基于注意力機(jī)制的特征融合方式在模型迭代90次后ACER為0.001，ACC為0.999。相比較普通的特征融合方式，本文提出的算法在平均錯(cuò)誤率上減少了0.015，在準(zhǔn)確率上提高了0.001。實(shí)驗(yàn)表明，基于注意力機(jī)制的特征融合方式在CASIA-SURF數(shù)據(jù)集上得到了不錯(cuò)的提升。

3.4.2 不同模態(tài)融合對(duì)比實(shí)驗(yàn)

為了驗(yàn)證不同模態(tài)融合對(duì)實(shí)驗(yàn)結(jié)果的影響，本文分別在RGB單模態(tài)、RGB+Depth雙模態(tài)、RGB+IR雙模態(tài)和RGB+IR+Depths三模態(tài)上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同模態(tài)融合對(duì)比實(shí)驗(yàn)Tab.3 Comparison experiment of different mode fusion

由表3可以看出，RGB+IR和RGB+Depth雙模態(tài)圖像與RGB單模態(tài)圖像相比，ACER分別減少了0.126和0.135；ACC分別提高了0.031和0.043。RGB+IR+Depth三模態(tài)和RGB單模態(tài)相比平均錯(cuò)誤率減少了0.136，準(zhǔn)確率提高了0.043；與RGB+Depth雙模態(tài)相比，在準(zhǔn)確率相同的前提下，平均錯(cuò)誤率減少了0.001。雖然紅外圖像對(duì)模型性能的提升較小，但紅外圖像具有光照不變性，同時(shí)可以在夜間進(jìn)行識(shí)別。實(shí)驗(yàn)表明，多模態(tài)融合的方式能很好地提高模型的準(zhǔn)確率，降低模型的分類錯(cuò)誤率。

3.4.3 不同CNN在數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)

為了驗(yàn)證模型的泛化能力，本文在CASIA-SURF數(shù)據(jù)集上對(duì)不同的CNN模型進(jìn)行了人臉活體檢測(cè)實(shí)驗(yàn)[19-22]。實(shí)驗(yàn)結(jié)果如表4所示。

表4 不同CNN在數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)Tab.4 Comparative experiments of different CNN on datasets

由表4可以看出，本文算法相比較其他的算法在平均錯(cuò)誤率和準(zhǔn)確率上都得到了有效的改進(jìn)，證明了本文方法的優(yōu)越性。多模態(tài)特征融合的方法提取到的特征更加豐富，模型的魯棒性更加出色。

3.4.4 與其他活體人臉檢測(cè)算法的對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文算法的優(yōu)越性，本文與其他活體檢測(cè)算法進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果如表5所示。

表5 與其他活體人臉檢測(cè)算法的對(duì)比實(shí)驗(yàn)Tab.5 Comparison experiment with other face anti-spoofing algorithms

由表5可以看出，文獻(xiàn)[23]中的方法通過(guò)近紅外圖像的特征進(jìn)行人臉活體檢測(cè)，ACC為98.5%。文獻(xiàn)[24]中的方法通過(guò)紅外人臉中的紋理差異進(jìn)行人臉活體檢測(cè)，ACC為96.7%。文獻(xiàn)[25]中的方法通過(guò)頭部姿態(tài)和面部表情融合的方式進(jìn)行人臉活體檢測(cè)，ACC為96.7%。本文多模態(tài)特征融合的方法比以上3個(gè)文獻(xiàn)分別提高了1.4%，3.2%和3.2%。結(jié)果表明，本文提出的算法優(yōu)于其他活體人臉檢測(cè)算法。

4 結(jié)束語(yǔ)

針對(duì)人臉的欺騙性攻擊，本文提出了一種多模態(tài)特征融合的人臉活體檢測(cè)算法。該方法使用多模態(tài)的方式，每個(gè)模態(tài)特征提取采用相互并行的方式，加強(qiáng)了圖像的表征能力，減少了模型的訓(xùn)練時(shí)間；為了提高預(yù)測(cè)結(jié)果的準(zhǔn)確率，加快模型的收斂，使用通道注意力機(jī)制的方式對(duì)模型進(jìn)行融合，在數(shù)據(jù)集CASIA-SURF上取得了優(yōu)異的成績(jī)。

本文以ResNet18網(wǎng)絡(luò)為基礎(chǔ)模型，實(shí)現(xiàn)了人臉的活體檢測(cè)，然而，隨著攻擊方式、外部環(huán)境的變化，提取的特征可能會(huì)發(fā)生變化從而造成誤判。因此，如何提高準(zhǔn)確率，避免特征突變對(duì)識(shí)別結(jié)果帶來(lái)影響，是以后重點(diǎn)研究的問(wèn)題。