張文興，楊振凱，劉文婧，王建國

（1.內(nèi)蒙古科技大學(xué)機(jī)械工程學(xué)院，內(nèi)蒙古 包頭 014000；2.內(nèi)蒙古自治區(qū)機(jī)電系統(tǒng)智能診斷與控制重點(diǎn)實(shí)驗(yàn)室，內(nèi)蒙古 包頭 014000）

1 引言

隨著移動(dòng)網(wǎng)絡(luò)的迅速崛起，生活中隨處可見的“刷臉”支付方式使得人臉支付在日常生活中受到了許多人喜愛［1］。人臉支付涉及到個(gè)人的財(cái)產(chǎn)安全，其決定了錢袋子的安全性。目前的攻擊方法可以分為三種主要類型：打印照片，重放視頻和人皮面具。由于較高的生產(chǎn)成本和需要十分詳細(xì)的人臉3D數(shù)據(jù)，因此，采用面具的人臉攻擊極少［2］。隨著手機(jī)相機(jī)分辨率和高清打印機(jī)還原度的快速提升，加之社交平臺的開放性很容易獲得受害人的照片和視頻，照片和視頻的攻擊已成為日常最常用的攻擊手段。因此，人臉活體檢測已經(jīng)成為人臉面部識別認(rèn)證系統(tǒng)必不可少的安全驗(yàn)證步驟。2012 年ImageNet 圖像識別大賽冠軍Alexnet 第一次將“Dropout”，和“LRN”等優(yōu)化函數(shù)同時(shí)應(yīng)用到了卷積神經(jīng)網(wǎng)絡(luò)之中，將驗(yàn)證錯(cuò)誤率從25%以上降低到了15%，使得深度學(xué)習(xí)在圖像識別算法領(lǐng)域迅速走熱［3］。文獻(xiàn)［4］首次將卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深度學(xué)習(xí)方法直接應(yīng)用到活體檢測中，受限于公開數(shù)據(jù)集規(guī)模以及模型深度，性能始終無法超越傳統(tǒng)方法。文獻(xiàn)［5］提出了一種新穎的CNN-RNN架構(gòu)用于端到端的學(xué)習(xí)深度圖和rPPG信號的混合特征，使得深度學(xué)習(xí)算法在人臉活體檢測領(lǐng)域第一次超越了傳統(tǒng)機(jī)器學(xué)習(xí)算法。文獻(xiàn)［6］提出利用紅外和普通光學(xué)相機(jī)的雙目測距方法獲重建人臉的48個(gè)特征點(diǎn)的深度信息依靠支持向量機(jī)（SVM）進(jìn)行二分類識別，然而受限于3D人臉建模精度的限制難以普及。文獻(xiàn)［7］提出利用獨(dú)立的RGB相機(jī)和深度相機(jī)深度融合方法，將兩種相機(jī)獲取的圖像分別用相同的單路卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，最后將兩條卷積提取的特征在分類層直接相加融合后再進(jìn)行分類。單目活體檢測對角度和光線變化的干擾比較敏感，雙目的活體檢測越來越受到研究者的關(guān)注。

以往雙目活體檢測的方法不是利用雙目測距原理重建人臉特征點(diǎn)處的深度信息，就是使用多路卷積將不同相機(jī)的畫面分別送入多路卷積提取特征，然后直接將提取的特征向量相加送入分類層進(jìn)行分類。這樣利用雙路卷積提取的特征信息只不過是各自的特征的直接疊加，而不是兩幅圖像的綜合特征。

2 人臉活體檢測算法

通過手工制作視差圖，將獨(dú)立的雙目圖片制作成具有聯(lián)合特征的一張圖片，使用單路卷積將雙目圖片的聯(lián)合特征提取出來，這樣就能很好的利用視差特征用于活體檢測之中。

2.1 制作數(shù)據(jù)集

2.1.1 雙目同步相機(jī)原理

視差指與被觀察對象存在一定距離時(shí)，兩個(gè)觀察角度對目標(biāo)產(chǎn)生的角度差異。受限于單目相機(jī)的自身結(jié)構(gòu)無法獲得同一時(shí)刻不同角度的視差，因此本實(shí)驗(yàn)需要使用同步雙目相機(jī)。同步雙目可見光相機(jī)的結(jié)構(gòu)原理，如圖1所示。目標(biāo)物P的視差值計(jì)算等式由三角形定理可得：

圖1 平行光軸雙目相機(jī)結(jié)構(gòu)原理Fig.1 Structure Principle of Parallel Optical Axis Binocular Camera

故求得雙目相機(jī)視差值為：

式中：Ol、Or—相機(jī)左右光心；

T—光心距；

f—焦距；

xl和xr—物體P在成相面上橫坐標(biāo)投影。

2.1.2 制作雙目同步視差數(shù)據(jù)集

由于沒有適合該實(shí)驗(yàn)研究的公開數(shù)據(jù)集，自建一個(gè)小型人臉雙目視差數(shù)據(jù)庫。實(shí)驗(yàn)中數(shù)據(jù)集制作使用HBV-1780-2普通可見光同質(zhì)雙目同步攝像頭，如圖2所示。

圖2 HBV-1780-2可見光同質(zhì)雙目同步攝像頭Fig.2 HBV-1780-2 Visible Light Homogenous Binocular Sync Camera

該攝像頭是一種同步單通道RGB攝像頭，能夠有效解決畫面非同步造成的差異。實(shí)驗(yàn)數(shù)據(jù)集采用基于Pycharm的OpenCV框架制作過程流程，如圖3所示。

圖3 實(shí)驗(yàn)數(shù)據(jù)制作流程Fig.3 Experimental Data Production Process

首先利用Haar 特征把人臉檢測的級聯(lián)分類器（Cascade -Classifier）載入，來獲得雙目圖像左右區(qū)域中的人臉位置信息。然后將人臉位置信息進(jìn)行個(gè)數(shù)判斷，若獲得到2張人臉的坐標(biāo)信息時(shí)將局部人臉分割出來統(tǒng)一為（100×100）的尺寸大??；否則繼續(xù)下一張圖片提取。最后將提取的局部人臉使用Numpy庫中的圖像并聯(lián)函數(shù)Concatenate（）進(jìn)行左右拼接。

本實(shí)驗(yàn)采集了10個(gè)人的人臉數(shù)據(jù)，包含日光，燈光，逆光和室內(nèi)白天4種不同光照條件下的真臉。四種不同條件下的真實(shí)人臉樣本，如圖4所示。

圖4 四種不同條件下的真實(shí)人臉樣本Fig.4 Real Face Samples Under Four Different Conditions

將小米9 手機(jī)錄制的1080p30 標(biāo)準(zhǔn)視頻分別在手機(jī)、Think Vision顯示器、惠普暗影精靈4筆記本電腦顯示器播放。再將惠普M180n打印機(jī)打印的A3大小彩色照片統(tǒng)一錄制制作成4種不同的假臉，如圖5所示。

圖5 四種不同條件下的攻擊人臉樣本Fig.5 Attack Face Samples Under Four Different Conditions

本實(shí)驗(yàn)一共采集到了真?zhèn)稳四樃?000張，總計(jì)8000張。為了提高模型的泛化能力，采集過程中變換了人臉的不同角度，距離遠(yuǎn)近和是否戴眼鏡等變量，以提高模型的泛化能力。

2.2 殘差神經(jīng)網(wǎng)絡(luò)模型

殘差神經(jīng)網(wǎng)絡(luò)［8］（ResNet）網(wǎng)絡(luò)是深度學(xué)習(xí)圖像分類領(lǐng)域應(yīng)用較廣的新型卷積神經(jīng)網(wǎng)絡(luò)。ResNet神經(jīng)網(wǎng)絡(luò)是由多個(gè)殘差塊堆疊而成，標(biāo)準(zhǔn)殘差塊，如圖6所示。

圖6 殘差塊結(jié)構(gòu)Fig.6 Residual Block Structure

當(dāng)通道尺寸相同時(shí)，殘差塊輸出的計(jì)算公式為：

式中：xi—輸入；xi+1—輸出值；

F(xi，Wi)—卷積運(yùn)算；

Ws—卷積核。

當(dāng)卷積網(wǎng)絡(luò)中xi+1與xi的通道數(shù)目不相同時(shí)，采用卷積核大小1×1，步長為2的卷積運(yùn)算Ws進(jìn)行維度匹配，得到輸出值xi+1。公式如下：

式中：Ws—卷積運(yùn)算。

通過以上數(shù)據(jù)變換，當(dāng)前殘差塊的輸出即可以得到經(jīng)過殘差塊卷積過后的特征，這種結(jié)構(gòu)避免了特征矩陣經(jīng)過多卷積層時(shí)，導(dǎo)致梯度值過小使得模型不收斂問題。

2.3 改進(jìn)的殘差網(wǎng)絡(luò)模型

在殘差神經(jīng)網(wǎng)絡(luò)（ResNet34）的殘差塊中的結(jié)構(gòu)，如圖7（a）所示。文獻(xiàn)［9］提出第二個(gè)卷積只對第一個(gè)卷積的結(jié)果進(jìn)行了特征提取，而沒有充分利用上一級殘差塊的輸入特征矩陣的關(guān)系，為此加入跳躍連接使得第二個(gè)卷積可以直接復(fù)用上一層卷積的輸入。結(jié)構(gòu)如圖7（b）圖所示。

圖7 改進(jìn)前后的殘差塊結(jié)構(gòu)示意圖Fig.7 Schematic Diagram of the Residual Block Structure Before and After the Improvement

人臉作為一種類間差異性較小的樣本模型，需要大量樣本訓(xùn)練減少過擬合，而“shortcut”可以實(shí)現(xiàn)特征復(fù)用，提高數(shù)據(jù)的利用率降低過擬合。文獻(xiàn)［10］中提出對于殘差神經(jīng)網(wǎng)絡(luò)內(nèi)部殘差塊中的BN層排布在卷積層之前，導(dǎo)致了輸入卷積計(jì)算時(shí)的數(shù)據(jù)并未起到歸一化運(yùn)算。因此調(diào)整殘差塊的結(jié)構(gòu)將“BN”層移動(dòng)到卷積層之前。結(jié)構(gòu)如圖7（b）圖所示。

2.4 引入SENet注意力模塊

注意力機(jī)制（Attention Mechanism）的SENet 模塊是最后一屆ImageNet大賽的冠軍模型［11］。該模型彌補(bǔ)了以往模型只提取了空間和維度特征，而忽略了通道之間的相關(guān)性。SENet模塊主要運(yùn)算過程的步驟，如圖8所示。

圖8 SE模塊結(jié)構(gòu)圖Fig.8 SE Module Structure Diagram

（1）Squeeze將某個(gè)channel上的空間特征進(jìn)行壓縮，提取為一個(gè)具有全局感受野的實(shí)數(shù)。公式如下：

式中：zc—輸出向量；Fex(uc)—全局平均池化；h、w—輸入特征的高和寬；uc(i，j)—輸入矩陣。

（2）Excitation分為兩步，首先將借助參數(shù)w來為每個(gè)特征通道生成權(quán)重，學(xué)習(xí)通道之間互不相關(guān)的非線性特征關(guān)系，σ（）表示非線性激活函數(shù)sigmoid，用來處理非線性變化。

式中：σ（）—激活函數(shù)sigmoid；g(z，W)—輸入向量；sc—每個(gè)通道的權(quán)重。

其次，將經(jīng)過非線性變換后的向量從一維向量恢復(fù)到原始輸入數(shù)據(jù)的形狀。

式中：uc—輸入矩陣的原始形狀參數(shù)。

文獻(xiàn)［12］通過實(shí)驗(yàn)探究了以標(biāo)準(zhǔn)的SEResNet 塊為基礎(chǔ)的新SE-ResNet結(jié)構(gòu)獲得更高的識準(zhǔn)確率，如圖9（a）的結(jié)構(gòu)關(guān)系。后來本實(shí)驗(yàn)將9（a）結(jié)構(gòu)中“Relu”激活函數(shù)進(jìn)行的再次調(diào)整，避免殘差塊結(jié)構(gòu)對SENet網(wǎng)絡(luò)模塊的影響。再將圖7（b）中第一個(gè)卷積層之前的“BN”層，放置到圖9（b）所示的SE-ResNet塊之后，使其對兩條路徑都可以起到歸一化作用，從而進(jìn)一步提高了模型的性能。最終網(wǎng)絡(luò)模塊，如圖9（b）所示。

圖9 加入SE模塊的殘差塊結(jié)構(gòu)Fig.9 Add the Residual Block Structure of the SE Module

通過對以上改進(jìn)模型實(shí)驗(yàn)結(jié)果的分析對比，得出平均準(zhǔn)確率，如表1所示。優(yōu)化1指將ResNet34模型中加入“Shortcut”結(jié)構(gòu)后的新結(jié)構(gòu)，如圖7（b）所示。平均準(zhǔn)確率97.78%；而這里方法將SE-ResNet34模型改進(jìn)了SENet在殘差塊中的結(jié)構(gòu)，如圖9（b）所示的結(jié)構(gòu)平均準(zhǔn)確率98.62%。

表1 不同改進(jìn)方法的消融實(shí)驗(yàn)結(jié)果Tab.1 Results of Ablation Experiments with Different Improved Methods

改進(jìn)后的模型有4種殘差塊結(jié)構(gòu)，具體結(jié)構(gòu)參數(shù)，如表2所示。

表2 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.2 Improved Network Structure Parameters

除第1類殘差塊以外，其余3類殘差塊中第一個(gè)殘差塊的首個(gè)卷積運(yùn)算的步長均為stride=2，余下步長都為1；SENet網(wǎng)絡(luò)模塊中的壓縮率為經(jīng)驗(yàn)值16。殘差塊“ResBlock”中前兩行分別代表第一個(gè)卷積層參數(shù)，第二個(gè)卷積層參數(shù)以及SENet 網(wǎng)絡(luò)的參數(shù)，具體參數(shù)結(jié)構(gòu)，如表2所示。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺采用Windows 10 基于Pycharm3.7 的TensorFlow 2.1 和OpenCV 3.4.3 框架。硬件配置為Intel（R）8th Gen i5 8300H，16 GB運(yùn)存，NVIDIA 1050ti顯卡。

3.1 搭建調(diào)試網(wǎng)絡(luò)摸型

在改進(jìn)的SE-ResNet34網(wǎng)絡(luò)模型中設(shè)置迭代次數(shù)為50；學(xué)習(xí)率0.0001；采用隨機(jī)梯度下降（Adam）算法；并采用了Categorial-Crossentropy()損失函數(shù)。將制作好的真假人臉取8000張圖片制作one-hot編碼，設(shè)置圖片輸入尺寸為（128，64，3）圖片格式HSV。將數(shù)據(jù)按照8：1：1進(jìn)行劃分，5600張訓(xùn)練，1200張驗(yàn)證，1200張測試。

3.2 實(shí)驗(yàn)結(jié)果對比分析

實(shí)驗(yàn)驗(yàn)證了多種經(jīng)典模型對于實(shí)驗(yàn)數(shù)據(jù)的有效性，測試集準(zhǔn)確率均取后10 次測試集準(zhǔn)確率的平均值結(jié)果，如表3所示。這里的實(shí)驗(yàn)方法對比經(jīng)典模型LeNet5測試集準(zhǔn)確率提升了7.04%、對比ResNet34 網(wǎng)絡(luò)模型測試集平均準(zhǔn)確率提升了2.07%、對比SE-Resnet34 網(wǎng)絡(luò)模型測試集平均準(zhǔn)確率提高了0.83%。

表3 自制數(shù)據(jù)集在經(jīng)典模型上的平均準(zhǔn)確率對比Tab.3 Comparison of the Average Accuracy of Self-Made Data Sets on Classic Models

文獻(xiàn)［11］對SENet 網(wǎng)絡(luò)又進(jìn)一步研究了，通過ResNet 網(wǎng)絡(luò)與SENet 網(wǎng)絡(luò)模塊不同的排列方式提出多種方案。當(dāng)ResNet 與SENet內(nèi)部殘差塊結(jié)構(gòu)排序如圖9（a）所示時(shí)，獲得的平均準(zhǔn)確率超過了文獻(xiàn)［12］最早提出的結(jié)構(gòu)。然而該模型最后結(jié)果出現(xiàn)了一定的過擬合現(xiàn)象，平均準(zhǔn)確率為96.97%。而本實(shí)驗(yàn)調(diào)整后的結(jié)構(gòu)如圖9（b），具有一定的抗過擬合作用，相比調(diào)整前的模型平均準(zhǔn)確率提高了1.65%。

4 結(jié)論

為了能夠有效的抵抗圖片和視頻攻擊，本實(shí)驗(yàn)提出的一種基于改進(jìn)ResNet 雙目視覺算法及其在人臉活體檢測中的應(yīng)用研究。實(shí)驗(yàn)在殘差塊中引入“Short”結(jié)構(gòu)，調(diào)整了ResNet神經(jīng)網(wǎng)絡(luò)的和SENet模塊的相對位置。實(shí)驗(yàn)結(jié)果證明了本實(shí)驗(yàn)?zāi)軌蛟谧灾菩颖緮?shù)據(jù)集上有效解決角度和光線變化對人臉活體檢測結(jié)果的影響。