孔月萍，劉 楚，朱旭東

(西安建筑科技大學(xué) 信息與控制工程學(xué)院，陜西 西安 710055)

隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，人臉識(shí)別算法已經(jīng)達(dá)到近乎完美的識(shí)別性能，并廣泛應(yīng)用在智能門(mén)禁、手機(jī)解鎖、人臉支付等日常生活中。但這些系統(tǒng)也受到竊取已注冊(cè)用戶(hù)照片、視頻的惡意攻擊，引發(fā)系統(tǒng)的安全問(wèn)題。因此虛假人臉檢測(cè)成為人臉識(shí)別系統(tǒng)應(yīng)研究的安全性前置技術(shù)。

現(xiàn)有的虛假人臉檢測(cè)方法大多利用真實(shí)人臉皮膚與紙質(zhì)介質(zhì)和顯示設(shè)備等攻擊的紋理差異來(lái)分析人臉面部圖像，將提取的面部紋理特征送入分類(lèi)器進(jìn)行二分類(lèi)；常見(jiàn)的提取特征主要有局部二值模式(Local Binary Pattern，LBP)[1-2]、梯度方向直方圖(Histogram of Oriented Gradient，HOG)[3-4]等。這些人工特征盡管在測(cè)試數(shù)據(jù)集內(nèi)性能顯著，但對(duì)環(huán)境照度敏感、采集設(shè)備的性能要求較高，不同環(huán)境、設(shè)備條件下的檢測(cè)效果不穩(wěn)定。為了使檢測(cè)模型的泛化性能更好，一些方法利用與用戶(hù)交互發(fā)出眨眼、張嘴[5]的指令支撐檢測(cè)，需要被檢測(cè)對(duì)象配合，用戶(hù)體驗(yàn)不佳。傳統(tǒng)方法提取特征有限，深度學(xué)習(xí)[6]提取特征的方法首次提出，基本思想是采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)將虛假人臉檢測(cè)視為二分類(lèi)問(wèn)題學(xué)習(xí)真假人臉面部特征。因其出色的學(xué)習(xí)能力，文獻(xiàn)[7]提出由于屏幕晃動(dòng)導(dǎo)致視頻攻擊呈現(xiàn)運(yùn)動(dòng)模糊現(xiàn)象，主要表現(xiàn)在視頻亮度變化和運(yùn)動(dòng)模糊程度上，故可利用一維CNN學(xué)習(xí)亮度變化，引入局部相似模式作為模糊程度的特征，最后融合這兩種特征進(jìn)行分類(lèi)。該方法將深度學(xué)習(xí)特征和傳統(tǒng)特征相結(jié)合，取得了不錯(cuò)的檢測(cè)效果。

但上述方法著眼于照片及視頻中人臉的面部區(qū)域進(jìn)行特征檢測(cè)，忽略了人臉周?chē)鷧^(qū)域的有效利用?？紤]到人臉周?chē)鷧^(qū)域存在大量背景信息，真實(shí)人臉的背景區(qū)運(yùn)動(dòng)是獨(dú)立無(wú)規(guī)律、不同步的局部運(yùn)動(dòng)甚至無(wú)運(yùn)動(dòng)，而手持照片、視頻攻擊中的背景區(qū)存在有規(guī)律全局一致性運(yùn)動(dòng)，由此提出一種利用背景光流特征手持照片或視頻的虛假人臉檢測(cè)方法。

1 背景光流特征的虛假人臉檢測(cè)方法

當(dāng)攻擊者手持照片、視頻進(jìn)行惡意欺騙時(shí)，攝像頭前容易捕捉到虛假人臉周邊的環(huán)境背景。手持攻擊難免會(huì)產(chǎn)生人體抖動(dòng)現(xiàn)象，所以無(wú)論照片還是視頻欺騙背景區(qū)都會(huì)隨著手的不穩(wěn)定性產(chǎn)生有規(guī)律的全局一致性抖動(dòng)現(xiàn)象。而真實(shí)人臉的背景處在一個(gè)空間中，其運(yùn)動(dòng)信息極弱甚至不存在運(yùn)動(dòng)信息極弱，即使存在運(yùn)動(dòng)也是背景空間中的局部運(yùn)動(dòng)，呈現(xiàn)獨(dú)立、無(wú)規(guī)律不一致運(yùn)動(dòng)，利用這種運(yùn)動(dòng)差異可作為虛假人臉檢測(cè)切入點(diǎn)。

為了區(qū)分真實(shí)人臉與虛假人臉的背景運(yùn)動(dòng)差異，設(shè)計(jì)了提取背景光流特征進(jìn)行虛假人臉檢測(cè)的方法。對(duì)輸入的視頻幀先檢測(cè)人臉區(qū)域，分割出如圖1所示的左(L)、右(R)、上(U)3個(gè)背景對(duì)比區(qū)域；再借助光流法計(jì)算背景對(duì)比區(qū)的光流矢量，表征背景運(yùn)動(dòng)的差異性。為了克服光流矢量易受背景噪聲、尺度變化及運(yùn)動(dòng)方向的影響，將對(duì)比區(qū)的光流矢量轉(zhuǎn)化為光流角度直方圖(Histograms of Angle Optical Flow，HAOF)來(lái)表征區(qū)域運(yùn)動(dòng)特征；最后計(jì)算各對(duì)比區(qū)域的HAOF來(lái)檢測(cè)3個(gè)提取背景對(duì)比區(qū)域的運(yùn)動(dòng)相似度，判斷背景區(qū)是否出現(xiàn)全局一致性運(yùn)動(dòng)，識(shí)別是否為虛假人臉攻擊。背景光流特征的處理流程如圖1所示。

圖1 背景光流特征提取的處理流程

對(duì)背景區(qū)域的分割是為了檢測(cè)人臉周?chē)鷧^(qū)域的運(yùn)動(dòng)是全局性運(yùn)動(dòng)還是局部運(yùn)動(dòng)。其處理方法如圖2所示。先利用人臉檢測(cè)并分割出人臉區(qū)域；考慮到人體部位中肩膀、頭發(fā)存在對(duì)運(yùn)動(dòng)的干擾，以人體結(jié)構(gòu)常見(jiàn)比例規(guī)律設(shè)定“肩寬為兩個(gè)頭寬”，向人臉左、右區(qū)域分別擴(kuò)展一個(gè)頭寬W，排除人臉兩側(cè)肩膀部位的干擾，向人臉上部區(qū)域擴(kuò)展一個(gè)人臉的高度H，以排除人臉上部頭發(fā)的干擾；排除人臉和干擾部后，剩余的背景區(qū)劃分左(L)、右(R)、上(U)3個(gè)背景對(duì)比區(qū)域(若按上述擴(kuò)展原則只留下兩個(gè)背景區(qū)域，則只將兩個(gè)背景區(qū)域作為對(duì)比區(qū))；為了實(shí)現(xiàn)各對(duì)比區(qū)的運(yùn)動(dòng)一致性測(cè)算，以各區(qū)域的高度、寬度最小值作為歸一化背景檢測(cè)區(qū)尺度，確定出大小統(tǒng)一的對(duì)比區(qū)，保證歸一化區(qū)域下運(yùn)動(dòng)信息的可比性。

圖2 背景對(duì)比區(qū)域的劃分示例

為了提取背景對(duì)比區(qū)的運(yùn)動(dòng)特征，先借助光流法計(jì)算光流矢量表征區(qū)域運(yùn)動(dòng)信息。設(shè)I(x，y，t)為輸入視頻幀中t時(shí)刻像素點(diǎn)(x，y)的灰度值，則該像素點(diǎn)的光流變量u、v如下，

(1)

經(jīng)dt后該點(diǎn)灰度為I(x+dx，y+dy，t+dt)，將該點(diǎn)灰度由Taylor公式展開(kāi)，得

(2)

假設(shè)灰度恒定不變，I(x，y，t)=I(x+dx，y+dy，t+dt)，忽略式(2)的二階無(wú)窮小，將式(2)除以dt，得

(3)

令I(lǐng)x=?I/?x、Iy=?I/?y、It=?I/?t表示該點(diǎn)灰度沿x、y、t方向上的梯度，則式(3)可寫(xiě)成

Ixu+Iyv+It=0 。

(4)

解式(4)，得到光流矢量u、v值?？紤]到輸入欺騙視頻中相鄰幀背景運(yùn)動(dòng)的細(xì)微性和隱蔽性，為保證背景運(yùn)動(dòng)一致性測(cè)算的準(zhǔn)確性，采用Farneback[8]的稠密光流法計(jì)算背景區(qū)域的光流場(chǎng)。稠密光流是一種針對(duì)圖像進(jìn)行逐點(diǎn)追蹤計(jì)算光流場(chǎng)的方法，稠密光流的計(jì)算包含了圖像各點(diǎn)的偏移量，可以檢測(cè)出像素級(jí)別的圖像運(yùn)動(dòng)。

圖3為稠密光流法計(jì)算出的光流場(chǎng)分布，短線表示運(yùn)動(dòng)的光流場(chǎng)，真實(shí)人臉的背景中不會(huì)出現(xiàn)全局一致的運(yùn)動(dòng)現(xiàn)象，即一般不存在光流場(chǎng)，即使出現(xiàn)也是如圖3(a)所示的局部背景運(yùn)動(dòng)；而手持設(shè)備播放的欺騙人臉視頻往往會(huì)存在全局運(yùn)動(dòng)現(xiàn)象，產(chǎn)生如圖3(b)所示的運(yùn)動(dòng)一致光流場(chǎng)。

圖3 真實(shí)人臉和視頻人臉稠密光流場(chǎng)分布

由于光流計(jì)算易受背景噪聲、尺度變化以及運(yùn)動(dòng)方向性的影響，在此將光流場(chǎng)轉(zhuǎn)換成HAOF的形式表達(dá)背景的運(yùn)動(dòng)統(tǒng)計(jì)特征。根據(jù)光流場(chǎng)中的光流速度矢量f計(jì)算它與水平方向的夾角θ來(lái)表示光流方向[9]，計(jì)算方法如下：

(5)

圖4 光流角度分布

圖5給出了一對(duì)手持攻擊視頻和真實(shí)人臉的左、右背景區(qū)HAOF圖，圖5(a)為手持人臉攻擊視頻的左、右背景對(duì)比區(qū)HAOF，可見(jiàn)兩條折線的相似度很高，幾乎重疊；圖5(b)為真實(shí)人臉視頻的左、右背景對(duì)比區(qū)HAOF，兩條折線在水平、垂直方向上均有很大的位移差，區(qū)別較大。由此可見(jiàn)，背景對(duì)比區(qū)的HAOF可以表征真實(shí)人臉與欺騙人臉的運(yùn)動(dòng)差異。

(a)手持視頻的左右背景區(qū)HAOF

(6)

根據(jù)相關(guān)性的取值范圍[11]分析，當(dāng)相關(guān)系數(shù)即平均相似度d大于0.5時(shí)，表明存在相關(guān)關(guān)系，大于0.7時(shí)則較強(qiáng)相關(guān)，值為1時(shí)則兩個(gè)直方圖完全匹配。由于手持欺騙照片或視頻的背景對(duì)比區(qū)會(huì)產(chǎn)生一致運(yùn)動(dòng)，即背景對(duì)比區(qū)運(yùn)動(dòng)相關(guān)性較強(qiáng)，所以當(dāng)d>0.7時(shí)，認(rèn)為背景發(fā)生一致性運(yùn)動(dòng)，判定為虛假人臉攻擊。因此，完整的虛假人臉檢測(cè)方法處理流程如圖6所示。

圖6 虛假人臉檢測(cè)方法處理流程

2 實(shí)驗(yàn)與分析

為了驗(yàn)證新方法對(duì)虛假人臉檢測(cè)有效性，分別在公開(kāi)的Replay-Attack[1]和CASIA-FASD[12]數(shù)據(jù)集上進(jìn)行測(cè)試。從數(shù)據(jù)集中篩選出含有兩個(gè)及以上背景區(qū)域的照片與視頻進(jìn)行實(shí)驗(yàn)。其中，ReplayAttack中選取了20個(gè)人的280個(gè)數(shù)據(jù)，它們包含80個(gè)真實(shí)人臉和200個(gè)虛假人臉，數(shù)據(jù)有手持視頻、打印照片和電子照片3種攻擊方式。同時(shí)從CASIA-FASD中選取了30個(gè)人的240個(gè)數(shù)據(jù)，里面包括了60個(gè)真實(shí)人臉和180個(gè)虛假人臉，數(shù)據(jù)有手持視頻、彎曲照片和剪切照片3種攻擊方式。為了與現(xiàn)有方法進(jìn)行對(duì)比，選擇通用的半錯(cuò)誤率[1]H(Half Total Error Rate)進(jìn)行性能評(píng)價(jià)，其計(jì)算方法如式(7)。式中，A(False Acceptance Rate)為錯(cuò)誤接受率，R(False Rejection Rate)為錯(cuò)誤拒絕率，D為測(cè)試集，τ為計(jì)算等錯(cuò)誤率E(Equal Error Rate)而得到的閾值，其中E為A與R在ROC(Receiver Operating Characteristic)曲線上相等時(shí)的均值。具體的實(shí)驗(yàn)結(jié)果如表1、圖7所示?？梢钥闯?，新方法在數(shù)據(jù)集上的檢測(cè)的準(zhǔn)確率Z分別為97.87%和90.95%，在CASIA-FASD數(shù)據(jù)集上的測(cè)試效果要差一些，這是因?yàn)槠鋬蓚€(gè)中存在圖8所示的手持照片攻擊，這種照片的背景信息極少，可能出現(xiàn)照片以外的背景被當(dāng)成了檢測(cè)區(qū)域。

表1 新方法的測(cè)試結(jié)果 %

(a)Replay-Attack數(shù)據(jù)集上的ROC曲線

圖8 手持照片攻擊

(7)

作為對(duì)比，選擇基于紋理的LBP[1]、莫爾條紋[13]Moire Pattern方法，基于深度學(xué)習(xí)的CNN[6]、3DCNN[14]方法，基于運(yùn)動(dòng)[15-16]特征方法與新方法進(jìn)行對(duì)比。各種方法在ReplayAttack和CASIA-FASD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示。可以看出，新方法雖然不是最優(yōu)，但半錯(cuò)誤率H、錯(cuò)誤率E都比較低，與同樣是基于運(yùn)動(dòng)特征的檢測(cè)方法相比，新方法的效果明顯好于文獻(xiàn)[15-16]。

表2 新方法與現(xiàn)有方法的對(duì)比實(shí)驗(yàn)結(jié)果 %

最后，從方法的時(shí)空復(fù)雜度方面進(jìn)行分析若輸入照片、視頻的幀數(shù)據(jù)為m×n(m

3 結(jié)束語(yǔ)

針對(duì)手持照片、視頻的虛假人臉攻擊的抖動(dòng)現(xiàn)象，提出一種虛假人臉檢測(cè)新方法。該方法落腳于真實(shí)人臉與虛假人臉的背景差異性，選擇了稠密光流法提取背景運(yùn)動(dòng)信息，借助光流角度直方圖的相似性度量鑒別真假人臉。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)手持攻擊有著不錯(cuò)的檢測(cè)效果；但在無(wú)運(yùn)動(dòng)信息、無(wú)背景區(qū)域時(shí)檢測(cè)存在不足，今后將針對(duì)此類(lèi)問(wèn)題展開(kāi)工作，如結(jié)合紋理、深度學(xué)習(xí)的方法去抵御多種環(huán)境下的虛假人臉攻擊。