黃義妨，魏丹丹，武 淼，李慧斌，郭 勐

（1.西安交通大學 數(shù)學與統(tǒng)計學院，西安 710049；2.中國移動通信有限公司研究院，北京 100053）

0 概述

人臉識別系統(tǒng)作為一種生物特征識別技術，其精度水平與安全性能是向商用化發(fā)展不可或缺的兩個指標。近年來，隨著深度學習技術的發(fā)展，傳統(tǒng)人臉識別系統(tǒng)的精度水平大幅提升，已被廣泛應用于金融、安防、交通、教育等領域，但在人臉識別系統(tǒng)大范圍普及的同時也暴露出諸多安全問題。例如，人臉數(shù)據(jù)的隱私安全、傳輸安全和存儲安全以及對人臉識別系統(tǒng)的各類假體攻擊和對抗樣本攻擊等。由于通過各種媒介如電子照片、打印照片、錄播視頻等制造合法用戶的人臉假體進而對人臉識別系統(tǒng)進行攻擊的代價大幅下降，假體呈現(xiàn)攻擊對人臉識別安全性保障提出更高要求，這也使得人臉防偽技術近年來受到研究人員的廣泛研究和關注。

人臉防偽技術又稱人臉活體檢測技術或特指人臉呈現(xiàn)攻擊檢測技術，該技術的主要目的是利用計算機視覺和模式識別方法判斷一個給定的人臉識別或核驗系統(tǒng)前的用戶是真實人臉或偽造人臉。若判斷為真實人臉，則人臉識別系統(tǒng)進行下一步識別操作，否則將該用戶列為非法攻擊用戶，不做任何識別操作，這樣就為人臉識別系統(tǒng)增加了一個重要的安全保障環(huán)節(jié)。人臉防偽算法的目的是盡可能使合法用戶順利通過活體認證，同時要有效杜絕假冒人臉進入人臉識別環(huán)節(jié)從而非法闖入人臉識別或核驗系統(tǒng)。人臉防偽技術對于人臉識別技術的商業(yè)化應用發(fā)揮著至關重要的作用，尤其是在無人值守的應用場景，如金融業(yè)務遠程操作在線身份核驗、在線考試身份核驗等場景，均離不開人臉防偽技術。特別是銀行金庫、刷臉支付等高安全級別人臉識別核驗系統(tǒng)對人臉防偽技術的要求越來越高。

近年來，人臉防偽問題受到人們廣泛關注。從攻擊類型的多樣性、防御傳感器的多樣性到防御策略的復雜性都展現(xiàn)了該領域的快速發(fā)展。目前已有一些關于人臉防偽方法的綜述［1-3］，但這些方法大都從不同防偽方法和人臉防偽攻擊類型梳理文獻，缺少一種面向人臉識別系統(tǒng)的防偽方法綜述介紹。本文認為人臉防偽是人臉識別系統(tǒng)不可或缺的一部分，人臉防偽的分類應通過人臉識別所使用的傳感器和所面對的場景進行分類。本文分析近年來的人臉防偽方法，將其歸納為面向不同傳感器的人臉識別系統(tǒng)防偽方法和面向復雜場景的人臉識別系統(tǒng)防偽方法，在此基礎上總結(jié)19 個公開的人臉防偽數(shù)據(jù)集并比較其中部分算法的性能，分析并探討人臉防偽問題目前面臨的挑戰(zhàn)和未來發(fā)展趨勢。

1 人臉識別系統(tǒng)防偽方法

當前學術界關注的人臉呈現(xiàn)攻擊方式主要有3類，分別是照片打印攻擊、視頻重播放攻擊以及人臉面具攻擊。打印攻擊是指將合法用戶的照片打印在各類紙質(zhì)材料上進而對人臉識別實施呈現(xiàn)攻擊。為了盡可能地逼真，對打印紙的材質(zhì)可以精心設計，但由于該類攻擊缺少人體生理信息和立體幾何信息，因此對識別系統(tǒng)的攻擊威脅相對較低。視頻重放攻擊是指將手機等電子設備事先錄制好的合法用戶的人臉照片或視頻呈現(xiàn)在人臉識別系統(tǒng)傳感器前進而對其實施攻擊的一種攻擊手段。由于移動互聯(lián)網(wǎng)技術的普及，該類攻擊最易實現(xiàn)，也是大多人臉識別系統(tǒng)需首先面臨解決的攻擊方式。人臉面具攻擊是指制作合法用戶的逼真面具進而對識別系統(tǒng)進行攻擊，面具的材質(zhì)可以多種多樣，例如紙質(zhì)面具、硅膠面具、乳膠面具、3D 打印面具等。由于精心制作的面具可以更好地模擬某個合法用戶的人臉皮膚紋理、五官形狀甚至面部表情變化等信息，因此面具攻擊是對人臉識別系統(tǒng)潛在威脅最高的一類攻擊手段。當然，隨著攻擊手段的增強，攻擊代價也隨之大幅提升。因而，在實際應用過程中，人臉防偽技術的防御能力或范圍應與人臉識別系統(tǒng)的應用場景和安全等級相匹配。本文以“Face anti-spoofing”和“Face liveness detection”為關鍵詞，檢索了404 篇2010 年—2020 年期間發(fā)表的人臉防偽方法論文。圖1 給出了相關防偽論文數(shù)量隨時間的變化規(guī)律?？梢钥闯?，2016年之后，人臉防偽研究論文迅速增加，充分說明了人臉防偽的重要性。

圖1 過去11 年公開發(fā)表的人臉防偽論文數(shù)目統(tǒng)計Fig.1 Statistics on the number of face anti-spoofing papers published in the past 11 years

人臉防偽技術的核心思想是充分提取并利用攻擊假體與真實人臉之間本質(zhì)的差異信息進行真假活體的判斷。面對各種不同的攻擊手段，為有效提取兩者的差異信息，人臉防偽技術通常從硬件傳感器和防偽算法建模兩方面共同提升防偽性能。從傳感器的角度來講，除常用的RGB 攝像頭外，近紅外攝像頭、散斑結(jié)構(gòu)光3D 攝像頭以及TOF3D 攝像頭均已成功用于人臉識別系統(tǒng)，且在人臉防偽方面發(fā)揮了重要作用。此外，熱紅外成像儀、多光譜成像儀等傳感器也被用于采集攻擊假體和真實人臉照片進而設計人臉防偽算法。使用不同的傳感器通常能夠捕獲更本質(zhì)的真假差異信息。例如，3D 相機能夠捕獲人臉3D 幾何輪廓信息，因而能夠有效防御各類平面假體攻擊，而近紅外和熱紅外等傳感器則能夠獲取人體溫度、皮膚反射率等人體生理特征信息，從而對于防御各類面具等假體攻擊具有獨特的優(yōu)勢。多傳感器能夠有效捕獲和增強紋理、形狀、生理特性等真假人臉之間的差異信息，是解決人臉防偽技術的重要途徑。然而，由于攻擊方式的不確定性、復雜性、多樣性和未知性，很難有某種單一的傳感器能夠有效防御所有攻擊方式。因此，為有效處理復雜場景下的人臉防偽問題，利用異常檢測、域適應、域泛化、元學習、信息解耦等機器學習方法對其進行數(shù)學建模逐漸成為解決問題的有效途徑之一。基于不同模態(tài)人臉數(shù)據(jù)的防偽問題和同一人臉模態(tài)在不同場景下的防偽泛化問題，本文從不同傳感器和復雜場景人臉識別系統(tǒng)的防偽技術切入，對現(xiàn)有的人臉防偽技術進行分類梳理，其人臉防偽分類拓撲結(jié)構(gòu)如圖2 所示。

圖2 人臉防偽分類方法拓撲結(jié)構(gòu)Fig.2 Topology structure of face anti-spoofing classification methods

2 面向不同傳感器的人臉識別系統(tǒng)防偽方法

隨著硬件傳感技術的不斷發(fā)展，多種光學傳感相機正被逐漸應用于人臉識別系統(tǒng)中，用于提取真假人臉的本質(zhì)差異特征，從而更好地應對各種呈現(xiàn)攻擊手段對于人臉識別系統(tǒng)的威脅。當前人臉防偽方法用到的傳感器主要包括RGB 可見光相機、近紅外相機、深度相機、熱度相機以及多光譜相機，利用這些傳感器可以捕獲或增強某種人體生理信息、人臉紋理信息以及幾何形狀信息等用于人臉防偽方法的關鍵特征。

2.1 基于不同傳感器獲取生理信息的人臉防偽方法

基于人體生理信息的防偽方法主要通過不同傳感器獲取人體心跳、運動（如眨眼、搖頭）、熱度等生命體征信息，進而用來區(qū)分攻擊目標是否為活體。

2.1.1 基于RGB 視頻流rPPG 的人臉防偽方法

遠程光電體積描記術（rPPG）是指通過RGB 攝像頭采集一段時間內(nèi)的人臉視頻序列來遠程檢測人體心率信號的技術，其原理是利用反射光變化來測量皮膚中由于血液流動導致的細微亮度變化。由于真假臉的材質(zhì)不同，當光穿過皮層到達血管后，相機能監(jiān)測到血液流動導致的亮度變化，而偽造的人臉則很難監(jiān)測到這些信息。

基于所獲取脈沖信號的不同［4］，文獻［5］在心率測量工作［6］的基礎上提出基于人臉視頻序列的心率估計方法，并將心率信息用于人臉防偽。該方法提取RGB 3 個顏色通道對應的rPPG 信號并變換至頻域來構(gòu)建用于反欺騙任務的特征向量，最后使用SVM 分類器進行真?zhèn)闻卸?，如圖3 所示，該方法對于紙張打印攻擊以及面具攻擊效果較好。為更好地抵御視頻重放攻擊，作者提出先用rPPG 防御紙張打印和面具攻擊，再輔以傳統(tǒng)紋理特征抵御視頻攻擊的一種串聯(lián)機制。文獻［7］在文獻［5］的框架下提出了更有判別性的特征，結(jié)合3個面部區(qū)域和2 個背景區(qū)域的信息，將5 個區(qū)域的脈沖信號的頻譜進行級聯(lián)，進而構(gòu)建特征向量進行分類，使其在面對打印攻擊和視頻攻擊時提升性能。文獻［8］在研究人臉活體檢測回歸問題時引入了rPPG 信號來對脈沖統(tǒng)計量的值進行時間輔助信息監(jiān)督，以達到端到端地預測脈沖統(tǒng)計量的目的，該方法不僅能抵御紙質(zhì)打印攻擊和面具攻擊，還能抵御視頻重放攻擊?；谡鎸嵢四槻煌娌繀^(qū)域間rPPG 信號會有細微的時延差異（血液流動導致），而假臉中不同局部區(qū)域rPPG 信號的頻域相關性很低。文獻［9］從多個面部區(qū)域提取rPPG 信號并計算任意2 個局部rPPG 信號的相關性（假設它們都應與心跳的節(jié)奏一致）作為判別真?zhèn)蔚奶卣鳎摲椒ㄔ诳鐢?shù)據(jù)庫實驗中取得了較好的結(jié)果。

圖3 基于RGB 視頻流rPPG 的人臉防偽方法流程Fig.3 Face anti-spoofing method procedure based on RGB video stream rPPG

基于rPPG 信號的人臉防偽方法通常受外界環(huán)境和檢測對象的影響較大，所以其檢測的準確度和魯棒性一般，仍有較大的提升空間。

2.1.2 基于RGB視頻時空運動信息的人臉防偽方法

基于RGB 視頻流時空運動信息的人臉防偽方法，是指通過刻畫視頻流中真實人臉自發(fā)或交互所產(chǎn)生的運動信息（如眨眼、張嘴、擺頭、表情等）進行真假人臉判定的一類方法。通常，可對動態(tài)線索如眨眼［10-12］、嘴部運動［13］、頭部運動［14］等局部運動行為進行追蹤估計來進行活躍度檢測。如文獻［11］通過對每一階段的眨眼動作進行建模進而采用動態(tài)規(guī)劃算法進行推理來進行活體檢測。依據(jù)2D 平面物體與3D 物體結(jié)構(gòu)不同導致運動模式明顯不同的假設，學者們提出基于運動差異光流信息［15］的人臉防偽方法［16-19］。文獻［16］通過計算所提取的人臉區(qū)域中的光流方向，對比不同區(qū)域間的光流矢量關系來進行真?zhèn)闻卸?，該方法可有效提升用戶體驗，但照明變化會對結(jié)果產(chǎn)生負面影響。

考慮到視頻流中真臉與背景運動的相對獨立性，而假臉與背景運動具有較高的一致性，文獻［20］將場景上下文信息納入到反欺騙線索中，并利用序列相關性來進行活體檢測。文獻［21］通過測量分割后的背景區(qū)域與初始化階段記錄的原始背景區(qū)域測量相似性，計算相關指數(shù)來進行真?zhèn)闻卸āＮ墨I［22］提出借助光流對前景和背景運動的相關性進行防偽。將輸入的視頻轉(zhuǎn)化為灰度圖像序列，再送入面部檢測器和光流分析器，最后根據(jù)系統(tǒng)輸出的得分來判斷人臉的真假。

針對3D 面具攻擊，基于運動信息的方法通常利用3D 面具硬表面無法模擬復雜的面部運動這一特性進行判定。文獻［20］利用用戶自發(fā)的眨眼動作作為人臉的內(nèi)部特征，并結(jié)合外部場景特征用于照片和3D 面具的攻擊檢測。但隨著面具攻擊的日益更新如柔軟的硅膠面膜能夠保留面部皮膚的細微運動，這使得基于運動的方法不太可靠。文獻［23-24］提出使用深度卷積動態(tài)紋理特征來區(qū)分真臉和3D 面具之間的不同細微面部運動模式，并結(jié)合通道可辨性約束，在特征學習過程中進一步提取更具辨別力的深度卷積動態(tài)紋理進而進行活體判定。實驗結(jié)果表明，該方法具有良好的泛化能力。基于RGB 視頻流動態(tài)紋理特征的人臉防偽方法流程如圖4 所示。

圖4 基于RGB 視頻流動態(tài)紋理特征的人臉防偽方法Fig.4 Face anti-spoofing method based on dynamic texture feature of RGB video stream

2015 年，XU 等［25］提出用深度學習來提取人臉視頻的時空特征，使用基于LSTM 的CNN 網(wǎng)絡并通過實驗發(fā)現(xiàn)帶有更多背景的圖像能幫助提升防偽性能。針對視頻攻擊，3D 卷積神經(jīng)網(wǎng)絡可以學習連續(xù)視頻幀的運動特征。結(jié)合3D 卷積，文獻［26］提出了三維卷積神經(jīng)網(wǎng)絡（3DCNN）來提取全連接層的特征以訓練SVM 線性分類器進行分類。2019 年，YANG 等［27］提出一個時空反欺騙網(wǎng)絡（STASN）來檢測打印照片攻擊和視頻重放攻擊，該網(wǎng)絡包括時間反欺騙模塊、區(qū)域反欺騙模塊和空間反欺騙模塊。其中時間反欺騙模塊是由CNN 和LSTM 單元組成，以學習視頻的時間特征。另外還使用了注意力機制來自動選擇人臉圖像的K個局部區(qū)域，將這些區(qū)域圖像送入空間反欺騙模塊來學習空間紋理特征。

2.1.3 基于熱像儀的熱度信息人臉防偽方法

近紅外相機的波長范圍約為700～900 nm，而紅外相機或稱熱像儀的工作波長可達14 000 nm。熱像儀可檢測由物體溫度引起的輻射，因此與近紅外相機一樣不受環(huán)境光的影響。利用熱像儀進行人臉防偽的基本思路在于真臉與假體之間的熱輻射具有明顯差異，導致熱像儀所獲取的熱度圖像具有明顯的差異特征，進而可用于人臉防偽的判定。熱度圖像比較結(jié)果如圖5 所示。

圖5 真臉和假臉視頻重放攻擊的熱度圖像比較Fig.5 Comparison of thermal image between real face and fake face for video replay attack

2019年，SEO等［28］詳細比較了可見光圖像和熱度圖像在活體檢測中的貢獻，通過對比實驗表明，熱度圖在活體檢測任務中的貢獻度超過可見光。SAFARZADEH等［29］提出一種活體檢測的流程，通過可見光圖像來進行活體檢測，對于檢測為真人的那些圖像再利用其相應的熱度圖進行第二次檢測，第二個階段檢測為活體的數(shù)據(jù)才最終判斷為活體。由于文獻［30］的方法是基于高像素的熱度圖，在研究或者實際應用中成本較高，2020年XI 等［31］提出用低分辨率的熱度圖來實現(xiàn)活體檢測。為彌補低分辨熱度圖的不足，該方法提出利用近紅外圖像作為一種信息補充的方式?；跓岫葓D的人臉活體檢測方法雖然在原理和效果上存在優(yōu)勢，但價格昂貴的熱像儀較難應用于手機和筆記本電腦等可移動設備上。

2.2 基于不同傳感器增強紋理信息的人臉防偽方法

基于真假人臉圖像紋理特征的差異進行活體檢測是當前人臉防偽的主流方法。除最常用的可見光圖像外，近紅外圖像和多光譜圖像的紋理特征也被廣泛采用。

2.2.1 RGB相機可見光圖像紋理信息的人臉防偽方法

基于RGB 相機可見光圖像紋理特征進行人臉防偽的方法，通常假定人臉假體經(jīng)過設備多次采集后會包含更多噪聲，因而必然與真臉圖像存在某種細微的紋理差異。常見的可見光圖像紋理特征描述符 有LBP（Local Binary Pattern）［32-39］、DoG［40-42］、HOG［37，43］、SURF［44］、SIFT［45］等。LBP［46］以其特有的旋轉(zhuǎn)不變性、灰度不變性以及計算簡單等特性成為紋理信息提取中最常用的特征描述子，比其余紋理算子有更好的性能表現(xiàn)［32］。

2011 年，MAATTA 等［32］將多尺度的LBP 算子應用于人臉防偽，之后在2012 年又增加了Gabor 小波和HOG 特征，并將LBP、Gabor 小波和HOG 特征分別送入SVM 分類器，最后將3 個特征分類的結(jié)果進行分數(shù)融合來進行人臉真?zhèn)闻袛啵?8］。文獻［35-36］則是更改了LBP 的形式，將LBP 擴展為動態(tài)紋理VLBP 以及結(jié)合了空間與時間信息的LBP-TOP。為了使紋理差異特征更明顯，研究者［44，47-48］提取了不同色彩空間（RGB，HSV 和YCbCr）中不同通道的局部描述子，并進一步研究了顏色紋理的內(nèi)在差異在真假臉部判定中的有效性（如圖6 所示）。實驗結(jié)果表明，顏色紋理用于人臉防偽比灰度紋理更有優(yōu)勢?？紤]到低分辨率假體打印照片包含較少的高頻成分，文獻［40-41，49］以高頻信息作為出發(fā)點，通過對所捕獲人臉中的高頻信息進行提取和處理來做出真?zhèn)闻卸?。該方法僅適用于低分辨率的下采樣照片，對于更高質(zhì)量的攻擊樣本可能會失敗?；诳梢姽饧y理特征的人臉防偽方法通常需要輸入高分辨圖像以便獲得更精準的紋理細節(jié)，為解決圖像分辨率和質(zhì)量變化的問題，文獻［50］提出一種基于尺度空間紋理分析的方法，通過連接不同尺度空間圖像中提取的紋理特征來區(qū)分真?zhèn)?。該方法能在一定程度上增強人臉特征對噪聲和照明等因素的魯棒性。但是，基于紋理特征的活體檢測方法對于跨不同數(shù)據(jù)庫攻擊測試時，其性能會急劇下降［39］。為了增強可見光紋理特征對跨數(shù)據(jù)庫人臉防偽的泛化性能，文獻［51］提出融合鏡面反射、模糊、色矩以及顏色多樣性4 種不同特征以形成圖像失真分析（IDA）特征向量，隨后將該向量送入集成分類器來區(qū)分真假臉。該方法可以穩(wěn)定高效地防御紙質(zhì)打印攻擊和視頻重放攻擊，但僅限于短距離欺騙攻擊。與打印攻擊類似，由于早期面具均由硬質(zhì)材料制作，使用諸如紋理和顏色之類的外觀特征也成為防御3D 面具攻擊的有效解決方案。文獻［52］通過提取紋理的多尺度LBP 特征在Morpho 數(shù)據(jù)庫上實現(xiàn)了最佳性能。除LBP［53-55］特征描述子和Haralick 描述子［56］外，為了使算法更具穩(wěn)定性和魯棒性，文獻［57-60］提出融合全局紋理特征和局部紋理特征，并在Morpho 和3DMAD 數(shù)據(jù)庫上取得了較好的性能表現(xiàn)。

圖6 基于RGB 相機不同色彩空間紋理信息的人臉防偽方法Fig.6 Face anti-spoofing method based on different color space texture information of RGB camera

基于深度學習的方法［61-65］通常設計一個端到端的征提取和分類一體化模型，基于softmax 損失函數(shù)的分類模型替代傳統(tǒng)的SVM進行二分類監(jiān)督學習。如YANG等［61］在2014 年提出使用CNN 來檢測欺騙攻擊，使用了AlexNet來提取人臉圖像的特征，最后將特征送入SVM分類器進行二元分類。隨著深度學習的發(fā)展，有學者設計一個端到端的特征提取和分類一體化模型。但由于早期人臉防偽數(shù)據(jù)較少，從頭開始訓練CNN 的效果很差，容易造成過擬合。研究人員提出可以借鑒遷移學習的思想，即通過使用預先訓練的模型如CaffeNet［62］、VGG-facemodel［63］、VGG-16［66］、AlexNet［67］等來微調(diào)其網(wǎng)絡進行特征提取?；谶w移學習的方法不僅避免了對大網(wǎng)絡的過擬合，還節(jié)省了計算資源，提高了效率。

2.2.2 NIR 相機與NIR 圖像紋理信息的人臉防偽方法

紅外攝像技術分為被動紅外攝像技術和主動紅外攝像技術，本文所提到的近紅外（NIR）圖像是指用主動紅外攝像技術獲取的圖像。由于NIR 的光譜波段與可見光不同，真實人臉與非活體載體對于近紅外波段的吸收和反射強度也不同，因此可基于人臉與其他假體材質(zhì)在光譜反射率上的差異來判定真假人臉。

文獻［68］選取2 個近紅外波段光譜采集人臉圖像，發(fā)現(xiàn)面部皮膚和面具材料的反射率特征線性可分，于是利用Fisher 線性判別來區(qū)分人臉真假。然而，該方法對距離和額頭部位遮擋有嚴格的采集要求，在實際應用中會受限?？梢姽鈧鞲衅魉东@的圖像含有較為豐富的場景信息，但其易受到天氣與光照強度的影響，而紅外傳感器所捕獲的圖像受天氣、光照條件影響較小，但其對細節(jié)、場景的信息反映能力較差。基于此，文獻［69］在文獻［5］的基礎上，進一步研究了在NIR 模態(tài)下rPPG 的活體檢測性能。實驗結(jié)果表明，對于高清打印紙張和視頻重放攻擊，基于NIR 提取的rPPG 效果更好。

2.2.3 多光譜相機及圖像紋理信息的人臉防偽方法

2011 年，ZHANG 等［70］通過測量真人皮膚與不同材質(zhì)的假臉的多光譜特性，提出將多光譜人臉圖像的反射率作為特征并利用SVM 分類器進行人臉防偽，該方法排除了距離以及用戶交互的影響。2017 年，ZHANG 等［71］運用一個商業(yè)的多光譜相機SpectraCam采集了425 nm、475 nm、525 nm、570 nm、625 nm、680 nm 和930 nn 波長下的真實和虛假人臉的圖像數(shù)據(jù)集（如圖7所示），并在這個數(shù)據(jù)集上用現(xiàn)有的方法進行實驗，進一步驗證了多光譜數(shù)據(jù)在人臉防偽中的有效性。同年，RAGHAVENDRA 等［72］進一步對多光譜圖像提取LBP 和BISF 特征，利用SVM 對提取的特征進行分類，并研究了多光譜圖像的圖像融合和分數(shù)融合的防偽性能，實驗結(jié)果表明，分數(shù)融合的效果更好。

圖7 基于多光譜相機圖像紋理信息融合的人臉防偽方法Fig.7 Face anti-spoofing method based on texture information fusion of multi-spectral camera images

基于多光譜圖像紋理信息的人臉防偽方法主要思路是：利用真臉與假體因材質(zhì)不同導致其對不同光譜段的放射率不同這一基本差異進行真?zhèn)闻卸?。因此，與單一波長下圖像紋理方法相比有一定的優(yōu)勢，但是該方法的實際應用性還有所欠缺，受相機等設備的影響較大。

2.3 基于不同傳感器增強形狀信息的人臉防偽方法

2.3.1 可見光圖像回歸3D 偽深度圖人臉防偽方法

由于真實面部3D 結(jié)構(gòu)的存在，眼睛、鼻尖、嘴巴等不同位置都有不同的深度信息，而屏幕上和紙張上偽造的假臉即便是可以彎曲為具有非平坦3D 形狀的假臉，也不會擁有與真實人臉相同的3D 結(jié)構(gòu)信息。

近年來，基于深度學習結(jié)合傳統(tǒng)3DMM 模型［73］的3D 人臉重建技術得到了廣泛關注［74-77］，為基于單張圖像的3D 人臉深度信息估計帶來了新的啟示。2017 年，LIU 等［74-75］基于3D 人臉重建在文獻［78］中提出利用DCNN 從單幀人臉圖片中估計出人臉圖像的深度信息，由于真臉的深度值是存在差異的，但紙質(zhì)打印攻擊和視頻重放攻擊假臉不存在深度差異，因此可通過深度圖作為差異特征進行人臉防偽，并通過實驗證明了該方法對紙質(zhì)打印攻擊和視頻重放攻擊的有效性。之后，將二分類人臉活體檢測問題轉(zhuǎn)變成基于深度學習的回歸問題［8］，引入了空間和時間線索，通過回歸脈沖統(tǒng)計量和深度圖來計算樣本特征間的相似距離進行活體判斷的閾值決策。為了更好地重構(gòu)深度圖，京東金融和中科院在LIU等［78］工作的基礎上聯(lián)合利用了多幀的時空信息來更精準地預測深度圖，進而進行活體檢測［79］，如圖8 所示。實驗結(jié)果表明，該方法對于視頻重放攻擊檢測性能有明顯改善。

圖8 RGB 相機可見光圖像回歸3D 偽深度圖的人臉防偽方法Fig.8 Face anti-spoofing method based on 3D pseudodepth maps reconstructed from RGB camera visible images

基于深度信息的活體檢測方法不受光照等變化的影響，也無需耗時進行人機交互，面對打印及視頻攻擊時相對基于紋理及運動信息的活體檢測方法有更優(yōu)越的性能表現(xiàn)，但在面臨3D 面具攻擊時效果較差。

2.3.2 基于RGB-D相機深度圖像信息的人臉防偽方法

基于RGB-D 相機深度圖像信息的人臉防偽方法是指利用3D 人臉的三維幾何形狀結(jié)構(gòu)特征進行真假人臉判斷的一類方法。該類方法可有效杜絕平面打印照片攻擊和視頻重放攻擊。

2017 年，WANG 等［80］使用卷積神經(jīng)網(wǎng)絡（CNN）從2D 面部圖像區(qū)域中學習背景環(huán)境特征，并融合從Kinect 捕獲的深度圖像特征進行真假人臉判斷。2018 年，SUN 等［81］通過對每對RGB-D 圖像計算彩色和深度圖像之間的相關性來檢測多峰特性，進而從子區(qū)域的一致性來區(qū)分真假人臉。實驗結(jié)果表明，該方法可有效應對照片、平板電腦屏幕和面具等呈現(xiàn)攻擊。從防攻擊的有效性評價，通常3D 結(jié)構(gòu)光優(yōu)于近紅外，近紅外優(yōu)于單目RGB，而從成本考慮，RGB 相機則更占優(yōu)勢，近紅外相機次之。

2.4 基于多傳感器多模態(tài)信息融合的人臉防偽方法

基于多傳感器多模態(tài)信息融合的人臉防偽方法主要利用可見光、近紅外、深度、多光譜等圖像信息之間的互補信息進行人臉真假活體的判斷。

文獻［82］提出利用卷積神經(jīng)網(wǎng)絡從成對的RGB和NIR 圖像中學習多層次融合特征的人臉防偽方法。文獻［83-84］對人臉的RGB 圖像和NIR 圖像進行聯(lián)合分析，提取特征以形成最后的特征向量用于分類檢測。實驗結(jié)果表明，聯(lián)合兩種模態(tài)數(shù)據(jù)不僅可以有效防御打印攻擊，而且對3D 面具攻擊也有效。

2019 年，ZHANG 等［85］采集一個包含可見光、近紅外、深度圖的多模態(tài)數(shù)據(jù)集，并在文獻［86］的基礎上提出了SEF（Squeeze and Excitation Fusion）模塊來對不同層級的特征進行融合，實驗結(jié)果表明，融合3 種模態(tài)信息可獲得最好的效果，而僅使用RGB 信息的效果最差。之后，文獻［87］設計一種基于注意力機制的多模態(tài)數(shù)據(jù)融合方法，將文獻［85］數(shù)據(jù)集中的3 種模態(tài)數(shù)據(jù)以及3 個模態(tài)堆疊在一起的數(shù)據(jù)，分別送入帶有注意力機制的網(wǎng)絡中提取特征，最后將提取的特征串聯(lián)起來用于人臉防偽。文獻［88］提出基于圖像塊的融合方法，并設計一個模態(tài)隨機擦除模塊，避免了網(wǎng)絡在某一模態(tài)上的過擬合。文獻［89］提出用streaming model替代全局平均池化（Global Average Pooling，GAP），并設計一種新的融合分類器結(jié)構(gòu)，即首先基于深度圖判斷好區(qū)分的樣本，輸出真人和假體結(jié)果，再將上一階段樣本通過IR 圖像進行判斷，輸出最終結(jié)果。文獻［90］則是在文獻［85］的基礎上融合網(wǎng)絡不同層的特征，并使用不同攻擊類型來訓練和測試網(wǎng)絡，以增加網(wǎng)絡的泛化性。該方法最終在CVPR 2019 ChaLearn Face Antispoofing 比賽中奪得冠軍。2020 年，GEORGE 等［91］提出把可見光、近紅外、深度圖像三者歸一化后從通道上串聯(lián)，得到新的融合圖像（如圖9 所示），在新的圖像上進行人臉檢測和人臉防偽2 個任務。

圖9 灰度圖、深度圖、近紅外圖像的融合Fig.9 The fusion of gray image，depth image and nearinfrared image

2017 年，AGARWAL 等［92］收集一個包含可見光、近紅外、熱度圖3 個模態(tài)的視頻數(shù)據(jù)集，該數(shù)據(jù)集包含了10 種面具，作者對數(shù)據(jù)提取圖像特征，進而進行人臉真假分類實驗，實驗結(jié)果表明，熱度圖在活體檢測中的效果最好。類似地，文獻［93］收集了可見光、近紅外、熱度圖3 個模態(tài)的數(shù)據(jù)集，并且數(shù)據(jù)的采集是在真實登機場景下收集的，更能貼合實際應用場景，如圖10 所示。通過實驗發(fā)現(xiàn)，不管是采用分數(shù)融合還是圖像特征融合，同時使用3 個模態(tài)數(shù)據(jù)時，活體檢測性能都較高。

圖10 可見光、近紅外、熱度圖的融合Fig.10 The fusion of visible light image，near infrared image，and heat map

3 面向復雜場景的人臉識別系統(tǒng)防偽方法

3.1 基于單分類異常檢測的未知場景人臉防偽方法

在本文第2 節(jié)介紹的方法中，人臉防偽問題通常被建模為一個基于監(jiān)督學習框架的真假二分類問題。該類方法通常要求訓練集與測試集中的樣本分布盡量保持一致，否則其泛化性能會急劇下降［39，44，47，51，62，94］。然而，攻擊類型的多樣性、攻擊方式的不確定性以及外界環(huán)境的復雜性等因素，會導致防偽問題要求防偽模型要具備魯棒的泛化能力，要能夠保證復雜場景中人臉識別系統(tǒng)的安全性。

為使得人臉防偽模型能夠更好地應對未知攻擊，2017 年，ARASHLOO 等［95］將單分類異常檢測模型的研究思路引入人臉防偽，并將真臉樣本定義為正常模式，將各種類型的攻擊假臉定義為異常模式。為驗證該思路的有效性，采用一組傳統(tǒng)的紋理特征表述子如BSIF-TOP、LBP-TOP、LPQ-TOP 等，并應用基于SVM、LDA、SRC 的單分類器和二分類器形成多種組合方法。同時，設計了多種庫內(nèi)跨攻擊和不同數(shù)據(jù)庫間跨攻擊方式的評估策略。實驗結(jié)果表明，僅用真實人臉進行訓練的單分類異常檢測防偽方法性能并不低于傳統(tǒng)二分類方法。

受文獻［95］啟發(fā)，2018年NIKISINS 等［96］從異常檢測思路出發(fā)，首先提取正常樣本即真臉的圖像質(zhì)量度量特征，然后采用高斯混合模型（GMM）對正常模式進行建模，并使用EM 算法對高斯混合模型進行求解。同時，設計一組更加合理針對異常檢測類方法的人臉防偽實驗評估策略。實驗結(jié)果表明，該方法與單分類SVM 相比性能有大幅提升，進一步驗證了異常檢測方法用于未知場景人臉防偽的有效性。隨后，異常檢測用于人臉防偽的潛力被進一步挖掘［97-99］。其主要思路是同時借鑒了單分類異常檢測原理和基于人臉識別系統(tǒng)中不同用戶的身份信息設計特定的個性化分類器人臉防偽策略［94］。2020 年FENG 等［100］則從異常檢測的角度提出一種殘差學習框架，該框架通過約束真臉圖像未攜帶任何欺騙信息的方式優(yōu)化生成泛化能力強的欺騙線索圖像。

受到單分類CNN工作［101］的啟發(fā)，2020年BAWEJA等［102］將異常檢測防偽方法推廣至端到端深度學習框架。如圖11 所示，在僅用真臉圖像作為正樣本進行網(wǎng)絡訓練的情況下，通過對高斯分布采樣來生成偽負樣本，使深度網(wǎng)絡能夠更好地學習分類邊界。在Replay Attack、Rose-youtu、OULU-NPU 和Spoof in Wild 4 個公開數(shù)據(jù)集上的實驗結(jié)果表明，與基于異常檢測的單分類OC-SVM、OC-GMM 以及OC-CNN 相比，所提方法具有明顯性能優(yōu)勢。

圖11 基于生成偽負樣本的人臉防偽方法Fig.11 Face anti-spoofing method based on generating pseudo negative samples

此外，2020 年ABDUH 等［103］借鑒了基于重建誤差的異常檢測方法，提出對正常樣本進行卷積自編碼學習。由于訓練樣本僅包含正常樣本，因此訓練好的模型僅對正常樣本會有較好的重建，而不能很好地重建異常樣本，即正常樣本的重建誤差較低，異常樣本的重建誤差較高，從而可利用重建誤差來判斷人臉圖片的真?zhèn)巍?/p>

基于單分類異常檢測模型的人臉防偽方法目前尚處于探索研究階段，但與傳統(tǒng)二分類模型相比，其對于處理未知攻擊具有明顯優(yōu)勢。此外，由于異常檢測問題本身已被廣泛研究，基于異常檢測的人臉防偽方法將會在解決復雜場景下人臉識別系統(tǒng)應對未知攻擊中發(fā)揮重要作用。

3.2 基于域適應與域泛化的跨場景人臉防偽方法

人臉防偽問題的難點之一在于即使對于同一種攻擊類型，由于數(shù)據(jù)采集時間、設備、對象、距離、光照、欺騙媒介等均可能存在不同程度的差異，導致傳統(tǒng)人臉防偽方法對于跨庫實驗性能大幅下降。為更好地解決此類跨場景人臉防偽方法，近年來學者們逐漸將遷移學習中的域適應和域泛化思想引入人臉防偽中。域適應的基本思想是通過最小化源域和目標域之間數(shù)據(jù)樣本的分布差異，使得通過源域訓練好的模型能夠很好地在目標域中適用。但在某些場景中，目標域數(shù)據(jù)事先無法獲得，因此域泛化的基本思想是假定可見的源域和未見的目標域間存在一個潛在的泛化特征空間，那么通過對齊多個源域數(shù)據(jù)樣本的分布來學習該特征空間，使得利用源域數(shù)據(jù)訓練得到的模型可以較好地泛化到未見的目標域。

YANG 等［94］將域適應方法用于人臉防偽問題，提出針對每位已注冊人臉識別系統(tǒng)的用戶訓練一個單獨的防偽分類器，并利用對象域適應方法成為受試者的虛擬偽負樣本。實驗結(jié)果表明，該方法相對于一般分類器而言具有優(yōu)勢，但僅適用訓練樣本和測試樣本采集條件相似的情況。因此，為進一步提升跨庫間的泛化性能，文獻［104］在針對特定人臉抗欺騙方案的基礎上進一步采用了域自適應方法，減少光照和背景等其他因素的影響。

受無監(jiān)督域自適應技術在很多領域成功應用的啟發(fā)，2018 年，LI 等［105］提出一種無監(jiān)督域適應跨庫人臉防偽方法。該方法利用經(jīng)典的MMD（Maximum Mean Discrepancy）度量最小化源域和目標域樣本在嵌入特征空間中分布之間的差異。實驗結(jié)果表明，該方法在跨數(shù)據(jù)集人臉防偽中表現(xiàn)出顯著的泛化優(yōu)勢。為進一步縮小跨庫數(shù)據(jù)之間的差異，2019 年，該思路被ZHOU等［106］推廣至多層卷積神經(jīng)網(wǎng)絡框架中。

受生成對抗網(wǎng)絡得到廣泛應用的啟發(fā)，文獻［107］提出一種基于對抗域適應的跨庫人臉防偽方法，如圖12 所示，該方法首先在源域上訓練一個人臉防偽模型，隨后固定該模型參數(shù)，通過限制源域和目標域模型參數(shù)共享，并利用對抗訓練機制迫使判別器無法鑒別來自不同域的樣本特征來實現(xiàn)對抗域適應模型的訓練，最后利用KNN 分類器對目標域的嵌入樣本特征進行分類進而實現(xiàn)跨庫人臉防偽的目的。該方法能夠較好地利用來自源域的先驗知識，使其能夠在目標域執(zhí)行更魯棒的人臉防偽策略，在多個公開人臉防偽數(shù)據(jù)庫中顯示了良好的泛化能力。

圖12 基于對抗學習域自適應的跨庫人臉防偽方法Fig.12 Cross-database face anti-spoofing method based on adversarial learning and domain adaptation

2019 年，SHAO 等［108］提出一種新穎的多對抗判別深度域泛化框架來學習泛化的特征空間，從域泛化的角度出發(fā)解決跨場景人臉防偽問題。該方法主要利用對抗學習機制，使得判別器不能夠區(qū)分樣本來自不同域，從而學習到既有較強判別能力又有較好泛化能力的特征?？紤]到不同域中真臉樣本的分布差異較小而假臉樣本的分布差異較大，2020 年，JIA 等［109］提出一種單邊域泛化人臉防偽方法。該方法首先通過參數(shù)共享機制學習來自不同域的真臉和假臉的特征表達。隨后僅對于真臉特征利用單邊對抗學習機制迫使來自不同域的真臉樣本具有共同的嵌入特征，同時使用度量學習機制迫使來自不同域的真臉特征盡量相似，假臉特征盡量分離，真臉與假臉之間的域內(nèi)距離小于假臉與假臉之間的域間距離。最后對具有域泛化的嵌入特征進行二分類以實現(xiàn)人臉防偽任務。

3.3 基于元學習的未知攻擊人臉防偽方法

元學習（零樣本學習和少樣本學習）的思想被引入人臉防偽問題的主要目的是：解決防偽方法在未知攻擊場景的泛化性能或已知新攻擊少量樣本后算法模型對新攻擊的快速適應性能。

2019 年，LIU 等［110］將未知攻擊人臉防偽問題建模為一個零樣本學習問題，并提出一個包含13 種攻擊類型的人臉防偽數(shù)據(jù)庫?？紤]到不同類型的攻擊存在一致特征以及不同攻擊具有自身獨特性的假設，隨后又提出一個新穎的深度樹結(jié)構(gòu)網(wǎng)絡（DTN）。該網(wǎng)絡首先通過優(yōu)化節(jié)點路由函數(shù)無監(jiān)督學習建模不同攻擊模式的分布情況，然后通過監(jiān)督特征學習實現(xiàn)人臉防偽檢測的目的。該方法的有效性在CASIA、Replay 和MSU-MFSD 等數(shù)據(jù)集上得到了充分的驗證。

受元學習的啟發(fā)，2020 年，QIN 等［111］將人臉防偽問題看作是一個典型的零樣本和少樣本學習問題，因而可通過學習一個統(tǒng)一的元模型克服未知攻擊人臉防偽問題。該方法首先將不同類型的真臉樣本和假臉樣本進行細粒度分組，在此基礎上構(gòu)建用于零樣本學習和少樣本學習的人臉防偽任務集合，并借鑒MAML［112］學習策略進行元訓練和元測試，如圖13 所示。實驗結(jié)果驗證了該方法的有效性。文獻［113］提出一種基于正則化細粒度元學習框架的人臉防偽方法。該方法在元學習的基礎上引入人臉防偽的領域知識，并用該領域知識指導元學習訓練階段梯度方向更新和模型參數(shù)更新策略，可實現(xiàn)在不同域遷移場景下同時進行元學習，從而可以利用更豐富的域遷移信息來訓練泛化性能更好的人臉防偽模型。

圖13 基于零樣本和少樣本學習的人臉防偽方法流程Fig.13 Procedure of face anti-spoofing method based on zero-shot and few-shot learning

3.4 基于解耦表示學習的復雜場景人臉防偽方法

基于解耦表示學習的復雜場景人臉防偽方法受偽造假體生成的物理過程啟發(fā)，通常認為攻擊人臉樣本包含與防偽任務相關和無關的信息，可在圖像空間或特征空間將其解耦分離，之后僅使用與防偽任務相關的信息進行人臉防偽方法的建模和學習，以此來提升人臉防偽方法的判別性能和泛化性能。

2018 年，JOURABLOO 等［114］受噪聲建模與去噪算法的啟發(fā)，提出將任一攻擊假臉分解為假體攻擊噪聲和真臉兩部分，并用攻擊噪聲進行人臉防偽的判定。實驗結(jié)果表明，該方法對紙質(zhì)打印攻擊和視頻重放攻擊效果明顯，但受限于面具攻擊，隨后ZHANG 等［115］提出區(qū)別于傳統(tǒng)人臉防偽方法的基于解耦表示學習的人臉防偽新框架，如圖14 所示。該框架假定在特征空間中，任一人臉樣本均可被解耦為活體特征和非活體特征（包括ID、背景等信息），而活體特征可被用于人臉真假的判定，為更好地在隱空間進行解耦，采用自編碼器學習范式，并通過對真假人臉對的隱空間特征進行交換，以達到自監(jiān)督學習的目的。

圖14 傳統(tǒng)方法與基于解耦表示學習的人臉防偽方法流程Fig.14 Procedure of traditional methods and face anti-spoofing method based on decoupled representation learning

2020 年，WANG 等［116］將解耦表示學習和多域?qū)W習相結(jié)合用來解決跨域人臉防偽問題，該方法首先將來自多個域的人臉樣本送入解耦表示學習網(wǎng)絡（DR-Net），即任一樣本在隱空間被解耦為身份相關特征和防偽相關特征，然后經(jīng)解耦后的多個域防偽相關特征被送入多域?qū)W習網(wǎng)絡（MD-Net）學習不依賴域的防偽特征，進而進行人臉活體的判定。實驗結(jié)果表明，該方法在跨域人臉防偽中表現(xiàn)良好。文獻［117］認為假臉圖像包含了4 種欺騙痕跡，即全局信息如顏色平衡偏差和范圍偏差，低頻信息如化妝區(qū)域、鏡面高光和高頻信息如面具邊緣等?；诖?，利用對抗學習構(gòu)建一個假體痕跡分解網(wǎng)絡并在圖像域?qū)⒓袤w圖像分解為上述4 個部分，進而利用這些欺騙痕跡來實現(xiàn)人臉防偽。在實驗部分，作者對假體痕跡信息進行了可視化展示，并通過實驗證明了所提方法對已知和未知攻擊均有效。

4 人臉防偽數(shù)據(jù)庫及性能評估

4.1 人臉防偽數(shù)據(jù)庫

隨著對防偽方法的研究，學術界公開人臉防偽數(shù)據(jù)集在攻擊類型、人數(shù)規(guī)模、場景復雜度等方面也在不斷發(fā)展。2010 年，2D 人臉防偽數(shù)據(jù)庫NUAA［40］被提出，該數(shù)據(jù)集僅包含15 個人在3 種不同時段和不同照明條件下所拍攝的5 105 張真人臉照片和7 509 張打印攻擊照片，如圖15 所示。2012 年，中國科學院公布的CASIA-FASD［41］數(shù)據(jù)集由50 個人在3 種不同分辨率相機下拍攝的600 個視頻組成。同年，Idiap 研究院公開了Replay-Attack［118］數(shù)據(jù)集，該數(shù)據(jù)集包含50個人在2種環(huán)境下的1 300個視頻。2015年，密西根州立大學公布的MSU-MFSD［51］數(shù)據(jù)集由55 個人使用2 種設備錄制的440 個視頻組成。同年，Idiap 研究院公布了Msspoof［119］數(shù)據(jù)集，該數(shù)據(jù)集包含了可見光和近紅外2 種數(shù)據(jù)模態(tài)，攻擊方式為打印攻擊，含有21 個人、7 個不同的環(huán)境場景，共計1 680 個視頻流。2017 年，奧盧大學公布了OULU-NPU［120］數(shù)據(jù)集，包含55 個人在3 種不同環(huán)境下，用6 種拍攝設備所采集的4 950 個視頻。2018 年，含有不同姿勢和表情的人臉防偽數(shù)據(jù)集SIW［8］被公開。

圖15 打印攻擊與重放攻擊圖例Fig.15 Legend of print attack and replay attack

3DMAD［55］數(shù)據(jù)集是第1 個公開可用的3D 人臉面具防偽數(shù)據(jù)集，它由17 個不同用戶通過3D 人臉面具進行真實訪問和呈現(xiàn)攻擊的255 個視頻序列組成，每個視頻的每幀都有對應的深度圖和RGB 圖，如圖16 所示。HKBU-MARs［121］是由香港浸會大學于2016 年提出的一個模擬真實場景的3D 面具防欺騙數(shù)據(jù)集，該數(shù)據(jù)集的面具是仿照12 個真人定制的高仿真面具，常用于測試基于3D 剛性面具攻擊的方法。SMAD［122］是第1 個硅膠面具攻擊數(shù)據(jù)集，該數(shù)據(jù)集的建立有助于研究無約束人臉呈現(xiàn)攻擊方法。2018，基于12 個用戶和6 個用戶特制硅膠面具采集而成的CSMAD［123］數(shù)據(jù)集被提出，包含88 個真實視頻、160 個面具攻擊視頻以及60 張高質(zhì)量的RGB 照片。同年，包含打印攻擊、視頻攻擊、面具攻擊的Rose-Youtu［105］數(shù)據(jù)集被公開。

圖16 3D 面具攻擊圖例Fig.16 Legend of 3D mask attack

2019 年，Idiap 研究院公布了WMCA［124］數(shù)據(jù)集，其特點為包含了可見光、深度、近紅外和熱度圖像。同年，CASIA-SURF［85］數(shù)據(jù)集被公布，該數(shù)據(jù)集包含了可見光、近紅外、深度3 種數(shù)據(jù)（見圖17），較之前的防偽數(shù)據(jù)集，該數(shù)據(jù)集包含1 000 個人，數(shù)據(jù)量超過之前的防偽數(shù)據(jù)集。2020 年，CASIA-SURF CeFA［125］數(shù)據(jù)集被提出，該數(shù)據(jù)集是第1 個包含明確種族標簽的人臉防偽數(shù)據(jù)集，涵蓋3 個種族、3 種模態(tài)、2D 和3D 攻擊類型以及1 607 個用戶對象。同年，CelebA-Spoof［126］數(shù)據(jù)集被提出，該數(shù)據(jù)集是迄今最大的防偽數(shù)據(jù)集，包含10 177 個受試者在8 種場景下，使用超過10 種傳感器所拍攝的625 537 張圖片。其中每張圖片帶有43 種屬性，如欺騙類型、照明條件、環(huán)境、頭發(fā)、是否帶眼鏡等標注。表1展示了部分常見人臉防偽數(shù)據(jù)集發(fā)布年份、人員規(guī)模、攻擊類型、圖片或視頻數(shù)量、數(shù)據(jù)模態(tài)以及采集設備等相關情況，其中，1、2、3 分別表示打印、重放和面具，P 和V 分別表示圖片和視頻，R、D、I、T 分別表示RGB、深度、近紅外和熱度數(shù)據(jù)。

表1 人臉防偽數(shù)據(jù)庫Table 1 Face anti-spoofing databases

圖17 CASIA-SURF 數(shù)據(jù)集部分樣本Fig.17 Partial sample of CASIA-SURF datasets

4.2 實驗評估

4.2.1 評估協(xié)議

在人臉防偽的早期研究中，許多已發(fā)表的文獻在自制的防偽數(shù)據(jù)庫上設計和測試了它們的算法［16，70，128-129］。由于缺乏公開的防偽數(shù)據(jù)集和相關的協(xié)議，研究人員對于如何研發(fā)和測試人臉防偽的性能還未達成共識，以至于無法公平比較不同方法的性能，不利于人臉防偽的發(fā)展。隨著數(shù)據(jù)集的逐漸公開，一些較為完善的協(xié)議逐漸被提出［120，127］。本節(jié)將分別介紹數(shù)據(jù)庫內(nèi)測試協(xié)議和跨數(shù)據(jù)庫協(xié)議，以比較不同情形下不同防偽方法的性能。

在一個數(shù)據(jù)庫內(nèi)的場景中，通常假設欺騙媒介（例如照片和屏幕顯示）、相機、環(huán)境因素甚至用戶對人臉防偽系統(tǒng)是已知的。然而，這個假設并不適用于大多數(shù)真實場景。數(shù)據(jù)庫內(nèi)協(xié)議通常要求在一個數(shù)據(jù)集上完成訓練和性能評估，即用該數(shù)據(jù)庫的訓練集、開發(fā)集和測試集分別進行訓練、調(diào)參和測試。在人臉防偽方法的數(shù)據(jù)庫內(nèi)，性能只是實際應用中無法預期的性能上限。數(shù)據(jù)庫內(nèi)協(xié)議可以在同一個數(shù)據(jù)庫內(nèi)評估方法的性能和泛化能力。

具體地，不同的數(shù)據(jù)集有不同的劃分協(xié)議。Print-Attck［127］和Replay-Attck［118］按人數(shù)被分成了不相交的訓練集、驗證集和測試集。其中訓練集用來訓練網(wǎng)絡，驗證集用來決定何時停止訓練或者在其上選擇閾值，測試集使用驗證集所選的閾值來評估分類器的最終性能。OULU-NPU［120］數(shù)據(jù)集具有4 個劃分協(xié)議，分別用來評估防偽方法在同一數(shù)據(jù)集下在不同環(huán)境（光照，背景）、不同欺騙攻擊類型、不同拍攝設備及三者混合的復雜場景下的泛化能力。由于CASIA-FASD［41］和MSU-MFSD［51］數(shù)據(jù)集中沒有驗證集，只有訓練集和測試集，因此可通過對訓練集進行多折交叉驗證來進行參數(shù)調(diào)整。CASIA-FASD［41］數(shù)據(jù)集考慮了成像質(zhì)量（3種質(zhì)量視頻）和各種假臉，設計了包括3 種質(zhì)量、3 種攻擊和整體的7 種場景下的測試協(xié)議，對于每一種場景，從訓練集和測試集中選取相應的數(shù)據(jù)進行模型訓練和準確率測試。

在跨數(shù)據(jù)庫場景中，允許系統(tǒng)開發(fā)階段和系統(tǒng)部署階段欺騙媒介、攝像機、環(huán)境和用戶的差異。因此，這種跨數(shù)據(jù)庫性能更好地反映了在實際應用程序中系統(tǒng)的預期實際性能?？鐢?shù)據(jù)庫場景包括2 個及2 個以上的數(shù)據(jù)集。對于2 個數(shù)據(jù)集間的跨數(shù)據(jù)集協(xié)議，其中訓練樣本和測試樣本來自2 個不同的數(shù)據(jù)集，通過在一個數(shù)據(jù)集A 上訓練反欺騙檢測器，并在不同的數(shù)據(jù)集B 上的測試來評估該方法的泛化性能，反之亦然。當使用數(shù)據(jù)集A 來訓練、數(shù)據(jù)集B來測試時，有4 種可能性：分別在數(shù)據(jù)集A 的訓練集和測試集上訓練，在數(shù)據(jù)集B 的訓練集和測試集上測試。多個數(shù)據(jù)集間的測試協(xié)議與2 個數(shù)據(jù)集間的協(xié)議類似，使用部分數(shù)據(jù)集作為訓練集，其余的作為測試集。基于域泛化方法使用的就是這種協(xié)議，即在3 個數(shù)據(jù)集上訓練，在第4 個數(shù)據(jù)集上測試。

4.2.2 性能評估指標

最常用的人臉防偽方法評估指標是活體檢測性能和抗欺騙性能，其分別用錯誤拒絕率（FRR）和錯誤接受率（FAR）來進行度量。為更好地反映集成生物識別和對抗系統(tǒng)的穩(wěn)健性，國際標準化組織（ISO）又增加了攻擊呈現(xiàn)分類錯誤率（APCER）和真實人臉分類錯誤率（BPCER）這2 個新指標。上述指標性能的優(yōu)劣將直接對整個生物認證系統(tǒng)的性能產(chǎn)生較大影響。

由于單個指標不能評估系統(tǒng)性能，因此人們通過錯誤拒絕率（FRR）、錯誤接受率（FAR）、真實拒絕率（TRR）、真實接受率（TAR）構(gòu)建等錯誤率（ERR）、半總錯誤率（HTER）、DET 曲線和ROC 曲線來衡量防偽系統(tǒng)的性能。指標定義如下：

1）FRR。合法用戶嘗試登錄被認為非活體而拒絕的次數(shù)除以嘗試登錄的總次數(shù)。

2）FAR。欺騙攻擊被接受為活體合法用戶的次數(shù)除以欺騙攻擊的總次數(shù)。

3）TRR。欺騙攻擊登錄時被認為非活體而拒絕的次數(shù)除以欺騙攻擊總次數(shù)。

4）TAR。合法用戶嘗試登錄被接受的次數(shù)除以嘗試登錄的總次數(shù)。

5）EER。定義為沿ROC 或DET曲線的點，當FRR 和FAR 相等時的錯誤率，其值越小表示系統(tǒng)性能越好。

6）HTER。定義為FRR 和FAR 的均值。

7）DET 曲線。繪制了錯誤拒絕率FRR 與錯誤接受率FAR 隨著判斷閾值變化的曲線圖。FRR 與FAR均受到判定閾值的影響，并且當FAR 逐漸增大時，F(xiàn)RR 錯誤拒絕率逐漸減小。

8）ROC 曲線。是以FPR 為橫軸，TPR 為縱軸，根據(jù)給定的閾值計算出一組相對應的（FPR，TPR）坐標點連接而成的直線。但是由于ROC 曲線不能清晰地表現(xiàn)哪個分類器的效果更好，AUC 值也會被用作評價標準，通常AUC 值更大的分類器效果更好。

標準化的ISO/IEC 30107-3 度量標準中考慮到了每種攻擊類型的攻擊潛力和成功概率，成為目前最新興的評價指標，包括攻擊呈現(xiàn)分類錯誤率（APCER）和真實呈現(xiàn)分類錯誤率（BPCER）。平均分類錯誤率（ACER）是APCER 和BPCER 的平均，其值越低，性能越好。

4.2.3 人臉防偽方法性能比較

本節(jié)將比較不同傳感器類方法和復雜場景類人臉防偽方法在一些常見公開數(shù)據(jù)集上的性能表現(xiàn)。對于不同傳感器類方法，分別梳理了不同方法在可見光、近紅外以及深度圖數(shù)據(jù)集上的性能比較（見表2）。表2 中所有精度結(jié)果均來自表中所列方法對應的文獻，且同一數(shù)據(jù)集上的實驗結(jié)果均采用相同的實驗協(xié)議。SIW 數(shù)據(jù)集包含3 個不同的實驗協(xié)議，OULU 數(shù)據(jù)集包含4 個協(xié)議，表2 均選擇協(xié)議1 上的結(jié)果進行比較，其中，R、D、I 分別表示RGB、深度和近紅外數(shù)據(jù)。從表2 可以看出：早期的方法主要是依靠人工提取的特征，如LBP、HOG 等。隨著深度學習的發(fā)展，基于深度學習的方法優(yōu)于傳統(tǒng)方法。同時，基于多傳感器采集的數(shù)據(jù)集的人臉防偽性能優(yōu)于可見光單模態(tài)方法。具體而言，對于Replay-Attack［118］數(shù)據(jù)集，Depth-Based CNN［78］方法比傳統(tǒng)方法和其他的CNN 方法性能更好。對于CASIAFASD［41］數(shù)據(jù)集，Patch-Depth CNN［78］相較于傳統(tǒng)方法和其他CNN 方法，HTER 值和EER 值更低。對于OULU-NPU［120］和SIW 數(shù)據(jù)集，WANG 等［79］提出的基于CNN+LSTM 方法表現(xiàn)最優(yōu)，其ACER 值分別為1.3%和0.73%。通過比較不同方法在3DMAD［55］數(shù)據(jù)集的防偽性能，可以發(fā)現(xiàn)在抵御面具攻擊時，基于遷移學習的方法優(yōu)于傳統(tǒng)LBP 方法、rPPG 方法和光流方法。同樣，遷移學習在CASIA-SURF［85］數(shù)據(jù)集上表現(xiàn)出了最佳性能，其ACER 值為0.08%。基于CNN 的方法相比傳統(tǒng)方法在SMAD 上表現(xiàn)更優(yōu)。

表2 不同傳感器人臉識別系統(tǒng)防偽方法性能比較Table 2 Performance comparison of anti-spoofing methods for facial recognition systems with different sensors

對于面向復雜場景的人臉防偽方法，目前的研究通常是在4 個公開人臉數(shù)據(jù)集OULU-NPU［120］（用O表示）、CASIA-FASD［41］（用C表示）、Replay-Attack［118］（用I表示）和MSU-MFSD［51］（用M 表示）上進行的。這4 個數(shù)據(jù)集的攻擊方式均為打印攻擊和重放攻擊，但是4 個數(shù)據(jù)集數(shù)據(jù)采集的場景和設備存在差異。通常選擇3 個數(shù)據(jù)集用于訓練模型，另一個數(shù)據(jù)集僅用來測試模型。例如O& C& I to M 表示在OULU-NPU［120］、CASIA-FASD［41］和Replay-Attack［118］上訓練，在MSU-MFSD［51］上進行測試。表3 為面向復雜場景的人臉防偽方法的性能比較。從表3可以看出：在4組跨場景測試任務中，基于域泛化的方法SSDG［109］是目前相對最好的方法。在O& C& I to M、O& M& I to C、O& C& M to I 3組實驗中，其EER 和HTER 指標均為目前最高水平。在I& C& M to O測試任務中，基于域泛化的方法DAFL［129］的性能超過了基于域泛化的方法SSDG［109］的方法，RFM［113］和基于解耦表示學習的方法MDRL［116］仍有發(fā)展空間。

表3 復雜場景人臉識別系統(tǒng)防偽方法性能比較Table 3 The performance comparison of anti-spoofing methods for facial recognition systems with complex scenarios %

5 未來發(fā)展方向

隨著人臉識別方法的不斷改進以及人臉識別系統(tǒng)的廣泛應用，人臉防偽問題變得日益突出，將長期吸引學術界和工業(yè)界的共同關注。對于人臉防偽技術的未來發(fā)展趨勢主要有以下4 個方面：

1）人臉防偽技術將隨著人臉識別技術的發(fā)展而發(fā)展，針對人臉識別的不同應用場景以及不同人臉識別終端設備，集成利用便捷式多傳感器獲取的多模態(tài)數(shù)據(jù)進行集成防御仍然是未來解決人臉防偽問題的有效手段。

2）面向更加復雜多變的應用場景，以及各種開放、未知、不確定的攻擊類型，充分利用機器學習原理對其進行場景化和普適性建模也是未來解決人臉防偽問題的主要突破方向。

3）隨著深度學習生成模型的快速發(fā)展，除當前被廣泛研究的通過手工制作的假體呈現(xiàn)攻擊外，利用生成算法合成的人臉圖像、視頻等虛擬假體攻擊將成為一種重要的攻擊形式和研究熱點。

4）隨著深度學習對抗樣本的生成和防御研究的不斷深入，對抗樣本攻擊將成為人臉識別及人臉防偽關注的重點問題。此外，對于人臉識別系統(tǒng)內(nèi)部各環(huán)節(jié)，如人臉模板的加密保護等也將逐漸成為人臉防偽技術需要面對的問題。

6 結(jié)束語

本文從人臉識別系統(tǒng)的安全性角度出發(fā)闡述人臉防偽問題的重要性，同時從面向不同傳感器的人臉識別系統(tǒng)和面向復雜場景的人臉識別系統(tǒng)兩個角度出發(fā)，對現(xiàn)有人臉防偽方法、數(shù)據(jù)集以及相應的算法性能進行系統(tǒng)梳理和總結(jié)，并結(jié)合當前人臉活體檢測問題面臨的挑戰(zhàn)對未來研究方向進行展望。從當前的研究方法可以看出，人臉活體檢測問題在面向不同傳感器的人臉識別系統(tǒng)和面向復雜場景的人臉識別系統(tǒng)應用上仍有一定的進步空間。同時，對于利用算法生成的人臉圖像、視頻攻擊以及對抗樣本攻擊需要進一步探索和研究。