蔣方玲 劉鵬程 周祥東

人臉活體檢測(cè)是指辨別當(dāng)前獲取的人臉圖像是來(lái)自活體人臉還是假體人臉的過(guò)程,其中活體人臉指有生命的真實(shí)人臉,假體人臉指冒充真人身份的人臉?lè)旅捌穂1].隨著人臉識(shí)別技術(shù)的廣泛應(yīng)用,人臉活體檢測(cè)作為保障人臉識(shí)別技術(shù)安全性的關(guān)鍵環(huán)節(jié),逐漸成為計(jì)算機(jī)視覺(jué)、模式識(shí)別、人臉識(shí)別領(lǐng)域非?；钴S的研究方向.

人臉活體檢測(cè)研究具有重要的應(yīng)用價(jià)值.深度學(xué)習(xí)的發(fā)展使人臉識(shí)別技術(shù)的性能有了質(zhì)的提升,人臉識(shí)別技術(shù)具有自然、直觀、易用等優(yōu)點(diǎn),目前已廣泛應(yīng)用于智能安防、公安刑偵、金融社保、智能家居、電子商務(wù)、人臉娛樂(lè)、醫(yī)療教育等領(lǐng)域,應(yīng)用場(chǎng)景豐富,應(yīng)用市場(chǎng)潛力巨大.然而,人臉識(shí)別技術(shù)的廣泛應(yīng)用亦使得人臉識(shí)別技術(shù)的安全性問(wèn)題日益凸顯.傳統(tǒng)的人臉識(shí)別研究專(zhuān)注于整體識(shí)別性能的提升,如圖1 所示,整體處理流程一般包含人臉檢測(cè)、人臉對(duì)齊、特征抽取、特征比對(duì)等環(huán)節(jié),其并不判斷當(dāng)前獲取的人臉圖像是來(lái)自活體人臉還是假體人臉.隨著智能手機(jī)和社交網(wǎng)絡(luò)的蓬勃發(fā)展,不法分子收集合法用戶的人臉圖像,制作假體人臉的渠道廣、成本低.文獻(xiàn)[2] 利用合法用戶在社交網(wǎng)絡(luò)上發(fā)布的照片輕松地經(jīng)過(guò)了6 個(gè)商業(yè)人臉識(shí)別系統(tǒng)Face Unlock,FacelockPro,Visidon,Veriface,Luxand Blink 以及FastAccess 的認(rèn)證.目前人臉識(shí)別技術(shù)廣泛應(yīng)用于對(duì)安全性有較高要求的人員身份鑒定場(chǎng)景,若不法分子利用傳統(tǒng)人臉識(shí)別技術(shù)的這個(gè)安全性隱患,使用假體人臉成功冒用合法用戶身份,從短期來(lái)看,侵犯了合法用戶的權(quán)益,較大可能造成生命財(cái)產(chǎn)損失;從長(zhǎng)遠(yuǎn)來(lái)看,亦會(huì)影響人臉識(shí)別技術(shù)的進(jìn)一步廣泛深入應(yīng)用.因此,如何準(zhǔn)確識(shí)別活體人臉與假體人臉,保障人臉識(shí)別技術(shù)的安全性成為一個(gè)亟待解決的問(wèn)題.

圖1 傳統(tǒng)人臉識(shí)別技術(shù)的安全性缺陷Fig.1 Vulnerability of conventional face recognition system

人臉活體檢測(cè)研究具有重要的學(xué)術(shù)價(jià)值.近年來(lái),國(guó)內(nèi)外對(duì)人臉活體檢測(cè)的研究活躍.瑞士Idiap研究所、密歇根州立大學(xué)、奧盧大學(xué)、南洋理工大學(xué)、中國(guó)科學(xué)院自動(dòng)化所、清華大學(xué)、上海交通大學(xué)等都有團(tuán)隊(duì)從事人臉活體檢測(cè)的研究.CVPR(IEEE Conference on Computer Vision and Pattern Recognition)、ECCV (Europe Conference on Computer Vision)、IEEE Transactions on Information Forensics and Security 等重要國(guó)際會(huì)議期刊上發(fā)表的人臉活體檢測(cè)相關(guān)論文數(shù)量大幅度增長(zhǎng).人類(lèi)的智慧是無(wú)窮的,假體人臉亦是各種各樣,層出不窮.通過(guò)尋找活體人臉與假體人臉之間的可區(qū)分線索,研究出準(zhǔn)確率高、通用性強(qiáng)的人臉活體檢測(cè)算法,不僅能夠服務(wù)于人臉識(shí)別技術(shù),對(duì)于類(lèi)似的紋理分類(lèi),皮膚檢測(cè),掌紋、靜脈、虹膜等生物識(shí)別領(lǐng)域亦能夠提供思路啟發(fā).

鑒于人臉活體檢測(cè)的重要研究?jī)r(jià)值,相關(guān)研究者對(duì)人臉活體檢測(cè)方法進(jìn)行了綜述.文獻(xiàn)[3] 根據(jù)算法使用的技術(shù)對(duì)2014 年前的人臉活體檢測(cè)方法進(jìn)行了綜述.文獻(xiàn)[4－5] 對(duì)2017 年已有的人臉活體檢測(cè)方法進(jìn)行了綜述.這些文獻(xiàn)詳細(xì)列舉了目前存在的假體人臉類(lèi)別,對(duì)于假體人臉的特性所造成的人臉活體檢測(cè)問(wèn)題沒(méi)有更深入的分析,而問(wèn)題的剖析更有利于后期有效方法的提出.因此,有必要對(duì)假體人臉特性所造成的人臉活體檢測(cè)的難點(diǎn)進(jìn)行深入剖析.除此之外,這些文獻(xiàn)主要對(duì)基于手工特征的方法進(jìn)行了分析綜述,對(duì)于基于深度學(xué)習(xí)的方法少有涉及.隨著深度學(xué)習(xí)方法的發(fā)展,不少研究者提出了基于深度學(xué)習(xí)的人臉活體檢測(cè)方法.相對(duì)于2017 年前已有的人臉活體檢測(cè)算法,近年來(lái)出現(xiàn)的基于深度學(xué)習(xí)的人臉活體檢測(cè)算法很大程度上提升了人臉活體檢測(cè)的性能.雖然目前基于深度學(xué)習(xí)的人臉活體檢測(cè)算法也存在一定的問(wèn)題,但是鑒于深度學(xué)習(xí)方法在人臉識(shí)別、物體分類(lèi)等其他計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用經(jīng)驗(yàn),利用深度學(xué)習(xí)方法進(jìn)行人臉活體檢測(cè)的前景是可觀的.因此,有必要對(duì)基于手工特征以及基于深度學(xué)習(xí)的人臉活體檢測(cè)方法進(jìn)行全面地綜述和討論,以期為進(jìn)一步的人臉活體檢測(cè)研究奠定一定的基礎(chǔ).

本文系統(tǒng)地綜述了人臉活體檢測(cè)相關(guān)研究進(jìn)展,并對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行了展望.本文首先從人臉活體檢測(cè)的問(wèn)題出發(fā),從個(gè)體、類(lèi)內(nèi)、類(lèi)間三個(gè)層面分析了假體人臉給人臉活體檢測(cè)帶來(lái)的難點(diǎn)和挑戰(zhàn),繼而根據(jù)人臉活體檢測(cè)算法的主要應(yīng)用形式將主流算法分為交互式人臉活體檢測(cè)與非交互式人臉活體檢測(cè)兩大類(lèi)進(jìn)行梳理和總結(jié),詳述了代表性方法的原理、優(yōu)勢(shì)與不足.之后,對(duì)人臉活體檢測(cè)方面的主流數(shù)據(jù)庫(kù)進(jìn)行了整理,對(duì)數(shù)據(jù)庫(kù)的特點(diǎn)、數(shù)據(jù)量、數(shù)據(jù)多樣性方面進(jìn)行了比較分析,對(duì)算法評(píng)估常用的性能評(píng)價(jià)指標(biāo)進(jìn)行了闡述,總結(jié)分析了代表性人臉活體檢測(cè)方法在照片視頻類(lèi)數(shù)據(jù)集CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW 以及面具類(lèi)數(shù)據(jù)集3DMAD、SMAD、HKBU-MARsV2 上的性能數(shù)據(jù),最后對(duì)人臉活體檢測(cè)算法未來(lái)可能的發(fā)展方向進(jìn)行了思考和探討.

1 人臉活體檢測(cè)的難點(diǎn)與挑戰(zhàn)

人臉活體檢測(cè)已經(jīng)發(fā)展為保障人臉識(shí)別系統(tǒng)安全性的一個(gè)基本問(wèn)題,逐漸成為了人臉識(shí)別整個(gè)處理流程中的一個(gè)重要環(huán)節(jié),亦是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題.目前常見(jiàn)的假體人臉有以下幾種:

1) 照片類(lèi)假體人臉

照片類(lèi)假體人臉是指用照片紙、普通打印紙打印的黑白(如圖2(a) 所示)、彩色人臉照片或者電子設(shè)備顯示的電子照片.照片類(lèi)假體人臉是二維人臉,有完整照片假體人臉(如圖2(b) 和圖2(c) 所示)和挖去部分臉部區(qū)域的照片假體人臉(如圖2(d) 和圖2(e) 所示) 兩類(lèi),挖去的區(qū)域通常是眼部(如圖2(d) 所示) 或者嘴部(如圖2(e) 所示) 區(qū)域.照片類(lèi)假體人臉可以平鋪在攝像頭前(如圖2(b) 所示),亦可彎曲地放在攝像頭前(如圖2(c) 所示).社交網(wǎng)絡(luò)的發(fā)展使得假體人臉的制造者能夠快速、方便地收集他人的人臉圖像,打印機(jī)的普及也使得打印照片方便且成本低廉.因此,照片類(lèi)假體人臉是最常見(jiàn)的假體人臉.

圖2 不同類(lèi)別假體人臉示例Fig.2 Examples of spoofing faces

2) 視頻類(lèi)假體人臉

視頻類(lèi)假體人臉是指通過(guò)手機(jī)、平板電腦或者其他電子顯示設(shè)備播放的預(yù)先錄制好的人臉視頻(如圖2(f)所示).這些視頻通常包含眨眼、點(diǎn)頭、抬頭、張嘴、唇部微運(yùn)動(dòng)等一些動(dòng)作信息,用于迷惑人臉識(shí)別系統(tǒng).

3) 面具類(lèi)假體人臉

面具類(lèi)假體人臉是指各類(lèi)材質(zhì)的三維人臉面具.此類(lèi)假體人臉通常有塑料、乳膠、硅膠材質(zhì)的人臉面具、人臉模具等.塑料硅膠人臉面具有根據(jù)商家設(shè)計(jì)的人臉制作的面具(如圖2(h) 和圖2(f) 所示),亦有根據(jù)用戶提供的照片定制的人臉面具(如圖2(j) 和圖2(k) 所示),其中,圖2(j) 的制作方是ThatsMyFace (thatsmyface.com),圖2(h) 的制作方是REAL-F (real-f.jp).人臉模具指三維立體人頭模塊(如圖2(l) 所示),一般不可以戴在臉上.

4) 合成的三維人臉模型類(lèi)假體人臉

合成的三維人臉模型類(lèi)假體人臉是指利用合法用戶照片使用三維人臉軟件合成的三維人臉模型(如圖2(m) 所示).此類(lèi)人臉模型通常以電子設(shè)備為媒介,通過(guò)電子設(shè)備顯示后攻擊人臉識(shí)別系統(tǒng).

人臉活體檢測(cè)的難點(diǎn)與挑戰(zhàn)究其原因,主要是假體人臉以假亂真的高質(zhì)量以及假體人臉的多種多樣導(dǎo)致的,具體可以從個(gè)體、類(lèi)內(nèi)和類(lèi)間三個(gè)層面來(lái)看.

a) 個(gè)體.人臉活體檢測(cè)的任務(wù)是要識(shí)別當(dāng)前獲取的人臉圖像是否來(lái)自有生命力的活體人臉.基本解決思路是抽取活體人臉圖像與假體人臉圖像的差異作為分類(lèi)線索.目前很多假體人臉的制造工藝優(yōu)良,制造出來(lái)的假體人臉質(zhì)量高,經(jīng)人臉檢測(cè)對(duì)齊處理后的假體人臉圖像與活體人臉圖像看起來(lái)非常相似.如圖3 所示,人眼幾乎很難分辨出這些人臉圖像不是采集于活體人臉而是照片類(lèi)假體人臉.個(gè)體層次以假亂真的高質(zhì)量使得人臉活體檢測(cè)的難度大大增加.

圖3 Replay-Attack 數(shù)據(jù)集中的假體人臉Fig.3 Spoofing faces of Replay-Attack

b) 類(lèi)內(nèi).同一類(lèi)別的假體人臉雖然有共同的本質(zhì)特征,但是同一類(lèi)別的不同假體人臉也存在著較大差異.假體材質(zhì)、制造方式、制造者、外界環(huán)境的不同都會(huì)導(dǎo)致同類(lèi)別的不同假體人臉的差異.比如說(shuō),照片類(lèi)假體人臉的材質(zhì)有打印紙、照片紙、電子顯示屏等.面具的材質(zhì)有塑料、乳膠、硅膠等.不同材質(zhì)的同類(lèi)別假體人臉成像時(shí)反射屬性、紋理方面會(huì)存在較大差異.不同的打印機(jī)、不同的電子顯示設(shè)備、不同的生成廠家及其制造方式都會(huì)導(dǎo)致同類(lèi)別不同假體人臉在顏色分布、分辨率、外觀質(zhì)量等方面存在差異.同類(lèi)別不同假體人臉的成像效果也會(huì)根據(jù)人臉識(shí)別系統(tǒng)的攝像頭、外界環(huán)境的差異而多種多樣.這些類(lèi)內(nèi)的差異給人臉活體檢測(cè)算法帶來(lái)了極大的困難.

c) 類(lèi)間.假體人臉的種類(lèi)多種多樣,具體來(lái)說(shuō)其品類(lèi)有照片、視頻、面具之分,其材質(zhì)有紙質(zhì)、電子顯示屏、塑料、硅膠之分,其結(jié)構(gòu)有二維和三維之分.目前大部分人臉活體檢測(cè)算法都是根據(jù)具體的假體人臉類(lèi)型設(shè)計(jì)具體的算法.假體人臉的類(lèi)間差異使得抽取有效而通用的特征同時(shí)去準(zhǔn)確識(shí)別各類(lèi)假體人臉與活體人臉的難度大大增加,給人臉活體檢測(cè)算法帶來(lái)了極大的挑戰(zhàn).不僅目前常見(jiàn)的假體人臉多種多樣,隨著假體人臉制造技術(shù)的發(fā)展,未來(lái)的假體人臉更是可能多種多樣.人臉活體檢測(cè)算法如何對(duì)這多種多樣的未知假體人臉有效而通用更是一個(gè)有挑戰(zhàn)的問(wèn)題.

2 人臉活體檢測(cè)方法

現(xiàn)有的人臉活體檢測(cè)方法從多種不同的角度致力于將活體人臉圖像與假體人臉圖像區(qū)分開(kāi)來(lái).關(guān)于人臉活體檢測(cè)方法的分類(lèi),根據(jù)不同的分類(lèi)依據(jù)可以得到不同的分類(lèi)體系.如以信號(hào)源為依據(jù),可以分為基于可見(jiàn)光的人臉活體檢測(cè)、基于紅外的人臉活體檢測(cè)、基于多光譜的人臉活體檢測(cè)、基于光場(chǎng)相機(jī)的人臉活體檢測(cè)、基于深度攝像頭的人臉活體檢測(cè)、基于可見(jiàn)光圖像與語(yǔ)音混合的人臉活體檢測(cè).以輸入信息的模態(tài)為依據(jù),可以分為基于單幀圖像的人臉活體檢測(cè)、基于視頻的人臉活體檢測(cè)、基于三維深度坐標(biāo)點(diǎn)的人臉活體檢測(cè)、基于視頻語(yǔ)音混合的人臉活體檢測(cè).人臉活體檢測(cè)方法一般將人臉活體檢測(cè)問(wèn)題作為一個(gè)活體人臉圖像和假體人臉圖像的二分類(lèi)問(wèn)題來(lái)處理.分類(lèi)問(wèn)題的性能很大程度上由算法是否使用了區(qū)分性足夠強(qiáng)的特征以及是否使用了合適的分類(lèi)策略.考慮到特征的重要性,本文擬以人臉活體檢測(cè)方法所利用的特征種類(lèi)為線索詳述各類(lèi)人臉活體檢測(cè)算法.本文根據(jù)當(dāng)前主流人臉活體檢測(cè)方法的應(yīng)用形式,將其分為交互式人臉活體檢測(cè)與非交互式人臉活體檢測(cè)兩大類(lèi),針對(duì)每類(lèi)方法,進(jìn)而以特征種類(lèi)為線索,具體闡述各類(lèi)人臉活體檢測(cè)算法[6-102].整體分類(lèi)體系如圖4 所示,表1對(duì)相應(yīng)類(lèi)別方法進(jìn)行了概括性的對(duì)比分析.下面將對(duì)各類(lèi)方法進(jìn)行具體闡述.

表1 主流人臉活體檢測(cè)方法總覽Table 1 Brief overview of face anti-spoofing methods

圖4 人臉活體檢測(cè)方法分類(lèi)Fig.4 Classification of face anti-spoofing methods

2.1 交互式人臉活體檢測(cè)

活體人臉的宿主是有生命力的人類(lèi).人類(lèi)可以按照要求做出動(dòng)作或者發(fā)出聲音,但是假體人臉卻難以做到.基于這個(gè)考慮,人們提出了交互式人臉活體檢測(cè)方法.交互式人臉活體檢測(cè)利用動(dòng)作指令與用戶交互,系統(tǒng)通過(guò)判斷用戶是否準(zhǔn)確完成了指定動(dòng)作來(lái)辨別攝像頭前的人臉是活體人臉還是假體人臉[6-14].常見(jiàn)的動(dòng)作指令有點(diǎn)頭、抬頭、眨眼、閉眼、遮擋眼睛、揚(yáng)眉、皺眉、笑臉、吐舌頭、張嘴、朗讀一段文字等.

早期的交互式人臉活體檢測(cè)動(dòng)作指令的設(shè)計(jì)是固定的,這使得預(yù)先錄制完成動(dòng)作指令的視頻就能攻破這類(lèi)人臉活體檢測(cè)算法.為了解決這個(gè)問(wèn)題,基于隨機(jī)動(dòng)作指令的交互式人臉活體檢測(cè)應(yīng)運(yùn)而生.動(dòng)作指令的隨機(jī)性使得攻擊者難以預(yù)先錄制視頻來(lái)攻破活體檢測(cè)算法.交互式人臉活體檢測(cè)算法的性能如檢測(cè)準(zhǔn)確率、檢測(cè)時(shí)間很大程度上依賴于動(dòng)作指令識(shí)別算法的性能.動(dòng)作指令的識(shí)別是交互式人臉活體檢測(cè)算法的核心部分.文獻(xiàn)[8] 對(duì)連續(xù)多幀人臉圖像中的動(dòng)作執(zhí)行區(qū)域進(jìn)行二值化處理,通過(guò)分析二值化圖像的變化是否大于指定閾值來(lái)判斷用戶是否完成了隨機(jī)指定的動(dòng)作.文獻(xiàn)[10] 通過(guò)檢測(cè)人臉嘴部區(qū)域的變化幅度進(jìn)行唇語(yǔ)識(shí)別,輔以語(yǔ)音識(shí)別獲取用戶響應(yīng)的語(yǔ)音信息共同判斷用戶是否按要求朗讀了系統(tǒng)隨機(jī)給出的語(yǔ)句.文獻(xiàn)[11] 抽取嘴部區(qū)域的光流特征繼而用支持向量機(jī)(Support vector machine,SVM) 進(jìn)行分類(lèi)來(lái)識(shí)別用戶是否朗讀了系統(tǒng)給出的一串?dāng)?shù)字.文獻(xiàn)[12] 指導(dǎo)用戶完成隨機(jī)表情動(dòng)作,通過(guò)計(jì)算多幀圖像的尺度不變特征變換(Scale-invariant feature transform,SIFT) 流能量值來(lái)判斷用戶是否完成了指定表情.

交互式人臉活體檢測(cè)通過(guò)精心設(shè)計(jì)的交互動(dòng)作,有效減弱了假體人臉類(lèi)內(nèi)類(lèi)間差異對(duì)算法性能的影響,因此識(shí)別率高,通用性較好,目前廣泛應(yīng)用于金融、醫(yī)療等實(shí)際業(yè)務(wù)場(chǎng)景中.交互式人臉活體檢測(cè)需

要從多幀圖像中識(shí)別用戶是否完成了動(dòng)作,相對(duì)基于單幀的算法計(jì)算量大、所需時(shí)間長(zhǎng),而且其需要用戶在指定區(qū)域內(nèi)完成多個(gè)指定動(dòng)作,檢測(cè)過(guò)程繁瑣,對(duì)用戶的限制和要求較高,用戶體驗(yàn)不佳,違背了人臉識(shí)別技術(shù)方便自然識(shí)別的優(yōu)點(diǎn).除此之外,交互式人臉活體檢測(cè)需要用戶配合的特點(diǎn)決定了其只能用于用戶主動(dòng)配合的業(yè)務(wù)場(chǎng)景,不適用于視頻監(jiān)控人臉?lè)治鲋?lèi)的用戶處于自然行為狀態(tài)的業(yè)務(wù),應(yīng)用范圍相對(duì)窄.

2.2 非交互式人臉活體檢測(cè)

非交互式人臉活體檢測(cè)在用戶無(wú)主動(dòng)感知條件下辨別活體人臉和假體人臉,無(wú)需與用戶進(jìn)行交互.非交互式人臉活體檢測(cè)分析攝像頭捕獲的活體人臉圖像和假體人臉圖像間的差異來(lái)區(qū)分活體人臉和假體人臉.從利用的差異特征方面分析,非交互式人臉活體檢測(cè)可以分為基于紋理的方法、基于圖像質(zhì)量的方法、基于生命信息的方法、基于其他硬件的方法、基于深度特征的方法和混合特征類(lèi)方法.

2.2.1 基于紋理的方法

常見(jiàn)的基于紋理的方法主要關(guān)注照片、視頻類(lèi)攻擊[15-35],也有少量文獻(xiàn)處理面具類(lèi)攻擊[36-38].照片、視頻中的人臉二次成像時(shí)面部的紋理會(huì)帶有照片紙或者電子顯示屏的紋理,與活體人臉皮膚的紋理有一定差異.照片類(lèi)假體人臉不同的打印質(zhì)量,視頻類(lèi)假體人臉顯示設(shè)備不同的顯示分辨率也會(huì)造成假體人臉的紋理與活體人臉不同.除此之外,活體人臉有復(fù)雜的三維立體結(jié)構(gòu),照片、視頻類(lèi)攻擊是二維的平面結(jié)構(gòu),光在三維結(jié)構(gòu)和二維結(jié)構(gòu)表面不同的反射會(huì)形成臉部顏色明暗區(qū)域的差異.基于紋理的方法主要利用這些差異為線索進(jìn)行活體人臉和假體人臉的分類(lèi).

局部二值模式 (Local binary patterns,LBP)[103]考慮了像素及其相鄰像素間的關(guān)系,作為一種局部紋理描述符,能夠抽取高判別力的紋理特征且理論簡(jiǎn)單、計(jì)算復(fù)雜度低,已廣泛應(yīng)用于基于紋理的人臉活體檢測(cè)方法.鑒于LBP 描述符在人臉活體檢測(cè)領(lǐng)域的基礎(chǔ)地位,這里對(duì)LBP 描述符簡(jiǎn)單地進(jìn)行介紹.原始的LBP 算子定義了一個(gè)3×3的矩陣鄰域,以中心點(diǎn)像素值為閾值將鄰域像素值二值化,鄰域的像素值大于或者等于中心點(diǎn)像素則設(shè)為1,鄰域的像素值小于中心點(diǎn)像素則設(shè)為0,之后以逆時(shí)針?lè)较虮闅v鄰域一周得到一個(gè)表示中心點(diǎn)的像素值二進(jìn)制模式.圖像中的每一個(gè)像素點(diǎn)按照此計(jì)算方法得到一個(gè)表示局部紋理信息的二進(jìn)制模式.統(tǒng)計(jì)各個(gè)二進(jìn)制模式出現(xiàn)的頻率得到LBP 直方圖作為特征向量用于分類(lèi).3×3 的鄰域設(shè)計(jì)使得原始的LBP 描述符不能獲取其他尺度的紋理信息,Ojala 等[103]采用圓形鄰域擴(kuò)充了3×3 的矩陣鄰域,使得其能夠自定義使用指定半徑圓上的指定個(gè)鄰域點(diǎn)的信息.如此改進(jìn)后卻依然存在問(wèn)題:同一尺度下的LBPP,R的各個(gè)模式出現(xiàn)的頻率不均勻致使抽取的紋理特征效果不能讓人滿意,同時(shí)會(huì)產(chǎn)生2P種不同的二進(jìn)制模式,對(duì)計(jì)算和存儲(chǔ)帶來(lái)了挑戰(zhàn).為了解決這個(gè)問(wèn)題,Ojala 等[103]提出了均勻LBP.均勻LBP 模式是指二進(jìn)制串里從0 到1 或者從1 到0 的變化不超過(guò)U次.每一個(gè)均勻LBP 模式分為獨(dú)立的一類(lèi),非均勻的LBP 模式全部歸為一類(lèi).均勻LBP 起到了降維的作用,改進(jìn)計(jì)算效率的同時(shí)提升了特征抽取的效果.

文獻(xiàn)[15－17] 將采集的圖像轉(zhuǎn)化為灰度圖之后抽取圖像的灰度紋理信息用于活體人臉和假體人臉的分類(lèi),屏蔽了顏色光照因素的影響.文獻(xiàn)[15] 利用多個(gè)不同尺度的均勻LBP 算子從灰度圖的局部塊以及全局圖像中抽取紋理特征直方圖,之后將所有特征直方圖連接形成一個(gè)531 維的特征直方圖送入以徑向基函數(shù)(Radial basis function,RBF) 為內(nèi)核的SVM 分類(lèi)器中進(jìn)行活體人臉和假體人臉?lè)诸?lèi)的訓(xùn)練和測(cè)試.基于灰度圖的紋理分析算法對(duì)于高分辨率、紋理清晰的假體人臉圖像比較有效,但是對(duì)于一些低分辨率的假體人臉圖像,則很難分辨準(zhǔn)確.一般用于制造照片視頻假體人臉的打印機(jī)或者電子設(shè)備的色域是人眼可視色域的子集,其顏色沒(méi)有人眼能感知的顏色豐富.因此,打印機(jī)或者電子設(shè)備制造的照片、視頻類(lèi)假體人臉在顏色分布上與活體人臉有一定差異.考慮到這個(gè)因素,文獻(xiàn)[20] 將圖像從RGB 顏色空間轉(zhuǎn)化為YCbCr 顏色空間,從亮度、色度通道抽取LBP 紋理特征,結(jié)合顏色、紋理兩方面的差異線索進(jìn)行人臉活體檢測(cè).除了LBP 特征,LBP 的一些變種,如tLBP[16],dLBP[16],mLBP[16],CLBP[21],CSLBP[21],LBPV[22]等也被用于抽取圖像中的紋理信息.

除了LBP 及其變種,研究者們也提出了諸多其他的特征描述符用于人臉活體檢測(cè)紋理特征的抽取.文獻(xiàn)[23] 將人臉?lè)殖?2 個(gè)小塊,利用局部相位量化(Local phase quantization,LPQ) 抽取紋理特征.文獻(xiàn)[21,24] 利用二值化統(tǒng)計(jì)圖像特征(Binarized statistical image features,BSIF) 抽取臉部局部塊和臉部全局的紋理特征送入SVM 用于分類(lèi).方向梯度直方圖(Histogram of oriented gradient,HOG) 計(jì)算局部區(qū)域的梯度方向直方圖構(gòu)成特征被用于分類(lèi)[23,26-29].文獻(xiàn)[28,31－32] 使用灰度共生矩陣(Gray-level co-occurrence matrix,GLCM)[104]統(tǒng)計(jì)像素間灰度值的分布規(guī)律抽取紋理特征.文獻(xiàn)[33－34] 利用高斯差分函數(shù)(Difference of Gaussian,DOG) 抽取紋理特征識(shí)別差光照條件下的活體人臉和假體人臉.文獻(xiàn)[15,26,32] 利用Gabor 濾波器提取不同尺度不同方向上的紋理特征.文獻(xiàn)[39] 利用加速穩(wěn)健特征(Speeded-up robust features,SURF) 從HSV、YCbCr 顏色空間的圖像中抽取顏色紋理特征.文獻(xiàn)[40] 利用一個(gè)附加的閃光燈以便拍攝的圖像紋理更清晰,活體人臉圖像和假體人臉的紋理差異更明顯.不少研究者們混合使用多種特征描述符從圖形中抽取特征,繼而連接不同描述符的特征送入分類(lèi)器SVM 進(jìn)行訓(xùn)練和測(cè)試,如LPQ 與LBP 混合[23,41],BSIF 與LBP 混合[24],HOG 與LPQ 混合[42],Gabor、LBP、GLCM的混合[32].不同特征的混合有利于人臉活體檢測(cè)性能的提升,但是同時(shí)也增加了計(jì)算復(fù)雜度.

總體來(lái)說(shuō),基于紋理的方法計(jì)算量少,計(jì)算復(fù)雜度低,容易實(shí)現(xiàn).基于紋理的方法著重利用紋理顏色方面的差異進(jìn)行分類(lèi),要求輸入圖像的分辨率高,能夠保存清晰的顏色紋理細(xì)節(jié)信息,對(duì)采集設(shè)備有高要求.采集條件如光照、攝像頭質(zhì)量的差異,假體人臉制造設(shè)備的差異造成的假體人臉類(lèi)內(nèi)差異皆會(huì)導(dǎo)致同類(lèi)別假體人臉抽取的紋理模式不同,因此,基于紋理的方法普遍存在跨數(shù)據(jù)集通用性不夠強(qiáng)的問(wèn)題.文獻(xiàn)[35] 也利用豐富的實(shí)驗(yàn)驗(yàn)證了采集條件差異和假體人臉類(lèi)間差異對(duì)于基于紋理的人臉活體檢測(cè)算法的跨數(shù)據(jù)集通用性存在明顯的削弱.

2.2.2 基于圖像質(zhì)量的方法

假體人臉的呈現(xiàn)需要一定的媒介,無(wú)論是照片紙、打印紙、電子設(shè)備、硅膠、塑料等各類(lèi)媒介的材料屬性與活體人臉的五官、皮膚材質(zhì)都有差異.材質(zhì)的差異會(huì)導(dǎo)致反射屬性的差異,如照片紙、手機(jī)顯示屏?xí)幸恍╃R面反射而活體人臉基本不會(huì)存在這種現(xiàn)象.假體人臉的制造工藝雖然優(yōu)良,但是大部分假體人臉二次成像后的圖像質(zhì)量與活體人臉還是存在一定距離,如顏色分布的失真、假體人臉圖像的模糊感等.基于圖像質(zhì)量的方法主要利用圖像失真、反射屬性方面的差異分辨真假人臉.

文獻(xiàn)[43] 設(shè)計(jì)了25 種圖像質(zhì)量評(píng)估指標(biāo)用于評(píng)估假體人臉的失真程度.文獻(xiàn)[44] 針對(duì)人臉活體檢測(cè)設(shè)計(jì)了14 種通用特征用于抽取圖像質(zhì)量方面的差異.文獻(xiàn)[45] 利用鏡面反射、圖像模糊、顏色分布等圖像失真方面的分析提取了針對(duì)照片假體人臉的特征.圖像的質(zhì)量很大程度上依賴拍攝設(shè)備以及外界條件.低質(zhì)量的拍攝設(shè)備以及差的光照等外界條件亦會(huì)使得活體人臉的圖像存在失真的問(wèn)題.文獻(xiàn)[46] 考慮了不同質(zhì)量拍攝設(shè)備的影響,首先利用聚類(lèi)的方法將圖像以圖像質(zhì)量維度聚類(lèi),然后針對(duì)每一種質(zhì)量等級(jí)的圖像預(yù)訓(xùn)練一個(gè)基于圖像質(zhì)量特征的活體人臉和假體人臉?lè)诸?lèi)指導(dǎo)模型,對(duì)于測(cè)試圖像,首先判斷其圖像質(zhì)量等級(jí),利用回歸的方法映射圖像到其對(duì)應(yīng)圖像質(zhì)量等級(jí)的分類(lèi)指導(dǎo)模型,之后利用映射得到的分類(lèi)指導(dǎo)模型進(jìn)行活體人臉和假體人臉?lè)诸?lèi).文獻(xiàn)[47] 選取圖像質(zhì)量差異明顯的人臉塊用于人臉活體檢測(cè),他們首先將檢測(cè)到的人臉圖像分成小塊,利用圖像質(zhì)量評(píng)價(jià)、圖像強(qiáng)度分析等方法將小塊人臉圖像根據(jù)其判別能力進(jìn)行排序,最后從判別能力強(qiáng)的小塊人臉圖像中抽取特征,送入SVM、二次判別分析(Quadratic discriminant analysis,QDA) 等分類(lèi)模型中進(jìn)行活體人臉和假體人臉?lè)诸?lèi).

基于圖像質(zhì)量的方法計(jì)算復(fù)雜度低,檢測(cè)速度較快,有利于在線實(shí)時(shí)檢測(cè).此類(lèi)方法使用了一些通用的圖像質(zhì)量評(píng)估特征,能夠較好地應(yīng)對(duì)假體人臉的類(lèi)內(nèi)差異問(wèn)題,對(duì)于單類(lèi)假體人臉的跨數(shù)據(jù)通用能力相對(duì)較強(qiáng).目前基于圖像質(zhì)量的方法主要關(guān)注于照片、視頻類(lèi)假體人臉的識(shí)別,對(duì)面具類(lèi)假體人臉的研究較少.此類(lèi)方法不能很好地應(yīng)對(duì)假體人臉的類(lèi)間差異,需要針對(duì)每一類(lèi)假體人臉的特點(diǎn)設(shè)計(jì)其圖像質(zhì)量方面的特征,識(shí)別照片、視頻類(lèi)假體人臉的圖像質(zhì)量特征不能簡(jiǎn)單地遷移使用到面具類(lèi)假體人臉的識(shí)別.算法雖然對(duì)于打印照片、手機(jī)顯示的照片視頻假體人臉比較魯棒,但是難以準(zhǔn)確識(shí)別一些高清啞光的照片、視頻攻擊[44].從基于圖像質(zhì)量的方法的本質(zhì)來(lái)看,其需要高質(zhì)量的活體人臉和假體人臉圖像作為輸入以便能夠抽取足夠好的圖像質(zhì)量特征,對(duì)人臉圖像采集設(shè)備要求高.

2.2.3 基于生命信息的方法

活體人臉和假體人臉之間一個(gè)明顯的區(qū)別是活體有心跳、血液流動(dòng)、眨眼、臉部肌肉不自主地微運(yùn)動(dòng)等生命特征,而大部分類(lèi)別的假體人臉難以完美模仿此類(lèi)生命特征.基于生命信息的方法主要利用這些生命特征方面的差異來(lái)進(jìn)行活體人臉和假體人臉的分類(lèi).

文獻(xiàn)[48－49] 利用條件隨機(jī)場(chǎng)檢測(cè)輸入圖像序列中的人眼是否存在睜眼閉眼的切換來(lái)判斷是否是活體人臉.文獻(xiàn)[50] 分析眼部區(qū)域多個(gè)尺度、多個(gè)方向的Gabor 響應(yīng)信號(hào)來(lái)判斷是否存在眨眼行為.文獻(xiàn)[51] 分析活體人臉唇部不自主地微動(dòng)作進(jìn)行活體檢測(cè).此類(lèi)利用眼睛和唇部信息的方法能夠比較好地識(shí)別照片類(lèi)假體人臉,但是不能很好地識(shí)別視頻、面具類(lèi)假體人臉.活體人臉具有三維立體結(jié)構(gòu),其運(yùn)動(dòng)模式和照片、視頻類(lèi)二維假體人臉存在差異.文獻(xiàn)[52－54]利用光流線(Optical flow of lines,OFL) 從水平方向和垂直方向兩個(gè)維度計(jì)算人臉圖像的時(shí)空差異,獲取人臉的運(yùn)動(dòng)信息來(lái)檢測(cè)照片、視頻之類(lèi)的平面假體人臉攻擊.文獻(xiàn)[55] 利用歐幾里得運(yùn)動(dòng)放大的方法增強(qiáng)人臉不自覺(jué)的微運(yùn)動(dòng)信息并用HOOF（Histogram of oriented optical flow）算子抽取運(yùn)動(dòng)特征.文獻(xiàn)[56] 利用運(yùn)動(dòng)成分分解的方法從圖形中分解出眨眼、唇部動(dòng)作、臉部肌肉動(dòng)作等運(yùn)動(dòng)信息用于活體檢測(cè).基于運(yùn)動(dòng)信息的檢測(cè)方法利用了假體人臉難以模擬的生命特征,對(duì)于活體人臉和假體人臉來(lái)說(shuō)差異大.同時(shí),假體人臉的類(lèi)內(nèi)類(lèi)間差異對(duì)于此類(lèi)方法有效特征的抽取影響較少.在約束條件下,特征能夠穩(wěn)定抽取時(shí)此類(lèi)方法檢測(cè)準(zhǔn)確率高,但是其需要人臉視頻作為輸入,計(jì)算量相對(duì)大,假體人臉的一些模擬微運(yùn)動(dòng)能夠迷惑此類(lèi)算法.

遠(yuǎn)程光學(xué)體積描記術(shù)(Remote photoplethysmography,rPPG)[105]是一種利用普通攝像頭拍攝的人臉視頻計(jì)算人體心率的方法.活體人臉面部有豐富的毛細(xì)血管,活體心臟跳動(dòng)會(huì)導(dǎo)致血管中血液流量和流速的變化,而血流的變化又影響面部光線的吸收和反射情況,最后這種血液的變化就導(dǎo)致了人臉顏色的變化.通過(guò)抽取人臉毛細(xì)血管豐富區(qū)域的顏色變化即可得到心率的變化.活體人臉的宿主有心率,而假體人臉沒(méi)有心率,利用這個(gè)線索,文獻(xiàn)[57－60] 利用rPPG 信號(hào)檢測(cè)待測(cè)對(duì)象是否具有心率并以此判斷待測(cè)對(duì)象是否是活體人臉.文獻(xiàn)[61]從圖像的R 和G 通道中抽取血流信息來(lái)進(jìn)行活體檢測(cè).此類(lèi)抽取心率、血流信息的方法多用于三維面具類(lèi)假體人臉的檢測(cè)上,在良好不變光照條件下,待測(cè)對(duì)象保持姿態(tài)、表情不動(dòng)的情況下方法準(zhǔn)確率較高,但是它們的計(jì)算過(guò)程需要足夠長(zhǎng)的高清人臉視頻以便能夠抽取到足夠好的rPPG 信號(hào),同時(shí)rPPG 信號(hào)受外界環(huán)境光照、待測(cè)對(duì)象運(yùn)動(dòng)的影響大,方法魯棒性不強(qiáng).

2.2.4 基于其他硬件的方法

除了利用傳統(tǒng)的可見(jiàn)光攝像頭捕獲人臉圖像,研究者們也利用了其他多元化的硬件如紅外攝像頭、多光譜攝像頭、光場(chǎng)相機(jī)、深度攝像頭等捕獲相應(yīng)類(lèi)型的人臉圖像進(jìn)行活體檢測(cè).

1) 紅外攝像頭、多光譜攝像頭

紅外攝像頭、多光譜攝像頭是最常用的一種.不同波段的紅外如近紅外、短波紅外、熱紅外都有相關(guān)研究工作.假體人臉的材質(zhì)與活體人臉的皮膚、眼睛、嘴唇、眉毛等部位的材質(zhì)不同,而材質(zhì)的不同就會(huì)造成反射屬性有差異.雖然假體人臉在可見(jiàn)光條件下看起來(lái)和活體人臉?lè)浅Ｏ嗨?但是在紅外光譜下,活體人臉的皮膚、眼睛、鼻子等區(qū)域看起來(lái)和假體人臉都有較大差異.一些研究者利用Gabor、HOG、朗伯模型等抽取近紅外攝像頭圖像中活體人臉和假體人臉的反射差異進(jìn)行活體檢測(cè)[62-68].在近紅外光譜下,照片和視頻攻擊與活體人臉的差異較大,此類(lèi)方法準(zhǔn)確率高,跨數(shù)據(jù)通用能力強(qiáng),但是制作精良的面具卻與活體人臉的差異較少.為了識(shí)別面具攻擊,文獻(xiàn)[69] 利用短波紅外來(lái)區(qū)分人臉皮膚和面具.熱紅外圖像中包含了受測(cè)對(duì)象散發(fā)的熱輻射信息.活體人臉有一定溫度能夠散發(fā)熱輻射,但是照片、視頻等假體人臉卻不能散發(fā)此類(lèi)信息.文獻(xiàn)[70] 利用熱紅外圖像進(jìn)行活體人臉以及照片、視頻類(lèi)假體人臉的分類(lèi).文獻(xiàn)[71－72] 利用了400 nm～1 000 nm 的多個(gè)波段圖像來(lái)抽取反射特征區(qū)分活體人臉和照片攻擊.

2) 光場(chǎng)相機(jī)

光場(chǎng)相機(jī)能夠記錄光在空間中的方向與位置等信息[106],文獻(xiàn)[21,73－74] 利用光場(chǎng)相機(jī)拍攝光場(chǎng)照片用于人臉活體檢測(cè).原始的光場(chǎng)照片是由很多個(gè)小的微透鏡圖像組成的.隨著焦距的不一樣,微透鏡圖像表示不同的光分布.這些不同光分布的圖像能夠用于估計(jì)輸入圖像中深度的存在.文獻(xiàn)[73] 利用LBP 從光場(chǎng)照片的兩種可視化圖像:微透鏡圖像和光場(chǎng)子孔徑圖像中抽取人臉邊緣特征以及射線差異特征用于假體人臉與活體人臉的分類(lèi).

3) 深度攝像頭

活體人臉有復(fù)雜的三維立體結(jié)構(gòu),照片、視頻類(lèi)假體人臉卻是二維平面結(jié)構(gòu).深度攝像頭拍攝的深度圖像能夠記錄下物體間的深度信息,三維活體人臉和二維假體人臉結(jié)構(gòu)的差異導(dǎo)致人臉離深度攝像頭的深度信息會(huì)存在較大差異.文獻(xiàn)[75－76] 利用Kinect 與可見(jiàn)光攝像頭錄制人臉深度圖和可見(jiàn)光圖像,繼而從人臉可見(jiàn)光圖像和深度圖中抽取紋理特征以及人臉結(jié)構(gòu)特征進(jìn)行活體人臉和照片、視頻類(lèi)假體人臉的分類(lèi).活體的三維人臉結(jié)構(gòu)有明顯變化的表面曲率,但是二維的假體人臉卻沒(méi)有.文獻(xiàn)[77]利用三維掃描儀獲取待測(cè)對(duì)象的三維模型,通過(guò)分析待測(cè)對(duì)象的表面曲率來(lái)判斷三維活體人臉和二維假體人臉.面具類(lèi)假體人臉雖然也有三維立體結(jié)構(gòu),但是因?yàn)楣に囋?大部分面具類(lèi)假體人臉的三維結(jié)構(gòu)還是沒(méi)有活體人臉精細(xì).基于幾何屬性的三維形狀分析能夠很好地刻畫(huà)人臉的表面結(jié)構(gòu)與形狀.常用的幾何屬性包括主曲率、高斯曲率、平均曲率及其方差.文獻(xiàn)[78] 利用主曲率測(cè)量以及meshSIFT特征描述符從待測(cè)對(duì)象的三維人臉模型中抽取活體人臉和面具間的幾何形狀差異來(lái)進(jìn)行活體人臉和面具假體人臉的分類(lèi).

基于其他硬件的方法利用的特征區(qū)分度大,假體人臉的類(lèi)內(nèi)差異對(duì)方法的影響較少,整體識(shí)別準(zhǔn)確率高,但是其需要增加新的硬件,這不僅意味著新的昂貴的硬件投入,而且也意味著人臉識(shí)別系統(tǒng)的硬件改造,費(fèi)時(shí)費(fèi)力.新增硬件在一定程度上也會(huì)限制算法的使用范圍,如智能手機(jī)之類(lèi)的移動(dòng)端人臉活體檢測(cè)可能會(huì)因?yàn)樾略銎渌麛z像頭不方便而舍棄這種解決方案.

2.2.5 基于深度特征的方法

早期的人臉活體檢測(cè)算法一般抽取手工設(shè)計(jì)的特征,繼而利用SVM、線性判別分析(Linear discriminant analysis,LDA) 等分類(lèi)器訓(xùn)練分類(lèi)模型進(jìn)行活體人臉和假體人臉的分類(lèi).手工設(shè)計(jì)特征作為淺層特征,表達(dá)能力一般,不能有效表征活體人臉和假體人臉之間的差異.深度學(xué)習(xí)方法能夠抽取高層語(yǔ)義的特征表達(dá),近年來(lái)大大提升了人臉識(shí)別、物體分類(lèi)等計(jì)算機(jī)視覺(jué)任務(wù)的性能.隨著深度學(xué)習(xí)方法的發(fā)展,人們也逐漸利用深度學(xué)習(xí)的方法來(lái)處理人臉活體檢測(cè)的問(wèn)題.基于深度特征的人臉活體檢測(cè)方法一般融合考慮了多方面的信息進(jìn)行活體人臉與假體人臉的分類(lèi),如顏色紋理、圖像質(zhì)量、背景邊框信息、時(shí)序變化信息等.針對(duì)深度學(xué)習(xí)技術(shù),數(shù)據(jù)和網(wǎng)絡(luò)模型訓(xùn)練至關(guān)重要,本節(jié)將從網(wǎng)絡(luò)輸入數(shù)據(jù)源和深度特征學(xué)習(xí)兩個(gè)方面來(lái)分析基于深度特征的人臉活體檢測(cè)方法.

1) 網(wǎng)絡(luò)輸入數(shù)據(jù)源

最初人們借鑒深度學(xué)習(xí)方法在其他領(lǐng)域的應(yīng)用方法,使用端到端的深度學(xué)習(xí)方法進(jìn)行活體人臉和假體人臉?lè)诸?lèi).文獻(xiàn)[79] 利用5 個(gè)卷積層、5 個(gè)池化層、3 個(gè)全連接層組成的卷積神經(jīng)網(wǎng)絡(luò)從包含不同尺度背景信息的可見(jiàn)光RGB 人臉圖像中抽取深度特征,并使用Softmax 進(jìn)行活體人臉和假體人臉的預(yù)測(cè).由于假體人臉的類(lèi)內(nèi)類(lèi)間差異大以及假體人臉的造價(jià)昂貴導(dǎo)致的人臉活體檢測(cè)數(shù)據(jù)集中個(gè)體數(shù)量少、數(shù)據(jù)總量少、數(shù)據(jù)間的多樣性不如常規(guī)的人臉識(shí)別數(shù)據(jù)集豐富的問(wèn)題,方法的識(shí)別準(zhǔn)確性和跨數(shù)據(jù)集通用性仍有待提高.

為了提取區(qū)分度更大的特征,研究者們對(duì)傳統(tǒng)的RGB 人臉圖像進(jìn)行各類(lèi)處理,使得要利用的特征更加明顯,之后再利用卷積神經(jīng)網(wǎng)絡(luò)抽取分類(lèi)特征[80-82].文獻(xiàn)[80] 將人臉圖像從RGB 顏色空間轉(zhuǎn)換成HSV,YCbCr 顏色空間并分割成小塊,利用端到端的卷積神經(jīng)網(wǎng)絡(luò)從分割的小塊圖像中抽取特征進(jìn)行分類(lèi).顏色空間轉(zhuǎn)換讓活體人臉和假體人臉的顏色紋理差異更明顯.小塊的分割一方面讓卷積神經(jīng)網(wǎng)絡(luò)更專(zhuān)注于局部塊的信息抽取,另一方面也從數(shù)據(jù)增強(qiáng)的角度提升了方法的性能.文獻(xiàn)[81] 將非線性擴(kuò)散[107]和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了結(jié)合.考慮到二維的假體人臉經(jīng)非線性擴(kuò)散后人臉五官的邊界會(huì)退化而活體人臉則會(huì)保留邊界信息,他們首先使用非線性擴(kuò)散處理活體人臉和假體人臉圖像,繼而利用卷積神經(jīng)網(wǎng)絡(luò)從擴(kuò)散后的圖中抽取深度特征.文獻(xiàn)[82] 采取類(lèi)似rPPG 的思路,以心臟跳動(dòng)會(huì)帶來(lái)活體面部顏色的變化為差異線索,為圖像中的每一個(gè)像素點(diǎn)進(jìn)行頻率分析,得到能夠表征生命信息的相對(duì)高低能量值,之后利用卷積神經(jīng)網(wǎng)絡(luò)從人臉圖像的這種能量表示圖抽取分類(lèi)特征進(jìn)行分類(lèi).除了對(duì)RGB 圖像進(jìn)行各類(lèi)處理,研究者們也綜合利用了其他硬件設(shè)備錄制的圖像.文獻(xiàn)[83] 利用卷積神經(jīng)網(wǎng)絡(luò)從常規(guī)的可見(jiàn)光人臉圖像以及Kinect 錄制的人臉深度圖中抽取特征用于活體人臉和假體人臉?lè)诸?lèi).深度圖中包含的人臉結(jié)構(gòu)信息對(duì)于三維活體人臉和二維假體人臉的高區(qū)分性有利于提升算法的準(zhǔn)確率與通用性.

2) 深度特征學(xué)習(xí)

深度學(xué)習(xí)的方法能否學(xué)習(xí)到有效而通用的特征很大程度上依賴數(shù)據(jù)量是否足夠大,數(shù)據(jù)多樣性是否豐富.人臉活體檢測(cè)的小數(shù)據(jù)集問(wèn)題導(dǎo)致基于深度學(xué)習(xí)的人臉活體檢測(cè)方法容易陷入過(guò)擬合的困境.很多研究者們利用在其他數(shù)據(jù)更豐富的數(shù)據(jù)集上預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型的思路來(lái)解決過(guò)擬合的問(wèn)題[84-87].文獻(xiàn)[84] 首先在ImageNet 上預(yù)訓(xùn)練ResNet50 模型[108],利用得到的模型從連續(xù)多幀人臉圖像中抽取空間深度特征,之后將抽取的特征送入長(zhǎng)短期記憶網(wǎng)絡(luò)(Long short-term memory,LSTM)[109]中抽取幀間的時(shí)序變化信息用于活體人臉和假體人臉的分類(lèi).LSTM 與卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN) 的結(jié)合綜合了雙方從連續(xù)多幀人臉圖像中抽取空間信息、時(shí)序信息的能力,利用預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)模型減少了人臉活體檢測(cè)數(shù)據(jù)集上過(guò)擬合的影響.文獻(xiàn)[87]在MSU-MFSD(Michigan State University mobile face spoofing database)[45]數(shù)據(jù)集上通過(guò)大量實(shí)驗(yàn)對(duì)比了Inception-v3、ResNet50,ResNet152 用于人臉活體檢測(cè)的性能.實(shí)驗(yàn)中考慮了模型的深度、微調(diào)預(yù)訓(xùn)練模型或者從頭訓(xùn)練、不同學(xué)習(xí)速率等方面的對(duì)比因素.

除了利用預(yù)訓(xùn)練的模型外,研究者們也從訓(xùn)練方法方面進(jìn)行了研究.文獻(xiàn)[75－83] 利用深度卷積神經(jīng)網(wǎng)絡(luò)抽取特征,之后利用SVM 進(jìn)行分類(lèi),在一定程度上可以降低過(guò)擬合的影響,提升算法性能.文獻(xiàn)[88] 針對(duì)人臉活體檢測(cè)數(shù)據(jù)集數(shù)據(jù)量少的問(wèn)題,提出了一種訓(xùn)練策略提高算法的通用能力.常規(guī)的深度學(xué)習(xí)模型訓(xùn)練方法是將訓(xùn)練集隨機(jī)化排序一次后劃分小批量數(shù)據(jù)集用于訓(xùn)練,文獻(xiàn)[88] 在模型的訓(xùn)練階段每一次迭代都從整個(gè)訓(xùn)練集中隨機(jī)地選取一個(gè)小批量數(shù)據(jù)用于訓(xùn)練,通過(guò)這種隨機(jī)的選取小批量訓(xùn)練數(shù)據(jù)的方法減少過(guò)擬合的影響.一般的基于深度學(xué)習(xí)的人臉活體檢測(cè)方法利用活體人臉和假體人臉的類(lèi)別為標(biāo)簽,文獻(xiàn)[89] 認(rèn)為簡(jiǎn)單的類(lèi)別標(biāo)簽包含的信息過(guò)于簡(jiǎn)單,研究者們利用活體人臉和假體人臉的深度信息圖以及rPPG 信號(hào)為指導(dǎo)標(biāo)簽訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)預(yù)測(cè).深度信息圖中蘊(yùn)含了三維活體人臉和二維假體人臉的結(jié)構(gòu)差異,rPPG 信號(hào)蘊(yùn)含了活體人臉與假體人臉的生命信息差異,兩種信息皆對(duì)活體人臉與假體人臉的區(qū)分度大.使用這兩種信息明確地作為指導(dǎo)信息,有利于提升方法的通用性.假體人臉的種類(lèi)多且類(lèi)間差異大,為了減少類(lèi)間差異對(duì)活體檢測(cè)算法性能的影響,文獻(xiàn)[90] 針對(duì)照片和視頻類(lèi)攻擊分別訓(xùn)練對(duì)應(yīng)類(lèi)別的ResNet50 分類(lèi)模型,然后利用堆棧泛化[110-111]的方法訓(xùn)練一個(gè)模型組合不同類(lèi)別假體人臉的分類(lèi)模型.單類(lèi)假體人臉?lè)诸?lèi)模型減少了不同假體人臉間的差異對(duì)分類(lèi)性能的影響,使模型專(zhuān)注于某一類(lèi)假體人臉的分類(lèi),有利于模型性能的提高.使用堆棧泛化組合模型一方面能夠進(jìn)一步提高分類(lèi)準(zhǔn)確率,另一方面也使得一個(gè)模型能夠處理多種假體人臉,提升模型的通用性.

針對(duì)目前人臉活體檢測(cè)算法跨數(shù)據(jù)集通用性不強(qiáng)的問(wèn)題,文獻(xiàn)[91] 引入領(lǐng)域自適應(yīng)的方法進(jìn)行活體人臉與假體人臉?lè)诸?lèi),提升深度模型的跨數(shù)據(jù)集通用性.文獻(xiàn)[92] 將貪婪深層字典學(xué)習(xí)用到了人臉活體檢測(cè).一般基于深度學(xué)習(xí)的方法利用二維的卷積神經(jīng)網(wǎng)絡(luò)抽取圖像層面的信息,并沒(méi)有利用到連續(xù)多幀人臉活體檢測(cè)圖像中的時(shí)序信息.文獻(xiàn)[93－94] 利用三維卷積神經(jīng)網(wǎng)絡(luò)[112]從連續(xù)多幀人臉圖像中抽取時(shí)空深度特征,相對(duì)于基于二維卷積神經(jīng)網(wǎng)絡(luò)的人臉活體檢測(cè)方法,增加了時(shí)間維度的差異信息,更有利于提高算法的識(shí)別性能與通用性.

很多研究者將深度學(xué)習(xí)的方法和手工設(shè)計(jì)特征的方法進(jìn)行了融合[85,95-97],以結(jié)合兩種方法的優(yōu)點(diǎn),減少過(guò)擬合的影響,提升算法性能.文獻(xiàn)[95] 將神經(jīng)網(wǎng)絡(luò)、Shearlet、光流法進(jìn)行了結(jié)合,設(shè)計(jì)了一個(gè)分層神經(jīng)網(wǎng)絡(luò),融合學(xué)習(xí)圖像質(zhì)量以及運(yùn)動(dòng)信息用于人臉活體檢測(cè).他們首先利用Shearlet 抽取圖像質(zhì)量方面的特征,利用光流法從裁剪后的人臉以及包含背景的人臉圖像中抽取光流幅度運(yùn)動(dòng)特征,然后將抽取的運(yùn)動(dòng)特征送入一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)中抽取分類(lèi)特征進(jìn)行分類(lèi).文獻(xiàn)[85] 將CNN 與LBP結(jié)合起來(lái),利用人臉活體檢測(cè)數(shù)據(jù)集微調(diào)預(yù)訓(xùn)練好的VGG-face 模型[113],之后從微調(diào)的VGG-face 模型抽取的卷積特征圖中抽取LBP 特征并送入SVM進(jìn)行活體人臉和假體人臉的預(yù)測(cè).文獻(xiàn)[96]將CNN與LBP-TOP (Local binary patterns from three orthogonal planes)[114]結(jié)合起來(lái),利用LBP-TOP從卷積特征圖中抽取時(shí)空特征,在減少過(guò)擬合情況的發(fā)生的同時(shí),為活體檢測(cè)算法增加了時(shí)間維度的分類(lèi)線索.文獻(xiàn)[97] 將CNN 與光流法進(jìn)行了結(jié)合,學(xué)習(xí)連續(xù)多幀人臉圖像中的動(dòng)態(tài)紋理信息.他們首先利用一個(gè)預(yù)訓(xùn)練的VGG (Visual geometry group) 網(wǎng)絡(luò)從每一幀圖像中抽取卷積特征圖,然后利用光流法計(jì)算每一個(gè)卷積特征圖的微運(yùn)動(dòng)特征,最后在通道可分辨性約束下,從所有卷積通道的微運(yùn)動(dòng)特征中提取深層卷積動(dòng)態(tài)紋理特征并送入SVM 進(jìn)行分類(lèi).文獻(xiàn)[98] 將微紋理描述符與SSD(Single shot multibox detector)[115]結(jié)合,首先在人臉檢測(cè)的過(guò)程中同時(shí)進(jìn)行活體人臉和假體人臉的分類(lèi),然后對(duì)于SSD 給出的預(yù)測(cè)結(jié)果置信度高的人臉圖像,取SSD 的預(yù)測(cè)結(jié)果,對(duì)于SSD 給出的預(yù)測(cè)結(jié)果置信度低的人臉圖像,利用設(shè)計(jì)的微紋理描述符抽取紋理特征并送入SVM 進(jìn)行分類(lèi),取得SVM的預(yù)測(cè)結(jié)果.利用深度學(xué)習(xí)方法與手工設(shè)計(jì)特征的方法組成的層級(jí)結(jié)構(gòu),融合了兩類(lèi)方法的判別能力提升活體人臉與假體人臉的識(shí)別性能.

總體來(lái)說(shuō),越來(lái)越多的研究者傾向于利用基于深度特征的人臉活體檢測(cè)方法去解決人臉活體檢測(cè)面臨的問(wèn)題.一些端到端的基于深度特征的方法相對(duì)于基于手工特征的方法實(shí)現(xiàn)起來(lái)更方便.基于深度特征的方法針對(duì)假體人臉個(gè)體以假亂真的高質(zhì)量、類(lèi)內(nèi)類(lèi)間差異、數(shù)據(jù)量少的問(wèn)題從網(wǎng)絡(luò)輸入數(shù)據(jù)源和深度特征學(xué)習(xí)等方面做了相關(guān)研究,抽取的深度特征相對(duì)來(lái)說(shuō)有效性和通用性較好,在公開(kāi)數(shù)據(jù)集上,目前基于深度特征方法也取得了最好的性能,但是其模型參數(shù)多、訓(xùn)練時(shí)間長(zhǎng)、計(jì)算量大,對(duì)數(shù)據(jù)量和數(shù)據(jù)豐富性上有較高要求.

2.2.6 混合特征類(lèi)方法

基于單一差異線索進(jìn)行活體人臉與假體人臉?lè)诸?lèi),可能會(huì)面臨識(shí)別準(zhǔn)確率以及算法通用性方面的瓶頸.為了提高人臉活體檢測(cè)方法的性能,人們提出了融合多個(gè)差異線索進(jìn)行人臉活體檢測(cè)的方法,也就是混合特征類(lèi)方法.常見(jiàn)的混合有紋理信息和運(yùn)動(dòng)生命信息的混合[17-19,25,85,93-94,97,99-101]、紋理信息和人臉結(jié)構(gòu)信息的混合[76,80,83,98,102]、人臉結(jié)構(gòu)信息與運(yùn)動(dòng)生命信息的混合[89]、圖像質(zhì)量與運(yùn)動(dòng)生命信息的混合[95]、背景信息[27]和其他特征的混合[79,81,84,87,93,98,100]等.照片、視頻類(lèi)假體人臉存在的邊框等背景信息能夠提供有效的分類(lèi)線索,經(jīng)常被融合利用到各類(lèi)方法中.

為了利用時(shí)序上的微運(yùn)動(dòng)生命特征差異,文獻(xiàn)[17－19] 利用LBP-TOP 從時(shí)空兩個(gè)維度抽取動(dòng)態(tài)紋理信息進(jìn)行活體人臉與假體人臉的分類(lèi).LBP主要抽取空間上的局部紋理信息,LBP-TOP 從時(shí)間維度擴(kuò)充了傳統(tǒng)的LBP,從而可以抽取時(shí)空兩方面的紋理信息.LBP-TOP 考慮了三個(gè)正交平面,即傳統(tǒng)LBP 處理的xy平面、圖像每一行沿時(shí)間軸形成的xt平面以及圖像每一列沿時(shí)間軸形成的yt平面.三個(gè)平面以中心點(diǎn)正交.xy平面記錄著空間紋理,xt平面、yt平面記錄著動(dòng)態(tài)紋理.計(jì)算每一個(gè)平面的LBP 特征,然后連接三個(gè)平面的LBP 特征形成LBP-TOP 特征.文獻(xiàn)[17－19]考慮了不同長(zhǎng)度的時(shí)間窗口,抽取LBP-TOP 動(dòng)態(tài)紋理信息,繼而利用以RBF 為內(nèi)核的SVM 進(jìn)行分類(lèi).類(lèi)似于LBP-TOP,研究者們也從時(shí)間維度擴(kuò)充了MLPQ (Multiscale local phase quantization) 為MLPQ-TOP,MLPQ (Multiscale local phase quantization) 為MBSIF-TOP,抽取動(dòng)態(tài)紋理進(jìn)行人臉活體檢測(cè)[25].文獻(xiàn)[99] 融合了深度神經(jīng)網(wǎng)絡(luò)抽取的深度紋理特征以及眨眼等運(yùn)動(dòng)生命信息.文獻(xiàn)[76] 利用BSIF 描述符從圖像全局以及眼睛等局部小塊抽取了紋理和人臉結(jié)構(gòu)造成的深度差異信息.

很多基于深度特征的人臉活體算法混合使用了多種分類(lèi)特征[80,83,85,89,93-95,97-98].文獻(xiàn)[98] 融合利用了顏色紋理信息、背景信息、人臉結(jié)構(gòu)信息進(jìn)行人臉活體檢測(cè).他們將人臉活體檢測(cè)與人臉檢測(cè)融合到一個(gè)步驟完成,利用上下文背景信息在給出人臉?biāo)谖恢玫木匦慰驎r(shí)也進(jìn)行活體人臉和假體人臉的判斷.他們還設(shè)計(jì)了兩個(gè)描述符:SPMT (Spatial pyramid coding micro-texture) 抽取微紋理方面特征,TFBD (Template face matched binocular depth) 抽取人臉結(jié)構(gòu)方面的特征.將SPMT 和SSD 結(jié)合起來(lái),對(duì)于SSD 預(yù)測(cè)結(jié)果置信度低的人臉圖像抽取SPMT 特征并利用SVM 進(jìn)行分類(lèi).除此之外,他們還將SPMT 與TFBD 結(jié)合起來(lái),綜合利用紋理與人臉結(jié)構(gòu)方面的差異.從文獻(xiàn)[98] 的實(shí)驗(yàn)結(jié)果可以看出,混合了各類(lèi)特征的人臉活體檢測(cè)算法有利于算法識(shí)別率的提升.

總的來(lái)說(shuō),混合特征類(lèi)方法可以綜合各類(lèi)特征的優(yōu)勢(shì),減少高質(zhì)量假體人臉以及假體人臉的類(lèi)內(nèi)類(lèi)間差異的影響,抽取高判別力的特征,提高算法的準(zhǔn)確率和通用性,但是正因?yàn)槠渚C合了多個(gè)不同的特征,算法實(shí)現(xiàn)和維護(hù)的成本增加,計(jì)算量也將增多,算法的處理時(shí)間相對(duì)會(huì)變長(zhǎng).

3 人臉活體檢測(cè)數(shù)據(jù)集

數(shù)據(jù)集中數(shù)據(jù)的總量、數(shù)據(jù)類(lèi)型的豐富程度、數(shù)據(jù)的采集設(shè)備、采集環(huán)境等都會(huì)影響人臉活體檢測(cè)方法的性能.隨著深度學(xué)習(xí)方法的發(fā)展,數(shù)據(jù)的重要性日益凸顯.對(duì)于人臉活體檢測(cè),相關(guān)研究者們利用的分類(lèi)特征多種多樣,使用的數(shù)據(jù)集也都有自身的特點(diǎn),從數(shù)據(jù)集的發(fā)展也能窺測(cè)出主流人臉活體檢測(cè)方法使用的特征、防范的攻擊類(lèi)型、影響算法性能因素的處理等方面的發(fā)展.鑒于數(shù)據(jù)的重要性以及人臉活體檢測(cè)數(shù)據(jù)集的多樣性,本節(jié)對(duì)人臉活體檢測(cè)方面的主流數(shù)據(jù)集分假體人臉類(lèi)型進(jìn)行闡述:照片視頻類(lèi)假體人臉活體檢測(cè)數(shù)據(jù)集、面具類(lèi)人臉活體檢測(cè)數(shù)據(jù)集.綜述的數(shù)據(jù)集大部分是公開(kāi)數(shù)據(jù)集,少部分是不公開(kāi)的數(shù)據(jù)集.在介紹不同的數(shù)據(jù)集時(shí),主要從數(shù)據(jù)集的特點(diǎn),數(shù)據(jù)集建設(shè)年份,數(shù)據(jù)集包含的活體人臉和假體人臉的個(gè)體數(shù),圖像大小,各類(lèi)別樣本數(shù)量,假體人臉類(lèi)型,錄制時(shí)考慮的光照、姿態(tài)、假體人臉材質(zhì)等方面的影響因素等方面進(jìn)行闡述,表2 對(duì)主流人臉活體檢測(cè)數(shù)據(jù)集進(jìn)行了總覽對(duì)比分析.

表2 主流人臉活體檢測(cè)數(shù)據(jù)集總覽Table 2 Brief overview of face anti-spoofing datasets

3.1 照片視頻類(lèi)人臉活體檢測(cè)數(shù)據(jù)集

3.1.1 可見(jiàn)光照片視頻類(lèi)人臉活體檢測(cè)數(shù)據(jù)集

NUAA[116]數(shù)據(jù)集是第一個(gè)面向?qū)W術(shù)界免費(fèi)公開(kāi)的人臉活體檢測(cè)數(shù)據(jù)集.NUAA 利用普通的網(wǎng)絡(luò)攝像頭在三個(gè)不同的環(huán)境下錄制了15 個(gè)個(gè)體的活體人臉與照片類(lèi)假體人臉的圖像.為了讓活體人臉與假體人臉更相似,錄制過(guò)程中要求活體人臉做到人臉正向面對(duì)攝像頭,保持自然表情,不出現(xiàn)眨眼、頭部微運(yùn)動(dòng)等情況.制作的假體人臉一共有三種:6.8 cm×10.2 cm 與8.9 cm×12.7 cm 兩種大小的照片紙上打印的彩色照片,普通A4 打印紙上打印的彩色照片.數(shù)據(jù)集錄制了正面平展照片,同時(shí)還對(duì)照片彎曲、沿水平軸旋轉(zhuǎn)、垂直軸旋轉(zhuǎn)等情況進(jìn)行了錄制.

Yale-Recaptured[33]數(shù)據(jù)集為L(zhǎng)CD 屏幕顯示的照片類(lèi)假體人臉?shù)浿屏艘慌喾N光照條件下的數(shù)據(jù).Yale Face Database B[14]包含了1 個(gè)錄制個(gè)體64 種不同光照條件下的活體人臉數(shù)據(jù).Yale-Recaptured 數(shù)據(jù)集利用三種LCD 顯示屏顯示Yale Face Database B 中1 個(gè)個(gè)體64 種光照條件下的640 張人臉照片.整個(gè)數(shù)據(jù)集從假體人臉光照差異方面考驗(yàn)算法的有效性和通用性.

Print-Attack[117]數(shù)據(jù)集是瑞士Idiap 研究中心發(fā)布的關(guān)于打印照片類(lèi)假體人臉的人臉活體檢測(cè)數(shù)據(jù)集.Idiap 研究中心在人臉活體檢測(cè)領(lǐng)域研究活躍,針對(duì)照片、視頻、面具等不同類(lèi)型的假體人臉發(fā)布了不同的數(shù)據(jù)集.Print-Attack 數(shù)據(jù)集在兩種不同的光照條件下分別錄制了手持照片、固定照片兩種不同照片攻擊模式的數(shù)據(jù),其中照片是打印在A4打印紙上的彩色照片.

CASIA-MFSD[34]數(shù)據(jù)集為活體人臉和照片、視頻類(lèi)假體人臉?shù)浿屏说?、中、高三種不同質(zhì)量的視頻數(shù)據(jù).假體人臉包括完整的彩色照片假體人臉,挖去顏色的彩色照片假體人臉以及視頻類(lèi)假體人臉.照片類(lèi)假體人臉在錄制的過(guò)程中也錄制了正面平展照片以及彎曲照片的情況.根據(jù)收集的數(shù)據(jù),CASIA-MFSD 從圖像成像質(zhì)量、假體人臉類(lèi)型方面設(shè)計(jì)了7 種不同的測(cè)試協(xié)議用于驗(yàn)證人臉活體檢測(cè)算法的性能.

Replay-Attack[16]數(shù)據(jù)集的錄制方式類(lèi)似于Print-Attack 數(shù)據(jù)集.相對(duì)于Print-Attack 數(shù)據(jù)集,假體人臉新增了iPhone 3GS 手機(jī)以及iPad 顯示的視頻類(lèi)假體人臉.

MSU-MFSD[45]數(shù)據(jù)集考慮了人臉活體檢測(cè)在移動(dòng)端的應(yīng)用場(chǎng)景,采用智能手機(jī)錄制活體人臉和假體人臉的圖像信息.采用佳能550D 單反相機(jī)以及iPhone 5S 后置攝像頭拍攝高像素照片和視頻作為假體人臉.視頻類(lèi)假體人臉采用了兩種像素進(jìn)行顯示,iPad Air 顯示的是2 048×1 536 像素的視頻,iPhone 5S 顯示的是1 136×640 像素的視頻.打印類(lèi)照片假體人臉以1 200×600 像素的分辨率打印在A3 紙上.相比于之前的數(shù)據(jù)集中的假體人臉,MSU-MFSD 的假體人臉質(zhì)量更高.

UVAD(Unicamp video-attack data set)[31]數(shù)據(jù)集采用了6 種不同的攝像頭拍攝人臉視頻用做假體人臉?shù)浿茢?shù)據(jù),之后利用7 種不同的設(shè)備顯示視頻假體人臉用于攻擊人臉識(shí)別系統(tǒng).UVAD 從制作視頻假體人臉的設(shè)備以及假體人臉的顯示設(shè)備方面豐富了人臉活體檢測(cè)數(shù)據(jù)集.

REPLAY-MOBILE[118]數(shù)據(jù)集同樣考慮到智能移動(dòng)設(shè)備如智能手機(jī)和平板電腦的發(fā)展,利用Nikon Coolpix P520 相機(jī)以及LG-g4 智能手機(jī)后置攝像頭拍攝高分辨率照片或者視頻作為假體人臉.考慮到人臉活體檢測(cè)在移動(dòng)端的應(yīng)用,數(shù)據(jù)集的錄制也采用IOS 和Android 智能移動(dòng)設(shè)備進(jìn)行數(shù)據(jù)錄制.假體人臉的顯示也盡量屏蔽鏡面反光的影響,采用了啞光電子顯示屏和紙張顯示視頻或者照片.為了驗(yàn)證方法的通用性,REPLAY-MOBILE 數(shù)據(jù)集錄制了5 種不同的光照條件下的數(shù)據(jù).

MSU-USSA[119]數(shù)據(jù)集也是一個(gè)模擬假體人臉攻擊智能手機(jī)中的人臉識(shí)別系統(tǒng)的數(shù)據(jù)集.MSUUSSA 的采集過(guò)程中考慮了背景環(huán)境、圖像質(zhì)量、圖像采集設(shè)備、個(gè)體方面的多樣性.MSU-USSA 從Weakly labeled face 數(shù)據(jù)集選取了100 個(gè)個(gè)體的圖像用于數(shù)據(jù)集的錄制,從個(gè)體、個(gè)體所在背景環(huán)境方面增加了人臉活體檢測(cè)數(shù)據(jù)集的多樣性.100 個(gè)活體人臉圖像來(lái)自于互聯(lián)網(wǎng),所以其拍攝設(shè)備多種多樣,從圖像采集設(shè)備方面豐富了數(shù)據(jù)集.假體人臉類(lèi)似于其他數(shù)據(jù)集,采用筆記本、平板電腦、智能手機(jī)、啞光照片紙顯示.MSU-USSA 利用Google Nexus 5 的前置攝像頭與后置攝像頭為假體人臉拍攝兩種不同分辨率的圖像,從圖形質(zhì)量、假體類(lèi)別、假體質(zhì)量方面豐富了數(shù)據(jù)集.

Oulu-NPU[120]數(shù)據(jù)集在3 個(gè)不同光照不同背景的場(chǎng)景下利用6 種移動(dòng)設(shè)備的前置攝像頭錄制了活體人臉和假體人臉的圖像信息.打印照片類(lèi)假體人臉由兩個(gè)不同的打印機(jī)彩色打印而成.視頻類(lèi)假體人臉由兩種不同的顯示設(shè)備顯示.Oulu-NPU 數(shù)據(jù)集錄制過(guò)程中考慮了更多的變化因素用于驗(yàn)證人臉活體檢測(cè)方法的有效性和通用性.

SiW[89]收集了165 個(gè)個(gè)體的活體人臉與假體人臉圖像信息.活體人臉在錄制的時(shí)候考慮了人臉與攝像頭的距離、姿態(tài)、表情、光照方面的變化.打印照片類(lèi)假體人臉考慮了高分辨率和低分辨率兩種照片.視頻類(lèi)假體人臉采用了平板電腦、蘋(píng)果手機(jī)、PC 機(jī)顯示器、三星手機(jī)四種不同的設(shè)備顯示.SiW 數(shù)據(jù)集在個(gè)體數(shù)以及活體人臉的變化方面增加了數(shù)據(jù)集的豐富性.

3.1.2 基于其他硬件的照片視頻類(lèi)人臉活體檢測(cè)數(shù)據(jù)集

GUC-LiFFAD[21]數(shù)據(jù)集是一個(gè)利用光場(chǎng)相機(jī)錄制了不同焦距的光場(chǎng)圖像的數(shù)據(jù)集,為利用光場(chǎng)圖像差異的人臉活體檢測(cè)算法提供數(shù)據(jù)支持.數(shù)據(jù)集利用噴墨打印機(jī)、激光打印機(jī)、第四代iPad 平板電腦制作了高質(zhì)量的打印照片與顯示的電子照片.數(shù)據(jù)集收集了80 個(gè)不同個(gè)體的活體人臉和假體人臉數(shù)據(jù),個(gè)體差異方面相對(duì)來(lái)說(shuō)更豐富.

Msspoof[121]數(shù)據(jù)集錄制了活體人臉和照片類(lèi)假體人臉的可見(jiàn)光與近紅外光譜圖像數(shù)據(jù).數(shù)據(jù)集使用的近紅外波段是800 nm.對(duì)于活體人臉,Msspoof 數(shù)據(jù)集在7 個(gè)不同的環(huán)境下錄制了5 張可見(jiàn)光與5 張近紅外光譜圖像.對(duì)于假體人臉,Msspoof 數(shù)據(jù)集從之前錄制的活體人臉的5 張可見(jiàn)光與5 張近紅外光譜圖像選取了看起來(lái)成像比較好的3 張可見(jiàn)光與3 張近紅外光譜圖像用于制造假體人臉.選取出來(lái)的6 張圖像均被打印成黑白照片.Msspoof 數(shù)據(jù)集分別為這6 張照片錄制了三種不同光照條件下的可見(jiàn)光與近紅外光譜圖像.

EMSPAD (Extended multispectral presentation attack face database)[122]數(shù)據(jù)集利用多光譜攝像頭錄制了425 nm,475 nm,525 nm,570 nm,625 nm,680 nm,930 nm 7 個(gè)波段的圖像.數(shù)據(jù)集錄制的過(guò)程中考慮了距離的影響,選取了1.52 m 的錄制對(duì)象與攝像頭間距,以便能夠收集高質(zhì)量的多光譜圖像.

3.2 面具類(lèi)人臉活體檢測(cè)數(shù)據(jù)集

3DMAD[37]是最早錄制的三維人臉面具類(lèi)假體人臉數(shù)據(jù)的人臉活體檢測(cè)數(shù)據(jù)集.數(shù)據(jù)集使用的面具是由ThatsMyFace.com 根據(jù)用戶的一張正面人臉圖像以及兩張側(cè)面人臉圖像定制的三維塑料面具.考慮到假體人臉與活體人臉三維結(jié)構(gòu)方面的差異,3DMAD 數(shù)據(jù)集不僅利用可見(jiàn)光攝像頭錄制了活體人臉與假體人臉的可見(jiàn)光圖像,還利用了微軟Kinect 深度攝像頭錄制活體人臉與假體人臉的深度圖像信息.

HKBU-MARsV2 (HKBU mask attack with real world variations dataset version 2)[123]數(shù)據(jù)集也是一個(gè)三維人臉面具類(lèi)假體人臉數(shù)據(jù)集.相比較于3DMAD,HKBU-MARsV2 在假體人臉質(zhì)量、錄制數(shù)據(jù)的攝像頭、外界光照條件等方面增加了數(shù)據(jù)多樣性.假體人臉?lè)矫?數(shù)據(jù)集選取了兩個(gè)公司的假體人臉:ThatsMyFace 制作的臉部表觀質(zhì)量稍低的三維面具以及Real-F 制作的臉部表觀質(zhì)量高的三維人臉面具.錄制數(shù)據(jù)的攝像頭方面,數(shù)據(jù)集考慮了傳統(tǒng)人臉識(shí)別系統(tǒng)以及智能移動(dòng)設(shè)備上人臉活體檢測(cè)的應(yīng)用,選取了3 種傳統(tǒng)攝像頭以及4 種移動(dòng)設(shè)備的攝像頭錄制活體人臉和假體人臉的數(shù)據(jù).光照方面,數(shù)據(jù)集設(shè)計(jì)了6 種不同的室內(nèi)光照環(huán)境用于數(shù)據(jù)錄制.

SMAD (Silicone mask attack)[92]數(shù)據(jù)集是一個(gè)為活體人臉以及三維硅膠人臉面具錄制了圖像信息的數(shù)據(jù)集.硅膠人臉面具能更好地與人臉的眼睛、鼻子、嘴巴部位貼合,戴起來(lái)看起來(lái)更加真實(shí).硅膠人臉面具更接近現(xiàn)實(shí)應(yīng)用中不法分子可能會(huì)使用的面具,從這個(gè)角度上看,SMAD 數(shù)據(jù)集更貼近現(xiàn)實(shí)情況.數(shù)據(jù)集在錄制的過(guò)程中也考慮了不同的外界光照、背景等外界影響條件.

MLFP(Multispectral latex mask based video face presentation attack)[124]數(shù)據(jù)集在可見(jiàn)光、近紅外、熱紅外光譜下錄制了多光譜的活體人臉和面具假體人臉數(shù)據(jù).面具假體人臉使用了挖去眼部區(qū)域的二維照片以及三維的乳膠人臉面具.錄制過(guò)程中選取了不同時(shí)段、室內(nèi)室外不同地方的多個(gè)場(chǎng)景錄制數(shù)據(jù),在外界環(huán)境方面豐富了數(shù)據(jù)集.

從表2 中可以看出,早期人們關(guān)注照片視頻類(lèi)假體人臉的處理,逐漸發(fā)展為也關(guān)注面具類(lèi)假體人臉的處理.早期人們關(guān)注PC 端人臉活體檢測(cè),逐漸發(fā)展為關(guān)注PC 端以及移動(dòng)端的人臉活體檢測(cè),利用網(wǎng)絡(luò)攝像頭以及移動(dòng)端多元化攝像頭捕獲人臉圖像.人臉識(shí)別、物體分類(lèi)等其他領(lǐng)域的大規(guī)模數(shù)據(jù)集多是從網(wǎng)絡(luò)上收集不同人、不同攝像頭、不同環(huán)境下拍攝的圖像,而目前人臉活體檢測(cè)的數(shù)據(jù)集都是約束狀態(tài)下人工錄制的,其數(shù)據(jù)集個(gè)體數(shù)、數(shù)據(jù)多樣性遠(yuǎn)遠(yuǎn)不及人臉識(shí)別、物體分類(lèi)等其他領(lǐng)域的數(shù)據(jù)集.

4 算法性能比較

4.1 性能評(píng)價(jià)指標(biāo)

人臉活體檢測(cè)算法的性能主要從單數(shù)據(jù)集測(cè)試以及跨數(shù)據(jù)集測(cè)試兩方面進(jìn)行衡量.單數(shù)據(jù)集測(cè)試是指訓(xùn)練集和測(cè)試集同屬于一個(gè)數(shù)據(jù)集時(shí)算法的性能.跨數(shù)據(jù)集測(cè)試是指訓(xùn)練集和測(cè)試集不是同一個(gè)數(shù)據(jù)集時(shí)算法的性能.人臉活體檢測(cè)算法的性能評(píng)價(jià)同時(shí)考慮活體人臉與假體人臉的識(shí)別率.常用的性能評(píng)價(jià)指標(biāo)主要有兩大類(lèi):一類(lèi)是錯(cuò)誤接受率(False acceptance rate,FAR)、錯(cuò)誤拒絕率(False rejection rate,FRR)、等錯(cuò)誤率(Equal error rate,EER) 以及半錯(cuò)誤率(Half total error rate,HTER) 指標(biāo)[16];另一類(lèi)是生物識(shí)別防假體攻擊方面的標(biāo)準(zhǔn)文件ISO/IEC 30107-3[125]提出的APCER (Attack presentation classification error rate)、BPCER (Bona fide presentation classification error rate)以及ACER(Average classification error rate) 指標(biāo).

錯(cuò)誤接受率(FAR) 指算法把假體人臉判斷成活體人臉的比率.錯(cuò)誤拒絕率(FRR) 指算法把活體人臉判斷成假體人臉的比率.FAR 與FRR 的定義如式(1) 和式(2) 所示,其中Ns2l表示假體人臉判斷為活體人臉的次數(shù),Ns表示假體人臉攻擊總次數(shù),Nl2s表示活體人臉判斷為假體人臉的次數(shù),Nl表示活體人臉檢測(cè)總次數(shù).不同的閾值可以得到不同的FRR 以及FAR 對(duì),分別以FRR、FAR 為橫軸與縱軸,即可繪制ROC (Receiver operating characteristic curve) 曲線.利用開(kāi)發(fā)集數(shù)據(jù)進(jìn)行測(cè)試得到的ROC 曲線上FRR 等于FAR 時(shí),FRR 與FAR 的均值即為等錯(cuò)誤率(EER).以開(kāi)發(fā)集上FRR 等于FAR 時(shí)的閾值為測(cè)試集上的閾值計(jì)算測(cè)試集FRR與FAR 的均值,即為半錯(cuò)誤率(HTER).

APCER (Attack presentation classification error rate) 指假體人臉?lè)诸?lèi)錯(cuò)誤率.BPCER (Bona fide presentation classification error rate) 指活體人臉?lè)诸?lèi)錯(cuò)誤率.ACER(Average classification error rate) 指平均分類(lèi)錯(cuò)誤率,其定義如式(3)～(5)所示.

其中,NPAI是某一類(lèi)別假體總的攻擊次數(shù).NBF是指活體人臉檢測(cè)次數(shù).若第i次檢測(cè)判斷為假體人臉則Resi置為1,若判斷為活體人臉則置為0.APCER 與BPCER 與第一類(lèi)評(píng)價(jià)指標(biāo)中的FAR與FRR 類(lèi)似,但是FAR 和FRR 把所有類(lèi)別的假體人臉混合在一起計(jì)算性能,APCERPAI是為每一種類(lèi)別的假體人臉計(jì)算APCER,如照片類(lèi)假體人臉、視頻類(lèi)假體人臉,最后活體檢測(cè)算法總的APCER是所有類(lèi)別假體人臉中最大的APCERPAI,也就是說(shuō)識(shí)別率最差的那類(lèi)假體人臉.EER 是指開(kāi)發(fā)集上APCER 與BPCER 相等時(shí)APCER 與BPCER的均值.ACER 是以等錯(cuò)誤率對(duì)應(yīng)的閾值為測(cè)試集的閾值計(jì)算的APCER 與BPCER 的均值.

單數(shù)據(jù)集的測(cè)試能夠在一定程度上反映算法的性能,但文獻(xiàn)[126] 通過(guò)實(shí)驗(yàn)驗(yàn)證了很多在單數(shù)據(jù)集上性能優(yōu)良的算法,在其他數(shù)據(jù)集上測(cè)試時(shí),性能會(huì)急劇下降,算法的通用性不強(qiáng).為了驗(yàn)證算法的通用性,研究者們提出了跨數(shù)據(jù)集測(cè)試的方法:以一個(gè)數(shù)據(jù)集的數(shù)據(jù)為訓(xùn)練集訓(xùn)練活體檢測(cè)算法模型,以另一個(gè)數(shù)據(jù)集的數(shù)據(jù)為測(cè)試集測(cè)試活體檢測(cè)算法模型的性能.目前大部分的跨數(shù)據(jù)集測(cè)試還都是集中在同類(lèi)別假體人臉跨數(shù)據(jù)集測(cè)試的形式,對(duì)于跨數(shù)據(jù)集、跨假體人臉類(lèi)別的測(cè)試還比較少.這也從側(cè)面反映出目前人臉活體檢測(cè)算法的通用性還有待提高.

4.2 主流算法性能比較

照片視頻類(lèi)數(shù)據(jù)集CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW 以及面具類(lèi)數(shù)據(jù)集3DMAD、SMAD、HKBU-MARsV2 是目前比較常用的基準(zhǔn)數(shù)據(jù)集.表3～8 以文獻(xiàn)發(fā)表的年份為順序總結(jié)了代表性的人臉活體檢測(cè)方法在CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW、3DMAD、SMAD、HKBU-MARsV2 上報(bào)道的單數(shù)據(jù)集以及跨數(shù)據(jù)集測(cè)試性能數(shù)據(jù).為了比較的公平性,表3～7 中總結(jié)的方法在每個(gè)數(shù)據(jù)集上使用的是相同的官方給出的評(píng)價(jià)協(xié)議.3DMAD、SMAD、HKBU-MARsV2 面具類(lèi)數(shù)據(jù)集中的個(gè)體數(shù)比較少,方法性能的評(píng)價(jià)通常采用交叉驗(yàn)證.

表3 CASIA-MFSD 與Replay-Attack 數(shù)據(jù)集單數(shù)據(jù)集測(cè)試性能數(shù)據(jù)(%)Table 3 The performance of intra-test on CASIA-MFSD and Replay-Attack datasets (%)

表4 Oulu 數(shù)據(jù)集單數(shù)據(jù)集測(cè)試性能數(shù)據(jù)(%)Table 4 The performance of intra-test on Oulu dataset (%)

表5 SiW 數(shù)據(jù)集單數(shù)據(jù)集測(cè)試性能數(shù)據(jù)(%)Table 5 The performance of intra-test on SiW dataset (%)

表6 3DMAD、SMAD 與HKBU-MARsV2 數(shù)據(jù)集單數(shù)據(jù)集測(cè)試性能數(shù)據(jù)(%)Table 6 The performance of intra-test on 3DMAD,SMAD and HKBU-MARsV2 datasets (%)

表7 CASIA-MFSD 與Replay-Attack 數(shù)據(jù)集間跨數(shù)據(jù)集測(cè)試性能數(shù)據(jù)HTER (%)Table 7 The performance of inter-test between CASIA-MFSD and Replay-Attack (%)

表8 3DMAD 與HKBU-MARsV2 數(shù)據(jù)集間跨數(shù)據(jù)集測(cè)試性能數(shù)據(jù)HTER (%)Table 8 The performance of inter-test between 3DMAD and HKBU-MARsV2 (%)

表6 中3DMAD 數(shù)據(jù)集上的不同方法在進(jìn)行交叉驗(yàn)證時(shí)訓(xùn)練集與測(cè)試集的數(shù)據(jù)比例稍有差異.表6中SMAD 與HKBU-MARsV2 數(shù)據(jù)集上的方法分別采用文獻(xiàn)[92] 和文獻(xiàn)[60] 中的測(cè)試協(xié)議.表8 中3DMAD 與HKBU-MARsV2 數(shù)據(jù)集間跨數(shù)據(jù)集測(cè)試采用文獻(xiàn)[60] 中的測(cè)試協(xié)議.從表3 中可以看出,許多方法在Replay-Attack 數(shù)據(jù)集上性能較好,但是在CASIA-MFSD 數(shù)據(jù)集上卻不能得到類(lèi)似Replay-Attack 數(shù)據(jù)集上的性能.CASIA-MFSD、Replay-Attack 的假體人臉類(lèi)別都是照片類(lèi)假體人臉和視頻類(lèi)假體人臉.這種性能差異也表明假體人臉類(lèi)內(nèi)差異大,對(duì)算法的性能有較大影響.隨著深度學(xué)習(xí)方法的應(yīng)用,同一種人臉活體檢測(cè)方法抽取的特征更加通用,兩個(gè)數(shù)據(jù)集間的性能差異逐漸減少.從表4 Oulu-NPU 數(shù)據(jù)集上的性能測(cè)試數(shù)據(jù)中可以看出,協(xié)議4 的指標(biāo)值明顯高于其他三個(gè)協(xié)議,這表明不同的數(shù)據(jù)集錄制設(shè)備造成的類(lèi)內(nèi)差異對(duì)于方法的性能影響較大.表7 和表8 列出的皆是同類(lèi)別假體人臉數(shù)據(jù)集間的跨數(shù)據(jù)集測(cè)試性能數(shù)據(jù),較高的半錯(cuò)誤率也告訴我們類(lèi)內(nèi)差異對(duì)人臉活體檢測(cè)方法性能有較大影響.人臉活體檢測(cè)方法的通用性仍有很大的提升空間.

圖5 針對(duì)表3 與表7 中人臉活體檢測(cè)方法的EER 或HTER 性能數(shù)據(jù)分類(lèi)別進(jìn)行了展示.從圖5中可以大致看出,目前常見(jiàn)的各類(lèi)方法的性能發(fā)展水平.相對(duì)于其他類(lèi)別的方法,基于紋理的方法、基于深度特征的方法、混合特征類(lèi)方法的研究相對(duì)較多.無(wú)論是單數(shù)據(jù)集測(cè)試還是跨數(shù)據(jù)集測(cè)試,基于深度特征的方法以及混合特征類(lèi)方法的性能是最好的.我們相信這兩類(lèi)方法的研究也將是未來(lái)的發(fā)展趨勢(shì).

圖5 各類(lèi)人臉活體檢測(cè)方法性能分布圖Fig.5 Performance comparison of different category of face anti-spoofing methods

5 未來(lái)可能的發(fā)展方向

人臉活體檢測(cè)方法的研究已經(jīng)取得了一系列的進(jìn)展,研究重心從交互式人臉活體檢測(cè)方法逐漸轉(zhuǎn)移到非交互式人臉活體檢測(cè)方法,從手工設(shè)計(jì)特征的方法逐漸轉(zhuǎn)移到基于深度學(xué)習(xí)的方法,從基于可見(jiàn)光圖像的方法也逐漸發(fā)展為基于多元化圖像的方法.從目前人臉活體檢測(cè)方法的不足以及人臉活體檢測(cè)業(yè)務(wù)的發(fā)展需要來(lái)看,人臉活體檢測(cè)研究未來(lái)可能的發(fā)展方向主要有以下幾個(gè)方面.

5.1 面具類(lèi)假體人臉的識(shí)別

照片、視頻類(lèi)假體人臉制作起來(lái)方便簡(jiǎn)單,也是最常見(jiàn)的假體人臉,目前大部分的活體檢測(cè)方法主要防范照片、視頻類(lèi)假體人臉的攻擊.而目前針對(duì)面具類(lèi)假體人臉的活體檢測(cè)方法研究還不是很多.三維人臉面具的制造工藝復(fù)雜、成本高,但是三維人臉面具相對(duì)于二維的照片、視頻類(lèi)假體人臉,無(wú)論從顏色紋理還是人臉結(jié)構(gòu)上都與活體人臉更為相似.常規(guī)的基于顏色紋理、圖像質(zhì)量、微運(yùn)動(dòng)、人臉結(jié)構(gòu)等方面分類(lèi)線索的方法處理面具類(lèi)假體人臉的時(shí)候,性能都會(huì)大打折扣.對(duì)于智能安防、通關(guān)安檢類(lèi)的公共場(chǎng)合,不法分子一般不會(huì)選擇使用照片、視頻攻擊人臉識(shí)別系統(tǒng),而是更傾向于使用面具進(jìn)行偽裝來(lái)攻擊人臉識(shí)別系統(tǒng).因此,研究如何有效地分辨活體人臉和面具類(lèi)假體人臉對(duì)于人臉活體檢測(cè)多場(chǎng)景的實(shí)際應(yīng)用具有重要意義.

5.2 通用性問(wèn)題研究

目前活體檢測(cè)方法抽取的特征泛化能力不強(qiáng),算法也不能很好地處理與訓(xùn)練數(shù)據(jù)不是同一個(gè)數(shù)據(jù)集的測(cè)試數(shù)據(jù),無(wú)論是訓(xùn)練集中見(jiàn)過(guò)的假體人臉類(lèi)別還是訓(xùn)練集中沒(méi)有見(jiàn)過(guò)的假體人臉類(lèi)別.究其原因是假體人臉的類(lèi)內(nèi)類(lèi)間差異大.不同的假體人臉制造工藝,不同的數(shù)據(jù)集錄制設(shè)備,不同的外界環(huán)境都會(huì)影響算法的性能.這些差異信息是人臉活體檢測(cè)應(yīng)用環(huán)境中確切存在的,也是人臉活體檢測(cè)算法實(shí)際應(yīng)用中無(wú)法回避的問(wèn)題.如何提取泛化能力強(qiáng)的特征,靈活應(yīng)對(duì)這些現(xiàn)實(shí)差異,提高活體檢測(cè)算法單類(lèi)別假體人臉的跨數(shù)據(jù)集通用性以及跨假體人臉類(lèi)別、跨數(shù)據(jù)集的通用性都是值得研究的問(wèn)題.

5.3 未見(jiàn)過(guò)假體人臉的自適應(yīng)處理

目前主流的人臉活體檢測(cè)算法都是觀察活體人臉和假體人臉的分類(lèi)線索,抽取分類(lèi)特征,之后利用分類(lèi)模型進(jìn)行活體人臉與假體人臉的分類(lèi).大部分方法只對(duì)訓(xùn)練數(shù)據(jù)中見(jiàn)過(guò)的假體人臉有效.對(duì)于訓(xùn)練數(shù)據(jù)中沒(méi)有見(jiàn)過(guò)的假體人臉,其性能則會(huì)下降.然而對(duì)于人類(lèi)來(lái)說(shuō),即使之前只見(jiàn)過(guò)照片類(lèi)假體人臉,第一次見(jiàn)到面具類(lèi)假體人臉的時(shí)候也可以判斷出面具類(lèi)假體人臉不是活體人臉.人類(lèi)大腦可能掌握了活體人臉的一些本質(zhì)屬性,對(duì)于未見(jiàn)過(guò)的假體人臉類(lèi)別能夠自適應(yīng)識(shí)別.人類(lèi)的智慧是無(wú)窮的,人臉活體檢測(cè)的研究者們難以完全預(yù)測(cè)他人即將制造出什么樣式的新的假體人臉.對(duì)于新出現(xiàn)的假體人臉,類(lèi)似于打補(bǔ)丁似的完善活體檢測(cè)方法則永遠(yuǎn)會(huì)慢人一步,給不法分子留下攻破人臉識(shí)別系統(tǒng)的機(jī)會(huì).研究類(lèi)似于人類(lèi)大腦,對(duì)于未見(jiàn)過(guò)的新型假體人臉快速自適應(yīng)識(shí)別的人臉活體檢測(cè)算法具有重要的價(jià)值.

5.4 更大更全面數(shù)據(jù)集的建立

從十元左右制造成本的照片紙打印的彩色照片到成本上萬(wàn)的定制人臉面具,各類(lèi)假體人臉的高成本使得人臉活體檢測(cè)的數(shù)據(jù)集基本都存在個(gè)體少、樣本少、數(shù)據(jù)的多樣性不夠豐富的問(wèn)題.目前大部分常見(jiàn)的活體檢測(cè)數(shù)據(jù)集要么是專(zhuān)門(mén)針對(duì)照片、視頻類(lèi)二維假體人臉的,要么是專(zhuān)門(mén)針對(duì)面具類(lèi)三維假體人臉.數(shù)據(jù)集中包含的假體類(lèi)別比較單一.計(jì)算機(jī)視覺(jué)領(lǐng)域的人臉識(shí)別、物體識(shí)別等子領(lǐng)域的數(shù)據(jù)集都遠(yuǎn)比人臉活體檢測(cè)的數(shù)據(jù)集數(shù)據(jù)量大、數(shù)據(jù)多樣性更豐富.隨著深度學(xué)習(xí)方法的發(fā)展,數(shù)據(jù)在算法研究中的地位越來(lái)越重要.數(shù)據(jù)量大、數(shù)據(jù)多樣性更豐富有利于基于深度學(xué)習(xí)的方法能夠抽取有效而通用的分類(lèi)特征.如何集結(jié)資源,以最少的成本建立一個(gè)數(shù)據(jù)量更大、個(gè)體數(shù)更多、假體人臉類(lèi)型更全面,影響算法性能的姿態(tài)、表情、光照、錄制設(shè)備等因素更多的數(shù)據(jù)集是值得思考和挑戰(zhàn)的問(wèn)題.

目前大部分的人臉活體檢測(cè)數(shù)據(jù)集都是約束狀態(tài)下,如正面人臉、自然表情錄制的,而非約束條件下人臉活體檢測(cè)研究需要的非約束狀態(tài)下的活體人臉和假體人臉數(shù)據(jù)集也急需建立.

5.5 適應(yīng)人臉活體檢測(cè)的深度學(xué)習(xí)方法研究

深度學(xué)習(xí)方法的使用讓人臉活體檢測(cè)算法的性能有了一定的提升,但是人臉活體檢測(cè)數(shù)據(jù)集的問(wèn)題導(dǎo)致深度學(xué)習(xí)方法在人臉活體檢測(cè)領(lǐng)域使用的過(guò)程中經(jīng)常會(huì)出現(xiàn)過(guò)擬合,抽取的特征通用性不夠強(qiáng)的問(wèn)題.目前人們提出了微調(diào)在其他大數(shù)據(jù)集上預(yù)訓(xùn)練的模型,設(shè)計(jì)特定的訓(xùn)練方法,深度特征與手工特征融合等方法來(lái)減少過(guò)擬合問(wèn)題的影響,提高基于深度學(xué)習(xí)方法的準(zhǔn)確率和通用性.根據(jù)現(xiàn)有的數(shù)據(jù)現(xiàn)狀,研究適合人臉活體檢測(cè)的深度學(xué)習(xí)方法是一個(gè)重要的研究方向.

5.6 非約束狀態(tài)下的人臉活體檢測(cè)研究

目前人臉活體檢測(cè)研究集中在約束狀態(tài)下的人臉活體檢測(cè).交互式人臉活體檢測(cè)方法要求用戶在指定距離內(nèi)按照提示完成指定交互動(dòng)作.目前主流的非交互式人臉活體檢測(cè)方法雖然不需要用戶交互,但是檢測(cè)的整個(gè)過(guò)程基本要求人臉是正面臉,臉部不出現(xiàn)表情變化、姿態(tài)變化,人臉在規(guī)定距離內(nèi)以便能夠采集到足夠好的待分析圖像.約束狀態(tài)下的人臉活體檢測(cè)只能在特定的業(yè)務(wù)場(chǎng)景中使用,比如手機(jī)解鎖、用戶登錄之類(lèi)的用戶能夠處于約束狀態(tài)的場(chǎng)景,應(yīng)用范圍窄,不能滿足視頻監(jiān)控人臉活體檢測(cè)之類(lèi)用戶處于自然狀態(tài)的應(yīng)用場(chǎng)景的需求.研究用戶處于自然狀態(tài),可能存在姿態(tài)變化、部分遮擋、光照變化等影響的情況下的有效人臉活體檢測(cè)方法具有非常重要的意義.有效而魯棒的非約束狀態(tài)下的人臉活體檢測(cè)方法更有利于人臉活體檢測(cè)方法大規(guī)模的實(shí)際應(yīng)用,提高人臉識(shí)別技術(shù)的安全性.

6 結(jié)論

人臉活體檢測(cè)在生物識(shí)別研究中具有重要的學(xué)術(shù)價(jià)值與實(shí)際應(yīng)用價(jià)值.目前人臉活體檢測(cè)的研究活躍,但同時(shí)也存在不少困難與挑戰(zhàn).本文從假體人臉的特性出發(fā),分析了目前人臉活體檢測(cè)的難點(diǎn),以人臉活體檢測(cè)算法利用的分類(lèi)特征為主線,詳細(xì)闡述了人臉活體檢測(cè)領(lǐng)域的主流算法,探討了各類(lèi)方法主要利用的特征、防范的假體人臉類(lèi)型、優(yōu)缺點(diǎn),就領(lǐng)域內(nèi)常用的各個(gè)數(shù)據(jù)集的特點(diǎn)、數(shù)據(jù)量、數(shù)據(jù)多樣性等方面進(jìn)行了對(duì)比分析,闡述了常用的算法性能評(píng)價(jià)指標(biāo)并總結(jié)分析了代表性人臉活體檢測(cè)方法在照片視頻類(lèi)數(shù)據(jù)集CASIAMFSD、Replay-Attack、Oulu-NPU、SiW 以及面具類(lèi)數(shù)據(jù)集3DMAD、SMAD、HKBU-MARsV2 上的性能數(shù)據(jù).以此為基礎(chǔ),本文對(duì)人臉活體檢測(cè)未來(lái)可能的研究方向進(jìn)行了分析與展望.我們相信人臉活體檢測(cè)所面臨的問(wèn)題必將能在理論上與實(shí)踐上得到更好的解決,人臉活體檢測(cè)的應(yīng)用也將推動(dòng)人臉識(shí)別技術(shù)、生物識(shí)別技術(shù)更廣泛、更深入的應(yīng)用.