鄧茜文，馮子亮，邱晨鵬

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

（*通信作者電子郵箱xiwen_deng_cc@163.com）

0 引言

目前，人臉識(shí)別技術(shù)已日趨成熟并得到廣泛的應(yīng)用［1］，但在無(wú)人值守的場(chǎng)合，人臉識(shí)別系統(tǒng)很容易受到人臉模型、人臉照片以及人皮面具等方式的攻擊，因此需要活體人臉檢測(cè)［2］?；谶\(yùn)動(dòng)信息的檢測(cè)方法是一種常用的活體人臉檢測(cè)方法，其原理是讓用戶完成轉(zhuǎn)頭、眨眼等動(dòng)作，通過(guò)對(duì)這些動(dòng)作的檢測(cè)來(lái)實(shí)現(xiàn)活體人臉檢測(cè)；但是該類(lèi)方法耗時(shí)較長(zhǎng)，且需要用戶配合，同時(shí)攻擊者也可以通過(guò)預(yù)設(shè)動(dòng)作進(jìn)行攻擊。

基于人臉三維信息的檢測(cè)方法是一種新型的活體人臉檢測(cè)方法［3-4］，通過(guò)計(jì)算人臉整體的三維信息來(lái)防止諸如人臉照片的攻擊；但不僅需要預(yù)先建模，識(shí)別時(shí)也需要重建三維人臉模型，實(shí)現(xiàn)時(shí)存在較多困難。

基于主動(dòng)式近紅外圖像的活體人臉檢測(cè)方法［5-6］，充分利用活體人臉的近紅外紋理特征，基本不受外界光照影響，可實(shí)現(xiàn)對(duì)電子屏或視頻人臉、普通人臉照片和人臉模型的檢測(cè)，但面對(duì)高質(zhì)量的經(jīng)特殊處理的人臉照片也會(huì)由于紋理差異減小而導(dǎo)致檢測(cè)失敗。

針對(duì)活體人臉檢測(cè)技術(shù)存在的問(wèn)題，本文提出了一種在無(wú)需用戶配合的場(chǎng)景下，采用近紅外與可見(jiàn)光雙目視覺(jué)技術(shù)的活體人臉檢測(cè)方法。其中，利用近紅外成像特性可以防止電子屏、視頻以及光滑照片人臉的攻擊；利用雙目視覺(jué)獲取的深度信息進(jìn)行特征點(diǎn)三維重建，利用檢測(cè)到的深度差異防止高質(zhì)量偽造圖的攻擊。相較于單純采用紅外特征和建立全臉三維模型的方法，本文方法具有簡(jiǎn)單、高效、魯棒性好的特點(diǎn)。

基于可見(jiàn)光的普通雙目技術(shù)發(fā)展已較為成熟，而增加了紅外信息后進(jìn)一步拓展了其在工業(yè)、軍事、空管［7］等領(lǐng)域的應(yīng)用前景。近些年可見(jiàn)光與近紅外結(jié)合的雙目視覺(jué)技術(shù)取得了快速發(fā)展。可見(jiàn)光成像包含豐富的顏色形狀等信息，能準(zhǔn)確測(cè)量和監(jiān)控目標(biāo)，但是在光線較弱或者煙霧等環(huán)境下，紅外波段的成像優(yōu)勢(shì)更突出［8］。將不同波段的互補(bǔ)性應(yīng)用于雙目視覺(jué)可對(duì)不同攻擊進(jìn)行抵御，也能實(shí)現(xiàn)不同環(huán)境下的三維重構(gòu)。

與普通雙目視覺(jué)相比，近紅外與可見(jiàn)光雙目視覺(jué)的異源匹配誤差可能較大，也是難點(diǎn)所在。本文提出一種根據(jù)人臉特征點(diǎn)的位置信息進(jìn)行異源匹配和校正的方法，雖然較粗略但簡(jiǎn)單有效地減小了誤差。文獻(xiàn)［6］的活體人臉檢測(cè)方法選用普通雙目視覺(jué)，算法與本文類(lèi)似，也是利用人臉特征點(diǎn)的深度信息進(jìn)行判斷；但是文獻(xiàn)［6］只選取了鼻尖點(diǎn)和鼻根點(diǎn)的深度距離判別真實(shí)人臉與偽造人臉照片。本文在此基礎(chǔ)上改進(jìn)為選取人臉68 個(gè)特征點(diǎn)進(jìn)行三維點(diǎn)云重建的方法，并且提出利用人臉特征點(diǎn)的深度信息變化強(qiáng)弱和各特征點(diǎn)的三維坐標(biāo)之間的相互關(guān)系這兩種提取特征方案，分別對(duì)真實(shí)和偽造人臉進(jìn)行判別，提高了檢測(cè)的準(zhǔn)確度，也增強(qiáng)了算法的魯棒性。

1 相關(guān)工作

1.1 近紅外與可見(jiàn)光雙目裝置

本文使用的雙目裝置由一個(gè)近紅外攝像頭、一個(gè)可見(jiàn)光攝像頭以及一個(gè)主動(dòng)近紅外發(fā)光模組組成。傳統(tǒng)的人臉識(shí)別技術(shù)大多針對(duì)可見(jiàn)光人臉圖像，可見(jiàn)光圖像是由物體反射自然光所形成的，對(duì)自然光照變化比較敏感，而紅外光圖像則較少受到自然光照變化的影響，也可用于人臉識(shí)別［9］。該方法因?yàn)榧t外光對(duì)表面光滑的物體如鏡面、油紙面的反射微弱，近紅外圖像幾無(wú)信息，無(wú)法檢測(cè)出人臉，可防止電子屏及視頻中的人臉的偽造攻擊。

1.2 人臉特征點(diǎn)檢測(cè)方法

人臉特征點(diǎn)檢測(cè)算法在人臉檢測(cè)中具有良好的應(yīng)用效果，改進(jìn)算法包括基于回歸分析的人臉特征點(diǎn)檢測(cè)方法［10］、基于分類(lèi)搜索窗口的人臉特征點(diǎn)檢測(cè)方法［11］等?；诨貧w分析方法中，Valstar等［12］采用支持向量機(jī)，對(duì)劃分后的圖像人臉輪廓以及五官的特征點(diǎn)位置進(jìn)行預(yù)測(cè)；Cao 等［13］使用人臉的整個(gè)區(qū)域，進(jìn)行級(jí)聯(lián)回歸預(yù)測(cè)?；诜诸?lèi)搜索窗口法方法中，將人臉區(qū)域劃分為不同的區(qū)域，輸入到分類(lèi)器中進(jìn)行訓(xùn)練，得到相應(yīng)的人臉區(qū)域的特征點(diǎn)模型，這些分類(lèi)器包括Adaboost［11］、支持向量機(jī)（Support Vector Machine，SVM）［14］等。其他研究也使用基于神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法，如文獻(xiàn)［15］用級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉圖像的特征點(diǎn)進(jìn)行預(yù)測(cè)。

本文的重點(diǎn)是活體人臉判斷，因此直接采用DLIB 庫(kù)進(jìn)行人臉特征點(diǎn)檢測(cè)，能夠?qū)崟r(shí)且準(zhǔn)確地根據(jù)人臉姿態(tài)和表情的變化檢測(cè)到人臉及其特征點(diǎn)。考慮到本文的活體人臉檢測(cè)是個(gè)典型的二分類(lèi)問(wèn)題，而SVM 對(duì)此有較為突出的優(yōu)點(diǎn)，它沒(méi)有局部最優(yōu)，對(duì)于非線性、高維度、少樣本的情況有著較好的效果［16］，因此選擇SVM作為活體人臉檢測(cè)分類(lèi)器。

2 本文方法

本文方法的總體思路是：通過(guò)對(duì)近紅外和可見(jiàn)光人臉圖像進(jìn)行特征點(diǎn)檢測(cè)和匹配，計(jì)算特征點(diǎn)的深度信息，進(jìn)行特征點(diǎn)三維重建，并基于深度信息構(gòu)造相應(yīng)的特征，用SVM 進(jìn)行分類(lèi)，其中特征點(diǎn)的匹配和校正以及特征提取最為關(guān)鍵。

具體實(shí)現(xiàn)過(guò)程為：首先，對(duì)近紅外和可見(jiàn)光相機(jī)進(jìn)行標(biāo)定，獲取相機(jī)的參數(shù)；然后，同步采集左右相機(jī)的圖像，通過(guò)立體校正使得兩幅圖像共面和行對(duì)準(zhǔn)；其次，對(duì)兩幅圖像進(jìn)行人臉特征點(diǎn)檢測(cè)、校正和匹配，通過(guò)雙目視覺(jué)計(jì)算獲得人臉特征點(diǎn)的深度信息并實(shí)現(xiàn)點(diǎn)云重建；最后，利用深度信息中的方差和距離進(jìn)行特征提取并建立深度樣本庫(kù)，使用SVM 方法進(jìn)行樣本分類(lèi)，進(jìn)而實(shí)現(xiàn)對(duì)活體人臉的判斷。

2.1 人臉特征點(diǎn)檢測(cè)

本文采用DLIB 庫(kù)對(duì)近紅外圖像和可見(jiàn)光圖像進(jìn)行人臉特征點(diǎn)檢測(cè)。圖1 為特征點(diǎn)檢測(cè)結(jié)果，圖中分別展示了DLIB檢測(cè)到的兩幅人臉圖像的68 個(gè)特征點(diǎn)，其中（a）為雙目裝置中左邊的紅外相機(jī)的成像，（b）為右邊的可見(jiàn)光相機(jī)的成像。

圖1 人臉特征點(diǎn)檢測(cè)結(jié)果Fig.1 Detection results of facial feature points

其中，近紅外圖像人臉檢測(cè)時(shí)可以防止電子屏人臉和視頻人臉的攻擊。圖2 展示了同一時(shí)刻下電子屏幕在雙目裝置中所呈現(xiàn)的近紅外圖像與可見(jiàn)光圖像。如圖2 所示，電子屏幕在近紅外攝像機(jī)下幾乎無(wú)法成像，從而無(wú)法檢測(cè)到人臉。因此可知，由于電子設(shè)備和表面光滑的照片在近紅外相機(jī)中成像效果差，若沒(méi)有檢測(cè)到近紅外圖像的人臉特征點(diǎn)，則可直接判定為非活體人臉，所以本方法能夠在人臉檢測(cè)開(kāi)始時(shí)就直接排除電子屏或視頻人臉，從而較容易地抵御此類(lèi)攻擊。

圖2 電子屏幕在雙目裝置下的視覺(jué)效果對(duì)比Fig.2 Comparison of visual effects of electronic screen in binocular device

2.2 人臉特征點(diǎn)校正和匹配

經(jīng)立體校正后，近紅外與可見(jiàn)光圖像已實(shí)現(xiàn)共面和行對(duì)準(zhǔn)，可以按照雙目視覺(jué)逐點(diǎn)匹配方法進(jìn)行匹配計(jì)算，但是直接匹配會(huì)出現(xiàn)兩個(gè)問(wèn)題：一是因?yàn)楫愒磮D像成像原理差異［17］造成匹配不正確而效果差；二是耗時(shí)過(guò)長(zhǎng)。

考慮到活體檢測(cè)中最重要的是檢測(cè)出人臉的立體特征，而人臉特征點(diǎn)作為通常人臉檢測(cè)的依據(jù)，如果能直接得到其深度方向的信息，則在活體檢測(cè)中比用全臉的深度方便很多。因此本文采用了一種簡(jiǎn)單的對(duì)特征點(diǎn)進(jìn)行匹配并校正的方法，來(lái)獲取特征點(diǎn)的深度信息。

觀察近紅外和可見(jiàn)光圖像的特征點(diǎn)信息發(fā)現(xiàn)，在68 個(gè)特征點(diǎn)中，人臉中部的點(diǎn)在兩幅圖像中是可以對(duì)應(yīng)的，而臉頰部分的點(diǎn)則可能不是一一對(duì)應(yīng)的。為了便于觀察，將兩幅圖像的人臉輪廓點(diǎn)重疊。以近紅外圖像為基準(zhǔn)，并以兩圖像鼻尖點(diǎn)對(duì)準(zhǔn)重合的方式，將可見(jiàn)光圖像的特征點(diǎn)標(biāo)記到近紅外圖像中，結(jié)果如圖3，其中形狀為圓形的點(diǎn)是近紅外人臉圖像的特征點(diǎn)，形狀為三角形的點(diǎn)是可見(jiàn)光人臉圖像的特征點(diǎn)?？梢钥闯霰羌恻c(diǎn)重合后，人臉的嘴巴、鼻子、眼睛、眉毛部分的輪廓特征點(diǎn)基本重合，而臉頰特征點(diǎn)位置存在一定差異。

圖3 人臉輪廓特征點(diǎn)疊加圖（鼻尖點(diǎn)重合）Fig.3 Figure of overlapping feature points of face contour（with nasal tip points coincided）

這種差異一方面是雙目視覺(jué)本身的差異造成的，另一方面是紅外圖像和可見(jiàn)光圖像特征點(diǎn)檢測(cè)過(guò)程造成的。其中，非臉頰部分的特征點(diǎn)遮擋少，可以簡(jiǎn)單認(rèn)為是立體匹配的點(diǎn)；而臉頰部分的特征點(diǎn)，因?yàn)檎趽醯脑?，不是一個(gè)物理點(diǎn)在兩個(gè)不同位置相機(jī)成像得到的，不是立體匹配的，必須進(jìn)行校正后才能視為匹配。從圖3 可看出，人臉兩側(cè)的特征點(diǎn)中，可見(jiàn)光圖像中的點(diǎn)（圖3中0 到8 號(hào)點(diǎn)）在左側(cè)偏外側(cè)，而近紅外圖像中的點(diǎn)（圖3中9到16號(hào)點(diǎn)）在右側(cè)也偏外側(cè)。

本文的校正策略是：以臉頰內(nèi)側(cè)的點(diǎn)為準(zhǔn)，將向外側(cè)偏移的點(diǎn)向內(nèi)靠攏。具體做法為：將圖3中左側(cè)編號(hào)0 到8 的三角形特征點(diǎn)向內(nèi)側(cè)移動(dòng)，右側(cè)9到16的圓形特征點(diǎn)向內(nèi)側(cè)移動(dòng)，偏移量為臉頰內(nèi)側(cè)點(diǎn)和外側(cè)點(diǎn)（0到16號(hào)）平均距離。

圖4 展示了校正的結(jié)果，校正之后兩幅圖像的68 個(gè)特征點(diǎn)可視為立體匹配。注意這種方式也是比較粗略的方式，目的是為了得到人臉特征點(diǎn)的近似深度。

圖4 圖3校正后的圖Fig.4 Corrected image from Fig.3

2.3 人臉特征點(diǎn)三維坐標(biāo)獲取

在對(duì)人臉輪廓特征點(diǎn)匹配的基礎(chǔ)上，根據(jù)雙目視覺(jué)三維測(cè)量原理得到每一個(gè)人臉輪廓特征點(diǎn)的三維深度信息和坐標(biāo)信息。通過(guò)對(duì)左右攝像機(jī)分別進(jìn)行單目標(biāo)定，左右攝像機(jī)立體標(biāo)定，以及立體校正，使得左右攝像機(jī)平面共面并且行對(duì)準(zhǔn)［18］，校正后的雙目立體坐標(biāo)系如圖5所示。

在圖5中，Ol與Or表示左右攝像機(jī)投影中心，Ol與Or之間的連線T為基線距離，P表示物體點(diǎn)，f表示焦距，xl與xr表示物體點(diǎn)P在左右攝像機(jī)圖像平面的投影點(diǎn)，即左圖像與右圖像中同一個(gè)特征點(diǎn)，兩者互為匹配點(diǎn)，分別表示左右攝像機(jī)圖像平面的光心，Z表示物體點(diǎn)P到基線T的距離。從圖5中，可以直接得到物體點(diǎn)P在左右攝像機(jī)的視差：

圖5 雙目立體坐標(biāo)系Fig.5 Binocular stereo coordinate system

圖6 直觀展示了兩攝像機(jī)平面的關(guān)系，以左攝像機(jī)坐標(biāo)系為基準(zhǔn)，右攝像機(jī)相當(dāng)于左攝像機(jī)平移一個(gè)基線距離T?？臻g物體點(diǎn)P在左圖像投影點(diǎn)的坐標(biāo)為Pleft(Xleft，Yleft)，在右圖像投影點(diǎn)的坐標(biāo)為Pright(Xright，Yright)。經(jīng)過(guò)立體校正后，可得到空間物體點(diǎn)P在左右圖像中的投影點(diǎn)的Y坐標(biāo)相同，再由幾何中的三角關(guān)系可得：

圖6 雙目成像原理圖Fig.6 Schematic diagram of binocular imaging principle

式（1）表示了空間物體點(diǎn)P在左右攝像機(jī)圖像中的視差，根據(jù)此視差值以及式（2），可獲得以左攝像機(jī)為基準(zhǔn)的坐標(biāo)系下真實(shí)場(chǎng)景中物體點(diǎn)P的三維坐標(biāo)：

2.4 人臉特征點(diǎn)三維特征提取方案

獲取人臉特征點(diǎn)三維信息后，需要構(gòu)造相應(yīng)的特征來(lái)實(shí)現(xiàn)對(duì)真實(shí)人臉與偽造人臉的檢測(cè)。本文的做法是從人臉特征點(diǎn)三維深度信息變化強(qiáng)弱出發(fā)，以鼻尖點(diǎn)為參照，分別提取深度值的方差以及空間特征點(diǎn)之間的距離值組成相應(yīng)的特征向量進(jìn)行SVM分類(lèi)。

2.4.1 方差特征提取方案

考慮到真實(shí)人臉圖像特征點(diǎn)在三維結(jié)構(gòu)上的信息要明顯好于以彎曲和扭曲照片的方式模仿真實(shí)人臉，本文考慮以獲得的人臉68 個(gè)特征點(diǎn)的深度信息作為初始的數(shù)據(jù)，根據(jù)人臉的整體分布以及五官的關(guān)系計(jì)算若干個(gè)特征點(diǎn)深度值的方差，并組成特征向量進(jìn)行SVM分類(lèi)。

方差是表現(xiàn)數(shù)據(jù)變化強(qiáng)弱的指標(biāo)，針對(duì)一組一維數(shù)據(jù)，當(dāng)數(shù)據(jù)之間大小變化劇烈，那么這組數(shù)據(jù)的方差就會(huì)相對(duì)較大，而當(dāng)數(shù)據(jù)之間大小基本相同，那么這組數(shù)據(jù)的方差就會(huì)相對(duì)較小。針對(duì)本文的人臉68 個(gè)特征點(diǎn)的深度值構(gòu)成的一維數(shù)據(jù)，由于真實(shí)人臉的深度值變化相較于偽造人臉的深度變化強(qiáng)，則前者的深度值的方差要明顯大于后者。

方差計(jì)算公式為：

式中：zi表示人臉每個(gè)特征點(diǎn)的深度值；M表示相應(yīng)的特征點(diǎn)深度值的均值；s2表示相應(yīng)的特征點(diǎn)深度值的方差。

圖7展示了在二維平面中人臉68個(gè)特征點(diǎn)的相對(duì)位置關(guān)系，考慮到彎曲照片的攻擊方式，本文將人臉的68 個(gè)特征點(diǎn)劃分為4 個(gè)部分：第1 部分為大矩形框內(nèi)的整個(gè)人臉，即全部68個(gè)特征點(diǎn)；第2部分為圖中小的矩形框內(nèi)的特征點(diǎn)，即為鼻子、嘴巴、兩只眼睛的特征點(diǎn)組合；第3 部分為圖中上方的橢圓內(nèi)的特征點(diǎn)；第4 部分為圖中下方的橢圓內(nèi)的特征點(diǎn)。這里用d1、d2、d3、d4依次表示上述的四個(gè)部分的特征點(diǎn)對(duì)應(yīng)的深度值構(gòu)成的一維數(shù)據(jù)，分別計(jì)算這四部分的一維數(shù)據(jù)的方差并分別記為s1、s2、s3、s4，本文用這四個(gè)方差組成四維向量，采用SVM分類(lèi)器對(duì)其進(jìn)行分類(lèi)。

圖7 按布局劃分的（68個(gè)）人臉特征點(diǎn)示意圖Fig.7 Figure of（68）facial feature points divided by layout

2.4.2 距離特征提取方案

另一方面，真實(shí)人臉的五官分布都存在一定的關(guān)系，盡管彎曲人臉照片的特征點(diǎn)的三維點(diǎn)云有一定的三維結(jié)構(gòu)，但是與真實(shí)人臉還是存在很大的差異。為了更容易辨別真實(shí)人臉與照片人臉，考慮以深度差異較大的人臉特征點(diǎn)為參照。由于鼻子是人臉區(qū)域中最突出的地方，于是選取鼻尖上的特征點(diǎn)作為參照點(diǎn)，從左右眼睛區(qū)域、左右眉毛區(qū)域、鼻梁區(qū)域（除去鼻尖的點(diǎn)）、左右兩側(cè)臉區(qū)域、嘴巴區(qū)域各選取特征點(diǎn)，分別計(jì)算點(diǎn)云中鼻尖上的特征點(diǎn)到其他的特征點(diǎn)的距離。

三維坐標(biāo)系中點(diǎn)與點(diǎn)之間距離計(jì)算公式為：

圖8 展示了本文在人臉的不同區(qū)域選取的人臉特征點(diǎn)，共計(jì)13 個(gè)特征點(diǎn)（不包含鼻尖位置的特征點(diǎn)），依次計(jì)算鼻尖特征點(diǎn)（圖8中31 顯示的位置）到其他13 個(gè)特征點(diǎn)在重建的點(diǎn)云中的距離記為d1，d2，…，d13，由這13 個(gè)距離值組成13 維特征向量，采用SVM分類(lèi)器對(duì)其進(jìn)行分類(lèi)。

圖8 按區(qū)域劃分的（68個(gè)）人臉特征點(diǎn)示意圖Fig.8 Figure of（68）facial feature points divided by region

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)為同一時(shí)刻拍攝的近紅外人臉圖像與可見(jiàn)光人臉圖像，由于沒(méi)有相應(yīng)的公開(kāi)數(shù)據(jù)集，本文采用自建的數(shù)據(jù)集，為了保證實(shí)驗(yàn)數(shù)據(jù)的可靠性、廣泛性等，在進(jìn)行數(shù)據(jù)集建設(shè)時(shí)，注重從多角度去構(gòu)建。對(duì)于真實(shí)人臉圖像，考慮人臉的姿態(tài)、表情、是否佩戴眼鏡以及相對(duì)雙目裝置的距離等；對(duì)于偽造人臉圖像，不僅要考慮到用平面的照片圖像，也要考慮攻擊者用彎曲照片的方式去仿造真實(shí)人臉的三維結(jié)構(gòu)。數(shù)據(jù)庫(kù)構(gòu)建源于20 個(gè)真實(shí)對(duì)象，采集每人不同姿態(tài)、表情、戴眼鏡、不戴眼鏡的同一時(shí)刻拍攝的近紅外與可見(jiàn)光圖像100 對(duì)，相對(duì)應(yīng)的20 個(gè)真實(shí)對(duì)象的偽造人臉照片，并采集不同方向和彎曲程度的偽造人臉圖像100對(duì)，共計(jì)4 000對(duì)圖像。

圖9 展示了部分的真實(shí)人臉圖像數(shù)據(jù)，其中包含了配戴眼鏡人臉圖像、未佩戴眼鏡的左右偏頭、仰頭、閉眼圖像以及這些情況的組合圖像。圖10 展示了部分的偽造人臉照片圖像，采用彎曲照片的方式模擬真實(shí)的人臉的三維結(jié)構(gòu)。照片彎曲的方式分為豎直方向與水平方向，并且在彎曲的程度上，對(duì)二維平面照片進(jìn)行逐漸的彎曲，并采集彎曲過(guò)程中不同彎曲程度的每幀圖像，用來(lái)保證數(shù)據(jù)的多樣性，最終組成偽造人臉攻擊數(shù)據(jù)庫(kù)。

圖9 部分真實(shí)人臉圖像Fig.9 Part real face images

圖10 部分偽造人臉圖像Fig.10 Part fake face images

3.2 實(shí)驗(yàn)設(shè)計(jì)

本文設(shè)計(jì)了兩組實(shí)驗(yàn)：第一組為人臉特征點(diǎn)三維點(diǎn)云重建實(shí)驗(yàn)；第二組為人臉特征點(diǎn)深度特征和分類(lèi)實(shí)驗(yàn)。

人臉特征點(diǎn)三維點(diǎn)云重建實(shí)驗(yàn)，通過(guò)觀察點(diǎn)云重建的視覺(jué)效果和特點(diǎn)，從定性分析的角度判別真?zhèn)稳四槨Ｔ趯?shí)驗(yàn)過(guò)程中，不僅僅考慮真實(shí)人臉與偽造照片的重建結(jié)果，也考慮攻擊者將人臉照片進(jìn)行不同方向以及不同程度彎曲來(lái)模仿真實(shí)人臉的三維結(jié)構(gòu)。

人臉特征點(diǎn)深度特征和分類(lèi)實(shí)驗(yàn)，按照2.4 節(jié)中提出的對(duì)人臉特征點(diǎn)三維點(diǎn)云的兩種評(píng)價(jià)方案，對(duì)提取的深度特征分別進(jìn)行SVM 訓(xùn)練分類(lèi)，從定量分析的角度判別真?zhèn)稳四?，根?jù)實(shí)驗(yàn)數(shù)據(jù)來(lái)驗(yàn)證該方法的有效性。定量分析時(shí)，采用準(zhǔn)確率（Accuracy，Acc），錯(cuò)誤接受率（False Acceptance Rate，F(xiàn)AR）即誤識(shí)率，錯(cuò)誤拒絕率（False Rejection Rate，F(xiàn)RR）即拒識(shí)率，作為評(píng)價(jià)本文方法的評(píng)價(jià)指標(biāo)。

3.3 結(jié)果分析

3.3.1 三維特征點(diǎn)點(diǎn)云重建

近紅外圖像（左）與可見(jiàn)光圖像（右）的人臉68 個(gè)特征點(diǎn)的三維重建結(jié)果如下所示。其中圖11 為真實(shí)人臉圖像及其特征點(diǎn)三維點(diǎn)云重建結(jié)果，圖12 為人臉照片及其特征點(diǎn)三維點(diǎn)云重建結(jié)果。

圖11 真實(shí)人臉圖像及其三維點(diǎn)云重建結(jié)果Fig.11 Real face images and their 3D point cloud reconstruction results

圖12 偽造人臉（照片）及其三維點(diǎn)云重建結(jié)果Fig.12 Fake face images（photos）and their 3D point cloud reconstruction results

圖11（c）～（f）和圖12（c）～（f）分別從不同角度展示了重建的真實(shí)人臉與照片人臉的三維結(jié)構(gòu)，即人臉三維點(diǎn)云的垂直側(cè)面、30°側(cè)面、60°側(cè)面以及正面。從圖11（c）～（f）中可以看出真實(shí)人臉輪廓特征點(diǎn)在垂直側(cè)面具有三維深度信息，而圖12（c）～（f）表現(xiàn)出照片人臉輪廓特征點(diǎn)的重建結(jié)果接近于平面。

由于人臉照片攻擊形式的多樣性，在真實(shí)情況中不僅需要考慮二維平面的人臉照片，還需要考慮攻擊者用彎曲照片的方式進(jìn)行攻擊，因?yàn)閺澢娜四樥掌材軌蛑亟ǔ鼍哂腥S深度信息的結(jié)果。彎曲的方式一般分為兩種：一種是豎直彎曲，另一種是水平彎曲，具體的效果如圖13所示。

本文對(duì)不同彎曲情況的照片進(jìn)行了人臉68 個(gè)輪廓點(diǎn)的三維結(jié)構(gòu)重建，結(jié)果如圖14所示。

將圖14 與圖11（c）～（f）比較發(fā)現(xiàn)：真實(shí)人臉的三維點(diǎn)云與彎曲的照片人臉的三維點(diǎn)云之間存在較大的差別。雖然彎曲照片的人臉的三維點(diǎn)云存在一定的三維結(jié)構(gòu)，但是只是存在于人臉的局部區(qū)域，這些區(qū)域集中在人臉周?chē)妮喞校@些結(jié)果的深度變化與真實(shí)人臉的點(diǎn)云的深度變化相比較弱，并且對(duì)于鼻子區(qū)域來(lái)說(shuō)，由于其位置的特殊性，彎曲照片人臉特征點(diǎn)的三維點(diǎn)云在此區(qū)域并不會(huì)有明顯的深度信息變化。

通過(guò)觀察分析特征點(diǎn)三維點(diǎn)云重建實(shí)驗(yàn)的視覺(jué)效果及其特點(diǎn)，在一定程度上可以辨別真實(shí)人臉和偽造人臉。但是從重建的結(jié)果中可以發(fā)現(xiàn)，照片人臉的三維點(diǎn)云并不是完全沒(méi)有三維結(jié)構(gòu)，尤其是具有一定彎曲程度的照片，直接通過(guò)點(diǎn)云重建結(jié)果來(lái)分辨的話會(huì)造成誤判且判斷結(jié)果具有主觀性。所以還需要對(duì)三維點(diǎn)云進(jìn)行客觀定量的分析，通過(guò)提取的深度特征對(duì)真實(shí)人臉和偽造人臉加以判別。

圖13 偽造人臉圖像（照片彎曲）Fig.13 Fake face images（curved photo）

圖14 偽造人臉圖像（照片彎曲）三維點(diǎn)云重建結(jié)果Fig.14 3D point cloud reconstruction results of fake face images（curved photo）

3.3.2 三維點(diǎn)云深度特征提取和分類(lèi)

考慮到實(shí)驗(yàn)數(shù)據(jù)規(guī)模有限，而SVM 對(duì)于小樣本數(shù)據(jù)有較好的效果，并且有較快的計(jì)算速度，因此選擇其作為本實(shí)驗(yàn)人臉特征分類(lèi)器。在人臉圖像數(shù)據(jù)庫(kù)方面，本文采集了20 個(gè)對(duì)象的100對(duì)真實(shí)人臉圖像，以及相應(yīng)對(duì)象的100對(duì)偽造照片圖像，在實(shí)現(xiàn)人臉特征點(diǎn)的三維點(diǎn)云重建后建立點(diǎn)云樣本庫(kù)。選取15 個(gè)對(duì)象的三維點(diǎn)云作為訓(xùn)練樣本集，剩余的5 個(gè)對(duì)象的三維點(diǎn)云作為測(cè)試樣本集。為了保證結(jié)果的精確性，實(shí)驗(yàn)根據(jù)人臉照片是否彎曲對(duì)照片樣本作劃分，并分別進(jìn)行訓(xùn)練與測(cè)試。

在SVM 分類(lèi)時(shí)需要選擇核函數(shù)，SVM 提供了多種核函數(shù)，不同的核函數(shù)具有不同的預(yù)測(cè)特性。在使用交叉驗(yàn)證的方法去測(cè)試不同的核函數(shù)對(duì)初始數(shù)據(jù)的預(yù)測(cè)結(jié)果后，本文選用速度較快且性能好的高斯核函數(shù)，并將核寬設(shè)置為1。使用SVM 分類(lèi)時(shí)，首先獲取人臉特征點(diǎn)三維數(shù)據(jù)，然后用方差和距離信息兩種方案進(jìn)行三維特征提取，并建立三維特征樣本庫(kù)，其中包括方差特征構(gòu)造的4 維特征向量和距離特征構(gòu)成的13 維特征向量（詳見(jiàn)2.4 節(jié)三維特征提取方案），最后將深度特征進(jìn)行訓(xùn)練并實(shí)現(xiàn)分類(lèi)，總體流程如圖15所示。

1）方差特征實(shí)驗(yàn)。

按照本文2.4.1節(jié)中的三維特征提取方案將人臉68個(gè)特征點(diǎn)劃分為4 個(gè)區(qū)域，計(jì)算相應(yīng)的區(qū)域的特征點(diǎn)的深度信息的方差組成4維特征向量，采用SVM 進(jìn)行訓(xùn)練分類(lèi)，用測(cè)試樣本進(jìn)行測(cè)試。

圖15 分類(lèi)流程Fig.15 Flowchart of classification

實(shí)驗(yàn)結(jié)果如表1 所示，從表1中可以看出，在使用測(cè)試樣本進(jìn)行測(cè)試時(shí)，本文將彎曲照片與平整照片的樣本分別進(jìn)行了測(cè)試。對(duì)于平整照片的樣本集，此方法完全能夠抵御偽造人臉照片的攻擊。而對(duì)于彎曲照片樣本集，會(huì)出現(xiàn)真實(shí)人臉與偽造人臉相互誤判的情況。對(duì)比樣本集發(fā)現(xiàn)，對(duì)于真實(shí)人臉，當(dāng)距離裝置較遠(yuǎn)且面部側(cè)向程度較大時(shí)，導(dǎo)致相應(yīng)的人臉特征點(diǎn)的三維點(diǎn)云重建結(jié)果誤差較大。對(duì)于偽造照片人臉，在圖像能夠檢測(cè)出人臉的基礎(chǔ)上，照片的彎曲程度過(guò)大，使得人臉的特征點(diǎn)檢測(cè)出現(xiàn)較大的誤差，進(jìn)而導(dǎo)致重建出的人臉特征點(diǎn)的三維點(diǎn)云的深度信息變化劇烈而被誤檢。

表1 方差特征檢測(cè)實(shí)驗(yàn)結(jié)果 單位：%Tab.1 Experimental results of variance feature detection unit：%

2）距離特征實(shí)驗(yàn)。

按照本文2.4.2 節(jié)中的三維特征提取方案選取圖8中橢圓標(biāo)記的14 個(gè)特征點(diǎn)，以鼻尖點(diǎn)為參照，在三維坐標(biāo)系下，計(jì)算鼻尖點(diǎn)距離其他13個(gè)特征點(diǎn)的距離，以此組成13個(gè)距離特征向量，采用SVM進(jìn)行訓(xùn)練分類(lèi)，用測(cè)試樣本進(jìn)行測(cè)試。

同樣，本文根據(jù)是否彎曲將樣本中照片進(jìn)行了分類(lèi)并分別進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果如表2 所示：對(duì)于平整照片的樣本集，此方法完全能夠抵御偽造人臉照片的攻擊；對(duì)于彎曲照片的樣本集，則會(huì)出現(xiàn)兩者相互誤判的情況。與方差特征實(shí)驗(yàn)相比，此方案的準(zhǔn)確率要略低，其原因在于：此方案是以鼻尖的特征點(diǎn)為參照計(jì)算鼻尖特征點(diǎn)與其他特征點(diǎn)的三維距離，因?yàn)閷?duì)鼻尖特征點(diǎn)的檢測(cè)的準(zhǔn)確性要求較高，而當(dāng)人臉的姿態(tài)出現(xiàn)較大范圍的變化時(shí)，人臉鼻尖的特征點(diǎn)檢測(cè)的精確程度會(huì)有所下降，從而導(dǎo)致誤檢情況的出現(xiàn)。雖然此方案的精確度低于方差特征提取方案，但從整體的精確度來(lái)來(lái)看，依然能夠抵御絕大部分的偽造人臉攻擊形式。

表2 點(diǎn)云距離特征檢測(cè)實(shí)驗(yàn)結(jié)果 單位：%Tab.2 Experimental results of point cloud distance feature detection unit：%

文獻(xiàn)［6］采用兩個(gè)可見(jiàn)光攝像機(jī)組成的雙目系統(tǒng)，同樣根據(jù)人臉特征點(diǎn)的深度信息進(jìn)行活體人臉判斷，但是其方法只利用了鼻尖和鼻根兩個(gè)點(diǎn)，而本文在此基礎(chǔ)上改為利用人臉68 個(gè)特征點(diǎn)的深度信息進(jìn)行判斷。本文方法中的方差特征提取方案的實(shí)驗(yàn)結(jié)果與文獻(xiàn)［6］方法的實(shí)驗(yàn)結(jié)果的比較如表3所示。從表3中可以看出，在同樣使用單幀的近紅外圖像與可見(jiàn)光圖像情況下，本文采用深度值方差的方法準(zhǔn)確率更高，且準(zhǔn)確率基本達(dá)到其采用連續(xù)的10 幀圖像程度。分析其原因在于：文獻(xiàn)［6］采用單幀的圖像進(jìn)行鼻尖點(diǎn)與鼻根點(diǎn)的距離差值計(jì)算時(shí)，對(duì)鼻尖點(diǎn)的準(zhǔn)確性要求很高，當(dāng)真實(shí)人臉的面部側(cè)向程度比較大時(shí)，鼻尖點(diǎn)的與鼻根點(diǎn)的檢測(cè)就會(huì)出現(xiàn)較大的誤差，從而導(dǎo)致兩點(diǎn)深度的距離值誤差較大，又由于其方法僅僅依賴人臉特征點(diǎn)中的鼻尖與鼻根兩個(gè)點(diǎn)，局限性較大，致使結(jié)果的準(zhǔn)確性不夠高，而本文方法以鼻尖點(diǎn)為參照，利用了人臉68 個(gè)特征點(diǎn)，并從人臉的整體性進(jìn)行考慮，因此本文方法的準(zhǔn)確性更高，且具有較好的魯棒性。

表3 不同方法的準(zhǔn)確率對(duì)比 單位：%Tab.3 Accuracy comparison of different methods unit：%

為了驗(yàn)證算法的有效性，本文利用所提算法設(shè)計(jì)了活體人臉檢測(cè)系統(tǒng)，在實(shí)驗(yàn)室的真實(shí)場(chǎng)景下對(duì)活體檢測(cè)系統(tǒng)進(jìn)行測(cè)試，測(cè)試過(guò)程中，要求每個(gè)對(duì)象進(jìn)行偏頭、仰頭、低頭以及表情變化等動(dòng)作；對(duì)于偽造人臉照片，則進(jìn)行平放、不同方向和不同程度的彎曲。實(shí)驗(yàn)的總體結(jié)果表明，本系統(tǒng)能夠有效地抵御偽造人臉對(duì)活體檢測(cè)系統(tǒng)的攻擊。

4 結(jié)語(yǔ)

考慮到人臉在紅外條件下的成像特性以及雙目視覺(jué)系統(tǒng)的優(yōu)點(diǎn)，提出一種基于近紅外和可見(jiàn)光雙目系統(tǒng)的活體人臉檢測(cè)方法，旨在解決無(wú)需用戶配合場(chǎng)景下的活體人臉檢測(cè)易受光照影響和偽造攻擊的問(wèn)題。用本文所提方法對(duì)近紅外和可見(jiàn)光人臉圖像進(jìn)行異源匹配，提取特征點(diǎn)的深度信息并進(jìn)行點(diǎn)云重建，按本文提出的方差和距離兩種深度特征方案對(duì)真?zhèn)稳四樳M(jìn)行判別。實(shí)驗(yàn)結(jié)果表明本文方法的準(zhǔn)確率較高，且相較于同樣利用人臉特征點(diǎn)深度信息進(jìn)行檢測(cè)的對(duì)比算法，本文算法具有更好的魯棒性和準(zhǔn)確性?？偟膩?lái)說(shuō)，本文所提方法能夠?qū)崿F(xiàn)對(duì)活體人臉檢測(cè)和偽造攻擊防御。進(jìn)一步的研究方向是思考如何更好地融合近紅外與可見(jiàn)光的特征，實(shí)現(xiàn)更好的異源匹配方法，并且利用深度學(xué)習(xí)的方法進(jìn)行特征提取與分類(lèi)，以及實(shí)現(xiàn)算法在智能監(jiān)控上的應(yīng)用。