孔超

（貴州師范大學(xué)，貴陽550000）

0 引言

隨著網(wǎng)絡(luò)的不斷發(fā)展，獲取人臉圖像的難度大大降低，因此人臉識(shí)別系統(tǒng)容易受到各種演示攻擊[1]，例如照片、視頻回放或3D 面具。準(zhǔn)確判別捕獲的人臉是真實(shí)人臉還是虛假人臉是人臉識(shí)別系統(tǒng)廣泛應(yīng)用的重要前提。而人臉反欺騙可應(yīng)用于演示攻擊以檢測捕獲的人臉的真實(shí)性是人臉識(shí)別系統(tǒng)的重要安全保障。

以往的人臉反欺騙方法，大多選擇使用人工設(shè)計(jì)的特征，如LBP[1]、HoG、SIFT、SURF 和DoG 來刻畫真實(shí)人臉和欺騙人臉的不同特征分布，然后使用分類器（如SVM）來區(qū)分真實(shí)人臉和虛假人臉。Chingovska 等人從人臉圖像的灰度圖中提取局部二值模式（LBP）特征來捕獲真實(shí)人臉和虛假人臉之間細(xì)微的差別，并通過支持向量機(jī)（SVM）來區(qū)分真實(shí)和虛假人臉。傳統(tǒng)的人臉反欺騙方法可以在受限環(huán)境（如特定光線、靜態(tài)條件等）中取得很好的效果，但在無約束條件下性能會(huì)大幅度下降。

最近，基于卷積神經(jīng)網(wǎng)絡(luò)CNN 的方法開始應(yīng)用在人臉呈現(xiàn)攻擊檢測（PAD）領(lǐng)域中。把人臉攻擊檢測當(dāng)作一個(gè)分類問題，將CNN 用作特征提取器，提取鑒別性特征來區(qū)分真實(shí)和虛假人臉。Liu 等人設(shè)計(jì)了一種新穎的網(wǎng)絡(luò)結(jié)構(gòu)，以利用深度圖和rPPG 信號(hào)作為監(jiān)督，目的是提高模型的泛化能力。Feng 等人提出使用多個(gè)線索作為CNN 的輸入進(jìn)行真實(shí)/虛假人臉分類。所有這些方法都證明了通過自動(dòng)提取訓(xùn)練數(shù)據(jù)中的有用特征，神經(jīng)網(wǎng)絡(luò)可以非常有效地用于人臉反欺騙。然而，對于不同模態(tài)數(shù)據(jù)的融合，現(xiàn)有的處理方法主要是多模態(tài)特征簡單的拼接，沒有充分利用不同模態(tài)間互補(bǔ)信息。

圖1 提出的多模態(tài)人臉反欺騙方法的網(wǎng)絡(luò)結(jié)構(gòu)。將RGB、深度、紅外人臉圖像塊同時(shí)送入網(wǎng)絡(luò)，并利用自注意力模塊在多模態(tài)特征中選擇對人臉反欺騙具有更多貢獻(xiàn)的公共空間區(qū)域，最后利用卷積神經(jīng)網(wǎng)絡(luò)融合三種模態(tài)的特征進(jìn)行分類。

針對上述問題，本文提出了一種基于自注意力網(wǎng)絡(luò)的多模態(tài)特征融合模型。如圖1 所示，首先將從不同模態(tài)的圖像塊中提取的特征通過通道注意力網(wǎng)絡(luò)選擇有效通道特征后進(jìn)行拼接，并利用自注意力網(wǎng)絡(luò)在拼接后的多模態(tài)特征中選擇對人臉反欺騙具有更多貢獻(xiàn)的公共空間區(qū)域，最后用卷積神經(jīng)網(wǎng)絡(luò)融合三種模態(tài)的特征進(jìn)行分類。

圖1

1 多模態(tài)特征提取

1.1 整體框架

如圖1 所示，對于輸入數(shù)據(jù)，從不同模態(tài)的完整圖像中隨機(jī)選取圖像塊。對于特征提取，我們采用ResNet-18 分類網(wǎng)絡(luò)，其中包括五個(gè)卷積層和殘差層組成的塊（即res1、res2、res3、res4、res5），一個(gè)最大池化層和一個(gè)完全連接層。

1.2 通道注意力網(wǎng)絡(luò)

這三種模態(tài)的數(shù)據(jù)針對不同類型攻擊是相輔相成的：RGB 數(shù)據(jù)有豐富的外觀細(xì)節(jié)，深度數(shù)據(jù)對圖像平面和相應(yīng)面部之間的距離很敏感，紅外數(shù)據(jù)能測量從面部輻射的熱量。根據(jù)通道注意力網(wǎng)絡(luò)，我們提出多模態(tài)特征提取網(wǎng)絡(luò)來提取多模態(tài)的特征。如圖2 所示，首先計(jì)算每個(gè)模態(tài)特征中不同通道的權(quán)重，然后對輸入特征重新加權(quán)，最后將這些重新加權(quán)的特征拼接在一起。與直接拼接來自不同模態(tài)的特征相比，通道注意力網(wǎng)絡(luò)對各個(gè)模態(tài)的特征重新加權(quán)以選擇信息量更大的通道特征，同時(shí)抑制來自各個(gè)模態(tài)的無用特征。

2 多模態(tài)特征融合

特定于虛假人臉的區(qū)別信息存在于整個(gè)面部區(qū)域。然而，全臉圖像的不同部分所包含的特定于虛假人臉的區(qū)別信息對于區(qū)分真實(shí)人臉和虛假人臉具有不同的重要性，并且從一些局部圖像中提取的特征更具區(qū)別性。Brendel 等人從輸入的完整圖像中提取圖像塊特征用于訓(xùn)練，并生成高分辨率和非常精確的熱圖，這種方法在數(shù)據(jù)集上取得了顯著的改進(jìn)，通過生成的熱圖，可以看出圖像的不同部分對特定決策的貢獻(xiàn)不同。

圖2 通道注意力網(wǎng)絡(luò)的體系結(jié)構(gòu)

圖3 自注意力網(wǎng)絡(luò)的體系結(jié)構(gòu)

由于卷積神經(jīng)網(wǎng)絡(luò)中所有卷積核的大小非常有限，每個(gè)卷積運(yùn)算只能在像素周圍很小的鄰域上執(zhí)行，通過較遠(yuǎn)的像素捕獲特征變得異常困難，但自注意力網(wǎng)絡(luò)可以直接計(jì)算圖像中任意兩個(gè)像素之間的關(guān)系，獲得圖像的全局幾何特征，然后對特征圖中需要關(guān)注的空間區(qū)域進(jìn)行加權(quán)，使得卷積神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到特征圖中需要關(guān)注的空間區(qū)域。

自注意力網(wǎng)絡(luò)的結(jié)構(gòu)如圖2 所示，自注意力網(wǎng)絡(luò)中的注意力圖I 定義為：

FT表示特征圖像F 進(jìn)行轉(zhuǎn)置。FTG表示計(jì)算全局上下文任意兩個(gè)元素的依賴關(guān)系，從而得到注意力圖。

將得到的注意力圖進(jìn)行歸一化，最后得到的特征圖L 表示為：

IT表示注意力圖I 進(jìn)行轉(zhuǎn)置。P 表示輸入的原始特征圖，α為經(jīng)過學(xué)習(xí)得到的參數(shù)，初始值為0，隨著學(xué)習(xí)的深入，在原始特征圖上增加了加權(quán)的注意力，可以得到特征圖中任意兩個(gè)位置的全局依賴關(guān)系，進(jìn)而可以增加有效空間區(qū)域的權(quán)重。

自注意力網(wǎng)絡(luò)可以直接計(jì)算多模態(tài)拼接特征圖像中任意兩個(gè)像素之間的關(guān)系，得到特征圖像的全局幾何特征，并增加特征圖像中對區(qū)分真實(shí)人臉和虛假人臉貢獻(xiàn)較大的空間區(qū)域的權(quán)重，使卷積神經(jīng)網(wǎng)絡(luò)提取的多模態(tài)融合特征中包含更多虛假人臉特有的區(qū)別信息，提高模型的分類效果。

3 實(shí)驗(yàn)和結(jié)果分析

3.1 數(shù)據(jù)集

CASIA-SURF 數(shù)據(jù)集[11]是目前最大的人臉反欺騙數(shù)據(jù)集。數(shù)據(jù)集由三種不同的模態(tài)的數(shù)據(jù)組成：RGB、深度和紅外圖像。數(shù)據(jù)集包含1000 個(gè)中國人錄制的21000 個(gè)視頻，每個(gè)樣本包括1 個(gè)實(shí)時(shí)視頻片段和6 個(gè)不同攻擊方式的假視頻片段。在數(shù)據(jù)集中，將志愿者面部的彩色圖像打印在A4 紙上，并通過去除眼睛、鼻子和嘴來組合成6 種不同的攻擊方式。此外，在收集工作期間，僅保留了面部區(qū)域，而刪除了復(fù)雜的背景區(qū)域。數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測試集。訓(xùn)練、驗(yàn)證和測試集分別有300、100 和600 個(gè)主題。數(shù)據(jù)集是在不同的室內(nèi)背景下使用Intel RealSense SR300 相機(jī)采集的，其中RGB 圖片分辨率1280×720，深度圖和紅外圖像的分辨率為640×480。它擁有面部反欺騙領(lǐng)域最大的數(shù)據(jù)量，最多的攻擊手段，是最具挑戰(zhàn)性的數(shù)據(jù)集。

3.2 評價(jià)度量及對比方法

為了評估，我們使用了人臉反欺騙領(lǐng)域中一些最常用的指標(biāo)：攻擊呈現(xiàn)分類錯(cuò)誤率（APCER）、真實(shí)呈現(xiàn)分類錯(cuò)誤率（BPCER）、平均分類錯(cuò)誤率（ACER）、假正率（FPR）和真正率（TPR）。

為了評價(jià)我們的多模態(tài)融合網(wǎng)絡(luò)的性能，我們將其與其他一些人臉反欺騙策略進(jìn)行了比較：單尺度融合（NHF）[12]、基于SEF 模塊的單尺度融合（Single-scale fusion）[12]、基于ResNet-18 的多尺度融合（Multi-scale fusion）[11]、基 于ResNet-34 的多尺度融合（Stronger backbone）[11]、多模態(tài)人臉反欺騙的局部特征模型（Face?BagNet）。

3.3 實(shí)現(xiàn)細(xì)節(jié)

采用32×32 的圖像塊進(jìn)行實(shí)驗(yàn)，通過隨機(jī)梯度下降算法（SGD）和0.1 的初始學(xué)習(xí)率，對所有模型進(jìn)行了25 輪的訓(xùn)練。

3.4 實(shí)驗(yàn)結(jié)果

不同方法的比較結(jié)果如表1 所示?？梢钥闯鑫覀兎椒ǖ男阅軆?yōu)于其他人臉反欺騙方法，相對于同樣采用ResNet-18 的多尺度融合方法我們方法在平均分類錯(cuò)誤率（ACER）上提升了0.5%的性能，在假正率（FPR）為10-4的情況下真正率（TPR）提升了3.2%。即使相對于采用更復(fù)雜的ResNet-34 網(wǎng)絡(luò)的多尺度融合方法我們方法在平均分類錯(cuò)誤率（ACER）上仍然提升了0.3%的性能，在假正率（FPR）為10-4的情況下真正率（TPR）也提升了0.4%。實(shí)驗(yàn)結(jié)果充分證明了我們方法的優(yōu)越性。

表1 該方法與其他策略的比較，最好結(jié)果加粗

我們研究了通道注意力模塊和自注意力模塊如何影響人臉反欺騙的模型的性能，我們采用32×32 大小的圖像塊進(jìn)行了一系列消融實(shí)驗(yàn)，其中“w.o SEN&SAN”表示有應(yīng)用通道注意力模塊和自注意力模塊?！皐.o SEN”表示沒有應(yīng)用通道注意力模塊只應(yīng)用了自注意力模塊。“w.o SAN”表示沒有應(yīng)用自注意力模塊只應(yīng)用了通道注意力模塊。如表2 所示，自注意力模塊和通道注意力模塊任何一個(gè)的缺失都會(huì)導(dǎo)致模型分類性能的下降。實(shí)驗(yàn)結(jié)果充分證明了通道注意力模塊和自注意力模塊對于獲得高性能都是至關(guān)重要的。

表2 不同訓(xùn)練策略的比較，最好結(jié)果加粗

4 結(jié)語

本文提出了一種基于自注意力網(wǎng)絡(luò)的多模態(tài)特征融合模型，并將其應(yīng)用于人臉反欺騙領(lǐng)域。我們將從不同模態(tài)的圖像塊中提取的特征通過通道注意力網(wǎng)絡(luò)選擇有效通道特征后進(jìn)行拼接，并利用自注意力網(wǎng)絡(luò)在拼接后的多模態(tài)特征中選擇對人臉反欺騙具有更多貢獻(xiàn)的公共空間區(qū)域，最后用卷積神經(jīng)網(wǎng)絡(luò)融合三種模態(tài)的特征進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有方法相比，該方法取得了更好的性能和更高的泛化能力，尤其是平均分類錯(cuò)誤率（ACER）指標(biāo)達(dá)到了0.5%，證明了該方法的優(yōu)越性。并且我們的多模態(tài)融合模塊網(wǎng)絡(luò)結(jié)構(gòu)簡單，可以添加到其他神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中提取多模態(tài)融合特征，實(shí)用性強(qiáng)，適用性廣。未來，我們將討論更有效的多模態(tài)人臉反欺騙方法。