李 柯，李邵梅，吉立新，劉 碩

（解放軍戰(zhàn)略支援部隊信息工程大學(xué)信息技術(shù)研究所，鄭州 450003）

0 概述

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以換臉為代表的人臉偽造視頻開始在社交媒體上廣泛傳播，包括基于計算機圖形學(xué)的方法FaceSwap、Face2Face［1］以及基于深度學(xué)習(xí)的方法DeepFakes、NeuralTextures［2］等主流的人臉偽造生成方法。該技術(shù)的濫用將對個人隱私和國家政治安全帶來巨大的威脅。

針對當(dāng)前以換臉為代表的偽造視頻的危害，國內(nèi)外學(xué)者對視頻中偽造人臉的檢測方法進行了大量研究。目前，視頻偽造人臉檢測的方法主要包含基于幀間特征的檢測方法和基于幀內(nèi)特征的檢測方法兩類?；趲g特征的檢測方法主要關(guān)注視頻前后幀中的時序信息，文獻［3］將視頻每一幀的特征向量經(jīng)過處理后，輸入到LSTM 網(wǎng)絡(luò)中得到幀間特征，作為分類的依據(jù)。文獻［4］利用視頻相鄰幀中人臉圖像存在差異的特性提出一種檢測方法?；趲g特征的檢測方法無法判斷單幀的真?zhèn)?，同時對待檢測視頻的長度存在需求，對模型訓(xùn)練條件的要求也較高，因此在實際應(yīng)用中存在限制。

基于幀內(nèi)特征的檢測方法是采用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）進行特征學(xué)習(xí)，訓(xùn)練分類器區(qū)分偽造與真實人臉圖片。文獻［5］利用偽造視頻在合成時需要進行仿射變換才能匹配，從而導(dǎo)致人臉區(qū)域與周圍環(huán)境分辨率不一致的特點訓(xùn)練分類器。文獻［6］利用生成視頻時存在的人為視覺上的缺陷進行判別，具體可包括合成圖片存在的左右眼虹膜顏色不一致、在處理光照時對入射光的錯誤處理導(dǎo)致產(chǎn)生特定的偽影、對頭發(fā)建模錯誤導(dǎo)致的空洞等問題，通過提取這些特征，訓(xùn)練較小的分類器完成分類任務(wù)。文獻［7］發(fā)現(xiàn)在使用2D 面部圖像估計3D 頭部姿態(tài)（比如頭的方向和位置）合成偽造圖片時會存在誤差，進而利用該特征進行判別。文獻［8］使用集成多種CNN 的網(wǎng)絡(luò)進行視頻中的偽造人臉檢測。

針對CNN 在圖像處理中沒有考慮部件間的相對位置、角度等信息以及可解釋性較差等不足，文獻［9］提出了基于動態(tài)路由的膠囊網(wǎng)絡(luò)。隨后膠囊網(wǎng)絡(luò)被應(yīng)用于計算機視覺的多個領(lǐng)域，文獻［10］使用膠囊網(wǎng)絡(luò)進行肺部CT 圖像分割檢測，文獻［11］將基于二元分類的膠囊網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像的乳腺癌檢測，文獻［12］嘗試將膠囊網(wǎng)絡(luò)運用于偽造視頻檢測領(lǐng)域，提出算法模型Capsule-Forensics，在多種類型的視頻偽造人臉檢測上均具有良好的性能。

為進一步提高膠囊網(wǎng)絡(luò)對視頻偽造人臉的檢測效果，本文在Capsule-Forensic 的基礎(chǔ)上，提出一種基于自注意膠囊網(wǎng)絡(luò)的視頻偽造人臉檢測算法Xception-Attention-Capsules。該算法使用部 分Xception 網(wǎng)絡(luò)作為特征提取部分，在Primary Capsule部分構(gòu)建Attention-Capsules 結(jié)構(gòu)，并在此基礎(chǔ)上提出新的損失函數(shù)Dimension-Focal Loss。最后運用模型可視化技術(shù)對本文算法的檢測結(jié)果進行分析。

1 Capsule-Forensics視頻偽造人臉檢測算法

膠囊網(wǎng)絡(luò)中的膠囊結(jié)構(gòu)是一組向量或矩陣的集合，不同輸出向量代表圖像中出現(xiàn)的特定實體的各種屬性，例如輸出向量的模長表示實體存在可能性的大小。膠囊網(wǎng)絡(luò)使用向量輸出代替值輸出，可以在識別物體類別的同時保留其位置和姿態(tài)信息；使用動態(tài)路由算法［9］更新膠囊層間的權(quán)重，使得向量值能在不同的膠囊層間進行傳遞。因此，與CNN 等傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，膠囊網(wǎng)絡(luò)具有更好的泛化能力，同時對圖形變換具有更強的魯棒性。

NGUYEN 等［12］提出基于膠囊網(wǎng)絡(luò)的視頻偽造人臉檢測算法Capsule-Forensics，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。Capsule-Forensics 特征提取部分使用部分VGG-19 網(wǎng)絡(luò)；Primary Capsules 部分使用了N個相同的膠囊結(jié)構(gòu)，中間部分引入了Stats Pooling（Stattistic Pooling）；在Primary Capsules 和Classifier Capsules 間運用動態(tài)路由算法進行權(quán)重更新；Classifier Capsules 中真假膠囊將分別輸出一組N維向量，將兩組N維向量每個維度的兩兩組合進行Softmax 運算，最后取N個Softmax 結(jié)果的均值作為最終的預(yù)測類別。訓(xùn)練過程中使用交叉熵（Cross Entropy，CE）損失函數(shù)。

圖1 Capsule-Forensics 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Capsule-Forensics network structure

通過分析，本文認(rèn)為該網(wǎng)絡(luò)有以下不足：一是特征提取部分參數(shù)量較大，模型訓(xùn)練速度較慢；二是Primary Capsules 中相同的膠囊結(jié)構(gòu)不利于模型關(guān)注到人臉不同位置的特征；三是交叉熵?fù)p失函數(shù)未考慮數(shù)據(jù)集中正負(fù)樣本不均衡的問題。

2 基于自注意力膠囊網(wǎng)絡(luò)的偽造人臉檢測技術(shù)

2.1 Xception-Attention-Capsules 結(jié)構(gòu)組成

本文設(shè)計的檢測模型Xception-Attention-Capsules的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，分為特征提取部分、Primary Capsules、Classifier Capsules 3個部分。

圖2 Xception-Attention-Capsules 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Xception-Attention-Capsules network structure

相較Capsule-Forensics，本文進行了以下3 個部分的改進：

1）特征提取部分使用部分Xception 網(wǎng)絡(luò)，該改進使模型在僅損失微小精度的情況下，相較原模型減少了85.7%的參數(shù)量，訓(xùn)練速度提高了57.3%。

2）Primary Capsules 部分提出Attention-Capsules，該部分使用3 個不同結(jié)構(gòu)的膠囊模塊，其中Capsule 1使用步長為1 的1×1 卷積核；Capsule 2 使用步長為1 的3×3 卷積核；Capsule 3 使用步長為2 的1×1 卷積核，以保留更多的人臉信息。每個膠囊模塊中均加入了自注意力層Self-Attention。Primary Capsules 和Classifier Capsules 間使用動態(tài)路由算法［9］更新參數(shù)。

3）Classifier Capsules 部分沿用了文獻［12］類別預(yù)測的方法。通過對比分析輸出向量維度為2 維、4 維、8 維、16 維的檢測效果，本文將輸出維度設(shè)置為4，使模型在準(zhǔn)確率和收斂速度間的平衡達到最優(yōu)。另外，提出新的損失函數(shù)Dimension-Focal Loss。

2.2 基于部分Xception 網(wǎng)絡(luò)的特征提取

Xception［13］主要由殘差網(wǎng)絡(luò)與深度可分離卷積組成。Xception 包括36 個卷積層，共包含3 個flow，分別是Entry flow、Middle flow、Exit flow；包括14 個Block，其中Entry flow 中4 個、Middle flow 中8 個、Exit flow 中2 個；中間12 個Block 都包含線性殘差連接。同時，模型對輸入數(shù)據(jù)的每一個通道分別進行空間逐層卷積，再對其結(jié)果進行逐點卷積。如圖3所示，Xception 模型第1 步通過1×1 卷積進行通道分離，第2 步獨立繪制每個輸出通道的空間相關(guān)性，用3×3 卷積單獨處理，最后合并。

圖3 Xception 基本模塊Fig.3 Xception basic module

作為偽造視頻檢測數(shù)據(jù)集FaceForensics++［14］的基線模型，Xception 在該數(shù)據(jù)集上具有良好的效果。為 此，本文選取Xception 中Entry flow的前3 個Block 模塊作為Xception-Attention-Capsules 的特征提取部分。

2.3 基于自注意力機制的Attention-Capsules

偽造人臉大部分的操作作用于面部五官區(qū)域，面部平坦區(qū)域的信息對分類的幫助較少。文獻［15］指出在神經(jīng)網(wǎng)絡(luò)中引入注意力機制，有助于使模型關(guān)注具有豐富細(xì)節(jié)的面部五官部分。

在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中，由于每個卷積核的尺寸有限，因此每次卷積操作只能獲得像素點周圍很小一塊鄰域，不易捕捉到距離較遠(yuǎn)的特征［16］。為此，本文采用多個膠囊模塊，每個模塊中使用大小不同的卷積核，利用不同結(jié)構(gòu)的膠囊模塊關(guān)注到不同尺寸的特征。另外，本文提出在膠囊中加入Self-Attention層［17］，通過計算圖像中任意兩個像素點之間的關(guān)系，從而學(xué)習(xí)到某一像素點和其他所有位置（包括較遠(yuǎn)位置）的像素點之間的關(guān)系，這樣可以捕獲到更大范圍內(nèi)像素間的關(guān)系，獲取圖像的全局幾何特征。

Self-Attention 自注意力模塊結(jié)構(gòu)如圖4［17］所示，其原理是將輸入分別通過1×1 的卷積層；然后在輸出特征圖的矩陣上進行運算得到注意力圖；最后的注意力模塊部分將逐漸學(xué)習(xí)到如何將注意力特征圖加在原始的特征圖上，從而得到增加了注意力部分的特征圖。

圖4 自注意力模塊結(jié)構(gòu)Fig.4 Self-attention module structure

2.4 Dimension-Focal Loss 損失函數(shù)

偽造人臉數(shù)據(jù)集普遍存在正負(fù)樣本不均衡問題，且不同的偽造生成方法生成的視頻檢測難易也存在差別。因此，本文在Focal Loss［17］損失函數(shù)的基礎(chǔ)上提出了Dimension-Focal Loss 損失函數(shù)。該方法使用真假膠囊每個批次輸出維度損失的均值之和作為該批次最終的損失。相較于文獻［9］僅將最終預(yù)測結(jié)果與標(biāo)簽做交叉熵的損失計算方法，該方法可以考慮到每個維度的輸出值，并將其體現(xiàn)到損失函數(shù)上，更精準(zhǔn)地指導(dǎo)Classifier Capsule 進行學(xué)習(xí)。

Dimension-Focal Loss 的計算步驟如下：分別計算單個樣本的單維度Focal Loss 損失，如（1）所示：

其中：α表示平衡因子；γ表示難易樣本權(quán)重；表示計算的單個樣本的單維度損失；i表示每批次對應(yīng)的單個樣本編號；j表示當(dāng)前運算的維數(shù)；y表示預(yù)測標(biāo)簽；y′表示經(jīng)過激活函數(shù)Softmax 的輸出。

其中：n為批次大??；m為當(dāng)前輸出膠囊的總維數(shù)；j表示當(dāng)前運算的維數(shù)；代表批次維度平均損失；loss 代表最終損失。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

為評估本文方法的性能，本文在公開數(shù)據(jù)集FaceForensics++［14］上進行實驗。FaceForensics++包含從國外視頻網(wǎng)站采集的1 000 個真實視頻。每條原始視頻時長約為15 s，然后使用計算機圖形學(xué)和深度學(xué)習(xí)方法生成偽造視頻。使用的偽造生成方法包含F(xiàn)ace Swap、Fac2Face、Fac2Face、NeuralTextures 4 種類型，每種方法各生成1 000 條假視頻。FaceForensics++數(shù)據(jù)集將所有視頻依據(jù)H.264 編碼進行壓縮，共生成了3 個版本，其中Raw版本表示未進行壓縮，HQ（High Quality）版本的壓縮參數(shù)為23，LQ（Low Quality）版本的壓縮參數(shù)為40。

3.2 實驗設(shè)置

3.2.1 數(shù)據(jù)處理

由于該數(shù)據(jù)集中視頻的偽造區(qū)域集中在人臉面部，因此提前使用人臉檢測方法檢測并提取面部區(qū)域，將其單獨保存作為訓(xùn)練集和測試集的輸入有助于使分類算法集中于被篡改的面部區(qū)域，減弱背景的影響，提高檢測算法的收斂速度和分類精度。本文使用RetinaFace［18］作為人臉檢測算法，首先將每條視頻流按幀進行截取，然后利用算法識別每幀中得分最高的人臉，以人臉為中心裁剪后并縮放至320×320 大小（該尺寸易于執(zhí)行裁剪和縮放）分別保存在對應(yīng)的視頻文件夾中。

在訓(xùn)練模型的過程中，對其增加一定概率的水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)以及隨機的圖片切割。目的是增加數(shù)據(jù)集的隨機擾動，同時避免模型對圖像部分區(qū)域的過度關(guān)注，以提高模型的泛化能力。最后將圖片縮放至指定的大小，以符合模型的輸入要求，本文統(tǒng)一使用224×224 的輸入。

本文在對比測試中分別對不同壓縮版本的偽造視頻進行了單獨實驗和混合實驗。在優(yōu)化方法對比測試中使用了網(wǎng)絡(luò)上最為普遍的HQ 版本進行實驗。視頻級則使用了LQ 和HQ 兩個版本的視頻進行測試，每個視頻每隔10 幀抽樣進行檢測，綜合10 幀的檢測結(jié)果對視頻的真?zhèn)芜M行判別。參考文獻［12］中的實驗數(shù)據(jù)劃分，分別設(shè)置訓(xùn)練集720 條，驗證集和測試集各為140 條，本文實驗中FaceForensics++中每個類別的訓(xùn)練集和測試集數(shù)量如表1 所示，其中新增Mix 類別為4 種偽造類型的混合。

表1 FaceForensics++中每個類別訓(xùn)練集和測試集圖片數(shù)Table 1 Uumber of images in the training set and test set of each category in FaceForensics++

3.2.2 評價指標(biāo)

為方便與其他算法對比，本文實驗使用加權(quán)平均準(zhǔn)確率（Weighted Average Accuracy，WAA）作為評價指標(biāo)。在正負(fù)樣本不平衡的數(shù)據(jù)集中，該指標(biāo)可以更好地評估模型的分類能力。

計算公式如式（4）和式（5）所示：

其中：TP（True Positive）表示將假樣例正確識別為假樣例的數(shù)量；FP（False Positive）表示將真樣例錯誤識別為假樣例的數(shù)量；Pi表示類別i的準(zhǔn)確率；C表示樣本的總數(shù)；ci表示第i類類別的樣本總數(shù)；n表示類別總數(shù)。

3.2.3 實驗配置

本文實驗平臺為Ubuntu 16.04 操作系統(tǒng)，使用了4 塊Nvidia TitanX 顯卡，所有代碼都在PyTorch 框架下實現(xiàn)。使用在ImageNet 上預(yù)訓(xùn)練的權(quán)重對Capsule-Forensics 和Xception-Attention-Capsules 的特征提取部分進行初始化。

3.3 實驗結(jié)果

3.3.1 Xception-Attention-Capsules 消融實驗

本文首先評估對Capsule-Forensics 改進的合理性。訓(xùn)練和測試使用HQ 版本，實驗結(jié)果如表2所 示。表2 中的第2、3、4 行分別為Xception-Capsules、Xception-Capsules+A、Xception-Capsules+F的結(jié)果，第5行為Xception-Attention-Capsules 的結(jié)果。

表2 Xception-Attention-Capsules 消融實驗的加權(quán)平均準(zhǔn)確率Table 2 Weighted average accuracy rate of Xception-Attention-Capsules ablation experiment %

1）Xception-Capsules：在Capsule-Forensics模型的基礎(chǔ)上僅替換特征提取部分為Xception 部分（如2.2 節(jié)所述）。

2）Xception-Capsules+A：在 Xception-Capsules的基礎(chǔ)上增加Attention-Capsules（如2.3 節(jié)所述）。

3）Xception-Capsules+F：在Xception-Capsules 的基礎(chǔ)上增加Dimension-Focal Loss（如2.4 節(jié)所述）。

如表2 所示，增加不同優(yōu)化機制的模型準(zhǔn)確率Xception-Attention-Capsules>Xception-Capsules+A>Xception-Capsules+F>Xception-Capsules?？梢钥闯?，在增加Attention-Capsules 和Dimension-Focal Loss優(yōu)化方法后模型的準(zhǔn)確率均有提升，其中Attention-Capsules 對模型準(zhǔn)確率的提升更加有效。在綜合兩種方法后，模型的準(zhǔn)確率在5 種類型數(shù)據(jù)集上分別有1.94%、0.62%、1.87%、1.16%、1.37%的提升，證明本文提出的改進方法是合理有效的。

3.3.2 Xception-Attention-Capsules與其他模型對比

為驗證模型的改進效果，分別在FaceForensics++不同壓縮率下進行了對比實驗。不同偽造類別圖片級和視頻級實驗結(jié)果如表3～表5所示，分別表示視頻RAW、HQ、LQ 版本的結(jié)果。

表3 FaceForensics++RAW 數(shù)據(jù)集上的加權(quán)平均準(zhǔn)確率Table 3 Weighted average accuracy rate on FaceForensics++RAW datasets

表4 FaceForensics++HQ 數(shù)據(jù)集上的加權(quán)平均準(zhǔn)確率Table 4 Weighted average accuracy rate on FaceForensics++HQ datasets %

表5 FaceForensics++LQ 數(shù)據(jù)集上的加權(quán)平均準(zhǔn)確率Table 5 Weighted average accuracy rate on FaceForensics++LQ datasets %

從以上實驗結(jié)果可以看出：

1）本文改進的膠囊網(wǎng)絡(luò)Xception-Attention-Capsules 相較原模型參數(shù)量減少85.7%，在LQ 數(shù)據(jù)集上分別提高1.6%、0.11%、1.98%、0.25%、1.0%。HQ數(shù)據(jù)集除Face2Face 類型下降0.29%，其余類型分別提高1.18%、0.1%、0.58%、1.9%，表明本文改進方法在多數(shù)情況下能得到更高的準(zhǔn)確率。

2）相較其他模型，本文模型在Mix、Face Swap、NeuralTextures 數(shù)據(jù)集的不同壓縮率下均具有最高的準(zhǔn)確率。

3）在壓縮率上升時，各模型在NeuralTextures 和Face2Face 偽造方法的準(zhǔn)確率均有較大下降，說明這兩種偽造類型的低質(zhì)量圖片較難判別。

4）對比本文方法在視頻級和圖片級測試的結(jié)果，視頻級結(jié)果的檢測準(zhǔn)確率較圖片級有所上升，說明本文模型在視頻級判別時通過綜合多幀的判別結(jié)果，可以提高判別的準(zhǔn)確率。

3.4 有效性可視化分析

3.4.1 決策區(qū)域可視化分析

為分析本文Attention-Capsules 中不同膠囊模塊在鑒別偽造人臉時是否關(guān)注人臉不同位置，本文使用Grad-CAM［19］對FaceForensics++數(shù)據(jù)集中幾種偽造方法生成的樣本進行可視化分析。

對Face Forensics++的每種偽造方法，分別使用訓(xùn)練好的模型通過Grad-CAM 生成熱力圖［21］，結(jié)果如圖5 所示，其中，第1 行是輸入圖片，其余行分別是3 個膠囊的激活圖，第1 列是原始圖片樣例，其余列分別對應(yīng)原始樣例的4 種偽造類型。

圖5 不同膠囊在FaceForensics++中偽造方法的Grad-CAM 熱力圖Fig.5 Grad-CAM heat map of different capsules in FaceForensics++manipulated methods

根據(jù)圖5可以觀察到Origion樣例和Deepfake樣例主要的激活區(qū)域在眼睛和鼻子下方，這與圖像的偽造區(qū)域一致。Face2Face 樣例的激活區(qū)域主要為兩側(cè)下巴和鼻尖區(qū)域，分析原因為Face2Face 使用基于計算機圖形學(xué)的方法，對五官區(qū)域的形變支持較差，容易在鼻部區(qū)域留下較大的偽造痕跡，同時其下巴區(qū)域的激活符合原始偽造區(qū)域的位置。Face Swap 樣例的激活區(qū)域集中在嘴部和眼睛區(qū)域，同時面部的其他區(qū)域具有不同程度的激活，分析原因為該技術(shù)進行的是全臉替換，因此其面部區(qū)域均得到了激活，同時其嘴部和眼睛區(qū)域符合原始偽造區(qū)域的位置。NeuralTextures 樣例的激活區(qū)域集中在臉的下半部分，因為該技術(shù)基于紋理渲染合成，主要用于偽造人物的說話口型，因此其嘴部區(qū)域得到了激活。

總體而言，3 個膠囊均激活了臉部的關(guān)鍵區(qū)域，該區(qū)域由該類偽造類型的主要修改區(qū)域決定。但是對于臉部非關(guān)鍵部分，其激活區(qū)域的位置和范圍存在一定的差別，說明3 個膠囊會關(guān)注到人臉的不同區(qū)域，這與本文使用不同大小的卷積核和步長所預(yù)期的效果一致。由于3 個膠囊在識別出關(guān)鍵區(qū)域的同時，不同的膠囊層之間學(xué)習(xí)到的特征可以相互補充進行判別。相較與傳統(tǒng)CNN 通常只能激活一整塊熱區(qū)，本文模型的激活區(qū)域更加準(zhǔn)確，這有助于最后的分類結(jié)果，因此，可以一定程度上解釋本文的改進方法在不同的偽造類型上均表現(xiàn)出較好的分類效果。

3.4.2 膠囊輸出可視化分析

為說明本文模型是否將真?zhèn)稳四槝颖具M行有效的區(qū)分，利用T-SNE［22］（T-distributed Stochastic Neighborhood Embedding）將同一個樣本真假膠囊的共8 個輸出維度的數(shù)據(jù)降維至2 個維度，進行可視化分析。

使用HQ版本的Mix測試集的測試數(shù)據(jù)進行T-SNE可視化，其結(jié)果如圖6 所示。其中方框表示真樣本，圓形表示假樣本，可以看出，大部分的假樣本集中分布在左邊區(qū)域，真樣本集中分布在右邊區(qū)域，可見本文模型輸出的8 維向量值對真?zhèn)螛颖揪哂休^好的可區(qū)分性。

圖6 模型輸出的T-SNE 可視化結(jié)果Fig.6 T-SNE visualization results of model output

4 結(jié)束語

為提高膠囊網(wǎng)絡(luò)對視頻偽造人臉的檢測能力，本文以Capsule-Forensics 為基礎(chǔ)，提出一種結(jié)合自注意力膠囊網(wǎng)絡(luò)的偽造人臉檢測方法。使用部分Xception 網(wǎng)絡(luò)替代VGG-19 作為特征提取部分，并給出基于自注意力機制的Attention-Capsules，使模型更加關(guān)注面部的五官區(qū)域，降低背景的影響，在此基礎(chǔ)上提出考慮不同維度輸出和度量學(xué)習(xí)的損失函數(shù)Dimension-Focal Loss。在FaceForensics++上的實驗結(jié)果表明，本文方法對多數(shù)偽造方法生成的偽造人臉均具有較高的檢測準(zhǔn)確率。