武 茜，賈世杰

（大連交通大學(xué)電氣信息工程學(xué)院，遼寧大連 116028）

0 概述

近年來，基于深度學(xué)習(xí)的人臉替換技術(shù)取得了較快的發(fā)展［1］。人臉偽造主要體現(xiàn)在修改身份、轉(zhuǎn)移表情、生成全新人臉這3 種情況，其中，修改身份即為人臉替換，DeepFake 是人臉替換中的主要方法。DeepFake 起源于2017 年Reddit 論壇中的一個(gè)匿名代碼，是基于深度學(xué)習(xí)的人臉替換方法，其簡單易用且沒有違和感［2］。DeepFake 以自編碼器（AutoEncoder，AE）為核心結(jié)構(gòu)，利用編碼器提取面部圖像的潛在特征，然后使用解碼器重建面部圖像，從而將目標(biāo)人物的面部圖像替換到原視頻中的人物上。為了在原圖像和目標(biāo)圖像之間交換面部，需要2 個(gè)編碼器-解碼器對，每個(gè)編碼器-解碼器對都在人物圖像集上進(jìn)行訓(xùn)練，并且編碼器的參數(shù)在2 個(gè)網(wǎng)絡(luò)之間共享。目前，人臉替換鑒別方法主要分為兩類。

第一類方法利用DeepFake 視頻中前后幀的時(shí)間信息進(jìn)行鑒別：GüERA［3］研究發(fā)現(xiàn)DeepFake 視頻前后相鄰幀之間包含不一致的時(shí)序性內(nèi)容，其提出利用CNN 和LSTM 檢測假視頻的方法；LI 等［4］研究發(fā)現(xiàn)DeepFake 假視頻的人物眨眼頻率低于真實(shí)視頻，因此，將裁剪后的眼部區(qū)域序列分配到長期循環(huán)卷積網(wǎng)絡(luò)（LRCN）［5］中進(jìn)行動(dòng)態(tài)預(yù)測；張怡暄等［6］研究發(fā)現(xiàn)DeepFake 視頻中人臉區(qū)域的幀間差異明顯大于真實(shí)視頻，其利用視頻相鄰幀中人臉圖像的差異特征進(jìn)行預(yù)測；陳鵬等［7］利用全局時(shí)序特征和局部空間特征來發(fā)現(xiàn)偽造人臉視頻；LI 等［8］利用DeepFake 視頻相鄰幀上的抖動(dòng)來檢測視頻真?zhèn)?，并解決了訓(xùn)練不能很好收斂的問題。上述方法容易被DeepFake 技術(shù)所借鑒并進(jìn)行改進(jìn)，因此，方法的時(shí)效性通常較弱［9］。

第二類方法提取DeepFake 的圖像特征信息進(jìn)行鑒別：YANG 等［10］提出一種鑒別方法，該方法利用由頭部方向和位置組成的三維頭部位姿之間的差異，將提取的特征輸入SVM 分類器進(jìn)行分類，但是實(shí)際情況中三維頭部姿態(tài)獲取效率低；AFCHAR［11］利用神經(jīng)網(wǎng)絡(luò)中層語義信息，使用具有少量層的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)真假人臉圖像內(nèi)在特征的不一致性；LI 等［12］針對DeepFake 會(huì)留下特殊偽影的現(xiàn)象，利用深度學(xué)習(xí)網(wǎng)絡(luò)來檢測DeepFake 偽影；NGUYEN 等［13］利用膠囊網(wǎng)絡(luò)（Capsule-Net）來檢測DeepFake，并在FaceForensics++數(shù)據(jù)集［14］上進(jìn)行評 估。文獻(xiàn)［11-13］方法雖然在各自的數(shù)據(jù)集上具有有效性，但泛化能力弱，對于高質(zhì)量的DeepFake 圖像檢測效果不佳。

BONETTINI 等［15］將簡單的注意力機(jī)制引入卷積神經(jīng)網(wǎng)絡(luò)中，在FaceForensics++和DFDC 數(shù)據(jù)集上進(jìn)行評估，結(jié)果表明，注意力機(jī)制對于鑒別DeepFake 具有有效性。因此，本文提出一種基于多通道注意力機(jī)制的人臉替換鑒別方法。對現(xiàn)有的注意力模型進(jìn)行擴(kuò)展，設(shè)計(jì)一種多通道注意力模塊，根據(jù)矩陣相乘的思想融合全局和局部的注意力表示，在注意力模塊連接主網(wǎng)絡(luò)的方式上借鑒殘差神經(jīng)網(wǎng)絡(luò)（ResNet）［16］的跳躍連接方法，以減少重要信息損失。在訓(xùn)練過程中，通過由多通道模塊生成的注意力圖來引導(dǎo)圖像裁剪和去除，從而實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。

1 本文方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文方法的整體網(wǎng)絡(luò)框架如圖1 所示。將圖片I輸入特征提取器，得到特征F，通過多通道注意力模塊得到注意力圖A，特征圖F與每個(gè)通道的注意力圖A按元素相乘得到特征矩陣T，然后通過全連接層得到概率P，從而區(qū)分輸入圖片是否為DeepFake 所生成。

圖1 整體網(wǎng)絡(luò)框架Fig.1 Overall network framework

1.1.1 特征提取器

本文利用Xception［17］網(wǎng)絡(luò)作為特征提取器。與常規(guī)網(wǎng)絡(luò)卷積操作相比，Xception 的參數(shù)量和運(yùn)算成本較低，且其可以更好地提升網(wǎng)絡(luò)訓(xùn)練效率，在同等參數(shù)量以及大規(guī)模數(shù)據(jù)集上，效果優(yōu)于Inception-v3。此外，在給定硬件資源的情況下，Xception 可以有效提高網(wǎng)絡(luò)效率和性能。

1.1.2 多通道注意力模塊

本文多通道注意力模塊以矩陣相乘的方式融合全局和局部注意力表示，再以跳躍連接的方法與主網(wǎng)絡(luò)連接。具體的注意力模塊結(jié)構(gòu)如圖1 中的淺色陰影區(qū)域所示，整個(gè)注意力模塊分為A、B、Q 這3 個(gè)分支：

1）A 分支為全局注意力表示。注意力表示方法將特征圖通過16 個(gè)1×1 卷積核的卷積層，獲得全局注意力表示，此時(shí)更加突出重要的權(quán)重，最終得到注意力特征圖F1。

2）B 分支為局部注意力表示。該分支采用CBAM［18］空間注意力表示，空間特征圖F2(F)的計(jì)算過程如下：

其中：F為輸入的特征 圖；MaxPool 和AvgPool 分別為最大和平均池化層；f1×1為1×1 大小的卷積核；σ為Sigmoid 激活函數(shù)。

對特征圖分別進(jìn)行基于通道的最大池化和平均池化，在通道上做拼接操作，再經(jīng)過Sigmoid 激活函數(shù)得到特征圖F2。因?yàn)樽畲蠛推骄鼗瘯?huì)造成一定的信息損失，所以這里將其稱為局部注意力表示。

3）Q 分支得到經(jīng)過2 048 個(gè)1×1 卷積核卷積后的特征圖F0，其對Feature 多增加一層卷積映射，使網(wǎng)絡(luò)學(xué)到更多的參數(shù)。將Si，j權(quán)重應(yīng)用到F0上，即每一個(gè)元素點(diǎn)都與整個(gè)Feature 相關(guān)，相關(guān)性來自于D矩陣。Q 分支的輸出O計(jì)算公式如下：

其中：F0(xi)為Q 分支的卷積操作表示。

如圖2 所示，將F0［C×N］矩陣與S［N×N］矩陣的轉(zhuǎn)置相乘，得到輸出O［C×N］。輸出O中的第i行第j列的元素表示被矩陣S對應(yīng)第j列元素加權(quán)之后的Feature 在第i個(gè)通道的值。然后對輸出O進(jìn)行維度重構(gòu)，使輸出O恢復(fù)為C×W×H尺寸。為了減少訓(xùn)練時(shí)間，在輸出后再加一個(gè)簡單的卷積層，最終得到A。

圖2 輸出O 的計(jì)算過程示意圖Fig.2 Schematic diagram of calculation process of output O

本文方法使用矩陣相乘的方式來結(jié)合全局和局部注意力表示。為了滿足矩陣相乘的條件，將F1和F2的尺寸從2 個(gè)維度（H×W維）壓縮為1 個(gè)維度（N維），使尺寸從［B×16×H×W］分別變?yōu)椋跙×N×16］和［B×16×N］，其中，N=H×W，H和W分別為Feature的長和寬。F1和F2矩陣相乘后得到D矩陣，大小為［B，N，N］，其可以看作一個(gè)相關(guān)性矩陣，即F上各個(gè)元素點(diǎn)之間的相關(guān)性表示。通過上述過程，既突出了重要權(quán)重又避免了重要信息的損失。矩陣D的計(jì)算公式如下：

其中：f1和f2分別為由分支A 和B 進(jìn)行的卷積操作；Di，j可以理解為矩陣D中第i行第j列的元素值，表示F2中第j個(gè)元素對F1中第i個(gè)元素的影響。

為了防止梯度爆炸問題，將D矩陣逐行通過Softmax 函數(shù)得到S矩陣。矩陣S的計(jì)算公式如下：

其中：Si，j各行元素之和為1；S矩陣中第i行元素代表Feature 中所有位置的元素對第i個(gè)元素的影響，這種影響即為權(quán)重。

在連接主網(wǎng)絡(luò)的方式上，本文借鑒殘差神經(jīng)網(wǎng)絡(luò)的跳躍連接，引入調(diào)節(jié)參數(shù)ε，使輸出O的權(quán)重需要通過反向傳播來更新，具體計(jì)算公式如下：

在初始階段，ε為0，輸出y直接返回輸入的F，隨著訓(xùn)練的進(jìn)行，輸出y逐漸學(xué)習(xí)到要將經(jīng)過注意力機(jī)制的F加在原始F上，從而強(qiáng)調(diào)了需要施加注意力的部分F。

1.1.3 輸出層

將特征圖F與每個(gè)通道的注意力圖按元素相乘，具體計(jì)算公式如下：

其中：Ai為注意力圖；M為注意力圖的個(gè)數(shù)。

相乘之后以拼接的方式得到特征矩陣T，T中的每一行代表一張圖像的所有特征，然后將T特征矩陣輸入線性分類層進(jìn)行二分類，最終得到概率P從而判斷輸入圖像的真假。

1.2 損失函數(shù)設(shè)置

本文方法的損失函數(shù)表達(dá)式如下：

其中：Le為交叉熵?fù)p失；Lc為中心損失。

Le的計(jì)算方式如下：

其中：yi為真實(shí)標(biāo)簽值為預(yù)測標(biāo)簽值。

Lc借鑒了中心損失［19］的原理，將原來中心損失的類中心替換成不同特征的特征中心，使同一類別中同一部分的特征盡可能地接近。Lc的計(jì)算方式如下：

其中：δ在實(shí)驗(yàn)中初始值取0.05。

1.3 訓(xùn)練過程

本文網(wǎng)絡(luò)的訓(xùn)練過程使用遷移學(xué)習(xí)中的微調(diào)（Fine-tuning）技術(shù)。使用Xception 網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上的預(yù)訓(xùn)練模型，去掉原來的全連接層，添加新的模塊和全連接層，在原有參數(shù)的基礎(chǔ)上訓(xùn)練整個(gè)網(wǎng)絡(luò)，從而提高實(shí)驗(yàn)效率。同時(shí)，本文利用細(xì)粒度分類WSDAN 網(wǎng)絡(luò)［20］中的訓(xùn)練方式，通過每一個(gè)輪次訓(xùn)練好的注意力圖來引導(dǎo)一個(gè)輪次圖像的裁剪和去除，然后進(jìn)入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)。具體過程如下：

輸入圖像經(jīng)過特征提取和注意力網(wǎng)絡(luò)后輸出A，尺寸為B×M×W×H，選取M張圖像中權(quán)重較高的2 張圖像分別用作圖像裁剪和圖像去除，經(jīng)過歸一化處理得到A'1和A'2。歸一化計(jì)算公式為：

當(dāng)k=1 時(shí)，A1用作裁剪得到mask，計(jì)算公式如下：

其中：Cm為得到的mask；θc為設(shè)定的裁剪閾值。Cm為不規(guī)則形狀的mask，取能包含該mask 的最小的矩形邊界（bounding box），將該矩形邊界坐標(biāo)覆蓋至原圖，并將該邊界區(qū)域放大至原圖大小，即放大已經(jīng)受到關(guān)注的區(qū)域，就可得到裁剪圖片以繼續(xù)參與訓(xùn)練。

當(dāng)k=2 時(shí)，A2用作去除得到mask，計(jì)算公式如下：

其中：Em為得到的mask；θe為設(shè)定的去除閾值。Em與原圖進(jìn)行對應(yīng)元素相乘，得到去除后的圖片，使得已經(jīng)受到關(guān)注的區(qū)域被消除，保留沒有受到關(guān)注的區(qū)域，且去除后的圖片繼續(xù)參與訓(xùn)練。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 環(huán)境設(shè)置

本文實(shí)驗(yàn)在單機(jī)PC端訓(xùn)練完成，實(shí)驗(yàn)環(huán)境設(shè)置如下：處理器為Intel?CoreTMi7-6700HQ CPU@2.60 GHz，顯卡為NVIDIA GeForce GTX 950 M 4 G，操作平臺(tái)為Windows 10，軟件平臺(tái)為Python3.6，主要依賴庫為CUDA 9.0、cuDNN 7.6。

2.1.2 數(shù)據(jù)集構(gòu)成

本文實(shí)驗(yàn)只針對由自編碼器生成的換臉視頻（以下稱為DeepFake）。目前關(guān)于鑒別DeepFake 的數(shù)據(jù)集質(zhì)量不統(tǒng)一，F(xiàn)aceForensics++（以下簡寫為FF++）的DeepFake 數(shù)據(jù)集中有些視頻生成效果不佳，人眼就能識(shí)別出DeepFake 視頻，因此，本文對FF++（c40）中DeepFake 數(shù)據(jù)集進(jìn)行重新人工篩選，將有明顯生成痕跡的假視頻剔除，并在此基礎(chǔ)上擴(kuò)增數(shù)據(jù)集，分別由Celeb-DF 數(shù)據(jù)集［21］、DFD（DeepFake-Detection）數(shù)據(jù)集［14］、網(wǎng)絡(luò)收集構(gòu)成。為了降低原始數(shù)據(jù)的復(fù)雜度，提升模型訓(xùn)練穩(wěn)定性，本文對原視頻做預(yù)處理，利用MTCNN［22］進(jìn)行人臉檢測，把裁剪出的人臉作為輸入圖片，最終數(shù)據(jù)集中訓(xùn)練集總共有17 200 張圖片，真假圖片各占一半，為8 600 張，測試集總共有4 300 張，真假圖片各占一半，都為2 150 張。具體的訓(xùn)練集、測試集構(gòu)成如表1所示。

表1 數(shù)據(jù)集信息Table 1 Datasets information

2.1.3 實(shí)驗(yàn)參數(shù)設(shè)置

模型基于Pytorch 1.1.0 深度學(xué)習(xí)框架搭建網(wǎng)絡(luò)架構(gòu)，訓(xùn)練方法為隨機(jī)梯度下降法（SGD），初始學(xué)習(xí)率設(shè)為0.001，動(dòng)量設(shè)置為0.95，權(quán)重衰減為0.000 01，batch size 為8，輸入圖像大小為300×300，總共進(jìn)行30 輪的訓(xùn)練，θc∈(0.4，0.6)，θe∈(0.4，0.7)。在訓(xùn)練過程中，采用微調(diào)的訓(xùn)練方式，提取Xception 除全連接層外的最后一層，即得到的特征圖數(shù)量為2 048。

2.1.4 評估標(biāo)準(zhǔn)

本文實(shí)驗(yàn)采用的評估標(biāo)準(zhǔn)為精度（Accuracy），其定義如下：

其中：TTP為真陽性；TTN為真陰性；FFP為假陽性；FFN為假陰性。本文實(shí)驗(yàn)中將人臉真圖定義為正類，人臉假圖定義為負(fù)類。

2.2 對比實(shí)驗(yàn)結(jié)果

本文方法和其他鑒別方法在測試集上的測試精度對比如表2 所示。從表2 可以看出，與其他基于深度學(xué)習(xí)的檢測方法相比，本文方法測試精度最高，測試精度相 比Xception［14］方法提高了2.63 個(gè)百分點(diǎn)，相比B4Att［15］方法提高了1.35 個(gè)百分點(diǎn)，充分驗(yàn)證了本文方法的有效性。

表2 6 種方法的測試精度對比Table 2 Comparison of test accuracy of six methods %

在FF++（c40）、Celeb-DF、DFD［23］數(shù)據(jù)集上分別進(jìn)行測試對比，結(jié)果如表3 所示。從表3 可以看出：各方法在Celeb-DF 和DFD 數(shù)據(jù)集上的測試精度均低于FF++數(shù)據(jù)集；本文方法在Celeb-DF 和DFD 數(shù)據(jù)集上的測試精度能達(dá)到97.85%和92.17%，且在FF++數(shù)據(jù)集上，本文方法的測試精度相比B4Att［15］提高了0.45 個(gè)百分點(diǎn)，在挑戰(zhàn)性相對較高的Celeb-DF 和DFD 數(shù)據(jù)集上，測試精度分別提高4.68 和3.59 個(gè)百分點(diǎn)，本文方法整體性能優(yōu)于其他對比方法，泛化能力更強(qiáng)；S-MIL-T 是基于視頻的檢測方法，相比其余基于圖片的檢測方法，其只在Celeb-DF數(shù)據(jù)集上表現(xiàn)突出。

表3 在FF++、Celeb-DF、DFD 數(shù)據(jù)集上的測試精度對比Table 3 Comparison of test accuracy on FF++，Celeb-DF and DFD datasets %

本文還在具有代表性的測試圖例上進(jìn)行實(shí)驗(yàn)對比，結(jié)果如表4 所示，其中，第一、第二幅圖為FF++數(shù)據(jù)集，第三、第四、第五幅圖為Celeb-DF 數(shù)據(jù)集，最后一幅圖為DFD 數(shù)據(jù)集，表格內(nèi)“√”代表該網(wǎng)絡(luò)能正確判斷該圖為DeepFake 圖片，“×”代表網(wǎng)絡(luò)將圖片誤判為真圖。表4 中給出的例子實(shí)際均為DeepFake圖片，從第一幅圖片的測試結(jié)果可以看出，生成效果不佳的DeepFake 圖片有明顯的偽影邊界，表中方法均能鑒別出該圖為DeepFake 圖片，但隨著DeepFake圖片質(zhì)量的提升，其他方法會(huì)出現(xiàn)誤判的情況，而本文方法仍然能夠正確地鑒別出該圖為DeepFake圖片。

表4 DeepFake 圖片的鑒別結(jié)果Table 4 Identification results of DeepFake pictures

2.3 消融實(shí)驗(yàn)結(jié)果

對本文所設(shè)計(jì)的模型進(jìn)行消融實(shí)驗(yàn)，測試精度對比情況如表5 所示。其中：Base model 為直接使用Xception 網(wǎng)絡(luò)進(jìn)行分類鑒別的模型；+Attention 為在Base model 上添加本文注意力機(jī)制的模型；eraser mask、crop mask 分別為注意力引導(dǎo)的圖像去除、裁剪的模型；最后4 行All 代表本文模型在不同的預(yù)訓(xùn)練模型（ResNet101［16］、VGG19［24］、Inception-v3［25］、Xception）上進(jìn)行測試。從表5 可以得出：

表5 消融實(shí)驗(yàn)結(jié)果Table 5 Results of ablation experiment %

1）在Xception 網(wǎng)絡(luò)的基礎(chǔ)上加入本文設(shè)計(jì)的Attention 模塊，測試精度有2.27 個(gè)百分點(diǎn)的提升；在基礎(chǔ)模型上添加中心損失，測試精度也有0.44 個(gè)百分點(diǎn)的提升；添加A、B 不同分支的注意力表示，對基礎(chǔ)模型的測試精度分別有2.13 和2.18 個(gè)百分點(diǎn)的提升，即局部和全局注意力表示均能發(fā)揮一定作用，將它們相結(jié)合后精度能夠進(jìn)一步提升。

2）在多通道注意力模塊的基礎(chǔ)上引入注意力引導(dǎo)的圖像裁剪和去除，測試精度能夠提升0.28 個(gè)百分點(diǎn)；裁剪的作用（提升0.22 個(gè)百分點(diǎn)）比去除的作用（提升0.08 個(gè)百分點(diǎn)）更明顯，即對于鑒別DeepFake，裁剪的圖像有利于網(wǎng)絡(luò)提取到更細(xì)節(jié)的特征。

3）在不同的特征提取網(wǎng)絡(luò)的基礎(chǔ)上，本文設(shè)計(jì)的多通道注意力模塊的測試精度都能達(dá)到97%以上，其中Xception 網(wǎng)絡(luò)效果最好。

3 結(jié)束語

本文針對DeepFake 圖片鑒別問題，建立一種基于多通道注意力模塊的鑒別網(wǎng)絡(luò)模型。將注意力模塊添加到現(xiàn)有的預(yù)訓(xùn)練模型中，融合全局和局部注意力表示以避免重要信息損失。在訓(xùn)練過程中使用注意力引導(dǎo)的圖像裁剪和去除的訓(xùn)練方式，從而起到數(shù)據(jù)增強(qiáng)的作用。在FF++、Celeb-DF 和DFD 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該模型泛化能力較強(qiáng)，測試精度優(yōu)于B4Att、S-MIL-T 等方法。但是，本文模型難以直接對輸入視頻進(jìn)行鑒別，也未利用視頻中各幀之間的相關(guān)性信息，對以上問題進(jìn)行研究以提升模型的檢測性能將是下一步的研究方向。