耿鵬志，唐云祁，樊紅興，張時潤，朱新同

1.中國人民公安大學 偵查學院，北京100038

2.中國科學院 自動化研究所 智能感知與計算研究中心，北京100190

3.湖南工業(yè)大學 計算機學院，湖南 株洲412007

近年來，生成式對抗網(wǎng)絡[1]（Generative Adversarial Networks，GANs）在計算機視覺領域發(fā)展迅速。以該技術為依托的深度偽造（Deepfake）技術在全世界范圍內(nèi)掀起了一股偽造熱潮。如人臉替換、人臉屬性編輯以及人臉表情操控等，偽造技術的惡意應用在社會安全等領域造成了巨大的風險。人臉信息作為生物特征信息最為敏感的一環(huán)，如果該技術被不法分子所利用，一方面會導致虛假新聞等信息的泛濫，另一方面，生物特征信息的泄露會導致個人隱私、名譽以及財產(chǎn)等受到侵害，嚴重者甚至危害國家安全。因此，針對深度偽造視頻的檢測，對于促進網(wǎng)絡空間的健康發(fā)展以及政治和經(jīng)濟社會的穩(wěn)定具有極其重要的意義。目前各學術團隊已經(jīng)就深度偽造檢測展開了深入研究，其中Facebook公司斥巨資主辦的Deepfake檢測挑戰(zhàn)賽（Deepfake Detection Challenge，DFDC），極大地促進了深度偽造取證領域的發(fā)展。同時，各國也在立法層面上采取措施來限制Deepfake為代表的造假技術，如中國于2019年印發(fā)的《網(wǎng)絡音視頻信息服務管理規(guī)定》[2]明確規(guī)定不得使用人工技術制作、傳播虛假新聞信息，由美國兩黨議員提出的《2019年深度偽造報告法案》[3]也建議政府制定相應的規(guī)則與法律，并提高鑒別真?zhèn)蔚募夹g能力。

目前已經(jīng)出現(xiàn)了許多經(jīng)典的檢測方法，主要分為基于視頻檢測和基于圖像檢測兩大類。基于視頻檢測方面，研究者主要針對時間信息進行建模，如文獻[4-5]利用長短期記憶網(wǎng)絡（LSTM）來提取視頻序列中的時序信息。文獻[6]提取視頻中的光流信息（Optical Flow）作為卷積神經(jīng)網(wǎng)絡的輸入。還有研究人員使用生物信號rPPG[7]用于深度偽造檢測?；趫D像檢測方面，可以分為傳統(tǒng)手工設計和深度學習兩大類，在傳統(tǒng)手工設計方面，如Yang等人[8]使用對頭部和面部的姿勢進行建模，Li等人[9]對眨眼信息進行檢測，但由于深度偽造技術的更新發(fā)展，該方法已不適用。Matern等人[10]對眼睛、牙齒以及人臉區(qū)域的偽影設計特征，但他們使用簡單的分類器，都可能存在特征提取不到位的情況。在深度學習方面，文獻[11-13]分別使用了MesoNet、膠囊網(wǎng)絡以及Xception進行換臉檢測，并取得不錯的效果，其中Xception網(wǎng)絡由于出色的特征提取能力，被作為主流的深度偽造取證網(wǎng)絡，Stehouwer等人[14]采用注意力機制讓檢測模型更加關注偽造區(qū)域，以此提升檢測效果。卞明運等人[15]使用空洞卷積捕捉圖像上下文信息，提升對偽造圖片的檢測效果。胡永健等人[16]將圖像分割網(wǎng)絡用于深度偽造檢測中，可以對偽造區(qū)域的定位檢測。以上方法都依賴于特定的數(shù)據(jù)集，當待檢測的數(shù)據(jù)屬于另一類的偽造方法或數(shù)據(jù)經(jīng)過后處理操作的情況時，檢測模型會損失部分精度。本文通過對相關比賽進行調(diào)研，發(fā)現(xiàn)對于跨庫或者經(jīng)過后處理圖片檢測問題，一種最直接有效的方法是使用數(shù)據(jù)增強。所以本文選取四種經(jīng)典遮擋類增強方法以及高斯模糊、高斯噪聲、色度變換等十種光學變換的數(shù)據(jù)增強方法，探究其對深度偽造檢測模型性能的影響。由于XceptionNet對于偽造視頻圖片的出色檢測性能，使得它在相關比賽中被廣泛應用，同時作為經(jīng)典的檢測模型在取證領域也被作為基線模型進行對比研究，所以最終選取XceptionNet作為本文的檢測模型。

總體來說，本文主要有以下3方面貢獻：

第一，針對目前大多數(shù)Deepfake檢測方法是對于網(wǎng)絡結構進行改進或者尋找有意義的其他的線索。本文結合相關比賽從數(shù)據(jù)增強角度出發(fā)，探究數(shù)據(jù)增強方法對于模型檢測的影響以及是否可以迫使模型學習更高級的偽造特征。

第二，選取4種經(jīng)典的遮擋式數(shù)據(jù)增強方法和10種基于光學變換的數(shù)據(jù)增強方法，探究其對檢測模型的影響。實驗結果表明遮擋式數(shù)據(jù)增強方法對于檢測模型的檢測性能提升有所幫助，對比度和亮度變換有一定效果的提升。相比于增加網(wǎng)絡模型結構等操作，數(shù)據(jù)增強方法簡單有效，可以有效地提升模型在經(jīng)后處理操作圖像上的檢測準確度。但不能提升模型的泛化性。

第三，使用Grad-CAM方法可視化對數(shù)據(jù)增強所起的作用進行可解釋分析。從激活圖中可看出數(shù)據(jù)增強策略能使檢測模型的激活面積增大，降低了錯檢情況的發(fā)生。

1 本文方法

1.1 本文所使用的數(shù)據(jù)增強方法

有效的數(shù)據(jù)增強方法可以使CNNs模型避免只學習到某一局部特征，使檢測模型關注到更多具有判別信息的特征。為探究其對于深度偽造模型檢測的影響，本文就遮擋式和基于光學變換這兩大類數(shù)據(jù)增強方法進行了研究。

1.1.1 遮擋式數(shù)據(jù)增強方法

本文所使用的遮擋式增強方法分別為Random-Erasing[17]、Cutout[18]、HaS（Hide-and-Seek）[19]和GridMask[20]這四種，如圖1所示。

圖1 HaS、Cutout、RandomErasing和GridMask的結果Fig.1 Results of HaS，Cutout，RandomErasing and GridMask

RandomErasing（隨機擦除）在訓練時，會在原圖隨機選擇一個矩形區(qū)域，將該區(qū)域的像素替換為隨機值，以此對訓練的圖片做不同程度的遮擋，從而降低過擬合的風險并提高模型的魯棒性。

HaS是將圖片均勻地分成S×S個網(wǎng)格，然后每一個網(wǎng)格以一定概率隨機刪除，而RandomErasing和Cutout只刪除圖像的某一連續(xù)區(qū)域，所以HaS可產(chǎn)生更多類型的遮擋形狀，具有更強的遮擋魯棒性。

Cutout利用固定大小的矩形對圖像進行遮擋，在矩形范圍內(nèi)對圖片進行全0填充。相比于RandomErasing，其遮擋大小需要手動設置。

GridMask是結構化的丟棄，它與以上方法的不同之處為，其刪除區(qū)域是一組空間均勻分布的正方形。這樣可以避免類似于Cutout生成一個大的遮擋塊從而完全覆蓋掉目標，相對于HaS可以更好地控制原圖片中遮擋與保留的比例。

1.1.2 基于光學變換的數(shù)據(jù)增強方法

基于光學變換的數(shù)據(jù)增強方法，主要是通過濾鏡等操作方法，將特定功能的濾鏡與圖像進行卷積操作，進而得到多種類型的數(shù)據(jù)。在偽造模型檢測中，有效的數(shù)據(jù)增強方法可以使模型提取更高級的偽造特征，提升模型的魯棒性。另一方面，經(jīng)過后處理的偽造圖片，加大了檢測模型檢測的難度，所以不法分子可能會通過后處理操作逃避檢測。因此本文選取了常見的10種基于光學變換的數(shù)據(jù)增強方法，ChannelShuffle、GaussNoise、GaussianBlur、IAAAdditiveGaussianNoise、IAASharpen、HueSaturationValue、RandomBrightnessContrast、Random-Brightness、ISONoise和ToSepia，其效果如圖2所示。

圖2 基于光學變換的數(shù)據(jù)增強結果Fig.2 Data enhancement results based on optical transformation

1.2 基于數(shù)據(jù)增強的偽造檢測模型

1.2.1 特征提取網(wǎng)絡

本文使用的特征提取網(wǎng)絡為Xception網(wǎng)絡。XceptionNet主要有輸入層、中間層以及輸出層3個部分組成，共有36個卷積層。Xception網(wǎng)絡設計并使用了深度可分離卷積，其結構如圖3所示，深度可分離卷積由兩個連續(xù)的卷積運算組成：（1）對輸入的每個channel，分別進行3×3卷積操作，并將結果拼接。（2）對上一步卷積中的拼接結果，進行1×1卷積操作來獲取跨通道的相關性。與普通卷積核相比，可以通道間和空間上的相關性分離開來，提高了特征表達能力。相比于Inceptionv3，可以在不增加網(wǎng)絡復雜度的情況下提升精度。

圖3 深度可分離卷積Fig.3 Depth separable convolution

1.2.2 本文網(wǎng)絡模型

本文選擇文獻[13]中Xception作為本文的特征提取網(wǎng)絡，對RGB通道中的特征進行學習。在預處理方面使用遮擋式和光學變換這兩大類方法，目的是對輸入數(shù)據(jù)進行相應的預處理。之后將Xception網(wǎng)絡的全連接層修改為[2 048，1]，使用Sigmoid進行判別輸出，網(wǎng)絡結構圖如圖4所示。

圖4 本文的網(wǎng)絡結構Fig.4 Framework of model proposed by this paper

1.2.3 損失函數(shù)

本文使用的損失函數(shù)為BCEWithLogitsLoss，損失函數(shù)公式如下：

其中，x為模型的輸出值，y代表樣本的真實標簽，真實人臉為1，偽造人臉為0。p代表預測為真實人臉的概率，反之，1-p表示預測為偽造人臉的概率。Sigmoid函數(shù)使真假類別概率分布在（0.1）區(qū)間，即大于0.5預測為假，反之預測為真。

2 實驗分析與結果

2.1 實驗數(shù)據(jù)

為了有效地驗證本文提出的方法，本文采用Face-Forensics++[13]數(shù)據(jù)集，該數(shù)據(jù)集中包括人臉替換和表情操控兩大類，共計4種篡改類型。人臉替換有Deepfakes、FaceSwap，表情操控有Face2Face、NeuralTextures。其中Deepfakes和NeuralTextures是基于深度學習方法，F(xiàn)aceSwap和Face2Face是基于計算機圖形方法。每種數(shù)據(jù)集包括Raw（C0）、HQ（C23）、LQ（C40）三種壓縮方式。由于高壓縮率會丟失相應的篡改特征，導致模型準確率下降，而在C0、C23上檢測的準確率高達98%+，所以本文為提高模型在抗壓縮方面的能力，本文選取C40作為本文的實驗數(shù)據(jù)。

由于官方給定的劃分格式嚴格規(guī)定了視頻之間的生成關系，這樣可使實驗結果更具有一定的可比性。所以本文按照劃分格式對FaceForensics++數(shù)據(jù)集中的視頻進行劃分，每一種類型的偽造視頻劃分為Manipulated和Origianl兩組，每組又劃分為訓練集、驗證集和測試集。之后使用MTCNN（Multi-Task Convolutional Neural Network）對人臉進行檢測獲取人臉框，并向外擴張0.3倍保存。共制作50 000個實驗樣本作為實驗數(shù)據(jù)集，數(shù)據(jù)集如表1所示。

表1 數(shù)據(jù)集的描述Table 1 Description of training set and testing set

2.2 實驗環(huán)境配置

本文實驗平臺為linux，GPU為4塊TITAN X（Pascal）顯卡。深度學習框架為Pytorch1.2。為提高檢測性能，所用算法均使用ImageNet預訓練模型，不使用其他數(shù)據(jù)增強策略，圖片大小統(tǒng)一設置為299×299。學習率調(diào)整策略為Adam，超參數(shù)設置為：lr=0.000 2，Weight-Decay（權重衰減）=0.001，Batchsize=40，epoch=10。為保證實驗結果的穩(wěn)定性，在訓練和測試過程中設置相同隨機種子。

2.3 評價指標

本文將深度偽造檢測視為一個二分類問題，使用ACC作為評價指標公式如下。其中Sigmoid輸出區(qū)間為[0，1]，圖片判斷閾值設置為0.5，小于0.5則認為是真視頻。

2.4 實驗結果分析

2.4.1 探究各類遮擋式方法的參數(shù)設置

后處理操作會破壞偽造視頻中存在的高頻GAN指紋信息，導致模型漏檢、錯檢情況的發(fā)生。本文將遮擋式數(shù)據(jù)增強方法作為預處理模塊，放置于Xception網(wǎng)絡之前，目的是讓網(wǎng)絡輸入多種類型的人臉數(shù)據(jù)，這樣可以避免網(wǎng)絡學習到某一局部特征，使其關注到更多具有判別信息的特征。由于GridMask、Cutout、HaS和RandomErasing設置不同的參數(shù)，會產(chǎn)生不同的效果，為了選取一組合適的參數(shù)設置，本文對其關鍵參數(shù)進行對比實驗（主要是遮擋面積的大小），其余參數(shù)盡可能選用其在原文中的參數(shù)，不同參數(shù)設置的遮擋效果如圖5所示，由于RandomErasing是隨機生成遮擋大小，故使用原文參數(shù)（sl=0.02,sh=0.4，擦除大小的上下閾值）。實驗在FaceForensics++中的五種C40壓縮率的篡改數(shù)據(jù)集上進行，遮擋概率為p=0.5，實驗結果如表2所示。

圖5 不同遮擋參數(shù)設置的結果Fig.5 Results of different parameter settings

表2 各類遮擋式方法的參數(shù)設置的結果Table 2 Result of parameter setting of various occlusion methods

從實驗結果中可以看出，遮擋式數(shù)據(jù)增廣策略在不同參數(shù)條件下，檢測效果不同。由于其超參數(shù)為遮擋面積的大小，遮擋面積過大容易遮擋住偽造人臉，過小不能使網(wǎng)絡關注到更多具有判別信息的特征。本文還與基準模型（Baseline，XceptionNet）進行了對比實驗，實驗結果如表3所示，結果表明經(jīng)過遮擋式數(shù)據(jù)增強在RGB上學習到相應的偽造特征明顯優(yōu)于基線網(wǎng)絡所提取的特征，其中RandomErasing方法的增強效果最佳，從中可以看出，遮擋式增強在深度偽造檢測領域同樣有效果，該增強可以有效地提升網(wǎng)絡的檢測能力。

表3 各類遮擋式方法的結果對比Table 3 Comparison of results of various occlusion methods

2.4.2 基于光學變換的數(shù)據(jù)增強方法

基于光學變換的數(shù)據(jù)增強方法是計算機視覺中常用的訓練方法。有效的數(shù)據(jù)增強方法可以使模型學習到更多魯棒的特征。為此本文選取了10種常見的光學變換數(shù)據(jù)增強方法，進行了實驗，實驗結果如表4所示。從實驗結果中可以看出只有RandomBrightnessContrast這一光學變換方法有提升，提升約0.07個百分點。它主要是用于調(diào)整圖像的對比度和亮度，如圖6所示，該方法抑制了某些偽造圖片中的底層取證特征，迫使模型學習到更加魯棒偽造線索。這在相關比賽中也有所體現(xiàn)，如針對黑人臉部的偽造圖片錯檢的情況會經(jīng)常發(fā)生。

表4 基于光學變換方法的實驗結果對比Table 4 Comparison of experimental results based on optical conversion methods

圖6 RandomBrightnessContrast處理的結果Fig.6 RandomBrightnessContrast processing result

通過表4可以得知，單一的光學變換方法對于深度偽造檢測模型的性能提升有限，為了探究多種數(shù)據(jù)增強方法的組合對檢測模型性能帶來的影響。因此本文根據(jù)上述中的實驗結果，選擇部分方法進行組合實驗，主要為RandomBrightnessContrast（BanBC）、HueSaturation-Value（HueSV）、IAASharpen（IAAS）、GaussNoise（GNoise）、GaussianBlur（GBlur）等常見的后處理方法。實驗結果如表5所示，從實驗結果中可以看出RanBC&Chan&IAAS提升效果較好，相比于baseline模型提升約0.21個百分點。結合表4與表5的結果，發(fā)現(xiàn)單一的光學變換數(shù)據(jù)增強方法對深度偽造檢測模型帶來的影響不明顯，有的方法甚至會帶來性能的下降。推測其原因是單一的光學變換數(shù)據(jù)方法帶來的樣本多樣性較小，網(wǎng)絡仍然會集中地關注到單一的偽造特征，缺少了數(shù)據(jù)的多樣性。而多種增強方法的組合，增加了數(shù)據(jù)的多樣性，使網(wǎng)絡能更多地學習到具有判別信息的特征。

表5 不同光學變換的融合實驗Table 5 Fusion experiment of different optical transformations

2.4.3 模型的魯棒性的研究

近年來深度偽造檢測算法發(fā)展迅速，但其主要方法仍然是通過數(shù)據(jù)驅(qū)動，去擬合卷積神經(jīng)網(wǎng)絡模型。由于偽造圖像在經(jīng)過壓縮、模糊等后處理等操作時，會造成部分偽造特征消除，這不僅會導致肉眼無法分辨真?zhèn)蔚慕Y果，對于檢測模型來說，也容易造成漏檢、錯檢等情況的發(fā)生。為了驗證模型的魯棒性，本文選用高斯模糊、高斯噪聲、亮度和對比度變換進行了模擬實驗，預訓練模型使用的表3和表4中效果最好的模型，實驗結果如表6所示。

表6 驗證集在后處理操作中的表現(xiàn)Table 6 Performance of validation set in post-processing operations

從實驗結果中可以看出，盡管遮擋式數(shù)據(jù)增強可以加強對某些細節(jié)特征的提取，但在面對模糊和噪聲后處理操作時，檢測精度有不同程度的下降，同樣基線模型（baseline）也有相同的情況。這樣說明噪聲對于偽造線索破壞較大。值得注意的是，當數(shù)據(jù)增強方法和數(shù)據(jù)后處理操作一致時，相比基線模型，經(jīng)過這種數(shù)據(jù)增強的方法會獲得很好的檢測性能提升。在面對多種后處理操作的情況時，使用多種數(shù)據(jù)增強組合方法盡管性能表現(xiàn)較好。面對當前的互聯(lián)網(wǎng)環(huán)境中可能會存在多種的后處理情況，所以在訓練檢測模型時使用較多的數(shù)據(jù)增強方法增強模型的魯棒性，可以很好地應對后處理操作。

2.4.4 模型的泛化性分析

由于數(shù)據(jù)增強提升了模型在后處理數(shù)據(jù)上的表現(xiàn)，但是否提升了模型的泛化性能力，仍需驗證。因此本文使用本領域的常用的泛化性分析方法對模型的泛化性能力進行了研究，即在Face2Face數(shù)據(jù)集上訓練模型，在其他數(shù)據(jù)集上進行驗證。實驗結果如表7所示。從結果中可以看出，本文所使用的數(shù)據(jù)增強方法，對于模型在泛化性能的提升并未起到明顯的作用。也從側(cè)面說明了篡改數(shù)據(jù)類型的多樣性對于訓練檢測模型的重要性。

表7 模型的泛化性實驗對比Table 7 Experimental comparison of model generalization

3 可視化分析

為進一步探究檢測模型在進行分類決策時，重點關注于哪些區(qū)域，本文使用類激活熱力圖（Gradient-weighted Class Activation Mapping，Grad-CAM）[21]對本文數(shù)據(jù)集進行可視化分析。Grad-CAM可以對偽造檢測模型提供一定的解釋性。通過目標的梯度信息，來說明檢測模型對于哪些位置信息比較敏感。具體原理如下，通過定義第m個特征圖對于類別b的權重為abm，其計算方式如下：

其中，Z表示第m個特征圖中的像素的數(shù)量，yb表示類別b的決策分數(shù)，表示第m個特征圖中像素點(i,j)敏感程度。在得到相應的權重后，送入到ReLU激活函數(shù)處理，最終得到類激活圖公式如下：

本文選取了部分圖片使用Grad-CAM進行可視化，其中包括偽造樣本、真實樣本以及錯檢的樣本。其效果如圖7所示，從結果中可以看出經(jīng)過數(shù)據(jù)增強訓練的檢測模型其激活的區(qū)域明顯大于Baseline模型。對于錯檢的圖片，Baseline模型的決策分數(shù)為0.48左右，而Augmentation決策分數(shù)為0.99。這在熱力圖中可以得到解釋，Augmentation的激活區(qū)域較大并且更為準確，這有利于模型最后的決策。通過Grad-CAM可視化分析在一定程度上說明遮擋式數(shù)據(jù)增強方法可以使檢測模型的激活面積增大，提升偽造特征的泛化性能力，證明了其對于偽造模型訓練的有效性。

圖7 Grad-CAM可視化效果Fig.7 Grad-CAM heatmaps

4 結語

本文主要探究了遮擋式增強方法以及基于光學變換的增強方法對于深度偽造檢測模型的影響，對其魯棒性和泛化性進行了測試，并使用Grad-CAM進行可視化對數(shù)據(jù)增強所起的作用進行可解釋分析。實驗結果表明，遮擋式方法均有一定效果的提升，其中RandomErasing相比其他遮擋式方法效果較好。在基于光學變換的數(shù)據(jù)增強方法中，對比度和亮度變換對于模型的檢測精度有一定提升。相比于增加網(wǎng)絡模型結構等操作，數(shù)據(jù)增強方法簡單有效，在訓練檢測模型時使用多種類的數(shù)據(jù)增強方法可以獲得很好的魯棒性能，但不能提升模型泛化性。由于后處理操作會使偽造視頻丟失很多關鍵的特征，所以在后續(xù)工作中，將進一步對深度偽造視頻的魯棒性特征進行研究，以此來提升模型的魯棒性。