李永強(qiáng)，白 天

(中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院，安徽 合肥230026)

0 引言

近年來，基于深度學(xué)習(xí)技術(shù)的圖像生成技術(shù)迅速發(fā)展，視頻人臉偽造技術(shù)也隨之日趨成熟。 利用此類技術(shù)的人臉偽造技術(shù)已經(jīng)可以欺騙普通人類[1]。但這些技術(shù)的濫用也引發(fā)了一些社會問題，因?yàn)檫@些技術(shù)可以利用公眾人物公開的視頻、圖像素材，偽造公眾人物出場的虛假視頻，發(fā)布虛假的言論，或偽造色情影片，破壞名譽(yù)。 由于Deepfakes 項(xiàng)目[2]的廣泛流傳，這一類技術(shù)常被通稱為Deepfake。 為了避免Deepfake 技術(shù)的濫用，許多研究團(tuán)體做出了卓越的貢獻(xiàn)。 ROSSLER A 等人發(fā)布了包含大量Deepfake 數(shù)據(jù)的公開數(shù)據(jù)集FaceForensics++[1]，以幫助研究人員研究檢測算法。 Facebook 開展了DFDC(Deepfake Detection Challenge)比賽并公布了訓(xùn)練數(shù)據(jù)集[3]。

早期的研究主要是從視頻中隨機(jī)提取幀，使用基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的二分類器進(jìn)行檢測[1]。 這樣的方法存在兩個(gè)問題。一是只使用了單幀信息，忽略了Deepfake 技術(shù)的動態(tài)缺陷，在低質(zhì)量場景下容易出錯(cuò)。 二是分類器與訓(xùn)練數(shù)據(jù)高度相關(guān)，不具備通用性，在對數(shù)據(jù)的生成模型未知的情況下，效果將會大打折扣。

另外有研究從頻域角度出發(fā)試圖解決問題。KORSHUNOV P[4]等人通過構(gòu)造圖片的頻率特征或統(tǒng)計(jì)特征等方法，構(gòu)造圖像質(zhì)量指標(biāo)(Image Quality Measures，IQM)，作為特征供支持向量機(jī)(Support Vector Machine，SVM)學(xué)習(xí)，但是通過構(gòu)造特征的方式需要大量專業(yè)知識，不能很好地泛化問題。 QIAN Y[5]等人從頻域提取到Deepfake 模型留下的特定頻率特征，在特定數(shù)據(jù)集上獲得了較好的效果。 然而無法保證不同的模型能產(chǎn)生類似的頻率特征，并且不同的有損壓縮方式也會帶來頻率噪聲，對頻域特征存在干擾，缺乏魯棒性。

針對以上問題，本文提出了一種基于深度學(xué)習(xí)的視頻中Deepfake 檢測方法。

本文的主要工作如下：

(1)提出卷積LSTM 的模型架構(gòu)，結(jié)合CNN 和長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)的模型架構(gòu)，融合了存在于幀間的時(shí)間信息，用于視頻中Deepfake 檢測。

(2)提出一種幀抽取方法，提高了Deepfake 動態(tài)缺陷的顯著性。

(3)提出一種基于人臉特征點(diǎn)進(jìn)行cutout 的數(shù)據(jù)增強(qiáng)方法，抑制了模型學(xué)會特定臉的現(xiàn)象。

(4)在公開數(shù)據(jù)集上進(jìn)行測試，并與文獻(xiàn)中其他算法進(jìn)行對比。

1 本文方法

通過對相關(guān)數(shù)據(jù)的分析可以發(fā)現(xiàn)，使用Deepfake偽造人臉的視頻在動態(tài)過程中會出現(xiàn)異常抖動。 對于幀之間獨(dú)立分析的方法無法發(fā)現(xiàn)這種抖動，僅局限于發(fā)現(xiàn)單幀畫面中的瑕疵。 而視頻質(zhì)量較差或使用有損視頻壓縮算法也會帶來許多瑕疵，當(dāng)模型無法區(qū)分這兩類瑕疵時(shí)，模型的性能將大大降低。 本文提出卷積LSTM 架構(gòu)，將CNN 與LSTM 進(jìn)行融合，用于解決傳統(tǒng)模型忽略時(shí)序特征的問題， 并提出一種基于人臉標(biāo)記點(diǎn)(landmarks)的cutout 方法，以抑制模型學(xué)會特定臉的現(xiàn)象。

1.1 模型架構(gòu)

卷積LSTM 分為CNN block 和LSTM block，CNN block 負(fù)責(zé)獲取空間信息，LSTM block 則從特征圖序列中獲取時(shí)間信息。 如圖1(a)所示，從視頻中提取N幀后，使用現(xiàn)有的人臉提取器對這些幀進(jìn)行人臉提取，得到人臉圖片序列，調(diào)整大小到CNN block 對應(yīng)的大小，在訓(xùn)練時(shí)，還需進(jìn)行動態(tài)數(shù)據(jù)增強(qiáng)。假設(shè)使用的CNN block 輸出512 維的特征圖，那么將得到N個(gè)512 維向量，在訓(xùn)練階段，每個(gè)向量還將經(jīng)過多層感知機(jī)得到標(biāo)簽的獨(dú)熱編碼， 用于約束特征圖。 將N個(gè)512 維的向量輸入LSTM block 中，模型最終按獨(dú)熱編碼的形式輸出預(yù)測標(biāo)簽。

圖1 模型架構(gòu)圖

1.1.1 幀抽取

由于生成模型的訓(xùn)練過程中沒有唯一標(biāo)準(zhǔn)的答案，因此生成結(jié)果具有一定的不確定性。 即對于相似的輸入，模型可能生成不相似的結(jié)果，尤其是處理毛發(fā)、斑點(diǎn)等特征的情況下，無法保證每次隨機(jī)生成的結(jié)果相同，從而導(dǎo)致了視頻中的抖動現(xiàn)象。記Ri表示原視頻的第i幀，F(xiàn)i表示Ri經(jīng)過Deepfake處理過的圖像，dr(i，j)表示原始視頻中第i和j幀的差異，即Ri和Rj的差異，df(i，j)表示Fi和Fj的差異。通常，dr(i，j)主要受視頻中人臉的姿態(tài)、光照等條件影響，而df(i，j)還額外受到模型不確定性error(i，j)影 響，如 式(1)所 示。 若|i-j|過 于 小，dr和df均 很 小，造成信息冗余。若|i-j|過于大，則df主要取決于dr，模型的抖動將難以捕捉。 因此，應(yīng)當(dāng)在保證一定最小間隔的前提下，選取相對緊湊的選取幀，本文實(shí)驗(yàn)中，采用在視頻中隨機(jī)選取時(shí)間點(diǎn)，以0.2 s 為間隔采樣，采樣總長度不超過32 幀。

1.1.2 人臉提取

現(xiàn)有的人臉提取算法已經(jīng)能滿足實(shí)際需要。 常見的人臉提取器有MTCNN[6]、dlib 等。 本文后續(xù)實(shí)驗(yàn)中，將使用MTCNN 提取人臉框及人臉特征點(diǎn)。

1.1.3 CNN-block

ImageNet 競賽極大推動了深度卷積網(wǎng)絡(luò)的發(fā)展，即使ImageNet 早已結(jié)束，圖像領(lǐng)域的新模型都會在ImageNet 上進(jìn)行基準(zhǔn)測試，并發(fā)布預(yù)訓(xùn)練模型?；谶@樣的預(yù)訓(xùn)練模型在其他任務(wù)上訓(xùn)練，可以加快訓(xùn)練收斂的速度，并且一般會使得模型最終效果更好、更穩(wěn)定。針對不同的應(yīng)用場景，有許多開箱即用的模型可以使用。 Resnet[7]系列因?yàn)槠淦毡樾?，具有良好的可移植性，幾乎所有平臺都能使用。Mobilenet[8]系列針對邊緣節(jié)點(diǎn)算力較弱的場景，在可接受的準(zhǔn)確率損失的前提下，極大地減少了計(jì)算力。 Efficientnet[9]則相反，使用更大的模型，更大的輸入尺寸，獲得更好的擬合效果。 本文提出的架構(gòu)設(shè)計(jì)中，可以根據(jù)實(shí)際場景輕松地切換CNN-block。 為了后續(xù)模塊中能保留充足的信息，CNN-block 將會向后輸出一個(gè)較大維度的向量，如512 維向量，同時(shí)為了保證這個(gè)向量中包含了有關(guān)于訓(xùn)練目標(biāo)的信息，在訓(xùn)練過程中，對于每個(gè)向量，都會經(jīng)過一個(gè)淺層神經(jīng)網(wǎng)絡(luò)，輸出單幀的標(biāo)簽預(yù)測值， 從對特征向量本身進(jìn)行約束，以提高特征本身對于標(biāo)簽的相關(guān)性。

1.1.4 LSTM-block

單獨(dú)使用CNN-block 無法處理變長數(shù)據(jù)和有序數(shù)據(jù)，因此需要結(jié)合使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)來處理時(shí)間信息。LSTM 是一種特殊的RNN，如圖2 所示，本文所用的結(jié)構(gòu)在原始LSTM 的基礎(chǔ)上加入了實(shí)例正則化(Instance Normalization，IN），這是由于不同的數(shù)據(jù)可能使用的替換人臉不同，每個(gè)圖像實(shí)例之間獨(dú)立地進(jìn)行正則化，可以加快模型收斂。 結(jié)合CNN 與LSTM 后，模型擁有融合時(shí)空信息的能力，能同時(shí)挖掘數(shù)據(jù)中Deepfake的動態(tài)缺陷和靜態(tài)缺陷，提升了數(shù)據(jù)信息利用率。

1.2 數(shù)據(jù)處理

1.2.1 數(shù)據(jù)增強(qiáng)

常規(guī)的數(shù)據(jù)增強(qiáng)方法依然適用，但是需要注意一點(diǎn)的是，部分增強(qiáng)方法在同一組數(shù)據(jù)中需要保持一致。 除了1.2.3 節(jié)中將要介紹的cutout 方法，本文實(shí)驗(yàn)中使用到的數(shù)據(jù)增強(qiáng)方法如表1 所示。

表1 數(shù)據(jù)增強(qiáng)方法及參數(shù)說明

1.2.2 基于人臉特征點(diǎn)的cutout

cutout[10]是一種數(shù)據(jù)增強(qiáng)技術(shù)，在圖像中隨機(jī)選擇一個(gè)正方形區(qū)域，進(jìn)行全0 填充。Deepfake 偽造的痕跡主要存在于面部及交界處，直接使用cutout 技術(shù)，有可能將面部覆蓋，從而引入有害噪聲，影響模型的學(xué)習(xí)。人臉標(biāo)記點(diǎn)用于定位人臉不同的區(qū)域，dlib能檢測68 個(gè)特征點(diǎn)，如圖3(a)所示。 本文實(shí)驗(yàn)中，利用這些點(diǎn)劃分了6 個(gè)區(qū)域，如圖3(b)所示，區(qū)域所用的特征點(diǎn)序號如表2 所示。 每個(gè)區(qū)域按均等概率進(jìn)行cutout。

表2 不同區(qū)域所用特征點(diǎn)序號

圖2 LSTM 單元結(jié)構(gòu)圖

2 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)使用了2 個(gè)數(shù)據(jù)集，F(xiàn)aceForensics++和DFDC。 實(shí)驗(yàn)中，將利用DFDC 數(shù)據(jù)訓(xùn)練CNN 模型，使用遷移學(xué)習(xí)技術(shù)，在完整模型架構(gòu)中，使用Face-Forensics++對應(yīng)數(shù)據(jù)子集進(jìn)行模型微調(diào)，最后在Face-Forensics++對應(yīng)的子集上進(jìn)行效果驗(yàn)證。

2.1 數(shù)據(jù)集介紹

FaceForensics++數(shù)據(jù)集包含了1 000 個(gè)從YouTube上篩選的視頻片段，片段以單人視頻為主，視頻物理分辨率從480p 到1 080p 不等。 通過Deepfakes[2]、Face2Face[11]、FaceSwap[12]以及NeuralTextures[13]四種算法生成偽造視頻以及對應(yīng)的模型。 對于每個(gè)視頻，根據(jù)H264 編碼時(shí)使用的參數(shù)分為無損 (RAW)、低壓縮(C23)和高壓縮(C40)三種版本，對于偽造視頻，還提供了偽造區(qū)域的mask 信息。

DFDC(Deepfake-Detection-Challenge)數(shù)據(jù)集來源于Kaggle 上的算法競賽，由AWS、Facebook 等共同創(chuàng)建，其中的偽造視頻由視頻、音頻以及音視頻同時(shí)偽造。 數(shù)據(jù)集共471.84 GB，分為50 個(gè)相互獨(dú)立的分卷，每個(gè)分卷中有若干視頻和一個(gè)標(biāo)簽文件，每個(gè)文件對應(yīng)的標(biāo)簽中標(biāo)明了數(shù)據(jù)是否是造假視頻， 對于偽造視頻， 還提供了其原視頻的標(biāo)簽，相比FaceForensics++， 沒有公布進(jìn)行偽造的算法和模型，也沒有提供偽造區(qū)域的mask 信息。

圖3 人臉特征點(diǎn)及cutout 區(qū)域

2.2 訓(xùn)練細(xì)節(jié)

為了方便對比基線，實(shí)驗(yàn)的CNN 模型選用了Xception[14]，單幀輸入大為224×224，對應(yīng)輸出feature map 的大小為512。 使用帶有梯度裁切的adam 優(yōu)化器進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)置為0.000 1，損失函數(shù)使用focal loss[15]，其 表 達(dá) 式 為 式(2)，αt設(shè) 置 為0.25，γ 設(shè)置為2，focal loss 可以緩解數(shù)據(jù)中的不平衡，使模型更專注于難樣本。 訓(xùn)練時(shí)存在兩種約束，需要交替訓(xùn)練。訓(xùn)練CNN 的階段，設(shè)置batch size 為128，迭代次數(shù)為10 個(gè)epoch，使用DFDC 數(shù)據(jù)作為預(yù)訓(xùn)練。綜合訓(xùn)練階段，使用FaceForensics++的某個(gè)子集進(jìn)行訓(xùn)練，設(shè)置batch size 為32，迭代次數(shù)為20 個(gè)epoch。

2.3 實(shí)驗(yàn)結(jié)果及對比

本文方法使用DFDC 數(shù)據(jù)預(yù)訓(xùn)練CNN 模塊，然后遷移到FaceForensics++對應(yīng)的數(shù)據(jù)子集上進(jìn)行后續(xù)的完整訓(xùn)練。 數(shù)據(jù)子集包括無損、低壓縮和高壓縮三種質(zhì)量下的四種算法生成的偽造視頻和對應(yīng)的真實(shí)視頻進(jìn)行混合的12 種集合。 結(jié)果如表3 所示。 相比于文獻(xiàn)[1]中給出的基于Xception 的基線算法，在12 種集合上的效果均有提升，尤其是在低視頻質(zhì)量的情況下，提升較為明顯。

表3 在FaceForensics++數(shù)據(jù)集上準(zhǔn)確率對比(%)

3 結(jié)論

本文提出了一種用于檢測視頻的Deepfake 檢測方法。 提出將CNN 和LSTM 結(jié)合的卷積LSTM，充分利用了視頻中幀的空間信息和Deepfake 的動態(tài)缺陷這一時(shí)間信息。 針對任務(wù)目標(biāo)，提出了一種幀提取方法，提高了Deepfake 動態(tài)缺陷的顯著性。 提出一種基于人臉特征點(diǎn)的cutout 方法用于數(shù)據(jù)增強(qiáng)，同時(shí)抑制模型學(xué)會特定臉的現(xiàn)象。 在FaceForensics++數(shù)據(jù)集上的實(shí)驗(yàn)表明，算法在各種壓縮質(zhì)量和換臉?biāo)惴ㄏ?，對比基線算法均有提升。