曾錦華，邱秀蓮，卞新偉，施少培

（1.司法鑒定科學(xué)研究院 上海市司法鑒定專業(yè)技術(shù)服務(wù)平臺(tái) 司法部司法鑒定重點(diǎn)實(shí)驗(yàn)室，上海200063；2.華東政法大學(xué)，上海200042）

關(guān)鍵字：人臉合成；深度偽造；深度學(xué)習(xí)；生成式對(duì)抗網(wǎng)絡(luò)；實(shí)例研究

2017年12 月，Reddit網(wǎng)站出現(xiàn)一個(gè)名為“Deep-Fakes”的賬號(hào)，其上展示了將名人的人臉替換到色情視頻演員身上的一種機(jī)器學(xué)習(xí)算法。除了偽造色情作品外，該賬號(hào)還展示了偽造假新聞等破壞性更強(qiáng)的合成內(nèi)容應(yīng)用場(chǎng)景。至此，傳統(tǒng)的針對(duì)多媒體真實(shí)性取證研究的領(lǐng)域重新煥發(fā)生機(jī)，更多的研究工作開始關(guān)注于合成人像取證技術(shù)研究。

當(dāng)前，人像合成技術(shù)更多關(guān)注于人體頭部圖像區(qū)域的合成，當(dāng)然，部分研究工作亦關(guān)注于整個(gè)人體圖像的合成。本文重點(diǎn)闡述針對(duì)人體頭部（人臉）圖像的合成技術(shù)。現(xiàn)有的人臉合成技術(shù)大體可以分為四類，即人臉生成技術(shù)、換臉技術(shù)、人臉屬性操縱技術(shù)以及人臉表情操縱技術(shù)。其中，人臉生成指的是生成完全不存在的人臉圖像，通過生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks,GANs）技術(shù)可以合成真實(shí)感極高的高清人臉圖像。該技術(shù)為后續(xù)的基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的深度學(xué)習(xí)方法提供了大規(guī)模的合成人臉圖像數(shù)據(jù)庫(kù)。換臉技術(shù)指的是不同人之間針對(duì)人體臉部區(qū)域進(jìn)行替換的方法，其中主流技術(shù)包括依據(jù)經(jīng)典的計(jì)算機(jī)圖形學(xué)方法（如FaceSwap），以及近年來基于深度學(xué)習(xí)技術(shù)的DeepFake方法。人臉屬性操縱技術(shù)指的是修改某一人臉的面部屬性信息，實(shí)現(xiàn)面部動(dòng)作和屬性的控制，這里面部屬性包括性別、年齡、發(fā)色、膚色、佩飾（比如眼鏡）等內(nèi)容。人臉表情操縱技術(shù)則是將一個(gè)人的面部動(dòng)作行為遷移到目標(biāo)人臉圖像上，典型的技術(shù)包括Face2Face。此外，Deep Video Portraits技術(shù)可以將頭部位置、頭部旋轉(zhuǎn)、面部表情以及眼部動(dòng)作從一人遷移到目標(biāo)人體頭部圖像上。主流的用于研究和測(cè)試人臉換臉技術(shù)以及相關(guān)取證技術(shù)的公共數(shù)據(jù)庫(kù)包括FaceForensics++、DeeperForensics等。

主流的人像合成技術(shù)大體基于知名的深度學(xué)習(xí)技術(shù)GANs，該方法由Ian Goodfellow于2014年提出。GANs主要由兩部分組成，一個(gè)是生成器神經(jīng)網(wǎng)絡(luò)，另一個(gè)是鑒別器神經(jīng)網(wǎng)絡(luò)。生成器神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)生成目標(biāo)對(duì)象，而鑒別器神經(jīng)網(wǎng)絡(luò)則將前者生成的對(duì)象和原始數(shù)據(jù)庫(kù)中大量的真實(shí)樣本對(duì)象進(jìn)行比較，鑒別前者生成對(duì)象的真假程度。通過不斷的神經(jīng)網(wǎng)絡(luò)參數(shù)迭代調(diào)整，直至鑒別器神經(jīng)網(wǎng)絡(luò)無(wú)法區(qū)分樣本對(duì)象和生成器神經(jīng)網(wǎng)絡(luò)生成的對(duì)象，最終使得生成器神經(jīng)網(wǎng)絡(luò)在沒有大量先驗(yàn)知識(shí)以及先驗(yàn)分布的前提下，仍然可以很好地學(xué)習(xí)逼近真實(shí)目標(biāo)數(shù)據(jù)，并最終使神經(jīng)網(wǎng)絡(luò)生成的目標(biāo)對(duì)象達(dá)到以假亂真的程度。

隨著ZAO和FaceApp等人像合成開源移動(dòng)應(yīng)用程序的發(fā)布，以及部分開源程序的公布，使得人像合成視頻創(chuàng)造變得愈發(fā)容易。同時(shí)，互聯(lián)網(wǎng)上開始涌現(xiàn)大量的合成視頻指導(dǎo)教程，這都使已有的人臉識(shí)別等身份驗(yàn)證系統(tǒng)面臨重大挑戰(zhàn)，更嚴(yán)重的是隨之出現(xiàn)的詐騙等活動(dòng)，以及假新聞發(fā)布等，極大危害普通大眾信息獲取安全，甚至可能危害國(guó)家安全。本文在此通過人像合成視頻鑒定實(shí)例研究出發(fā)，研究人像合成技術(shù)以及相應(yīng)的鑒定實(shí)踐技術(shù)，并對(duì)人像合成鑒定關(guān)鍵技術(shù)進(jìn)行探討，為人像合成視頻司法鑒定提供可行的鑒定方法和技術(shù)途徑。

1 人像合成視頻鑒定實(shí)例研究

1.1 簡(jiǎn)要案情

在一起視頻真實(shí)性鑒定案件中，委托方送檢一份信件和一張SD存儲(chǔ)卡，信件內(nèi)容大體是敲詐勒索索要錢財(cái)，SD卡中包含一段文件名為“網(wǎng)上曝光.mp4”的視頻文件，文件大小為12 018 106字節(jié)，時(shí)長(zhǎng)為12 s，幀率為30幀·s，畫面大小為720像素×480像素，編碼方式為MPEG-4。視頻畫面內(nèi)容為賓館房間場(chǎng)景，畫面中一男子頭倚著枕頭靠在床頭，上半身肩膀赤裸，下半身蓋著被子，臉部側(cè)向一女子，而該女子裹著浴巾坐在該男子床邊，并背對(duì)著鏡頭。視頻中顯示該男子正與該女子交談，畫面中該男子頭部、眼睛和嘴唇均有動(dòng)作。視頻畫面中標(biāo)識(shí)有“非正常拍攝”字樣，畫面分辨率較低，畫面總體亮度較暗，無(wú)錄音并帶有噪聲，但畫面中仍能分辨出視頻中男子面貌，檢材錄像截圖如圖1所示，其中紅色區(qū)域經(jīng)過模糊處理以保護(hù)隱私。委托方要求對(duì)檢材錄像中紅框標(biāo)示的人臉是否合成形成進(jìn)行鑒定，其中紅框標(biāo)示的人臉在此稱之為需檢人臉，其所對(duì)應(yīng)的人像稱之為需檢人像。

圖1 檢材錄像截圖

1.2 鑒定過程與分析

1.2.1 屬性檢驗(yàn)

使用winhex軟件對(duì)檢材錄像文件的電子數(shù)據(jù)進(jìn)行檢驗(yàn)，在檢材錄像的文件末尾發(fā)現(xiàn)“Adobe After Effects CS6（Windows）”和“Adobe XMP Core”等信息，顯示檢材錄像經(jīng)Adobe After Effects CS6軟件剪輯生成，部分信息如圖2所示。

圖2 檢材錄像電子數(shù)據(jù)檢驗(yàn)信息

1.2.2 圖像處理

使用人臉檢測(cè)系統(tǒng)對(duì)需檢人臉進(jìn)行檢測(cè)，結(jié)果顯示無(wú)法對(duì)檢材錄像中的需檢人像人臉進(jìn)行自動(dòng)化檢測(cè)和提取，足以反映檢材錄像中需檢人臉圖像的圖像質(zhì)量較差。通過圖像處理系統(tǒng)截取檢材錄像中需檢人臉圖像計(jì)算需檢人臉圖像大小大致為40像素×50像素。由于檢材錄像中需檢人臉圖像質(zhì)量較差，對(duì)其圖像處理提高特征可辨識(shí)性顯得尤為重要。鑒定人首先對(duì)檢材錄像進(jìn)行逐幀截取，并針對(duì)檢材錄像中的需檢人像上半身區(qū)域圖像進(jìn)行裁剪，然后使用圖像降噪技術(shù)對(duì)裁剪后的目標(biāo)視頻圖像序列進(jìn)行降噪處理，并進(jìn)行旋轉(zhuǎn)、插值放大，以及亮度和對(duì)比度調(diào)整等圖像處理，需檢人像視覺效果得到一定改善，為后續(xù)人像合成特征提取和檢驗(yàn)奠定基礎(chǔ)。

1.2.3 檢驗(yàn)要點(diǎn)

考慮到檢材錄像中需檢人像圖像質(zhì)量較低，鑒定人的檢驗(yàn)要點(diǎn)如下：

（1）成像條件中的光照特征。檢材錄像畫面為黑白圖像，從錄像畫面中的場(chǎng)景布局可見，需檢人像左右兩側(cè)的床頭燈并未開啟，房間中光源照射方向呈現(xiàn)自上而下方向，可能為頂燈照射。對(duì)需檢人像頭部區(qū)域圖像檢驗(yàn)發(fā)現(xiàn)，在部分視頻圖像中，其左側(cè)額頭位置可見相對(duì)明亮條狀區(qū)域，說明需檢人像成像的光照條件應(yīng)為從左上側(cè)方向照射的光源，其光照特征與檢材錄像中的背景光照特征不符。

（2）需檢人像面部動(dòng)作特征。檢材錄像中需檢人像腿部不時(shí)有動(dòng)作，其頭部、嘴部在檢材錄像12 s時(shí)長(zhǎng)中一直保持類似說話狀態(tài)下的動(dòng)作。以某一關(guān)鍵畫面為基點(diǎn)，對(duì)檢材錄像中的需檢人像頭部和嘴部動(dòng)作進(jìn)行檢驗(yàn)。檢驗(yàn)發(fā)現(xiàn)，檢材錄像中需檢人像的頭部和嘴部動(dòng)作存在同步周期重復(fù)性運(yùn)動(dòng)特征。

1.2.4 分析說明

檢驗(yàn)發(fā)現(xiàn)，檢材錄像電子數(shù)據(jù)中包含“Adobe After Effects CS6（Windows）”信息，檢材錄像中需檢人像的頭部圖像光照特征與場(chǎng)景背景光照特征不符，需檢人像的頭部區(qū)域圖像動(dòng)作特征存在同步周期重復(fù)特征。經(jīng)綜合評(píng)斷，鑒定人最終給出了“檢材錄像中需檢人像的頭部圖像為合成形成”的鑒定意見。

1.3 案例鑒定技術(shù)探討

（1）合成和剪輯的關(guān)系。由本鑒定實(shí)例中對(duì)檢材錄像的屬性檢驗(yàn)可知，其是經(jīng)過Adobe After Effects軟件生成，可以初步推斷出檢材錄像為剪輯形成，但這些并不能回答委托方的委托事項(xiàng)，即檢材錄像中的需檢人臉圖像是否系合成形成。剪輯的概念包含合成，但剪輯不等于合成，合成可以認(rèn)為是剪輯技術(shù)中技術(shù)含量較高的實(shí)施手段和方法。

（2）圖像處理的重要性。本案件中，檢材錄像畫面進(jìn)行了去色、加噪等反取證技術(shù)處理，通過降低圖像質(zhì)量等方法對(duì)合成痕跡進(jìn)行掩飾，因此，鑒定過程中需要對(duì)檢材錄像畫面進(jìn)行圖像降噪和放大增強(qiáng)的圖像處理，以突出視頻畫面中的細(xì)微圖像特征，并用于后續(xù)的合成特征檢驗(yàn)。圖像處理可以認(rèn)為是聲像資料鑒定的基本技術(shù)，但同時(shí)也是最關(guān)鍵的核心技術(shù)。

（3）光照特征一致性。光照條件是視頻成像的重要組成部分，自然拍攝的視頻畫面中的物體，其光照特征與背景圖像具有較好的一致性和協(xié)調(diào)性，合成視頻中的目標(biāo)合成圖像由于異源成像條件，致使合成物體圖像和背景圖像的光照特征不一致，因此，可以通過檢驗(yàn)圖像中的目標(biāo)物體的光照特征與背景光照特征的一致性實(shí)現(xiàn)合成物體圖像鑒定。

（4）動(dòng)作特征異常。合成視頻中必須增加目標(biāo)物體的動(dòng)態(tài)特征來增強(qiáng)視頻畫面的真實(shí)感，針對(duì)人臉頭部合成或人臉合成，通常伴隨著人物的動(dòng)作行為，具體包括頭部運(yùn)動(dòng)、眼睛運(yùn)動(dòng)和嘴部動(dòng)作等。現(xiàn)有的人臉合成技術(shù)大體通過逐幀圖像生成方式，并未考慮視頻中幀與幀之間的動(dòng)作關(guān)聯(lián)性和自然程度。現(xiàn)有的研究方法有通過人體微動(dòng)作行為的協(xié)調(diào)性異常（比如眼球運(yùn)動(dòng)），以實(shí)現(xiàn)合成視頻鑒定。本案中，需檢人像的頭部和嘴部動(dòng)作特征存在周期重復(fù)異常，視頻中目標(biāo)人物的身份信息合成應(yīng)是通過異源頭部視頻序列圖像替換方式實(shí)現(xiàn)。可能受限于合適的異源頭部視頻圖像長(zhǎng)度限制或減少合成工作量角度出發(fā)，而采用周期重復(fù)替換方式實(shí)現(xiàn)。但對(duì)人物微動(dòng)作行為的檢驗(yàn)需要較好的圖像質(zhì)量保障，因此圖像處理就更顯其重要性。

2 人像合成鑒定關(guān)鍵技術(shù)探討

人像合成鑒定關(guān)鍵技術(shù)檢驗(yàn)內(nèi)容主要包含人臉和人體區(qū)域，涉及人體/面部組件和屬性、運(yùn)動(dòng)情況、微動(dòng)作行為、人體動(dòng)作與聲音的關(guān)聯(lián)性和一致性等。由于檢驗(yàn)內(nèi)容的廣泛性，其涉及的聲像資料司法鑒定項(xiàng)目亦比較繁多，包括圖像真實(shí)性鑒定、錄音真實(shí)性鑒定、人像鑒定、語(yǔ)音同一性鑒定，以及其他人工智能、模式識(shí)別等方法。人像合成鑒定相關(guān)的專家檢驗(yàn)技術(shù)可參考相關(guān)行業(yè)技術(shù)標(biāo)準(zhǔn)和技術(shù)規(guī)范，本文僅對(duì)人像合成鑒定中通過人工智能和模式識(shí)別技術(shù)的檢驗(yàn)關(guān)鍵技術(shù)進(jìn)行簡(jiǎn)要探討。

2.1 基于特征一致性的人像合成視頻鑒定技術(shù)

目前，主流的人像合成視頻技術(shù)包括FaceSwap、DeepFake、Face2Face方法等，這些方法生成的合成對(duì)象圖像序列通常會(huì)伴隨目標(biāo)對(duì)象圖像特征的紊亂和不協(xié)調(diào)，比如光照不一致、圖像抖動(dòng)、對(duì)象細(xì)微動(dòng)作不自然等。例如，現(xiàn)有的DeepFakes檢測(cè)技術(shù)所利用的特征包括時(shí)/空域、空域特征、外圍成像環(huán)境特征以及人體生物信號(hào)等。人像合成技術(shù)流程大體劃分為人臉檢測(cè)、人臉生成、圖像融合。針對(duì)各個(gè)合成實(shí)施階段中可能引入的特征不一致痕跡，通過基于特征一致性的人像合成視頻鑒定技術(shù)是一個(gè)重要途徑。該方法主要利用視頻圖像中目標(biāo)物體表面光照、陰影、視頻圖像中人物表情、姿態(tài)，以及圖像內(nèi)容紋理、運(yùn)動(dòng)物體運(yùn)動(dòng)軌跡等特征分析出發(fā)，判斷檢材視頻對(duì)象是否包含人像合成痕跡。

先對(duì)待檢測(cè)區(qū)域通過提取關(guān)鍵特征并建立特征描述來進(jìn)行圖像區(qū)域模型構(gòu)建。其中，可行的特征提取方法包括Scale-Invariant Feature Transform（SIFT）、Speeded Up Robust Features（SURF）、Local Intensity Order Pattern（LIOP）等。生成模型描述后，需要對(duì)局部區(qū)域之間的模型描述進(jìn)行差異比較，一般模型以矩陣形式表示，可以使用特征值、矩陣范數(shù)等參數(shù)對(duì)不同矩陣進(jìn)行差異衡量。模型差異比較后，需要對(duì)差異分值進(jìn)行進(jìn)一步建模分析?？紤]到自然視頻圖像本身存在一定程度的背景圖像與目標(biāo)圖像相對(duì)穩(wěn)定的模型描述差異變化，而合成對(duì)象與背景環(huán)境差異相對(duì)較大，通過對(duì)局部區(qū)域模型之間差異分值建模評(píng)估，可以實(shí)現(xiàn)對(duì)原始視頻圖像差異分值分布和對(duì)應(yīng)合成人像視頻圖像的有效區(qū)分?；谔卣饕恢滦缘娜讼窈铣梢曨l鑒定技術(shù)具體實(shí)施框架如圖3所示。

圖3 基于特征一致性的人像合成視頻鑒定技術(shù)實(shí)施框架

2.2 基于深度學(xué)習(xí)的人像合成視頻鑒定技術(shù)

現(xiàn)有主流的人像合成方法大體是基于卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，比如DeepFake以及其他各種基于GANs的合成技術(shù)。通過充分利用深度學(xué)習(xí)方法優(yōu)勢(shì)，利用深度學(xué)習(xí)方法對(duì)抗人像合成技術(shù)成為該領(lǐng)域的研究方法和思路。深度神經(jīng)網(wǎng)絡(luò)可以提取人臉圖像的細(xì)微特征，放大合成圖像中不自然的細(xì)節(jié)特征信息，實(shí)現(xiàn)合成視頻圖像中局部合成人像的識(shí)別和鑒定。

基于深度學(xué)習(xí)的人像合成視頻鑒定技術(shù)基本流程包括圖像預(yù)處理、特征提取和合成區(qū)域定位。在圖像預(yù)處理中，先對(duì)檢材視頻進(jìn)行分幀處理，并使用基于運(yùn)動(dòng)特征或基于聚類的關(guān)鍵幀檢測(cè)方法進(jìn)行視頻關(guān)鍵幀提取。為了突出合成圖像的細(xì)微特征差異，需要對(duì)視頻圖像進(jìn)行圖像預(yù)處理。視頻中的合成人像與自然人像在視覺上可能較難分辨，但其在高緯度特征空間中可能存在明顯差異，這也是深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的優(yōu)勢(shì)所在。經(jīng)過預(yù)處理后的圖像可以在后續(xù)的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行有效的特征提取，比如利用ResNeXt網(wǎng)絡(luò)。提取的合成人像特征經(jīng)過區(qū)域定位模型進(jìn)行最終的合成區(qū)域識(shí)別，可行的物體定位網(wǎng)絡(luò)模型包括SPPNet等。基于深度學(xué)習(xí)的人像合成視頻鑒定技術(shù)具體技術(shù)框架如圖4所示。

圖4 基于深度學(xué)習(xí)的人像合成視頻鑒定技術(shù)框架

2.3 專家檢驗(yàn)和自動(dòng)化檢測(cè)相結(jié)合

隨著自動(dòng)化人像合成檢測(cè)技術(shù)的愈發(fā)成熟，檢測(cè)技術(shù)準(zhǔn)確性得到了極大的提高。但其亦受到不斷更新的合成技術(shù)的挑戰(zhàn)。完善的人像合成視頻鑒定技術(shù)必然是專家檢驗(yàn)技術(shù)和人工智能自動(dòng)化檢測(cè)技術(shù)相輔相成的綜合取證，特別是在反取證技術(shù)手段結(jié)合下的人像合成視頻鑒定。比如，本文研究的人像合成視頻鑒定案例中，為了掩蓋人像合成痕跡，偽造者對(duì)合成視頻進(jìn)行了去色、加噪等降低圖像質(zhì)量的反取證圖像處理，檢材錄像中的合成人臉圖像質(zhì)量較差，在人臉檢測(cè)算法中甚至無(wú)法對(duì)人臉圖像進(jìn)行有效檢測(cè)和定位，也就無(wú)法進(jìn)行自動(dòng)化檢測(cè)算法中的后續(xù)特征提取和特征分類操作。然而，專家檢驗(yàn)技術(shù)有其獨(dú)到的優(yōu)勢(shì)，形成了豐富的專家經(jīng)驗(yàn)知識(shí)以及特征價(jià)值評(píng)估方法。專家檢驗(yàn)技術(shù)和人工智能自動(dòng)化檢測(cè)方法在人像合成視頻鑒定中，所利用的合成特征本質(zhì)上具有相似性，均是對(duì)人像合成中可能遺留的光照、運(yùn)動(dòng)、圖像紋理等方面存在的異常特征進(jìn)行有效提取和比較檢驗(yàn)，雙方技術(shù)各有其優(yōu)缺點(diǎn)。為了應(yīng)對(duì)日益復(fù)雜的人像合成技術(shù)挑戰(zhàn)，結(jié)合人像合成痕跡的專家檢驗(yàn)和人工智能自動(dòng)化檢測(cè)的鑒定方法將成為未來司法鑒定的必然趨勢(shì)和可行途徑。

3結(jié)語(yǔ)

現(xiàn)有的基于計(jì)算機(jī)圖形學(xué)方法以及卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的人像合成視頻技術(shù)對(duì)多媒體證據(jù)有效性以及假新聞等甚至危及國(guó)家安全方面所形成的潛在影響，本文從人像合成視頻司法鑒定實(shí)例研究出發(fā)，提出人像合成視頻鑒定專家檢驗(yàn)關(guān)鍵技術(shù)和實(shí)施方法。同時(shí)，針對(duì)人像合成視頻鑒定的基于人工智能的自動(dòng)化取證技術(shù)進(jìn)行探討，提出基于特征一致性的人像合成視頻鑒定技術(shù)，以及基于深度學(xué)習(xí)的人像合成視頻鑒定技術(shù)方案。人像合成技術(shù)以及相應(yīng)的取證鑒定技術(shù)必然將處于長(zhǎng)期的攻防狀態(tài)中，通過專家檢驗(yàn)技術(shù)和基于人工智能的自動(dòng)化檢測(cè)方法的有效結(jié)合將成為必然趨勢(shì)，兩者相輔相成，可以構(gòu)建相對(duì)完善的綜合鑒定取證方案。