李 敏

（國(guó)家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作北京中心，北京 100160）

0 引 言

人臉深度偽造技術(shù)，是指通過(guò)自動(dòng)編碼器、生成式對(duì)抗網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)模型將包含人臉的圖片或視頻合并、疊加到源圖片或視頻上，借助神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行大樣本學(xué)習(xí)，將個(gè)人的聲音、面部表情及身體動(dòng)作拼接到源圖片或視頻中，合成虛假內(nèi)容的人工智能（Artificial Intelligence，AI）技術(shù)[1]。相較于傳統(tǒng)的人臉合成技術(shù)，人臉深度偽造技術(shù)可實(shí)現(xiàn)人臉更高真實(shí)度的生成與替換。人臉深度偽造技術(shù)一經(jīng)上線即取得了廣泛應(yīng)用。采用該技術(shù)的應(yīng)用軟件“ZAO”和“去演”一度風(fēng)靡一時(shí)。人們紛紛通過(guò)這些軟件將自己的面部替換為影視劇中演員的人臉，從而生成以用戶人臉為主角的影視劇視頻?？焓?、抖音等知名短視頻/直播軟件也基于該技術(shù)提供了一鍵AI 換臉等的相關(guān)功能。

然而，由于神經(jīng)網(wǎng)絡(luò)算法的開(kāi)源性，人臉深度偽造技術(shù)被一些不法分子用來(lái)實(shí)施違法犯罪活動(dòng)。該技術(shù)還被用來(lái)將明星或個(gè)人的人臉合成在成人電影中，以謀取巨大利益，或通過(guò)生成包括他人人臉的虛假視頻取得身份認(rèn)證從而盜取賬號(hào)、財(cái)產(chǎn)等。這些技術(shù)濫用的情況給個(gè)人隱私、社會(huì)治安甚至國(guó)家安全帶來(lái)了巨大的挑戰(zhàn)[2]。因此，對(duì)視頻中深度偽造的人臉進(jìn)行檢測(cè)和鑒別，現(xiàn)已成為世界各國(guó)政府、企業(yè)乃至個(gè)人所關(guān)注的熱點(diǎn)問(wèn)題之一。

近年來(lái)，隨著人臉深度偽造技術(shù)的廣泛應(yīng)用，對(duì)視頻中深度偽造人臉的檢測(cè)技術(shù)取得了快速的發(fā)展。作為科研成果的風(fēng)向標(biāo)，專利文獻(xiàn)常常能夠體現(xiàn)出相關(guān)技術(shù)領(lǐng)域中技術(shù)發(fā)展的方向和脈絡(luò)?；诖耍疚膰@近年來(lái)涉及視頻中深度偽造人臉檢測(cè)技術(shù)的專利文獻(xiàn)，分析該技術(shù)在我國(guó)的最新研究進(jìn)展和發(fā)展方向，以對(duì)我國(guó)視頻中深度偽造人臉檢測(cè)技術(shù)的研發(fā)、專利申請(qǐng)及專利分析等提供依據(jù)。

1 專利申請(qǐng)趨勢(shì)分析

本文在中國(guó)專利全文數(shù)據(jù)庫(kù)（CNTXT）中對(duì)涉及視頻中深度偽造人臉檢測(cè)技術(shù)的專利文獻(xiàn)進(jìn)行檢索，基于檢索結(jié)果對(duì)該領(lǐng)域?qū)＠纳暾?qǐng)趨勢(shì)進(jìn)行了簡(jiǎn)要分析。涉及視頻中深度偽造人臉檢測(cè)技術(shù)的專利申請(qǐng)量年度趨勢(shì)如圖1 所示。從圖1 可以看出，視頻中深度偽造人臉檢測(cè)技術(shù)相關(guān)專利申請(qǐng)從2019 年開(kāi)始逐漸起步，在2022 年達(dá)到頂峰，2023年因可能涉及部分尚未被公開(kāi)的專利申請(qǐng)無(wú)法被統(tǒng)計(jì)而有所降低。截至檢索日2023 年7 月31 日，2019—2023 年間在中國(guó)申請(qǐng)并公開(kāi)的與視頻中深度偽造人臉檢測(cè)相關(guān)的發(fā)明專利申請(qǐng)共有196 件。下面的分析將圍繞這些專利文獻(xiàn)展開(kāi)。

圖1 視頻中深度偽造人臉檢測(cè)技術(shù)專利申請(qǐng)趨勢(shì)圖

2 技術(shù)發(fā)展方向

通過(guò)對(duì)2019—2023 年與視頻中深度偽造人臉檢測(cè)技術(shù)相關(guān)的中國(guó)專利申請(qǐng)文獻(xiàn)進(jìn)行分析，可以根據(jù)樣本類型的不同以及信息提取方式的不同，將視頻中深度偽造人臉檢測(cè)技術(shù)的發(fā)展分為以下幾個(gè)方向。

2.1 有偽造樣本學(xué)習(xí)方法

在視頻中深度偽造人臉檢測(cè)方法中，要想訓(xùn)練得到有效的深度偽造人臉檢測(cè)模型，需要對(duì)大量樣本進(jìn)行學(xué)習(xí)。而所學(xué)習(xí)的樣本中需要包括偽造人臉樣本的方法，即為有偽造樣本學(xué)習(xí)方法[3]。其利用真假成對(duì)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)樣本，通過(guò)神經(jīng)網(wǎng)絡(luò)挖掘的形式分別提取真人臉和假人臉的可區(qū)分特征，從而訓(xùn)練分類器進(jìn)行識(shí)別。根據(jù)信息提取角度的不同，有偽造樣本學(xué)習(xí)方法又可細(xì)分為基于空域信息、基于時(shí)域信息、基于頻域信息、基于注意力機(jī)制以及跨模態(tài)檢測(cè)方法。

2.1.1 基于空域信息的方法

基于空域信息的視頻中人臉深度偽造檢測(cè)方法可直接從視頻幀圖像的空域提取特征信息，對(duì)圖像幀中存在的淺層或深層的視覺(jué)偽影進(jìn)行檢測(cè)[4]。例如，CN114926885A 公開(kāi)了一種基于局部異常的強(qiáng)泛化深度偽造人臉檢測(cè)方法，首先對(duì)訓(xùn)練數(shù)據(jù)集中的真假人臉視頻進(jìn)行幀分解，檢測(cè)出人臉位置后，剪裁得到連續(xù)的人臉圖像訓(xùn)練集，將其輸入自適應(yīng)空域富模型進(jìn)行訓(xùn)練。通過(guò)可學(xué)習(xí)的高通濾波器，幫助挖掘細(xì)微的噪聲特征，得到訓(xùn)練好的局部異常檢測(cè)網(wǎng)絡(luò)。將待檢測(cè)數(shù)據(jù)集中的人臉圖像輸入訓(xùn)練好的局部異常檢測(cè)網(wǎng)絡(luò)，進(jìn)行最終人臉真假分類。該方法通過(guò)在空域中進(jìn)行二階局部異常學(xué)習(xí)，從人臉圖像的深度特征圖中挖掘局部區(qū)域的異常，實(shí)現(xiàn)對(duì)真?zhèn)稳四樀挠行z測(cè)。

2.1.2 基于時(shí)域信息的方法

基于時(shí)域信息的視頻中人臉深度偽造檢測(cè)方法不再止步于僅關(guān)注單幀內(nèi)的偽影信息，能夠通過(guò)對(duì)視頻幀之間存在的偽造信息的檢測(cè)從而識(shí)別深度偽造痕跡。例如，CN112488013A 公開(kāi)了一種基于時(shí)序不一致性的深度偽造視頻檢測(cè)方法。該方法先獲取視頻數(shù)據(jù)集，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，獲得視頻幀的人臉圖像，再將視頻幀輸入微調(diào)的網(wǎng)絡(luò)Xception+卷積模塊的注意力機(jī)制模塊網(wǎng)絡(luò)進(jìn)行訓(xùn)練，用于提取視頻幀級(jí)特征。再用訓(xùn)練好的Xception 網(wǎng)絡(luò)進(jìn)行視頻連續(xù)幀的特征提取，并輸入雙向長(zhǎng)短期記憶網(wǎng)絡(luò)+條件隨機(jī)場(chǎng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。最后，使用訓(xùn)練好的模型對(duì)待測(cè)試的視頻進(jìn)行偽造檢測(cè)。該方法利用偽造技術(shù)造成視頻在幀間的時(shí)序不一致性，結(jié)合雙向長(zhǎng)短期記憶網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)算法，提升了對(duì)深度偽造視頻的檢測(cè)效果。

2.1.3 基于頻域信息的方法

基于頻域信息的視頻中人臉深度偽造檢測(cè)方法能夠解決視頻被多次壓縮后偽影細(xì)小、冗余特征眾多而難以有效檢測(cè)偽影的問(wèn)題，可以很好地挖掘出由偽造方法帶來(lái)的偽影細(xì)節(jié)。例如，CN113609952A 公開(kāi)了一種基于密集卷積神經(jīng)網(wǎng)絡(luò)的深度偽造視頻頻域檢測(cè)方法，首先對(duì)視頻進(jìn)行預(yù)處理，對(duì)視頻中的人臉進(jìn)行定位和人臉圖像提??；其次，利用2D-DCT 變換將特征變換至頻域，構(gòu)建密集卷積神經(jīng)網(wǎng)絡(luò)并基于頻域數(shù)據(jù)進(jìn)行訓(xùn)練；最后，基于訓(xùn)練后的密集卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)深度偽造視頻。該方法在訓(xùn)練密集卷積神經(jīng)網(wǎng)絡(luò)時(shí)，以頻域圖像為單位對(duì)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)模型進(jìn)行訓(xùn)練，使得無(wú)論視頻壓縮在時(shí)域產(chǎn)生多少冗余特征，都不影響最終的檢測(cè)效果。

2.1.4 基于注意力機(jī)制的方法

基于注意力機(jī)制的視頻中人臉深度偽造檢測(cè)方法能夠從全局信息中關(guān)注篡改痕跡明顯的區(qū)域，從而提高視頻中人臉深度偽造的檢測(cè)效率。例如，CN114549481A 公開(kāi)了一種融合深度和寬度學(xué)習(xí)的深度偽造圖像檢測(cè)方法，首先將待檢測(cè)圖像轉(zhuǎn)換為灰度圖像并分割為兩組圖像塊，提取每個(gè)圖像塊的中心化頻域幅度譜并對(duì)其施加注意力機(jī)制，對(duì)兩組圖像塊進(jìn)行通道連接，得到初級(jí)特征；其次，利用預(yù)訓(xùn)練的通道卷積自編碼模塊的編碼器對(duì)初級(jí)特征進(jìn)行特征融合，得到兩個(gè)中級(jí)特征，分別作為特征映射流和特征增強(qiáng)流的輸入，得到兩個(gè)映射特征和增強(qiáng)特征；最后，根據(jù)寬度學(xué)習(xí)系統(tǒng)原理構(gòu)建3 個(gè)分類器，將3 個(gè)分類器的輸出結(jié)果進(jìn)行加權(quán)平均，得到最終的檢測(cè)結(jié)果。該方法對(duì)圖像塊施加注意力機(jī)制，可以從全局信息中關(guān)注篡改痕跡明顯的區(qū)域，模型訓(xùn)練所需的數(shù)據(jù)和時(shí)間少，實(shí)現(xiàn)了準(zhǔn)確度和效率的兼顧。

2.1.5 跨模態(tài)檢測(cè)方法

跨模態(tài)的視頻中人臉深度偽造檢測(cè)方法將視頻和音頻信息結(jié)合，對(duì)視頻中的聲音和唇形進(jìn)行匹配，從而從跨模態(tài)的視角來(lái)對(duì)深度偽造人臉視頻進(jìn)行檢測(cè)。例如，CN116310937A 公開(kāi)了一種深度偽造視頻檢測(cè)方法，對(duì)待檢測(cè)視頻進(jìn)行視頻特征分析，得到待檢測(cè)視頻的視音頻特征，并將待檢測(cè)視頻的視音頻特征輸入預(yù)設(shè)的多層感知機(jī)分類模型，最后得出檢測(cè)結(jié)果。其視音頻特征包括視覺(jué)特征和音頻特征，且預(yù)設(shè)的多層感知機(jī)分類模型是以深度偽造視頻的視音頻特征和真實(shí)視頻的視音頻特征為樣本，以與深度偽造視頻的視音頻特征與真實(shí)視頻的視音頻特征各自對(duì)應(yīng)的標(biāo)簽訓(xùn)練得到。該方法通過(guò)對(duì)音頻特征和視頻特征的匹配，可有效在視頻中檢測(cè)出唇形與語(yǔ)音不符的深度偽造人臉。

2.2 無(wú)偽造樣本學(xué)習(xí)方法

基于無(wú)偽造樣本學(xué)習(xí)方法的深度偽造人臉檢測(cè)方法在訓(xùn)練過(guò)程中不需要使用偽造人臉負(fù)樣本進(jìn)行訓(xùn)練，僅通過(guò)識(shí)別人臉的某些特定特性，或通過(guò)識(shí)別深度偽造過(guò)程中某一流程的紕漏即可進(jìn)行深度偽造人臉的檢測(cè)[5]。例如，CN116229539A 公開(kāi)了一種基于人臉邊緣帶狀的偽造人臉檢測(cè)方法，提供一視頻數(shù)據(jù)集，并將視頻數(shù)據(jù)集進(jìn)行間隔抽幀形成圖片幀集，采用人臉識(shí)別工具對(duì)圖片幀集進(jìn)行人臉檢測(cè)，將檢測(cè)后的人臉?lè)糯蠛筮M(jìn)行切割得到切割人臉圖集；對(duì)切割人臉圖集進(jìn)行處理，僅保留切割人臉圖集的人臉邊緣部分的帶狀圖片；將帶狀圖片作為訓(xùn)練的輸入，并對(duì)其進(jìn)行左右隨機(jī)翻轉(zhuǎn)和歸一化處理；采用網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，提取帶狀圖片的空間特征，將其保存為偽造人臉檢測(cè)模型；將預(yù)處理后的人臉邊緣帶狀圖放入模型中檢測(cè)識(shí)別，以對(duì)待檢測(cè)的圖片或視頻的真實(shí)性進(jìn)行檢測(cè)。該方法通過(guò)對(duì)人臉邊緣的帶狀部分進(jìn)行檢測(cè)，從而分辨圖片和視頻的真假，有利于提高對(duì)偽造人臉的識(shí)別準(zhǔn)確率。

3 結(jié) 語(yǔ)

視頻中深度偽造人臉的檢測(cè)技術(shù)對(duì)于目前出現(xiàn)的由于虛假人臉視頻的生成和使用而導(dǎo)致的各種社會(huì)問(wèn)題至關(guān)重要。深度偽造人臉檢測(cè)技術(shù)近幾年取得快速的發(fā)展，發(fā)展方向可分為有偽造樣本學(xué)習(xí)方法和無(wú)偽造樣本學(xué)習(xí)方法兩類。有偽造樣本學(xué)習(xí)方法可細(xì)分為基于空域信息的方法、基于時(shí)域信息的方法、基于頻域信息的方法、基于注意力機(jī)制的方法以及跨模態(tài)檢測(cè)方法。目前，國(guó)內(nèi)的眾多申請(qǐng)人在該領(lǐng)域取得了豐富的技術(shù)成果，但該技術(shù)目前仍處于快速發(fā)展階段，且其反技術(shù)——人臉深度偽造技術(shù)依然處于不斷發(fā)展過(guò)程中。因此，為了跟上人臉深度偽造技術(shù)的步伐，避免因無(wú)法有效檢測(cè)偽造人臉而導(dǎo)致的種種問(wèn)題，國(guó)內(nèi)申請(qǐng)人需加速對(duì)該技術(shù)的研究步伐，從而為社會(huì)穩(wěn)定、國(guó)家安全等提供有力的技術(shù)支持。