眭占菱 何亮亮 蔣潔

摘? ?要：數字經濟新產業(yè)、新業(yè)態(tài)和新模式獲得加速培育的全新場景下，滲透千行百業(yè)的數據信息深度合成技術在提高生產效率、改善生活質量、助力經濟社會發(fā)展的同時，眾多惡意應用亦嚴重威脅個人權益、政治安全、社會穩(wěn)定和國家安全等等。文章從深度合成數據的概念與類型入手，結合待證數據的特質與現行采信模式，集中探討了深度合成待證數據影響鑒真算法實效、引發(fā)漣漪式信任衰退、威脅安全體系等關鍵性風險，進而提出嚴格遏止源頭違規(guī)、重塑專家鑒定模式、加強環(huán)境經驗支撐等一系列健全辨識機制的方式方法。

關鍵詞：深度合成;待證數據;風險剖析;辨識機制

Abstract On one hand， the technology of data deep synthesis， which has been used in thousands of industries， improves the production efficiency and the quality of life， and helps the economic and social development. On the other hand， many malicious applications also seriously threaten personal rights， political security， social stability and national security. This paper starts with the concept and classification of data deep synthetic， combined with the characteristics of data to be proved and the current criteria of the accepting， focuses on the key risks in affecting the effectiveness of authentication algorithm， causing trust decline， infringing personal rights and interests， and threatening the security system. Then， it put forward a series of methods， such as strictly curbing source violations， reshaping the expert witness， and strengthening the supporting mechanism of circumstantial experience.

Key words deep synthesis; data to be proved; risk analysis; identification mechanism

隨著第五次科技革命和第三次產業(yè)革命深入推進，迅速滲透社會生活方方面面的人工智能技術應用和開放的海量數據有序流動成為新時期培育新產品、打造新業(yè)態(tài)的關鍵支撐。2020年3月30日，《中共中央、國務院關于構建更加完善的要素市場化配置體制機制的意見》勾勒了加速培育各領域數據高效開發(fā)利用和數據資源有序流動的數據要素市場的具體方案，既釋放出巨大的信息紅利、高質量助推智能社會構建，亦暴露出迭代更新的先進產品持續(xù)引發(fā)諸多新型風險。如短短三年間，深度合成數據技術的主要產出形式已經從肉眼可以識別的粗糙拼接物發(fā)展為“多重軟件檢測+人工復檢”仍然難以辨識的仿真精品①。

隨著《新一代人工智能發(fā)展規(guī)劃》《促進新一代人工智能產業(yè)發(fā)展三年行動計劃（2018-2020年）》《關于促進人工智能和實體經濟深度融合的指導意見》等貫徹落實，深度合成數據產品的制作成本大幅降低而仿真水平迅速提升，致使基于人工智能程序和深度學習算法的數據內容合成類違規(guī)制品以幾何乘數泛濫成災，不僅給社會監(jiān)管帶來巨大困難，嚴重威脅自然人的人身安全和財產安全[1]，一定程度上甚至阻滯了作為人權保障最后手段的規(guī)則救濟的有序運轉[2]。尤其是在將運用深度合成技術偽造的數據信息作為待證資料的特殊場景下，“如果證據規(guī)則跟不上人工智能技術發(fā)展的腳步，公民的基本權益和程序正義面臨的風險將大幅增加?！盵3]亟待以《新一代人工智能治理原則》的八項治理原則為軸心，結合《數據安全法（草案）》《人工智能標準化白皮書》等，搭建具象場景中人工智能應用治理的實踐方案。

1? ?深度合成數據的概要分析

雖然美圖秀秀、會聲會影、Adobe Photoshop等應用程序嵌入了修改數據內容的功能，但通過生成對抗網絡（GAN）的機器學習周期進行的以極端逼真的方式重塑現實的數據深度合成可以學習模仿任何數據分布，能夠創(chuàng)造出與現實世界極其相似的虛擬世界①。

自美國著名科技媒體網站“主板”（Motherboard）首次曝光深度偽造色情視頻的事件以來，社會各界飽受深度合成技術暗黑面的困擾[4]。雖然全球主要站點大力封禁深度偽造的色情制品或政治人物音視頻[5]，但持續(xù)走低的制作成本和不斷降低的發(fā)布難度以及互聯網固有的零邊界、匿名化、娛樂性等特質使得惡意行為者不僅能夠在同一站點反復發(fā)布且可以在互聯網管制死角不斷創(chuàng)建和傳播各類偽造的數據制品[6]，嚴重威脅個人權益、社會穩(wěn)定、政治和國家安全等。

事實上，信息時代的數據深度合成（Deep Synthesis）本身是一個中性概念，泛指借助深度學習算法模型等智能化方案自動生成文本、圖像、語音、視頻等數據內容的一系列處理技術。

一方面，數據深度合成的正向應用將創(chuàng)建的虛擬角色、聲音模擬、視頻渲染等廣泛應用到娛樂文化、社交通訊、醫(yī)療保健等眾多場景之中，提升音視頻制作的效率與質量，建立使用者的社交數字化分身，還原歷史人物或故去親友的肖像，提升醫(yī)學影像精度，彌補聽力缺陷等。如2020年全國兩會期間，搜狗公司聯合新華社發(fā)布了通過語音、表情、唇動、肢體動作等數據深度合成的算法實時驅動的全球首個動態(tài)3D虛擬主播“新小微”，更好地滿足新聞呈現多樣化的需求，推動智能化的媒體融合[7]。

另一方面，數據深度合成的負向應用，亦稱深度偽造（Deepfake），通過文本數據重組、表情數據遷移、動作數據遷移等方式生成表面上高度可信的仿真制品，傳播虛假信息，操控受眾反應，嚴重威脅整個社會的安全體系與保障機制[8]。如FakeApp、FaceWap、DeepNude等一鍵合成不雅內容的應用程序引發(fā)各界爭議②;又如，深度合成馬斯克、奧巴馬、默克爾、佩羅西等歐美名流政客的虛假視頻引發(fā)廣泛的信任危機和安全憂慮。

總體而言，基于深度學習的數據合成技術主要應用在文本合成、視覺合成、聽覺合成等三大領域。深度文本合成和視覺合成因循數據收集、模型訓練、偽造內容等核心步驟創(chuàng)造虛擬數字人及其所處的生態(tài)環(huán)境。深度聽覺合成則主要采用拼接式語音合成或基于參數估算的合成方法重塑現實。相關戲仿性應用產品迅速迭代，難以精準及時地予以鑒識③，亟待構建和完善規(guī)?；囊?guī)制體系。

2? ?待證數據的采信難題

證據是認定案件事實的基礎和關鍵。21世紀以來，隨著運用計算機工具的違法犯罪模式日趨多樣化并呈現出高速增長的態(tài)勢，以二進制編碼記載的能夠證明案件事實的數據愈加繁雜，立法部門開始關注電子證據的相關性、真實性、合法性及其證明值等等?！队嬎銠C犯罪現場勘驗與電子證據檢查規(guī)則》首次以列舉方式明確指出電子數據、存儲媒介和電子設備皆是電子證據這一全新證據形態(tài)的主要分支?！蛾P于辦理刑事案件收集提取和審查判斷電子數據若干問題的規(guī)定》隨即明確將電子數據界定為“案件發(fā)生過程中形成的以數字化形式存儲、處理、傳輸的能夠證明案件事實的數據”，并將“文檔、圖片、音視頻、數字證書、計算機程序等電子文件”列為典型的電子數據形式①?！豆矙C關辦理刑事案件電子數據取證規(guī)則（2019）》進一步勾勒了電子數據證據收集、提取、檢查、實驗、檢驗、鑒定等全生命周期的規(guī)制體系。

2.1? ? 待證數據的特征分析

第五輪信息技術革命場景下進入訴訟階段的數據囊括了所有以二進制代碼形式存在的試圖經過取證、舉證、質證和認證后能夠作為證據使用的信息內容及其派生物。大數據、物聯網、云計算等技術應用的迅速迭代使得當前司法實踐中充斥著多樣化的新型待證數據。相應的證明能力（待證數據的適格性驗證）和證明力（待證數據的證明效果驗證）的法庭采信與人證、物證、書證等傳統(tǒng)證據形態(tài)差異較大。如一般證據規(guī)則為了更好地審核證據材料的真實性和合法性，通常要求扣押物理載體，但云計算的廣域分布式處理模式和一臺云服務器可能同時承載大量來源迥異的數據庫的特質，導致實踐中難以獲取云端數據的物理介質。又如，大多數的傳統(tǒng)證據形態(tài)是完整的有形物，待證數據卻往往是零散的無形物，不僅難以形成完備合法的證據鏈，甚至不易證明證據來源的合法性。

2.2? ? 待證數據的采信模式

信息時代中飛速增長的待證數據必須經過查證屬實才能作為認定事實的依據。我國立法部門不僅對待證數據的來源、取證主體、收集方式、存儲和出示等完整流程的合法性、數據內容的真實性及其與案件事實的關聯性等的法庭審查作出原則性規(guī)定，還逐步建立了有關待證數據技術鑒定的多項國家標準和行業(yè)標準。尤其是評估判斷待證數據是否可以合理認定為證據真實和鏈條完整的難題，除了少量可以經由原被告或控辯雙方都認可或是其他證據足以充分證明予以解決之外，絕大多數需要法官依據經驗和理性進行審查判斷或是行業(yè)專家進行高水平技術鑒定，部分個案輔以證人證言為證據基礎。

2.2.1? ?法官審查判斷

雖然我國沒有明確認可西方國家普遍采用的自由心證制度，卻積極應用在實踐之中。傳統(tǒng)的錄音錄像證據曾在很長時間內被認定為可信度較高的證據形式，法官通?；趯I(yè)知識和審判經驗，依據公正且準確的標準，自行判斷其證明力。隨著數字化音視頻的迅猛發(fā)展，個人無法直接讀取、需要借助特殊工具轉換輸出的以二進制形式存儲的待證數據大幅增加。全生命周期涉及物理載體的可信性、收集方法的合法性、輸出內容的真實性、相關人員的獨立性以及流程的完整性等一系列技術性較強的關鍵因素，即便經驗豐富的法官也會產生較大的質疑和困惑，難以直接依據經驗和理性完成采信審核。然而，隨著千行百業(yè)的數字化進程日益加快，數據類證據材料在認定案件事實中的價值愈加凸顯，眾多場景下不宜僅認定為輔助性參考資料。因之，聘請具有學科權威身份和相關認證資質的專家運用科學原理進行真實性鑒定逐漸成為采信待證數據的重要前提。

2.2.2? ?專家技術鑒定

隨著計算機技術、生物醫(yī)藥技術及其他各種專精化技術發(fā)展，復雜零散的數據涉及的專門性問題難以確定和解決。判斷數據內容是否被篡改或偽造需要采用專業(yè)工具和技術方法進行獲取、識別、存儲、傳輸和分析?？茖W驗證的范圍甚至包括數據取證主體、取證程序、取證標準、取證技術和取證工具等強關聯要素。這一任務惟有通過具備行業(yè)領先技術能力的專家群體依據鑒真規(guī)則開展精準辨識，方可較為圓滿地完成。

3? ?深度合成待證數據的風險評估

數碼攝影誕生之初的圖像質量較差，往往只能作為補充證人證言的說明證據。直至高質量的視頻數據直接完整地記錄了案件事實，方才充分展現出證據價值。然而，數據量級擴大且合成技術日趨復雜等大幅提升了識破偽造音視頻的難度。具有專門知識的特聘人員依據科學原理作出的結論性鑒定意見能夠準確辨識待證數據真實性的假設處于風雨飄搖之中。

3.1? ? 降低說明證據可靠性

長期以來，證人證言一般不會被視為個案場景下獨立證明案件事實的實質證據，而是作為幫助找出案件真相的說明證據。原因在于，個人對于物體或事件的認知一般包括感知、理解、回憶和證明等四大要素。人類的記憶并非自體封裝的音視頻重現系統(tǒng)。記憶的提取和表達是一個從龐雜的記憶數據庫的各子域拼湊出對應內容的過程。證人不僅應當知悉需要作證的內容，往往還需要通過傳聞或推測填補闕值內的記憶巢白。因之，記憶內容的準確性很容易受到外部信息與內在心理的影響。證人通常也會主動為記憶準確性附加警示助詞，如“我覺得”“我認為”“我不能肯定”等[9]。如英國華威大學（University of Warwick）的研究團隊通過測試視頻重現與受試者之間的記憶關系，證實偽造視頻數據對于證人記憶的強烈暗示性①。由此，通過深度合成關涉案件的主要數據重塑現實體驗并向證人展示，比傳統(tǒng)的文本偽造或圖像偽造更具直觀性和沖擊力，容易導致證人因混淆實際記憶和視覺效果而在無意中提供虛假證言[10]。也就是說，一方在法庭庭審過程中提交的深度偽造視頻鑲嵌的欺詐性數據內容有可能影響證人準確回憶事實真相，嚴重妨礙司法公正。

3.2? ? 影響鑒真算法成效

近年來，基于復雜模型鑒識待證數據與運用合并算法提升偽造數據可信度之間的“貓鼠游戲”愈演愈烈。持續(xù)迭代的生成對抗網絡編程技術致使深度偽造數據方案能夠迅速更新鑒真算法抵御模塊，難以形成能夠長期有效地應用到各行各業(yè)的可靠鑒真方法。目前主流的深度合成數據檢測技術仍然依賴基于偽造內容數據集對模型檢測器的差異化訓練和基于生物信息不一致性對偽造內容數據的辨識，很難妥善應對迅速提升的深度合成技術。如紐約州立大學奧爾巴尼分校（University at Albany，State University of New York）的研究團隊發(fā)現早期深度合成視頻技術的訓練數據庫中大多是原始的靜態(tài)圖像數據，導致算法無法準確偽造生理特征，輸出的仿真制品中虛擬數字人的眨眼頻率遠遠低于真實視頻，進而開發(fā)出實驗準確率高達95%的眨眼檢測方法②。即通過第一神經網絡掃描檢測是否包含人臉并自動定位到眼部，進而將眼部截圖輸入第二網絡，再由第二網絡通過特征提取、序列學習和狀態(tài)預測等辨識是否為真人眨眼，進而鑒別出偽造視頻。然而，這一全新的深度數據合成檢測模塊僅在短時間內展現出較好的驗證效果。事實上，該項成果公布不久之后，研究團隊就收到了大量能夠通過“眨眼測試”的匿名視頻。這些制作者迅速在數據訓練集中增加了大量閉眼圖像數據，積極改良識別器算法，進而導致“眨眼測試”完全失靈。

3.3? ? 引發(fā)漣漪式信任衰退

信息時代中，難以及時準確地完成深度合成待證數據的鑒真義務，有可能引發(fā)整個社會范圍內的漣漪式信任衰退。窄域而言，具有極強技術性的深度偽造產品往往展現出難以識別的逼真度，不僅加大司法部門對于有關案件真相的數據真實性的質疑，當事人還有可能宣稱作為證據的數據是經過深度偽造合成的虛擬內容，以達到混淆視聽之目的。廣域而言，普遍運用深度合成技術的大環(huán)境下，人們不敢輕易地相信所見所聞，嚴重威脅社會信任機制。

3.4? ? 侵害個人合法權益

深度合成待證數據的完整流程充斥著侵害個人隱私、尊嚴、平等、自由及其他合法的人身權和財產權的風險[11]。如原始數據的收集主體、收集方式和收集對象均有可能侵害個人隱私。又如，深度合成過程中對于訓練內容的特征提取可以分為自動提取和手動提取兩大分支。能夠自主學習的數據自動提取模型在設計中可能被有意或無意地嵌入歧視性或侮辱性規(guī)則，手動進行分類器訓練的模型則一直受到操作者主觀偏見或認知缺陷的影響，嚴重威脅自然人的尊嚴權、平等權和自由權。

3.5? ? 威脅國家安全體系

深度合成技術負面應用的多個領域直接關聯國家安全體系。對于政商名流、新聞事件、軍事領導及社會事務相關人員與場景數據的深度偽造，存在著不少待證情境下難以精準及時地進行辨識的難題，已經成為影響政治安全、社會安全、國家安全的不穩(wěn)定因素。

4? ?健全深度合成待證數據的辨識機制

萬物互聯的背景下，網絡信息技術普遍應用在生產生活之中，數據對于查明案件事實具有極其重要的價值。有效避免錯誤肯定深度合成待證數據的方法不是棄之不用，而是充分發(fā)揮多方力量、迅速建立健全科學有效的辨識機制。

4.1? ? 嚴格遏止源頭違規(guī)

從源頭上遏止深度合成待證數據是查清案件事實、營建可信社會的根本措施。既需要加強直接關聯的政策法規(guī)建設，亦需要強化對相關技術和數據的研究與持有機構、企業(yè)及從業(yè)群體的監(jiān)督管理，減少數據深度合成的負面作用。如國家網信辦發(fā)布的《網絡音視頻信息服務管理規(guī)定》明確指出，2020年1月1日起，發(fā)布深度合成視頻前必須按照有關規(guī)定開展安全評估并以顯著方式標識“非真實”字樣，且不得用于發(fā)布虛假新聞等場景，并開始部署深度合成音視頻的鑒別技術體系與健全相應的辟謠機制。

4.2? ? 重塑專家鑒定模式

深度合成待證數據不僅無法憑借肉眼辨別，甚至難以通過傳統(tǒng)方法加以鑒識。盡管眾多科研機構、頭部企業(yè)和司法鑒定部門正在積極開發(fā)各種深度合成檢測工具，但迄今為止整體上落后于數據偽造技術。行業(yè)專家依據經驗和知識辨別重要的微小變化的能力往往不足以識別高度仿真的深度偽造制品。待證數據的真實性認定亟待重塑專家鑒定模式。

目前而言，深度合成圖像數據檢測的關鍵在于組織能夠及時有效地挖掘定制化修改點的專家團隊。深度偽造音視頻與真實視頻的特征差異比對迫切要求技術專家構建完善的深度神經網絡架構以便更好地提取不自然的元素特征，并在具體場景中輔以虹膜驗證、指紋驗證以及人工鑒偽等。

4.3? ? 加強環(huán)境經驗支持

早在全球深度偽造危機爆發(fā)之初，美國國防部高級研究計劃局（Defense Advanced Research Project Agency）就開始探索如何建立一個能夠辨別圖像或視頻可信度的自動評分系統(tǒng)[12]。通過集中比對待檢圖像數據或視頻數據在內容上與各種外部經驗數據的不一致之處（如與太陽光照位置不對應的陰影影像數據），提升深度合成數據的檢驗準確性。同時，有必要授權一方在一些具體場景中有權要求舉行聽證會，迫使待證數據提供方提供能夠間接證明真實性的重要環(huán)境信息。

5? ?結語

深度合成待證數據是對社會正義最后防線、廣大居民人身和財產安全乃至國家和社會有序運轉的巨大威脅。相關證偽方案執(zhí)行不暢有可能導致社會信任體系全面崩盤。亟待從源頭到末端營建精準高效的風險辨識與應對框架。如不僅通過推廣區(qū)塊鏈認證簽名工具加強數據來源標注，還有必要建立基于區(qū)塊鏈和智能合約的待證數據來源追溯機制，推動智慧司法，助力數字經濟，支撐智能化社會建設。

參考文獻：

[1]? Elizabeth Caldera.Reject the Evidence of Your Eyes and Ears.Deepfakes and the Law of Virtual Replicants[J].Seton Hall Law Review，2019（50）：177.

[2]? Russell Spivak.Deepfakes：The Newest Way to Commit One of the Oldest Crimes[J].Georgetown Law & Technology Review，2019（3）：332.

[3]? Jeff Ward.10 Things Judges Should Know About AI[R].Deepfakes Report Act of 2019，116th Congress，H.R.3600，2019.

[4]? Kevin Roose.How Come the Fake Videos，Too[N].New York Times，2018-05-04.

[5]? Janko Rocttgers.Reddit，Twitter Ban Deepfake Celebrity Porn Videos[EB/OL].[2018-02-07].https：//www.nasdaq.com/articles/reddit-twitter-ban-deepfake-celebrity-porn-videos-2018-02-07.

[6]? Jessica Ice.Defamatory Political Deepfakes and the First Amendment[J].Case Western Reserve Law Review，2019（70）：427.

[7]? “她”來了！全球首位3D版AI合成主播精彩亮相[EB/OL].[2020-05-20].http：//www.xinhuanet.com/2020-05/20/c_1126011533.htm.

[8]? Douglas Harris.Deepfakes：False Pornography Is Here and the Law Cannot Protect You[J].Duke Law & Technology Review，2019（17）：99.

[9]? Mark Bennett.Unspringing the Witness Memory and Demeanor Trap：What Every Judge and Juror Needs to Know About Cognitive Psychology and Witness Credibility[J].American University Law Review，2015（64）：1331.

[10]? Richard Schmechel，Timothy Toole.Beyond the Ken？ Testing Jurors Understanding of Eyewitness Reliability Evidence[J].Jurimetrics，2006（46）：178.

[11]? Robert Chesney.Deep Fakes：A Looming Challenge for Privacy，Democracy，and National Security[J].California Law Review，2019（107）：1753.

[12]? Matt Turek.Media Forensics[EB/OL].[2020-11-30].https：//www.darpa.mil/program/media-forensics.

作者簡介：眭占菱（1991-），女，南京信息工程大學中意網絡侵權研究所助理研究員，研究方向：信息科技與信息規(guī)制;何亮亮（1980-），男，南京信息工程大學法政學院副教授，研究方向：信息科技與信息倫理;蔣潔（1979-），女，南京信息工程大學中意網絡侵權研究所、法政學院教授，研究方向：信息政策法律與信息倫理。