周群峰

圖/視覺中國

近日，在貴陽一家公司擔任副總經(jīng)理的孟先生急匆匆趕到招商銀行貴陽高新支行，要求工作人員將60萬元打到一個賬戶。

接待他的服務專員穆方琴向《中國新聞周刊》回憶，這名客戶神色慌張地說，其公司董事長急需轉一筆60萬元資金，但不方便直接走款，便先把錢轉給他，再由他轉給領導指定的一個賬戶。

“領導說已經(jīng)把錢匯給我了，因為銀行系統(tǒng)滯后，要晚點才能到賬。你趕緊幫我轉過去，領導催著呢?！泵舷壬钢奶煊涗浝锏囊粡垍R款憑證催促道。

穆方琴接過手機，發(fā)現(xiàn)這張“匯款憑證”的畫質(zhì)有些模糊，蓋章位置也不符合銀行規(guī)定，便提醒他要謹慎。孟先生稱，領導讓他轉賬前，還特意跟他通過QQ打了視頻通話?！耙曨l和聲音跟領導都對得上，難道還有假？”

穆方琴引導孟先生再次給對方撥通視頻電話，接通后，她發(fā)現(xiàn)畫面有些卡頓，對方不敢說話，還迅速關了視頻。由于疑點太多，穆方琴提醒孟先生不要急著轉賬，可先與領導的秘書等確認下，避免造成個人財產(chǎn)損失。

幾天后，該行收到了孟先生的感謝信。原來他經(jīng)過核實發(fā)現(xiàn)，視頻那頭的人不是領導，而是不法分子使用了AI換臉技術。當這項技術日趨成熟，不僅僅應用在影視劇中，AI換臉詐騙案例也陡然增多。

孟先生所遭遇的詐騙陷阱被穆方琴識破了，但還有更多人陷了進去。

經(jīng)過視頻通話后，個體老板黃曉亮（化名）看到了對方的相貌，聽到了對方的聲音，逐漸消除了疑慮，他確信這位剛添加自己QQ賬號的人正是自己的表哥，于是將30萬元轉到了對方指定的賬戶。

近日，山東濟南商河縣公安局刑警大隊三中隊中隊長張振華向《中國新聞周刊》講述了上述案件。

今年5月底的一天，黃曉亮在家瀏覽短視頻App時，收到一條私信，對方自稱是他的表哥、任某領導的馬某。寒暄幾句后，對方又讓黃曉亮添加其QQ號，添加后，對方用QQ給他撥打了一個視頻通話，7秒鐘后，對方以“信號不好”為由，表示還是打字聊天方便。

取得黃曉亮信任后，對方表示因為自己是領導，不方便用自己身份信息將一筆65萬元的款項轉給某個賬號，想讓黃曉亮幫忙轉款。為了表示誠意，對方還要了他的銀行賬號，很快將“轉款憑證”發(fā)給了他。

黃曉亮看到憑證后，發(fā)現(xiàn)賬號和名字都的確是他的，但遲遲未到賬，就沒有立即給“表哥”的賬戶轉賬。大約20分鐘后，“表哥”給他發(fā)消息說，大額轉款會有延遲，那邊急著要這筆錢，問他能不能先墊付一下。

黃曉亮再次給“表哥”撥打了視頻通話，接通后，對方稱自己正在開會，聲音很低，10多秒便掛斷了視頻。這次通話徹底消除了黃曉亮的顧慮。隨后，他轉出了30萬元，對方收款后催促他繼續(xù)轉出剩余的35萬。

被不斷催促的黃曉亮再次起了疑心，他點開對方的短視頻賬號，發(fā)現(xiàn)該賬號已被屏蔽。他給表哥打電話核實，才知道其表哥未提過轉款要求，黃曉亮隨后報警。

令警方意外的是，犯罪嫌疑人在收到黃曉亮轉來的30萬元后，在5分鐘內(nèi)便去黃金店完成了消費，時間之快超出了常人想象。

張振華告訴《中國新聞周刊》，在偵破過程中，他們咨詢了很多技術人員，這種視頻合成加實時通話的技術含量很高，很多公司的技術水平實際上達不到。

警方根據(jù)嫌疑人與黃曉亮網(wǎng)聊時的IP地址，判定該團伙在緬北實施詐騙、由國內(nèi)銷贓洗錢，是一起采用AI技術換臉冒充受害者熟人進行網(wǎng)絡詐騙的案件。

張振華稱，商河警方分兩次去廣東東莞將該犯罪團伙7人抓獲?！八麄兎磦刹槟芰軓姡ㄆ趽Q賓館，這些賓館不規(guī)范，對實名入住的要求也不高。我們通過技術手段才鎖定了目標?！蹦壳?，該案已進入審查起訴階段。

近年來，利用AI技術進行詐騙的案例已在全國多地發(fā)生。

包頭市公安局電信網(wǎng)絡犯罪偵查局發(fā)布的一個案例稱，今年4月20日，福州市某科技公司法人代表郭某的“好友”突然通過微信視頻聯(lián)系他，聲稱自己的朋友在外地投標，需要430萬元保證金，且需要公對公賬戶過賬，所以想要借用郭某公司的賬戶走賬。

這位“好友”向郭某要了銀行卡號，聲稱已把錢轉入郭某的賬戶，并將銀行轉賬截圖發(fā)給他?；谝曨l聊天信任的前提，郭某并未核實錢是否到賬，在大約10分鐘內(nèi)陸續(xù)轉給對方430萬元（涉案銀行卡為包頭市蒙商銀行對公賬戶）后，郭某給好友的微信發(fā)了一條消息，稱事情已辦妥。但讓他沒想到的是，好友給他回復了一個問號。郭某撥打好友電話，對方說沒有這回事。警方認定，對方通過AI換臉技術，佯裝成好友對郭某實施了詐騙。包頭市警銀聯(lián)動，成功緊急止付涉嫌電信詐騙資金330多萬元。

浙江金道律師事務所律師夏文忠表示，這類涉及AI換臉的案件，通常是不法分子假冒被害人的親友、相關領導等，偽造事實、隱瞞真相，使被害人陷入錯誤的認識，從而交付財物，涉嫌詐騙罪。還有的犯罪分子利用AI技術，刻錄被害人的裸聊視頻或偽造裸照，要求被害人交付財物作為不公開的代價，涉嫌敲詐勒索罪。

夏文忠告訴《中國新聞周刊》，在他代理的一個案件中，一名五大三粗的男子通過AI換臉，把自己變成了聲音甜美的年輕女性形象，與被害人進行視頻裸聊后，以將被害人的不雅視頻、照片發(fā)給被害人朋友相要挾，敲詐被害人錢財。被害人先后給犯罪分子轉賬20萬元。

山東濟南商河警方將涉嫌“AI換臉”詐騙的嫌疑人抓獲。圖/“濟南公安”微信公眾號

在犯罪分子進一步敲詐勒索時，被害人無能為力，只得報警。經(jīng)過辦案機關的偵查，鎖定了當時在緬北的犯罪團伙。經(jīng)過勸投及相關措施，多數(shù)犯罪分子已回國主動投案自首。

鄭州市公安局金水分局反詐大隊民警李敏告訴《中國新聞周刊》，現(xiàn)實中有些不法分子騙術并不高明，甚至不需要借助AI換臉就可騙取錢財。

她在一次反詐宣講時，一位聽課者告訴她，自己的父親是一位70多歲的農(nóng)民，有一天，一個自稱是當?shù)乜h長的人添加他父親微信，父親點開頭像后發(fā)現(xiàn)其和當?shù)乜h政府官網(wǎng)上的縣長頭像一致，就信以為真。添加后不久，他父親就被這名“假縣長”騙走數(shù)萬元。

李敏也曾遇到一個案例，一名領導干部收到一個陌生號碼發(fā)來的短信，對方自稱是這名領導干部的上級，因個人職務問題不方便直接轉款給他人，就先把20萬元轉給這名被騙的領導干部，再由其代轉過去。這名受害人通過QQ收到“上司”發(fā)來的“轉款憑證”后，信以為真，將20萬轉到了不法分子指定的銀行賬號。

值得注意的是，大量AI換臉等電詐詐騙案例顯示，領導干部已成為被冒充的熱門對象。

在上述商河警方偵破的案件中，讓警方印象深刻的是，在這些不法分子的電腦中，除了專門生成“轉款憑證”的模擬器，還存了一些領導的工作單位、職務等資料。

李敏告訴《中國新聞周刊》，冒充領導詐騙的套路通常是，詐騙分子通過各種途徑獲得黨政機關、企事業(yè)單位領導照片，或者使用領導的真實姓名作為微信名稱，偽裝成領導的QQ或微信，主動添加下屬。之后，詐騙分子先以關心工作、生活、企業(yè)經(jīng)營狀況等話題拉近距離，獲得被害人的信任，進而以正在開會、參加活動為托詞，請對方幫忙周轉資金或過橋轉賬，他們通常會偽造轉賬憑證，要求受害人盡快幫忙轉賬至指定賬戶。

“受害人由于敬畏，不好意思跟領導核實，或者因為是領導求助不好意思回絕，就會上當受騙。”李敏說。

她表示，在這類騙局中，很多不法分子開始通常是先發(fā)短信自稱是行騙對象的領導或親友，換了新號碼讓其保存一下，取得對方信任后再一步步實施詐騙?！斑@也提醒廣大網(wǎng)友，收到一些陌生號碼發(fā)來的這類短信，要及時核實對方身份。”

AI換臉技術并不是新鮮事物。中國科技大學公共事務學院、網(wǎng)絡空間安全學院教授左曉棟告訴《中國新聞周刊》，這一技術最早要追溯到六年前。2017年12月，一個名為“DeepFakes”的用戶在Reddit網(wǎng)站上發(fā)布了一個假視頻，用一位知名演員的臉替換了一個色情片中女演員的臉，看起來幾乎毫無破綻。因為這個用戶名“DeepFakes”，“深度偽造”技術也受到了社會的強烈關注。

實際上，這項技術更準確的名稱是“深度合成”，其具有很多正向的用途，一個常見的情況是用于影視行業(yè)。如《了不起的兒科醫(yī)生》等，都在后期處理時用到了AI換臉技術；在《速度與激情7》未拍攝完成時，主演保羅·沃克去世，制片方用AI將其面部重現(xiàn)在了觀眾面前。

隨著“換臉”“變聲”等技術越來越逼真，一些不法分子開始將其用于詐騙。夏文忠表示，現(xiàn)在AI換臉已形成黑色產(chǎn)業(yè)鏈。上游不法分子通過AI技術生成圖片，并對這些圖片進行整合，打包成圖集，通過成套售賣的方式出售給下游買家，甚至有的人還為此建立起“付費會員群”，使一些無辜人士甚至未成年人陷入“黃謠”漩渦。

今年4月，擁有近150萬微博粉絲的網(wǎng)紅“Caro賴賴”發(fā)文稱，她被人用AI換臉后，陷入了黃色謠言的困境。她的臉被盜用在一些淫穢視頻里。還有人在境外社交平臺上冒充其身份注冊了賬號，搬運她的日常內(nèi)容，等粉絲達到一定數(shù)量時，就開始以會員訂閱方式販賣這些被換了臉的色情視頻。

浙江溫州市公安局曾發(fā)布案例稱，2021年拱宸橋派出所接到報警，受害人陳某稱，他與女網(wǎng)友視頻聊天后，被對方利用AI技術，將其面部合成到不雅視頻中，借此對其實施勒索。

左曉棟告訴《中國新聞周刊》，AI換臉之所以形成黑色產(chǎn)業(yè)鏈，與其用于詐騙得到的高回報密切相關?！缎戮﹫蟆吩鴪蟮溃捎^的利益驅動著AI灰色市場的發(fā)展，有商家自稱月收入高達20萬元，商家宣稱自己什么視頻都能做，將一張臉換至色情視頻里，也僅需150元每分鐘。

隨著互聯(lián)網(wǎng)的發(fā)展，AI換臉技術也在網(wǎng)上售賣?！吨袊侣勚芸酚浾咴诙鄠€平臺以買家名義咨詢了多位做AI換臉視頻的商家。一位商家表示，只要提供一張照片，花30分鐘左右，就可以做成一個一分鐘的視頻，收費為100元。另一平臺一位賣家表示，他們售賣一款換臉軟件，價格為200元，使用期限為一年。為證明該軟件效果，其還給記者發(fā)來了一段換臉后的短視頻，“你如果對效果滿意，現(xiàn)在想要，140元就可賣給你”。

央視《焦點訪談》報道，在公安部開展的“凈網(wǎng)2021”專項行動中，合肥市公安局網(wǎng)安支隊聯(lián)手包河分局打掉一個犯罪團伙，該團伙利用AI技術，偽造他人視頻，為黑灰產(chǎn)業(yè)鏈提供注冊手機卡等技術支撐。犯罪嫌疑人電腦中有10G左右的人臉數(shù)據(jù)信息，這些信息在網(wǎng)上轉手多次，而它們的主人對此毫不知情。

近年來，AI換臉技術也在更新?lián)Q代，越來越逼真。

深圳市安絡科技有限公司是第一批國家級網(wǎng)絡安全服務資質(zhì)企業(yè)和試點單位，公司主要業(yè)務為網(wǎng)絡安全及政法業(yè)務，其中政法業(yè)務是為國內(nèi)400多家公安機關提供反制新型網(wǎng)絡犯罪技術支持，幫助警方開展打擊電信網(wǎng)絡詐騙工作。

該公司分管技術的副總裁肖堅煒告訴《中國新聞周刊》，現(xiàn)在用一臺高配置電腦、幾張照片，花一兩分鐘就可以合成一段10秒的換臉視頻。投入更多的顯卡算力資源，AI技術已經(jīng)可以做到實時換臉視頻通話，相似度可達80％以上。

肖堅煒說，AI換臉使用的“生成對抗神經(jīng)網(wǎng)絡”算法是公開的，網(wǎng)絡上也有開源的算法代碼，在其基礎上研發(fā)一款AI換臉軟件，根據(jù)優(yōu)化效果差別，一到六個月可以完成。正規(guī)軟件公司開發(fā)的AI視頻生成軟件會在生成的視頻上標注“由AI合成”的提示語，而在暗網(wǎng)中銷售的則不會，極易被犯罪分子利用。

“從法律層面來說，AI換臉技術會造成非法使用他人肖像、損害個人名譽和隱私等問題。但AI技術本身是中性且無害的，但背后衍生出的道德與倫理問題卻相當復雜，一些新技術被濫用導致的后果更是難以預料?！毕奈闹曳Q。

深圳市安絡科技有限公司的肖堅煒講解AI換臉技術時稱，目前已可做到實時換臉視頻通話，相似度可達80％以上。圖/受訪者提供?

早在2019年11月，國家網(wǎng)信辦、文旅部和國家廣播電視總局就聯(lián)合發(fā)布《網(wǎng)絡音視頻信息服務管理規(guī)定》，明確指出，利用基于深度學習、虛擬現(xiàn)實等的新技術新應用制作、發(fā)布、傳播非真實音視頻信息的，應當以顯著方式予以標識，且不得利用該技術制作、發(fā)布、傳播虛假信息。

2022年11月，由國家網(wǎng)信辦、工信部、公安部頒布的《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》明確，不得利用深度合成服務從事侵犯他人合法權益等法律、行政法規(guī)禁止的活動，應用程序分發(fā)平臺應當落實上架審核，服務提供和技術支持者應當加強技術管理等規(guī)定等。

2023年7月，國家網(wǎng)信辦等七部門聯(lián)合發(fā)布《生成式人工智能服務管理暫行辦法》，其中規(guī)定，提供和使用生成式人工智能服務，應當尊重他人合法權益，不得危害他人身心健康，不得侵害他人肖像權、名譽權、榮譽權、隱私權和個人信息權益。

針對AI涉及的侵權和安全問題，近年來，我國在相關政策層面不斷完善，但這類犯罪行為仍屢見不鮮。

今年8月10日，在公安部舉行的新聞發(fā)布會上，公安部網(wǎng)絡安全保衛(wèi)局副局長李彤介紹，針對“AI換臉”導致群眾被欺詐的問題，公安機關發(fā)起專項會戰(zhàn)，偵破相關案件79起，抓獲犯罪嫌疑人515名?！胺缸锓肿佑糜趯嵤〢I換臉的物料主要為照片，特別是身份證照片，同時結合人員姓名、身份證號來突破人臉識別驗證系統(tǒng)。”

左曉棟告訴《中國新聞周刊》，這兩年，國家制定了很多政策文件，規(guī)范新一代AI技術的發(fā)展。不過，對于利用技術從事違法犯罪的情況，還需繼續(xù)加大打擊力度。在這個問題上，還應當加強技術創(chuàng)新，特別是提升對偽造音視頻的檢測能力，目前來看，相關技術還不過關。

肖堅煒表示，面對這些風險，相關部門應進一步完善法律法規(guī)，嚴懲非法使用AI換臉技術的侵權和犯罪行為；相關科技公司也應制定倫理規(guī)范，對違規(guī)使用承擔責任；社交媒體也可以通過給用戶上傳視頻內(nèi)容打標簽等技術手段，提高普通人對于AI換臉視頻的識別能力，“我們公司也正在研發(fā)更先進的AI識別算法和相應的技術反制手段，幫助公安機關有效應對不斷翻新的電信網(wǎng)絡詐騙”。

夏文忠告訴《中國新聞周刊》，這類犯罪查處的難度體現(xiàn)在兩方面：一方面，犯罪分子的身份難以被確認，且很多犯罪分子身在國外，難以實施抓捕行動；另一方面，相關犯罪證據(jù)存儲介質(zhì)主要在網(wǎng)絡服務器中，隱秘程度較高，獲取難度較大，取證存在困難。

北京市社會科學院法治研究所副所長王潔長期從事反電詐研究。在接受媒體采訪時，他指出，當利用AI技術進行電詐等行為已經(jīng)發(fā)生，再去追究會面臨難度。他調(diào)研發(fā)現(xiàn)，很多反詐警察花費大量時間和金錢后，往往發(fā)現(xiàn)犯罪源頭在境外。這種情況下，不是所有受害人都能付出足夠的時間、金錢和精力去追究侵權者的責任的。

“核心問題是個人信息保護?！蓖鯘嵳J為，詐騙事件背后都存在個人信息泄露的情況，隨著深度偽造技術不斷更新?lián)Q代，保護人臉等個人隱私成為不可輕視的問題。因此公安機關在查案辦案時，應該更加關注信息泄露的渠道，從源頭治理。政府應該加強對個人信息保護的監(jiān)管，而App開發(fā)商運營商等各環(huán)節(jié)也應該共同協(xié)力，在人臉信息的存儲、讀取、使用、清除等方面依法管理，促進企業(yè)個人信息保護合規(guī)自律。

夏文忠也特別強調(diào)，各網(wǎng)絡平臺對于AI換臉的應用應當擔負起責任，“目前，推出AI換臉功能的平臺以及允許AI換臉相關內(nèi)容傳播的平臺，都應該加強審核，以避免AI技術被不法分子利用”。