“張文宏是不是帶貨了？”

近段時(shí)間，一則關(guān)于“張文宏帶貨”的視頻讓復(fù)旦大學(xué)附屬華山醫(yī)院感染科主任張文宏引發(fā)關(guān)注。在視頻中，張文宏在賣一種蛋白棒，讓不少人信以為真，瘋狂跟單。

仔細(xì)看網(wǎng)友提供的視頻，張文宏正在反復(fù)介紹一種產(chǎn)品，口型是他的、聲音也是他的，乍一看跟真的似的。但仔細(xì)一看，視頻畫質(zhì)潦草、口型也不太能對(duì)上，對(duì)AI多少有一些了解的人們可以分辨出來(lái)，這是AI合成的視頻，但對(duì)互聯(lián)網(wǎng)了解不深的人的確不好甄別真?zhèn)巍?/p>

冒充名人“帶貨”

針對(duì)此事，張文宏表示：“這樣的賣貨賬號(hào)不止一個(gè)，且一直在變，我多次向平臺(tái)投訴但屢禁不絕。很多不明真相的老百姓，特別是有些對(duì)AI不是很熟悉的、年紀(jì)較大的市民，就很容易相信。我看購(gòu)買量在不同的地方好像都有不少。我在發(fā)現(xiàn)這個(gè)事情后立即投訴過那個(gè)AI合成的視頻，但對(duì)方賬號(hào)一直在換，我最后也沒有精力了。這些假的AI合成信息就像蝗災(zāi)一樣，一次又一次發(fā)生。事實(shí)上，從平臺(tái)投訴結(jié)果來(lái)看，我覺得最終也難以解決問題。”

除了向平臺(tái)方投訴，張文宏稱也曾考慮過報(bào)警，但對(duì)方看不見摸不到，就像幽靈一般難以描述，只能寄希望于相關(guān)部門加強(qiáng)監(jiān)管?！皥?bào)警總要有個(gè)對(duì)象對(duì)吧，對(duì)方一天換一個(gè)賬號(hào)，而且全是虛擬的，我報(bào)警投訴誰(shuí)？所以我認(rèn)為，他侵犯的是消費(fèi)者的利益，我覺得相關(guān)部門應(yīng)該處理?！睆埼暮暾f。

上海市消保委副秘書長(zhǎng)唐健盛表示，實(shí)際上這根本就不是張文宏在“帶貨”，這完全是用AI來(lái)做的，事情非常惡劣。這種做法其實(shí)已經(jīng)構(gòu)成了對(duì)消費(fèi)者的欺詐，消費(fèi)者如果上當(dāng)，完全可以按照消費(fèi)者權(quán)益保護(hù)法的規(guī)定，要求商家“退一賠三”，并且金額不足500元的要按照500元來(lái)賠。此外，相關(guān)監(jiān)管部門應(yīng)該對(duì)這種惡劣的行為采取非常嚴(yán)厲的手段進(jìn)行處罰，因?yàn)檫@不僅僅涉及消費(fèi)者的權(quán)益，還涉及整個(gè)社會(huì)的良知和道德。

2023年，國(guó)家金融監(jiān)督管理總局就在消費(fèi)者權(quán)益保護(hù)風(fēng)險(xiǎn)提示中介紹，利用AI技術(shù)實(shí)施詐騙主要有“擬聲”“換臉”兩種手段，即通過模擬他人聲音或形象騙取信任，進(jìn)而詐騙錢財(cái)。

不法分子通常先以“網(wǎng)店客服”“營(yíng)銷推廣”“招聘兼職”“婚戀交友”等為借口，通過微信、QQ、電話等方式聯(lián)系消費(fèi)者，采集聲音或面部信息。再利用“擬聲”“換臉”等技術(shù)合成消費(fèi)者的虛假音頻或視頻、圖像，以借錢、投資、緊急救助等借口誘導(dǎo)其親友轉(zhuǎn)賬匯款，或提供銀行賬戶密碼等敏感信息，隨后立即轉(zhuǎn)移資金。此外，不法分子還可能對(duì)明星、專家、官員等音視頻進(jìn)行人工合成，假借其身份傳播虛假信息，從而實(shí)現(xiàn)詐騙目的。

“擬聲”“換臉”等合成技術(shù)的一大特點(diǎn)是“以假亂真”，不法分子可以利用此類技術(shù)輕易偽裝成他人，并通過快速篩選目標(biāo)人群、精準(zhǔn)定制詐騙腳本實(shí)施詐騙。

改頭換面詐騙、造謠

一項(xiàng)由媒體機(jī)構(gòu)發(fā)起的大學(xué)生調(diào)研，在回收的近1500份有效調(diào)查問卷中，半數(shù)受訪大學(xué)生本人或身邊的人曾遭遇疑似AI詐騙，七成大學(xué)生對(duì)AI詐騙感到恐慌，表示自己會(huì)被AI詐騙。

該調(diào)查樣本選取了四川、北京、上海等地近十所大學(xué)的近1500名大學(xué)生。數(shù)據(jù)顯示，半數(shù)的受訪大學(xué)生本人或身邊的人曾遭遇疑似AI詐騙，不乏碩士及博士等學(xué)歷的學(xué)生。詐騙形式最多的是電話，同時(shí)也包括AI換臉、AI音頻偽造、視頻造假、AI投資顧問騙局等，其中一半以上受訪大學(xué)生表示接到過疑似詐騙的機(jī)器人電話。高達(dá)77%的受訪大學(xué)生會(huì)因?yàn)锳I詐騙方式層出不窮感到恐慌。

在走訪高校過程中，不少大學(xué)生表示，對(duì)于當(dāng)下的AI詐騙手段，自己沒有絕對(duì)把握識(shí)別騙局；對(duì)于媒體展示的某著名企業(yè)家的AI合成音頻，近八成大學(xué)生無(wú)法分辨是真人還是AI制作。不少大學(xué)生表達(dá)了他們的擔(dān)心，如若父母輩遭遇詐騙，后果不堪設(shè)想。

詐騙之外，AI還被用來(lái)“造謠”。

江西南昌警方查處的一個(gè)網(wǎng)絡(luò)謠言案，再次引發(fā)社會(huì)對(duì)AI造謠亂象的關(guān)注。此前，一則關(guān)于某地爆炸的消息在網(wǎng)絡(luò)平臺(tái)傳播，內(nèi)容不僅包括確切的時(shí)間和地點(diǎn)，文字下方還配有爆炸圖片。公安部門調(diào)查后發(fā)現(xiàn)，這條消息從文本到圖片，全部都是通過AI生成的網(wǎng)絡(luò)謠言。

南昌市公安局高新分局民警介紹，違法人員王某某只需設(shè)置關(guān)鍵詞，AI軟件就會(huì)根據(jù)當(dāng)下熱點(diǎn)，自動(dòng)抓取相關(guān)信息，生成幾百到上千字的文本，最高峰時(shí)一天能生成4000多篇文章。由于每天發(fā)布的文章數(shù)量巨大，當(dāng)警方找上門時(shí)，王某某甚至都不知道具體是哪篇文章涉嫌造謠。

近年來(lái)，利用AI造謠的案件在全國(guó)多地頻發(fā)，誤導(dǎo)公眾，擾亂社會(huì)秩序。例如，有的編造“某地一銀行遭劫匪襲擊”，有的炮制“大媽擺攤賣水果被罰16萬(wàn)元”虛假文章。一些AI謠言不僅“圖文并茂”，還配上合成的音視頻，采用新聞或者官方通報(bào)的口吻，加入“據(jù)報(bào)道”“相關(guān)部門”等字眼，讓網(wǎng)民難辨真?zhèn)巍?/p>

吸引未成年人參與劇情聊天、為愛“氪金”

更可惡的是，有人利用AI技術(shù)，將犯罪魔爪伸向未成年人。

北京市民馬先生的兒子今年10歲，非常熱衷AI劇情聊天軟件?！拔覇栐趺戳?？和誰(shuí)聊？孩子就回一句‘說了你也不懂’?！瘪R先生說。

馬先生點(diǎn)開這款A(yù)I聊天APP，發(fā)現(xiàn)孩子在與軟件里的人物聊天。這些人物擁有不同設(shè)定和性格，有知名游戲動(dòng)漫角色，也有“大小姐”“名偵探”等不同身份的原創(chuàng)角色。一些角色人物會(huì)主動(dòng)提出“你要跟我約會(huì)嗎”；有些則設(shè)定目標(biāo)“把她追到手”，再配上或嬌媚或英俊的動(dòng)漫畫風(fēng)。

另一些AI人設(shè)，則展現(xiàn)出非同一般的攻擊性，會(huì)主動(dòng)發(fā)送諸如“有本事打我啊”“看你又胖又丑的樣子”等信息；有些人物的名字干脆就叫“對(duì)罵訓(xùn)練器”，甚至發(fā)送“我是機(jī)器人怎么了？我照樣罵你”……

來(lái)自浙江的李女士也發(fā)現(xiàn)她正在讀小學(xué)五年級(jí)的孩子使用了一款A(yù)I劇情聊天軟件。

“里面的聊天對(duì)象可以設(shè)置為‘出軌對(duì)象’，并能夠進(jìn)行擁抱、親吻等行為。我都不知道如何引導(dǎo)和教育孩子，讓她明白這些內(nèi)容的危害性?！崩钆坎粺o(wú)擔(dān)憂地說。

這不是個(gè)別現(xiàn)象，不少家長(zhǎng)對(duì)AI聊天應(yīng)用可能損害未成年人心理健康表達(dá)了深切憂慮?！拔遗畠荷闲W(xué)二年級(jí)，整天沉迷一款A(yù)I劇情聊天軟件，學(xué)習(xí)成績(jī)一落千丈。”“我看了孩子和AI聊天的對(duì)話內(nèi)容，AI角色竟然讓她叫‘老公’，我10歲的女兒竟然真叫了，我現(xiàn)在都不知道該怎么教育她了?！?/p>

除了聊天內(nèi)容直白露骨、語(yǔ)言暴力之外，一些AI劇情聊天軟件的功能使用也與充值機(jī)制密切關(guān)聯(lián)，例如通過充值VIP會(huì)員或購(gòu)買虛擬鉆石等，增強(qiáng)智能體的記憶力、加速智能體的回復(fù)速度、解鎖語(yǔ)音通話功能等，吸引未成年人“氪金”。

在AI技術(shù)面前，“眼見為實(shí)”“有圖有真相”的常規(guī)認(rèn)知正在被挑戰(zhàn)，人們對(duì)于網(wǎng)絡(luò)信息傳播的信任感也在被挑戰(zhàn)。一些由AI合成的虛假視頻內(nèi)容，成為別有用心之人的造謠、斂財(cái)工具，不僅影響著公眾人物的專業(yè)形象和社會(huì)公信力，更破壞了互聯(lián)網(wǎng)的誠(chéng)信體系。

《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2024年6月，我國(guó)網(wǎng)民規(guī)模近11億人?？焖侔l(fā)展的AI技術(shù)帶來(lái)了相關(guān)信息的爆炸式增長(zhǎng)，網(wǎng)民的媒介素養(yǎng)良莠不齊，造成了AI信息甄別困難。因此，治理也應(yīng)當(dāng)提速，跟上技術(shù)發(fā)展的步伐。2023年，國(guó)家網(wǎng)信辦等七部門聯(lián)合發(fā)布《生成式人工智能服務(wù)管理暫行辦法》；2024年9月，國(guó)家網(wǎng)信辦就人工智能生成合成內(nèi)容標(biāo)識(shí)辦法公開征求意見。

對(duì)借助AI造謠非法牟利行為，相關(guān)部門要依法整治嚴(yán)厲打擊，提高違法犯罪成本，同時(shí)相關(guān)平臺(tái)也要優(yōu)化AI內(nèi)容的流量分發(fā)和收益分成機(jī)制，切斷虛假信息的傳播鏈和利益鏈，營(yíng)造風(fēng)清氣正的網(wǎng)絡(luò)空間。

（資料來(lái)源：法治日?qǐng)?bào)、中國(guó)青年報(bào)微信公眾號(hào)、半月談微信公眾號(hào)、光明日?qǐng)?bào)微信公眾號(hào)、央廣網(wǎng)）