文/王彩玉 趙賀軍

當(dāng)前，ChatGPT 已成為人工智能無(wú)限潛力的象征——變革生產(chǎn)方式、優(yōu)化生產(chǎn)決策、重新定義人機(jī)協(xié)作界限。這種影響作用于犯罪，催生了網(wǎng)絡(luò)犯罪變異升級(jí)。與傳統(tǒng)犯罪不同，網(wǎng)絡(luò)犯罪具有高度可復(fù)制性。一旦開(kāi)發(fā)，網(wǎng)絡(luò)技術(shù)可共享、復(fù)制、出售甚至外包，實(shí)現(xiàn)犯罪技術(shù)市場(chǎng)化或提供“犯罪即服務(wù)”。從犯罪工具到犯罪目標(biāo)等要素，類(lèi)ChatGPT 人工智能對(duì)網(wǎng)絡(luò)犯罪的影響是全鏈條、全領(lǐng)域的，值得加強(qiáng)研究、積極應(yīng)對(duì)。歐洲警察署創(chuàng)新實(shí)驗(yàn)室組織歐洲技術(shù)與安全專(zhuān)家開(kāi)展研討，發(fā)布《ChatGPT：大型語(yǔ)言模型對(duì)執(zhí)法的影響》，初探網(wǎng)絡(luò)犯罪者濫用ChatGPT 的可能性，并為執(zhí)法部門(mén)提出簡(jiǎn)要建議。本文以歐洲警察署報(bào)告為中心展開(kāi)，結(jié)合犯罪經(jīng)濟(jì)學(xué)理論與人工智能犯罪及治理最新動(dòng)態(tài)進(jìn)行研討。

一、ChatGPT 本質(zhì)解析與安全保護(hù)

作為基于GPT-3、GPT-3.5、GPT-4 等大型語(yǔ)言模型的應(yīng)用，ChatGPT 本質(zhì)上是一種自回歸語(yǔ)言模型，借助深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)，理解輸入與輸出之間關(guān)聯(lián)，生成符合上下文語(yǔ)義的合理響應(yīng)。鑒于ChatGPT 可訪問(wèn)海量信息、響應(yīng)用戶提示生成各種答案，開(kāi)發(fā)者引入一系列安全功能，防止用戶惡意利用。審查端點(diǎn)用于內(nèi)容過(guò)濾、安全檢查以及監(jiān)控防范不當(dāng)行為，可評(píng)估輸入是否包含色情、仇恨、暴力等內(nèi)容以及模型是否被用于實(shí)施欺詐、政治競(jìng)選或游說(shuō)、具有高人身傷害風(fēng)險(xiǎn)的活動(dòng)（如開(kāi)發(fā)武器、運(yùn)營(yíng)管理關(guān)鍵基礎(chǔ)設(shè)施、宣揚(yáng)自殘行為）、具有高經(jīng)濟(jì)損失風(fēng)險(xiǎn)的活動(dòng)（如傳銷(xiāo)、賭博）等《使用政策》（Usage policies）中禁止的行為。然而，歐洲警察署指出，研究人員和犯罪者可通過(guò)要求ChatGPT 以代碼形式給出答案、替換提示詞并更改背景、創(chuàng)建虛構(gòu)案例等變通方案規(guī)避ChatGPT 創(chuàng)建者設(shè)置的安全和審查功能。目前最為強(qiáng)大的變通方案是越獄指令集，可引導(dǎo)模型響應(yīng)任何提示。

二、ChatGPT 犯罪樣態(tài)

人工智能時(shí)代的到來(lái)再次給網(wǎng)絡(luò)犯罪提供代際躍升機(jī)會(huì)?！胺缸锛捶?wù)”是一種網(wǎng)絡(luò)犯罪模式，指在網(wǎng)絡(luò)犯罪生態(tài)中技術(shù)人員利用互聯(lián)網(wǎng)和數(shù)字技術(shù)，向其他網(wǎng)絡(luò)犯罪分子提供犯罪工具、資源和服務(wù)的行為。英國(guó)計(jì)算機(jī)科學(xué)家考德威爾指出，“人工智能可被用作犯罪工具，利用其能力促進(jìn)針對(duì)現(xiàn)實(shí)世界目標(biāo)的行動(dòng)，如預(yù)測(cè)個(gè)人或機(jī)構(gòu)的行為、發(fā)現(xiàn)并利用漏洞；生成用于勒索或玷污聲譽(yù)的虛假內(nèi)容；執(zhí)行人類(lèi)犯罪者無(wú)法或不愿自己完成的活動(dòng)等。人工智能系統(tǒng)也可成為犯罪活動(dòng)目標(biāo)，規(guī)避對(duì)犯罪構(gòu)成障礙的保護(hù)系統(tǒng)；逃避對(duì)已犯罪行的偵查或起訴；使受信任系統(tǒng)或關(guān)鍵系統(tǒng)出現(xiàn)故障，制造破壞或損害公眾信任?！?/p>

（一）ChatGPT 作為犯罪工具

犯罪經(jīng)濟(jì)學(xué)家加里·貝克認(rèn)為，犯罪行為是一種理性選擇，犯罪者會(huì)衡量行為帶來(lái)的成本與效益。生成式人工智能所具備的自適應(yīng)性和學(xué)習(xí)能力，使攻擊者能以更低成本實(shí)施更復(fù)雜的犯罪行為，智能化、自動(dòng)化也放大了犯罪威脅與收益。

歐洲警察署指出，ChatGPT 擅長(zhǎng)為用戶提供隨時(shí)可用的信息，以響應(yīng)各種提示。若潛在犯罪者對(duì)特定犯罪領(lǐng)域一無(wú)所知，ChatGPT 可通過(guò)提供關(guān)鍵信息，推動(dòng)犯罪預(yù)備提速升級(jí)。換言之，ChatGPT 可在潛在犯罪者先驗(yàn)知識(shí)匱乏的情況下協(xié)助了解恐怖主義、網(wǎng)絡(luò)犯罪、兒童性虐待等諸多犯罪領(lǐng)域。誠(chéng)然，相關(guān)信息可在網(wǎng)上查詢獲取，但潛在犯罪者借助ChatGPT 可更容易地了解并實(shí)施特定犯罪活動(dòng)。

1.社會(huì)工程——網(wǎng)絡(luò)詐騙、網(wǎng)絡(luò)釣魚(yú)的終點(diǎn)在何方？

社會(huì)工程是一種利用心理學(xué)和人類(lèi)行為特征，獲取敏感信息、操縱目標(biāo)心理的技術(shù)，攻擊者通過(guò)多種方式引導(dǎo)受攻擊者思維向攻擊者期望的方向發(fā)展。社會(huì)工程利用的是人性弱點(diǎn)，而人性是永恒存在的，這使其成為長(zhǎng)久有效的攻擊方式。犯罪經(jīng)濟(jì)學(xué)強(qiáng)調(diào)犯罪活動(dòng)與供求關(guān)系之間的聯(lián)系，ChatGPT 根據(jù)上下文響應(yīng)信息并可選用特定寫(xiě)作風(fēng)格的特點(diǎn)，可幫助犯罪者更巧妙地操縱受害者心理，提升網(wǎng)絡(luò)詐騙、網(wǎng)絡(luò)釣魚(yú)等基于社會(huì)工程原理的犯罪活動(dòng)的成功率、利潤(rùn)率。

歐洲警察署指出，一直以來(lái)，犯罪者需自行創(chuàng)建詐騙方案，在批量生產(chǎn)情況下，目標(biāo)受眾通常能根據(jù)明顯拼寫(xiě)錯(cuò)誤、不準(zhǔn)確內(nèi)容識(shí)別騙局。然而，ChatGPT 可根據(jù)用戶提示起草高度真實(shí)文本，輕松調(diào)整釣魚(yú)郵件的行文背景，涵蓋投資詐騙、商務(wù)電郵詐騙、冒充老板詐騙等諸多形式。此外，犯罪者可利用ChatGPT 營(yíng)造虛假社交媒體參與情況，為各類(lèi)網(wǎng)絡(luò)騙局披上合理合法的外衣。

荷蘭格羅寧根大學(xué)研究者發(fā)現(xiàn)，使用人工智能技術(shù)開(kāi)發(fā)社交機(jī)器人可幫助犯罪者欺騙、操縱受害者。社交機(jī)器人本質(zhì)上是通過(guò)生成內(nèi)容與互聯(lián)網(wǎng)用戶交互、模擬人類(lèi)行為的算法，向受害者發(fā)送鏈接請(qǐng)求，為控制受害者計(jì)算機(jī)創(chuàng)造機(jī)會(huì)。

2.虛假信息——大規(guī)模滲透與深度偽造的完美幫兇？

歐洲警察署指出，ChatGPT 具備高效、規(guī)模化生產(chǎn)看似真實(shí)可信文本的能力，這使其成為宣傳滲透、虛假信息的理想選擇——允許用戶以較少努力生成傳播反映特定敘事的消息。ChatGPT 可用于代表特定參與者開(kāi)展網(wǎng)絡(luò)宣傳，宣揚(yáng)捍衛(wèi)某些已被揭示為虛假信息的觀點(diǎn)。此外，犯罪者可利用ChatGPT 搜集更多可能促進(jìn)恐怖活動(dòng)的信息，例如恐怖主義融資或匿名文件共享。

來(lái)自美國(guó)亞利桑那州的詹妮弗在參議院講述犯罪者使用人工智能模擬女兒在假綁架中驚恐聲音向其索要贖金的經(jīng)歷

歐洲警察署強(qiáng)調(diào)，雖然ChatGPT 拒絕為其認(rèn)為明顯具有惡意的提示提供答案，但犯罪者可采取相應(yīng)措施規(guī)避限制。類(lèi)ChatGPT 應(yīng)用不僅會(huì)促進(jìn)虛假信息、仇恨言論、恐怖主義內(nèi)容傳播，還會(huì)導(dǎo)致公眾產(chǎn)生錯(cuò)誤信任度，機(jī)器生成內(nèi)容相較于人類(lèi)撰寫(xiě)的內(nèi)容可能具有更高的客觀性。

ChatGPT 可為虛假或誤導(dǎo)性信息傳播提供便利，即使沒(méi)有“誤用”，因?yàn)镃hatGPT 一個(gè)已知缺陷，即為編造虛假信息，包括可能對(duì)個(gè)人造成誹謗的信息。2023 年4 月，喬治華盛頓大學(xué)教授喬納森發(fā)表《被ChatGPT 誹謗：我自己對(duì)人工智能的奇異體驗(yàn)》，講述被ChatGPT 誣陷實(shí)施性騷擾的經(jīng)歷，“為何人工智能會(huì)編造虛假新聞并發(fā)布虛假聲明？可能是人工智能及算法的偏見(jiàn)、缺陷不亞于對(duì)其進(jìn)行編程的人類(lèi)”。

綜上，類(lèi)ChatGPT 生成式人工智能生成的文本，結(jié)合用戶畫(huà)像、定向推送和定位，可將文本針對(duì)特定受眾專(zhuān)門(mén)定制、滿足其偏好，提高虛假信息的數(shù)量、質(zhì)量和影響力，加劇“過(guò)濾氣泡”和兩極分化擴(kuò)散。深度偽造作為虛假信息傳播高級(jí)形式，借助人工智能創(chuàng)建的視頻、圖像、語(yǔ)音，模糊真實(shí)與虛假的界限，對(duì)社會(huì)信任帶來(lái)極大挑戰(zhàn)，同時(shí)也推動(dòng)網(wǎng)絡(luò)犯罪產(chǎn)業(yè)規(guī)模和復(fù)雜度進(jìn)一步提升。

2023 年6 月，詹妮弗在司法委員會(huì)作證講述個(gè)人經(jīng)歷，她在外接到電話，聽(tīng)到女兒抽泣著說(shuō)：“媽媽?zhuān)@里有壞人，幫幫我！”一個(gè)男人接過(guò)電話說(shuō)：“聽(tīng)著，你的女兒在我手里，你若報(bào)警，我就把她的胃裝滿毒品，把她送到墨西哥，你再也見(jiàn)不到她了！”背景音中女兒拼命懇求。綁架者勒索100 萬(wàn)美元，詹妮弗心急如焚，最后在另一位母親幫助下，給丈夫撥通電話，發(fā)現(xiàn)女兒安全躺在家里的床上。但詹妮弗遭到巨大心理創(chuàng)傷——“他們是如何得到她的聲音的？他們是如何讓她哭泣的？她的抽泣是她獨(dú)有的！我們是否被網(wǎng)絡(luò)跟蹤？聽(tīng)到孩子帶著恐懼和痛苦的懇求，知道他們受到傷害，而你無(wú)助絕望，這是每個(gè)父母最糟糕的噩夢(mèng)……難道這就是我們正在創(chuàng)造的未來(lái)——濫用人工智能卻沒(méi)有后果或懲戒？”

針對(duì)人工智能語(yǔ)音克隆犯罪激增現(xiàn)狀，美國(guó)警方發(fā)布《人工智能語(yǔ)音克隆警報(bào)》，指出“人工智能語(yǔ)音克隆是一個(gè)在特定人錄音的大型數(shù)據(jù)集上訓(xùn)練人工智能模型的過(guò)程。模型學(xué)習(xí)模仿聲音、語(yǔ)氣和語(yǔ)調(diào)，可生成聽(tīng)起來(lái)像該人的新語(yǔ)音”。2023 年5 月，邁克菲公司發(fā)布《全球人工智能網(wǎng)絡(luò)安全報(bào)告》，指出：（1）在7000 名受調(diào)查者中，十分之一表示曾收到人工智能語(yǔ)音克隆消息，其中77%表示因此遭受金錢(qián)損失；（2）克隆需要原件，犯罪者可輕松獲取原始語(yǔ)音文件，53%成年人表示每周至少一次在網(wǎng)上或錄音中分享語(yǔ)音數(shù)據(jù)，這些數(shù)據(jù)可能受到黑客攻擊、盜竊；（3）測(cè)試發(fā)現(xiàn)只需三秒音頻就足以生成與原始音頻匹配度高達(dá)85%的克隆品，同時(shí)可輕松復(fù)制美國(guó)、英國(guó)、印度、澳大利亞等世界各地口音。

塔伊斯·費(fèi)爾南達(dá)等學(xué)者指出，要關(guān)注人工智能深度偽造“說(shuō)謊者紅利”，騙子利用深度偽造視頻抹黑真實(shí)視頻，稱(chēng)視頻被操縱，引發(fā)公眾對(duì)原視頻真實(shí)性懷疑。公眾越意識(shí)到可用人工智能修改視頻的可能性，就越會(huì)懷疑原視頻的真實(shí)性，“這種紅利的流動(dòng)與教育公眾了解深度偽造危險(xiǎn)性的成功程度成正比”。

3.惡意代碼——勒索軟件量產(chǎn)，網(wǎng)絡(luò)攻擊平民化？

犯罪經(jīng)濟(jì)學(xué)認(rèn)為，犯罪是一種回應(yīng)經(jīng)濟(jì)環(huán)境變化的現(xiàn)象，網(wǎng)絡(luò)犯罪者也在適應(yīng)不斷升級(jí)的網(wǎng)絡(luò)安全技術(shù)并尋求利用新漏洞、新弱點(diǎn)。ChatGPT 可快速創(chuàng)建代碼及迭代版本，規(guī)避傳統(tǒng)安全監(jiān)測(cè)，對(duì)網(wǎng)絡(luò)安全威脅發(fā)揮“放大”作用。同時(shí)，人工智能帶來(lái)的網(wǎng)絡(luò)攻擊“平民化”凸顯，即使是沒(méi)有技術(shù)背景的犯罪者也可通過(guò)人工智能學(xué)習(xí)攻擊技巧、代碼和戰(zhàn)術(shù)，這在整體上推進(jìn)犯罪資源共享、技術(shù)專(zhuān)長(zhǎng)整合、攻擊鏈條優(yōu)化，帶來(lái)更“高效”的網(wǎng)絡(luò)犯罪產(chǎn)品和服務(wù)。

網(wǎng)絡(luò)犯罪者正在轉(zhuǎn)向人工智能語(yǔ)音克隆

歐洲警察署指出，在生成擬人化語(yǔ)言之外，ChatGPT還能產(chǎn)出多種不同編程語(yǔ)言代碼。使用當(dāng)前版本的ChatGPT 已可為各種惡意活動(dòng)創(chuàng)建基本工具。盡管這些工具只是基本工具，如網(wǎng)絡(luò)釣魚(yú)頁(yè)面或惡意VBA 腳本，但為網(wǎng)絡(luò)犯罪提供開(kāi)端。這種類(lèi)型的自動(dòng)代碼生成對(duì)于那些對(duì)編碼和開(kāi)發(fā)知之甚少的犯罪者特別有用。至關(guān)重要的是，只有當(dāng)模型意識(shí)到自身在做什么，防止ChatGPT提供潛在惡意代碼的保護(hù)措施才會(huì)發(fā)揮效能；若將提示分解為單獨(dú)步驟，則可輕松規(guī)避保護(hù)措施。

歐洲警察署強(qiáng)調(diào)，雖然當(dāng)前ChatGPT 生成的網(wǎng)絡(luò)犯罪工具仍非常簡(jiǎn)單，但鑒于技術(shù)進(jìn)步，犯罪者對(duì)ChatGPT 的積極利用將會(huì)帶來(lái)相當(dāng)嚴(yán)峻的犯罪形勢(shì)。GPT-4 模型更善于理解代碼上下文背景、更正錯(cuò)誤消息以及修復(fù)編程錯(cuò)誤。對(duì)于技術(shù)基礎(chǔ)匱乏的潛在犯罪者來(lái)說(shuō)，GPT-4 是一種寶貴的資源。同時(shí)，更高級(jí)的犯罪者可利用GPT-4 的改進(jìn)功能將復(fù)雜的網(wǎng)絡(luò)犯罪手法迭代完善甚至是自動(dòng)化。

如今，利用ChatGPT 生成惡意軟件已不僅是理論上的可能性，繞過(guò)安全防護(hù)措施的惡意利用受到廣泛關(guān)注，甚至在暗網(wǎng)論壇中成為熱門(mén)話題。

人工智能黑客攻擊

2023 年1 月，檢查點(diǎn)研究團(tuán)隊(duì)（CHECK POINT RESEARCH）發(fā)布研究博客《OPWNAI：網(wǎng)絡(luò)犯罪者開(kāi)始使用CHATGPT》，分析了主要暗網(wǎng)黑客社區(qū)內(nèi)容，列舉2022 年12 月犯罪者使用ChatGPT 創(chuàng)建信息竊取程序、加密工具、勒索軟件、暗網(wǎng)市場(chǎng)腳本等惡意工具的真實(shí)示例，如一名黑客展示利用ChatGPT 創(chuàng)建代碼，實(shí)現(xiàn)通過(guò)第三方API 獲取門(mén)羅幣、比特幣等最新加密貨幣價(jià)格，可成為暗網(wǎng)市場(chǎng)支付系統(tǒng)的組成部分。

4.開(kāi)發(fā)者的陰暗面——秘密數(shù)據(jù)爬取與大規(guī)模隱私侵犯？

歐洲警察署在報(bào)告中深刻發(fā)問(wèn)：大型語(yǔ)言模型服務(wù)未來(lái)將如何處理用戶數(shù)據(jù)是存在不確定性的，對(duì)話是否會(huì)被存儲(chǔ)？是否會(huì)將敏感個(gè)人信息泄露給未經(jīng)授權(quán)的第三方？如今，現(xiàn)實(shí)執(zhí)法司法案例已給出初步回答。

2023 年6 月，美國(guó)的ChatGPT 集體訴訟從利益、風(fēng)險(xiǎn)等角度揭開(kāi)OpenAI 公司的陰暗面——訴訟書(shū)指出，OpenAI 公司“將短期財(cái)務(wù)利益置于人類(lèi)利益之上……在秘密的情況下對(duì)互聯(lián)網(wǎng)進(jìn)行大規(guī)模爬取，侵犯?jìng)€(gè)人財(cái)產(chǎn)權(quán)和隱私權(quán)。這些爬取行為沒(méi)有得到用戶個(gè)人同意，也沒(méi)有遵守網(wǎng)站使用條款以及加利福尼亞和其他州和聯(lián)邦的法律。爬取的個(gè)人信息被用于構(gòu)建人工智能產(chǎn)品，并通過(guò)商業(yè)模式出售訪問(wèn)權(quán)限，從中謀取經(jīng)濟(jì)利益”。理性選擇理論（Rational Choice Theory）認(rèn)為，犯罪行為是個(gè)體基于風(fēng)險(xiǎn)和收益的理性決策。將OpenAI 公司定位為“微軟的數(shù)據(jù)搜集公司，向微軟提供數(shù)百萬(wàn)個(gè)人的ChatGPT 用戶和非用戶數(shù)據(jù)……產(chǎn)品在利用被盜數(shù)據(jù)進(jìn)行培訓(xùn)的基礎(chǔ)上，才達(dá)到今天的復(fù)雜程度”，ChatGPT 在一定意義上可能構(gòu)成非法數(shù)據(jù)爬取與盜竊的犯罪工具。

2023 年6 月，“OpenAI 公司集體訴訟第一案”在美國(guó)加州北部地區(qū)巡回法院發(fā)起，指控OpenAI 公司和微軟公司“在開(kāi)發(fā)、營(yíng)銷(xiāo)和運(yùn)營(yíng)人工智能產(chǎn)品時(shí)，非法收集、使用和分享數(shù)以億計(jì)的互聯(lián)網(wǎng)用戶的個(gè)人信息，包括兒童信息，侵犯原告的財(cái)產(chǎn)權(quán)、隱私權(quán)和其他法律權(quán)利，并給社會(huì)帶來(lái)潛在的災(zāi)難性風(fēng)險(xiǎn)”，違反《電子通信隱私法》《計(jì)算機(jī)欺詐和濫用法》《加利福尼亞侵犯隱私法》《加利福尼亞不正當(dāng)競(jìng)爭(zhēng)法》《伊利諾伊州生物識(shí)別信息隱私法》《伊利諾伊州消費(fèi)者欺詐和欺騙性商業(yè)行為法》等法律法規(guī)。起訴書(shū)指出，被告在超出合理授權(quán)范圍下從ChatGPT 用戶和集成ChatGPT 插件的平臺(tái)中非法收集并利用來(lái)自全球數(shù)百萬(wàn)消費(fèi)者的個(gè)人數(shù)據(jù)，包括：（1）用戶在產(chǎn)品中輸入的所有內(nèi)容；（2）用戶注冊(cè)時(shí)輸入的賬號(hào)信息；（3）名稱(chēng)；（4）聯(lián)系方式；（5）登錄憑證；（6）電子郵件；（7）付費(fèi)用戶的支付信息；（8）交易記錄；（9）從用戶設(shè)備和瀏覽器中提取的識(shí)別數(shù)據(jù)，如互聯(lián)網(wǎng)協(xié)議地址和位置，包括用戶的地理位置；（10）社交媒體信息；（11）聊天日志數(shù)據(jù)；（12）使用資料；（13）分析；（14）緩存數(shù)據(jù)；（15）點(diǎn)擊數(shù)據(jù)；（16）輸入搜索數(shù)據(jù)以及其他在線活動(dòng)數(shù)據(jù)等，以繼續(xù)開(kāi)發(fā)訓(xùn)練大型語(yǔ)言模型和深度語(yǔ)言算法。起訴書(shū)強(qiáng)調(diào)，“作為對(duì)大規(guī)模隱私侵犯的加劇，OpenAI 公司未提供有效程序供個(gè)人請(qǐng)求刪除個(gè)人信息或訓(xùn)練數(shù)據(jù)。相反，OpenAI 公司只提供一個(gè)電子郵箱地址，消費(fèi)者可通過(guò)郵箱聯(lián)系刪除。但這個(gè)選項(xiàng)是虛假的——無(wú)論個(gè)人是否在技術(shù)上可以請(qǐng)求ChatGPT 刪除數(shù)據(jù)，徹底刪除是不可能的。因?yàn)镃hatGPT 是基于個(gè)人輸入數(shù)據(jù)、個(gè)人信息、其他用戶數(shù)據(jù)和非用戶數(shù)據(jù)進(jìn)行訓(xùn)練的，這些數(shù)據(jù)無(wú)法徹底從人工智能系統(tǒng)中提取出來(lái)，正如一個(gè)人無(wú)法忘記在六年級(jí)學(xué)過(guò)的數(shù)學(xué)”。此外，以喜劇演員莎拉·西爾弗曼為代表的文藝創(chuàng)作者也發(fā)起訴訟，指控OpenAI 公司和Meta 公司使用非法的“影子圖書(shū)館”（Shadow Libraries）訓(xùn)練模型。

漫畫(huà)：美國(guó)聯(lián)邦貿(mào)易委員會(huì)對(duì)ChatGPT 發(fā)起調(diào)查

在執(zhí)法方面，自2023 年3 月意大利個(gè)人數(shù)據(jù)保護(hù)局以“非法收集用戶個(gè)人數(shù)據(jù)，且沒(méi)有設(shè)置年齡驗(yàn)證系統(tǒng)防止未成年人接觸違法有害信息”為由率先對(duì)ChatGPT采取臨時(shí)封鎖以來(lái)，加拿大、法國(guó)、英國(guó)、西班牙數(shù)據(jù)保護(hù)監(jiān)管機(jī)構(gòu)陸續(xù)對(duì)ChatGPT 發(fā)起調(diào)查。在美國(guó)，ChatGPT收到的第一份調(diào)查命令來(lái)自聯(lián)邦貿(mào)易委員會(huì)。2023 年7月，聯(lián)邦貿(mào)易委員會(huì)對(duì)ChatGPT 背后的OpenAI 公司就是否使用了“不公平或欺騙性的隱私或數(shù)據(jù)安全措施”或“可能對(duì)消費(fèi)者帶來(lái)潛在傷害（包括聲譽(yù)傷害）的不公平或欺騙性做法”簽發(fā)民事調(diào)查令（Civil Injunction Demand，CID）。在這份長(zhǎng)達(dá)20 頁(yè)的文件中，聯(lián)邦貿(mào)易委員會(huì)向OpenAI 公司提出49 個(gè)詳細(xì)問(wèn)題，并要求提供17 類(lèi)文件以供調(diào)查，重點(diǎn)問(wèn)題有：（1）描述模型開(kāi)發(fā)和使用過(guò)程中的數(shù)據(jù)情況，包括數(shù)據(jù)獲取方式、數(shù)據(jù)來(lái)源、訓(xùn)練數(shù)據(jù)中各種語(yǔ)言的占比等；（2）描述公司對(duì)數(shù)據(jù)泄露安全風(fēng)險(xiǎn)的考量，包括受攻擊系統(tǒng)、受影響的用戶數(shù)量、攻擊檢測(cè)、攻擊來(lái)源等；（3）描述產(chǎn)品對(duì)不同類(lèi)型個(gè)人信息的收集、使用及存儲(chǔ)方式，包括數(shù)據(jù)來(lái)源、存儲(chǔ)位置與默認(rèn)存儲(chǔ)時(shí)間、用戶選擇不留存數(shù)據(jù)后的存儲(chǔ)時(shí)間、用戶請(qǐng)求刪除數(shù)據(jù)后的存儲(chǔ)時(shí)間。

（二）ChatGPT 作為“犯罪目標(biāo)”

在犯罪經(jīng)濟(jì)學(xué)視角下，ChatGPT 模型和數(shù)據(jù)由于自身吸引力和價(jià)值，可能成為潛在“犯罪目標(biāo)”——遭受完整性攻擊、成員推理攻擊，抑或是賬戶信息泄露。這些風(fēng)險(xiǎn)使得保護(hù)ChatGPT 模型和數(shù)據(jù)安全變得至關(guān)重要。

1.數(shù)據(jù)中毒——誤導(dǎo)模型結(jié)果的險(xiǎn)惡手段？

數(shù)據(jù)中毒作為對(duì)抗性攻擊的一種策略，也屬于完整性攻擊的一部分，通過(guò)向訓(xùn)練數(shù)據(jù)中注入惡意信息損害人工智能模型的性能和可信度。

2023 年4 月，美國(guó)桑斯（SANS）研究院發(fā)現(xiàn)，對(duì)抗性人工智能攻擊是2023 年最值得關(guān)注的新興網(wǎng)絡(luò)攻擊技術(shù)之一。對(duì)抗性人工智能攻擊本質(zhì)是“欺騙機(jī)器學(xué)習(xí)模型的惡意輸入”，導(dǎo)致系統(tǒng)審查的材料被錯(cuò)誤分類(lèi)。在特定情況下，攻擊過(guò)于微妙，人類(lèi)無(wú)法直接察覺(jué)，但其仍會(huì)導(dǎo)致人工智能系統(tǒng)犯錯(cuò)。對(duì)抗性人工智能攻擊的一個(gè)典型例證即為“中毒攻擊”，攻擊者通過(guò)在訓(xùn)練過(guò)程中注入損壞節(jié)點(diǎn)影響系統(tǒng)訓(xùn)練數(shù)據(jù)的完整性，從而改變預(yù)測(cè)模型的結(jié)果。

綠盟科技（NSFOCUS）指出，ChatGPT 面臨嚴(yán)峻的數(shù)據(jù)中毒風(fēng)險(xiǎn)：（1）在預(yù)訓(xùn)練階段，ChatGPT 訓(xùn)練數(shù)據(jù)包含網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)源，若公共數(shù)據(jù)集被惡意投毒、加入噪聲干擾，會(huì)導(dǎo)致模型生成文本錯(cuò)誤、語(yǔ)義不連續(xù)等問(wèn)題；（2）后門(mén)植入的投毒會(huì)導(dǎo)致一些字母符號(hào)觸發(fā)模型作出特定行為；（3）在模型推理階段，ChatGPT 在答案生成過(guò)程中可能會(huì)使用額外數(shù)據(jù)庫(kù)和數(shù)據(jù)源進(jìn)行文本搜索，這也存在數(shù)據(jù)中毒的可能性；（4）若OpenAI 公司未來(lái)以用戶歷史對(duì)話內(nèi)容作為語(yǔ)料庫(kù)更新ChatGPT，那也將成為訓(xùn)練數(shù)據(jù)投毒的攻擊面。

值得注意的是，在數(shù)據(jù)中毒之外，若ChatGPT 依賴(lài)用戶反饋進(jìn)行優(yōu)化，攻擊者還可以利用這一點(diǎn)引導(dǎo)模型進(jìn)行“負(fù)優(yōu)化”。例如，在ChatGPT 已經(jīng)提供高質(zhì)量答案情況下，攻擊者還惡意作出負(fù)面評(píng)價(jià)和不當(dāng)反饋，或通過(guò)對(duì)話不斷批評(píng)和糾正ChatGPT 答案。面對(duì)大量惡意反饋，若ChatGPT 沒(méi)有設(shè)置適當(dāng)?shù)陌踩呗裕瑢?huì)影響后續(xù)版本文本生成質(zhì)量。

2.成員推理攻擊——身份暴露的威脅？

在成員推理攻擊中，黑客目的是發(fā)現(xiàn)并重建用于訓(xùn)練模型的樣本。成員推理攻擊背后的邏輯是，模型對(duì)訓(xùn)練數(shù)據(jù)（模型見(jiàn)過(guò)的）和其他數(shù)據(jù)（模型沒(méi)見(jiàn)過(guò)的）的表現(xiàn)是不同的。這種性能差異可能體現(xiàn)在模型預(yù)測(cè)、損失值、梯度信息等方面。

布拉格捷克理工大學(xué)研究員埃里克在《超越保障措施：探討ChatGPT 的安全風(fēng)險(xiǎn)》中指出，成員推理攻擊可能導(dǎo)致私人和敏感數(shù)據(jù)泄露，黑客可提取ChatGPT 訓(xùn)練數(shù)據(jù)?？ɡ岬葘W(xué)者在2021 年以“從大型語(yǔ)言模型中提取訓(xùn)練數(shù)據(jù)”為主題進(jìn)行實(shí)驗(yàn)，成功演示對(duì)GPT-2 訓(xùn)練數(shù)據(jù)的提取攻擊，通過(guò)“詢問(wèn)”語(yǔ)言模型，恢復(fù)了包含姓名、電話號(hào)碼和電子郵件地址等在內(nèi)的個(gè)人身份信息訓(xùn)練樣本，并得出“大型語(yǔ)言模型比小型語(yǔ)言模型更容易受到攻擊”的結(jié)論。

此外，有研究者發(fā)現(xiàn)隨機(jī)面部生成器“此人不存在”（This Person Does Not Exist）算法生成的假面部與訓(xùn)練數(shù)據(jù)中的真實(shí)個(gè)人面部非常相似——通過(guò)成員推理攻擊，可識(shí)別各不相同但具有相同身份的樣本。這使得攻擊者能夠推斷某些照片包含在訓(xùn)練數(shù)據(jù)集中的真實(shí)個(gè)人面部，從而造成隱私安全風(fēng)險(xiǎn)。例如，若對(duì)醫(yī)療數(shù)據(jù)模型發(fā)起成員推理攻擊，攻擊者可將某種疾病與現(xiàn)有人員聯(lián)系起來(lái)。攻擊對(duì)象不僅限于使用生物特征數(shù)據(jù)集（面部圖像、錄音、步態(tài)檢測(cè)）的模型，還可能包括基于遺傳數(shù)據(jù)等高度敏感信息的模型。

3.信息竊取——ChatGPT 賬戶憑據(jù)流入暗網(wǎng)，敏感信息或遭泄露？

2023 年以來(lái)，全球網(wǎng)絡(luò)安全威脅情報(bào)平臺(tái)Group-IB 已識(shí)別13426 臺(tái)保存ChatGPT 登錄憑據(jù)的信息竊取感染設(shè)備。平臺(tái)從過(guò)去一年在非法暗網(wǎng)市場(chǎng)交易的信息竊取惡意軟件日志中發(fā)現(xiàn)了這些被盜的ChatGPT 登錄憑據(jù)。信息竊取惡意軟件從安裝在受感染計(jì)算機(jī)上的瀏覽器中收集保存在瀏覽器中的登錄憑據(jù)、銀行卡信息、加密錢(qián)包信息、緩存數(shù)據(jù)、瀏覽記錄和其他數(shù)據(jù)，然后將其發(fā)送給惡意軟件運(yùn)營(yíng)者。亞太地區(qū)是過(guò)去一年中被信息竊取惡意軟件盜取的ChatGPT 登錄憑據(jù)數(shù)量最多的地區(qū)。2022 年6 月至2023 年5 月，全球保存ChatGPT 登錄憑據(jù)的信息竊取感染設(shè)備最集中的地區(qū)包括：（1）亞太地區(qū)40999 個(gè)；（2）中東和非洲24925 個(gè)；（3）歐洲16951個(gè)。ChatGPT 登錄憑據(jù)被盜數(shù)量最多的國(guó)家包括：（1）印度12632 個(gè)；（2）巴基斯坦9217 個(gè)；（3）巴西6531 個(gè)。當(dāng)前諸多企業(yè)正將ChatGPT 集成到運(yùn)營(yíng)流程中，鑒于ChatGPT 標(biāo)準(zhǔn)配置是保留所有對(duì)話，若犯罪者獲得賬戶的登錄憑據(jù)，可能在無(wú)意中獲取大量敏感情報(bào)。

三、ChatGPT 發(fā)展趨勢(shì)

人工智能技術(shù)的發(fā)展源于工業(yè)社會(huì)、承傳信息社會(huì)，正邁向智能社會(huì)。生成式人工智能，尤其是以ChatGPT為代表的大型語(yǔ)言模型，致力于深度優(yōu)化語(yǔ)言和對(duì)話交互，實(shí)現(xiàn)更加自然流暢的人機(jī)交流；個(gè)性化智能服務(wù)成為發(fā)展重點(diǎn)，為用戶提供定制化體驗(yàn)；跨領(lǐng)域融合創(chuàng)新不斷加速，推動(dòng)工業(yè)生產(chǎn)、醫(yī)療保健、智慧警務(wù)等落地。然而，驚喜與挑戰(zhàn)并存——ChatGPT 濫用可能形成龐大黑市和犯罪產(chǎn)業(yè)鏈，促進(jìn)基于模型與數(shù)據(jù)的黑市交易、工具供應(yīng)，智能犯罪服務(wù)專(zhuān)業(yè)化加劇，各類(lèi)犯罪者之間的交流協(xié)作將愈發(fā)頻繁，形成更大規(guī)模的犯罪網(wǎng)絡(luò)。

隨機(jī)面部生成器“此人不存在”生成的面部圖像

歐洲警察署指出，ChatGPT 帶來(lái)的最大影響之一是“探索性交流”，即通過(guò)簡(jiǎn)單提問(wèn)，快速收集幾乎無(wú)限主題的關(guān)鍵信息。無(wú)須在搜索引擎上手動(dòng)搜索、梳理總結(jié)大量信息，就能迅速深入了解某一特定主題的能力，可顯著加快學(xué)習(xí)過(guò)程，從而比以前更快地進(jìn)入新領(lǐng)域。鑒于ChatGPT 對(duì)犯罪的影響已然顯現(xiàn)，必須要考慮技術(shù)發(fā)展的前景問(wèn)題。在ChatGPT 引發(fā)互聯(lián)網(wǎng)轟動(dòng)后不久，微軟于2023 年1 月宣布向ChatGPT 投資100 億美元。不久之后，微軟首次嘗試將ChatGPT 集成到必應(yīng)等應(yīng)用中。與此同時(shí)，谷歌等競(jìng)爭(zhēng)對(duì)手也紛紛發(fā)布各自實(shí)驗(yàn)性對(duì)話式人工智能服務(wù)。ChatGPT 等大型語(yǔ)言模型是生成式人工智能的重要代表。這就產(chǎn)生一系列問(wèn)題：在大型科技公司支持下，ChatGPT 等大型語(yǔ)言模型將會(huì)變得多強(qiáng)大？私營(yíng)領(lǐng)域如何解決大型語(yǔ)言模型的犯罪濫用問(wèn)題？

歐洲警察署預(yù)測(cè)，人工智能犯罪將趨向真實(shí)化、復(fù)雜化，且更難與人類(lèi)作品區(qū)分。人工智能生成文本檢測(cè)研究正在推進(jìn)，將來(lái)可能在該領(lǐng)域發(fā)揮重要作用，但目前檢測(cè)工具準(zhǔn)確性較低。同時(shí)，大型語(yǔ)言模型的普遍開(kāi)發(fā)利用會(huì)帶來(lái)更多安全挑戰(zhàn)，其他人工智能服務(wù)的融合發(fā)展會(huì)開(kāi)辟全新的應(yīng)用維度。多模式人工智能系統(tǒng)即為典型例證，這種系統(tǒng)可將會(huì)話聊天機(jī)器人與可生成合成媒體的系統(tǒng)相結(jié)合，進(jìn)行令人信服的深度造假，也可將視覺(jué)和聽(tīng)覺(jué)等感官能力納入系統(tǒng)之中。此外，托管在暗網(wǎng)上、無(wú)安全過(guò)濾措施的“黑暗大模型”（Dark LLMs）以及針對(duì)特定有害數(shù)據(jù)進(jìn)行訓(xùn)練的大型語(yǔ)言模型都會(huì)出現(xiàn)。

網(wǎng)絡(luò)犯罪者專(zhuān)用的蠕蟲(chóng)GPT 出現(xiàn)

如今，歐洲警察署針對(duì)ChatGPT 的犯罪預(yù)測(cè)不僅走向現(xiàn)實(shí)，更得到印證。生成式人工智能這一突破性技術(shù)的深遠(yuǎn)影響在于其不僅是對(duì)擬人化文本的簡(jiǎn)單分析與生成，還對(duì)社會(huì)動(dòng)態(tài)和心理因素進(jìn)行更為深入的挖掘與理解，形成犯罪、人性和技術(shù)的復(fù)雜融合。

2023 年7 月，一種名為“蠕蟲(chóng)GPT”（WormGPT）的新型網(wǎng)絡(luò)犯罪工具在暗網(wǎng)掀起熱潮。蠕蟲(chóng)GPT 基于開(kāi)源GPT 語(yǔ)言模型構(gòu)建，與OpenAI 公司的ChatGPT、谷歌公司的巴德（Bard）等相比，沒(méi)有任何安全過(guò)濾措施、道德參數(shù)阻止模型響應(yīng)具有惡意意圖的請(qǐng)求，專(zhuān)為惡意網(wǎng)絡(luò)活動(dòng)設(shè)計(jì)。蠕蟲(chóng)GPT 針對(duì)來(lái)自合法網(wǎng)站、暗網(wǎng)論壇、黑客手冊(cè)、惡意軟件樣本、網(wǎng)絡(luò)釣魚(yú)模板等各種來(lái)源的數(shù)十億個(gè)單詞進(jìn)行訓(xùn)練，可基于數(shù)據(jù)爬取、社會(huì)工程等技術(shù)為惡意網(wǎng)絡(luò)活動(dòng)生成具有連貫性、針對(duì)性的內(nèi)容，使用蠕蟲(chóng)、特洛伊木馬、勒索軟件、間諜軟件或鍵盤(pán)記錄程序感染用戶設(shè)備，入侵多個(gè)網(wǎng)站并注入惡意軟件代碼等。目前，蠕蟲(chóng)GPT 只能通過(guò)暗網(wǎng)訪問(wèn)，使用比特幣、以太幣等加密貨幣進(jìn)行支付訂閱。

四、ChatGPT 治理路徑

ChatGPT 安全治理的本質(zhì)在于全面應(yīng)對(duì)犯罪、倫理、社會(huì)和技術(shù)等方面挑戰(zhàn)——在理解犯罪動(dòng)機(jī)和機(jī)制基礎(chǔ)之上，降低濫用或針對(duì)ChatGPT 進(jìn)行犯罪的機(jī)會(huì)成本，在模型開(kāi)發(fā)、應(yīng)用和運(yùn)行“全生命周期”上加強(qiáng)前置化監(jiān)管與預(yù)防性治理，同時(shí)關(guān)注經(jīng)濟(jì)后果、提高犯罪風(fēng)險(xiǎn)成本，促進(jìn)類(lèi)ChatGPT 生成式人工智能安全、可信與負(fù)責(zé)任地發(fā)展。

歐洲警察署針對(duì)ChatGPT 安全治理提出以下建議：（1）鑒于惡意利用大型語(yǔ)言模型可能造成的潛在危害，要深化問(wèn)題意識(shí)，盡快發(fā)現(xiàn)處理潛在安全漏洞；（2）大型語(yǔ)言模型具有可見(jiàn)的實(shí)際影響，執(zhí)法機(jī)關(guān)要了解所有可能受影響的犯罪領(lǐng)域，更好地預(yù)測(cè)、防范、偵查不同類(lèi)型的犯罪濫用；（3）鑒于技術(shù)行業(yè)在這一領(lǐng)域進(jìn)行大量投資，執(zhí)法機(jī)關(guān)應(yīng)與利益相關(guān)者加強(qiáng)溝通，確保安全機(jī)制成為關(guān)鍵考量因素并不斷改進(jìn)優(yōu)化。

放眼全球，人工智能安全治理進(jìn)程明顯提速，國(guó)際組織、主要國(guó)家和地區(qū)都在追趕以ChatGPT 為代表的生成式人工智能的演化速度。2023 年6 月，七國(guó)集團(tuán)（G7）數(shù)據(jù)保護(hù)和隱私機(jī)構(gòu)發(fā)布《生成式人工智能聯(lián)合聲明》，呼吁人工智能開(kāi)發(fā)商和提供商采取安全保障措施防范成員推理攻擊等網(wǎng)絡(luò)威脅和攻擊，厘清人工智能供應(yīng)鏈各參與者之間責(zé)任邊界，將個(gè)人數(shù)據(jù)收集限定在必要范圍內(nèi)。7 月，聯(lián)合國(guó)安理會(huì)召開(kāi)首次人工智能專(zhuān)題會(huì)議，強(qiáng)調(diào)人工智能對(duì)全球和平與安全帶來(lái)的潛在風(fēng)險(xiǎn)，提出建立多利益相關(guān)方人工智能高級(jí)別咨詢委員會(huì)。11 月，全球首份人工智能?chē)?guó)際性聲明《布萊切利宣言》在英國(guó)簽署，強(qiáng)調(diào)人工智能應(yīng)當(dāng)以安全、以人為中心、值得信賴(lài)和負(fù)責(zé)任的方式設(shè)計(jì)、開(kāi)發(fā)、部署和使用，將人工智能全生命周期安全納入考量，前沿人工智能技術(shù)開(kāi)發(fā)者對(duì)系統(tǒng)安全負(fù)有重大責(zé)任。

值得關(guān)注的是，歐洲議會(huì)高票通過(guò)《關(guān)于制定〈人工智能法案〉和修訂某些歐盟立法的提案的修正案》，新增針對(duì)基礎(chǔ)模型提供者的合規(guī)義務(wù)要求，包括：（1）風(fēng)險(xiǎn)控制，通過(guò)適當(dāng)?shù)脑O(shè)計(jì)、測(cè)試和分析，在開(kāi)發(fā)之前和整個(gè)開(kāi)發(fā)過(guò)程中，以適當(dāng)?shù)姆椒?，識(shí)別并減少對(duì)安全造成的合理可預(yù)見(jiàn)的風(fēng)險(xiǎn)；（2）數(shù)據(jù)治理，只處理和納入經(jīng)過(guò)適當(dāng)數(shù)據(jù)治理措施的數(shù)據(jù)集，特別是審查數(shù)據(jù)來(lái)源的適當(dāng)性；（3）安全評(píng)估，在開(kāi)發(fā)和設(shè)計(jì)過(guò)程中通過(guò)適當(dāng)方法進(jìn)行評(píng)估，保障基礎(chǔ)模型在整個(gè)生命周期內(nèi)達(dá)到適當(dāng)?shù)目深A(yù)測(cè)性、可解釋性、可糾正性、安全性水平；（4）登記備案，在模型投放市場(chǎng)前，在歐盟數(shù)據(jù)庫(kù)中進(jìn)行登記備案；（5）透明度要求，基于此類(lèi)模型的生成式人工智能系統(tǒng)必須披露哪些內(nèi)容是人工智能生成的，以便幫助區(qū)分所謂的深度造假圖像和真實(shí)圖像，并確保防止生成非法內(nèi)容。

ChatGPT 安全治理將是一個(gè)不斷學(xué)習(xí)、完善的過(guò)程，隨著技術(shù)進(jìn)步和應(yīng)用場(chǎng)景不斷擴(kuò)展，治理需要持續(xù)跟進(jìn)并適應(yīng)新挑戰(zhàn)、新威脅。但前行萬(wàn)里，不忘初心、防范化解犯罪風(fēng)險(xiǎn)、保障數(shù)據(jù)與系統(tǒng)安全只是治理過(guò)程，其最終目的仍要回歸人的層面，提升人的安全素養(yǎng)，引導(dǎo)技術(shù)向善，促進(jìn)產(chǎn)業(yè)良性發(fā)展。