文/劉星臣
作為全球經(jīng)濟(jì)和文化中心之一,意大利的科技發(fā)展水平居于世界前列。隨著“第四次工業(yè)革命”的到來(lái),人工智能技術(shù)所帶來(lái)的進(jìn)步在極大地推動(dòng)了意大利社會(huì)和經(jīng)濟(jì)發(fā)展的同時(shí),也催生了新的犯罪形式——人工智能犯罪。所謂人工智能犯罪,是指利用人工智能技術(shù)進(jìn)行的非法行為或?qū)θ斯ぶ悄芟到y(tǒng)的惡意操作。其反映了信息時(shí)代技術(shù)發(fā)展與犯罪活動(dòng)之間的交織,給傳統(tǒng)的法律和治理體系帶來(lái)了前所未有之挑戰(zhàn)。因此,人工智能犯罪的治理成為當(dāng)前維護(hù)意大利社會(huì)穩(wěn)定的重要方面。
2023 年3 月21 日,意大利個(gè)人數(shù)據(jù)保護(hù)局突然宣布,即日起將禁止使用生成式預(yù)訓(xùn)練聊天機(jī)器人ChatGPT,并對(duì)其開發(fā)者OpenAI 公司作出禁止收集和處理意大利用戶信息的限制。意大利個(gè)人數(shù)據(jù)保護(hù)局列出了三項(xiàng)指控理由:一是3 月20 日平臺(tái)發(fā)生了用戶對(duì)話數(shù)據(jù)和付款支付信息丟失的現(xiàn)象;二是在未征得用戶同意的前提下擅自收集處理用戶信息;三是由于缺乏有效的年齡核實(shí)系統(tǒng),可能會(huì)使未成年人接觸到與其年齡不相適應(yīng)的內(nèi)容。
意大利宣布禁止使用聊天機(jī)器人ChatGPT,再次引發(fā)了全球?qū)θ斯ぶ悄艿臒嶙h。究其原因,既有對(duì)社會(huì)安全的考量,也有對(duì)人類未來(lái)的擔(dān)憂。
勒索軟件攻擊是政府和社會(huì)組織面臨的最大風(fēng)險(xiǎn)之一。在意大利學(xué)者法比安·泰希曼的一項(xiàng)研究中,作者通過(guò)向人工智能(AI)聊天機(jī)器人提問(wèn)的方式,對(duì)犯罪分子利用生成式人工智能進(jìn)行勒索軟件攻擊的計(jì)劃和實(shí)施過(guò)程進(jìn)行了測(cè)試。詢問(wèn)內(nèi)容包括“什么是勒索軟件”“犯罪分子如何實(shí)施勒索軟件攻擊”“如何利用軟件漏洞”“可以幫忙寫一個(gè)釣魚郵件的例子嗎”“如何進(jìn)入暗網(wǎng)”“如何安全獲得贖金”等問(wèn)題。研究結(jié)果顯示,以往的大多數(shù)非網(wǎng)絡(luò)犯罪分子通常不具備識(shí)別合適目標(biāo)或在受害者的硬件上安裝惡意軟件的能力,因此難以計(jì)劃和實(shí)施勒索軟件攻擊。然而,由于生成式人工智能的高級(jí)認(rèn)知能力,人工智能聊天機(jī)器人可以幫助他們計(jì)劃和實(shí)施復(fù)雜的網(wǎng)絡(luò)攻擊,甚至可用于一步步地指導(dǎo)在信息技術(shù)(IT)領(lǐng)域知識(shí)有限的犯罪分子。因此,人工智能成了勒索軟件攻擊的“設(shè)計(jì)師”。
在2023 年2 月,意大利的個(gè)人數(shù)據(jù)保護(hù)機(jī)構(gòu)下令禁止人工智能聊天工具“雷普利卡”(Replika)應(yīng)用。機(jī)構(gòu)認(rèn)為該應(yīng)用因未設(shè)置用戶年齡驗(yàn)證機(jī)制而涉嫌違反歐盟《通用數(shù)據(jù)保護(hù)條例》,可能對(duì)未成年人或情感脆弱群體構(gòu)成風(fēng)險(xiǎn)。其母公司須在20 天內(nèi)按要求采取相應(yīng)措施,否則可能被處以高達(dá)2000 萬(wàn)歐元或全球年?duì)I業(yè)額4%的罰款。
意大利人工智能專家丹尼斯·希勒曼強(qiáng)調(diào),當(dāng)前最先進(jìn)的對(duì)話式機(jī)器人與抖音(TikTok)上篩選視頻以及谷歌上優(yōu)化搜索的人工智能(AI)算法之間存在本質(zhì)的差異。如果聊天機(jī)器人ChatGPT 可以被視為一種高級(jí)智能助理,那么Replika 更傾向于智能化的情感陪伴。據(jù)報(bào)道,眾多用戶開始培養(yǎng)出超越傳統(tǒng)情感層面的聯(lián)結(jié),甚至將其視為“浪漫伴侶”。部分用戶最初選擇體驗(yàn)此應(yīng)用是為了證實(shí)人類不可能對(duì)智能情感伴侶產(chǎn)生真實(shí)情感,但僅僅幾天后就發(fā)現(xiàn)自己深深迷戀上了它,并描述其為“生命中最不可思議的奇跡”。同時(shí), Replika 也引發(fā)了不少質(zhì)疑,一些用戶指責(zé)該應(yīng)用的交流內(nèi)容過(guò)于露骨,觸及了“性騷擾”的邊緣。
意大利禁止ChatGPT
2023 年4 月28 日,意大利個(gè)人數(shù)據(jù)保護(hù)機(jī)構(gòu)解除了對(duì)生成式預(yù)訓(xùn)練聊天機(jī)器人ChatGPT 的禁令。此舉雖顯示了意大利政府對(duì)新興科技的開放態(tài)度,但同時(shí)也對(duì)人工智能犯罪產(chǎn)生了一定的刺激作用。
人工智能使犯罪的門檻逐漸降低,這一現(xiàn)象主要?dú)w因于人工智能技術(shù)獲取的便捷性和自動(dòng)化技術(shù)的普遍性。其中,人工智能技術(shù)和信息獲取的便捷性是降低犯罪門檻的主要驅(qū)動(dòng)力。隨著各種免費(fèi)學(xué)習(xí)網(wǎng)站的出現(xiàn),如米蘭理工大學(xué)知識(shí)開放網(wǎng)站(Polimi Open Knowledge)、“教育開放”網(wǎng)站(EduOpen)、“費(fèi)德里卡”學(xué)習(xí)網(wǎng)站(Federica.eu)、“加油項(xiàng)目”網(wǎng)站(Oilproject)和“斯基拉”(Skilla)等在線課程平臺(tái),即便是對(duì)AI 知識(shí)了解有限的個(gè)體也能自學(xué)并應(yīng)用這些先進(jìn)技術(shù),并可以通過(guò)互聯(lián)網(wǎng)獲取用于設(shè)計(jì)和部署復(fù)雜算法的資源和工具。此外,自動(dòng)化技術(shù)的普遍性也使得非法活動(dòng)更加規(guī)?;?。犯罪分子不僅可以針對(duì)成千上萬(wàn)的目標(biāo)進(jìn)行自動(dòng)化攻擊,還可以定制攻擊,以適應(yīng)不同的個(gè)人和情境,從而提高成功率。例如,2021 年8 月13 日,卡塞塔省的四名犯罪分子利用“短信釣魚”(Smishing)系統(tǒng)(該術(shù)語(yǔ)來(lái)自短信和網(wǎng)絡(luò)釣魚的組合)從受害人的郵政賬戶中盜走了近9000 歐元。
隨著大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,AI 系統(tǒng)能夠通過(guò)各種合法和非法的方式收集、分析個(gè)人數(shù)據(jù),嚴(yán)重侵犯了個(gè)人的隱私權(quán)。同時(shí),這種基于算法的決策過(guò)程往往缺乏透明度和可解釋性,引發(fā)了關(guān)于信息自由和知情權(quán)的倫理和法律爭(zhēng)議。2021 年7 月,意大利個(gè)人數(shù)據(jù)保護(hù)局(Garante)以違反歐盟《通用數(shù)據(jù)保護(hù)條例》(GDPR)為由,先后對(duì)兩家跨國(guó)外賣公司“戶戶送”(Deliveroo)和“福迪尼奧”(Foodinho)開出290 萬(wàn)歐元(約合人民幣2217 萬(wàn)元)和260 萬(wàn)歐元(約合人民幣1987 萬(wàn)元)的罰單。該機(jī)構(gòu)認(rèn)為,外賣平臺(tái)完全通過(guò)算法為騎手進(jìn)行評(píng)級(jí)、排名甚至處罰,缺乏人工干預(yù)機(jī)制,會(huì)影響騎手的工作機(jī)會(huì),并且有可能對(duì)騎手造成歧視。
與此同時(shí),執(zhí)法過(guò)程中對(duì)AI 的依賴可能進(jìn)一步侵犯公民權(quán)利。據(jù)意大利多家媒體報(bào)道,意大利執(zhí)法機(jī)構(gòu)研發(fā)出一套人工智能系統(tǒng),稱為木星系統(tǒng)(GIOVE)。其工作原理是利用意大利本國(guó)的犯罪數(shù)據(jù)庫(kù)和人工智能算法,來(lái)實(shí)現(xiàn)對(duì)犯罪時(shí)間和地點(diǎn)的預(yù)測(cè)。然而,該系統(tǒng)存在算法歧視的漏洞,比如算法會(huì)認(rèn)為某個(gè)種族或某個(gè)地區(qū)的人更有可能犯罪。因此,目前這套系統(tǒng)正在接受意大利隱私保護(hù)機(jī)構(gòu)的審查。
意大利郵政警察處理的網(wǎng)絡(luò)釣魚攻擊案件從2015 年的400 多起增長(zhǎng)到2019 年的3000 多起,增長(zhǎng)速度大幅上升。人工智能犯罪呈現(xiàn)加速趨勢(shì)不僅表現(xiàn)在犯罪數(shù)量的迅速增多,還反映在以下兩個(gè)方面:一方面,犯罪自動(dòng)化和智能化的提升。隨著機(jī)器學(xué)習(xí)和自動(dòng)化技術(shù)的成熟,犯罪分子可以利用人工智能快速發(fā)掘系統(tǒng)漏洞以自動(dòng)化地進(jìn)行大規(guī)模攻擊,而不再依賴傳統(tǒng)的、人力密集的方式。這種自動(dòng)化攻擊的規(guī)模和速度是以往難以想象的,也使得防御方在時(shí)間和空間上處于極大的劣勢(shì)。據(jù)安莎通訊社報(bào)道,2022 年5 月11 日,意大利參議院、上議院、國(guó)防部等多個(gè)重要政府網(wǎng)站遭到黑客團(tuán)伙“殺戮網(wǎng)”(Killnet)網(wǎng)絡(luò)攻擊,網(wǎng)站至少1 個(gè)小時(shí)無(wú)法訪問(wèn)。意大利計(jì)算機(jī)安全事件響應(yīng)小組稱,此次攻擊使用了“慢速HTTP”的新型分布式拒絕服務(wù)手法(DDoS),傳統(tǒng)防御措施較難抵御,需要針對(duì)性處置。另一方面,個(gè)性化和定制化犯罪的興起。人工智能能夠處理和分析海量數(shù)據(jù),通過(guò)對(duì)個(gè)人信息和行為模式的深度學(xué)習(xí),幫助犯罪分子設(shè)計(jì)出高度個(gè)性化的詐騙方案,極易使目標(biāo)受害者陷入詐騙陷阱。2017 年10 月,米蘭市警方搗毀了一個(gè)專門詐騙老人的犯罪團(tuán)伙。據(jù)警方人員透露,該犯罪團(tuán)伙主要是通過(guò)系統(tǒng)撥打電話,使受害人相信自己家人正處于麻煩之中,進(jìn)而誘騙受害人轉(zhuǎn)賬。為了使詐騙電話更有說(shuō)服力,該犯罪團(tuán)伙有時(shí)甚至?xí)肁I 模仿受害人家庭成員的聲音,加強(qiáng)詐騙電話的可信度。
木星系統(tǒng)(GIOVE)的面部識(shí)別技術(shù)
近年來(lái),意大利人工智能犯罪涉及的領(lǐng)域正在不斷擴(kuò)大,呈現(xiàn)出多元化和復(fù)雜化的趨勢(shì)。其中,人工智能犯罪在網(wǎng)絡(luò)安全領(lǐng)域的擴(kuò)散尤為顯著。通過(guò)利用深度學(xué)習(xí)和大數(shù)據(jù)分析,黑客能夠迅速發(fā)現(xiàn)網(wǎng)絡(luò)系統(tǒng)的漏洞并執(zhí)行高度自動(dòng)化的攻擊,如木馬攻擊、勒索軟件的傳播等,不僅威脅到個(gè)人數(shù)據(jù)的安全,更對(duì)國(guó)家安全構(gòu)成潛在風(fēng)險(xiǎn)。例如,2022 年7 月25 日,意大利稅務(wù)局遭到勒索軟件團(tuán)伙“鎖位”3.0(LockBit 3.0)攻擊,導(dǎo)致約78 GB 數(shù)據(jù)被泄露。另外,人工智能也加劇了信息領(lǐng)域的不對(duì)稱?!吧疃葌卧臁奔夹g(shù)的濫用使得虛假新聞、虛假聲明或虛假視頻音頻得以廣泛傳播,嚴(yán)重破壞了公眾對(duì)媒體的信任和社會(huì)的信息安全。據(jù)意大利Leggo 網(wǎng)站報(bào)道,來(lái)自撒丁島薩薩里省的一對(duì)父子使用“換臉”技術(shù)將色情電影的女主角換成了意大利總理梅洛尼的頭像,對(duì)梅洛尼和社會(huì)造成極大的影響。
針對(duì)愈演愈烈的人工智能犯罪,意大利政府從健全相關(guān)法律規(guī)范、加強(qiáng)企業(yè)合規(guī)監(jiān)管、設(shè)立專門治理組織三個(gè)層面構(gòu)建人工智能犯罪治理格局,以保障意大利社會(huì)與經(jīng)濟(jì)的平穩(wěn)發(fā)展。
為了規(guī)范人工智能的研發(fā)與使用,確保人工智能可以在合法的限度內(nèi)促進(jìn)公民生活與社會(huì)發(fā)展,歐盟成員國(guó)嘗試建立統(tǒng)一的人工智能法律監(jiān)管體系。2023 年6 月,歐盟議會(huì)表決通過(guò)了《人工智能法案》,該法案是第一部針對(duì)人工智能的綜合性立法。該法案首先明確了人工智能系統(tǒng)的監(jiān)管對(duì)象為其提供者和部署者。換言之,凡是涉及提供人工智能服務(wù)的主體都在監(jiān)管范圍之內(nèi),包括:開發(fā)商、發(fā)行商、經(jīng)銷商、中間授權(quán)方等。其次,根據(jù)人工智能的風(fēng)險(xiǎn)程度不同,該法案將其區(qū)分為不可接受的風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)和低風(fēng)險(xiǎn)四種級(jí)別,并對(duì)不可接受的風(fēng)險(xiǎn)以及高風(fēng)險(xiǎn)等級(jí)提出了嚴(yán)格的監(jiān)管規(guī)則,同時(shí)要求人工智能產(chǎn)品入市前評(píng)估和入市后監(jiān)測(cè),以便從事前、事中和事后共同治理。
意大利歷來(lái)高度重視網(wǎng)絡(luò)空間安全規(guī)范建設(shè)。例如,2013 年政府發(fā)布的《國(guó)家網(wǎng)絡(luò)空間安全戰(zhàn)略框架》對(duì)安全戰(zhàn)略、機(jī)構(gòu)設(shè)置、能力建設(shè)、國(guó)際合作等作出了框架性指導(dǎo)。近幾年,意大利還進(jìn)一步提出了《2022-2026 年的國(guó)家網(wǎng)絡(luò)安全戰(zhàn)略》,旨在加強(qiáng)政府的承諾,消解網(wǎng)絡(luò)威脅并提高對(duì)網(wǎng)絡(luò)攻擊的韌性。此外,2019 年,意大利網(wǎng)絡(luò)安全法令獲眾議院投票通過(guò)而正式成為法律。該法令擴(kuò)大了“黃金權(quán)力”法的應(yīng)用范圍,并加入了“在內(nèi)政部設(shè)立自己的信息通信技術(shù)網(wǎng)絡(luò)及供應(yīng)商資質(zhì)認(rèn)證評(píng)估中心”等內(nèi)容。
意大利在應(yīng)對(duì)人工智能犯罪方面展現(xiàn)出了前瞻性和積極性,尤其是在企業(yè)監(jiān)管領(lǐng)域。從立法層面,新的法規(guī)要求企業(yè)必須對(duì)其使用的AI 系統(tǒng)進(jìn)行全面審查,以確保這些系統(tǒng)的決策過(guò)程可解釋,并符合公平、透明和可靠的原則。為此,意大利個(gè)人數(shù)據(jù)保護(hù)機(jī)構(gòu)加大了對(duì)使用人工智能進(jìn)行非法活動(dòng),如內(nèi)幕交易、市場(chǎng)操縱和其他形式的欺詐行為的打擊力度。針對(duì)這些違法行為實(shí)施重罰策略,是對(duì)企業(yè)違規(guī)使用AI 的有效威懾。在監(jiān)督和合規(guī)層面,意大利個(gè)人數(shù)據(jù)保護(hù)機(jī)構(gòu)強(qiáng)化了對(duì)企業(yè)的監(jiān)管把控,推動(dòng)企業(yè)內(nèi)部建立完善的合規(guī)機(jī)制與專門組織,以幫助企業(yè)評(píng)估和減輕與AI 相關(guān)的風(fēng)險(xiǎn)。如意大利個(gè)人數(shù)據(jù)保護(hù)機(jī)構(gòu)在封禁ChatGPT 并對(duì)OpenAI 公司發(fā)出整改意見(jiàn)后,該公司在20 日內(nèi)完成整改,將隱私信息通知擴(kuò)大到歐洲用戶和非用戶,修改和澄清了若干機(jī)制,提供了易操作、無(wú)障礙的用戶行權(quán)解決方案,使用戶和非用戶均能正常行使權(quán)利?;诖耍琌penAI 公司在意大利的禁令得以解除。此外,為了更有效地預(yù)防人工智能相關(guān)風(fēng)險(xiǎn),意大利也積極推動(dòng)人工智能技術(shù)教育和培訓(xùn)項(xiàng)目。這些項(xiàng)目旨在提高企業(yè)管理層和員工對(duì)人工智能潛在威脅的認(rèn)識(shí),加強(qiáng)企業(yè)內(nèi)部控制,確保對(duì)AI 系統(tǒng)的合規(guī)使用。
隨著政府、公共服務(wù)機(jī)構(gòu)和基礎(chǔ)設(shè)施部門不斷成為勒索軟件等惡意程序的攻擊目標(biāo),網(wǎng)絡(luò)安全也不再局限于個(gè)別企業(yè)的自身防護(hù),開始成為涉及產(chǎn)業(yè)鏈乃至國(guó)家安全的重要問(wèn)題。因此,2021 年8 月,意大利議會(huì)批準(zhǔn)了政府建立新網(wǎng)絡(luò)安全機(jī)構(gòu)的計(jì)劃,希望能夠打擊針對(duì)該國(guó)的網(wǎng)絡(luò)攻擊,補(bǔ)全該國(guó)創(chuàng)建安全、統(tǒng)一云基礎(chǔ)設(shè)施的宏大戰(zhàn)略。意大利國(guó)家網(wǎng)絡(luò)安全局(ACN)最初由300名員工組成,預(yù)計(jì)到2027 年擴(kuò)充至800 名雇員的規(guī)模。該機(jī)構(gòu)由信息安全部(DIS)副部長(zhǎng)羅伯托·巴爾迪尼領(lǐng)導(dǎo),其核心職能包括發(fā)展和實(shí)施全國(guó)性的網(wǎng)絡(luò)防御措施,監(jiān)控網(wǎng)絡(luò)活動(dòng)以及消解潛在的網(wǎng)絡(luò)威脅,從而有效應(yīng)對(duì)可能出現(xiàn)的各種網(wǎng)絡(luò)安全事故和惡意攻擊。此外,該機(jī)構(gòu)還通過(guò)各種手段提高信息和通信技術(shù)系統(tǒng)的整體安全性,確保國(guó)家的數(shù)字基礎(chǔ)設(shè)施得到有效保護(hù)。
根據(jù)意大利國(guó)家網(wǎng)絡(luò)安全局的最新報(bào)告,2022 年該局共處理了1094 起網(wǎng)絡(luò)攻擊事件。從惡意軟件到釣魚軟件,從勒索軟件到郵箱被入侵,公司、公共管理部門、服務(wù)部門都在黑客的攻擊范圍內(nèi)。報(bào)告還指出,不健全的網(wǎng)絡(luò)安全政策和訪問(wèn)證書管理、使用系統(tǒng)和設(shè)備的陳舊是意大利網(wǎng)絡(luò)安全所面臨的最主要挑戰(zhàn)。因此,意大利在網(wǎng)絡(luò)安全領(lǐng)域投資巨大。從2023 年到2037 年,用于實(shí)施國(guó)家網(wǎng)絡(luò)安全戰(zhàn)略的基金已經(jīng)超過(guò)20 億歐元,其中意大利復(fù)蘇與韌性計(jì)劃將為該基金提供6.23 億歐元。這一長(zhǎng)期財(cái)政承諾凸顯了意大利對(duì)網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施和保障措施的重視。負(fù)責(zé)網(wǎng)絡(luò)安全的副部長(zhǎng)阿爾弗雷多·曼托瓦諾強(qiáng)調(diào),政府的長(zhǎng)期目標(biāo)是在良性網(wǎng)絡(luò)生態(tài)系統(tǒng)中提升國(guó)家技術(shù)能力,同時(shí)追求在該領(lǐng)域的戰(zhàn)略自主性。
總體而言,意大利的一系列治理舉措在一定程度上遏制了人工智能犯罪的發(fā)展勢(shì)頭。在積極擁抱人工智能帶來(lái)的便利和進(jìn)步的同時(shí),意大利也清醒地認(rèn)識(shí)到制定嚴(yán)格監(jiān)管措施治理人工智能犯罪的必要性,確保技術(shù)發(fā)展與國(guó)家法律和社會(huì)道德準(zhǔn)則和諧共處。