文 ｜國家信息中心 王曉冬 李木子

以ChatGPT為代表的生成式人工智能（AIGC）給人類社會帶來了巨大的技術(shù)紅利，為第四次工業(yè)革命提供了新動能。但也逐漸暴露出一系列安全風(fēng)險。尤其是2022年下半年以來，涌現(xiàn)出WormGPT、PoisonGPT、EvilGPT等一批惡意人工智能大模型，給AIGC的安全治理帶來了新的嚴(yán)峻挑戰(zhàn)，亟待未雨綢繆，加強(qiáng)治理。

一、生成式人工智能滋生了惡意大模型的新威脅

生成式人工智能滋生了一批惡意人工智能大模型。惡意人工智能大模型是指由非法組織或不法分子操縱，借助開源模式模仿ChatGPT等合法模型，基于有害語料庫訓(xùn)練而生滋生的、專門用于網(wǎng)絡(luò)犯罪、詐騙等非法行為的一類非法大模型。惡意大模型與人工智能的濫用還不盡相同，其產(chǎn)生的直接目的就是用于各類非法行為，主要運(yùn)行于暗網(wǎng)，具有更強(qiáng)的隱蔽性、危害性，形成了“人工智能+犯罪”新治理挑戰(zhàn)，對國家安全、行業(yè)創(chuàng)新、生產(chǎn)生活等方面造成危害。

表1 惡意人工智能聊天機(jī)器人典型代表

（一）對維護(hù)國家安全提出新挑戰(zhàn)

濫用、惡用AIGC給國家政治和軍事帶來了新的安全挑戰(zhàn)。一是在意識形態(tài)安全方面，AIGC在數(shù)據(jù)投喂、算法訓(xùn)練等環(huán)節(jié)易受到核心技術(shù)掌控方操縱，出現(xiàn)污染投毒和算法偏見等問題?？赡艹蔀槲鞣絿覍θA“認(rèn)知戰(zhàn)”的新工具。二是在技術(shù)自主可控方面，霸權(quán)國家主導(dǎo)AIGC標(biāo)準(zhǔn)制定，技術(shù)相對弱勢的國家可能盲目大規(guī)模進(jìn)行產(chǎn)品使用和追隨開發(fā)，出現(xiàn)因科技封鎖和貿(mào)易制裁等遭遇“卡脖子”危險。三是在國防軍事安全方面，AIGC提高了作戰(zhàn)人員、武器和指揮信息系統(tǒng)的智能交互水平，對歷史戰(zhàn)況和現(xiàn)實(shí)情報通過先進(jìn)算法進(jìn)行快速推演分析，提升打擊精度和反應(yīng)速度。美國軍方在2023年已開始利用AIGC撰寫國防咨詢報告，并成立Lima工作組在五角大樓評估、整合和使用該技術(shù)。

（二）對行業(yè)應(yīng)用創(chuàng)新造成新沖擊

濫用、惡用AIGC給產(chǎn)業(yè)和行業(yè)發(fā)展帶來了新的安全沖擊。一是在教育就業(yè)方面，各種AIGC產(chǎn)品總體內(nèi)容質(zhì)量仍良莠不齊，容易出現(xiàn)創(chuàng)作的“劣幣驅(qū)逐良幣”現(xiàn)象。利用AIGC輔助完成課業(yè)和學(xué)術(shù)研究減少了必要的批判甄別和分析研究過程，會產(chǎn)出更多虛假信息和學(xué)術(shù)垃圾。二是在產(chǎn)業(yè)轉(zhuǎn)型方面，大部分傳統(tǒng)行業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程仍較為緩慢，對于正確運(yùn)用AIGC收集、處理數(shù)據(jù)，并將其應(yīng)用于研發(fā)、生產(chǎn)、銷售等各環(huán)節(jié)的意愿和能力尚且不足，大規(guī)模盲目引入AIGC可能會適得其反。

（三）對生產(chǎn)生活方式帶來新威脅

濫用、惡用AIGC給企業(yè)經(jīng)營和個人生活帶來了新的安全威脅。一是在企業(yè)經(jīng)營安全方面，易出現(xiàn)數(shù)據(jù)合規(guī)風(fēng)險、版權(quán)侵權(quán)、商業(yè)秘密泄露等問題。使用AIGC的分析決策黑盒、專業(yè)化團(tuán)隊培養(yǎng)、投資預(yù)算等問題也會對企業(yè)的平穩(wěn)運(yùn)行造成困難。二是在個人使用安全方面，山寨版GPT不斷涌現(xiàn)，相關(guān)域名注冊和盜用暴漲，頻繁向用戶索取信息授權(quán)，服務(wù)質(zhì)量差，跑路風(fēng)險高。AIGC還可繞過郵件過濾和防病毒軟件等傳統(tǒng)安全措施，生成低成本、個性化的網(wǎng)絡(luò)釣魚軟件和虛假廣告。

二、生成式人工智能安全治理難點(diǎn)

（一）包容審慎存在失衡，政策尺度有待細(xì)化

AIGC是一個新生事物，其發(fā)展規(guī)律還未完全明晰，包容審慎的政策尺度和平衡點(diǎn)較難把握。一方面，目前AIGC安全治理政策在適應(yīng)數(shù)字時代新型商業(yè)模式和秩序框架，鼓勵新業(yè)態(tài)自主創(chuàng)新、資源共享、國際合作等方面還有待健全完善。另一方面，在AIGC政策具體實(shí)施層面還存在市場形勢判斷難、干預(yù)時機(jī)決斷難、責(zé)任主體劃分難等難點(diǎn)，市場主體開展安全可信技術(shù)創(chuàng)新激勵和容錯措施尚未制度化。包容審慎監(jiān)管試點(diǎn)較少，對擬實(shí)施或已實(shí)施的監(jiān)管產(chǎn)生的積極影響和消極影響進(jìn)行評估的監(jiān)管影響分析程序重視度不夠，科技倫理治理公共服務(wù)平臺有待建設(shè)。

（二）協(xié)同治理能力不足，聯(lián)動合力有待提升

人工智能技術(shù)加速和深化了跨部門的數(shù)據(jù)共享、流程再造和業(yè)務(wù)聯(lián)動?？绮块T協(xié)同監(jiān)管仍存在信息孤島、職責(zé)孤島，人工智能立法存在困境。AIGC市場主體間競爭態(tài)勢強(qiáng)、利益沖突多、合作意愿弱，數(shù)據(jù)、技術(shù)、人才等資源的共享壁壘高，參與標(biāo)準(zhǔn)制定意愿較低，相關(guān)開源社區(qū)的建設(shè)和技術(shù)創(chuàng)新生態(tài)布局遲緩。

（三）監(jiān)管手段相對滯后，技術(shù)賦能有待加強(qiáng)

“以技術(shù)管技術(shù)、以技術(shù)治技術(shù)”的監(jiān)管治理體系尚不健全。在倫理安全層面，深度偽造技術(shù)層出不窮，而檢測算法的泛化性、健壯性等還有待提升。在算法安全層面，算法安全內(nèi)生機(jī)理、風(fēng)險評估、全生命周期安全監(jiān)測等關(guān)鍵技術(shù)支撐還需進(jìn)一步加強(qiáng)。在數(shù)據(jù)安全層面，數(shù)據(jù)安全監(jiān)測預(yù)警技術(shù)有待創(chuàng)新，數(shù)字貿(mào)易跨境監(jiān)管仍有進(jìn)步空間。非現(xiàn)場、物聯(lián)感知、穿透式等新型監(jiān)管手段運(yùn)用不夠充分，監(jiān)管智能化水平有待提升。

三、生成式人工智能安全治理對策建議

（一）健全制度規(guī)則，提升政企協(xié)同治理能力

1.政府發(fā)揮規(guī)范引導(dǎo)指揮棒作用

一是加大查處管控和宣傳教育。實(shí)行包容審慎和分類分級監(jiān)管，監(jiān)控查處非法使用和傳播惡意AIGC行為，管制違規(guī)賬號。二是健全技術(shù)規(guī)范和評價標(biāo)準(zhǔn)。制定AIGC預(yù)訓(xùn)練和優(yōu)化訓(xùn)練數(shù)據(jù)、標(biāo)注、數(shù)據(jù)分類分級保護(hù)等方面的國家標(biāo)準(zhǔn)，以及深度偽造、智能群呼設(shè)備等高風(fēng)險AI技術(shù)的使用規(guī)范。三是完善法律體系和制度框架。采用安全港等機(jī)制處理內(nèi)容責(zé)任歸屬問題，加強(qiáng)和改進(jìn)反壟斷和反不正當(dāng)競爭執(zhí)法。探索我國數(shù)據(jù)存儲體系優(yōu)化，構(gòu)建數(shù)據(jù)被動出境的主動防御體系，建立跨境數(shù)據(jù)流動規(guī)則和白名單等機(jī)制。

2.相關(guān)企業(yè)強(qiáng)化責(zé)任與安全意識

一是保障內(nèi)容安全可信。采用人機(jī)審核相結(jié)合的方式弱化和刪減不當(dāng)內(nèi)容，對AIGC進(jìn)行顯著標(biāo)識，提供使用和退出服務(wù)簡明的解決方案?？紤]采用時間戳、哈希值校驗、電子簽名等技術(shù)手段為AIGC提供溯源與認(rèn)證，主動向使用統(tǒng)一的AIGC數(shù)據(jù)標(biāo)準(zhǔn)或元數(shù)據(jù)標(biāo)準(zhǔn)靠攏。二是完善安全制度流程。抓取開放數(shù)據(jù)應(yīng)遵循合法、正當(dāng)和必要原則，敏感信息進(jìn)行脫敏處理，企業(yè)內(nèi)部針對不同的崗位和職級設(shè)置數(shù)據(jù)權(quán)限。設(shè)定高獎勵額度的“漏洞懸賞計劃”。三是配合安全監(jiān)管檢查。嚴(yán)格遵從開源許可協(xié)議規(guī)定行使開源軟件的復(fù)制權(quán)、修改權(quán)、發(fā)行權(quán)。主動向主管部門申報安全評估，履行算法備案和變更等手續(xù)，提升服務(wù)透明度。對于機(jī)密程度高、創(chuàng)新要求高的技術(shù)密集型產(chǎn)業(yè)，例如軍工、航天、芯片等行業(yè)在使用AIGC過程中要著重進(jìn)行審慎評估和內(nèi)查外糾。

（二）加強(qiáng)技術(shù)創(chuàng)新，健全安全治理技術(shù)體系

1.完善人工反饋的強(qiáng)化學(xué)習(xí)機(jī)制

注重對人工反饋的強(qiáng)化學(xué)習(xí)機(jī)制（RLHF）的優(yōu)化。從與訓(xùn)練語言模型、收集數(shù)據(jù)并訓(xùn)練獎勵模型、強(qiáng)化學(xué)習(xí)微調(diào)語言模型等階段，降低數(shù)據(jù)成本、優(yōu)化算法、改進(jìn)微調(diào)策略，防止被某些策略繞開而產(chǎn)出不當(dāng)內(nèi)容，使模型與人類需求對齊。自動化調(diào)用模型知識，進(jìn)一步降低對大規(guī)模高質(zhì)量人工標(biāo)注數(shù)據(jù)的依賴。

2.加強(qiáng)模型安全技術(shù)研究及應(yīng)用

一是部署數(shù)據(jù)和模型安全防御。通過優(yōu)化魯棒訓(xùn)練算法應(yīng)對數(shù)據(jù)投毒，采取截斷混淆、差分隱私等手段使模型隱私信息模糊化，采取模型水印、模型指紋等溯源手段保障知識產(chǎn)權(quán)專有性。二是做好各類接口安全性設(shè)計。采用身份驗證、日志監(jiān)控、網(wǎng)關(guān)等技術(shù)手段加強(qiáng)API和網(wǎng)頁端接口的安全防范管理。使用VPN等加密通道傳輸數(shù)據(jù)，部署抵御DdoS的工具，使用嗅探器等檢測安全問題并跟蹤數(shù)據(jù)泄露。三是分析研究新型LLM。探索利用人工智能工具逐步實(shí)現(xiàn)自動化對抗惡意AIGC，進(jìn)而用大模型“對抗”大模型。

（三）優(yōu)化監(jiān)管手段，提升智能治理監(jiān)管能力

一是完善內(nèi)容分類篩選機(jī)制。完善內(nèi)容分類、濫用模式捕獲、人工評審決策和通知用戶機(jī)制，并增強(qiáng)對非英語語言的支持。二是強(qiáng)化生成內(nèi)容檢測技術(shù)。通過實(shí)時聚類、特征庫匹配等強(qiáng)化文本檢測技術(shù)，依托生理信號特征、GAN圖像特征、數(shù)據(jù)驅(qū)動等強(qiáng)化深度偽造檢測技術(shù)。三是拓展監(jiān)管工具場景應(yīng)用。探索智能化監(jiān)管手段，例如數(shù)字沙盒、隱私護(hù)盾等與相關(guān)行業(yè)企業(yè)對接。

四、結(jié)語

本文對AIGC濫用惡用的安全治理進(jìn)行了研究。歸納了濫用惡用AIGC對國家安全、行業(yè)創(chuàng)新、生產(chǎn)生活等三方面威脅，總結(jié)出AIGC政策尺度有待細(xì)化、聯(lián)動合力有待提升、技術(shù)賦能有待加強(qiáng)等難點(diǎn)。最后，從健全制度規(guī)則、加強(qiáng)技術(shù)創(chuàng)新、優(yōu)化監(jiān)管手段等方面提出對策建議，對促進(jìn)AIGC規(guī)范應(yīng)用和健康發(fā)展具有重要啟示作用。