摘要：生成式人工智能不斷迭代發(fā)展，應(yīng)用越來越廣泛、深入。人們?cè)谘芯亢蛧L試如何將AIGC與從事的行業(yè)和工作結(jié)合起來，以達(dá)到提高工作效率、節(jié)省人力、更高效的完成相關(guān)工作的目的。文章研究了生成式人工智能在網(wǎng)絡(luò)安全領(lǐng)域正反兩方面的應(yīng)用，探索了生成式人工智能在代碼審計(jì)和生成、漏洞和釣魚郵件檢測(cè)、AI深度合成等方面的應(yīng)用。文章認(rèn)為，隨著生成式人工智能的不斷迭代發(fā)展，其將在網(wǎng)絡(luò)安全領(lǐng)域獲得廣泛而深入的應(yīng)用，會(huì)對(duì)網(wǎng)絡(luò)安全領(lǐng)域帶來正反兩方面的深刻影響。

關(guān)鍵詞：生成式人工智能；AIGC；AI；網(wǎng)絡(luò)安全

自2022年11月ChatGPT誕生以來，生成式人工智能（AIGC）技術(shù)不斷迭代發(fā)展，成為當(dāng)前研究和應(yīng)用的熱門。目前我國有文心一言、通義千問、訊飛星火、智譜清言、字節(jié)豆包、Kimi等AIGC應(yīng)用。截至2024年7月30日，全國范圍內(nèi)已有197個(gè)生成式人工智能服務(wù)通過網(wǎng)信辦備案。AIGC技術(shù)對(duì)各行各業(yè)帶來了即時(shí)或潛在的影響，生成式人工智能作為人工智能領(lǐng)域的重要分支，以其強(qiáng)大的數(shù)據(jù)處理能力和創(chuàng)新的應(yīng)用場景，正在以前所未有的速度改變著各行各業(yè)，對(duì)網(wǎng)絡(luò)安全工作的影響也不例外。

一、生成式人工智能對(duì)網(wǎng)絡(luò)安全工作的正面影響

（一）提升網(wǎng)絡(luò)安全工作自動(dòng)化水平

利用AI提升網(wǎng)絡(luò)安全工作的自動(dòng)化水平，使得安全工作人員減少繁雜的重復(fù)性、事務(wù)性工作，聚焦AI不能完成的網(wǎng)絡(luò)安全方面工作，同時(shí)降低人為導(dǎo)致的錯(cuò)誤的可能性。生成式人工智能在智能化防護(hù)、預(yù)測(cè)性安全、自適應(yīng)防御等網(wǎng)絡(luò)安全領(lǐng)域都有廣泛的應(yīng)用[1]。

（二）網(wǎng)絡(luò)安全顧問

AIGC可以作為組織或個(gè)人的網(wǎng)絡(luò)安全顧問。其可針對(duì)用戶提出的問題給出專業(yè)的回答。就像案頭的百科全書，用戶可隨時(shí)向它提出問題，學(xué)習(xí)相關(guān)的網(wǎng)絡(luò)安全知識(shí)。

（三）代碼審計(jì)

通過智譜清言、Kimi等AIGC對(duì)下邊這段python代碼進(jìn)行審計(jì)：

import sys

def harmonic（n）：

total = 0.0

for i in range（1， n+1）：

total += 1.0 / i

return total

n = int（sys.argv[1]）

for i in range（1， n+1）：

print（harmonic（i））

智譜清言、Kimi等AIGC審計(jì)認(rèn)為，這段Python代碼定義了一個(gè)函數(shù)Harmonic，用于計(jì)算n階調(diào)和數(shù)，即計(jì)算從1到n的倒數(shù)之和。然后，代碼從命令行參數(shù)中獲取一個(gè)整數(shù)n，計(jì)算并打印從1到n的每個(gè)調(diào)和數(shù)的值。

（四）漏洞發(fā)現(xiàn)

以DVWA等滲透測(cè)試環(huán)境為例，利用AIGC的代碼生成和強(qiáng)大的分析能力，可以挖掘代碼漏洞并給出修復(fù)方案。對(duì)于滲透測(cè)試平臺(tái)DVWA的SQL注入漏洞，Security Levels設(shè)置為high，將SQL注入源代碼，詢問智譜清言、Kimi等AIGC，會(huì)給出分析，認(rèn)為代碼存在SQL注入，問題在于查詢字符串直接將$id變量插入SQL語句中，而沒有進(jìn)行任何形式的轉(zhuǎn)義或參數(shù)化查詢，并給出了解決辦法：為了防止SQL注入，應(yīng)該使用參數(shù)化查詢。在PHP中，可以使用預(yù)處理語句和綁定參數(shù)來實(shí)現(xiàn)這一點(diǎn)。將Security Levels設(shè)置為Impossible，將SQL注入源代碼，通過智譜清言、Kimi等AIGC分析，給出的分析結(jié)論認(rèn)為代碼不存在明顯的SQL注入風(fēng)險(xiǎn)，因?yàn)檎_地使用了PDO預(yù)處理語句和參數(shù)綁定，代碼中有一些安全措施，比如檢查CSRF（跨站請(qǐng)求偽造）令牌，這有助于保護(hù)應(yīng)用程序免受CSRF攻擊。

（五）日志分析

WAF、IPS、防火墻等安全設(shè)備會(huì)產(chǎn)生大量日志，服務(wù)器操作系統(tǒng)及運(yùn)行的BIND、REDIS、數(shù)據(jù)庫等各種應(yīng)用也會(huì)產(chǎn)生大量日志，利用AIGC可以分析日志，對(duì)告警信息進(jìn)行分析判斷和輔助決策的作用。360和奇安信等安全廠商開發(fā)了自己的安全大模型用于網(wǎng)絡(luò)安全領(lǐng)域，將AI引入網(wǎng)絡(luò)安全領(lǐng)域，實(shí)現(xiàn)了網(wǎng)絡(luò)安全行業(yè)新質(zhì)生產(chǎn)力的變革。使用智譜清言、Kimi等AIGC，分析Linux系統(tǒng)的Messages和Secure等日志文件片段，可以清晰地給出分析結(jié)果，對(duì)于存在的安全問題，還給出了相應(yīng)的解決辦法。

（六）生成安全檢測(cè)軟件

訊飛星火、字節(jié)豆包、智譜清言等AIGC應(yīng)用具有代碼生成能力。隨著大模型技術(shù)的發(fā)展，大模型的代碼生成能力將在一定程度上取代程序員的作用。目前，大模型代碼生成能力獲得了一定程度的應(yīng)用。北京郵電大學(xué)利用大模型的代碼生成能力，開發(fā)了“碼上”編程大模型教學(xué)應(yīng)用，為學(xué)生提供實(shí)時(shí)、精準(zhǔn)的智能代碼糾錯(cuò)、差異化代碼修改對(duì)比、1對(duì)1啟發(fā)式智能編程輔導(dǎo)等功能。此應(yīng)用能夠有效緩解高校編程教師輔導(dǎo)答疑的工作壓力，提高學(xué)生編程學(xué)習(xí)的效率，有助于實(shí)現(xiàn)“老師輕松教，學(xué)生高效學(xué)”的目標(biāo)。在網(wǎng)絡(luò)安全領(lǐng)域，利用AIGC可以生成惡意代碼檢測(cè)、漏洞檢測(cè)和漏洞利用等安全工具，輔助網(wǎng)絡(luò)安全人員完成網(wǎng)絡(luò)安全工作。

（七）釣魚郵件檢測(cè)

利用AIGC強(qiáng)大的文本分析能力，可以分析可疑釣魚郵件，給出分析結(jié)果，是信息安全人員的得力助手。

（八）惡意軟件檢測(cè)

ChatGPT使用的文本生成模型GPT能夠?qū)Υa進(jìn)行分析，以確定其意圖。訓(xùn)練所使用的數(shù)據(jù)量巨大。ChatGPT從Stack Overflow、Github等大量的語料里訓(xùn)練模型。ChatGPT可以學(xué)習(xí)特定編程語言的語義，生成更加準(zhǔn)確的語義分析結(jié)果[2]。能夠?qū)幋a后的Shellcode進(jìn)行分析，給出分析結(jié)論，輔助安全研究人員進(jìn)行惡意代碼分析工作。

判定如下代碼是否為Webshell？給出判定理由：

lt;？php

$s=substr（\"welcomesystemhello\"， 0×7，0×6）;

$s（whoami）

？gt;

智譜清言的檢測(cè)結(jié)果：

是的，這段代碼可以被判定為Webshell。以下是判定理由：

代碼執(zhí)行功能：代碼中的$S（Whoami）嘗試執(zhí)行Whoami命令。在PHP中，如果變量名后直接跟括號(hào)，PHP會(huì)將其視為函數(shù)調(diào)用。

隱蔽性：代碼使用了Substr函數(shù)，并且使用了十六進(jìn)制數(shù)0×7和0×6作為參數(shù)，這是一種混淆手段。十六進(jìn)制數(shù)0×7等于十進(jìn)制的7，0×6等于十進(jìn)制的6。因此，Substr（\"Welcome system hello\"， 0×7， 0×6）等同于Substr（\"Welcome system hello\"， 7， 6），這將從索引7開始提取長度為6的子字符串，即“System”。

命令執(zhí)行：提取出的子字符串“System”是一個(gè)PHP的內(nèi)置函數(shù)名，該函數(shù)可以執(zhí)行系統(tǒng)命令。因此，$S（Whoami）實(shí)際上是嘗試調(diào)用System（Whoami），這是一個(gè)系統(tǒng)命令執(zhí)行。

二、生成式人工智能對(duì)網(wǎng)絡(luò)安全工作的負(fù)面影響

（一）生成高質(zhì)量釣魚郵件

生成式AI可以生成語法正確、內(nèi)容逼真的釣魚郵件，繞過垃圾郵件檢測(cè)。攻擊者可以利用生成式AI分析目標(biāo)用戶的社交媒體信息，生成高度個(gè)性化的釣魚內(nèi)容，提高攻擊成功率。ChatGPT可以說是一名釣魚郵件專家，它具有自然語言理解和自我訓(xùn)練的能力，可以從網(wǎng)絡(luò)或現(xiàn)實(shí)世界學(xué)習(xí)文本，并生成許多不同類型的釣魚郵件，誘導(dǎo)用戶點(diǎn)擊[3]。利用AIGC文本生成能力，可以高效快捷生成高度可用的釣魚郵件。

（二）生成惡意代碼

由于可以通過大量的代碼和文本混合數(shù)據(jù)進(jìn)行訓(xùn)練，ChatGPT極易生成惡意代碼，而這些被訓(xùn)練的代碼主要來自CSDN、Stack OverFlow、GitHub等專業(yè)網(wǎng)站[4]。生成式AI可以幫助攻擊者快速生成惡意代碼、漏洞利用腳本或自動(dòng)化攻擊工具，降低攻擊門檻，使得攻擊者能夠更快速、更有效地進(jìn)行網(wǎng)絡(luò)攻擊。

（三）自動(dòng)化漏洞挖掘

攻擊方利用AIGC代碼分析能力，可以快速發(fā)現(xiàn)軟件存在的漏洞，節(jié)省了發(fā)現(xiàn)漏洞時(shí)間和成本，有針對(duì)性的發(fā)起攻擊，提高了攻擊效率。

（四） AIGC對(duì)認(rèn)知安全的影響

在信息化時(shí)代，各種信息通過網(wǎng)絡(luò)、社交媒體實(shí)現(xiàn)爆炸式的快速傳播，對(duì)大眾的情緒、心理、認(rèn)知產(chǎn)生即時(shí)而廣泛的影響。在當(dāng)前大國激烈競爭、地區(qū)沖突不斷的情況下，為了影響輿論，爭取廣泛支持，有的國家和地區(qū)利用網(wǎng)絡(luò)水軍進(jìn)行認(rèn)知作戰(zhàn)，使得認(rèn)知安全問題更加突出。AIGC在研發(fā)過程中，生成式AI會(huì)受到開發(fā)者偏見的影響，或生成煽動(dòng)性言論、宣揚(yáng)暴力恐怖及宗教極端思想等音視頻內(nèi)容5。AIGC應(yīng)用越來越廣泛，其也存在認(rèn)知安全問題。需要通過建立自主可控的大模型，完善有關(guān)法律法規(guī)和管理機(jī)制，提高大眾信息識(shí)別判斷能力，通過技術(shù)手段識(shí)別阻止虛假信息傳播，通過建立認(rèn)知作戰(zhàn)隊(duì)伍保障網(wǎng)絡(luò)信息時(shí)代的認(rèn)知安全。

（五）深度偽造音視頻

利用人工智能技術(shù)可以實(shí)現(xiàn)換臉、變聲。不法分子可以利用AI換臉、擬聲，冒充親朋好友實(shí)施詐騙。直播間可以利用AI換臉技術(shù)假冒名人來增加流量，提高銷量。目前，已有關(guān)于不法分子利用AI換臉牟利的報(bào)道。有數(shù)據(jù)指出，2023年國內(nèi)AI詐騙案件的涉案金額達(dá)1670萬。2024年上半年，AI詐騙案超過1.85億。奇安信發(fā)布的《2024人工智能安全報(bào)告》顯示，2023年基于AI的深度偽造欺詐暴增了3000%。通過深度偽造的音視頻，用于散布虛假信息，損害個(gè)人或組織聲譽(yù)，甚至影響政治和社會(huì)穩(wěn)定。

三、AI時(shí)代的網(wǎng)絡(luò)安全防御措施

在AI時(shí)代，隨著人工智能技術(shù)的不斷迭代發(fā)展，攻擊方將AI技術(shù)應(yīng)用于網(wǎng)絡(luò)攻擊。AI時(shí)代的網(wǎng)絡(luò)安全防御，除利用傳統(tǒng)的訪問控制技術(shù)、身份認(rèn)證技術(shù)、密碼技術(shù)、防火墻技術(shù)、多因素認(rèn)證、防病毒技術(shù)、入侵防御等技術(shù)來實(shí)現(xiàn)網(wǎng)絡(luò)安全防護(hù)，還需要以AI對(duì)抗AI，將AI應(yīng)用到網(wǎng)絡(luò)安全防護(hù)中來。目前安全廠商推出了安全大模型，通過大模型強(qiáng)大的推理和數(shù)據(jù)分析能力，應(yīng)用到態(tài)勢(shì)感知等安全產(chǎn)品，提高了對(duì)流量和日志的檢測(cè)分析能力，增強(qiáng)了流量檢測(cè)效果和對(duì)釣魚郵件的識(shí)別，提高了安全防護(hù)效率。

四、結(jié)束語

隨著生成式人工智能的不斷發(fā)展，其應(yīng)用也越來越廣泛、深入，其對(duì)網(wǎng)絡(luò)安全帶來的正反兩方面的影響也越發(fā)深刻，需要相關(guān)從業(yè)人員探索更高效的網(wǎng)絡(luò)安全防御技術(shù)及措施，以提升網(wǎng)絡(luò)安全防護(hù)能力。

作者單位：劉坤峰 河北水利電力學(xué)院

劉欣慧 滄州航空職業(yè)學(xué)院

參考文獻(xiàn)

[1]宋艷飛，樊偉. 生成式人工智能對(duì)網(wǎng)絡(luò)安全的影響分析[J].工業(yè)信息安全，2024（1）：85-91.

[2]李智華. 從防御視角探討ChatGPT對(duì)網(wǎng)絡(luò)安全的影響[EB/OL]. https：//mp.weixin.qq.com/s/iXK6QbmxcnQ1MG9swlWnWw，2023-02-23.

[3]李智華. 從攻擊視角探討ChatGPT對(duì)網(wǎng)絡(luò)安全的影響[EB/OL]. https：//mp.weixin.qq.com/s/ph5GnQFIGcSzi-9H-YlJTA，2023-02-21.

[4]翟尤. 對(duì)ChatGPT帶來網(wǎng)絡(luò)安全利弊的分析[J].中國信息安全，2023（7）：90-92.

[5]潘宏遠(yuǎn). 從歐美國家利用生成式AI打擊虛假信息看大模型安全治理的路徑抉擇[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2024（7）：120-121.