劉寶旭 李 昊 孫鈺杰 董放明 孫天琦 陳 瀟

1(中國科學院信息工程研究所 北京 100093)2(中國科學院大學網(wǎng)絡空間安全學院 北京 100049)3(中國科學院網(wǎng)絡測評技術重點實驗室 北京 100195)4(網(wǎng)絡安全防護技術北京市重點實驗室 北京 100195)

隨著信息化水平的提高,各行業(yè)的生產效率也隨之提高,國家、個人和各行業(yè)基礎設施都高度依賴網(wǎng)絡計算系統(tǒng).同時,網(wǎng)絡空間面臨的威脅也更加嚴重:2010年震網(wǎng)病毒事件展現(xiàn)了網(wǎng)絡威脅對現(xiàn)實世界的破壞[1];2015年烏克蘭電網(wǎng)被植入惡意軟件造成大規(guī)模的停電[2];2020年網(wǎng)絡管理軟件SolarWinds被植入后門,使超過30萬用戶面臨供應鏈攻擊威脅[3].高級持續(xù)性威脅(advanced persistent threat, APT)旨在破壞社會的關鍵基礎設施,如政府、能源、教育等領域[4],對特定目標進行長期、隱蔽和持續(xù)攻擊,在世界范圍內造成了嚴重的安全威脅和巨大的經(jīng)濟損失.

軟件是構建網(wǎng)絡空間的核心基礎設置之一,存在于軟件中的漏洞成為影響網(wǎng)絡空間安全的重要因素.漏洞可被利用于竊取他人隱私數(shù)據(jù)(如HeartBleed漏洞),亦可被用于控制他人計算機(如Sandworm漏洞),以及種種其他網(wǎng)絡空間破壞活動.在“黑客地下產業(yè)”經(jīng)濟利益驅動下,從漏洞發(fā)現(xiàn)、利用到網(wǎng)絡滲透攻擊,已經(jīng)形成分工明細、規(guī)?；漠a業(yè)鏈,各種稀有漏洞資源待價而沽,從漏洞首次發(fā)現(xiàn)并被用于滲透攻擊的周期縮短到幾周甚至幾天.快速、深入地漏洞分析與發(fā)現(xiàn)已成為安全防御的關鍵.

漏洞挖掘技術可以應用于網(wǎng)絡攻擊發(fā)生前,降低被入侵的風險.而為了應對正在發(fā)生的網(wǎng)絡空間攻擊,安全界建立了多重防護體系:Gartner公司[5]每年都會總結網(wǎng)絡安全行業(yè)的關鍵技術,威脅發(fā)現(xiàn)一直是最關鍵的研究問題之一,威脅發(fā)現(xiàn)技術是處置、溯源等減少被入侵損失的基礎,也是網(wǎng)絡安全防御體系的基石.而網(wǎng)絡威脅尤其是APT攻擊的發(fā)現(xiàn)目前是一個非常具有挑戰(zhàn)性的研究領域.

漏洞挖掘技術關注于攻擊發(fā)生前系統(tǒng)面臨的威脅,而威脅發(fā)現(xiàn)技術關注攻擊發(fā)生中系統(tǒng)產生的威脅行為,下面將分別介紹智能化的漏洞挖掘與智能化的網(wǎng)絡威脅發(fā)現(xiàn)相關研究.

1 智能化的漏洞挖掘研究

隨著人工智能和計算機技術的飛速發(fā)展,智能化正深刻改變著各個領域.針對漏洞挖掘高度依賴安全人員專業(yè)知識等問題,智能化漏洞挖掘技術在漏洞挖掘領域嶄露頭角.近年來,研究者開始將人工智能技術與漏洞挖掘技術相結合,主要包括將人工智能技術應用于漏洞補丁識別、漏洞預測、代碼比對和模糊測試等.

1.1 智能化漏洞補丁識別

漏洞補丁包含了漏洞語句、修補語句、漏洞函數(shù)等重要的信息,但是開發(fā)人員可能不會在補丁信息中表明這是漏洞補丁,或者在未公開的情況下靜默修復漏洞,這些補丁被稱為靜默補丁,如何精準地從大量提交信息中識別靜默補丁是一個技術難題.

1.1.1 基于機器學習的漏洞補丁識別

Zhou等人[6]從提交信息和漏洞報告中提取文本特征,使用K-fold stacking算法將多個分類器組合起來.Perl等人[7]開發(fā)了一種啟發(fā)式算法,從修復提交中找到引入漏洞的提交,提取特征,包括代碼度量和GitHub元數(shù)據(jù)特征.使用線性支持向量機(SVM)作為分類器,能夠自動識別潛在的漏洞.

1.1.2 基于深度學習的漏洞補丁識別

傳統(tǒng)的機器學習需要研究者提取語義特征,人工成本較高,而深度學習模型能夠自動從輸入中學習特征,因此深度學習模型越來越多地應用在補丁識別領域.

PatchRNN[8]使用經(jīng)典的RNN模型,設計了TwinRNN和TextRNN這2個子模型,分別處理修改前后的代碼和補丁消息.E-SPI[9]對SPI進行了改進.E-SPI也由2個神經(jīng)網(wǎng)絡組成,作者設計了一個AST編碼器獲取修改代碼相關的抽象語法樹路徑,使用BiLSTM網(wǎng)絡進行訓練;使用圖神經(jīng)網(wǎng)絡(GNN)構建提交消息依賴圖,學習文本消息表示.

1.1.3 基于大語言模型的漏洞補丁識別

大語言模型相較于普通的深度學習模型更有優(yōu)勢,通過對大語言模型預訓練,能夠很好地勝任補丁識別相關任務.已經(jīng)有很多學者進行了嘗試.VulFixMiner[10]基于Transformer,僅從代碼更改中提取語義,該系統(tǒng)的框架包括3個階段:微調、訓練和應用.使用標記的數(shù)據(jù)對CodeBERT進行微調.在訓練階段使用單層神經(jīng)網(wǎng)絡分類器對補丁進行分類.

1.2 智能化漏洞預測

傳統(tǒng)的漏洞識別方法需要依靠人工專家的知識和經(jīng)驗,然而隨著對軟件安全性要求的提高,需要更高效、自動化和智能化的漏洞識別方法.智能漏洞識別技術具備強大的特征提取和模式識別能力,可以從海量數(shù)據(jù)中自動學習和提取關鍵特征,并從中學習出模式和規(guī)律,使得漏洞識別更加高效和準確.

1.2.1 基于語法特征的智能化漏洞預測

Rebecca[11]針對大多數(shù)研究受限于數(shù)據(jù)集的規(guī)模和多樣性,無法充分發(fā)揮深度學習優(yōu)勢的問題,提出了利用深度學習從源代碼中直接學習特征的方法,并將學習到的特征表示與隨機森林分類器相結合進行漏洞檢測.

1.2.2 基于語義特征的智能化漏洞預測

隨著研究的深入,研究人員開始結合程序分析技術利用更深層的語義信息進行模型訓練.Benjamin[12]以漏洞檢測的程序分析算法Dataflow Analysis(DFA)為指導,對DFA和GNN消息傳遞算法進行對比,設計了一種嵌入技術,用于對CFG中每個節(jié)點編碼,嵌入處理后的CFG進行圖學習,通過利用節(jié)點中編碼的數(shù)據(jù)流信息進行分析,從而模擬DFA中的數(shù)據(jù)流技術.

1.2.3 基于大語言模型的智能化漏洞預測

基于Transformer的大語言模型在自然語言處理中的出色表現(xiàn)以及自然語言與高級編程語言(如C/C++)的相似性,使得大模型在漏洞識別中有很好的應用前景.Claudia[13]研究探索了基于Transformer的模型在Java漏洞的多標簽分類中的應用,通過使用BERT等Transformer模型,解決了現(xiàn)有漏洞檢測數(shù)據(jù)集過小的問題,提高了模型的性能.

1.3 智能化代碼比對

代碼比對是發(fā)現(xiàn)目標軟件中是否存在已知漏洞的重要技術,將漏洞函數(shù)與目標軟件中的所有函數(shù)進行比較,當相似度大于閾值時即可推斷目標軟件中存在已知漏洞.二進制代碼比對方法的一個關鍵是發(fā)現(xiàn)目標場景(跨架構、跨版本、跨編譯器、跨優(yōu)化選項或其組合)盡可能具有魯棒的、可標識的特征,人工智能方法的基本思想是借助深度神經(jīng)網(wǎng)絡而非人的先驗知識識別出這樣的特征.

1.3.1 基于深度學習的二進制代碼比對技術

Gemini[14]提出借助深度圖神經(jīng)網(wǎng)絡具化這一非對等映射.Gemini假設一個函數(shù)等價于一個屬性控制流圖,進一步,Gemini借助內嵌Structure2Vec網(wǎng)絡的Siamese網(wǎng)絡將一個ACFG表示為一個低維embedding.然后通過比較嵌入的相似性來判斷2個二進制函數(shù)的相似性.

1.3.2 基于大模型的二進制代碼比對技術

Jtrans[15]將匯編代碼作為輸入,首先使用BERT根據(jù)輸入生成token,然后引入位置嵌入作為跳轉關系依據(jù),接著將兩者通過屏蔽語言模型進行訓練,最后通過跳躍目標預測進行微調.VulHawk[12]首先將二進制代碼轉換為微碼,通過補充隱式操作數(shù)和剪枝冗余指令,有助于保留二進制函數(shù)的主要語義.然后使用RoBERTa模型提取微碼基本塊嵌入,使用圖卷積網(wǎng)絡(GCN)將基本塊嵌入和CFG進行結合生成函數(shù)向量進行匹配.

1.4 智能化模糊測試

傳統(tǒng)的模糊測試的輸入構造過程高度依賴于測試人員的經(jīng)驗,2017年,微軟提出了Learn& Fuzz[16]這一智能化模糊測試技術,標志著模糊測試智能化方向的興起.構造輸入主要需要解決3個問題:確定變異位置、改良變異策略、生成合法輸入.本文從這3個方面觀察模糊測試在智能化技術上的發(fā)展.

1.4.1 確定變異位置

Neuzz[17]采用了基于梯度的方法增益模糊測試的變異過程,利用神經(jīng)網(wǎng)絡中的梯度判斷和指定代碼強相關的輸入?yún)^(qū)域,并重點對此類區(qū)域進行變異.MTFuzz[18]通過多維度因素,如變異方法、上下文調用情況與代碼覆蓋進行訓練模型.

1.4.2 改良變異策略

Meuzz[19]根據(jù)從過去相同或類似項目的種子調度決策中學到的知識來確定哪些新種子有更高的代碼覆蓋率.FuzzBoost[20]結合Q-learning模型,設計了一種獎勵策略來評估測試覆蓋率,以此增強模糊過程中的輸入突變.Seamfuzz[21]能夠捕捉單個種子輸入的特征,按照種子間的語法和語義相似性進行分組,使用湯普森采樣算法為不同的種子輸入應用不同的突變策略.

1.4.3 生成合法輸入

LAFuzz[22]使用LSTM和Attention這2種模型生成高質量的結構化或非結構化的種子輸入.在針對編程語言的測試用例生成方面,DeepFuzz[23]利用Seq2Seq模型對C語言源碼進行建模并生成半有效的畸形輸入.此外,有部分研究嘗試利用神經(jīng)網(wǎng)絡模型恢復輸入中的語法信息,例如GANFuzz[24]利用生成對抗網(wǎng)絡生成符合協(xié)議語法規(guī)范的畸形輸入.

2 智能化的威脅發(fā)現(xiàn)研究

威脅發(fā)現(xiàn)可以分為威脅檢測和威脅狩獵[25],威脅檢測是被動的掃描系統(tǒng)識別疑似惡意行為,威脅狩獵是主動地在網(wǎng)絡中搜索可以繞開安全檢測或產生危害的威脅的過程[26].

網(wǎng)絡空間威脅發(fā)現(xiàn)需要依賴攻擊發(fā)生時收集的信息載體,如網(wǎng)絡流量、主機日志、惡意文件、網(wǎng)絡威脅情報等,下面將從幾種信息載體出發(fā),結合智能方法總結每個載體在網(wǎng)絡威脅發(fā)現(xiàn)中發(fā)揮的作用.

2.1 基于網(wǎng)絡流量的威脅發(fā)現(xiàn)研究

網(wǎng)絡流量是網(wǎng)絡計算系統(tǒng)互相通信時傳輸?shù)男畔⑤d體,而當攻擊者入侵網(wǎng)絡計算系統(tǒng)時會在各個環(huán)節(jié)中產生與正常流量不同的特征,以下將介紹基于網(wǎng)絡流量在滲透攻擊不同階段的威脅發(fā)現(xiàn)研究.

2.1.1 外部滲透攻擊流量檢測研究

攻擊者通過外部滲透入侵系統(tǒng),通過對網(wǎng)絡流量的分析可以檢測到攻擊行為.Yang[27]利用IP地址、端口號、包類型數(shù)、網(wǎng)絡包數(shù)作為數(shù)據(jù)源,結合信息熵和SVM模型進行異常檢測.

2.1.2 C2通信的威脅發(fā)現(xiàn)研究

攻擊者需要向被入侵的主機發(fā)送指令完成接下來的滲透攻擊環(huán)節(jié),在通信的過程中不可避免地產生網(wǎng)絡流量,盡管只占網(wǎng)絡流量的極小一部分.然而,惡意的C2通信與正常的通信行為模式往往具有差異,許多研究關注C2通信的威脅發(fā)現(xiàn),Dong等人[28]將遠程控制木馬的網(wǎng)絡行為建模,從每個待評估應用的獨特網(wǎng)絡跟蹤行為中自動構建多級樹(MLTree),并將二者進行對比識別是否為木馬通信.

2.1.3 隱蔽信道的威脅發(fā)現(xiàn)研究

惡意軟件在獲取機密信息后需要進行數(shù)據(jù)傳輸,為了規(guī)避檢測,在數(shù)據(jù)傳輸時通常使用隱蔽信道,例如使用DNS協(xié)議的字段外泄數(shù)據(jù),偽裝成合法的DNS查詢通過防火墻的檢查.Zhang等人[29]使用深度學習方法,將DNS隧道數(shù)據(jù)視作文本,使用詞嵌入作為擬合神經(jīng)網(wǎng)絡的一部分,檢測決策由常見的深度學習模型作出,包括密集神經(jīng)網(wǎng)絡(DNN)、1維卷積神經(jīng)網(wǎng)絡(1D-CNN)和循環(huán)神經(jīng)網(wǎng)絡(RNN).

2.2 基于主機數(shù)據(jù)的威脅發(fā)現(xiàn)技術

主機數(shù)據(jù)是網(wǎng)絡計算系統(tǒng)在運行中記錄操作的文件,包含操作種類、操作時間、操作狀態(tài)等字段,為威脅發(fā)現(xiàn)提供了關鍵信息.下面將結合主機日志介紹威脅發(fā)現(xiàn)技術.

最早研究關注利用日志的統(tǒng)計信息進行異常檢測,Llgun[30]利用UNIX操作系統(tǒng)的審計數(shù)據(jù)序列分析系統(tǒng)狀態(tài)轉換,并匹配攻擊模式的行為檢測異常.

隨著計算資源的增加,許多深度學習模型被提出并用于日志數(shù)據(jù)系統(tǒng)異常檢測.Yang等人[31]提出一種基于對數(shù)的異常檢測方法PLELog,采用半監(jiān)督方法消除耗時的人工標簽,并通過概率標簽估計方法,結合有關歷史異常的知識,以發(fā)揮監(jiān)督方法的優(yōu)越性.通過設計一個基于注意力的GRU神經(jīng)網(wǎng)絡有效地檢測異常.

由于APT攻擊具有時間跨度長的特點,使用傳統(tǒng)方法很難記錄長期行為并進行關聯(lián),溯源圖可以記錄上下文,是一種具有威脅發(fā)現(xiàn)潛力的數(shù)據(jù)結構,Hossain[32]首先利用溯源圖描述APT攻擊,將進程、文件等作為圖的節(jié)點,審計事件作為邊,并對違反規(guī)則的事件進行報警.

盡管目前許多研究展示了非常高的檢測準確性,但Le[33]在評估后指出現(xiàn)有研究存在的局限性,例如在數(shù)據(jù)集正常與異常數(shù)據(jù)分布高度不平衡、標記錯誤的日志、額外的日志事件、日志解析錯誤產生的數(shù)據(jù)噪聲等情況會大大影響現(xiàn)有方法的性能,而這些局限性也是未來的研究方向.

2.3 基于文件的威脅檢測

文件通常是惡意功能實現(xiàn)的載體,攻擊者可以將惡意功能加裝在文件中,并通過傳播文件、誘導受害者系統(tǒng)打開文件的方式實現(xiàn)惡意攻擊行為的自動執(zhí)行.自2013年以來,惡意軟件呈指數(shù)級傳播,知名惡意軟件檢測網(wǎng)站VirusTotal日均處理樣本數(shù)量在200萬以上,在所有檢測到的惡意軟件中,首次出現(xiàn)的惡意軟件比例保持在40%以上[34].

惡意軟件分析是確定惡意軟件功能、分析工作原理的過程.分析惡意軟件主要有2種技術:靜態(tài)分析與動態(tài)分析.靜態(tài)分析在不運行實際代碼的情況下檢查惡意軟件,其代表工具有PEiD,DIE,YARA,Angr,IDA等,動態(tài)分析則在可控環(huán)境下執(zhí)行惡意代碼、監(jiān)控代碼行為,代表工具有cuckoo,VMware,Ollydbg等.

自動化惡意軟件檢測還需要對惡意軟件的分析結果進行數(shù)據(jù)挖掘,并從中提取惡意軟件特征.惡意軟件的特征提取技術同樣在數(shù)十年的發(fā)展中獲得了長足的進展.早期的特征提取以啟發(fā)式特征為主,包括文件導入導出表、文件主體與導入表、導出表等各部位的hash值、文件在動態(tài)分析中表現(xiàn)出的域名及IP等網(wǎng)絡通信行為地址以及軟件中可能出現(xiàn)的標志性字節(jié)特征,如字符串、字節(jié)碼等.

隨著數(shù)據(jù)挖掘技術在惡意軟件特征提取方面的引入,更多惡意軟件特征也隨之出現(xiàn),Abou-Assaleh[35]早在2004年就提出將N-gram技術引入惡意軟件檢測,這種技術獲得了學術界認可并不斷發(fā)展[36],另一些研究將惡意軟件以TF-IDF(term frequency-inverse document frequency)[37]、控制流圖[38]、函數(shù)長度頻率[39]、可打印字符串信息[39-40]等形式進行表征,并取得一定成果.

特征提取的成果需要經(jīng)過處理以判定軟件的惡意性或相似性.最直接的判斷方式是基于規(guī)則的特征匹配算法,通過研究機構發(fā)布的域名、IP、文件hash匹配等IOC(indicators of compromise)情報.這類精準匹配的代表性工具有YARA,SIGMA,IDS等.

但是,精準的特征匹配通常易于規(guī)避,攻擊人員可以輕易地改變自身的網(wǎng)絡基礎設施與惡意軟件hash.基于行為的惡意軟件檢測方法更加魯棒,盡管程序代碼在更改,但程序的行為總是相似的,因此,大量新的惡意軟件可以用基于行為的方式進行檢測.這類方法對以下特征更為關注:系統(tǒng)調用、文件更改、注冊表改動、網(wǎng)絡活動、執(zhí)行過程.

得益于數(shù)據(jù)挖掘技術的幫助,研究人員將機器學習與深度學習引入軟件惡意性判定領域,并對各類特征進行分析,經(jīng)典的機器學習方法包括貝葉斯網(wǎng)絡、樸素貝葉斯等,而深度學習方法則包括深度信念網(wǎng)絡、CNN網(wǎng)絡等.機器學習與深度學習在精準分類與檢測未知樣本領域展現(xiàn)出強大的實力,但較高的誤報率、匱乏的可解釋性與模型退化問題一直困擾著研究人員.

2.4 基于威脅情報的入侵檢測

根據(jù)Gartner的定義:威脅情報是某種基于證據(jù)的知識,包括上下文、機制、標示、含義和能夠執(zhí)行的建議,這些知識與資產所面臨已有的或醞釀中的威脅或危害相關,可用于資產相關主體對威脅或危害的響應或處理決策提供信息支持[41].本節(jié)將從入侵檢測發(fā)現(xiàn)和威脅預測預警2個方面進行詳細介紹.

2.4.1 入侵檢測發(fā)現(xiàn)

傳統(tǒng)的入侵檢測系統(tǒng)(intrusion detection system, IDS)主要依賴于主機和網(wǎng)絡設備生成的日志和流量數(shù)據(jù),并基于規(guī)則、簽名或行為模式等方式檢測潛在的入侵行為.這使得IDS難以適應不斷涌現(xiàn)的新型網(wǎng)絡攻擊,無法做到準確識別、及時報告和有效阻截.威脅情報極大地擴展了IDS可用的數(shù)據(jù)源范圍,可以實時更新檢測規(guī)則并提供額外的攻擊上下文信息,進而幫助IDS更好地發(fā)現(xiàn)和應對入侵行為.

劉亮等人[42]利用深度學習技術提取文本中的入侵指標(indicator of compromise, IOC),并基于威脅情報自動生成入侵檢測規(guī)則方法,補足了傳統(tǒng)IDS實時性的不足,提升了IDS對網(wǎng)絡安全熱點事件的響應能力.Guarascio等人[43]則進一步建立了IDS和其他信息感知組件之間的合作平臺,通過共享知識信息改進了IDS潛在的入侵行為預測準確性.Mahmoud等人[44]利用威脅報告的內容和關聯(lián)關系捕獲攻擊行為,使用系統(tǒng)內部日志建立系統(tǒng)起源圖,將威脅狩獵建模為攻擊行為與系統(tǒng)起源圖的匹配問題,進而在高級持續(xù)性威脅(advanced persistent threat, APT)攻擊的早期階段將其檢出.在威脅狩獵方面,Gao等人[45]也提出了基于威脅情報的THREATRAPTOR系統(tǒng),設計了一種專用的查詢語言TBQL,實現(xiàn)了從非結構化文本中提取結構化威脅行為,并通過高效的查詢執(zhí)行引擎進行準確有效的威脅狩獵.

2.4.2 威脅預測預警

威脅預測預警旨在通過收集、分析和解釋威脅情報,提前預測可能的安全威脅,并采取相應的防御措施,以最大程度地降低潛在的風險.

海量多源的威脅情報數(shù)據(jù)中隱含了許多現(xiàn)有或醞釀中的網(wǎng)絡威脅信息.Riebe等人[46]提出了一個基于Twitter的警報生成系統(tǒng),該系統(tǒng)可以持續(xù)關注最新的網(wǎng)絡安全相關主題,并在15min內追蹤和報告最新的網(wǎng)絡威脅,相關事件的檢出率高達93.8%,誤報率為14.81%.為了解決日益增多的網(wǎng)絡攻擊對組織的困擾,Nagai等人[47]提出了一種從多個數(shù)據(jù)源有效收集威脅信息的方法,并通過可視化分析展現(xiàn)了網(wǎng)絡威脅的發(fā)展趨勢,以便組織采取相應措施保護其關鍵資產.而在威脅預警方面,GonzáLez-Granadillo等人[48]構建了一個功能全面的威脅情報平臺,具有可擴展的情報導入、質量評估流程、可視化和信息共享功能,并能基于啟發(fā)式的分析推理評估和呈現(xiàn)威脅的嚴重程度.

3 總結與展望

隨著智能化技術的蓬勃發(fā)展,人工智能在漏洞挖掘、威脅發(fā)現(xiàn)等領域的作用日益突顯.在漏洞挖掘方面,當前人工智能技術也開始與傳統(tǒng)漏洞挖掘和程序分析技術,如污點分析和符號執(zhí)行相融合.近年來,大型語言模型的迅速崛起更進一步促使基于深度學習的方法與這些大模型相結合.如何最有效地激發(fā)大型語言模型在漏洞挖掘領域的潛力,是一個值得深思和探索的問題.相同地,在威脅發(fā)現(xiàn)方面,如何將大語言模型與其相結合也是值得探索的方向.同時,為了保持持續(xù)有效的防御,安全團隊需要不斷改進數(shù)據(jù)采集、處理和整合的方法,并及時調整入侵檢測規(guī)則,以適應不斷演變的威脅環(huán)境.