王亮亮, 谷朝陽

(上海電力大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 上海 200090)

入侵檢測系統(tǒng)(Intrusion Detection System,IDS)是一種對網(wǎng)絡(luò)傳輸進(jìn)行即時(shí)監(jiān)視,在發(fā)現(xiàn)可疑傳輸時(shí)發(fā)出警報(bào)或者采取主動反應(yīng)措施的網(wǎng)絡(luò)安全設(shè)備。與其他網(wǎng)絡(luò)安全設(shè)備不同,IDS是一種積極主動的安全防護(hù)技術(shù),重在對網(wǎng)絡(luò)、系統(tǒng)的運(yùn)行狀況進(jìn)行監(jiān)視,盡可能發(fā)現(xiàn)各種攻擊企圖、攻擊行為或攻擊結(jié)果,以保證網(wǎng)絡(luò)系統(tǒng)資源的機(jī)密性、完整性和可用性。理想的IDS應(yīng)該具有高準(zhǔn)確率、低誤報(bào)率、低計(jì)算成本等特點(diǎn)[1]。IDS中有誤用(簽名)和異常(行為)兩種檢測方法[2]。在誤用檢測中,系統(tǒng)存儲已知的攻擊特征,并在網(wǎng)絡(luò)流量中尋找這些特征,如果有匹配的,則認(rèn)為是攻擊?；谡`用的IDS使用包含攻擊特征的數(shù)據(jù)庫來檢測數(shù)據(jù)中的入侵,具有良好的檢測率[3],且可以檢測到誤報(bào)率較低的攻擊,但無法檢測到?jīng)]有定義特征的新攻擊[4]?；诋惓５腎DS通常通過在局域網(wǎng)中記錄正?；顒恿髁縼斫⒛Ｐ?一旦系統(tǒng)監(jiān)測到與該模型的任何偏差,就會將其視為異常或攻擊。但由于新攻擊不存在特征碼,因此該檢測方案無法檢測新的攻擊[5]?；诋惓５臋z測技術(shù)尋找異常行為,這也是它能夠檢測新攻擊的原因[6]?？傊?IDS為系統(tǒng)或網(wǎng)絡(luò)的檢測正常行為設(shè)定閾值,通過吸收系統(tǒng)或網(wǎng)絡(luò)在學(xué)習(xí)階段的正常行為來完成檢測,任何違反某個(gè)閾值的進(jìn)程都被視為可能的入侵。然而,基于網(wǎng)絡(luò)的檢測技術(shù)由于很難定義系統(tǒng)的正常行為而面臨誤報(bào)問題。為了解決這一問題,許多機(jī)器學(xué)習(xí)技術(shù)在IDS上得到了應(yīng)用。

1 機(jī)器學(xué)習(xí)

本文主要介紹監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和深度學(xué)習(xí)在入侵檢測系統(tǒng)中的應(yīng)用。監(jiān)督學(xué)習(xí)包括支持向量機(jī)(Support Vector Machine,SVM)、樸素貝葉斯分類器和決策樹等。SVM通過尋找一個(gè)超平面對樣本進(jìn)行分類,要求間隔最大化[7],w·xi+b即為分離超平面。假設(shè)給定一個(gè)特征空間上的訓(xùn)練數(shù)據(jù)集T={(x1,y1),(x2,y2),(x3,y3),…,(xN,yN)},xi為第i個(gè)特征向量,yi為類標(biāo)簽,i=1,2,3,…,N。實(shí)際情況下幾乎不存在完全線性可分的數(shù)據(jù)。為了解決這個(gè)問題,引入“軟間隔”概念,即允許某些點(diǎn)不滿足約束。采用hinge損失,優(yōu)化問題為

(1)

s.t.yi(w·xi+b)≥1-ξiξi≥0

式中:ξi——松弛變量,ξi=max(0,1-yi(w·xi+b)),即一個(gè)hinge損失函數(shù);

C——懲罰參數(shù),C>0,C值越大,對分類的懲罰越大。

然后用拉格朗日乘子法得到拉格朗日函數(shù),再求其對偶問題。

樸素貝葉斯通過估計(jì)每個(gè)類別出現(xiàn)的概率以及每個(gè)類別條件下每個(gè)屬性出現(xiàn)的概率,使用最大似然估計(jì)法獲得某樣本屬于某類別的概率值,最后選擇最大概率作為推測結(jié)果。

決策樹通過信息增益方法對樣本特征進(jìn)行選擇生成決策樹,再通過修剪決策樹防止過擬合。決策樹具有高效的性能,常用ID3,C4.5,CART等不同的算法生成決策樹。決策樹算法描述如表1所示。

表1 決策樹算法描述

無監(jiān)督學(xué)習(xí)包括K-means聚類和主成分分析法(Principal Component Analysis,PCA)[8]。K-means算法是一種聚類算法,目的是將相似的樣本劃分到同一簇中。具體來說,首先,在樣本中隨機(jī)選取k個(gè)樣本點(diǎn)作為各個(gè)簇的中心點(diǎn),計(jì)算所有樣本點(diǎn)與各個(gè)簇中心之間的距離;然后,根據(jù)計(jì)算距離把各個(gè)樣本點(diǎn)劃入最近的簇中,再根據(jù)簇中已有的樣本點(diǎn),重新計(jì)算簇中心;最后,重復(fù)以上操作直至達(dá)到停止條件。PCA利用線性代數(shù)進(jìn)行數(shù)據(jù)降維,將多個(gè)變量轉(zhuǎn)換為少數(shù)幾個(gè)不相關(guān)的綜合變量來比較全面地反映整個(gè)數(shù)據(jù)集。這些綜合變量稱為主成分,各主成分之間不相關(guān)。PCA主要通過奇異值分解或特征值分解方法計(jì)算協(xié)方差矩陣的特征值與特征向量,然后選擇其中最大的k個(gè)特征值,將其對應(yīng)的k個(gè)特征向量分別作為列向量組成特征向量矩陣,將數(shù)據(jù)轉(zhuǎn)換到k個(gè)特征向量構(gòu)建的新空間中完成數(shù)據(jù)降維。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新領(lǐng)域。通過建立、模擬人腦分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),模仿人腦機(jī)制來解釋數(shù)據(jù),主要方法有循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)、長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)等。RNN是一個(gè)序列到序列的模型,不僅考慮當(dāng)前時(shí)刻的輸入,還考慮對前面內(nèi)容的記憶。其模型如圖1所示。其中,xt表示t時(shí)刻的輸入,ot表示t時(shí)刻的輸出,st表示t時(shí)刻的記憶。權(quán)值共享,圖1中的u是輸入層到隱藏層的權(quán)重矩陣,W是隱藏層上一次的值作為這次輸入的權(quán)重矩陣,V是隱藏層到輸出層的權(quán)重矩陣。每一個(gè)輸入值都只與它本身的那條路線建立權(quán)連接,不會與別的神經(jīng)元連接。

圖1 RNN模型

CNN主要包含3層,分別為卷積層、池化層和全連接層。卷積層是通過卷積核提取特征,再通過池化層降維,最后通過全連接層分類。因有用信息與需要處理信息距離較遠(yuǎn)而導(dǎo)致的RNN“長依賴”問題,需要通過LSTM來解決。LSTM由3個(gè)門來控制細(xì)胞狀態(tài),分別為忘記門、輸入門和輸出門。忘記門決定細(xì)胞狀態(tài)丟棄部分信息,輸入門決定給細(xì)胞狀態(tài)添加新信息,輸出門決定輸出的細(xì)胞信息。

監(jiān)督學(xué)習(xí)在未知攻擊中表現(xiàn)不好,但在已知攻擊中表現(xiàn)良好,誤報(bào)率較低。相反,無監(jiān)督學(xué)習(xí)能夠檢測未知攻擊,但誤報(bào)率較高。深度學(xué)習(xí)自動提取高級特征,為后期分類做好預(yù)備工作,但隨著網(wǎng)絡(luò)深度的增加,會大大增加訓(xùn)練和測試時(shí)間。機(jī)器學(xué)習(xí)用于入侵檢測的簡單流程如圖2所示。

圖2 機(jī)器學(xué)習(xí)用于入侵檢測的簡單流程

1.1 監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)重在建立不僅能夠基于數(shù)值特征區(qū)分至少兩個(gè)類別,而且對于新的未觀察到的樣本誤差最小的模型[9]。為了建立該模型,分類器需要一個(gè)包含正常樣本和攻擊樣本的標(biāo)記訓(xùn)練數(shù)據(jù)集。由于監(jiān)督學(xué)習(xí)能為分類器提供更多的信息,理論上有助于提高檢測率。然而,監(jiān)督學(xué)習(xí)也存在一些問題,如不能保證標(biāo)簽準(zhǔn)確,且如果訓(xùn)練數(shù)據(jù)集包含噪聲,則會造成較高的誤報(bào)率[10]。

文獻(xiàn)[5]提出了一種高速決策的實(shí)時(shí)入侵檢測系統(tǒng)。該系統(tǒng)使用基于決策樹的C4.5分類模型,使用正向選擇排序(Forword Selection Ranking,FSR)和后向淘汰排序(Backwared Elimination Ranking,BER)技術(shù)從KDD 99入侵?jǐn)?shù)據(jù)集中的41個(gè)特征中選擇了9個(gè)最佳特征。文獻(xiàn)[11]提出了一種新的基于決策樹的霧計(jì)算入侵檢測系統(tǒng)。該系統(tǒng)由于霧節(jié)點(diǎn)產(chǎn)生的數(shù)據(jù)量大,計(jì)算能力有限,因此安全性存在問題。研究者根據(jù)分類和回歸樹產(chǎn)生最大信息增益的特征構(gòu)造二叉樹,利用KDD CUP 99數(shù)據(jù)集對系統(tǒng)進(jìn)行了評估。結(jié)果表明,該決策樹具有最佳的檢測精度、攻擊覆蓋率和可接受的檢測時(shí)間。文獻(xiàn)[12]提出了一種基于SVM的異常流量檢測算法和一種計(jì)算數(shù)據(jù)特征歸一化熵算法。具體來講,在受到攻擊的情況下,由于數(shù)值偏離正常值,因此可以設(shè)置閾值以發(fā)現(xiàn)網(wǎng)絡(luò)中的任何異常行為;利用SVM建立分類器檢測網(wǎng)絡(luò)異常流量;為了提高SVM參數(shù)的質(zhì)量,采用粒子群優(yōu)化算法對參數(shù)進(jìn)行更精確的估計(jì)。采用DARPA和KDD CUP 99數(shù)據(jù)集對該方法進(jìn)行了性能評價(jià)。結(jié)果表明,該方法能準(zhǔn)確地檢測出不同類型的攻擊。文獻(xiàn)[13]通過LSTM學(xué)習(xí)網(wǎng)絡(luò)數(shù)據(jù)的特征和模式,將其分為良性或攻擊性兩種類別。作為一種深度學(xué)習(xí)算法,一方面LSTM通過對原始數(shù)據(jù)進(jìn)行處理,降低了傳統(tǒng)機(jī)器學(xué)習(xí)的特征工程負(fù)擔(dān);另一方面,通過將網(wǎng)絡(luò)數(shù)據(jù)包的序列輸入到能夠長期記憶序列的深度算法中,LSTM可以用來識別與窗口大小無關(guān)的長數(shù)據(jù)包序列中攻擊模式是否重復(fù)。文獻(xiàn)[14]使用了最真實(shí)的入侵檢測數(shù)據(jù)集NSL-KDD,通過從訓(xùn)練集和測試集中消除冗余,創(chuàng)建了兩個(gè)具有挑戰(zhàn)性的測試集。同時(shí),結(jié)合多個(gè)基礎(chǔ)學(xué)習(xí)器構(gòu)建集成學(xué)習(xí)器,包括決策樹、貝葉斯和KNN等,提高了檢測的準(zhǔn)確性。文獻(xiàn)[15]使用SVM作為分類器,提高了入侵檢測的效率,但仍存在受大數(shù)據(jù)集影響和訓(xùn)練時(shí)間過長而導(dǎo)致系統(tǒng)崩潰的問題。為了最大限度地提高單個(gè)特征提取算法的效率,研究者開發(fā)了一個(gè)高效的入侵檢測系統(tǒng),實(shí)現(xiàn)了線性判別分析(Linear Discviminant Analysis,LDA)和PCA特征提取算法的集成。

1.2 無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)不使用標(biāo)記數(shù)據(jù),而使用統(tǒng)計(jì)模型,在沒有任何先驗(yàn)知識的情況下,基于兩個(gè)假設(shè)函數(shù)將數(shù)據(jù)劃分為正常和異常[16]。

文獻(xiàn)[17]基于會話的數(shù)據(jù)預(yù)處理模塊從數(shù)據(jù)包的報(bào)頭部分提取頭特征,并在會話中選擇網(wǎng)絡(luò)應(yīng)用層的有效負(fù)載一起形成記錄。隨后,這些記錄被輸入到疊加去噪自編碼器中,以獲得對正常和惡意網(wǎng)絡(luò)流量進(jìn)行分類的基本特征。文獻(xiàn)[18]將訓(xùn)練過程分為無監(jiān)督預(yù)訓(xùn)練和監(jiān)督微調(diào)兩種。在無監(jiān)督預(yù)訓(xùn)練過程中,擴(kuò)張卷積自編碼(DCAEs),從大量未標(biāo)記樣本中學(xué)習(xí)特征。然后,利用反向傳播算法和少量標(biāo)記樣本進(jìn)行監(jiān)督微調(diào),以增強(qiáng)從未標(biāo)記數(shù)據(jù)中學(xué)習(xí)到的表示。使用不同的原始網(wǎng)絡(luò)流量和無監(jiān)督的預(yù)訓(xùn)練使模型更具適應(yīng)性和靈活性,但訓(xùn)練過程耗時(shí)較長。文獻(xiàn)[19]提出了一種新的多線程K-均值方法,將聚類技術(shù)應(yīng)用于異常檢測中。

1.3 深度學(xué)習(xí)

文獻(xiàn)[20]利用不同的降維方法去除網(wǎng)絡(luò)流量數(shù)據(jù)中的冗余和不相關(guān)特征,利用CNN自動提取降維數(shù)據(jù)的特征。為了降低計(jì)算成本,研究者將原始的流量矢量格式轉(zhuǎn)換為圖像格式,并使用KDD CUP 99數(shù)據(jù)集對所提出的CNN模型的性能進(jìn)行了評估。結(jié)果表明,CNN-IDS模型的時(shí)效性高于傳統(tǒng)算法。文獻(xiàn)[21]提出了一種使用遞歸神經(jīng)網(wǎng)絡(luò)(RNN-IDS)進(jìn)行入侵檢測的深度學(xué)習(xí)方法,研究了該模型在二元分類和多分類中的性能,以及神經(jīng)元的數(shù)量和不同的學(xué)習(xí)率對所提出模型的性能影響,并將其與人工神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林、支持向量機(jī)以及其他機(jī)器學(xué)習(xí)方法進(jìn)行了比較。結(jié)果表明,RNN-IDS在二元分類和多分類中的性能均優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)。文獻(xiàn)[22]提出了一種LSTM用于霧到物通信中的分布式網(wǎng)絡(luò)攻擊檢測,證明了深度模型的有效性和高效率。文獻(xiàn)[23]針對傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)在檢測速度、精度、復(fù)雜度等方面的缺陷,提出了一種基于DBN的網(wǎng)絡(luò)入侵檢測算法,將數(shù)據(jù)通過雙層RBM結(jié)構(gòu)降維,再用BP神經(jīng)網(wǎng)絡(luò)反向微調(diào)結(jié)構(gòu)參數(shù),從而簡化了數(shù)據(jù)的復(fù)雜度,減少了BP神經(jīng)網(wǎng)絡(luò)的計(jì)算量。

2 數(shù)據(jù)集

具有代表性的數(shù)據(jù)集是評價(jià)和比較不同網(wǎng)絡(luò)入侵檢測系統(tǒng)質(zhì)量的良好基礎(chǔ)。本文主要介紹3種具有代表性的數(shù)據(jù)集的由來、檢測攻擊類型和特征數(shù)量。

2.1 KDD CUP 99

KDD CUP 99[24]數(shù)據(jù)集是為“第三屆國際知識發(fā)現(xiàn)和數(shù)據(jù)挖掘工具競賽”而開發(fā)的。該競賽與“第五屆國際知識發(fā)現(xiàn)和數(shù)據(jù)挖掘大會”同時(shí)舉行。完整的數(shù)據(jù)集有400萬個(gè)數(shù)據(jù)點(diǎn)、42個(gè)特征和4種攻擊類型。

2.2 UNSWNB15

澳大利亞網(wǎng)絡(luò)安全中心(ACCS)的網(wǎng)絡(luò)范圍實(shí)驗(yàn)室設(shè)計(jì)了基于網(wǎng)絡(luò)的UNSW NB 15數(shù)據(jù)集。該數(shù)據(jù)集有超過250萬條記錄,49個(gè)特征。存在模糊攻擊、分析攻擊、后門攻擊、拒絕服務(wù)攻擊、漏洞攻擊、通用攻擊、偵察攻擊、外殼代碼攻擊和蠕蟲攻擊等9類攻擊。

2.3 NSLKDD

為了使機(jī)器學(xué)習(xí)算法在KDD CUP 99上更好地工作,研究者通過刪除重復(fù)記錄來減小數(shù)據(jù)量,創(chuàng)建了NSL-KDD數(shù)據(jù)集。該數(shù)據(jù)集在包含KDD CUP 99數(shù)據(jù)集基本記錄和數(shù)據(jù)特性的基礎(chǔ)上,具有以下特點(diǎn):由于訓(xùn)練集中沒有冗余數(shù)據(jù),分類器不會給出偏差結(jié)果,使得檢測率更為準(zhǔn)確;從每個(gè)困難級別組中選擇的記錄數(shù)與KDD數(shù)據(jù)集中記錄的百分比成正比[25]。

3 評估指標(biāo)

目前,評價(jià)入侵檢測系統(tǒng)性能的指標(biāo)主要有以下4個(gè)。

(1) 召回率(查全率),針對原有樣本而言,表示樣本中的正例有多少被預(yù)測正確了。召回率存在兩種可能:一是把原來的正類預(yù)測為正類(TP);二是把原來的正類預(yù)測為負(fù)類(FN)。其公式為

(2)

(2) 精確率(查準(zhǔn)率),針對預(yù)測結(jié)果而言,表示預(yù)測為正的樣本中有多少是真正的正樣本。預(yù)測為正存在兩種可能:一是把正類預(yù)測為正類(TP);二是把負(fù)類預(yù)測為正類(FP)。其公式為

(3)

(3) AUC(Area Under Curve)針對樣本分布不均勻問題,同時(shí)考慮了分類器對于正類和負(fù)類的分類能力,在樣本不平衡的情況下,依然能夠?qū)Ψ诸惼髯鞒龊侠淼脑u價(jià)。

(4)F1值,綜合召回率和精確度的調(diào)和值。召回率和精確度都集中在陽性樣本上,但它們都不能反映出模型處理陰性樣本的能力。

4 研究展望

現(xiàn)有的入侵檢測系統(tǒng)解決方案面臨著檢測率不均衡、檢測精度低、實(shí)時(shí)高速網(wǎng)絡(luò)異常檢測困難等問題。針對檢測率低這一問題,混合機(jī)器學(xué)習(xí)算法通過結(jié)合多種機(jī)器學(xué)習(xí)技術(shù)予以改善,如級聯(lián)不同的分類器以提高系統(tǒng)的性能和精度[26]?；谌切螀^(qū)域的最近鄰(TANN)[27]是一種使用無監(jiān)督和有監(jiān)督學(xué)習(xí)技術(shù)的混合學(xué)習(xí)。該學(xué)習(xí)首先利用K-means聚類得到攻擊類簇的中心;然后通過計(jì)算兩個(gè)中心之間的三角形區(qū)域來創(chuàng)建數(shù)據(jù)的新特征簽名;繼而KNN分類器利用新特征對分類攻擊進(jìn)行改進(jìn)。該學(xué)習(xí)繼承了有監(jiān)督和無監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn),具有良好的性能和無標(biāo)記能力。但存在計(jì)算復(fù)雜和時(shí)間消耗等問題。針對訓(xùn)練集中很多類型樣本個(gè)數(shù)少而造成的檢測率不均衡問題,文獻(xiàn)[28]使用單側(cè)選擇減少多數(shù)類別的噪聲樣本,再通過合成少數(shù)樣本過采樣技術(shù)(Synthetic Minority Over-sampling Technique,SMOTE)增加樣本數(shù)量,建立了一個(gè)平衡的數(shù)據(jù)集,使模型充分學(xué)習(xí)少數(shù)樣本的特征,減少了模型訓(xùn)練的時(shí)間;并通過使用CNN提取空間特征,使用雙向長期短期記憶(BiLSTM)提取時(shí)間特征,從而形成了一個(gè)深層次的網(wǎng)絡(luò)模型。文獻(xiàn)[29]針對某些惡意樣本提出了一種基于元學(xué)習(xí)框架和Few-shot的檢測方法。該方法可用于區(qū)分和比較包括正常未受影響樣本和惡意樣本的網(wǎng)絡(luò)流量樣本,能夠在未經(jīng)訓(xùn)練的數(shù)據(jù)集中,基于學(xué)習(xí)到的先驗(yàn)知識,使用有限數(shù)量的標(biāo)簽檢測出新類型樣本。

總之,使用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行分類的缺點(diǎn)是對手有可能試圖繞過分類器進(jìn)行攻擊,研究這類攻擊的領(lǐng)域稱為“對抗性機(jī)器學(xué)習(xí)”,該學(xué)習(xí)在圖像分類和垃圾郵件檢測等領(lǐng)域得到了廣泛的探索,但在其他領(lǐng)域,如入侵檢測等方面的探索很少,具有廣闊的發(fā)展前景與擴(kuò)展空間。

5 結(jié) 語

本文梳理了近年來機(jī)器學(xué)習(xí)在入侵檢測系統(tǒng)中的相關(guān)研究:首先簡要闡述了不同機(jī)器學(xué)習(xí)方法在入侵檢測系統(tǒng)上的應(yīng)用;然后介紹了常用數(shù)據(jù)集和分類器評估指標(biāo)的具體內(nèi)容;最后,對目前存在的問題和未來的研究趨勢進(jìn)行了分析和展望。