席海龍 劉海燕 張鈺

摘要：近年來隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，將其應(yīng)用于入侵檢測(cè)領(lǐng)域的研究不斷涌現(xiàn)，以應(yīng)對(duì)日趨龐大的數(shù)據(jù)和復(fù)雜多變的攻擊種類。該文基于機(jī)器學(xué)習(xí)對(duì)入侵檢測(cè)領(lǐng)域內(nèi)最新文獻(xiàn)的研究，從分類算法、檢測(cè)效果和驗(yàn)證結(jié)果等方面概述了其研究進(jìn)展，分析了其應(yīng)用于網(wǎng)絡(luò)安全目前存在的幾點(diǎn)問題，并指出了該技術(shù)后續(xù)的發(fā)展趨勢(shì)和應(yīng)用趨勢(shì)，以期為網(wǎng)絡(luò)安全的發(fā)展提供一些新思路。

Abstract： With the development of machine learning technology in recent years， it has been applied to the field of intrusion detection to cope with increasingly large data and complex and changeable types of attacks. Based on the research of the latest literature in the field of intrusion detection by machine learning， this paper summarizes its research progress in classification algorithm， detection effect and verification results， analyzes some problems existing in its application to network security， and points out the development trend and application trend of this technology in the future， in order to provide some new ideas for development of network security.

關(guān)鍵詞：機(jī)器學(xué)習(xí);入侵檢測(cè);深度學(xué)習(xí)

Key words： machine learning;intrusion detection;deep learning

中圖分類號(hào)：TP393.0? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1006-4311（2018）34-0269-04

0? 引言

面對(duì)當(dāng)前日趨復(fù)雜的網(wǎng)絡(luò)環(huán)境，入侵檢測(cè)技術(shù)作為一項(xiàng)主動(dòng)性防御技術(shù)在網(wǎng)絡(luò)安全中起著愈加重要的作用。然而傳統(tǒng)網(wǎng)絡(luò)入侵檢測(cè)技術(shù)在面對(duì)新時(shí)期復(fù)雜多樣的攻擊形式和海量數(shù)據(jù)的網(wǎng)絡(luò)環(huán)境時(shí)顯得乏力不足，存在誤報(bào)率和漏報(bào)率較高等諸多問題[1]。

為彌補(bǔ)傳統(tǒng)入侵檢測(cè)技術(shù)自適應(yīng)性差、漏報(bào)率、誤報(bào)率過高等不足，業(yè)界引入了機(jī)器學(xué)習(xí)方法，如貝葉斯，支持向量機(jī)，邏輯回歸等算法，并取得了不錯(cuò)成績(jī)。同時(shí)，在面對(duì)入侵?jǐn)?shù)據(jù)日趨復(fù)雜，數(shù)據(jù)特征維度高，非線性特性強(qiáng)等特點(diǎn)，傳統(tǒng)機(jī)器學(xué)習(xí)易出現(xiàn)“維度爆炸”問題[2]。隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，深度學(xué)習(xí)算法在多媒體處理方面帶來突破性的成果，網(wǎng)絡(luò)空間安全領(lǐng)域的研究者也在嘗試將深度學(xué)習(xí)算法應(yīng)用于惡意軟件檢測(cè)和入侵檢測(cè)等領(lǐng)域，相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)提高了檢測(cè)效率，降低了誤報(bào)率，能夠自動(dòng)化智能化識(shí)別攻擊特征，有助于發(fā)現(xiàn)潛在安全威脅。

1? 機(jī)器學(xué)習(xí)算法與入侵檢測(cè)

1.1 決策樹

決策樹算法是通過對(duì)大量樣本的類別訓(xùn)練，最終得到一棵處理未知數(shù)據(jù)能力足夠強(qiáng)，即泛化能力足夠強(qiáng)的決策樹。它通常包含一個(gè)根結(jié)點(diǎn)，若干個(gè)內(nèi)部結(jié)點(diǎn)和葉結(jié)點(diǎn);葉結(jié)點(diǎn)對(duì)應(yīng)于算法判定結(jié)果，其它每個(gè)結(jié)點(diǎn)對(duì)應(yīng)于一種屬性測(cè)試;每個(gè)結(jié)點(diǎn)根據(jù)自身的樣本集合通過屬性測(cè)試分配到不同的子結(jié)點(diǎn)中，根結(jié)點(diǎn)包含所有樣本。決策樹學(xué)習(xí)的關(guān)鍵在于如何選擇出最優(yōu)化的屬性劃分方法，通常劃分的依據(jù)有信息增益、信息熵、基尼指數(shù)等[3]。

當(dāng)采用信息增益作為樣本屬性劃分的度量時(shí)，假定樣本集C中第i類樣本所占比例為，則C的信息熵定義為：

值越小，劃分后的可靠性越高。當(dāng)采用有N個(gè)可能取值（）的離散屬性a對(duì)C進(jìn)行劃分時(shí)，產(chǎn)生N個(gè)分支結(jié)點(diǎn)，其中第n個(gè)分支結(jié)點(diǎn)包含了C中所有屬性a上取值為an的樣本，記為Cn。則信息增益可表示為：

一般情況下，信息增益越大，說明依據(jù)屬性a劃分的結(jié)果可靠性越高，即應(yīng)選擇屬性：

應(yīng)用于入侵檢測(cè)的決策樹，每一條從根結(jié)點(diǎn)到子結(jié)點(diǎn)的路徑都對(duì)應(yīng)于一條既定的檢測(cè)規(guī)則，葉節(jié)點(diǎn)數(shù)據(jù)是對(duì)分類的預(yù)測(cè)結(jié)果。決策樹對(duì)檢測(cè)數(shù)據(jù)的分類剔除了正常行為數(shù)據(jù)，只對(duì)異常數(shù)據(jù)做簡(jiǎn)單對(duì)比，同時(shí)對(duì)于離散型偏多的異常數(shù)據(jù)還可以省去數(shù)據(jù)的離散處理過程，泛化能力強(qiáng)，學(xué)習(xí)速度快，結(jié)果簡(jiǎn)單易懂是其最大優(yōu)點(diǎn);但是這種處理方式對(duì)于訓(xùn)練數(shù)據(jù)集依賴性過強(qiáng)，如果數(shù)據(jù)集中存在大量相似數(shù)據(jù)，易出現(xiàn)過擬合現(xiàn)象。文獻(xiàn)[4]結(jié)合數(shù)據(jù)挖掘的思想，采用C4.5算法實(shí)現(xiàn)了對(duì)KDD99數(shù)據(jù)集的分類，在規(guī)則提取時(shí)結(jié)合數(shù)據(jù)結(jié)構(gòu)中的算法查找思想，加快了規(guī)則庫的匹配方法，但是采用的數(shù)據(jù)樣本量較小，不能證明在面對(duì)海量數(shù)據(jù)時(shí)具有足夠適用性;蒲元芳等人[5]提出了基于不同網(wǎng)絡(luò)協(xié)議構(gòu)建不同決策樹，使檢測(cè)模型能更具針對(duì)性地并行處理網(wǎng)絡(luò)數(shù)據(jù)，宋明秋等人在文獻(xiàn)[6]中也針對(duì)具體網(wǎng)絡(luò)協(xié)議構(gòu)建決策樹算法，解決傳統(tǒng)檢測(cè)算法資源消耗大、丟包率高的問題，實(shí)驗(yàn)表明這兩種算法對(duì)數(shù)據(jù)分類具有更高的準(zhǔn)確率;池靜等人針對(duì)ID3算法未充分考慮父節(jié)點(diǎn)已使用屬性集對(duì)子節(jié)點(diǎn)劃分的影響與子節(jié)點(diǎn)之間的互信息熵對(duì)分裂節(jié)點(diǎn)的影響問題，提出了一種基于混合互信息的決策樹檢測(cè)算法[7]，在去除父節(jié)點(diǎn)已使用信息對(duì)于子節(jié)點(diǎn)劃分影響的同時(shí)，設(shè)定了屬性數(shù)量閾值，一定程度上減小了ID3算法的缺陷，提高了分類精度，但這種調(diào)整也增加了算法復(fù)雜度，新建立的決策樹模型對(duì)檢測(cè)過程整體優(yōu)化效果不明顯。劉莘等[8]針對(duì)傳統(tǒng)NB算法對(duì)屬性獨(dú)立性要求高和決策樹易發(fā)生過擬合的問題，對(duì)C4.5算法做改進(jìn)，將對(duì)數(shù)據(jù)的檢測(cè)劃分成為兩個(gè)弱分類器，最后通過融合形成最終決策規(guī)則，這種在屬性子集上構(gòu)建局部樸素貝葉斯分類期的算法降低了數(shù)據(jù)獨(dú)立性的要求，具有較高參考價(jià)值。

決策樹在做剪枝處理時(shí)常用方法有預(yù)剪枝和后剪枝。預(yù)剪枝通過對(duì)結(jié)點(diǎn)劃分前后的樣本分類精確度的計(jì)算，決定是否對(duì)該結(jié)點(diǎn)進(jìn)行劃分，但這種基于“貪心”的判斷算法禁止了某些分支的展開，給決策樹帶來的欠擬合的風(fēng)險(xiǎn)。較之于預(yù)剪枝，后剪枝算法是在從訓(xùn)練集生成一棵完整決策樹后進(jìn)行的修改，這樣保留了更多的分支，因此欠擬合風(fēng)險(xiǎn)小，泛化性能往往由于預(yù)剪枝。但這種自底向上進(jìn)行的結(jié)點(diǎn)測(cè)試，數(shù)據(jù)處理量大，用于訓(xùn)練的時(shí)間花銷成為其最大缺點(diǎn)。

1.2 樸素貝葉斯分類器

貝葉斯定理是貝葉斯分類器最重要的依據(jù)，它根據(jù)事件發(fā)生的先驗(yàn)概率求其后驗(yàn)概率，用公式可表示為：

較之于其它機(jī)器學(xué)習(xí)算法，貝葉斯網(wǎng)絡(luò)可直接用有向無環(huán)圖表達(dá)因果關(guān)系，不僅擁有較高的概率表達(dá)能力和不確定性表達(dá)能力，而且其超前的先驗(yàn)知識(shí)學(xué)習(xí)能力也表現(xiàn)突出[9]。在應(yīng)用于入侵檢測(cè)系統(tǒng)時(shí)，通過其在數(shù)據(jù)統(tǒng)計(jì)方面的優(yōu)勢(shì)，充分收集網(wǎng)絡(luò)連接數(shù)據(jù)，用以填充固定貝葉斯網(wǎng)絡(luò)各節(jié)點(diǎn)，再利用所有子節(jié)點(diǎn)包含于根節(jié)點(diǎn)的結(jié)構(gòu)關(guān)系計(jì)算網(wǎng)絡(luò)參數(shù)。文獻(xiàn)[1]結(jié)合數(shù)據(jù)挖掘技術(shù)，采用貝葉斯分類器從離散化的數(shù)據(jù)中提取出用以描繪入侵檢測(cè)模型的數(shù)據(jù)框架，區(qū)分不同網(wǎng)絡(luò)行為，具有較好的實(shí)驗(yàn)結(jié)果;文獻(xiàn)[10]基于互信息的結(jié)構(gòu)學(xué)習(xí)算法，利用貝葉斯網(wǎng)絡(luò)中各節(jié)點(diǎn)的依賴關(guān)系通過訓(xùn)練建立網(wǎng)絡(luò)結(jié)構(gòu)圖對(duì)數(shù)據(jù)進(jìn)行分類，這種相互關(guān)聯(lián)的節(jié)點(diǎn)數(shù)據(jù)保證了最終的網(wǎng)絡(luò)模型具有較高的耦合性，但是在驗(yàn)證環(huán)節(jié)缺乏有效的全新數(shù)據(jù)，泛化性能沒有得到足夠的保證。曾國(guó)斌等人[11]提出一種屬性價(jià)值算法NBC，該方法利用未分類節(jié)點(diǎn)可能所屬類別的最大后驗(yàn)概率MAP來確定網(wǎng)絡(luò)模型中的最后節(jié)點(diǎn)，但是應(yīng)用于實(shí)際實(shí)驗(yàn)檢測(cè)時(shí)，由于過多的干擾因素和不同的特征節(jié)點(diǎn)樣本不同，致使分類準(zhǔn)確率不高。

1.3 支持向量機(jī)

支持向量機(jī)（Support Vector Machines，SVM）是一種二分類模型，其基本模型是在特征空間上定義了間隔最大的線性分類器，從而有別于感知機(jī)。它的學(xué)習(xí)策略就是實(shí)現(xiàn)間隔最大化，可形式化為求解一個(gè)凸二次規(guī)劃的問題，也可等價(jià)于正則化的合頁損失函數(shù)的最小化問題。線性支持向量機(jī)構(gòu)建的模型由簡(jiǎn)單到復(fù)雜可分為線性可分支持向量機(jī)、線性支持向量機(jī)、非線性支持向量機(jī)等。

傳統(tǒng)入侵檢測(cè)系統(tǒng)在先驗(yàn)信息較少的情況下，對(duì)未知情況預(yù)測(cè)能力較差，而應(yīng)用支持向量機(jī)的方法可以有效提高預(yù)測(cè)分類能力和檢測(cè)性能。但是這種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的方法也存在一些不足之處，比如其初始化數(shù)據(jù)往往憑借經(jīng)驗(yàn)獲取，缺乏科學(xué)理論指導(dǎo);SVM一般只能對(duì)數(shù)值數(shù)據(jù)進(jìn)行處理，當(dāng)需要區(qū)分不同入侵方式時(shí)需要多個(gè)SVM實(shí)現(xiàn)。

雖然SVM的學(xué)習(xí)方法在小樣本下能夠取得較好效果，但實(shí)際應(yīng)用于大規(guī)模的入侵檢測(cè)系統(tǒng)中時(shí)，會(huì)受時(shí)間和空間復(fù)雜度約束，其本質(zhì)原因是由于輸入特征空間具有高維、非線性的特征，而SVM分類器的時(shí)間和空間復(fù)雜度是其輸入向量大小的指數(shù)函數(shù)。SVM算法的時(shí)間復(fù)雜度為 O（n3），空間復(fù)雜度為 O（n2），n為訓(xùn)練樣本數(shù)，因此，SVM的計(jì)算成本高于其他分類方法。

2? 網(wǎng)絡(luò)安全新趨勢(shì)

2.1 技術(shù)趨勢(shì)

機(jī)器學(xué)習(xí)這一概念很早就已提出，其各算法均有發(fā)展，但近年來神經(jīng)網(wǎng)絡(luò)—深度學(xué)習(xí)這一分支發(fā)展最為迅速，今后更加智能化的網(wǎng)絡(luò)也將更加依賴于這一技術(shù)深層次的縱向發(fā)展。

2.1.1 跨行業(yè)的技術(shù)借鑒

現(xiàn)有的深度學(xué)習(xí)研究大多用于圖像處理，而圖像所處理的是網(wǎng)格數(shù)據(jù)，但安全領(lǐng)域的數(shù)據(jù)主要是序列數(shù)據(jù)，即離散型數(shù)據(jù)。對(duì)于深度學(xué)習(xí)的生成型模型而言，離散型數(shù)據(jù)不利于梯度的傳遞，Wang W等人將流量的每個(gè)字節(jié)轉(zhuǎn)換成像素[12]，由此來把流量轉(zhuǎn)換為圖片，再將圖片作為 CNN 的輸入，進(jìn)行訓(xùn)練與分類，得到的二分類和多分類準(zhǔn)確率分別是100%和99.17%，由此可見，使用原始特征的效果要優(yōu)于使用NSL-KDD和KDD99數(shù)據(jù)集中人工提取的特征的效果。

在整體神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和優(yōu)化方面，深度學(xué)習(xí)借鑒遺傳算法取得了顯著成效。例如根據(jù)Kolmogorov定理對(duì)BP神經(jīng)元的權(quán)值和閾值的編碼，在設(shè)定初始化值時(shí)，為避免局部最優(yōu)問題而引進(jìn)交叉概率、變異概率和初始化種群等概念，采用隨機(jī)多組、模擬退火等方法進(jìn)行最優(yōu)化設(shè)計(jì)，采用交叉變異、染色體適應(yīng)度比較等方法選取最優(yōu)化組合。

2.1.2 行業(yè)內(nèi)技術(shù)新舊融合

深度學(xué)習(xí)技術(shù)作為神經(jīng)網(wǎng)絡(luò)的一項(xiàng)更深層技術(shù)，在應(yīng)用于入侵檢測(cè)過程中也出現(xiàn)了重重阻礙。而在解決這些問題時(shí)，深度學(xué)習(xí)結(jié)合機(jī)器學(xué)習(xí)已有的算法可以有效彌補(bǔ)不足，取得良好成績(jī)。Salama等人首次將DBN作為生成模型應(yīng)用于入侵檢測(cè)中的數(shù)據(jù)降維[13]，使用SVM對(duì)降維之后的數(shù)據(jù)進(jìn)行分類。他們的結(jié)果顯示，DBN-SVM結(jié)構(gòu)比單獨(dú)的DBN或者SVM進(jìn)行分類得到的準(zhǔn)確率更高。同時(shí)，當(dāng)采用SVM進(jìn)行分類時(shí)，相比于主成分分析（principal component analysis，PCA）[14]，卡方檢驗(yàn)等降維方法，采用 DBN進(jìn)行降維時(shí)的檢測(cè)準(zhǔn)確率最高。

2.2 應(yīng)用趨勢(shì)

2.2.1 應(yīng)用于IOT的入侵檢測(cè)技術(shù)

近年來物聯(lián)網(wǎng)（Internet of Things）技術(shù)借助于人工智能的興起而迅速發(fā)展，但是相對(duì)應(yīng)的網(wǎng)絡(luò)安全手段卻發(fā)展緩慢，性能提效不明顯。網(wǎng)絡(luò)安全和信息化發(fā)展是一體之雙翼，驅(qū)動(dòng)之雙輪，缺少任一方面都必將發(fā)展受限。更何況當(dāng)今時(shí)代是以信息技術(shù)為支撐的網(wǎng)絡(luò)環(huán)境下發(fā)展的，不同于其他學(xué)科，網(wǎng)絡(luò)環(huán)境的安全與整個(gè)社會(huì)行業(yè)的發(fā)展息息相關(guān)[15]。 面對(duì)愈加復(fù)雜的網(wǎng)絡(luò)安全隱患，傳統(tǒng)IDS明顯力不從心。一般將IOT分為感知層、網(wǎng)絡(luò)層和應(yīng)用層[15]，其中廣泛應(yīng)用傳感器、自動(dòng)識(shí)別追蹤、無線連接、分布式服務(wù)等技術(shù)，當(dāng)它們面對(duì)不同類型的網(wǎng)絡(luò)攻擊時(shí)，傳統(tǒng)IDS檢測(cè)范圍不能完全適應(yīng)，因此發(fā)展面向IOT的有針對(duì)性的新型入侵檢測(cè)技術(shù)是未來IDS發(fā)展的主要趨勢(shì)之一。

2.2.2 應(yīng)用于云計(jì)算的入侵檢測(cè)技術(shù)

云計(jì)算自身開放的特性所采用的虛擬化技術(shù)使其所面臨的安全威脅主要來自于DDOS攻擊和非授權(quán)訪問權(quán)限獲取。目前NIDS（Network based Intrusion Detection System）是針對(duì)云計(jì)算的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)的代表，但是針對(duì)虛擬機(jī)之間的逃逸流量和虛擬機(jī)遷移攻擊該系統(tǒng)無法檢測(cè)[16]，因此下一步針對(duì)云計(jì)算的網(wǎng)絡(luò)入侵檢測(cè)會(huì)繼續(xù)向全面高效、低誤報(bào)率以及虛擬網(wǎng)絡(luò)方向發(fā)展。

3? 結(jié)束語

在傳統(tǒng)入侵檢測(cè)領(lǐng)域引入機(jī)器學(xué)習(xí)技術(shù)，不僅提高了檢測(cè)速率，而且能有效應(yīng)對(duì)當(dāng)前日趨復(fù)雜的網(wǎng)絡(luò)環(huán)境，是未來網(wǎng)絡(luò)安全技術(shù)的主流趨勢(shì)，而這其中又以深度學(xué)習(xí)技術(shù)為主。不同技術(shù)的相互借鑒發(fā)展、基礎(chǔ)理念的創(chuàng)新都將帶動(dòng)網(wǎng)絡(luò)安全技術(shù)的進(jìn)步，為以信息技術(shù)為依托的各行各業(yè)發(fā)展提供安全發(fā)展的網(wǎng)絡(luò)環(huán)境。

參考文獻(xiàn)：

[1]高華.基于海量日志的入侵檢測(cè)并行化算法研究[J].現(xiàn)代電子技術(shù)，2016，3919：71-75.

[2]華銘軒，張峰軍.大數(shù)據(jù)環(huán)境下的入侵檢測(cè)系統(tǒng)框架[J].通信技術(shù)，2015，4811：1300-1304.

[3]張棪，曹健.面向大數(shù)據(jù)分析的決策樹算法[J].計(jì)算機(jī)科學(xué)，2016，43S1：374-379，383.

[4]張國(guó)權(quán)，李文立.基于混合互信息的決策樹入侵檢測(cè)[J].遼寧工程技術(shù)大學(xué)學(xué)報(bào)（自然科學(xué)版），2009，2802：273-276.

[5]蒲元芳，杜紅樂.決策樹在網(wǎng)絡(luò)入侵檢測(cè)中的研究與應(yīng)用[J].電腦知識(shí)與技術(shù)，2010，607：1560-1563.

[6]宋明秋，傅韻，鄧貴仕.基于決策樹和協(xié)議分析的入侵檢測(cè)研究[J].計(jì)算機(jī)應(yīng)用研究，2007，12：171-173，176.

[7]池靜，楊振宇，張婷.基于貝葉斯和決策樹的入侵檢測(cè)方法[J].工礦自動(dòng)化，2013，3902，62-65.

[8]劉莘，張永平，萬艷麗.決策樹算法在入侵檢測(cè)中的應(yīng)用分析及改進(jìn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006（19）：3641-3643.

[9]張?jiān)拢?，張?一種基于樸素貝葉斯網(wǎng)絡(luò)的入侵檢測(cè)分析方法[J].信息與電腦（理論版），2018，13：66-67，70.

[10]李健，陳為.基于異構(gòu)條件的NIDS網(wǎng)絡(luò)安全技術(shù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017，2709：106-109，115.

[11]曾國(guó)斌，冉兆春.基于改進(jìn)樸素貝葉斯算法入侵檢測(cè)系統(tǒng)研究[J].電腦知識(shí)與技術(shù)，2017，1328：28-29.

[12]Wang Wei， Zhu Ming， Zeng Xuewen， et al. Malware traffic classification using convolutional neural network for representation learning[C]// Int Conf on Information Networking. NJ： IEEE， 2017： 712-717.

[13]Salama M A， Eid H F， Ramadan R A， et al. Hybrid intelligent intrusion detection scheme[M]//Soft computing in industrial applications. Springer.

[14]戚名鈺，劉銘，傅彥銘.基于PCA的SVM網(wǎng)絡(luò)入侵檢測(cè)研究[J].信息網(wǎng)絡(luò)安全，2015（02）：15-18.

[15]武傳坤.物聯(lián)網(wǎng)安全關(guān)鍵技術(shù)與挑戰(zhàn)[J].密碼學(xué)報(bào)，2015，2（01）：40-53.

[16]劉增鎖.云計(jì)算環(huán)境下海量數(shù)據(jù)中入侵檢測(cè)挖掘模型[J]. 計(jì)算機(jī)仿真，2015，32（06）：289-291，393.