◆蔡洪民 王慶香

（廣州中醫(yī)藥大學(xué)醫(yī)學(xué)信息工程學(xué)院 廣東 510006）

基于深度學(xué)習(xí)的入侵檢測(cè)技術(shù)研究

◆蔡洪民 王慶香

（廣州中醫(yī)藥大學(xué)醫(yī)學(xué)信息工程學(xué)院 廣東 510006）

大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)安全形勢(shì)日趨嚴(yán)峻，本文提出了一種基于深度學(xué)習(xí)的異常入侵檢測(cè)模型。首先，將網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理：針對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)的高維特征影響檢測(cè)效率的問(wèn)題，使用PCA等方法進(jìn)行數(shù)據(jù)降維；其次，使用深度神經(jīng)網(wǎng)絡(luò)方法對(duì)預(yù)處理后的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行訓(xùn)練和類(lèi)別預(yù)測(cè)；最后，使用混淆矩陣對(duì)模型輸出結(jié)果進(jìn)行評(píng)估，并與KNN和SVM兩種經(jīng)典算法進(jìn)行對(duì)比。經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，本文模型均優(yōu)于 KNN 算法和SVM算法，在準(zhǔn)確率、召回率、F1-Score方面相比KNN和SVM的檢測(cè)率提高2%。因此，本文模型有效提高了異常入侵檢測(cè)的檢測(cè)率，加強(qiáng)了網(wǎng)絡(luò)安全。

異常入侵檢測(cè)；深度學(xué)習(xí)；K近鄰；支持向量機(jī)

0 引言

互聯(lián)網(wǎng)的飛速發(fā)展一方面推動(dòng)了人類(lèi)社會(huì)的日新月異的進(jìn)步，另一方面網(wǎng)絡(luò)安全事件頻發(fā)給社會(huì)和人民生活帶來(lái)重大安全問(wèn)題。傳統(tǒng)的計(jì)算機(jī)安全理論已不能適應(yīng)動(dòng)態(tài)變化的、多維互聯(lián)的網(wǎng)絡(luò)空間。隨著物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的發(fā)展和大數(shù)據(jù)時(shí)代的來(lái)臨，全球網(wǎng)絡(luò)安全形勢(shì)更加嚴(yán)峻。因此，通過(guò)機(jī)器學(xué)習(xí)的方法對(duì)網(wǎng)絡(luò)大流量數(shù)據(jù)進(jìn)行分析來(lái)識(shí)別入侵行為，成為加強(qiáng)網(wǎng)絡(luò)安全的重要手段。

日趨復(fù)雜的網(wǎng)絡(luò)環(huán)境使得簡(jiǎn)單的機(jī)器學(xué)習(xí)方法已經(jīng)很難很好的解決實(shí)際問(wèn)題。自2006年多倫多大學(xué)Geoffrey Hinton教授提出了深度學(xué)習(xí)網(wǎng)絡(luò)以來(lái)，深度學(xué)習(xí)技術(shù)的發(fā)展對(duì)信號(hào)和信息處理方面的研究產(chǎn)生了廣泛的影響。深度學(xué)習(xí)大大地拓展了機(jī)器學(xué)習(xí)研究領(lǐng)域，并推動(dòng)人工智能的迅猛發(fā)展。因其強(qiáng)大的特征表達(dá)能力，基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型已在語(yǔ)音識(shí)別、圖像識(shí)別和自然語(yǔ)言處理等領(lǐng)域取得突破性進(jìn)展，越來(lái)越受到國(guó)內(nèi)外學(xué)者的重視。國(guó)外已有研究者將其用于入侵檢測(cè)上：文獻(xiàn)[1]使用混合聚類(lèi)和神經(jīng)網(wǎng)絡(luò)的方法實(shí)現(xiàn)了入侵檢測(cè)；文獻(xiàn)[2]將基于聚類(lèi)的隨機(jī)化數(shù)據(jù)用于檢測(cè)僵尸網(wǎng)絡(luò)上；文獻(xiàn)[3]將深度神經(jīng)網(wǎng)絡(luò)用于車(chē)聯(lián)網(wǎng)的安全上；文獻(xiàn)[4]實(shí)現(xiàn)了基于深度信念網(wǎng)絡(luò)的入侵檢測(cè)。國(guó)內(nèi)基于深度神經(jīng)網(wǎng)絡(luò)研究入侵檢測(cè)的較少，文獻(xiàn)[5]闡述了深度神經(jīng)網(wǎng)絡(luò)在大數(shù)據(jù)分析上的應(yīng)用；文獻(xiàn)[6]利用兩層的限制玻爾茲曼機(jī)進(jìn)行結(jié)構(gòu)降維，用BP神經(jīng)網(wǎng)絡(luò)獲得原始數(shù)據(jù)的最優(yōu)表示，再利用SVM對(duì)數(shù)據(jù)進(jìn)行入侵識(shí)別；文獻(xiàn)［7］針對(duì)異常入侵檢測(cè)中數(shù)據(jù)的高維特征會(huì)影響檢測(cè)率的問(wèn)題，提出基于信息增益特征選擇的檢測(cè)模型將隨機(jī)森林分類(lèi)器的檢測(cè)率提高 0.2% ；文獻(xiàn)［8］將ML-KNN算法應(yīng)用于入侵檢測(cè)并在KDD-CUP99數(shù)據(jù)集上的進(jìn)行仿真，獲得了高檢測(cè)率和低誤報(bào)率；文獻(xiàn)［9］提出了一種基于多標(biāo)記學(xué)習(xí)的入侵檢測(cè)算法并在KDD CUP99數(shù)據(jù)集上進(jìn)行仿真，有效提高了入侵檢測(cè)系統(tǒng)的性能。

針對(duì)大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)流量的多維、復(fù)雜等特點(diǎn)，本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的異常入侵檢測(cè)模型，經(jīng)過(guò)網(wǎng)絡(luò)流量數(shù)據(jù)集采集、數(shù)據(jù)預(yù)處理、特征選擇、深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)等一系列步驟來(lái)識(shí)別網(wǎng)絡(luò)中的異常流量，從而加強(qiáng)了網(wǎng)絡(luò)安全。

1 深度學(xué)習(xí)相關(guān)技術(shù)

1.1 基于Keras的深度學(xué)習(xí)庫(kù)

深度學(xué)習(xí)使用多層人工神經(jīng)網(wǎng)絡(luò)，從大數(shù)據(jù)集中學(xué)習(xí)訓(xùn)練，最終可對(duì)新的數(shù)據(jù)樣本做出智能識(shí)別和準(zhǔn)確預(yù)測(cè)。與傳統(tǒng)的淺層神經(jīng)網(wǎng)絡(luò)模型相比，深度學(xué)習(xí)模型的多層網(wǎng)絡(luò)結(jié)構(gòu)能夠更加有效地表達(dá)復(fù)雜函數(shù)，從而學(xué)習(xí)到更準(zhǔn)確的特征?？梢哉f(shuō)，深度學(xué)習(xí)已經(jīng)拓展為機(jī)器學(xué)習(xí)和人工智能研究的主要方面[10]。

Keras是一個(gè)開(kāi)源的深度學(xué)習(xí)庫(kù)，其本質(zhì)上是高層神經(jīng)網(wǎng)絡(luò)庫(kù)。Keras由純Python編寫(xiě)并基于Tensorflow或Theano。Keras 為支持快速實(shí)驗(yàn)而生，可以迅速將算法思想轉(zhuǎn)換為程序運(yùn)行結(jié)果。Keras深度學(xué)習(xí)庫(kù)具有高度模塊化、極簡(jiǎn)和可擴(kuò)充等特性，并且支持CNN、RNN或二者的結(jié)合，可無(wú)縫在CPU和GPU之間切換。Keras的核心數(shù)據(jù)結(jié)構(gòu)是模型，模型是一種組織網(wǎng)絡(luò)層的方式。Keras中主要的模型是Sequential模型，Sequential是一系列網(wǎng)絡(luò)層按順序構(gòu)成的棧。本文模型就是基于 Keras深度學(xué)習(xí)庫(kù)中的Sequential模型來(lái)實(shí)現(xiàn)的。

1.2 基于Python的多進(jìn)程技術(shù)

Python的多線程并非真正的多線程，為了充分使用多核CPU的資源，在Python中多數(shù)情況需要使用多進(jìn)程。Python提供了好用的多進(jìn)程包 multiprocessing。借助此包，可以輕松完成從單進(jìn)程到并發(fā)執(zhí)行的轉(zhuǎn)換。multiprocessing支持子進(jìn)程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步，提供了Process、Queue、Pipe、Lock等組件。為了提高模型運(yùn)行效率，本文模型就是基于Python的多進(jìn)程技術(shù)實(shí)現(xiàn)的。

2 異常檢測(cè)模型

本文提出一種基于深度學(xué)習(xí)的異常流量檢測(cè)模型，該模型有效地提高了網(wǎng)絡(luò)異常流量的檢測(cè)率。整個(gè)模型分為數(shù)據(jù)預(yù)處理器、特征選擇器和深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器三部分，其中深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器是整個(gè)模型的核心模塊[7]。本文模型的工作流程如圖1所示。

圖1 模型的工作流程

（1）數(shù)據(jù)預(yù)處理器分別讀取訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集以及各自類(lèi)別，然后進(jìn)行規(guī)范化處理。

（2）特征選擇器將經(jīng)過(guò)預(yù)處理的訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)使用PCA算法和VarianceThreshold方法進(jìn)行降維處理，去掉冗余數(shù)據(jù)，形成網(wǎng)絡(luò)流量數(shù)據(jù)特征集。

（3）將訓(xùn)練集的數(shù)據(jù)特征和類(lèi)別載入深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器，經(jīng)過(guò)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，然后載入測(cè)試集的特征對(duì)其類(lèi)別進(jìn)行預(yù)測(cè)，得到測(cè)試集的數(shù)據(jù)分類(lèi)預(yù)測(cè)結(jié)果。然后讀取網(wǎng)絡(luò)流量數(shù)據(jù)測(cè)試集中已有的類(lèi)別標(biāo)記進(jìn)行對(duì)比，評(píng)估模型的優(yōu)劣。

2.1 數(shù)據(jù)預(yù)處理器

數(shù)據(jù)預(yù)處理器的主要目標(biāo)是對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行規(guī)范化。具體來(lái)說(shuō)，分別載入訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)，然后對(duì)其中異常數(shù)據(jù)進(jìn)行檢測(cè)與處理，例如清理丟失或錯(cuò)誤的數(shù)據(jù)，添加、插入和刪除無(wú)關(guān)數(shù)據(jù)等，最后進(jìn)行數(shù)據(jù)分組和轉(zhuǎn)換，以獲得新的、有意義的新數(shù)據(jù)[11]。本文模型中此部分依據(jù) Python數(shù)據(jù)分析包Pandas實(shí)現(xiàn)的。

2.2 特征選擇器

數(shù)據(jù)經(jīng)過(guò)預(yù)處理后進(jìn)入特征選擇器。特征選擇器的作用是依據(jù)網(wǎng)絡(luò)流量原始數(shù)據(jù)集創(chuàng)建新的數(shù)據(jù)特征。本文模型使用 PCA和VarianceThreshold方法進(jìn)行數(shù)據(jù)維度約簡(jiǎn)形成新的數(shù)據(jù)集；然后選擇合適的特征集進(jìn)入深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器進(jìn)行訓(xùn)練和分類(lèi)預(yù)測(cè)[12]。

2.3 深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器

本文模型采用深度神經(jīng)網(wǎng)絡(luò)方法進(jìn)行分類(lèi)預(yù)測(cè)，深度神經(jīng)網(wǎng)絡(luò)算法主要分為輸入層、隱含層、輸出層三個(gè)部分。本文模型中設(shè)置多個(gè)隱含層，并且中間采用不同的激勵(lì)函數(shù)來(lái)計(jì)算。本文模型中分類(lèi)器的工作流程如下：

（1）分別將訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)載入本文模型的分類(lèi)器中，其中訓(xùn)練數(shù)據(jù)進(jìn)入深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器的訓(xùn)練模塊，測(cè)試數(shù)據(jù)進(jìn)入深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器的測(cè)試模塊。

（2）訓(xùn)練數(shù)據(jù)經(jīng)過(guò)深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器訓(xùn)練之后得到有效結(jié)果，然后載入測(cè)試數(shù)據(jù)，然后根據(jù)訓(xùn)練有效結(jié)果對(duì)測(cè)試數(shù)據(jù)集類(lèi)別進(jìn)行預(yù)測(cè)。得到預(yù)測(cè)結(jié)果，即完成一次分類(lèi)預(yù)測(cè)過(guò)程。

（3）載入測(cè)試集類(lèi)別標(biāo)記與深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器預(yù)測(cè)值進(jìn)行對(duì)比，根據(jù)混淆矩陣等方法進(jìn)行模型性能評(píng)估，判斷檢測(cè)算法的優(yōu)劣。

（4）重復(fù)相同步驟，分別使用KNN和SVM算法對(duì)同一網(wǎng)絡(luò)流量數(shù)據(jù)集進(jìn)行類(lèi)似處理。最終根據(jù)三種機(jī)器學(xué)習(xí)方法的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，得出三種算法針對(duì)本數(shù)據(jù)集的性能優(yōu)劣。

3 實(shí)驗(yàn)

實(shí)驗(yàn)部分包括實(shí)驗(yàn)環(huán)境與數(shù)據(jù)、實(shí)驗(yàn)過(guò)程與結(jié)果分析兩部分內(nèi)容。

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

本文以Windows Server 2008下的Anaconda作為實(shí)驗(yàn)平臺(tái)，使用綜合性的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)數(shù)據(jù)集 UNSW-NB15作為實(shí)驗(yàn)數(shù)據(jù)集。在入侵檢測(cè)領(lǐng)域，研究者們廣泛使用 KDD CUP99和NSLKDD等數(shù)據(jù)集，這些數(shù)據(jù)集的使用時(shí)間都已經(jīng)超過(guò)10年，已無(wú)法全面反映當(dāng)今環(huán)境下的復(fù)雜網(wǎng)絡(luò)流量特征[13]。UNSW-NB15數(shù)據(jù)集是綜合性的網(wǎng)絡(luò)攻擊流量數(shù)據(jù)集，包括訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，被廣泛應(yīng)用于異常入侵檢測(cè)。UNSW-NB15數(shù)據(jù)集由一種正常流量和八種異常流量組成，八種異常流量類(lèi)型分別為Reconnaissance、Analysis、Generic、Fuzzers、Backdoor、Exploits、Shellcode、DoS和 Worms。該數(shù)據(jù)集共有約 40 維特征，實(shí)驗(yàn)中使用該數(shù)據(jù)集的一個(gè)子集。為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性和隨機(jī)性，本文模型從中提取 IPv4網(wǎng)絡(luò)中常見(jiàn)協(xié)議的網(wǎng)絡(luò)流量數(shù)據(jù)集，包括73222 條訓(xùn)練數(shù)據(jù)和 145938條測(cè)試數(shù)據(jù)。UNSW-NB15數(shù)據(jù)集各類(lèi)型比例如表1所示，數(shù)據(jù)集特征如表2所示。

表1 實(shí)驗(yàn)所用UNSW-NB15數(shù)據(jù)集

?

表2 UNSW-NB15數(shù)據(jù)特征

混淆矩陣是數(shù)據(jù)科學(xué)、數(shù)據(jù)分析和機(jī)器學(xué)習(xí)中總結(jié)分類(lèi)模型預(yù)測(cè)結(jié)果的情形分析表，是對(duì)分類(lèi)模型進(jìn)行性能評(píng)價(jià)的重要工具。它以矩陣形式將數(shù)據(jù)集中的記錄按照真實(shí)的類(lèi)別與分類(lèi)模型作出的分類(lèi)預(yù)測(cè)進(jìn)行判斷。由混淆矩陣可以計(jì)算真陽(yáng)性率、假陽(yáng)性率、真陰性率、假陰性率、準(zhǔn)確率、精確率和F指標(biāo)等各種評(píng)價(jià)指標(biāo)。在機(jī)器學(xué)習(xí)領(lǐng)域，混淆矩陣是可視化工具，特別用于監(jiān)督學(xué)習(xí)。本文模型就是采用混淆矩陣來(lái)解釋異常入侵檢測(cè)常用的準(zhǔn)確率、召回率、F1-Score三項(xiàng)指標(biāo)來(lái)評(píng)估本文實(shí)驗(yàn)?zāi)Ｐ偷腫14]。

3.2 實(shí)驗(yàn)過(guò)程與結(jié)果分析

本文模型實(shí)驗(yàn)在某大學(xué)校園網(wǎng)環(huán)境中一臺(tái) Windows Server 2008服務(wù)器上進(jìn)行。整個(gè)實(shí)驗(yàn)過(guò)程包括兩步：首先對(duì)本文提出的深度神經(jīng)網(wǎng)絡(luò)分類(lèi)模型進(jìn)行分類(lèi)預(yù)測(cè)實(shí)驗(yàn)，然后將其實(shí)驗(yàn)結(jié)果與經(jīng)典的有監(jiān)督學(xué)習(xí)分類(lèi)算法KNN分類(lèi)器和SVM分類(lèi)器分別進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖2和圖3所示。由圖可知，本文方法比KNN分類(lèi)器和SVM分類(lèi)器的分類(lèi)預(yù)測(cè)效果都要好：針對(duì)本實(shí)驗(yàn)數(shù)據(jù)，在選取的三種分類(lèi)方法中，KNN算法要優(yōu)于SVM算法。當(dāng)訓(xùn)練輪數(shù)為60次和80次時(shí)，深度神經(jīng)網(wǎng)絡(luò)方法的檢測(cè)率與KNN算法基本相同。當(dāng)訓(xùn)練輪數(shù)為200以上時(shí)，深度神經(jīng)網(wǎng)絡(luò)方法明顯優(yōu)于KNN算法，準(zhǔn)確率、召回率、F1得分分別提高了4%，2%，2%。

圖2 深度神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練迭代過(guò)程

圖3 三種分類(lèi)算法檢測(cè)率對(duì)比

綜合以上實(shí)驗(yàn)結(jié)果，可以看出三類(lèi)算法在檢測(cè)率上都能達(dá)到75%以上；與 KNN算法和SVM算法相比，本文模型在準(zhǔn)確率、召回率和F1-Score三項(xiàng)指標(biāo)上均優(yōu)于其他兩種算法，檢測(cè)率提高約2%。

4 結(jié)語(yǔ)

針對(duì)高維數(shù)據(jù)對(duì)異常入侵檢測(cè)的檢測(cè)率和檢測(cè)時(shí)間產(chǎn)生不利影響的問(wèn)題，本文提出一種基于深度神經(jīng)網(wǎng)絡(luò)的異常流量檢測(cè)模型，經(jīng)過(guò)數(shù)據(jù)規(guī)范化后使用PCA算法和VarianceThreshold方法對(duì)數(shù)據(jù)進(jìn)行維度約簡(jiǎn)，然后載入深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器進(jìn)行分類(lèi)預(yù)測(cè)，最終提高了分類(lèi)的準(zhǔn)確度。本文模型實(shí)驗(yàn)過(guò)程中采用Python多進(jìn)程技術(shù)提高了檢測(cè)效率，大大縮短了模型運(yùn)行時(shí)間。實(shí)驗(yàn)結(jié)果表明，本文方法優(yōu)于KNN算法和SVM算法，在準(zhǔn)確率、召回率和F1-Score三項(xiàng)指標(biāo)上均比KNN算法和SVM算法提高了約2%。

本文研究過(guò)程中使用 UNSW-NB15綜合數(shù)據(jù)集進(jìn)行研究和分析，UNSW-NB15綜合數(shù)據(jù)集很好地反映了當(dāng)今網(wǎng)絡(luò)環(huán)境下的流量特征。下一步的研究將進(jìn)一步優(yōu)化本文提出的深度神經(jīng)網(wǎng)絡(luò)分類(lèi)器并且針對(duì)采集現(xiàn)網(wǎng)數(shù)據(jù)進(jìn)行研究[15]。

[1] Ma Tao,Wang Fen,Cheng Jianjun． A Hybrid Spectral Clustering and Deep Neural Network Ensemble Algorithm for Intrusion Detection in Sensor Networks． Sensors(Basel ，Switzerland)，2016．

[2] Al-Jarrah Omar Y,Alhussein Omar,Yoo,Paul D． Data Randomization and Cluster-Based Partitioning for Botnet Intrusion Detection．IEEE TRANSACTIONS ON CYBERNETICS，2016．

[3] Kang Min-Joo,Kang Je-Won．Intrusion Detection System Using Deep Neural Network for In-Vehicle Network Security．PLOS ONE2016．

[4] Kamran Raza，Syed Hasan Adil．Intrusion Detection using Deep Belief Network．

[5] 張蕾， 章毅．大數(shù)據(jù)分析的無(wú)限深度神經(jīng)網(wǎng)絡(luò)方法．計(jì)算機(jī)研究與發(fā)展， 2016．

[6] 楊昆朋．基于深度信念網(wǎng)絡(luò)的入侵檢測(cè)模型．現(xiàn)代計(jì)算機(jī)，2015．

[7] 劉汝雋，賈斌，辛陽(yáng)．基于信息增益特征選擇的異常入侵檢測(cè)模型．計(jì)算機(jī)應(yīng)用，2016．

[8] 錢(qián)燕燕，李永忠，余西亞．基于多標(biāo)記與半監(jiān)督學(xué)習(xí)的入侵檢測(cè)方法研究．計(jì)算機(jī)科學(xué)，2015．

[9] 錢(qián)燕燕，李永忠，章雷，余西亞．一種多標(biāo)記學(xué)習(xí)入侵檢測(cè)算法，合肥工業(yè)大學(xué)學(xué)報(bào)（自 然 科 學(xué) 版 ），2015．

[10] 李春林，黃月江，王宏，牛長(zhǎng)喜．一種深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測(cè)方法． 信息安全與通信保密，2014．

[11] 賈慧敏．基于 ML 改進(jìn)技術(shù)的 IDS 的設(shè)計(jì)與實(shí)現(xiàn)．計(jì)算機(jī)技術(shù)與發(fā)展，2015．

[12] 馬鉦然，張博鋒，王勇軍．基于主題模型的網(wǎng)絡(luò)異常行為分類(lèi)學(xué)習(xí)方法研究．計(jì)算機(jī)科學(xué)，2016．

[13] 石云，陳鐘，孫兵．基于均值聚類(lèi)分析和多層核心集凝聚算法相融合的網(wǎng)絡(luò)入侵檢測(cè)．計(jì)算機(jī)應(yīng)用研究，2016．

[14] 袁琴琴，呂林濤．基于改進(jìn)蟻群算法與遺傳算法組合的網(wǎng)絡(luò)入侵檢測(cè)．重慶郵電大學(xué)學(xué)報(bào)( 自然科學(xué)版)，2017．

[15] Ghosh Abhrajit,Gottlieb Yitzchak M,Naidu Aditya．Managing High Volume Data for Network Attack Detection Using Real-Time Flow Filtering．CHINA COMMUNICATIONS,2013．