周 航，凌 捷

(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510006)

0 引 言

網(wǎng)絡(luò)入侵檢測技術(shù)可分為兩種類型：基于行為的入侵檢測和基于特征的入侵檢測?；谔卣鞯娜肭謾z測對于已知的入侵具有較高的準(zhǔn)確率，但識別未知的入侵的能力較弱?；谛袨榈娜肭謾z測對于任何偏離正常行為模型的行為都會(huì)將其識別為異常，缺點(diǎn)是容易將正常行為歸類為攻擊行為。

近年來，研究人員嘗試將一些機(jī)器學(xué)習(xí)算法應(yīng)用到入侵檢測系統(tǒng)中。有研究將K近鄰算法應(yīng)用到入侵檢測系統(tǒng)中[1]。有研究將支持向量機(jī)應(yīng)用在入侵檢測系統(tǒng)中，并采用了卡方檢驗(yàn)法將與攻擊行為無關(guān)的特征去除掉，較之前不刪除特征的結(jié)果有提升[2]。多種機(jī)器學(xué)習(xí)算法也成功應(yīng)用在入侵檢測系統(tǒng)中，如樸素貝葉斯、決策樹等[3]。上述研究都是基于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，雖然在樣本識別能力上都有提升，但是表達(dá)復(fù)雜函數(shù)的能力有限，泛化能力較弱，因此不能較好地處理復(fù)雜分類問題。

本文使用NSL-KDD數(shù)據(jù)集訓(xùn)練模型并評估模型性能。利用BiLSTM對網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)進(jìn)行高級抽象和非線性變換，并采用Batch Normalization機(jī)制使神經(jīng)網(wǎng)絡(luò)快速收斂，通過多次實(shí)驗(yàn)，選擇了適當(dāng)?shù)碾[藏層層數(shù)和迭代次數(shù)，最后獲取分類結(jié)果。將設(shè)置的改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測方法與多種網(wǎng)絡(luò)入侵檢測方法進(jìn)行對比，實(shí)驗(yàn)結(jié)果表明，改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測方法不僅提高了準(zhǔn)確率，而且泛化能力也有提高。

1 相關(guān)工作

網(wǎng)絡(luò)入侵檢測的作用是發(fā)現(xiàn)未經(jīng)授權(quán)的惡意行為，實(shí)質(zhì)上是對數(shù)據(jù)進(jìn)行分類的問題。傳統(tǒng)的機(jī)器學(xué)習(xí)算法曾被認(rèn)為是適合應(yīng)用于入侵檢測領(lǐng)域的算法，并在入侵檢測中大量的應(yīng)用。如使用隨機(jī)森林的方法進(jìn)行入侵檢測[4]，利用Adaboost融合多種傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行入侵檢測[5]，雖然這些方法已經(jīng)提高了準(zhǔn)確率，但是這些方法都較依賴于特征選擇，泛化能力較弱。

在深度學(xué)習(xí)發(fā)展的早期，深度學(xué)習(xí)算法因?yàn)檩^難訓(xùn)練所以較少被研究人員注意，早期被應(yīng)用于入侵檢測領(lǐng)域的神經(jīng)網(wǎng)絡(luò)有深度信念網(wǎng)絡(luò)、限制玻爾茲曼機(jī)、自編碼器，以及深度神經(jīng)網(wǎng)絡(luò)。采用深度信念網(wǎng)絡(luò)在KDD Cup 99數(shù)據(jù)集上訓(xùn)練入侵檢測模型[6,7]，其效果要好于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，但容易過擬合。

近年有學(xué)者提出利用循環(huán)神經(jīng)網(wǎng)絡(luò)來進(jìn)行網(wǎng)絡(luò)入侵檢測[8]，其研究結(jié)果表明循環(huán)神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測數(shù)據(jù)集中進(jìn)行二分類和多分類的表現(xiàn)都優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)算法，此外有文章對循環(huán)神經(jīng)網(wǎng)絡(luò)在入侵檢測方面的應(yīng)用做了進(jìn)一步的探討[9]。由于循環(huán)神經(jīng)網(wǎng)絡(luò)的變種結(jié)構(gòu)LSTM在自然語言處理領(lǐng)域效果較好，有學(xué)者研究其在入侵檢測領(lǐng)域的應(yīng)用[10],認(rèn)為一個(gè)優(yōu)化的超參數(shù)能提升準(zhǔn)確率和降低誤報(bào)率。本文提出改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測方法，通過特征選擇的方法更好地利用數(shù)據(jù)特征，實(shí)驗(yàn)結(jié)果表明準(zhǔn)確率有提升且泛化能力較好。

2 改進(jìn)的方法的原理

由于在入侵?jǐn)?shù)據(jù)中的各個(gè)特征之間可能存在著依賴關(guān)系，本文利用BiLSTM神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)特征之間的依賴關(guān)系，融合Batch Normalization機(jī)制使神經(jīng)網(wǎng)絡(luò)快速收斂，提出了改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測方法。

2.1 本文方法的模型

本文方法的模型由3個(gè)部分組成：數(shù)據(jù)預(yù)處理部分、訓(xùn)練部分、檢測部分。在進(jìn)行模型訓(xùn)練前，首先要進(jìn)行特征提取。通過卡方檢驗(yàn)法計(jì)算各個(gè)特征與結(jié)果的關(guān)聯(lián)度，最終剔除了12個(gè)特征。由于實(shí)驗(yàn)中所使用的數(shù)據(jù)集中含有非數(shù)值化特征，而所提出的方法中輸入的值必須為數(shù)值，所以需要將非數(shù)值化特征轉(zhuǎn)換為數(shù)值化特征。

由于入侵檢測數(shù)據(jù)集中各個(gè)特征的值分布不相同，有些差異過大，為了保證神經(jīng)網(wǎng)絡(luò)可以快速收斂，需要對所有特征進(jìn)行標(biāo)準(zhǔn)化，使輸入的各個(gè)特征分布相近。

訓(xùn)練模塊的核心是使用BiLSTM神經(jīng)網(wǎng)絡(luò)從訓(xùn)練數(shù)據(jù)中提取特征，且利用ADAM優(yōu)化算法不斷迭代更新權(quán)重，從而使得網(wǎng)絡(luò)最后生成的結(jié)果達(dá)到最佳。根據(jù)入侵檢測數(shù)據(jù)集的特點(diǎn)，所設(shè)計(jì)模型的基本結(jié)構(gòu)如圖1所示，其中所使用的優(yōu)化技術(shù)包括RELU激活函數(shù),Bactch Normalization機(jī)制，ADAM優(yōu)化算法。最終檢測模塊對測試數(shù)據(jù)進(jìn)行檢測并給出二分類和五分類的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果表明改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測方法效果較好。

圖1 模型工作流程

2.2 改進(jìn)模型中使用的算法

2.2.1 BiLSTM

本文采用BiLSTM作為模型的核心，利用BiLSTM獲取數(shù)據(jù)的表示向量并進(jìn)行訓(xùn)練。BiLSTM是由前向LSTM以及后向LSTM組合而成的一個(gè)結(jié)構(gòu)，能很好完成數(shù)據(jù)特征的抽取以及運(yùn)算。LSTM全名為長短期記憶網(wǎng)絡(luò)，其是循環(huán)神經(jīng)網(wǎng)絡(luò)上的一個(gè)特殊的結(jié)構(gòu)，能夠很好保存長數(shù)據(jù)特征的依賴關(guān)系，在自然語言處理領(lǐng)域被廣泛使用。LSTM由3個(gè)門組成：遺忘門、輸入門、輸出門。遺忘門控制冗余信息的消除，輸入門控制輸入信息的保留，輸出門接收遺忘門和輸出門的信息經(jīng)過篩選后傳遞給下一個(gè)LSTM單元。

LSTM單元的計(jì)算過程如下

其中，ft代表的是遺忘門，Wf、Wi、Wc、Wo代表的是神經(jīng)網(wǎng)絡(luò)權(quán)重，bf、bi、bc、bo代表的是偏置值，ht代表t時(shí)刻的網(wǎng)絡(luò)輸出。而BiLSTM是LSTM的改進(jìn)版，能很好解析雙向數(shù)據(jù)信息，提供更加細(xì)粒度的計(jì)算，計(jì)算過程如下

圖2 BiLSTM結(jié)構(gòu)

2.2.2 Batch Normalization

在利用BiLSTM對數(shù)據(jù)進(jìn)行解析之后，在神經(jīng)網(wǎng)絡(luò)中數(shù)據(jù)分布可能發(fā)生了變化，本文為了解決訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)時(shí)數(shù)據(jù)分布的不一致，引入Batch Normalization機(jī)制。Batch Normalization可以加快深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，其在激活函數(shù)對前一層輸入的數(shù)據(jù)進(jìn)行非線性變換之后再進(jìn)行歸一化，可確保網(wǎng)絡(luò)的可訓(xùn)練性，并且可以讓神經(jīng)網(wǎng)絡(luò)持續(xù)保持輸入數(shù)據(jù)分布的一致性，從而減少網(wǎng)絡(luò)內(nèi)部的節(jié)點(diǎn)分布發(fā)生較大的變換。使用Batch Normaliztion機(jī)制可以加快網(wǎng)絡(luò)收斂的速度并且保持神經(jīng)網(wǎng)絡(luò)的表征能力。

Batch Normalization在每一層神經(jīng)網(wǎng)絡(luò)的計(jì)算過程如下

其中，B表示一個(gè)批次中有m個(gè)激活值，x′i表示歸一化之后的值，yi表示經(jīng)過BN變換之后的值。

3 實(shí)驗(yàn)與結(jié)果分析

本文設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)來評估本文入侵檢測模型在二分類以及五分類上的表現(xiàn)。二分類分為正常和異常兩種，五分類有Normal、R2L、Probe、R2L、U2R這5種。同時(shí)設(shè)置了MLP(多層感知機(jī))、NB(樸素貝葉斯)、RF(隨機(jī)森林)、SVM(支持向量機(jī))、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))、LSTM(長短期記憶)等算法作為對比。

實(shí)驗(yàn)使用Keras框架實(shí)現(xiàn)改進(jìn)的基于BiLSTM網(wǎng)絡(luò)入侵檢測模型，使用的集成開發(fā)環(huán)境為Pycharm，實(shí)驗(yàn)數(shù)據(jù)集為NSL-KDD數(shù)據(jù)集，Keras框架可以更簡單構(gòu)建神經(jīng)網(wǎng)絡(luò)，該框架支持CPU和GPU兩種環(huán)境。本文實(shí)驗(yàn)環(huán)境是Lenove啟天M415,CPU為Intel core i5-7500@3.40GHz，RAM為8GB。

3.1 數(shù)據(jù)集

實(shí)驗(yàn)所用的數(shù)據(jù)集是在2009年公布的NSL-KDD數(shù)據(jù)集，NSL-KDD數(shù)據(jù)集是在KDD CUP 99基礎(chǔ)上去掉了一些冗余的數(shù)據(jù)，使得分類器不會(huì)偏向更加頻繁出現(xiàn)的記錄并且能夠獲得更高的準(zhǔn)確率。由于NSL-KDD數(shù)據(jù)集已經(jīng)合理地設(shè)置了訓(xùn)練集和測試集，這使得不同研究工作中的評估結(jié)果可以相互比較。在入侵檢測領(lǐng)域，NSL-KDD數(shù)據(jù)集被廣泛的使用[11]。

NSL-KDD數(shù)據(jù)集包括3個(gè)主要文件：KDDTrain，KDDTest+，KDDTest-21。KDDTrain中共有125 973條數(shù)據(jù)，KDDTest+共有22 544條數(shù)據(jù)，KDDTest-21共有 11 850 條數(shù)據(jù)，數(shù)據(jù)集描述見表1。在3個(gè)文件中都包含了41個(gè)特征和一個(gè)標(biāo)識符，其中1-10號特征為基本特征，11-22號特征為內(nèi)容特征，23-41號特征為流量特征，在實(shí)驗(yàn)中將KDDTrain作為本次實(shí)驗(yàn)的訓(xùn)練集，將KDDTest+和KDDTest-21作為測試集。根據(jù)前面41個(gè)特征,可以在數(shù)據(jù)集中分為4種攻擊類型：Dos、R2L、U2R、Probe，關(guān)于Dos、R2L、U2R、Probe的描述如下所使：

(1)Dos(拒絕服務(wù)攻擊)：該攻擊會(huì)占用過多的計(jì)算資源或內(nèi)存資源從而導(dǎo)致計(jì)算機(jī)無法處理合理的請求；

(2)R2L(遠(yuǎn)程攻擊)：攻擊者無法直接訪問受害計(jì)算機(jī)，通過嘗試獲得該計(jì)算機(jī)的用戶身份來獲取本地訪問；

(3)U2R(本地攻擊)：攻擊者使用本地普通用戶訪問系統(tǒng)，并利用某些漏洞獲取對系統(tǒng)的更高訪問權(quán)限；

(4)Probe(探測攻擊)：攻擊者通過探測器收集目標(biāo)系統(tǒng)潛在漏洞的信息用于進(jìn)一步的攻擊。

表1 數(shù)據(jù)集中各種類型的數(shù)量

3.2 數(shù)據(jù)預(yù)處理

3.2.1 數(shù)值化

由于NSL-KDD數(shù)據(jù)集中數(shù)據(jù)分布的不平衡以及特征類型不統(tǒng)一，這將使研究工作變得困難，所以需要對數(shù)據(jù)進(jìn)行處理。在NSL-KDD數(shù)據(jù)集中存在38個(gè)數(shù)值型特征和4種非數(shù)值型特征，由于模型的輸入必須為數(shù)值化的特征，所以需要將非數(shù)字特征轉(zhuǎn)換為數(shù)字化特征，例如’service’，’protocol_type’，‘flag’等特征，在protocol_type中有3種不同的類型’tcp’,’udp’,’icmp’，這3種類型將會(huì)被轉(zhuǎn)換為數(shù)字‘1’，‘2’，‘3’。而‘flag’特征有11種類型，‘service有30種類型都會(huì)被轉(zhuǎn)換成相應(yīng)的數(shù)字。在二分類中標(biāo)識符有Normal和Anormal兩種類型，將其轉(zhuǎn)換為1，0，而在多分類中，標(biāo)識符有5種類型分別是dos, normal，probe, r2l, u2l，則將其轉(zhuǎn)換為數(shù)字0，1，2，3，4。

3.2.2 特征選擇

特征選擇是機(jī)器學(xué)習(xí)中的重要組成部分，使用特征選擇是為了獲得較高的準(zhǔn)確率。對于特征選擇，最常用的是過濾式方法和包裹式方法。在過濾式方法中，采用基于各種統(tǒng)計(jì)檢驗(yàn)中的分?jǐn)?shù)來選擇特征，通過統(tǒng)計(jì)檢驗(yàn)計(jì)算因變量和自變量的相關(guān)性來測量特征的相關(guān)性。包裹式方法則通過測量特征子集與因變量的關(guān)聯(lián)性來查找特征的子集。因此，過濾方法可以在任何訓(xùn)練模型中使用，而在包裹式方法中，所選擇的最佳特征子集最終用于特定的訓(xùn)練模型。實(shí)驗(yàn)選擇使用過濾式的方法進(jìn)行特征選擇。在實(shí)驗(yàn)中需要?jiǎng)h除一些不必要的特征，這些特征與攻擊沒有任何關(guān)聯(lián)并且會(huì)降低入侵檢測系統(tǒng)的性能。有研究使用了多種特征選擇方法選擇出與攻擊類型相關(guān)的特征[12]，攻擊類型與特征之間的聯(lián)系見表2。在實(shí)驗(yàn)中使用卡方檢驗(yàn)的方式進(jìn)行特征選擇，經(jīng)過觀察得知7，8，11，14這4種特征幾乎全為0對于實(shí)驗(yàn)毫無幫助，9，20，21與各類攻擊類型基本無關(guān)聯(lián)，通過卡方檢驗(yàn)法計(jì)算15，17，19，32，40這5種特征在實(shí)驗(yàn)中沒有幫助，故刪掉這12種特征，最后保留29個(gè)特征作為輸入。

表2 攻擊類型與相關(guān)特征

3.2.3 標(biāo)準(zhǔn)化

在進(jìn)行訓(xùn)練之前，通常要根據(jù)數(shù)據(jù)的分布決定是否要標(biāo)準(zhǔn)化，將數(shù)據(jù)統(tǒng)一線性映射到[0,1]的區(qū)間上。對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化之后可以加快網(wǎng)絡(luò)的收斂速度，還可以提升模型的精度。根據(jù)對KDDTrain訓(xùn)練集的分析，在特征’same_srv_rate’中存在最大值為1，最小值為0.01，兩者之間差距較大，但是其中還有類似’protocol_type’的離散型特征，故需要將離散型特征提取出來之后進(jìn)行標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化公式如下

(1)

3.3 評價(jià)指標(biāo)

在入侵檢測領(lǐng)域，有很多指標(biāo)可以評估模型的性能，AC(準(zhǔn)確率)是最重要的評價(jià)指標(biāo)，因此在本文模型中準(zhǔn)確率會(huì)作為評估指標(biāo)之一。此外模型還設(shè)置了DR(召回率)和FPR(誤報(bào)率)兩種指標(biāo)用于更好的評估模型的性能。

AC表示為在所有樣本中模型能判斷正確的比例，公式如下

(2)

DR是判斷正樣本數(shù)在正樣本實(shí)際數(shù)上的比例，公式如下

(3)

FPR則是判斷為正樣本的負(fù)樣本數(shù)在負(fù)樣本實(shí)際數(shù)中的比例，公式如下

(4)

關(guān)于上述公式中TP表示預(yù)測是正樣本，實(shí)際上也是正樣本。FP表示預(yù)測是負(fù)樣本，實(shí)際上是正樣本。TN表示預(yù)測是負(fù)樣本，實(shí)際上也是負(fù)樣本。FN表示預(yù)測是正樣本，實(shí)際上是負(fù)樣本，表3為混淆矩陣表。顯而易見，評估一個(gè)模型的性能則是看其是否具有高準(zhǔn)確率，同時(shí)還有較低的誤報(bào)率。

表3 混淆矩陣

3.4 二分類

在二分類實(shí)驗(yàn)中，將KDDTrain數(shù)據(jù)集的29維特征作為輸入，因此本文模型中有29個(gè)輸入節(jié)點(diǎn)，由于只是二分類，故只需要一個(gè)輸出節(jié)點(diǎn)作為輸出。為了訓(xùn)練出最好的模型，本文中設(shè)置的訓(xùn)練批次為500次，設(shè)計(jì)共有5層神經(jīng)網(wǎng)絡(luò)，其中有4層是BiLSTM層，最后一層作為輸出層，前面4層結(jié)點(diǎn)為128個(gè)，其中每一層都采用了Batch Normalization機(jī)制使得每一個(gè)訓(xùn)練過程都保持同分布性。此外，實(shí)驗(yàn)中設(shè)置了SVM、RF、MLP、RNN等算法作為對比。

在所給的3個(gè)數(shù)據(jù)集中，改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測模型在KDDTrain訓(xùn)練集上的準(zhǔn)確率為99.51%，在KDDTest+數(shù)據(jù)集的準(zhǔn)確率為86.18%，在KDDTest-21數(shù)據(jù)集的準(zhǔn)確率為76.96%，對比其它機(jī)器學(xué)習(xí)算法，該模型有較高的準(zhǔn)確率和較好的泛化能力。RF，SVM等機(jī)器學(xué)習(xí)算法在該數(shù)據(jù)集中的準(zhǔn)確度較低，并給出了基于RNN的入侵檢測模型在NSL-KDD數(shù)據(jù)集上的準(zhǔn)確率[8]。實(shí)驗(yàn)中給出了改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測模型在NSL-KDD數(shù)據(jù)集的測試結(jié)果，在圖3中做一個(gè)全面的對比，表4 給出了該模型在KDDTest+測試集上的混淆矩陣，表5給出了該模型在KDDTest-21測試集上的混淆矩陣。最后可以觀察到改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測模型所獲得的準(zhǔn)確率最高，同時(shí)計(jì)算出模型在KDDTest+數(shù)據(jù)集中的召回率為79.15%，誤報(bào)率為9.17%。

圖3 各類算法在二分類中的準(zhǔn)確率

表4 KDDTest+測試集的混淆矩陣

表5 KDDTest-21測試集的混淆矩陣

3.5 五分類

在五分類的實(shí)驗(yàn)中，將KDDTrain數(shù)據(jù)集的29維特征作為輸入，與二分類不同的是，輸出節(jié)點(diǎn)為5個(gè)代表5種類別，同樣設(shè)置了5層神經(jīng)網(wǎng)絡(luò)，其中有4層是BiLSTM層，最后一層作為輸出層，每層隱藏結(jié)點(diǎn)為128個(gè)。

為了更好評估改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測模型的性能，設(shè)置了MLP、RF，SVM，LSTM等算法作為比較。圖4展示了該模型在KDDTest+和KDDTest-21測試集上進(jìn)行五分類的結(jié)果，實(shí)驗(yàn)結(jié)果顯示模型在 KDDTest+測試集上準(zhǔn)確率為78.65%，在KDDTest-21測試集上準(zhǔn)確率為60.11%，實(shí)驗(yàn)結(jié)果表明了該模型明顯要優(yōu)于MLP、RF、SVM、LSTM等算法。

圖4 各類算法在多分類中的準(zhǔn)確率

為了更直觀的觀察模型的表現(xiàn)，在表6中展示了該模型在KDDTest+測試集上的混淆矩陣，表7展示了該模型在KDDTest-21測試集上的混淆矩陣。

表6 KDDTest+測試集的混淆矩陣

表7 KDDTest-21測試集的混淆矩陣

4 結(jié)束語

為了更好利用入侵檢測數(shù)據(jù)之間存在的依賴性，提高入侵檢測系統(tǒng)的準(zhǔn)確率和泛化能力，本文提出一種改進(jìn)的基于BiLSTM的網(wǎng)絡(luò)入侵檢測方法，利用BiLSTM獲取數(shù)據(jù)的表示向量，在模型中加入Batch Normalization使神經(jīng)網(wǎng)絡(luò)快速收斂，最后在NSL-KDD數(shù)據(jù)集上進(jìn)行了比較實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文方法在二分類和五分類的準(zhǔn)確率和泛化能力較其它的入侵檢測方法都有提升，且計(jì)算時(shí)間耗費(fèi)較少，從而在整體的性能表現(xiàn)上，本文方法要優(yōu)于其它對比方法。在未來的工作中將進(jìn)一步提升模型的性能，將對不平衡數(shù)據(jù)進(jìn)行處理并加入注意力機(jī)制，以提高改進(jìn)方法的召回率和準(zhǔn)確率。