◆董寧 程曉榮

基于深度學(xué)習(xí)的入侵檢測系統(tǒng)

◆董寧 程曉榮

（華北電力大學(xué)（保定）控制與計算機(jī)工程學(xué)院 河北 071000）

入侵檢測作為一種主動防御系統(tǒng)能夠有效阻止來自黑客的多種手段的攻擊，隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展，相關(guān)技術(shù)也開始應(yīng)用到入侵檢測中。本文在KDD-Cup 1999數(shù)據(jù)集的基礎(chǔ)上，對其進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化和歸一化，然后利用隨機(jī)森林對數(shù)據(jù)集處理，計算每個特征的袋外數(shù)據(jù)誤差（OOB），得到每個特征的重要性，提取出12個重要性最高的特征，并將數(shù)據(jù)集按照7/3隨機(jī)劃分為訓(xùn)練集與測試集，使用五層深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，三個隱藏層設(shè)置為100個節(jié)點，ReLU Leaky作為激活函數(shù)，使用Adam作為優(yōu)化器，交叉熵作為代價函數(shù)，對處理后的數(shù)據(jù)集訓(xùn)練。以準(zhǔn)確率（Accuracy），精確率（Precision），召回率（Recall）為模型的衡量指標(biāo)，最終得到了精確率為94.87%，召回率為94.35%的模型。

深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；入侵檢測；KDD99

1 引言

入侵檢測系統(tǒng)（IDS）是一種能夠?qū)W(wǎng)絡(luò)中的流量和用戶行為進(jìn)行實時跟蹤并審計，判斷當(dāng)前操作是否為可疑行為并能主動報警的網(wǎng)絡(luò)安全設(shè)備。區(qū)別于其他網(wǎng)絡(luò)安全設(shè)備，IDS是一種主動防御系統(tǒng)。根據(jù)信息的來源可以將入侵檢測分為基于主機(jī)型與基于網(wǎng)絡(luò)型。根據(jù)檢測方法又可分為異常入侵檢測型和誤用入侵檢測型。早期有些入侵檢測系統(tǒng)[1]通過建立用戶特征表，比較當(dāng)前特征與已存儲定型的以前特征，利用概率統(tǒng)計方法，從而判定是否為攻擊行為。然而該方法的缺陷在于用戶特征表需要手動更新，且判定是否入侵的參數(shù)的確定比較困難，容易造成過高的誤報率和漏報率。

隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)的發(fā)展，有人提出了基于KNN（K最近鄰分類算法）的入侵檢測模型，通過將用戶行為進(jìn)行分類，來判定是否為入侵行為[5]。然而該方法隨著用戶訪問量的增加，單次行為分類的時間可長達(dá)60秒，在實際使用中并不可取，盡管后期有人提出了優(yōu)化的方案[2]，然而當(dāng)數(shù)量級達(dá)到百萬時仍無法高速地對用戶的行為進(jìn)行響應(yīng)和判斷。到目前為止基于神經(jīng)網(wǎng)絡(luò)的入侵檢測系統(tǒng)比較流行，本文則通過對KDD1999數(shù)據(jù)集經(jīng)過處理后利用深度神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行訓(xùn)練，得到一個精確率和召回率都比較高的模型。

2 基于深度神經(jīng)網(wǎng)絡(luò)的KDD數(shù)據(jù)集訓(xùn)練

2.1 數(shù)據(jù)集數(shù)據(jù)處理

本文采用KDD1999數(shù)據(jù)集，該數(shù)據(jù)集每條記錄由41個特征和一個標(biāo)簽組成。其中，41個特征由四個類型組成，包含TCP基本連接特征（九種，1-9）、TCP連接的內(nèi)容特征（13種，10-22）、基于時間網(wǎng)絡(luò)的流量統(tǒng)計特征（九種，23-31）和基于主機(jī)的流量統(tǒng)計特征（十種，32-41）。在41個特征中還存在一些非連續(xù)型特征，例如連接的服務(wù)和狀態(tài)等。由于數(shù)據(jù)集各特征之間數(shù)據(jù)差異較大，且存在字符型數(shù)據(jù)，所以需要對數(shù)據(jù)集進(jìn)行預(yù)處理，即字符型轉(zhuǎn)為數(shù)字型，特征標(biāo)準(zhǔn)化，特征歸一化。

字符型數(shù)據(jù)轉(zhuǎn)為數(shù)字型可選用one-hot編碼，然而在本文中為減小后續(xù)計算量，將所有可能值編入數(shù)組，根據(jù)數(shù)組中對應(yīng)值的索引來將字符型數(shù)據(jù)轉(zhuǎn)換為數(shù)字型。數(shù)據(jù)標(biāo)準(zhǔn)化與數(shù)據(jù)歸一化用于將特征規(guī)范在特定區(qū)間內(nèi)，防止差異過大。數(shù)據(jù)標(biāo)準(zhǔn)化如式1所示。

式2中AVG為平均值，式3中STAD為平均絕對偏差，比標(biāo)準(zhǔn)差對于孤立點具有更高的魯棒性。

數(shù)據(jù)歸一化如式4所示：

式5和6分別為提取出所有樣本的最小值與最大值，并經(jīng)過式4處理后得到處理后的樣本。上述處理后所有特征區(qū)間均為[0-1]。在標(biāo)簽中，若一條連接記錄正常，則標(biāo)簽為normal，否則為攻擊的類型。KDD數(shù)據(jù)集攻擊類型有4大類共32種，本文將其分為兩類，即normal和attack，轉(zhuǎn)為數(shù)字型即為01和10。

2.2 KDD數(shù)據(jù)集特征選擇

由于KDD數(shù)據(jù)集共存在41個特征，部分特征值在大部分記錄中均相同，對最終分類效果無太大影響，且增加了訓(xùn)練時間，所以本文采用隨機(jī)森林對特征重要性進(jìn)行排序，使用袋外數(shù)據(jù)錯誤率作為衡量指標(biāo)，選出了12個重要性最高的特征，然后利用神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)訪問記錄進(jìn)行分類。最終12個特征及權(quán)重如表1所示。

表1 特征選擇后的十二個特征

2.3 深度神經(jīng)網(wǎng)絡(luò)設(shè)計

本文使用了深度神經(jīng)網(wǎng)絡(luò)，其中輸入層為特征選擇并處理后的12個值，中間為三個隱藏層，每個隱藏層有100個神經(jīng)元。每個神經(jīng)元在經(jīng)過激活后均進(jìn)行dropout處理，避免過擬合現(xiàn)象。最終輸出為兩個節(jié)點，并隨后進(jìn)行代價函數(shù)的計算。其中代價函數(shù)使用交叉熵計算，如式7所示。

其中，為兩個獨立的概率分布，分別代表網(wǎng)絡(luò)輸出值與實際值。

網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。第一列十二個圓為十二個輸入神經(jīng)元，中間三列每列為100個神經(jīng)元，相鄰列每個神經(jīng)元之間都存在連接，最后一列為兩個輸出神經(jīng)元。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

在實驗設(shè)計初期，神經(jīng)網(wǎng)絡(luò)的激活函數(shù)為線性整流函數(shù)（ReLU），然而在訓(xùn)練過程中，經(jīng)常出現(xiàn)損失函數(shù)不下降且神經(jīng)網(wǎng)絡(luò)中的參數(shù)得不到更新等情況。經(jīng)排查后得知觸發(fā)了Dying ReLU現(xiàn)象。在神經(jīng)網(wǎng)絡(luò)中，x為輸入，w為神經(jīng)網(wǎng)絡(luò)的權(quán)重，神經(jīng)元輸出為z，經(jīng)過ReLU后為a，H為損失函數(shù)，α為學(xué)習(xí)率。則神經(jīng)網(wǎng)絡(luò)的前向傳播如式8，式9所示。x為來自上一層的經(jīng)過激活后的神經(jīng)元輸出，w為當(dāng)前隱藏層與下一層之間連接的權(quán)重。

z=w*x （8）

a=relu（z）=max（0，z） （9）

神經(jīng)網(wǎng)絡(luò)的反向傳播中，需要求每層權(quán)重對應(yīng)的梯度，并設(shè)置學(xué)習(xí)率不斷調(diào)整權(quán)重。求梯度及權(quán)重的更新如式10，11。當(dāng)一個巨大的梯度流過神經(jīng)元且學(xué)習(xí)率較高時，會導(dǎo)致權(quán)重更新過大，造成對于任意輸入x，網(wǎng)絡(luò)的輸出z小于0，經(jīng)過激活函數(shù)后a為0，最終導(dǎo)致梯度恒為0，后期該權(quán)重都得不到更新，形成了神經(jīng)元死亡的現(xiàn)象。

故經(jīng)過多次失敗后最終選用Leaky ReLU函數(shù)，不同于ReLU函數(shù)將所有小于0的輸出設(shè)置為0，Leaky ReLU是給所有負(fù)值賦予一個斜率，從而保證后續(xù)的權(quán)重更新。

2.4 實驗及數(shù)據(jù)分析

本次訓(xùn)練采用KDD1999 10%樣本集，共40余萬條，隨機(jī)劃分為3:7比例，分別為測試集與訓(xùn)練集。每次隨機(jī)取100條記錄為一個batch進(jìn)行訓(xùn)練，并計算為一次迭代。由于樣本集中正常訪問與攻擊的記錄比例為2：8，并不平衡，故僅憑準(zhǔn)確率無法有效評估模型的好壞。所以在訓(xùn)練中每達(dá)到一百次迭代，在測試集中隨機(jī)抽取64條記錄，進(jìn)行一次準(zhǔn)確率，精確率，召回率的計算。三個指標(biāo)的計算公式如下所示：

其中TP（True Positive）表示將正類預(yù)測為正類數(shù)，TN（True Negative）表示將負(fù)類預(yù)測為負(fù)類數(shù)，F(xiàn)P（False Positive）表示將負(fù)類預(yù)測為正類數(shù)，F(xiàn)N（False Negative）表示將正類預(yù)測為負(fù)類數(shù)。式12表示模型預(yù)測準(zhǔn)確率，式13表示在預(yù)測為攻擊的記錄中，真實為攻擊的比例，式14表示在所有標(biāo)簽為攻擊的記錄中，模型判定為攻擊的記錄數(shù)。如表2所示為訓(xùn)練的結(jié)果。

表2 訓(xùn)練結(jié)果

如圖2、3、4、5所示為模型在訓(xùn)練過程中的準(zhǔn)確率，精確率，召回率，損失函數(shù)曲線，其中橫軸為迭代次數(shù)，縱軸為對應(yīng)的指標(biāo)。為了能更好的體現(xiàn)損失函數(shù)值的走勢，損失函數(shù)進(jìn)行了平滑處理，其中實線為平滑參數(shù)為0.5處理后的曲線，而虛線則為未經(jīng)處理的曲線。從四張圖可以看出召回率和精確率在開始時以較大幅度進(jìn)行增長，在訓(xùn)練400次后開始緩慢增長，最終迭代2000次時，召回率和精確率均達(dá)到94%以上。而損失函數(shù)經(jīng)過一次大幅度下降后便開始以小幅度變化，且總的趨勢為減小最后趨近于不變。

在實際訓(xùn)練過程中，準(zhǔn)確率，召回率等參數(shù)在開始時并非一直都為0.2左右，由于樣本分布的不均勻，且訓(xùn)練開始時經(jīng)過第一次神經(jīng)網(wǎng)絡(luò)后的一個batch通常表現(xiàn)為全部判定為攻擊，或全部判定為正常訪問，因此在訓(xùn)練開始時準(zhǔn)確率有時會為20%左右，而有時為80%左右。然而即使訓(xùn)練開始準(zhǔn)確率等參數(shù)為20%，模型的訓(xùn)練時間并沒有太大的增加，事實上經(jīng)多次驗證，當(dāng)訓(xùn)練開始準(zhǔn)確率為20%左右時，在訓(xùn)練初期準(zhǔn)確率會經(jīng)過一段高速增長后會逐漸緩速增長。

（1）準(zhǔn)確率曲線

圖2 準(zhǔn)確率曲線

（2）精確率曲線

圖3 精確率曲線

（3）召回率曲線

圖4 召回率曲線

（4）損失函數(shù)曲線

圖5 損失函數(shù)曲線

3 結(jié)論

本文利用KDD1999數(shù)據(jù)集，對數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和歸一化，通過該方法使數(shù)據(jù)集中所有數(shù)據(jù)的值都保持在0-1的范圍內(nèi)，避免了在后期訓(xùn)練過程中因特征值之間的差異過大而帶來的問題。與此同時采用隨機(jī)森林選出了12個權(quán)重最高的特征，大大減少了訓(xùn)練時間和運算量，同時在模型的實際應(yīng)用中也減少了判斷是否為惡意訪問所需的時間。然后利用三層神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行了分類和預(yù)測，使用Leaky ReLU激活函數(shù)避免了大規(guī)模神經(jīng)元死亡的結(jié)果，并使最終訓(xùn)練結(jié)果達(dá)到了較高的準(zhǔn)確率和召回率。然而在構(gòu)造隨機(jī)森林進(jìn)行特征選擇時，由于數(shù)據(jù)集多，數(shù)量大，導(dǎo)致在特征選擇時需要花費大量的時間。與此同時，在信息安全的實際應(yīng)用中，攻擊漏報的嚴(yán)重性要遠(yuǎn)高于攻擊誤報的嚴(yán)重性。因此在模型的訓(xùn)練過程中，需要刻意提高召回率，在保證高召回率的基礎(chǔ)上對精確率進(jìn)行提高。該問題涉及閾值的選擇問題，在本實驗中并未體現(xiàn)，是將來需要研究的問題之一。

[1]阮耀平，易江波，趙戰(zhàn)生.計算機(jī)系統(tǒng)入侵檢測模型與方法[J].計算機(jī)工程，1999（09）：63-65.

[2]華輝有，陳啟買，劉海，張陽，袁沛權(quán).一種融合Kmeans和KNN的網(wǎng)絡(luò)入侵檢測算法[J].計算機(jī)科學(xué)，2016，43（03）：158-162.

[3]楊昆朋. 基于深度學(xué)習(xí)的入侵檢測[D].北京交通大學(xué)，2015.

[4]C. Xu，J. Shen，X. Du and F. Zhang，"An Intrusion Detection System Using a Deep Neural Network With Gated Recurrent Units，" in IEEE Access，vol. 6，pp. 48697-48707， 2018.

[5]Z.Ma and A.Kaban，"K-Nearest-Neighbours with a novel similarity measure for intrusion detection，" 2013 13th UK Workshop on Computational Intelligence （UKCI），Guildford， 2013，pp. 266-271.