韓忠華，黎愷嘉，陳趙琦，尚文利

(1. 沈陽建筑大學(xué)信息與控制工程學(xué)院，遼寧 沈陽 110168；2. 中國科學(xué)院沈陽自動(dòng)化研究所數(shù)字工廠研究室，遼寧 沈陽 110016；3. 東北師范大學(xué)物理學(xué)院，吉林 長(zhǎng)春 130024；4. 廣州大學(xué)電子與通信工程學(xué)院，廣東 廣州 510006)

1 引言

當(dāng)前互聯(lián)網(wǎng)不斷與人們生活融合，互聯(lián)網(wǎng)提供了便利，但同時(shí)也留下了安全隱患。一些計(jì)算機(jī)病毒，例如蠕蟲和木馬，不斷威脅著信息安全。入侵檢測(cè)系統(tǒng)(Intrusion Detection System)作為保護(hù)個(gè)人信息的重要手段，在網(wǎng)絡(luò)安全領(lǐng)域發(fā)揮著重要作用。入侵檢測(cè)系統(tǒng)不同于傳統(tǒng)的網(wǎng)絡(luò)安全技術(shù)，入侵檢測(cè)是一個(gè)數(shù)據(jù)處理和數(shù)據(jù)分類的過程。通過監(jiān)視和分析計(jì)算機(jī)網(wǎng)絡(luò)流量或計(jì)算機(jī)自身的活動(dòng)，檢測(cè)是否存在違反安全策略的行為和被攻擊的跡象，識(shí)別正在出現(xiàn)或已經(jīng)發(fā)生的威脅。

目前在入侵檢測(cè)領(lǐng)域中，已有許多學(xué)者提出了不同的方法策略。其中基于傳統(tǒng)機(jī)器學(xué)習(xí)[1-7]的入侵檢測(cè)方法獲得了較大的發(fā)展。對(duì)于網(wǎng)絡(luò)安全入侵檢測(cè)系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性具有很高的要求，通過正確的識(shí)別異常數(shù)據(jù)能有效的維持信息系統(tǒng)的安全，同時(shí)提高處理網(wǎng)絡(luò)入侵檢測(cè)數(shù)據(jù)的快速性也是避免信息系統(tǒng)受到侵害的重要方面。面對(duì)網(wǎng)絡(luò)入侵檢測(cè)數(shù)據(jù)通常呈現(xiàn)多樣性和高維度的特征，如果能找到有效的對(duì)數(shù)據(jù)進(jìn)行降維處理的方法也會(huì)提高檢測(cè)的速率和精度。相關(guān)領(lǐng)域的研究人員通過機(jī)器學(xué)習(xí)方法也能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)的有效降維。文獻(xiàn)[8]和[9]提出了主成分分析法(Principal Component Analysis)對(duì)數(shù)據(jù)進(jìn)行降維和特征提取，隨后利用特征對(duì)數(shù)據(jù)進(jìn)行分類，提高檢測(cè)的準(zhǔn)確率。文獻(xiàn)[10]提出了一種Fisher-PCA方法，利用Fisher算法提取特征子集，然后使用主成分分析法進(jìn)行降維，提取特征集，提高檢測(cè)準(zhǔn)確率。雖然當(dāng)前研究人員使用機(jī)器學(xué)習(xí)可以對(duì)入侵檢測(cè)數(shù)據(jù)進(jìn)行降維和特征提取，但是面對(duì)入侵檢測(cè)數(shù)據(jù)所呈現(xiàn)的復(fù)雜非線性關(guān)系信息處理速率和準(zhǔn)確率仍然需要進(jìn)一步提升。

隨著深度學(xué)習(xí)方法的提出，由于深度學(xué)習(xí)算法善于處理大規(guī)模數(shù)據(jù)，因此研究人員將深度學(xué)習(xí)算法應(yīng)用在入侵檢測(cè)問題中。文獻(xiàn)[11]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)方法，利用卷積神經(jīng)網(wǎng)絡(luò)的特征提取特性和Softmax函數(shù)的分類功能實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的分類，提高檢測(cè)精度；文獻(xiàn)[12]提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)模型，在卷積網(wǎng)絡(luò)上引入了殘差網(wǎng)絡(luò)，提高模型的收斂速度和準(zhǔn)確率；上述兩篇文章雖然提高了分類的準(zhǔn)確性和速率，但忽略了數(shù)據(jù)中的時(shí)序特征。文獻(xiàn)[13]提出了CNN-LSTM模型，利用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory)的特性提取數(shù)據(jù)的時(shí)序特征，提高了檢測(cè)準(zhǔn)確率；文獻(xiàn)[14]中融合CNN和BiLSTM的檢測(cè)算法，通過BiLSTM可以雙向識(shí)別數(shù)據(jù)特征，更進(jìn)一步提高了模型準(zhǔn)確率。在網(wǎng)絡(luò)入侵方向相關(guān)方法對(duì)時(shí)序特征的提取還需要進(jìn)一步提升，同時(shí)也沒有與更好的數(shù)據(jù)降維方法進(jìn)行結(jié)合，在處理問題的準(zhǔn)確性和實(shí)時(shí)性方面還有待提升。

綜上所述，針對(duì)當(dāng)前網(wǎng)絡(luò)入侵檢測(cè)數(shù)據(jù)呈現(xiàn)大規(guī)模、多樣性、非線性和高維度的問題，機(jī)器學(xué)習(xí)降維方法處理問題的速率和準(zhǔn)確率還需要進(jìn)一步提升，深度學(xué)習(xí)方法雖考慮了數(shù)據(jù)的時(shí)序特征，但沒有與更好的數(shù)據(jù)降維方法進(jìn)行結(jié)合，處理問題的準(zhǔn)確性和實(shí)時(shí)性還有提升空間，因此本文提出了一種基于堆疊降噪自編碼網(wǎng)絡(luò)(Stacked Denoising Auto-encoder Network)的門控循環(huán)單元(Gated Recurrent Unit)深度學(xué)習(xí)模型。將門控循環(huán)單元[15]應(yīng)用到入侵檢測(cè)中，用于提取數(shù)據(jù)的時(shí)序特征，解決傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network)[16]所帶來的梯度消失、梯度爆炸問題。許多學(xué)者在循環(huán)神經(jīng)網(wǎng)絡(luò)上做了許多工作，其中較新的研究成果是門控循環(huán)單元。門控循環(huán)單元簡(jiǎn)化了自身結(jié)構(gòu)，相比于LSTM[17]運(yùn)算速率更快，更能滿足入侵檢測(cè)系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性要求。入侵檢測(cè)數(shù)據(jù)含有很多冗余信息和噪聲數(shù)據(jù)，因此進(jìn)一步引入堆疊降噪自編碼網(wǎng)絡(luò)[18]，通過對(duì)數(shù)據(jù)進(jìn)行降維、抽取數(shù)據(jù)特征，提高了降維后數(shù)據(jù)的魯棒性、檢測(cè)的準(zhǔn)確率和檢測(cè)速率。堆疊降噪自編碼網(wǎng)絡(luò)與主成分分分析相比較，堆疊降噪自編碼網(wǎng)絡(luò)可對(duì)非線性數(shù)據(jù)進(jìn)行降維，具有檢測(cè)速率快、泛化性好和抗噪性強(qiáng)等優(yōu)點(diǎn)。本文提出基于堆疊降噪自編碼網(wǎng)絡(luò)的門控循環(huán)單元深度學(xué)習(xí)模型，旨在提高入侵檢測(cè)系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性。

2 入侵檢測(cè)方案構(gòu)建

入侵檢測(cè)方案如圖1所示。

圖1 入侵檢測(cè)方案

1)數(shù)據(jù)的數(shù)值化處理：將入侵檢測(cè)數(shù)據(jù)中的字符型數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù)。

2)數(shù)據(jù)的歸一化處理：數(shù)值化處理后的數(shù)據(jù)差異較大，需將數(shù)據(jù)進(jìn)行歸一化至[0，1] 區(qū)間之中。

3)數(shù)據(jù)的噪聲處理：堆疊降噪自編碼器需要使用噪聲數(shù)據(jù)進(jìn)行訓(xùn)練，將歸一化后的數(shù)據(jù)進(jìn)行噪聲處理。

4)數(shù)據(jù)的降維和提取特征：將訓(xùn)練集、驗(yàn)證集和測(cè)試集進(jìn)行降維提取特征操作。

5)仿真：設(shè)計(jì)SDAN-GRU深度學(xué)習(xí)模型的相關(guān)參數(shù)，應(yīng)用入侵檢測(cè)數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，最后與其它入侵檢測(cè)模型進(jìn)行實(shí)驗(yàn)對(duì)比。

3 入侵檢測(cè)數(shù)據(jù)預(yù)處理

3.1 入侵檢測(cè)數(shù)據(jù)集介紹

KDDCUP99數(shù)據(jù)集是林肯實(shí)驗(yàn)室(Lincoln Laboratory)收集的為期9周的網(wǎng)絡(luò)連接和系統(tǒng)審核數(shù)據(jù)，其有效的模擬多種網(wǎng)絡(luò)流量下的各類網(wǎng)絡(luò)威脅和異常入侵情況。在研發(fā)主流的入侵檢測(cè)系統(tǒng)和驗(yàn)證各種入侵檢測(cè)方法中，其被廣泛用作測(cè)試的網(wǎng)絡(luò)樣本數(shù)據(jù)。數(shù)據(jù)集分為正常和異常兩大類樣本集合。異?？煞譃樗念?，即：拒絕服務(wù)攻擊(DOS)，監(jiān)視和其它檢測(cè)活動(dòng)(Probing)，遠(yuǎn)程計(jì)算機(jī)的非法訪問(R2L)和普通用戶對(duì)本地超級(jí)用戶特權(quán)的非法訪問(U2R)。KDDCUP99數(shù)據(jù)集中的每個(gè)記錄包含41個(gè)固定的特征屬性和1個(gè)類別標(biāo)識(shí)符。類標(biāo)識(shí)符用于標(biāo)記該記錄是正常樣本還是某種特定類型的攻擊樣本。在這些固定特征屬性中，有一部分特征屬性記錄著數(shù)據(jù)之間的時(shí)序聯(lián)系。由于網(wǎng)絡(luò)攻擊事件在時(shí)間上有很強(qiáng)的關(guān)聯(lián)性，所以使用基于時(shí)間的流量統(tǒng)計(jì)特征用來記錄當(dāng)前連接與前一段時(shí)間連接所存在的聯(lián)系，其被分為兩種集合分別為：same host和same service。在實(shí)際入侵中，有些攻擊樣本為了躲避檢測(cè)使用了慢速攻擊模式來掃描主機(jī)或端口，而基于時(shí)間的流量統(tǒng)計(jì)特征的統(tǒng)計(jì)范圍為過去兩秒，當(dāng)慢速攻擊的頻率大于兩秒時(shí)，基于時(shí)間的統(tǒng)計(jì)方法就無法從數(shù)據(jù)中找到關(guān)聯(lián)，因此又設(shè)立了基于主機(jī)的網(wǎng)絡(luò)流量統(tǒng)計(jì)特征。應(yīng)用KDDCUP99數(shù)據(jù)集的目的是為入侵檢測(cè)模型提供統(tǒng)一的性能評(píng)價(jià)基準(zhǔn)，用來檢驗(yàn)?zāi)Ｐ偷暮脡摹?/p>

3.2 入侵檢測(cè)數(shù)據(jù)集預(yù)處理

數(shù)據(jù)集預(yù)處理流程如圖2所示。

圖2 數(shù)據(jù)集預(yù)處理流程

Step1：數(shù)值化處理，KDDCUP99數(shù)據(jù)集中的每個(gè)記錄包含41個(gè)固定特征屬性，這41個(gè)固定特征屬性中有3個(gè)是字符型數(shù)據(jù)，分別為：protocol＿tpye(協(xié)議類型)，service(主機(jī)服務(wù)類型)和flag(連接狀態(tài))。本文的深度學(xué)習(xí)模型只能識(shí)別數(shù)值型數(shù)據(jù)，因此要將字符型數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù)。通過獨(dú)熱編碼可以實(shí)現(xiàn)數(shù)據(jù)集中字符型數(shù)據(jù)的轉(zhuǎn)換。例如，獨(dú)熱編碼后，協(xié)議類型(TCP，UDP，ICMP)可以更改為100、010和001。使用獨(dú)熱編碼后，KDDCUP99中的所有字符型數(shù)據(jù)都將轉(zhuǎn)換為數(shù)值型數(shù)據(jù)。

Step3：噪聲處理，需要使用噪聲數(shù)據(jù)來訓(xùn)練堆疊降噪自編碼網(wǎng)絡(luò)，調(diào)整自編碼器的權(quán)值和偏置。本文使用的生成噪聲方法是改變已有樣本集中的數(shù)據(jù)。在歸一化處理之后，隨機(jī)改變各個(gè)數(shù)據(jù)集中的某些數(shù)據(jù)，達(dá)到生成噪聲的目的。

Step4：數(shù)據(jù)的降維和特征提取：通過堆疊降噪自編碼器對(duì)含有冗余和噪聲信息的入侵檢測(cè)數(shù)據(jù)進(jìn)行降維，減少冗余信息所造成的誤差，提高識(shí)別精度，并通過降維算法來提取數(shù)據(jù)深層次的特征。

4 SDAN-GRU深度學(xué)習(xí)模型結(jié)構(gòu)設(shè)計(jì)

本文提出了一種基于堆疊降噪自編碼網(wǎng)絡(luò)的門控循環(huán)單元深度學(xué)習(xí)模型。堆疊降噪自編碼器依據(jù)其功能在入侵檢測(cè)方案中處于數(shù)據(jù)預(yù)處理環(huán)節(jié)，但是由于堆疊降噪自編碼器與門控循環(huán)單元深度學(xué)習(xí)模型有緊耦合關(guān)系，因此將它們統(tǒng)一歸為一個(gè)整體的深度學(xué)習(xí)模型結(jié)構(gòu)中。深度學(xué)習(xí)模型在網(wǎng)絡(luò)入侵檢測(cè)應(yīng)用方面主要作為分類器使用，將網(wǎng)絡(luò)流量數(shù)據(jù)輸入到該模型中進(jìn)行分類，用以判別是否是異常攻擊和確定異常攻擊的類型。門控循環(huán)單元中重置門和更新門的設(shè)計(jì)分別有助于捕捉時(shí)序數(shù)據(jù)中的短期和長(zhǎng)期依賴關(guān)系，相較于其它深度學(xué)習(xí)模型更適合對(duì)攻擊樣本所具有的時(shí)序特征進(jìn)行識(shí)別和分類。因此將門控循環(huán)單元用作模型的輸出層，以識(shí)別分類數(shù)據(jù)并輸出分類結(jié)果。入侵檢測(cè)數(shù)據(jù)含有冗余信息和噪聲數(shù)據(jù)，因此進(jìn)一步引入堆疊降噪自編碼網(wǎng)絡(luò)作為模型的輸入層，對(duì)數(shù)據(jù)進(jìn)行降維和特征抽取，提高整個(gè)深度學(xué)習(xí)模型的分類速率和精度。使用噪聲數(shù)據(jù)預(yù)訓(xùn)練堆疊降噪自編碼器，每一個(gè)降噪自編碼器前后相互對(duì)接，通過梯度下降算法調(diào)整權(quán)值和偏置。完成預(yù)訓(xùn)練后，將每個(gè)自編碼器的編碼層合并構(gòu)建一個(gè)多層神經(jīng)網(wǎng)絡(luò)，微調(diào)權(quán)值和偏置。深度學(xué)習(xí)模型如圖3所示，該模型根據(jù)時(shí)間步長(zhǎng)進(jìn)行展開。

圖3 SDAN-GRU模型

4.1 堆疊降噪自編碼網(wǎng)絡(luò)

堆疊降噪自編碼網(wǎng)絡(luò)是在降噪自編碼網(wǎng)絡(luò)的基礎(chǔ)上通過不斷疊加形成的神經(jīng)網(wǎng)絡(luò)。每層網(wǎng)絡(luò)抽取的特征作為下一層網(wǎng)絡(luò)的輸入。堆疊降噪自編碼網(wǎng)絡(luò)的降維原理是逐層減少神經(jīng)元的個(gè)數(shù)，通過更少的神經(jīng)元來表達(dá)原始數(shù)據(jù)特征，具有檢測(cè)速率快、泛化性好和抗噪性強(qiáng)等優(yōu)點(diǎn)。由于入侵檢測(cè)數(shù)據(jù)含有冗余信息和噪聲數(shù)據(jù)，從而引入堆疊降噪自編碼網(wǎng)絡(luò)作為模型的輸入層，對(duì)數(shù)據(jù)進(jìn)行降維和特征抽取，提高整個(gè)深度學(xué)習(xí)模型的分類速率和精度。KDDCUP99數(shù)據(jù)集的每條記錄都有42維，其中包括前41維的固定特征屬性和最后一維的標(biāo)記信息，經(jīng)過歸一化、數(shù)值化處理后的KDDCUP99數(shù)據(jù)集維度變?yōu)?22維，標(biāo)記特征不輸入堆疊降噪自編碼網(wǎng)絡(luò)，從而數(shù)據(jù)維度變?yōu)?21維。根據(jù)堆疊降噪自編碼網(wǎng)絡(luò)的降維原理，從而將121維的數(shù)據(jù)轉(zhuǎn)換為11*11的二維數(shù)據(jù)作為堆疊降噪自編碼網(wǎng)絡(luò)的輸入。降噪自編碼網(wǎng)絡(luò)和堆疊降噪自編碼網(wǎng)絡(luò)的結(jié)構(gòu)圖分別為圖4和圖5。

圖4 降噪自編碼網(wǎng)絡(luò)

圖5 堆疊降噪自編碼網(wǎng)絡(luò)

堆疊降噪自編碼網(wǎng)絡(luò)的訓(xùn)練需要分為兩步：

Step1：逐層訓(xùn)練各個(gè)降噪自編碼網(wǎng)絡(luò)，通過梯度下降算法來調(diào)整自身的權(quán)值和偏置值；

Step2：待網(wǎng)絡(luò)逐層訓(xùn)練完畢后，在網(wǎng)絡(luò)頂層添加對(duì)應(yīng)層數(shù)的解碼層并訓(xùn)練，通過梯度下降算法來微調(diào)整個(gè)網(wǎng)絡(luò)的權(quán)值和偏置值。

4.2 門控循環(huán)單元

門控循環(huán)單元是對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)研究的較新成果，門控循環(huán)單元簡(jiǎn)化了自身結(jié)構(gòu)，更能滿足入侵檢測(cè)系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性要求。門控循環(huán)單元中有更新門、重置門和候選隱藏狀態(tài)。其中，更新門決定需要繼續(xù)傳遞來自前一個(gè)時(shí)間步和當(dāng)前時(shí)間步的多少信息，更新門將上一個(gè)時(shí)間步的信息和當(dāng)前時(shí)間步的信息添加到σ激活函數(shù)中，輸出結(jié)果為0到1。重置門決定需要忘記多少過去的信息。重置門的表達(dá)式與更新門相同，但是用處不同。候選隱藏狀態(tài)存儲(chǔ)當(dāng)前時(shí)間步和前一時(shí)間步的記憶信息，通過重置門來決定前一時(shí)間步信息的遺忘程度，0表示完全遺忘，1表示完全繼承。門控循環(huán)單元的目的是計(jì)算當(dāng)前時(shí)間步下的真正隱藏狀態(tài)，通過更新門的計(jì)算結(jié)果決定前一時(shí)間步信息和候選隱藏狀態(tài)信息需要更新到真正隱藏狀態(tài)的程度，并將其傳輸?shù)较乱粋€(gè)單元。在SDAN-GRU深度學(xué)習(xí)模型中，將門控循環(huán)單元用作模型的輸出層，以識(shí)別分類數(shù)據(jù)并輸出分類結(jié)果。GRU的每個(gè)時(shí)間步長(zhǎng)的輸入是SDAN的特征向量序列，根據(jù)GRU按時(shí)間順序控制內(nèi)部門和隱藏狀態(tài)從而傳遞存儲(chǔ)信息的原理，需要對(duì)GRU的輸入向量序列進(jìn)行構(gòu)造。Xt代表當(dāng)前時(shí)間步長(zhǎng)，Xt-1和Xt+1分別是前一個(gè)時(shí)間步和下一時(shí)間步。設(shè)Xt代表當(dāng)前時(shí)間步長(zhǎng)，Xt-1和Xt+1分別是前一個(gè)時(shí)間步和下一時(shí)間步。則第一個(gè)GRU的輸入向量序列為(X1，X2，…，Xt-1，Xt)，第二個(gè)輸入向量序列為(X2，X3，…，Xt-1，Xt)，類推可得出所有的GRU輸入向量序列。GRU的結(jié)構(gòu)如圖6所示。

圖6 門控循環(huán)單元

zt代表更新門，rt代表重置門，gt代表候選隱藏狀態(tài)，σ是激活函數(shù)，再當(dāng)前時(shí)間t下，xt代表第t時(shí)間步的輸入變量，ht-1和ht分別代表前一個(gè)時(shí)間步t-1和當(dāng)前時(shí)間步t的記憶。

zt=σ(Wz[ht-1，xt])

(1)

rt=σ(Wr[ht-1，xt])

(2)

gt=tanh(W[rt*ht-1，xt])

(3)

ht=(1-zt)*ht-1+zt*gt

(4)

5 深度學(xué)習(xí)模型訓(xùn)練和檢測(cè)流程

5.1 SDAN-GRU模型訓(xùn)練流程

模型訓(xùn)練流程圖如圖7所示。

圖7 SDAN-GRU模型訓(xùn)練流程

Step1：初始化模型：網(wǎng)絡(luò)層數(shù)結(jié)構(gòu)、學(xué)習(xí)率等；

Step2：數(shù)據(jù)集數(shù)值化、歸一化和噪聲處理；

Step3：將噪聲數(shù)據(jù)輸入到降噪自編碼器進(jìn)行預(yù)訓(xùn)練；

Step4：調(diào)節(jié)降噪自編碼器的權(quán)值和偏置；

Step5：保留各個(gè)降噪自編碼器的編碼層并添加對(duì)應(yīng)層數(shù)的解碼層進(jìn)行訓(xùn)練；

Step6：微調(diào)堆疊降噪自編碼器的權(quán)值和偏置；

Step7：將訓(xùn)練集輸入到SDAN中生成輸出向量序列用于訓(xùn)練GRU；

Step8：計(jì)算損失函數(shù)；

Step9：根據(jù)結(jié)果調(diào)整參數(shù)，直至模型最優(yōu)。

5.2 SDAN-GRU模型檢測(cè)流程

模型檢測(cè)流程圖如圖8所示。

圖8 SDAN-GRU模型檢測(cè)流程

Step1：數(shù)據(jù)集預(yù)處理；

Step2：將處理好的數(shù)據(jù)輸入到模型中進(jìn)行檢測(cè)；

Step3：SDAN進(jìn)行降維、抽取特征，GRU進(jìn)行分類；

Step4：得出檢測(cè)結(jié)果。

6 仿真研究

為了檢測(cè)本文當(dāng)中的入侵檢測(cè)模型效果如何，需要進(jìn)行仿真。實(shí)驗(yàn)在Windows10操作系統(tǒng)下進(jìn)行，使用的CPU為I7-9750H六核處理器，使用的顯卡為英偉達(dá)RTX2060顯卡，運(yùn)行內(nèi)存為16GB.軟件平臺(tái)基于Pycharm和tensorflow1.14神經(jīng)網(wǎng)絡(luò)框架。

6.1 構(gòu)建仿真數(shù)據(jù)

本文選用部分KDDCUP99數(shù)據(jù)集。并將該數(shù)據(jù)集按6：2：2的比例分成訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練集用于訓(xùn)練入侵檢測(cè)模型，驗(yàn)證集用于評(píng)估入侵檢測(cè)模型，最后使用測(cè)試集測(cè)試入侵檢測(cè)模型。各類數(shù)據(jù)見表1。

表1 各類數(shù)據(jù)明細(xì)

6.2 構(gòu)建評(píng)價(jià)指標(biāo)

在本文的實(shí)驗(yàn)中，使用準(zhǔn)確率(accuracy)和誤報(bào)率(false alarm rate)等相關(guān)數(shù)據(jù)來作為該實(shí)驗(yàn)的評(píng)估指標(biāo)。此實(shí)驗(yàn)中有兩種類型的數(shù)據(jù)，即：安全數(shù)據(jù)(True)和威脅數(shù)據(jù)(False)。在該實(shí)驗(yàn)過程中，將發(fā)生四種情況，分別是TT(安全數(shù)據(jù)被正確識(shí)別)、TN(安全數(shù)據(jù)被錯(cuò)誤識(shí)別)、FT(威脅數(shù)據(jù)被正確識(shí)別)、FN(威脅數(shù)據(jù)被錯(cuò)誤識(shí)別)。從這幾種數(shù)據(jù)中可以得出以下式子：

(5)

(6)

6.3 仿真方案設(shè)計(jì)

6.3.1 SDAN-GRU模型參數(shù)設(shè)計(jì)

在基于深度學(xué)習(xí)算法的模型中，模型的參數(shù)將影響模型的最終檢測(cè)結(jié)果。適當(dāng)?shù)膶W(xué)習(xí)率可以使模型在適當(dāng)?shù)臅r(shí)間收斂。如果將學(xué)習(xí)率設(shè)置得太小，則收斂時(shí)間將延長(zhǎng)。如果學(xué)習(xí)率設(shè)置得太大，它將無法收斂并在最優(yōu)值附近波動(dòng)。考慮到學(xué)習(xí)速率在深度學(xué)習(xí)算法中的重要性，本文考慮了學(xué)習(xí)率對(duì)模型的影響，并將準(zhǔn)確率作為評(píng)判標(biāo)準(zhǔn)。結(jié)果如圖9所示。

圖9 不同學(xué)習(xí)率取值與準(zhǔn)確率的關(guān)系柱狀圖

由圖9可知，當(dāng)學(xué)習(xí)率在0.001時(shí)，準(zhǔn)確率最高。學(xué)習(xí)率大于或小于0.001時(shí)，準(zhǔn)確率都偏低。不僅學(xué)習(xí)率可以影響準(zhǔn)確率，合適的降噪自編碼網(wǎng)絡(luò)預(yù)訓(xùn)練迭代次數(shù)也能提高入侵檢測(cè)準(zhǔn)確率。將學(xué)習(xí)率設(shè)置為0.001，考慮迭代次數(shù)對(duì)該模型的影響，將準(zhǔn)確率作為評(píng)判標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果如圖10所示。

圖10 不同迭代次數(shù)取值與準(zhǔn)確率的關(guān)系柱狀圖

由圖10可以看出，當(dāng)訓(xùn)練降噪自編碼網(wǎng)絡(luò)迭代次數(shù)為150時(shí)，準(zhǔn)確率有最大值。在迭代次數(shù)大于或小于150時(shí)，準(zhǔn)確率都偏低。將模型學(xué)習(xí)率設(shè)置為0.001，降噪自編碼網(wǎng)絡(luò)預(yù)訓(xùn)練迭代次數(shù)設(shè)置為150。模型其它參數(shù)信息通過參考前人所提供的參數(shù)值并反復(fù)實(shí)驗(yàn)調(diào)優(yōu)，最終的模型參數(shù)設(shè)計(jì)見表2。

表2 模型參數(shù)設(shè)計(jì)

6.3.2 對(duì)比模型參數(shù)構(gòu)建

對(duì)比實(shí)驗(yàn)分別構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)、SDAN-BP模型、SDAN-LSTM模型。其中卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)模型(CNN)的構(gòu)建參照了文獻(xiàn)[11]，卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)模型(CNN)共有十層，一個(gè)輸入層、三個(gè)卷積層、三個(gè)Dropout層、1個(gè)Max-pooling層、一個(gè)全連接層和一個(gè)Softmax層。SDAN-BP模型的構(gòu)建采用了控制變量法，其中堆疊降噪自編碼器的參數(shù)采用了本文提供的模型參數(shù)，全連接神經(jīng)網(wǎng)絡(luò)層中神經(jīng)元的個(gè)數(shù)為200。SDAN-LSTM模型的構(gòu)建采用了控制變量法，堆疊降噪自編碼器的參數(shù)采用了本文提供的模型參數(shù)，長(zhǎng)短期記憶網(wǎng)絡(luò)層參考了文獻(xiàn)[9]，LSTM采用五層結(jié)構(gòu)，分別為輸入層、輸出層和三層隱藏層，隱藏層神經(jīng)元個(gè)數(shù)分別是64，128和64。

6.4 仿真結(jié)果分析

設(shè)置好相應(yīng)的參數(shù)，入侵檢測(cè)系統(tǒng)的訓(xùn)練迭代次數(shù)和準(zhǔn)確率的關(guān)系如圖11所示。橫坐標(biāo)為入侵檢測(cè)系統(tǒng)的訓(xùn)練迭代次數(shù)，縱坐標(biāo)為準(zhǔn)確率。

圖11 入侵檢測(cè)模型迭代次數(shù)與準(zhǔn)確率的關(guān)系

入侵檢測(cè)系統(tǒng)的訓(xùn)練迭代次數(shù)和損失值的關(guān)系如圖12所示。橫坐標(biāo)為入侵檢測(cè)系統(tǒng)的訓(xùn)練迭代次數(shù)，縱坐標(biāo)為損失值。

圖12 入侵檢測(cè)模型迭代次數(shù)與損失值的關(guān)系

由圖11、圖12可知，隨著迭代次數(shù)的增加，準(zhǔn)確率總體呈現(xiàn)上升的狀態(tài)并且準(zhǔn)確率高。隨著迭代次數(shù)的增加，損失值總體呈現(xiàn)下降的趨勢(shì)并且損失值低。說明該入侵檢測(cè)模型有著良好的檢測(cè)效果。為了檢驗(yàn)SDAN-GRU深度學(xué)習(xí)模型在入侵檢測(cè)中所具有的優(yōu)勢(shì)，故將該模型與其它模型進(jìn)行比較。迭代次數(shù)和準(zhǔn)確率的曲線關(guān)系如圖13所示。

圖13 四種入侵檢測(cè)模型迭代次數(shù)與準(zhǔn)確率的關(guān)系

卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)中沒有數(shù)據(jù)降維和特征抽取模塊，因此需要更長(zhǎng)的訓(xùn)練時(shí)間，最終的檢測(cè)準(zhǔn)確率不高。堆疊降噪自編碼-全連接模型(SDAN-BP)具備降維、數(shù)據(jù)特征抽取模塊，因此訓(xùn)練時(shí)間短，可達(dá)到一個(gè)相對(duì)優(yōu)秀的準(zhǔn)確率。又因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)都不能處理網(wǎng)絡(luò)流量數(shù)據(jù)的時(shí)序特征，所以上述兩個(gè)網(wǎng)絡(luò)入侵檢測(cè)模型的準(zhǔn)確率還有提升的空間。再看堆疊降噪自編碼-長(zhǎng)短期記憶模型(SDAN-LSTM)和堆疊降噪自編碼-門控循環(huán)單元模型(SDAN-GRU)，由于這兩個(gè)模型有數(shù)據(jù)降維和特征抽取模塊，因此訓(xùn)練時(shí)間短，同時(shí)長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)和門控循環(huán)單元(GRU)可抽取網(wǎng)絡(luò)流量數(shù)據(jù)中的時(shí)序特征，最終可以達(dá)到一個(gè)優(yōu)秀的準(zhǔn)確率。門控循環(huán)單元混合了細(xì)胞狀態(tài)和隱藏狀態(tài)，并將長(zhǎng)短期記憶網(wǎng)絡(luò)中的忘記門和輸入門合成了單一的更新門，用來控制過去的隱藏狀態(tài)在當(dāng)前時(shí)刻的重要性，并設(shè)立重置門來提供丟棄與未來無關(guān)的過去隱藏狀態(tài)的機(jī)制。門控循環(huán)單元簡(jiǎn)化了自身的結(jié)構(gòu)，占用更少的系統(tǒng)資源，使得模型訓(xùn)練時(shí)間縮短，達(dá)到更優(yōu)的檢測(cè)效果。在堆疊降噪自編碼-長(zhǎng)短期記憶模型(SDAN-LSTM)準(zhǔn)確率已經(jīng)高達(dá)97.5%的情況下，堆疊降噪自編碼-門控循環(huán)單元模型(SDAN-GRU)可以達(dá)到99.5%的準(zhǔn)確率，并且在迭代的過程中，準(zhǔn)確率平穩(wěn)波動(dòng)幅度小。堆疊降噪自編碼-長(zhǎng)短期記憶模型(SDAN-LSTM)的訓(xùn)練時(shí)間是55.10秒，堆疊降噪自編碼-門控循環(huán)單元模型(SDAN-GRU)的訓(xùn)練時(shí)間是49.98秒，大幅縮短了運(yùn)算時(shí)間，提高模型的及時(shí)性。

7 結(jié)論

本文提出的基于堆疊降噪自編碼網(wǎng)絡(luò)的門控循環(huán)單元模型在應(yīng)對(duì)多樣性、隱蔽性和高維度的非線性入侵檢測(cè)數(shù)據(jù)有著良好的準(zhǔn)確性和實(shí)時(shí)性。門控循環(huán)單元中重置門和更新門的設(shè)計(jì)分別有助于捕捉時(shí)序數(shù)據(jù)中的短期和長(zhǎng)期依賴關(guān)系，相較于其它深度學(xué)習(xí)模型更適合對(duì)攻擊樣本所具有的時(shí)序特征進(jìn)行識(shí)別和分類。入侵檢測(cè)數(shù)據(jù)含有冗余信息和噪聲數(shù)據(jù)，因此進(jìn)一步引入堆疊降噪自編碼網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行降維和特征抽取，與門控循環(huán)單元結(jié)合構(gòu)建深度學(xué)習(xí)模型提高了對(duì)流量數(shù)據(jù)的分類速率和精度。本文使用了KDDCUP99數(shù)據(jù)集對(duì)該模型進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該模型不僅提高了檢測(cè)的速率而且提高了檢測(cè)的準(zhǔn)確率。由于該模型只是應(yīng)用在入侵檢測(cè)方向下得出的結(jié)果，還沒有在其它科研方向下進(jìn)行過應(yīng)用，所以下一步會(huì)將該模型進(jìn)行擴(kuò)展優(yōu)化并應(yīng)用在其它科研方向下并進(jìn)行驗(yàn)證。