關(guān)鍵詞：網(wǎng)絡(luò)入侵檢測(cè);深度學(xué)習(xí);注意力機(jī)制;殘差網(wǎng)絡(luò)

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

互聯(lián)網(wǎng)技術(shù)發(fā)展對(duì)人們的生活產(chǎn)生了深遠(yuǎn)的影響，現(xiàn)代生活已經(jīng)深深地依賴于網(wǎng)絡(luò)，這種依賴不僅導(dǎo)致了大量的個(gè)人和企業(yè)數(shù)據(jù)被存儲(chǔ)在網(wǎng)絡(luò)云主機(jī)上，同時(shí)也使這些數(shù)據(jù)面臨著網(wǎng)絡(luò)攻擊。因此，發(fā)展和完善入侵檢測(cè)系統(tǒng)（IDS）對(duì)維護(hù)網(wǎng)絡(luò)安全至關(guān)重要[1-2]。

現(xiàn)有的IDS技術(shù)大致可以分為兩類：異常檢測(cè)系統(tǒng)和誤用檢測(cè)系統(tǒng)[3]，前者基于行為特征實(shí)現(xiàn)對(duì)未知或新型攻擊的識(shí)別和預(yù)警[4]，后者則基于靜態(tài)特征匹配已知的攻擊模式或簽名[5]。盡管這兩類系統(tǒng)各有優(yōu)勢(shì)，但是它們?cè)诿鎸?duì)新型攻擊和數(shù)據(jù)不平衡時(shí)產(chǎn)生的局限性日益凸顯。

目前，入侵檢測(cè)模型主要基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)構(gòu)建。機(jī)器學(xué)習(xí)算法盡管具有較高的準(zhǔn)確性，但是容易出現(xiàn)過擬合問題[6-7]。JIANG 等[8]提出了一種基于LSTM（長(zhǎng)短期記憶）的多通道網(wǎng)絡(luò)入侵檢測(cè)方法，通過投票算法進(jìn)一步判斷入侵的類型。周璨等[9]提出GRU（門控循環(huán)單元）和CNN（卷積神經(jīng)網(wǎng)絡(luò)）融合的模型，這類輕量級(jí)模型的訓(xùn)練速度較快。

深度學(xué)習(xí)在IDS的應(yīng)用中仍存在收斂速度慢、對(duì)不平衡數(shù)據(jù)集的檢測(cè)準(zhǔn)確率低等問題。為此，本研究對(duì)基于ResNet（深度殘差網(wǎng)絡(luò)）的入侵檢測(cè)模型[10]進(jìn)行了改進(jìn)，引入了注意力機(jī)制，以期獲得更好的檢測(cè)效率和準(zhǔn)確率。

1 相關(guān)理論（Relevant theory）

1.1 殘差網(wǎng)絡(luò)

ResNet引入了“殘差學(xué)習(xí)”的概念，通過添加跨層的殘差連接（Residual Connection）解決梯度問題。這些殘差連接允許信息在網(wǎng)絡(luò)中直接跳躍傳播，解決了梯度在反向傳播過程中的衰減問題。這種結(jié)構(gòu)使得更深層次的網(wǎng)絡(luò)更容易訓(xùn)練，并且能夠更有效地學(xué)習(xí)特征。殘差模塊輸入為x，殘差模塊的輸出為output=F（x）+x，其中F（x）為殘差模塊學(xué)習(xí)到的殘差。

在模型的代碼實(shí)現(xiàn)中，F(xiàn)（x）通常由兩個(gè)或兩個(gè)以上卷積層組成，用來(lái)學(xué)習(xí)輸入x 與期望輸出之間的差異。記W1 和W2 分別為兩個(gè)卷積層的權(quán)重，b1 和b2 為相應(yīng)的偏置項(xiàng)，σ 為激活函數(shù)（通常為ReLU），則殘差塊的數(shù)學(xué)表達(dá)式可以拆解為

2 模型分析（Model analysis）

本文提出一種創(chuàng)新的入侵檢測(cè)模型，將注意力機(jī)制與ResNet融合并進(jìn)行了改進(jìn)，改進(jìn)的ResNet入侵檢測(cè)模型如圖2所示。首先，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括異常值處理、Z-Score標(biāo)準(zhǔn)化和獨(dú)熱編碼，并通過降低數(shù)據(jù)維度等方式提升模型的收斂速度。其次，經(jīng)過處理的數(shù)據(jù)被送入經(jīng)過注意力機(jī)制改進(jìn)的ResNet進(jìn)行分類，采用經(jīng)過精心設(shè)計(jì)的注意力機(jī)制可以提高網(wǎng)絡(luò)對(duì)關(guān)鍵信息的關(guān)注度，從而優(yōu)化模型的分類性能。此外，通過去除異常數(shù)據(jù)的策略，可以進(jìn)一步提高模型的準(zhǔn)確率。最后，對(duì)經(jīng)過訓(xùn)練的模型進(jìn)行測(cè)試，評(píng)估其性能并確定當(dāng)前模型是否達(dá)到最優(yōu)狀態(tài)。如果測(cè)試結(jié)果表明模型還有改進(jìn)的空間，那么將進(jìn)行調(diào)優(yōu)并重新訓(xùn)練;反之，則可得到最終的分類結(jié)果。

2.1 改進(jìn)的殘差模塊

常用的ResNet直接應(yīng)用于入侵檢測(cè)任務(wù)時(shí)，可能無(wú)法有效地處理入侵檢測(cè)數(shù)據(jù)的特性，主要原因在于傳統(tǒng)的ResNet模型的卷積層通常專注于提取局部特征。ResNet主要針對(duì)圖像數(shù)據(jù)設(shè)計(jì)，其特征提取和學(xué)習(xí)機(jī)制主要集中在視覺模式識(shí)別上，而入侵檢測(cè)數(shù)據(jù)通常包含非空間數(shù)據(jù)（例如網(wǎng)絡(luò)流量數(shù)據(jù)、日志文件等），這類數(shù)據(jù)不具有圖像的空間結(jié)構(gòu)，卷積層在處理具有明顯空間關(guān)系的數(shù)據(jù)（如圖像）時(shí)表現(xiàn)出色，但在處理非空間結(jié)構(gòu)數(shù)據(jù)時(shí)效果不夠好。

為了使ResNet更適合入侵檢測(cè)任務(wù)，需要對(duì)其進(jìn)行特定的調(diào)整或優(yōu)化，引入適合處理非空間數(shù)據(jù)的稠密層，稠密層能夠?qū)φ麄€(gè)輸入數(shù)據(jù)進(jìn)行全局特征學(xué)習(xí)，處理并整合來(lái)自輸入數(shù)據(jù)的所有信息。同時(shí)加入批標(biāo)準(zhǔn)化層加速訓(xùn)練過程，提高模型的泛化能力。丟棄層則通過隨機(jī)地忽略一部分神經(jīng)元的輸出減少模型對(duì)特定數(shù)據(jù)的依賴。批標(biāo)準(zhǔn)化層所使用的公式如下：

初步改進(jìn)后的殘差模塊包含1 024個(gè)神經(jīng)元的Dense層，激活函數(shù)為ReLU;緊接著是批標(biāo)準(zhǔn)化（Batch Normalization）層和丟棄（Dropout）層。

初步改進(jìn)的殘差模塊如圖3所示。

2.2 加入注意力機(jī)制的殘差模塊

入侵檢測(cè)數(shù)據(jù)通常包含更加復(fù)雜和抽象的模式，如網(wǎng)絡(luò)流量特征、異常行為模式等，這些不同于傳統(tǒng)圖像特征的數(shù)據(jù)特性可能導(dǎo)致ResNet無(wú)法有效區(qū)分正常流量與異常流量。為了使ResNet更適合入侵檢測(cè)任務(wù)，引入注意力機(jī)制以更有效地關(guān)注和提取入侵檢測(cè)數(shù)據(jù)中的關(guān)鍵特征，捕捉輸入數(shù)據(jù)之間的長(zhǎng)距離依賴關(guān)系。具體的改進(jìn)步驟是在初步改進(jìn)的殘差模塊后加入一個(gè)自注意層和一個(gè)加法層。加入注意力機(jī)制的殘差模塊如圖4所示。

2.3 改進(jìn)的ResNet結(jié)構(gòu)

由于訓(xùn)練集的數(shù)據(jù)量非常大，為了推動(dòng)更深層次的網(wǎng)絡(luò)訓(xùn)練和增強(qiáng)特征的傳遞與重用，通過重復(fù)使用殘差模塊構(gòu)建一個(gè)具有足夠深度的網(wǎng)絡(luò)結(jié)構(gòu)。改進(jìn)的ResNet結(jié)構(gòu)由3個(gè)加入注意力機(jī)制的殘差模塊組合，并加入一個(gè)初步改進(jìn)的殘差模塊將輸出轉(zhuǎn)化為與15個(gè)標(biāo)簽一一對(duì)應(yīng)的結(jié)果。改進(jìn)的ResNet結(jié)構(gòu)如圖5所示。

3 實(shí)驗(yàn)結(jié)果與分析（Experimental results andanalysis）

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用CIC-IDS-2017數(shù)據(jù)集作為實(shí)驗(yàn)的基礎(chǔ)。CICIDS-2017數(shù)據(jù)集包含來(lái)自不同網(wǎng)絡(luò)環(huán)境的網(wǎng)絡(luò)流量數(shù)據(jù)，其中包括正常流量和惡意流量。這些數(shù)據(jù)是通過模擬真實(shí)網(wǎng)絡(luò)環(huán)境中的各種攻擊和惡意活動(dòng)生成的。

數(shù)據(jù)集涵蓋多種類型的網(wǎng)絡(luò)流量，其中包含14種不同的惡意流量和大量正常流量。將數(shù)據(jù)集按照7∶3的比例劃分成訓(xùn)練集和測(cè)試集，實(shí)驗(yàn)數(shù)據(jù)如表1所示。

3.2 實(shí)驗(yàn)環(huán)境和評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)環(huán)境如表2所示。

本文采用準(zhǔn)確率（AC）、誤報(bào)率（FP）、召回率（Recall）作為評(píng)價(jià)標(biāo)準(zhǔn)，其公式分別如下：

其中：真陽(yáng)性TP 表示模型正確地預(yù)測(cè)為正的實(shí)例數(shù)量;假陽(yáng)性FP 表示模型錯(cuò)誤地預(yù)測(cè)為正的實(shí)例數(shù)量;真陰性TN 表示模型正確地預(yù)測(cè)為負(fù)的實(shí)例數(shù)量;假陰性FN 表示模型錯(cuò)誤地預(yù)測(cè)為負(fù)的實(shí)例數(shù)量。

本文通過對(duì)比改進(jìn)前和改進(jìn)后的ResNet在3項(xiàng)關(guān)鍵評(píng)估標(biāo)準(zhǔn)上的表現(xiàn)，以及將其與近期發(fā)表的相關(guān)文獻(xiàn)中提到的模型在同樣的評(píng)價(jià)標(biāo)準(zhǔn)上的表現(xiàn)進(jìn)行比較，以此驗(yàn)證本文提出的改進(jìn)模型的有效性和可行性。

3.3 實(shí)驗(yàn)過程及結(jié)果分析

運(yùn)用網(wǎng)格搜索策略對(duì)參數(shù)進(jìn)行全面且細(xì)致的探索，最終確定了一組最優(yōu)的參數(shù)。

（1）批尺寸（batch_size）

batch_size定義了用于計(jì)算梯度和更新網(wǎng)絡(luò)權(quán)重的樣本數(shù)量，直接影響模型的學(xué)習(xí)效率、內(nèi)存需求以及最終的性能。經(jīng)過實(shí)驗(yàn)，batch_size選擇100時(shí)為最優(yōu)。

（2）學(xué)習(xí)率（learning_rate）

學(xué)習(xí)率定義了在梯度下降（或類似優(yōu)化算法）中權(quán)重調(diào)整的步長(zhǎng)，決定了在優(yōu)化過程中模型權(quán)重更新的幅度。本文引入學(xué)習(xí)率調(diào)度器（lr_scheduler）作為回調(diào)函數(shù)，動(dòng)態(tài)調(diào)整學(xué)習(xí)率。

（3）實(shí)驗(yàn)迭代次數(shù)（epoch）

迭代次數(shù)指的是訓(xùn)練算法在整個(gè)訓(xùn)練數(shù)據(jù)集上的遍歷次數(shù)。經(jīng)過實(shí)驗(yàn)，迭代次數(shù)選擇30時(shí)為最優(yōu)。

3.3.1 數(shù)據(jù)預(yù)處理

（1）異常值處理（Outlier Handling）

異常值處理是為了識(shí)別和處理數(shù)據(jù)中的異常值或離群點(diǎn)。在CIC-IDS-2017數(shù)據(jù)集中Flow Bytes/s列和Flow Packets/s列存在部分缺失值，本文將缺失值替換為0，將正無(wú)窮大（np.inf）和負(fù)無(wú)窮大（-np.inf）都替換為1e9（109）。

（2）Z-Score標(biāo)準(zhǔn)化（Z-Score Normalization）

Z-Score標(biāo)準(zhǔn)化是將不同尺度、不同范圍的特征轉(zhuǎn)化為具有相似尺度和范圍的特征，有助于消除特征之間的單位差異，使模型更加穩(wěn)定和準(zhǔn)確。

在CIC-IDS-2017數(shù)據(jù)集中，特征值的大小存在極大的差異且數(shù)量級(jí)也差別極大，因此本文對(duì)數(shù)據(jù)集進(jìn)行Z-Score標(biāo)準(zhǔn)化處理，以便消除特征之間的數(shù)量級(jí)差異，代碼中通過調(diào)用scikit-learn庫(kù)中用于執(zhí)行Z-score標(biāo)準(zhǔn)化的類StandardScaler達(dá)到對(duì)數(shù)據(jù)集標(biāo)準(zhǔn)化處理的效果。

（3）獨(dú)熱編碼（One-Hot Encoding）

獨(dú)熱編碼將離散的分類特征轉(zhuǎn)化為二進(jìn)制向量的形式，以便機(jī)器學(xué)習(xí)算法使用。在CIC-IDS-2017數(shù)據(jù)集中，包含15個(gè)不同的標(biāo)簽，適合通過獨(dú)熱編碼將其轉(zhuǎn)化成二進(jìn)制向量，因此本文調(diào)用Keras庫(kù)中的to_categorical函數(shù)將數(shù)據(jù)集中的15個(gè)標(biāo)簽轉(zhuǎn)化成二進(jìn)制標(biāo)簽。

3.3.2 改進(jìn)的ResNet交叉對(duì)比

把經(jīng)過改進(jìn)的ResNet入侵檢測(cè)模型與未經(jīng)過改進(jìn)的ResNet入侵檢測(cè)模型進(jìn)行交叉對(duì)比實(shí)驗(yàn)，使用相同超參數(shù)以及進(jìn)行相同的數(shù)據(jù)預(yù)處理，控制兩個(gè)實(shí)驗(yàn)?zāi)Ｐ偷淖兞窟_(dá)到交叉對(duì)比的目的。通過模型訓(xùn)練過程中的可視化曲線圖（圖6至圖9）可以看到，兩個(gè)實(shí)驗(yàn)?zāi)Ｐ偷膿p失函數(shù)值loss的變化以及準(zhǔn)確率的變化。經(jīng)過改進(jìn)的ResNet入侵檢測(cè)模型的迭代次數(shù)與損失函數(shù)值呈負(fù)相關(guān)，隨著迭代次數(shù)的增加，損失函數(shù)值逐漸減小。從圖7中可以看出，損失函數(shù)值的下降速率表現(xiàn)為先快速下降之后趨于平緩，損失函數(shù)值loss快速下降的階段在前10次迭代，第10次迭代之后損失函數(shù)值的變化開始趨于平緩。未經(jīng)過改進(jìn)的ResNet入侵檢測(cè)模型的損失函數(shù)值loss快速下降的階段在前25次迭代，第25次迭代之后損失函數(shù)值的變化開始趨于平緩。改進(jìn)的ResNet入侵檢測(cè)模型的準(zhǔn)確率為97.56%、真正例率為97.46%、誤報(bào)率為4.00%，優(yōu)于未經(jīng)過改進(jìn)的ResNet入侵檢測(cè)模型，其準(zhǔn)確率為96.25%、真正例率為95.83%、誤報(bào)率為7.4%。實(shí)驗(yàn)表明，經(jīng)改進(jìn)的ResNet入侵檢測(cè)模型的性能優(yōu)于未經(jīng)改進(jìn)的ResNet入侵檢測(cè)模型的性能。經(jīng)改進(jìn)的ResNet入侵檢測(cè)模型的準(zhǔn)確率曲線如圖6所示;經(jīng)改進(jìn)的ResNet入侵檢測(cè)模型的損失函數(shù)值曲線如圖7所示;未改進(jìn)的ResNet入侵檢測(cè)模型的準(zhǔn)確率曲線如圖8所示;未改進(jìn)的ResNet入侵檢測(cè)模型的損失函數(shù)值曲線如圖9所示。

3.3.3 改進(jìn)的ResNet入侵檢測(cè)模型與相關(guān)文獻(xiàn)提出的模型進(jìn)行對(duì)比

本文通過對(duì)比實(shí)驗(yàn)，采用準(zhǔn)確率、真正例率、誤報(bào)率3項(xiàng)指標(biāo)驗(yàn)證本文提出的入侵檢測(cè)模型的性能與近期相關(guān)文獻(xiàn)中提到算法的性能。本文模型展現(xiàn)出97.56%的準(zhǔn)確率、97.46%的真正例率以及4%的誤報(bào)率。相較之下，SAMRIYA 等[12]提出的ACO-DNN（蟻群優(yōu)化-深度神經(jīng)網(wǎng)絡(luò)）模型雖然通過ACO算法進(jìn)行了降維處理，但是準(zhǔn)確率低于本文模型的準(zhǔn)確率，說明本文模型加入的注意力機(jī)制能夠更有效地關(guān)注重要特征進(jìn)而提升分類準(zhǔn)確率;麻文剛等[13]提出的三層堆疊LSTM（長(zhǎng)短期記憶）網(wǎng)絡(luò)通過提取存在差異的特征提升收斂速度，但是準(zhǔn)確率和真正例率同樣低于本文模型的相關(guān)指標(biāo);劉金碩等[14]提出的基于AutoEncoder（自編碼器）和DNN（深度神經(jīng)網(wǎng)絡(luò)）的模型，其準(zhǔn)確率與真正例率同樣低于本文模型的相關(guān)指標(biāo);DAS等[15]采用的LAD-ADS（數(shù)據(jù)邏輯分析-異常檢測(cè)系統(tǒng)）模型和ZHAO等[16]提出的動(dòng)態(tài)自編碼器的準(zhǔn)確率與召回率也低于本文模型的相關(guān)指標(biāo)。本文模型通過加入注意力機(jī)制，有效提升了對(duì)入侵?jǐn)?shù)據(jù)的識(shí)別能力，并加快了收斂速度。綜上所述，本文模型的準(zhǔn)確率、召回率表現(xiàn)優(yōu)異，顯示出較強(qiáng)的檢測(cè)能力，其準(zhǔn)確率、召回率明顯優(yōu)于已有方法的相關(guān)指標(biāo)。不同模型的分類結(jié)果如表3所示。

4 結(jié)論（Conclusion）

針對(duì)網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域在處理不平衡數(shù)據(jù)集時(shí)識(shí)別準(zhǔn)確性不足的問題，本文通過在ResNet中加入注意力機(jī)制，提升了關(guān)鍵特征識(shí)別能力，其真正例率和誤報(bào)率表現(xiàn)優(yōu)異。在CIC-IDS-2017數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的ResNet入侵檢測(cè)模型實(shí)現(xiàn)了97.56%的準(zhǔn)確率、97.46%的真正例率和4.00%的誤報(bào)率，在處理復(fù)雜網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)時(shí)具有高效性和有效性。此外，本研究也認(rèn)識(shí)到，在處理極端類別不平衡數(shù)據(jù)時(shí)存在的局限性，未來(lái)將針對(duì)這些問題進(jìn)行深入研究和模型優(yōu)化。

作者簡(jiǎn)介：

陳天翔（1997-），男，碩士生。研究領(lǐng)域：深度學(xué)習(xí)，網(wǎng)絡(luò)安全。

何利力（1966-），男，博士，教授。研究領(lǐng)域：圖形圖像，人機(jī)交互。

鄭軍紅（1978-），男，博士，講師。研究領(lǐng)域：數(shù)據(jù)挖掘，人工智能。