邵凌威 ，鄭燦偉 ，渠振華 ，黃 博 ，李世明 ，2

(1.哈爾濱師范大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院，黑龍江 哈爾濱150025；2.上海市信息安全綜合管理技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，上海200240)

0 引言

網(wǎng)絡(luò)攻擊行為檢測(cè)成為網(wǎng)絡(luò)安全的必備保障技術(shù)之一，而入侵檢測(cè)系統(tǒng)(Intrusion Detection System，IDS)已經(jīng)成為一種重要的安全檢測(cè)技術(shù)，其能夠判別網(wǎng)絡(luò)中的異常流量數(shù)據(jù)，從而達(dá)到檢測(cè)網(wǎng)絡(luò)是否遭受入侵攻擊的目的。

目前，入侵檢測(cè)系統(tǒng)的研究技術(shù)較多[1]，本文主要基于深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行研究，經(jīng)不完全調(diào)研，業(yè)界相關(guān)典型研究成果主要有：RNN-IDS 模型[2]，其性能優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)分類算法，但訓(xùn)練時(shí)間較多；文獻(xiàn)[3]、[4]采用CNN 和LSTM 混合的入侵檢測(cè)方法提高模型性能；基于多尺度卷積神經(jīng)網(wǎng)絡(luò)[5]的入侵檢測(cè)方法，其分類準(zhǔn)確率達(dá)到93.05%，但模型中的參數(shù)無法達(dá)到最優(yōu)化，對(duì)精度有一定的影響；對(duì)KNN 超參數(shù)調(diào)整和交叉驗(yàn)證的入侵檢測(cè)系統(tǒng)[6]，提高了模型準(zhǔn)確率，但是無法識(shí)別新型攻擊；文獻(xiàn)[7]針對(duì)DoS 攻擊采用更大的卷積核，表現(xiàn)出較高的性能；文獻(xiàn)[8]提出一種簡(jiǎn)化的殘差網(wǎng)絡(luò)模型S-ResNet，更適合低維和小規(guī)模數(shù)據(jù)；文獻(xiàn)[9]提出一種帶有平均卷積層的CNN-MCL 模型學(xué)習(xí)流量的異常特征；文獻(xiàn)[10]通過GRU-MLP 模型識(shí)別網(wǎng)絡(luò)入侵，證明GRU 比LSTM 更適合作為存儲(chǔ)單元。 綜合上述，多數(shù)方法在入侵檢測(cè)系統(tǒng)的性能和準(zhǔn)確率方面均有提升，但神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)系統(tǒng)中的應(yīng)用仍停留在層數(shù)較少的模型上，隨著網(wǎng)絡(luò)層數(shù)增加退化現(xiàn)象越嚴(yán)重。

針對(duì)上述問題，本文提出一種基于M-DRN(Multiscale-Deep Residual Network)模型的入侵檢測(cè)方法，多尺度地提取數(shù)據(jù)特征。 通過增加網(wǎng)絡(luò)深度和寬度提升網(wǎng)絡(luò)性能，減少池化層來降低特征圖像的縮小速度。 實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法具有良好的效果。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是在網(wǎng)絡(luò)的至少一層中使用卷積運(yùn)算代替普通矩陣乘法運(yùn)算的神經(jīng)網(wǎng)絡(luò)[11]，多用于識(shí)別、檢測(cè)和分類任務(wù)。 CNN 的訓(xùn)練通常是通過監(jiān)督學(xué)習(xí)來完成的，與DNN 或MLP 等其他算法相比收斂更快。

CNN 中每個(gè)神經(jīng)元的輸出都由其輸入和網(wǎng)絡(luò)結(jié)構(gòu)中前幾層神經(jīng)元的權(quán)重與偏差函數(shù)共同計(jì)算得出。 每個(gè)層的權(quán)重和偏差可以分別使用式(1)和式(2)表示：

其中，wi和bi分別是神經(jīng)元i的權(quán)重和偏差；a和r分別是正則化參數(shù)和學(xué)習(xí)率；n和m分別是訓(xùn)練樣本總數(shù)和動(dòng)量；t是更新的步驟；C代表成本函數(shù)。這些參數(shù)通過訓(xùn)練過程進(jìn)行更新和調(diào)整，以獲得模型最佳性能。

1.2 數(shù)據(jù)處理方法

在實(shí)驗(yàn)前，需要對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理，實(shí)現(xiàn)輸入數(shù)據(jù)與卷積神經(jīng)網(wǎng)絡(luò)的輸入需求格式相匹配，主要過程如下：

(1)數(shù)值化：在卷積運(yùn)算時(shí)，若輸入數(shù)據(jù)中存在非數(shù)值型數(shù)據(jù)時(shí)，利用one-hot 編碼技術(shù)將其轉(zhuǎn)換為數(shù)值型數(shù)據(jù)。

(2)歸一化：為了消除不同量綱對(duì)特征提取的影響，用歸一化處理將每個(gè)屬性的數(shù)值范圍縮小在[0，1]內(nèi)，如式(3)所示：

其中，f是屬性原始值，f′是歸一化值，maxj和minj分別是第j個(gè)屬性的最大值和最小值。

(3)圖像化：對(duì)于一維數(shù)據(jù)需要經(jīng)過填充、合并、刪除方式，調(diào)整到適合卷積操作的二維數(shù)據(jù)結(jié)構(gòu)。

1.3 殘差網(wǎng)絡(luò)

定義1殘差網(wǎng)絡(luò)(Residual Network，ResNet)[12]是一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的算法，網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)主要部分是由多個(gè)殘差塊構(gòu)成的，殘差塊則是在堆疊的卷積層中加入了跳躍連接，目前多數(shù)情況使用二層或三層結(jié)構(gòu)，如圖2 所示。

輸入數(shù)據(jù)x 通過跳躍連接和卷積后的輸出F(x)相加得到H(x)=F(x)+x，只要模擬殘差函數(shù)F(x)=0就可以保證特征的恒等不變性，即使堆疊很多層的殘差塊也不會(huì)使網(wǎng)絡(luò)出現(xiàn)退化現(xiàn)象[12]。 二層結(jié)構(gòu)殘差塊可由式(4)和式(5)表示：

圖2 Residual 結(jié)構(gòu)

其中，x 為輸入向量，y 為輸出向量，σ 為激活函數(shù)，W為權(quán)重值，b 為偏置量。 在多層殘差網(wǎng)絡(luò)中，深層L和淺層l的關(guān)系可用式(6)表示：

損失函數(shù)ε 關(guān)于xl的梯度如式(7)所示：

2 M-DRN 模型

2.1 算法設(shè)計(jì)

定義2密集多核殘差(Dense Multi-core Residual，DMR)：為在殘差塊中能夠同時(shí)采用多個(gè)不同感受野的卷積來提取數(shù)據(jù)的特征，在累加不同特征圖的最高維度后進(jìn)行降維處理，并與輸入的x 求和，該模型為DMR。

在不考慮激活函數(shù)的情況下，數(shù)據(jù)x 經(jīng)過一個(gè)卷積層計(jì)算后的輸出值y 可由式(8)所示：

其中W 和b 含義同式(4)，當(dāng)x 同時(shí)經(jīng)過n個(gè)不同大小的卷積核處理，得到的輸出y′可由式(9)和式(10)表示：

式(9)中運(yùn)算符⊕表示最高維度的加運(yùn)算，目的是在不改變特征本身的同時(shí)增加特征數(shù)量，可以提取更多的細(xì)節(jié)特征。 為了保證數(shù)據(jù)輸入和輸出的維度相同，需要1×1 卷積核特征降維。 進(jìn)而根據(jù)式(4)和式(5)可得到計(jì)算DMR 的公式，如式(11)和式(12)所示：

其中W′和b′是降維卷積的權(quán)值和偏置。

2.2 模型設(shè)計(jì)

由于網(wǎng)絡(luò)流量數(shù)據(jù)和圖片數(shù)據(jù)的不同，經(jīng)過圖像化后的流量圖像尺寸遠(yuǎn)小于常規(guī)的圖片尺寸，能夠提取的數(shù)據(jù)特征也相對(duì)較少，因此常規(guī)深度學(xué)習(xí)網(wǎng)絡(luò)不能很好地提取流量特征。 本文提出的M-DRN整體結(jié)構(gòu)如圖3 所示。

圖3 M-DRN 網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 特征提取流程

M-DRN 模型特征提取流程如下：

(1)經(jīng)過1 個(gè)3×3 卷積核初步提取數(shù)據(jù)特征，在提升數(shù)據(jù)維度時(shí)能夠讓更深的網(wǎng)絡(luò)層學(xué)習(xí)到更多的特征；

(2)經(jīng)過3 個(gè)DMR 堆疊的卷積層計(jì)算可進(jìn)一步提取數(shù)據(jù)的細(xì)節(jié)特征；

(3)利用1 個(gè)最大池化層減少參數(shù)數(shù)量可加快網(wǎng)絡(luò)收斂速度；

(4)經(jīng)過多個(gè)殘差塊、1 個(gè)池化層和2 個(gè)全連接層計(jì)算可將最終提取的特征轉(zhuǎn)換為一維特征向量，并利用softmax 進(jìn)行流量分類。

在特征提取的過程中，只加入1 次池化操作，目的是降低特征圖像的縮小速度，方便加深網(wǎng)絡(luò)層數(shù)。

M-DRN 的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1 所示。

表1 M-DRN 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

其中每個(gè)卷積操作后都使用BN[13]算法加速收斂，在FC1 中采用Dropout 方法防止過擬合，F(xiàn)C2 的激活函數(shù)softmax，目的是完成流量分類，其余層激活函數(shù)均為ReLU 函數(shù)。 MaxPooling 在DMR 之后提取更為突出的特征，保證影響力大的特征不會(huì)消失；AvgPooling 用于FC(Fully Connected)之前，用于特征降維的同時(shí)保證特征整體傳播。

2.2.2 DMR 結(jié)構(gòu)

為了適應(yīng)流量數(shù)據(jù)圖像的小尺寸特點(diǎn)，本文模型中的DMR 采用1×1，3×3 和5×5 的卷積核。 由于5×5 的卷積核計(jì)算量更大、參數(shù)更多，為了加快學(xué)習(xí)速度在DMR 中引入因子分解[14]思想，利用2 個(gè)3×3 卷積替代1 個(gè)5×5 卷積結(jié)構(gòu)以減少參數(shù)數(shù)量。DMR 結(jié)構(gòu)如圖4 所示。

圖4 采用的DMR 結(jié)構(gòu)

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)環(huán)境如表2 所示。

3.2 數(shù)據(jù)集與預(yù)處理

本文實(shí)驗(yàn)選用NSL-KDD 數(shù)據(jù)集，該數(shù)據(jù)集中的數(shù)據(jù)可以細(xì)分為5 類[15]，訓(xùn)練集和測(cè)試集中包含每種類型數(shù)目如表3 所示。

表2 實(shí)驗(yàn)環(huán)境

表3 NSL-KDD 數(shù)據(jù)集包含5 類數(shù)據(jù)的數(shù)量

每條流量數(shù)據(jù)包含41 個(gè)屬性和1 個(gè)標(biāo)簽，在訓(xùn)練模型之前需要預(yù)先對(duì)數(shù)據(jù)進(jìn)行數(shù)值化、歸一化和圖像化處理。

3.3 評(píng)價(jià)指標(biāo)

本文采用由混淆矩陣計(jì)算得出的正確率(Accuracy，AC)作為評(píng)價(jià)指標(biāo)，混淆矩陣如表4 所示。

表4 混淆矩陣

AC 代表正確分類數(shù)占數(shù)據(jù)總數(shù)的比例，計(jì)算方法如式(13)所示：

3.4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)分別采用KDDTrain+、KDDTest-21 為訓(xùn)練集和測(cè)試集， 算法選用經(jīng)典CNN 和ResNet 網(wǎng)絡(luò)進(jìn)行對(duì)比，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置如表1 所示，且所有卷積層后都加入BN 進(jìn)行歸一化處理。 隨著迭代次數(shù)的增加，各模型準(zhǔn)確率如圖5 所示。

實(shí)驗(yàn)表明，M-DRN 與CNN 和ResNet 網(wǎng)絡(luò)效果相近，精度都在40%～50%之間。 經(jīng)進(jìn)一步分析發(fā)現(xiàn)，訓(xùn)練集中R2L 和U2R 兩種攻擊數(shù)量占總數(shù)據(jù)量的0.8%，而在測(cè)試集中，這兩種數(shù)據(jù)占比為44.6%。因?yàn)橛?xùn)練集的數(shù)據(jù)分布不同于測(cè)試集，模型訓(xùn)練時(shí)更加偏向頻繁的數(shù)據(jù)，導(dǎo)致總體精度較低。

圖5 模型精確度和迭代次數(shù)

為對(duì)比各模型的特征提取效果，現(xiàn)將數(shù)據(jù)集按4：1 比例重新劃分并用于訓(xùn)練集和測(cè)試集，新的數(shù)據(jù)集信息如表5 所示。

表5 劃分訓(xùn)練集信息

各模型在NewTest 上的準(zhǔn)確率如圖6 所示。

圖6 NewTest 測(cè)試準(zhǔn)確率

如圖6 所示，CNN 模型在迭代9 次和12 次的時(shí)候出現(xiàn)大幅波動(dòng)，M-DRN 和ResNet 在迭代3 次以后基本平穩(wěn)，說明殘差結(jié)構(gòu)在深層網(wǎng)絡(luò)中更穩(wěn)定。在20 輪迭代之后，M-DRN 模型比ResNet 模型提升了3.35%的準(zhǔn)確率。 本文模型在訓(xùn)練集KDDTrain+上的訓(xùn)練時(shí)間與文獻(xiàn)[2]中的RNN-IDS 處理五分類問題時(shí)的訓(xùn)練時(shí)間對(duì)比，結(jié)果如表6 所示。

經(jīng)對(duì)比，雖然本文模型在訓(xùn)練集上的準(zhǔn)確率略低于RNN-IDS 模型，但是平均每輪訓(xùn)練時(shí)間比RNN-IDS 模型少65.2%。

表6 訓(xùn)練時(shí)間對(duì)比

4 結(jié)論

本文針對(duì)深度學(xué)習(xí)應(yīng)用于入侵檢測(cè)中存在準(zhǔn)確率低和模型易過擬合問題，提出了一種改進(jìn)的殘差網(wǎng)絡(luò)模型。 將流量數(shù)據(jù)轉(zhuǎn)換成圖像形式作為模型輸入，利用多尺度的卷積充分提取數(shù)據(jù)特征，用BN和Dropout 方法防止過擬合。 通過實(shí)驗(yàn)驗(yàn)證，使用殘差結(jié)構(gòu)能夠提高深層網(wǎng)絡(luò)的穩(wěn)定性，有效防止過擬合；多尺度特征提取方法能夠提升分類效果；網(wǎng)絡(luò)收斂速度也有所提升。 但是對(duì)于數(shù)據(jù)量少的攻擊類型，本文模型泛化能力較弱。接下來的工作，將利用下采樣、smote 等方法平衡數(shù)據(jù)集，進(jìn)一步改進(jìn)本文模型。