譚敏生，彭 敏，楊帥創(chuàng)，丁 琳，吳 冕

（南華大學(xué) 計算機學(xué)院，衡陽421000）

隨著網(wǎng)絡(luò)技術(shù)的高速發(fā)展與廣泛應(yīng)用，其安全問題備受國家與社會的強烈關(guān)注。入侵檢測作為安全防范的一種重要手段，通過收集和分析計算機系統(tǒng)和用戶的事件信息，及時發(fā)現(xiàn)入侵行為，提醒管理人員采取相應(yīng)措施，采取有效的防范攻擊，減少相應(yīng)損失。在數(shù)據(jù)挖掘和機器學(xué)習(xí)理論的不斷發(fā)展下，研究人員將機器學(xué)習(xí)算法與入侵檢測相結(jié)合，以獲得更高的檢測效率和準確率。

1 入侵檢測技術(shù)的研究現(xiàn)狀

目前，基于機器學(xué)習(xí)的入侵檢測技術(shù)，主要有統(tǒng)計、聚類和分類[1]。

在基于統(tǒng)計的入侵檢測中，文獻[2]提出標準偏差歸一化熵精度分類器組合方法，利用9 個突出的分類器進行檢測，檢測率提高了3%～10%。文獻[3]提出基于非線性相關(guān)系數(shù)的入侵檢測方法，能夠準確地提取網(wǎng)絡(luò)流量記錄之間的線性和非線性相關(guān)性，能夠降低誤報率，有效區(qū)分正常和異常行為。

在基于聚類的入侵檢測中，文獻[4]提出基于K均值聚類算法，提高了入侵檢測的準確率；文獻[5]采用所改進的K 均值方法建立新的小訓(xùn)練數(shù)據(jù)集，代表整個原始訓(xùn)練數(shù)據(jù)集，大大縮短了分類器的訓(xùn)練時間，提高了入侵檢測系統(tǒng)的性能。文獻[6]將K最近鄰KNN（k-nearest neighbor）和支持向量機SVM（support vector machine）相結(jié)合來檢測攻擊。

在基于分類的入侵檢測中，文獻[7]將支持向量機分類算法應(yīng)用于入侵檢測；文獻[8]提出了基于K均值聚類和序列最小優(yōu)化分類相結(jié)合的混合機器學(xué)習(xí)入侵檢測技術(shù)。文獻[9]提出了基于機器學(xué)習(xí)的分類器來提高精確率。

然而，上述方法會隨著數(shù)據(jù)維數(shù)的不斷提高，丟失部分數(shù)據(jù)之間的隱形相關(guān)性，忽略一些有效的特征。近年來，深度學(xué)習(xí)已經(jīng)成為當今研究的一個熱點，深度神經(jīng)網(wǎng)絡(luò)等多種深度學(xué)習(xí)算法已經(jīng)逐步應(yīng)用于入侵檢測中，取得了較好的效果。文獻[10]提出了5 層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的檢測模型，將輸出類別分成4 種情況并進行分析。文獻[11]提出了基于多層人工神經(jīng)網(wǎng)絡(luò)和智能特征選擇的入侵檢測算法。文獻[12]將人工神經(jīng)網(wǎng)絡(luò)作為分類器對網(wǎng)絡(luò)中的數(shù)據(jù)包進行分類，同樣取得了不錯的檢測效果；文獻[13]利用遺傳優(yōu)化神經(jīng)網(wǎng)絡(luò)的入侵特征選取，進一步提高了網(wǎng)絡(luò)入侵檢測準確率。

然而，基于深度神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于入侵檢測領(lǐng)域時，其檢測性能易受權(quán)重、閾值、學(xué)習(xí)率的影響，導(dǎo)致準確率下降。在此，利用遺傳算法強大的全局尋優(yōu)能力，對文獻[14]提出的基于NDNN 的入侵檢測系統(tǒng)進行優(yōu)化，通過遺傳算法的選擇、交叉和變異等操作，對深度神經(jīng)網(wǎng)絡(luò)的各隱藏層數(shù)目、學(xué)習(xí)率以及訓(xùn)練次數(shù)進行尋優(yōu)。

2 深度神經(jīng)網(wǎng)絡(luò)分析

2006年Hinton[14]提出了深度神經(jīng)網(wǎng)絡(luò)DNN（deep neural network）算法。該算法具有更深的隱藏層數(shù)及神經(jīng)元數(shù)，在處理大規(guī)模數(shù)據(jù)方面與淺層神經(jīng)網(wǎng)絡(luò)相比，能充分對數(shù)據(jù)特征進行非線性的映射，進一步挖掘各個特征之間的聯(lián)系，提高特征提取的準確度。假定深度神經(jīng)網(wǎng)絡(luò)模型由1 個輸入層、1 個輸出層和2 個隱藏層所構(gòu)成，如圖1所示。

圖1 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Deep neural network structure

圖中，輸入層、輸出層分別有n 和r 個神經(jīng)元；隱藏層1 和隱藏層2 分別具有m 和a 個神經(jīng)元；w1為輸入層與隱藏層1 之間的權(quán)重；w2為隱藏層1 與隱藏2 之間的權(quán)重；w3為隱藏層2 與輸出層之間的權(quán)重。

在前向傳遞中，假設(shè)：

x=［x1，x2，…，xn-1，xn］為輸入層輸入向量；

yb=［yb1，yb2，…，ybr］為輸出層輸入向量；

gb=［gb1，gb2，…，gbm］為隱藏層1 的輸入向量，

go=［go1，go2，…，gom］為隱藏層1 的輸出向量；

hb=［hb1，hb2，…，hbn］為隱藏層2 的輸入向量，

ho=［ho1，ho2，…，hon］為隱藏層2 的輸出向量。

w1is為輸入層與隱藏層1 之間的權(quán)重，bs為隱藏層1 各個神經(jīng)元的閾值，其中i=1，2，…，n；s=1，2，…，m。

w2su為隱藏層1 與隱藏層2 之間的權(quán)重，bu為隱藏層2 各個神經(jīng)元閾值，其中s=1，2，…，m；u=1，2，…，a。

w3uj為隱藏層2 與輸出層之間的權(quán)重，bj為輸出層個神經(jīng)元的閾值，其中u=1，2，…，a；j=1，2，…，r。

f（.）為激活函數(shù)，k 為樣本中第k 個數(shù)據(jù)。

則有以下計算公式：

在反向傳遞中，因為輸出層與真實值之間會存在一定的誤差，所以通過誤差函數(shù)來刻畫預(yù)測值和真實值之間的誤差。輸入值往往是固定不變的，誤差的調(diào)節(jié)需要通過對每個輸出神經(jīng)元對應(yīng)的權(quán)重和閾值進行。

式中：δj（k）為誤差函數(shù)對輸出層各神經(jīng)元求偏導(dǎo)的值；δu（k）為誤差函數(shù)對隱藏層2 各神經(jīng)元求偏導(dǎo)的值；δs（k）為誤差函數(shù)對隱藏層1 各神經(jīng)元求偏導(dǎo)的值；w3ju為輸出層和隱藏層2 調(diào)整的Δ權(quán)重值；w2us為隱藏層2 和隱藏1 調(diào)整的權(quán)重值；為隱藏層1 和輸入層的調(diào)整權(quán)重值；bj（k）為輸出層閾值的調(diào)整值；bu（k）為隱藏層2 閾值的調(diào)整值；bs（k）為隱藏層1 閾值的調(diào)整值；η 為學(xué)習(xí)率。

由上式可知，隱藏層神經(jīng)元個數(shù)可以決定深度神經(jīng)網(wǎng)絡(luò)的權(quán)重和閾值，從而決定正向傳播階段學(xué)習(xí)和反向?qū)W習(xí)階段的性能。而在神經(jīng)網(wǎng)絡(luò)的反向誤差調(diào)整中，學(xué)習(xí)率的取值和隱藏層神經(jīng)元個數(shù)同樣可以影響網(wǎng)絡(luò)的收斂速度和訓(xùn)練結(jié)果的好壞。

3 基于遺傳算法的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化算法

在此所提出的基于遺傳算法的深度神經(jīng)網(wǎng)優(yōu)化算法GAODNN（genetic algorithm optimization deep neural network），利用遺傳算法強大的全局隨機搜索能力及深度神經(jīng)網(wǎng)絡(luò)挖掘特征聯(lián)系能力，克服了深度神經(jīng)網(wǎng)絡(luò)中權(quán)重、閾值和學(xué)習(xí)率對網(wǎng)絡(luò)學(xué)習(xí)的影響和陷入局部最優(yōu)問題。

3.1 染色體編碼

在此將深度神經(jīng)網(wǎng)絡(luò)的各隱藏層神經(jīng)元、學(xué)習(xí)率和訓(xùn)練次數(shù)作為遺傳算法的種群，然后通過浮點數(shù)編碼的方式進行編碼，各隱藏層神經(jīng)元的區(qū)間范圍為［1，100］，訓(xùn)練次數(shù)的區(qū)間范圍為［1，50］，學(xué)習(xí)率的區(qū)間范圍為［0.00001，0.05］。

3.2 適應(yīng)度函數(shù)

適應(yīng)度函數(shù)是遺傳算法評價各個個體好壞的依據(jù)，往往會將適應(yīng)度高的個體進行下一代遺傳操作。在此將神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測后，使用二分類交叉熵作為損失函數(shù)，用所得到的準確率來定義適應(yīng)度函數(shù)，公式為

3.3 選擇、交叉和變異算子

選擇算子是將當前種群中選擇好的個體作為父代將基因傳給下一代。在此使用錦標賽選擇tournament selection 算法作為遺傳算法的選擇策略。該算法具有更小的復(fù)雜度，易并行化處理，不容易陷入局部最優(yōu)，并且不需要對所有適應(yīng)度值進行排序處理。

交叉算子使用洗牌交叉算法，在交叉之前在父代中利用random.shuffle 函數(shù)進行洗牌運算，然后當在（0，1）之間產(chǎn)生的隨機數(shù)小于所給的交叉率大小，則進行交叉變換。

在變異算子中，當在（0，1）之間產(chǎn)生的隨機數(shù)小于所給的變異率大小，則進行變異操作。其中隱藏層神經(jīng)元個數(shù)、學(xué)習(xí)率和訓(xùn)練次數(shù)變異的規(guī)則為

式中：c.lr 為種群中的學(xué)習(xí)率；c.maxe 為種群中的訓(xùn)練次數(shù)；c.Li為種群中隱藏層神經(jīng)元個數(shù)，i=［1，2，…］。

3.4 GAODNN 算法描述

在此給出GAODNN 算法描述。

4 基于優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的入侵檢測算法

根據(jù)GAODNN，提出了一種基于優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的入侵檢測算法GAODNN-IDA （genetic algo rithm optimization deep neural network intrusion detection algorithm）。利用遺傳算法的全局尋優(yōu)能力和深度神經(jīng)網(wǎng)絡(luò)的特征提取能力，對入侵數(shù)據(jù)進行檢測，將通過GAODNN 算法獲得的DNN 各隱藏層神經(jīng)元數(shù)、學(xué)習(xí)率以及訓(xùn)練次數(shù)，更新到基于深度神經(jīng)網(wǎng)絡(luò)的入侵檢測算法中，并重新進行訓(xùn)練測試，通過對攻擊數(shù)據(jù)和正常數(shù)據(jù)進行學(xué)習(xí)來判斷入侵數(shù)據(jù)的屬性。在此給出了GAODNN-IDA 算法描述。

5 試驗

5.1 數(shù)據(jù)預(yù)處理

試驗數(shù)據(jù)采用KDD CUP99 網(wǎng)絡(luò)入侵數(shù)據(jù)集，該數(shù)據(jù)集約有500 萬條連接數(shù)據(jù)記錄，每一條數(shù)據(jù)記錄包含41 個特征屬性和1 個類標簽屬性，數(shù)據(jù)集包含4 種攻擊類型和1 種正常數(shù)據(jù)標簽。部分數(shù)據(jù)記錄如下：

0，tcp，http，SF，239，304，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，10，20，0.00，0.00，0.00，0.00，1.00，0.00，0.20，121，255，1.00，0.00，0.01，0.04，0.00，0.00，0.00，0.00，normal.

0，icmp，ecr_i，SF，1032，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，511，511，0.00，0.00，0.00，0.00，1.00，0.00，0.00，255，255，1.00，0.00，1.00，0.00，0.00，0.00，0.00，0.00，smurf.

0，tcp，http，SF，54540，8314，0，0，0，2，0，1，1，0，0，0，0，0，0，0，0，0，3，3，0.00，0.00，0.00，0.00，1.00，0.00，0.00，100，100，1.00，0.00，0.01，0.00，0.01，0.01，0.01，0.01，back.

將“kddcup.data_10_percent_corrected”數(shù)據(jù)用做訓(xùn)練數(shù)據(jù)，將“orrected”數(shù)據(jù)用做測試數(shù)據(jù)，見表1。

表1 KDD 數(shù)據(jù)類型Tab.1 KDD data types

由于KDD CUP99 數(shù)據(jù)集的每一個連接都由41 維特征組成，樣本數(shù)據(jù)集數(shù)據(jù)非常多，因此需要從中選擇合理的數(shù)據(jù)進行試驗分析。文中試驗根據(jù)文獻[15]所提出觀點，將對決策判定沒有任何作用的屬性刪除，即刪除數(shù)據(jù)集中l(wèi)and，urgent，su_attempted，num_outbound_cmds，is_hot_login 這5 項屬性。由于該數(shù)據(jù)集每一條正?；蛘弋惓?shù)據(jù)記錄都包含41 個特征屬性，大部分特征數(shù)據(jù)是數(shù)值型的，但協(xié)議名、網(wǎng)絡(luò)服務(wù)類型和flag 標志位為非數(shù)值型，為了便于深度神經(jīng)網(wǎng)絡(luò)計算與處理，將這些非數(shù)值數(shù)據(jù)進行數(shù)值化編碼。例如，對于protocol_typr 特征，其包含3 個符號即tcp，udp，icmp，將其編碼為0，1，2。同理，對網(wǎng)絡(luò)服務(wù)類型和flag 標志位進行相應(yīng)的數(shù)值化處理。為了讓深度神經(jīng)網(wǎng)絡(luò)更容易訓(xùn)練，收斂速度更快，對所有的數(shù)據(jù)按照式（15）進行歸一化處理：

式中：Mmin為某一列中最小的值；Mmax為某一列中最大的值；y 為需要歸一化的值。

5.2 試驗環(huán)境

試驗在臺式計算機上完成。計算機配置如下：Inter3.50 GHz 處理器，128 GB 內(nèi)存，64 位Windows 10 操作系統(tǒng)；編程工具為基于TensorFlow 的Keras。遺傳算法相關(guān)參數(shù)設(shè)置和深度神經(jīng)網(wǎng)絡(luò)優(yōu)化參數(shù)見表2，其中所有隱藏數(shù)目一致。

表2 遺傳算法相關(guān)參數(shù)和深度神經(jīng)網(wǎng)絡(luò)優(yōu)化參數(shù)Tab.2 Genetic algorithm related parameters and DNN optimization parameters

5.3 試驗及結(jié)果分析

入侵檢測指標主要有準確率AR（accuracy rate）、檢測率DR（detection rate）和誤報率FAR（flase alarm rate）。通過這3 個指標可以知道入侵檢測方法的性能。指標的計算方法如下：

式中：TP為真正（true positive）；TN為真負（true negative）；FP為假正（false positive）；FN為假負（false negative）。

5.3.1 GAODNN-IDA 與其他DNN 的比較

為驗證本文所提算法的有效性，首先給出6 種深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，隱藏層數(shù)為3 層和4 層，輸入層和輸出層都為1，見表3。然后，利用遺傳算法對深度神經(jīng)網(wǎng)絡(luò)模型進行優(yōu)化，并利用入侵檢測數(shù)據(jù)集進行測試。所有的深度神經(jīng)網(wǎng)絡(luò)模型都采用relu 函數(shù)作為激活函數(shù)，該函數(shù)是一種非線性函數(shù)，可以減少采用其他激活函數(shù)導(dǎo)致計算量大的問題，有助于提高深層神經(jīng)網(wǎng)絡(luò)的收斂速度，降低梯度消失，加快訓(xùn)練速度，計算公式如下：

表3 深度經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.3 DNN structure parameters

所有深度神經(jīng)網(wǎng)絡(luò)模型都采用Adam 優(yōu)化器，該優(yōu)化器可以替代傳統(tǒng)隨機梯度下降過程的一階優(yōu)化算法，實現(xiàn)高效的計算，適合大規(guī)模數(shù)據(jù)；使用“binary_crossentropy”作為損失計算函數(shù)。得到的檢測結(jié)果如果見表4。

表4 GAODNN-IDA 與DNN 性能對比Tab.4 GAODNN-IDA and DNN performance comparison

由表4可知，經(jīng)過遺傳算法優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于入侵檢測，其準確率和檢測率有一定提升，誤報率有一定降低。

5.3.2 GAODNN 與其他機器學(xué)習(xí)算法的比較

將本文GAODNN3-IDA 算法與典型機器學(xué)習(xí)算法應(yīng)用于入侵檢測并進行對比，所用數(shù)據(jù)集同樣經(jīng)過預(yù)處理過程，檢測結(jié)果見表5。

表5 GAODNN3-IDA 與其他典型機器學(xué)習(xí)算法的性能比較Tab.5 Performance comparison between GAODNN3-IDA and other typical machine learning

由表可知，GAODNN3-IDA 算法的準確率和檢測率明顯高于其他典型機器學(xué)習(xí)算法，誤報率明顯低于其他典型機器學(xué)習(xí)算法。因此，所提出的GAODNN3-IDA 算法明顯優(yōu)于其他幾種典型機器學(xué)習(xí)算法。

6 結(jié)語

深度神經(jīng)網(wǎng)絡(luò)算法應(yīng)用于入侵檢測領(lǐng)域，其檢測性能與隱藏層的權(quán)重、 閾值和學(xué)習(xí)率密切相關(guān)。本文利用遺傳算法強大的全局尋優(yōu)能力，通過遺傳算法的選擇、交叉和變異等操作獲得最優(yōu)隱藏層神經(jīng)元數(shù)和學(xué)習(xí)率來優(yōu)化深度神經(jīng)網(wǎng)絡(luò)；將優(yōu)化后的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于入侵檢測，對入侵數(shù)據(jù)進行學(xué)習(xí)和識別。與BP神經(jīng)網(wǎng)絡(luò)、決策樹、支持向量機等算法相比，本文算法對入侵數(shù)據(jù)檢測的準確率、 檢測率有明顯提高，誤報率有明顯降低。