王 禹，丁 箐，羅 弦

(中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院，安徽省 合肥市 235000)

0 引言

網(wǎng)絡(luò)犯罪每年給全球經(jīng)濟(jì)造成的損失高達(dá)5 750億美元，其中包括罪犯違法所得和遭受攻擊的公司防護(hù)和維修帶來的費(fèi)用，據(jù)說截至2019年，網(wǎng)絡(luò)犯罪帶來的損失將達(dá)到2萬億美元[1]。網(wǎng)絡(luò)入侵被定義為非法、未被授權(quán)使用和網(wǎng)絡(luò)資源被外部攻擊者利用，它是網(wǎng)絡(luò)犯罪的主要形式。為了識別和防范主機(jī)系統(tǒng)中的入侵，人們開始使用入侵檢測系統(tǒng)(IDS)[2]。檢測入侵最常見的方法是識別用戶的行為模式[3-4]，這種方法需要人工完成，而且用戶行為數(shù)據(jù)體量非常龐大，所以相當(dāng)耗費(fèi)時力。因此借助機(jī)器學(xué)習(xí)方法勢在必行。神經(jīng)網(wǎng)絡(luò)一類的機(jī)器學(xué)習(xí)算法對運(yùn)算能力要求較高，在確保效率的同時，對節(jié)省入侵檢測任務(wù)計算資源的研究具有價值。

1 文獻(xiàn)綜述

在機(jī)器學(xué)習(xí)方法檢測網(wǎng)絡(luò)入侵的問題上，文獻(xiàn)[5]用一種支持向量機(jī)(Support Vector Machine,SVM)和人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)相結(jié)合的方法做入侵檢測。ANN是一種主要用于解決分類任務(wù)的機(jī)器學(xué)習(xí)算法，它能將數(shù)據(jù)分類到其所屬的類別中，圖1演示神經(jīng)網(wǎng)絡(luò)處理信息的過程，每一層的圓圈代表神經(jīng)元，從輸入層到隱層再到輸出層的有向線段表示神經(jīng)元之間傳遞信息的過程[6]，輸出層輸出概率分布。SVM分類器使用合頁損失函數(shù)[7]找到分隔超平面(如圖2所示)，將數(shù)據(jù)點(diǎn)分為兩類，預(yù)測網(wǎng)絡(luò)數(shù)據(jù)是否異常。

圖1 SVM算法生成分離超平面

圖2 人工神經(jīng)網(wǎng)絡(luò)

考慮到網(wǎng)絡(luò)數(shù)據(jù)流具有時序特征，而循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)通常被用來分析或預(yù)測序列數(shù)據(jù)，文獻(xiàn)[8]提出了一種結(jié)合RNN和SVM的方法對樣本數(shù)據(jù)分類。具體地，使用回聲狀態(tài)網(wǎng)絡(luò) (Echo State Network,ESN)提取樣本數(shù)據(jù)特征并把SVM做為分類器，ESN作為RNN的變體，一個ESN單元工作需要大量神經(jīng)元，從而提高了計算資源的消耗。

可以發(fā)現(xiàn)，門限循環(huán)單元(Gated Recurrent Unit，GRU)對時序數(shù)據(jù)有更好的特征提取效果，降低計算復(fù)雜度的同時，克服了循環(huán)神經(jīng)網(wǎng)絡(luò)難以解決的“長期依賴”問題。綜上，本文模型使用GRU取代ESN來做入侵檢測有可靠的理論依據(jù)。

2 GRU-SVM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的模型使用GRU提取樣本數(shù)據(jù)特征，SVM分類器預(yù)測數(shù)據(jù)是否為惡意入侵，模型結(jié)構(gòu)如圖3所示。

X代表輸入的樣本數(shù)據(jù)的特征值，利用公式(1)～(4)計算每個單元的狀態(tài)，包括更新門、重置門和輸出：

zt=σ(Wz· [ht-1,xt])

(1)

rt=σ(Wr· [ht-1,xt])

(2)

ht=tanh(W· [rt*ht-1,xt])

(3)

ht=(1-zt) *ht-1+zt*ht

(4)

圖3 GRU-SVM結(jié)構(gòu)模型，n-1個GRU輸入單元，SVM分類器

其中，Wz、Wr和W代表要學(xué)習(xí)的參數(shù)矩陣,通過GRU的門限機(jī)制學(xué)習(xí)更新[9]；zt和rt分別為當(dāng)前單元的更新門和重置門,ht是當(dāng)前單元的輸出并影響下一個單元；下標(biāo)t-1代表前一個單元狀態(tài)；σ()是Sigmoid激活函數(shù)。SVM作為輸出層的分類器，參數(shù)矩陣還可以通過優(yōu)化SVM的目標(biāo)函數(shù)更新，目標(biāo)函數(shù)度量神經(jīng)網(wǎng)絡(luò)的損失，決策函數(shù)f(x)=sign(wx+b)計算并預(yù)測樣本數(shù)據(jù)是否為入侵。GRU-SVM模型可以簡述為以下幾個步驟：

(1)給GRU模型輸入數(shù)據(jù)集的特征{xj|xj∈Rm}；

(2)輸入特征值xi，計算GRU的單元狀態(tài)并更新參數(shù)矩陣；

(3)用隨機(jī)值初始化學(xué)習(xí)參數(shù)weights和biases(通過訓(xùn)練調(diào)整)；

(4)預(yù)測結(jié)果通過SVM的決策函數(shù)f(x)=sign(wx+b)計算；

(5)Adam optimizer[10]算法最小化損失函數(shù)，調(diào)整weights和biases；

(6)不斷重復(fù)整個過程直到神經(jīng)網(wǎng)絡(luò)達(dá)到設(shè)定的準(zhǔn)確率。

模型的分類器使用SVM而不使用Softmax，結(jié)合σ函數(shù)圖像如圖4所示，本文研究Softmax分類器預(yù)測類別機(jī)制。

圖4 Sigmoid函數(shù)圖像[10]

函數(shù)的導(dǎo)數(shù)值在0和1之間，隨著網(wǎng)絡(luò)層數(shù)的加深，輸出層誤差的影響越來越小，即梯度變小，同時帶來“梯度消失”現(xiàn)象，這是傳統(tǒng)模型錯誤分類的原因之一，GRU-SVM模型可以較好解決這一問題，同時能提升運(yùn)行時間。

3 實驗

3.1 數(shù)據(jù)集

京都大學(xué)honeypot系統(tǒng)[11]2013年的網(wǎng)絡(luò)數(shù)據(jù)被用做實驗數(shù)據(jù)集，它有24個可統(tǒng)計特征。其中KDD CUP 1999數(shù)據(jù)集[12]中有14個特征，另外10個特征也至關(guān)重要，本文選取其中的22個特征。

3.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)集包括了大約4.1 GB網(wǎng)絡(luò)數(shù)據(jù)流(從2013年1月1日到6月1日)。在使用實驗數(shù)據(jù)集前對特征進(jìn)行正則化-標(biāo)準(zhǔn)化的處理，如公式5，對連續(xù)數(shù)據(jù)標(biāo)準(zhǔn)化。

(5)

X是需要標(biāo)準(zhǔn)化的特征，μ是對應(yīng)特征的平均值，σ是特征的標(biāo)準(zhǔn)差。為提高效率，本文實驗使用Scikit-learn[13]中的StandardScaler().fit_transform()函數(shù)來標(biāo)準(zhǔn)化。LabelEncoder().fit_transform()函數(shù)把離散特征特征標(biāo)量化。然后用pandas[14]的qcut()函數(shù)將標(biāo)準(zhǔn)化后的值二進(jìn)制化。最后，這些特征編碼為one-hot編碼(十分位二進(jìn)制編碼)，使用谷歌機(jī)器學(xué)習(xí)開源庫TensorFlow[15]構(gòu)建神經(jīng)網(wǎng)絡(luò)模型。

第一階段，將樣本數(shù)據(jù)80%選作訓(xùn)練集，用DataFrame.drop_duplicates()函數(shù)去除重復(fù)數(shù)據(jù)；第二個階段將剩余20%數(shù)據(jù)選作測試集。本文提出的GRU-SVM模型分別在上述兩個階段的數(shù)據(jù)集上運(yùn)行，用傳統(tǒng)的GRU-Softmax模型做對比。

3.3 實驗結(jié)果

實驗參數(shù)基于文獻(xiàn)[5]的研究，包括準(zhǔn)確率、迭代輪數(shù)、損失、時間、數(shù)據(jù)點(diǎn)個數(shù)、誤報個數(shù)和漏報個數(shù)，統(tǒng)計學(xué)方法參數(shù)也被用到(真正率、真負(fù)率、假正率、假負(fù)率)。

兩個模型的超參數(shù)都通過手工賦值見表1。實驗中的兩個模型都在1 898 240行網(wǎng)絡(luò)數(shù)據(jù)流中訓(xùn)練了5輪，訓(xùn)練后的模型又運(yùn)行在420 608行的測試集上，同樣經(jīng)歷5輪迭代，訓(xùn)練集和測試集的類別分布見表2，實驗結(jié)果見表3。

表1 兩種神經(jīng)網(wǎng)絡(luò)中的超參數(shù)

表2 訓(xùn)練集測試集的類分布

表3 兩種模型的實驗結(jié)果總結(jié)

表4和表5分別是兩個模型在訓(xùn)練集和試集上的統(tǒng)計度量。

表4 兩種模型在訓(xùn)練集中分類性能的統(tǒng)計度量

表5 兩種模型在測試集中分類性能的統(tǒng)計度量

5輪迭代過后， GRU-SVM模型用了16分43秒完成訓(xùn)練達(dá)到了約91%的準(zhǔn)確率，GRU-Softmax模型達(dá)到約78%，用了17分11秒，如圖5所示。GRU-SVM模型在1分22秒完成了測試并達(dá)到約89%的準(zhǔn)確率，GRU-Softmax則用了1分40秒達(dá)到約85%，如圖6。

圖5 兩種模型在訓(xùn)練數(shù)據(jù)集的準(zhǔn)確率

圖6 兩種模型在測試數(shù)據(jù)集的準(zhǔn)確率

4 結(jié)論

實驗結(jié)果表明，在相同數(shù)據(jù)集條件下，本文提出的模型比傳統(tǒng)模型預(yù)測準(zhǔn)確率高，同時說明SVM解決二分類問題更實用，而且運(yùn)行時間更短，印證了兩種算法各自的理論時間復(fù)雜度。首先，SVM主要為解決二分類問題，只需要O(1)的計算開銷；而Softmax主要解決多類分類[16]問題，時間復(fù)雜度是O(n)級別。在提高準(zhǔn)確率和優(yōu)化效率之間均衡，本文提出的GRU-SVM模型在準(zhǔn)確率和效率上更勝一籌，對于判斷網(wǎng)絡(luò)系統(tǒng)是否有入侵行為具有重要意義，同時為追蹤入侵來源爭取了較多時間。改進(jìn)后的模型不僅可以用在入侵檢測這一領(lǐng)域，還可以用于其他一些機(jī)器學(xué)習(xí)任務(wù)中，如視頻分類、生物疾病的診斷，在理解自然語言語義[17]的研究中也具有廣闊前景。

參考文獻(xiàn)

[1] Juniper. Cybercrime will cost businesses over MYM2 Trillion by 2019[J/OL].(2015-05-15)[2017-06-22]. https://www.juniperresearch.com/press/press-releases/ cybercrime-cost-businesses-over-2trillion.

[2] PUKETZA N J, ZHANG K, CHUNG M, et al. A methodology for testing intrusion detection systems[J]. IEEE Transactions on Software Engineering, 2001, 22(10):719-729.

[3] 左軍. 基于大數(shù)據(jù)的網(wǎng)絡(luò)用戶行為分析[J]. 軟件工程, 2014(10):5-6.

[4] 周延森,汪永好.網(wǎng)絡(luò)入侵檢測系統(tǒng)模式匹配算法研究[J].計算機(jī)工程與設(shè)計, 2008, 29(7):1652-1654.

[5] MUKKAMALA S, JANOSK G, SUNG A.Proceedings of the IEEE International Joint Conference on Neural Networks, 2002, St. Louis,2002: 1702-1707.

[6] NEGNEVITSKY M.Artificial intelligence: a guide to intelligent systems (3rd ed.)[M].Pearson Education Ltd., 2011.

[7] CORTES C, VAPNIK V. Support-vector Networks[J]. Machine Learning,1995,20(3): 273-297.

[8] ALALSHEKMUBARAK A,SMITH L S. 9th International Conference on Innovations in Information Technology (IIT),IEEE,2013,2013.

[9] BOUGARES F,SCHWENK H,BENGIO Y. Learning phrase representations using RNN encoder-decoder for statistical machine translation[J]. arXiv preprint arXiv,2014:1406.1078 .

[10] KINGMA D, BA J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv,2014:1412.6980.

[11] SONG J, TAKAKURA H, OKABE Y. Description of kyoto university benchmark data [J/OL].[2017-07-17]. http://www.takakura.com/Kyoto_data/BenchmarkData-Description-v5.pdf.

[12] STOLFO S J. KDD cup 1999 dataset[Z]. 1999.

[13] PEDREGOSA F,VAROQUAUX G,GRAMFORT A,et al.Scikit-learn: machine learning in python[J]. Journal of Machine Learning Research,2011,12: 2825-2830.

[14] MCKINNEY W. Data structures for statistical computing in python[M].2010.

[15] TensorFlow:異構(gòu)系統(tǒng)上大規(guī)模機(jī)器學(xué)習(xí)庫[Z].2017.

[16] 張雨濃, 陳俊維, 劉錦榮,等.基于權(quán)值與結(jié)構(gòu)確定法的單極Sigmoid神經(jīng)網(wǎng)絡(luò)分類器[J]. 計算機(jī)應(yīng)用, 2013, 33(3):766-770.

[17] YANG Z, YANG D, DYER C, et al. Hierarchical attention networks for document classification[C]. Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2017:1480-1489.