譚繼安 關繼夫

1(東莞職業(yè)技術學院 廣東 東莞 523808)2(廣東醫(yī)科大學教育技術與信息中心 廣東 東莞 524023)

0 引 言

隨著互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)的蓬勃發(fā)展，網(wǎng)絡金融、網(wǎng)絡購物等已經(jīng)成為人們工作與日常生活中必不可少的一部分，因此網(wǎng)絡安全是當前社會與國家安全的重中之重[1]。網(wǎng)絡入侵檢測系統(tǒng) IDS(Intrusion Detection Systems)[2-3]作為一種有效的安全防御機制，能夠快速地檢測出網(wǎng)絡攻擊，已經(jīng)成為了網(wǎng)絡安全領域的研究熱點。目前的IDS系統(tǒng)主要可分為如下幾種類型[4]：基于統(tǒng)計分析的系統(tǒng)、基于規(guī)則的系統(tǒng)、基于人工神經(jīng)網(wǎng)絡的系統(tǒng)、基于數(shù)據(jù)挖掘的系統(tǒng)、基于條件概率的系統(tǒng)、基于模式檢測的系統(tǒng)、基于免疫系統(tǒng)的系統(tǒng)。智能計算具有高適應性、高容錯性以及高計算效率的優(yōu)點[5]，所以人工神經(jīng)網(wǎng)絡、模糊系統(tǒng)、演化算法、人工免疫系統(tǒng)、粒計算等算法在入侵檢測系統(tǒng)中獲得了深入的研究與廣泛的應用。

在諸多的智能計算中，人工神經(jīng)網(wǎng)絡(ANNArtificial Neural Network)在IDS系統(tǒng)中的應用最為廣泛[6-8]，此類方案一般先對網(wǎng)絡數(shù)據(jù)集進行標準化處理，隨之通過降維處理以確定主分量的特征數(shù)，最后將處理完成后的數(shù)據(jù)集輸入到神經(jīng)網(wǎng)絡中進行檢測?；谏窠?jīng)網(wǎng)絡的入侵檢測系統(tǒng)比傳統(tǒng)機器學習技術具有更高的準確率，但是神經(jīng)網(wǎng)絡的訓練時間較長，并且訓練的特征集存在較多的冗余與噪聲[7-8]。冗余特征與不相關特征會導致IDS的計算時間增加并且影響檢測準確率，因此許多研究人員融合其他的智能計算方法對特征集進行優(yōu)化[9-10]，從而提高IDS的性能，例如：機器學習、貝葉斯算法、自然啟發(fā)式算法、種群智能算法以及免疫系統(tǒng)。

根據(jù)國內(nèi)外研究人員的成果，IDS中數(shù)據(jù)集特征的優(yōu)化已經(jīng)成為決定IDS性能的關鍵因素[11]。本文提出了一種高效率、高準確率的IDS，其中引入了人工蜂群算法ABC(Artificial Bee Colony)[12]刪除冗余與噪聲的特征。采用模糊C-means分類技術FCM(Fuzzy C-Means)劃分訓練數(shù)據(jù)集，采用基于相關性的特征選擇CFS(Correlation-based Feature Selection)刪除非相關的特征。實驗結(jié)果表明，該系統(tǒng)實現(xiàn)了較高的檢測性能，并且實現(xiàn)了較高的計算效率。

1 系統(tǒng)設計

ABC的尋優(yōu)過程具有較高的隨機性，其中新食物源的適應度是否優(yōu)于當前食物源的概率相等，所以ABC無法保證始終獲得最優(yōu)的食物源。此外，ABC的探測能力受選擇機制的影響較大，并且搜索速度較慢。本文對ABC進行了改進，提高IDS的檢測準確率與計算效率。IDS的結(jié)構(gòu)為：(1) 劃分訓練數(shù)據(jù)集；(2) 特征選擇；(3) 規(guī)則生成；(4) 訓練混合分類器；(5) 基于ABC生成分類規(guī)則集。

1.1 基于FCM劃分訓練數(shù)據(jù)集

劃分訓練數(shù)據(jù)集能夠有效地降低記錄的數(shù)量與復雜度。模糊C-Means算法的分類效果較好并且易于實現(xiàn)，同時文獻[13]證明基于距離的分類技術對于噪聲具有魯棒性，因此采用模糊C-Means算法降低IDS的計算復雜度。該算法的目標是最小化以下的目標函數(shù)：

(1)

(2)

(3)

迭代程序的結(jié)束條件如下式定義：

(4)

1.2 基于相關性的特征選擇

CFS的速度快于基于封裝的特征選擇方案，適合處理大規(guī)模的網(wǎng)絡安全問題。本方法使用基于相關性的特征選擇方法，提取的特征集中包含類內(nèi)相關性高、類外相關性低的特征。

CFS的目標是提取最優(yōu)的特征子集，CFS一般需要融入其他的搜索技術，包括：前向選擇處理、后向消除處理、雙向搜索處理等。CFS的公式定義為：

(5)

表1 CFS特征選擇模型對UNS2-NB15與 NSL-KDD數(shù)據(jù)集選擇的特征

1.3 基于CART生成規(guī)則

NSL-KDD的訓練集中包含67 343個正常記錄與58 630個異常記錄，將輸入數(shù)據(jù)分為標定數(shù)據(jù)與數(shù)值數(shù)據(jù)，采用量化的特征生成規(guī)則。從數(shù)據(jù)集的41個特征中選出Flag、Src_bytes、Dst_bytes、Logged_in、Srv_serror_rate、Diff_srv_rate特征將流量分離，生成精簡的規(guī)則集。Flag為一個類別特征，包含了11個屬性，因此需要在預處理步驟將該特征轉(zhuǎn)化為數(shù)值。例如：Flag為RSTOS0，那么該網(wǎng)絡行為被識別為異常行為。Srv_serror_rate、DF、Src_bytes與Dst_bytes的不同取值也會對異?；蛘哒Ｐ袨榈呐袛喈a(chǎn)生影響。因此，需要通過一個有效的規(guī)則生成機制來支持不同的特征組合。CART[15]基于二值遞歸分類與信息理論而實現(xiàn)，能夠處理多類型數(shù)據(jù)集，該技術采用一個統(tǒng)計檢驗技術識別重要的特征，從而識別網(wǎng)絡流量的異常行為。

基于類別數(shù)據(jù)生成的規(guī)則可以區(qū)分正常行為與異常行為，然后，根據(jù)數(shù)值識別攻擊的類型。將正常行為劃分為Ki個區(qū)間，從而減少計算時間。Ki的最小值與最大值分別表示為Kimin與Kimax，因此Kvalue所有的可能值計算為下式：

Kvalue={N/2, (N-1)/2, (N-2)/2,…, 4/2}

(6)

式中：N表示數(shù)據(jù)集的一次觀察，并且K>1，N≥4。式(6)的子區(qū)間提高了正常、異常劃分的準確率，并且降低了漏檢率。將[Kimin,Kimax]區(qū)間的記錄劃分為正常記錄，否則劃分為異常記錄。

1.4 混合ABC-AFC分類器算法

1.4.1 人工蜂群算法(ABC)

人工蜂群算法是一種基于種群的優(yōu)化程序，該算法共有三種蜂群類型，分別為雇傭蜂、觀察蜂、偵察蜂，雇傭蜂在食物源附近搜索食物源，選擇合適的食物源，并且與觀察蜂分享食物的信息。如果雇傭蜂放棄它們的食物源，那么這些雇傭蜂變?yōu)閭刹旆淙ニ阉餍率澄镌?，每個食物源的位置即為優(yōu)化問題的一個可行解。ABC算法的前半部分蜂群為雇傭蜂，后半部分為觀察蜂，解的數(shù)量等于雇傭蜂或者觀察蜂的數(shù)量。該算法的流程如下所示：

初始化階段：生成一個隨機分布的初始化種群。食物源的初始化方式如下所示，其中xi={xi1,xi2,…,xiD}為第i個解，D為解的維度。

xi=li+rand(0,1)×(ui-li)

(7)

式中:ui與li分別為目標函數(shù)解i的最大邊界與最小邊界，xi表示一個D維向量。

雇傭蜂階段：每個雇傭蜂采集一個食物源的蜂蜜。該階段的雇傭蜂可根據(jù)實際的觀察情況與舊食物源的記憶庫修改其位置。食物源的更新方法如下式所示：

vmi=xmi+φmi(xmi-xki)

(8)

式中:i∈{1,2,…,D}，k為{1,2,…,BN}內(nèi)的一個隨機值，m為解的維度，BN為種群數(shù)量，φmi為[-1,1]區(qū)間的一個隨機數(shù)，vmi為新食物源的位置。每個候選食物源的適應度函數(shù)如下式所示：

(9)

式中:fi表示第i個解的目標值。將新食物源與舊食物源的適應度進行比較，采用貪婪策略選擇最優(yōu)的食物源。

觀察蜂階段：觀察蜂通過搖擺舞獲取高質(zhì)量的食物源信息，搖擺舞中包含了食物源的方向與蜂蜜量等信息。食物源的質(zhì)量計算為下式：

(10)

式中:fiti表示食物源i的適應度，SN為食物源的數(shù)量。

偵察：如果雇傭蜂放棄其食物源則變?yōu)閭刹旆?。雇傭蜂忽略低質(zhì)量的食物源，通過式(7)尋找新的食物源。

1.4.2 人工魚群算法(AFS)

AFS是一種仿真魚群協(xié)同行為的人工智能算法[16]。該算法的優(yōu)點有：收斂速度快、靈活性高、魯棒性強、搜索可行解的速度快。AFS算法共包括兩個部分的變量與函數(shù)。算法中X=(x1,x2,…,xn)表示人工魚群的當前狀態(tài)，對應于問題的解，Y=f(x)表示食物源魚群的集中程度，其中Y為目標函數(shù)。步長(Step)表示人工魚每次移動的距離，可見距離(Visual)表示人工魚的可見距離。Xv表示人工魚可見的區(qū)域，try_number表示覓食行為的最大迭代次數(shù)，δ(0<δ<1)表示擁擠因子。圖1所示是人工魚群算法各個要素之間的關系。

圖1 人工魚群算法各個要素之間的關系

AFS算法仿真了魚群的覓食行為、聚群行為與追尾行為。

覓食行為：假設Xi為人工魚群的當前狀態(tài)，Xj為可見距離內(nèi)隨機選擇的一個新狀態(tài)，Xj的計算方法為：

Xj=xi+Visual·Rand()

(11)

可見距離Visual表示Xi的可見范圍,Rand()函數(shù)表示取[0,1]區(qū)間的一個隨機數(shù)。

如果新的位置優(yōu)于當前位置，即Yi

(12)

如果在移動try_number次步長之后仍然未能滿足條件，那么人工魚在可見距離內(nèi)隨機移動一個步長，具體方法為：

(13)

式中:Rand()表示[0,1]區(qū)間的一個隨機值。

聚群行為：假設Xi是一個人工魚的當前狀態(tài)，Xc是當前可見范圍的中心，nf是當前可見范圍內(nèi)的人工魚數(shù)量。如果Yc﹥Yi，Yc/nf﹥δYi，則表示當前可見范圍內(nèi)中心的食物濃度高于當前的狀態(tài)，并且該食物源的魚群并不擁擠，然后人工魚根據(jù)下式向中心移動一個步長；否則，重復覓食的行為，覓食行為定義為下式：

(14)

追尾行為：假設Xi為一個人工魚的當前狀態(tài)，Xmax為當前可見范圍內(nèi)具有最大食物濃度的人工魚，nf為當前可見范圍內(nèi)的人工魚數(shù)量。如果Yj>Yi，并且Ymax/nf>δYi，則說明Xmax的食物濃度高于當前狀態(tài)，并且該食物并不稠密，然后人工魚根據(jù)下式向Xmax移動一個步長；否則，重復覓食的行為，覓食行為定義為下式：

(15)

行為選擇：聚群行為與追尾行為有助于人工魚識別出最優(yōu)解。因此，人工魚需要通過一定策略選擇合適的行為。

1.4.3 改進的ABC方法

人工蜂群算法與人工魚群算法均為智能種群優(yōu)化算法。ABC算法中pxki與φmi是兩個隨機值，因此ABC具有一定的隨機性，但是新食物源的適應度高于或者低于之前食物源的概率相等，所以ABC無法保證始終獲得最優(yōu)的食物源。此外，ABC的探測能力受選擇機制的影響較大，并且搜索速度較低。人工魚群算法根據(jù)魚群擁塞度決定人工魚的移動方向，并且防止早熟收斂，擁塞度評估機制保證人工魚無法游向稠密的食物源，但是，人工魚群算法的局部探測能力較弱。在網(wǎng)絡的注入攻擊檢測問題中，食物與注入攻擊對應，食物的密度與攻擊量對應，蜂蜜表示攻擊對網(wǎng)絡agent的行為。算法1所示是混合算法的偽代碼。

算法1改進的ABC算法

1. 創(chuàng)建ABC的初始化種群。2. 啟動人工蜂搜索最優(yōu)食物源。3. 基于AFS算法開始人工蜂搜索程序。4. FOREACH (當前位置的每個人工魚Xi) {5. n=0;//人工魚搜索新的食物源;6. WHILE (n < try_number) {7. 人工魚選擇Xj作為新位置;8. IF (新位置優(yōu)于舊位置) {9. 人工魚移動一個步長;10. GOTO 第18行;11. }ELSE{12. n=n+1;13. }14. }15. IF (人工魚無法找到最優(yōu)位置) {16. 隨機選擇可見距離內(nèi)的一個位置;17. }18. 人工蜂與觀察蜂分享食物源信息。//搖擺舞19. 觀察蜂選擇較優(yōu)的空間。20. }

算法的第1階段，通過式(7)隨機地生成初始化食物種群，然后，釋放雇傭蜂搜索高質(zhì)量的食物源，每個人工蜂運行AFS算法搜索食物源。假設Xi為人工魚的當前位置，在人工魚的可見區(qū)域內(nèi)隨機選擇一個位置。如果新位置Xj優(yōu)于當前位置，即Yi

1.5 基于改進ABC算法的分布式IDS系統(tǒng)

圖2所示是本IDS系統(tǒng)的基本框架。具體步驟如下：

圖2 本文分布式IDS系統(tǒng)的基本框架

步驟1預處理訓練數(shù)據(jù)集。

步驟2使用FCM生成不同的訓練子集。

步驟3為每個訓練子集創(chuàng)建一個初始化種群。

步驟4采用CFS特征選擇算法處理每個種群，刪除種群的噪聲特征與冗余特征。

步驟5為步驟2生成的每個子集產(chǎn)生規(guī)則集，這些規(guī)則集融合組成最終的規(guī)則集。

步驟6運行改進的ABC算法。

步驟7通過規(guī)則集訓練改進的ABC算法。

步驟8計算FP、FN、TP、TN參數(shù)。

步驟9使用FP、FN、TP、TN計算檢測精度。

步驟10測試加載的數(shù)據(jù)集。

步驟11比較計算的結(jié)果。

2 實驗結(jié)果與分析

2.1 性能指標

采用檢出率DR(Detection Rate)、虛警率FAR(False Alarm Rate)與檢測精度DA(Detection Accuracy)三個指標評估網(wǎng)絡入侵檢測系統(tǒng)的性能，DR表示異常行為被正確分類為異常的比例，F(xiàn)AR表示正常、異常行為被錯誤分類的比例，檢測精度表示正常、異常行為均被正確分類的比例。DR、FAR、DA三個指標的計算方法分別如下式所示：

(16)

(17)

(18)

(19)

(20)

式中:FN表示異常行為被錯誤分類為正常行為的百分比，TN表示正常行為被正確分類為正常行為的百分比，TP表示異常行為被正確分類為異常行為的百分比，F(xiàn)P表示正常行為被錯誤分類為異常行為的百分比。

2.2 仿真環(huán)境與實驗數(shù)據(jù)集

在NetBeans IDE 8.1環(huán)境下使用JAVA語言開發(fā)本系統(tǒng)，采用Weka 3.8軟件允許系統(tǒng)的CFS特征選擇算法。實驗環(huán)境為windows7 64位操作系統(tǒng)，Intel Core i7處理器，8 GB內(nèi)存。

采用NSL-KDD與UNSW-NB15[17]兩個數(shù)據(jù)集作為benchmark數(shù)據(jù)集。NSL-KDD數(shù)據(jù)集解決了KDD99數(shù)據(jù)集中存在的固有問題，NSL-KDD數(shù)據(jù)集由于缺少基于入侵檢測網(wǎng)絡的公共數(shù)據(jù)集，所以NSL-KDD數(shù)據(jù)集并非現(xiàn)有真實網(wǎng)絡的完美代表。但NSL-KDD仍然作為有效的基準數(shù)據(jù)集，幫助研究人員比較不同的入侵檢測方法。UNSW-NB15綜合數(shù)據(jù)集能夠很好地反映當今網(wǎng)絡環(huán)境下的流量特征，并且包括了豐富且全面的入侵檢測數(shù)據(jù)，因此該數(shù)據(jù)集能夠很好地評估IDS的性能。

表2所示是IDS參數(shù)的取值情況。

表2 仿真參數(shù)與相關取值

2.3 實驗結(jié)果與討論

將本方法與其他IDS進行了比較。表3所示是本系統(tǒng)對于NSL-KDD訓練集與測試集的檢測準確率平均值、最小值與最大值，該實驗從NSL-KDD數(shù)據(jù)集隨機選擇樣本進行實驗。

表3 本系統(tǒng)對NSL-KDD訓練集與測試集的檢測 精度平均值、最小值與最大值

UNSW-NB15數(shù)據(jù)集能夠反映真實攻擊的網(wǎng)絡環(huán)境，從該數(shù)據(jù)集選擇不同規(guī)模的數(shù)據(jù)集作為實驗數(shù)據(jù)集，文件數(shù)量從60 000到220 000。每個數(shù)據(jù)集中選擇65%樣本作為訓練集，剩下的35%作為測試集，將式(6)的Kvalue值分別設為2、4、6、8、10。圖3(a)與圖3(b)所示分別為不同K值條件下本系統(tǒng)對于NSL-KDD與UNSW-NB15兩個數(shù)據(jù)集的性能結(jié)果，性能指標分別包括：DR、準確率DA、FAR。從圖中可看出，K值對性能指標具有直接的影響，UNSW-NB15數(shù)據(jù)集實驗中K值從2增至10，DR與DA指標均明顯升高，而FPR則明顯下降。NSL-KDD數(shù)據(jù)集實驗中K值從2增至10，DR與DA指標均明顯升高，而FPR則明顯下降。

(a) NSL-KDD數(shù)據(jù)集

(b) UNSW-NB15數(shù)據(jù)集圖3 不同K值條件下本系統(tǒng)對于NSL-KDD與 UNSW-NB15兩個數(shù)據(jù)集性能結(jié)果

為了評估本IDS系統(tǒng)對攻擊行為的分析能力，統(tǒng)計了不同K值情況下NSL-KDD與UNSW-NB15數(shù)據(jù)集各種攻擊類型的DR值，分別如圖4(a)和圖4(b)所示。對于UNSW-NB15數(shù)據(jù)集，正常記錄與異常記錄的DR值區(qū)間分別為42.6%～92.8%， 對于NSL-KDD數(shù)據(jù)集，正常記錄與異常記錄的DR值區(qū)間分別為93.7%與100%。

(a) NSL-KDD數(shù)據(jù)集

(b) UNSW-NB15數(shù)據(jù)集圖4 不同K值情況下NSL-KDD與UNSW-NB 15數(shù)據(jù)集各種攻擊類型的DR值

2.4 與其他算法的比較

將本系統(tǒng)與其他IDS系統(tǒng)進行比較，分別為：FSVM[18]、MDWT[19]、DMM[20]、CVT[21]與PBIL-AIS[22]。圖5(a)和圖5(b)所示分別為IDS系統(tǒng)對于UNSW-NB15數(shù)據(jù)集的實驗結(jié)果。綜合兩圖的結(jié)果可看出，本系統(tǒng)的DR結(jié)果優(yōu)于其他5個IDS系統(tǒng)，文獻[22]中分析認為無法獲得PBIL-AIS的虛警率值，所以將本系統(tǒng)與其他4個IDS系統(tǒng)比較，結(jié)果顯示本系統(tǒng)的虛警率結(jié)果優(yōu)于其他4個IDS系統(tǒng)。

(a) DR值

(b) 虛警率值圖5 6個IDS系統(tǒng)對于UNSW-NB15數(shù)據(jù)集的實驗結(jié)果

2.5 計算復雜度分析

計算復雜度與時間成本是IDS的另一個關鍵性能指標。本文的IDS系統(tǒng)共有5個步驟組成。① FCM的計算復雜度為O(ns2D)，式中n、s與D分別為特征數(shù)量、子集數(shù)量與維度。② CFS最壞的情況需要(n2-n)/2次前向選擇與后向消除搜索操作，因此，計算CFS的成對特征選擇矩陣的復雜度為O(n2)，其中n表示特征數(shù)量。③ 基于CART的規(guī)則生成過程中，計算復雜度主要是一個建立決策樹的程序，建立決策樹的復雜度等于O(n×vlogv)，其中n與v分別表示特征數(shù)量與記錄數(shù)量。④ 假設l、n、D分別表示ABC算法的最大迭代次數(shù)、人工agent數(shù)量以及搜索空間的維度，ABC中計算人工蜂與人工魚位置的復雜度為O(n×D)。ABC的復雜度為O(n×D×l)。⑤分類器的復雜度則為O(n2)。

最終，本文IDS的總計算復雜度為O(ns2D+n2+nvlogv+nlogn+n2)=O(n2)。將本方法與其他IDS的復雜度進行比較，復雜度轉(zhuǎn)化為關于O的函數(shù)f(x)=O(g(x))，其中g(x)表示總計算復雜度，x表示實數(shù)，圖6所示是5個IDS系統(tǒng)的f(x)曲線圖。時間成本表示數(shù)據(jù)處理所需的時間，因此可獲得每秒鐘處理的記錄數(shù)量。本文的IDS每秒鐘可處理約28 543個記錄，本系統(tǒng)快于CVT系統(tǒng)、TANN系統(tǒng)、EDM系統(tǒng)，略低于MCA系統(tǒng)。

圖6 5個IDS系統(tǒng)的f(x)曲線圖

3 結(jié) 語

本文提出了一種高效率、高準確率的IDS，其中引入了人工蜂群算法刪除冗余與噪聲的特征。采用模糊C-means分類技術劃分訓練數(shù)據(jù)集，采用基于相關性的特征選擇刪除非相關的特征。本系統(tǒng)的檢出率結(jié)果與虛警率結(jié)果均優(yōu)于其他的IDS系統(tǒng)，每秒鐘可處理約28 543個記錄，實現(xiàn)了較高的計算效率。