劉江豪，張安琳，黃子奇，黃道穎*，陳孝文

（1.鄭州輕工業(yè)大學計算機與通信工程學院，鄭州 450000；2.北方信息控制研究院集團有限公司，南京 211153；3.鄭州輕工業(yè)大學工程訓練中心，鄭州 450000）

0 引言

沒有網(wǎng)絡安全就沒有國家安全。全球大國戰(zhàn)略競爭不斷加劇，隨著大數(shù)據(jù)、人工智能以及物聯(lián)網(wǎng)技術的不斷發(fā)展，網(wǎng)絡攻擊更加頻繁，攻擊方式日新月異，網(wǎng)絡安全問題呈現(xiàn)出更為嚴峻的態(tài)勢。為保障網(wǎng)絡和信息化的穩(wěn)步發(fā)展，各國逐步完善網(wǎng)絡空間安全國家戰(zhàn)略，網(wǎng)絡作戰(zhàn)能力的提升將是國防安全的新重點［1］。入侵檢測作為網(wǎng)絡安全系統(tǒng)的第二道防線，在識別日益增多的網(wǎng)絡入侵行為方面引起眾多研究者的關注。

入侵檢測系統(tǒng)（Intrusion Detection System，IDS）在部署前要進行大量的測試、評估和調整，需要對帶有入侵和異常行為的標記流量進行系統(tǒng)評估。因此，所用測試數(shù)據(jù)集的質量對入侵檢測系統(tǒng)的性能起著至關重要的作用［2］?；诰W(wǎng)絡的理想數(shù)據(jù)集應該包含最新攻擊行為和正常用戶行為的真實網(wǎng)絡流量，不僅正確標記、公開可用，而且需跨越較長的時間［3］。但理想的入侵檢測數(shù)據(jù)集并不存在，通常研究人員使用的數(shù)據(jù)集都是次優(yōu)的。常用的實驗分析基準數(shù)據(jù)集有KDD-Cup99 和NSL-KDD 等，目前所做的研究都是基于這些舊數(shù)據(jù)集［4］。但這些數(shù)據(jù)集存在著一些致命問題：沒有考慮到現(xiàn)代入侵檢測需要過濾的更高級的威脅，不能反映最新、最真實的網(wǎng)絡流量特性，缺乏多樣性［5］。

CSE-CIC-IDS2018 入侵檢測數(shù)據(jù)集是通信安全機構（CSE）和加拿大網(wǎng)絡安全研究所（CIC）合作項目。研究人員在其早期數(shù)據(jù)集版本CIC-IDS2017上做了大量的研究工作，文獻［6］認為其不僅包含最新的網(wǎng)絡攻擊，而且滿足現(xiàn)實世界攻擊的所有標準，幾乎沒有重大缺陷。CSE-CIC-IDS2018 數(shù)據(jù)集相較于之前的CIC-IDS2017 更為龐大，但其中網(wǎng)絡流量包含許多與入侵檢測無關或相關性很小的特征。當分析大量數(shù)據(jù)時，這些冗余特征會增加計算工作量，降低檢測速度，影響入侵檢測系統(tǒng)的整體性能。但目前對CSE-CIC-IDS2018 數(shù)據(jù)集進行的入侵檢測研究還沒有太多的文獻可供參考。本文的目的是通過機器學習的特征遞減式訓練，分析各分類器與CSE-CIC-IDS2018 數(shù)據(jù)集的特征數(shù)量依賴關系，嘗試從候選特征中選出少數(shù)“優(yōu)秀”的特征，從而降低數(shù)據(jù)維數(shù)，提高系統(tǒng)檢測效率［7］。

1 CSE-CIC-IDS201 8 數(shù)據(jù)集

CSE-CIC-IDS2018 入 侵 檢 測 數(shù) 據(jù) 集（https：//www.unb.ca/cic/datasets/ids-2018.html）所提供的流量模擬真實網(wǎng)絡流量，由B-Profile 和M-Profile 兩部分組成［8］。B-Profile 負責描述用戶交互的抽象行為，生成正常的流量；M-Profile 用于描述和執(zhí)行攻擊場景，生成帶有攻擊行為的流量［9］。該數(shù)據(jù)集共包含7 種攻擊場景：

1）暴力破解（Brute Force）；

2）心血漏洞（Heartbleed）；

3）僵尸網(wǎng)絡（Botnet）；

4）拒絕服務（Denial of Service，DoS）；

5）分布式拒絕服務（Distributed Denial of Service，DDoS）；

6）萬維網(wǎng)攻擊（Web Attacks）；

7）網(wǎng)絡滲透（Infiltration of the Network From Inside）。

CSE-CIC-IDS2018 數(shù)據(jù)集以pcap 文件和csv文件兩種方式被提供。pcap 文件由捕獲的網(wǎng)絡流量和計算機的系統(tǒng)日志形成，主要用于數(shù)據(jù)挖掘技術的相關研究及應用。csv 文件多用于人工智能的相關分析，由CICFlowMeter-V3 流量特征提取工具從捕獲的流量中提取。該工具可獲取流量的83 個統(tǒng)計特征，其中不包含數(shù)據(jù)集的標簽，標簽為研究人員根據(jù)實驗環(huán)境標注。數(shù)據(jù)集的特征及說明如表1所示。

表1 數(shù)據(jù)集特征

初步分析可以發(fā)現(xiàn)，其中包含許多與入侵檢測無關或相關性很小的冗余特征，實驗時可能會影響入侵檢測系統(tǒng)的整體性能。

2 機器學習分類算法

2.1 K 近鄰

K 近鄰（k-Nearest Neighbor，KNN）于1968 年由Cover 和Hart 提出，是最簡單的機器學習算法之一，同時也是懶惰學習的著名代表。KNN 模型依據(jù)給定的訓練集樣本，找出其中與之某種距離度量最靠近的k 個樣本，以這k 個臨近的樣本信息為依據(jù)來進行預測。KNN 模型構造簡單，分類精度高，對異常數(shù)據(jù)、噪聲等有較高的容忍度，適用于多分類問題。

2.2 決策樹

決策樹（Decision Tree，DT）產(chǎn)生于20 世紀60年代。決策樹算法可以對數(shù)據(jù)進行擬合，執(zhí)行回歸任務；也可以尋找決策邊界，完成分類問題；此外，也可實現(xiàn)多輸出任務。其基本思想是從訓練的數(shù)據(jù)集中歸納出分類規(guī)則。經(jīng)典的決策樹算法有以信息增益為特征選擇準則的ID3，以信息增益率為特征選擇準則的C4.5 和基尼指數(shù)為特征選擇準則的CART。決策樹模型準確性高且生成模式簡單，對噪聲數(shù)據(jù)具有良好的魯棒性。

2.3 隨機森林

隨機森林（Random Forest，RF）是決策樹的一種集成，是當下最強大的機器學習算法之一，由Leo Breiman 和Adele Cutler 提出［10］。隨機森林在決策樹生長時引入額外的隨機，降低了決策樹之間的關聯(lián)性，使模型的準確性進一步提高。隨機森林模型訓練速度較快，能處理高維數(shù)據(jù)，且不易產(chǎn)生過擬合，對各類數(shù)據(jù)集有較強的適應性。

2.4 Softmax 回歸

Softmax 回歸模型是Logistic 回歸模型在多類別分類問題上的一般化歸納，也可稱為多類別Logistic回歸。Softmax 回歸廣泛應用于機器學習和卷積神經(jīng)網(wǎng)絡，可以將多個神經(jīng)元的輸出映射在（0，1）區(qū)間中，從而得到樣本屬于某類別的分類概率。

3 數(shù)據(jù)集處理相關算法

3.1 特征重要性評估

越重要的特征對分類器預測結果影響越大。通過隨機森林算法進行特征重要性評估，可以計算出每個特征對該樣本的貢獻值，以此進行特征篩選。

隨機森林主要通過兩種方法來計算特征重要性，分別為平均不純度減少和平均準確率減少。

3.1.1 平均不純度減少

平均不純度減少（Mean Decrease Impurity，MDI）用來說明每個特征對誤差的平均減小程度。底層實現(xiàn)的評分標準依據(jù)基尼重要性（Gini Importance）?；嶂匾栽u分VIMj通過基尼指數(shù)變化得到，即第j個特征在隨機森林的全部決策樹中節(jié)點分裂不純度的平均改變量。

基尼指數(shù)計算公式為：

其中，K 表示特征樣本類別數(shù)，pmk表示k 類別在節(jié)點m 中的占比。

節(jié)點m 處特征Xj的重要性為：

其中，GIl和GIr表示節(jié)點m 左右分支的新節(jié)點的基尼指數(shù)。

第i 顆樹中特征Xj的重要性為：

若在有n 顆樹的隨機森林中，則特征Xj的重要性為：

將重要性進行歸一化處理，得到基尼重要性評分VIMj，即特征重要性評分：

3.1.2 平均準確率減少

平均準確率減少（Mean Decrease Accuracy，MDA）核心思想是打亂特征的特征值順序，評估順序變動對模型準確率的影響程度。該方法主要利用袋外誤差估計（The out-of-bag（OOB）error estimate）進行評估。對于樹Ti，使用OOB 樣本數(shù)據(jù)計算得出基本誤差e1，接著隨機打亂OOB 中特征j 的順序，得到誤差e2。該方法通過計算e1-e2來評估特征j的重要性。重要特征的順序變動會極大降低模型的準確率，而不重要特征的亂序操作則對準確率影響較小。

相較MDI，MDA 計算量更大。通常機器學習中多用MDI 進行特征重要性計算。

3.2 數(shù)據(jù)集平衡

在使用不平衡數(shù)據(jù)集訓練分類系統(tǒng)時，分類器很容易偏向多數(shù)類而忽略少數(shù)類。若選定隨機樣本用于分類器的訓練和測試，很可能在訓練集中找不到特定攻擊標簽的實例，以至于面對此類的攻擊時無法檢測，致使構建的檢測模型效果不佳。基于不平衡數(shù)據(jù)的分類模型研究主要分為數(shù)據(jù)層面研究和算法層面研究。

在數(shù)據(jù)層面對數(shù)據(jù)集進行平衡，核心思想是采樣，主要包括欠采樣和過采樣。

3.2.1 欠采樣

欠采樣的基本思想是刪除其中一些多數(shù)類的部分樣本，主要方式是隨機采樣。

3.2.2 過采樣

過采樣的基本思想是增加少數(shù)類的樣本數(shù)量。相較于欠采樣，過采樣更加復雜，通過學習少數(shù)類樣本特征生成新的少數(shù)類樣本數(shù)據(jù)，是一個生成合成數(shù)據(jù)的過程。

SMOTE（Synthetic Minority Over-sampling Technique）是應用最廣泛的過采樣算法，其基本原理是計算近鄰少數(shù)類樣本之間的線性差值，以此合成新的少數(shù)類樣本［11］。

其中，i=1，2，…N；xnews表示算法合成的新樣本；x 表示少數(shù)類樣本；rand（0，1）表示0 到1 之間的隨機數(shù)；y［i］表示x 的第i 個臨近樣本。

4 數(shù)據(jù)集預處理

在真實的網(wǎng)絡環(huán)境下，捕獲的數(shù)據(jù)可能含有大量的缺失值、噪聲，以及由于人工錄入而產(chǎn)生的異常信息，因此，需要對數(shù)據(jù)集信息進行預處理以提高數(shù)據(jù)的質量［12］。

本文主要對CSE-CIC-IDS2018 數(shù)據(jù)集的csv文件進行分析，csv 文件由10 個文件組成，如表2所示。由于文件較大，前期對各文件單獨進行處理，后期整合。預處理過程主要包括數(shù)據(jù)清洗、數(shù)據(jù)集合并、數(shù)據(jù)集平衡、特征選擇、數(shù)據(jù)歸一化和數(shù)據(jù)集分割等。

表2 csv 文件信息

4.1 數(shù)據(jù)清洗

4.1.1 缺失值

該數(shù)據(jù)集缺失值均出現(xiàn)在Flow Byts/s 特征下。在處理缺失數(shù)據(jù)問題時，通常采用刪除、補全和忽略等方法。由于該數(shù)據(jù)集十分龐大，且缺失比例較小，本文采用刪除元組的方法將出現(xiàn)缺失值的數(shù)據(jù)行刪除。

4.1.2 無窮值

特征Flow Byts/s 和Flow Pkts/s 下存在無窮值。在數(shù)據(jù)處理過程中，無窮值無法正常計算。該數(shù)據(jù)集無窮值基本都出現(xiàn)在正常流量中，對分類無影響，因此，將含有無窮值的信息行直接刪除。

4.1.3 重復數(shù)據(jù)

重復數(shù)據(jù)對入侵檢測系統(tǒng)的訓練幾乎沒有幫助，因此，只保留第一次出現(xiàn)的數(shù)據(jù)，將重復的數(shù)據(jù)刪除。

4.1.4 異常值

數(shù)據(jù)集錄入時，錯誤地將表頭信息多次寫入數(shù)據(jù)中，這里將其直接刪除。

4.2 數(shù)據(jù)集合并

為了得到完整的入侵檢測數(shù)據(jù)集，將經(jīng)過數(shù)據(jù)清洗的數(shù)據(jù)集文件合并。合并時，按照特征列對各文件進行縱向拼接。

經(jīng)統(tǒng)計，合并后的數(shù)據(jù)集共有15 種標簽，包括1 種正常流量的標簽和14 種攻擊流量的標簽，各標簽分布和占比如表3 所示。

表3 數(shù)據(jù)集標簽分布

4.3 數(shù)據(jù)集平衡

通過表3 可以看出，數(shù)據(jù)集的正常流量占比超過85%，部分攻擊流量占比不足0.01%，流量占比嚴重不平衡。

因計算機性能限制，從Benign 流量中隨機選取1 000 000 條用于本次實驗。使用SMOTE 算法對數(shù)據(jù)量較少的DDOS attack-LOIC-UDP、Brute Force-Web、Brute Force -XSS、SQL Injection 數(shù)據(jù)進行過采樣操作。數(shù)據(jù)過采樣操作僅在訓練集中使用。

4.4 特征選擇

本文使用人工選擇和特征重要性分析相結合的方式進行特征選擇。

異常檢測系統(tǒng)應該根據(jù)網(wǎng)絡流量的行為特征進行分類，不應偏向于IP 地址等具有特定網(wǎng)絡標識的信息［13］，因此，將涉及特定網(wǎng)絡標識的5 個特征刪除，見表4 所示。

表4 具有特定網(wǎng)絡標識的5 個特征

pandas.describe（）方法可以描述數(shù)據(jù)的平均值、標準差、最小值等信息。通過計算發(fā)現(xiàn)文件中存在數(shù)據(jù)全為0 的10 個特征，見表5。在對分類器進行訓練時，信息相同的數(shù)據(jù)不會對分類提供有效信息，因此，將這10 個特征刪除。

表5 數(shù)據(jù)全為0 的10 個特征

4.5 數(shù)據(jù)歸一化

不同的指標評價體系中，量綱或量綱單位通常是不同的。某些指標可能因為不同數(shù)量級的變化區(qū)間而被忽視，因此，需要對數(shù)據(jù)進行歸一化處理以消除數(shù)據(jù)間的量綱影響。歸一化時，通常將數(shù)據(jù)映射到［0，1］區(qū)間內。分別對數(shù)據(jù)集的每一特征維度進行歸一化操作，其基本原理可表示為：

其中，x 為某一特征維度下的數(shù)據(jù)值，x'為經(jīng)過歸一化處理后的數(shù)據(jù)值，xmin為該特征維度下的最小值，xmax為該特征維度下的最大值。

4.6 數(shù)據(jù)集分割

將經(jīng)過其他預處理的數(shù)據(jù)集打亂順序并按照7∶3 的比例隨機拆分為訓練集和測試集。設置固定的隨機數(shù)種子，確保進行不同輪次的分類操作時所使用的訓練集和測試集是相同的。數(shù)據(jù)集分割操作可通過scikit-learn 中的train_test_split（）方法實現(xiàn)。

5 實驗與評估

本文實驗在windows10 操作系統(tǒng)，CPU 為Intel Core i5-9400F 2.90 GHz，內存16 GB 的計算機上運行，處理過程主要使用python 的pandas、imblearn 和scikit-learn 等相關庫。

每種分類器分別進行68 次訓練，從訓練所有特征開始，依次按照特征重要性評分從低到高刪除一個特征，直至剩余最后一個特征。訓練過程中記錄各分類器的準確率、精確率和訓練時間。

5.1 評估指標

入侵檢測應盡量避免將攻擊流量識別為正常流量，即要同時保證具有較高的準確率和精確率。因此，本文使用準確率（Accuracy）、精確率（Precise）和訓練時間對分類器運行的結果進行評估。準確率是分類正確的正樣本和負樣本占樣本總數(shù)的比例，通常情況下，準確率越高分類器越好；精確率（也稱查準率）是分類正確的正樣本數(shù)占被分類為正樣本的樣本數(shù)的比例，體現(xiàn)了分類器的精度，在不平衡數(shù)據(jù)集分類中常作為重要評估指標。

其中，TP 表示正確地把正樣本預測為正，F(xiàn)N 表示錯誤地把正樣本預測為負，F(xiàn)P 表示錯誤地把負樣本預測為正，TN 表示正確地把負樣本預測為負。

5.2 特征重要性計算

本文使3.1.1 節(jié)所述平均不純度減少算法計算特征重要性評分。

對經(jīng)過數(shù)據(jù)清洗和人工選擇特征后的數(shù)據(jù)集進行特征重要性計算，得到剩余68 個特征的特征重要性評分，如下頁圖1 所示。平均不純度減少計算過程中對結果進行了歸一化處理，所有特征的評分之和為1，其特征評分代表了該特征對數(shù)據(jù)分類的貢獻大小。可以看到，第57 個特征評分最高，為0.150 698 48，說明該特征對分類器的分類貢獻最大；第60 個特征重要性次之，為0.072 224 96；第42個特征貢獻最小，僅為0.000 165 79。

圖1 特征重要性評分

根據(jù)特征重要性評分將原特征序號映射為特征重要性評分從小到大的新序號，其映射關系及特征重要性評分如表6 所示。

表6 特征映射關系對照表

可以看到，原評分最高的第57 個特征在新的排序中序號變?yōu)?8；原評分最低的第42 個特征在新的排序中序號變?yōu)?。按照特征重要性排序后的特征及其評分如下頁圖2 所示。

圖2 特征重要性排序

5.3 不同分類算法的優(yōu)化降維結果分析

在接下來分類器的訓練中，從訓練包含所有特征的數(shù)據(jù)開始，按照5.2 節(jié)特征重要性排序，每輪訓練依次刪除一個特征，直至剩余最后一個特征。即第1 次訓練含有68 個特征的數(shù)據(jù)，第2 次訓練除了序號1 之外的剩余67 個特征的數(shù)據(jù)，第3 次訓練除了序號1 和2 之外的剩余66 個特征的數(shù)據(jù)……第67 次訓練剩余序號為67 和68 特征的數(shù)據(jù)，第68 次訓練只包含第68 個特征的數(shù)據(jù)。每個分類器分別完成68 次訓練，記錄不同特征個數(shù)對分類器評估指標的影響。

5.3.1 K 近鄰

如5.1 節(jié)所述，分類器的評估指標是通過準確率、精確率和訓練時間來表征的。

圖3 為K 近鄰分類器評估指標（準確率和精確率）與特征數(shù)量的關系圖。分析各項指標可以發(fā)現(xiàn)，特征減少至12 個時，分類器兩指標精度有微小的上升，考慮是產(chǎn)生干擾的非關鍵特征被刪除；特征數(shù)量為8～12 時，K 近鄰分類器取得較好的分類效果；特征少于4 時，準確率和精確率急劇下降，特征數(shù)量過少，所提供信息不足以進行高精度流量分類。

圖3 K 近鄰運行結果

K 近鄰訓練時間與特征數(shù)量關系如圖4 所示。特征數(shù)量基本和訓練時間呈線性關系，特征數(shù)量越少，訓練所用時間越短。K 近鄰算法每預測一個數(shù)據(jù)點的分類都需要重新進行一次全局的運算，相較于其他幾種分類器，訓練時間較長。時間的波動部分，考慮是python 解釋器無法鎖頻導致［14］。

圖4 K 近鄰訓練時間

5.3.2 決策樹

決策樹評估指標（準確率和精確率）與特征數(shù)量關系如圖5 所示。特征數(shù)量為4 時，決策樹分類器取得最高準確率，但精確率相對較低，有較多攻擊流量被識別為正常流量；特征數(shù)量為5～12 時準確率較高；特征數(shù)量大于7 時精確率較為穩(wěn)定；特征數(shù)量小于5 時分類器準確率和精確率急劇下降。

圖5 決策樹運行結果

決策樹訓練時間與特征數(shù)量關系如圖6 所示。決策樹訓練時間和特征數(shù)量呈線性關系，且較為穩(wěn)定，總體時間略高于隨機森林，低于K 近鄰和Softmax。

圖6 決策樹訓練時間

5.3.3 隨機森林

隨機森林評估指標（準確率和精確率）與特征數(shù)量關系如圖7 所示。隨機森林在特征數(shù)量為9-26時取得較好地分類效果；數(shù)量小于5 時準確率開始大幅下降。

圖7 隨機森林運行結果

隨機森林訓練時間與特征數(shù)量關系如下頁圖8所示。隨機森林訓練時間與特征數(shù)量正相關，但具有波動性。相較于其他分類器，隨機森林所需時間最短。

圖8 隨機森林運行時間

5.3.4 Softmax 回歸

Softmax 回歸評估指標（準確率和精確率）與特征數(shù)量關系如圖9 所示。Softmax 分類器準確率和精確率與特征數(shù)量正相關。特征數(shù)量小于6 時，各指標具有較大的變化；特征數(shù)量大于6 時，各指標數(shù)據(jù)穩(wěn)步提升，正確率最高接近92.8%。相較于其他幾種分類器，softmax 分類更依賴特征數(shù)量，使用中需要耗費更多的時間和計算資源。

圖9 Softmax 回歸運行結果

Softmax 回歸訓練時間與特征數(shù)量關系如圖10所示。特征數(shù)量大于2 時，訓練時間與特征數(shù)量呈線性關系，且較為穩(wěn)定。

圖10 softmax 回歸運行時間

6 結論

本文對CSE-CIC-IDS2018 入侵檢測數(shù)據(jù)集進行了降維分析，使用平均不純度減少的計算方法對該數(shù)據(jù)集進行了特征重要性計算，通過K 近鄰、決策樹、隨機森林和Softmax 分類器的特征遞減式訓練，探究了不同特征維數(shù)對該數(shù)據(jù)集分類效果的影響。

實驗證明，在保證分類效果的前提下，使用決策樹分類算法最低可以將該數(shù)據(jù)集的依賴特征由83 個縮減至7 個，K 近鄰和隨機森林分類算法可以將依賴特征分別縮減至8 個和9 個，達到了降維、提升模型和計算性能等效果。