曹 磊，李占斌，楊永勝，趙龍飛

1.國家海洋信息中心，天津 300171

2.清華大學(xué) 公共安全研究院，北京 100084

隨著信息技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)空間安全日益受到關(guān)注。惡意的網(wǎng)絡(luò)活動時刻威脅著人們的信息基礎(chǔ)設(shè)施、應(yīng)用和數(shù)據(jù)安全，并帶來許多嚴重的后果，如服務(wù)器宕機、未經(jīng)授權(quán)的非法訪問、信息泄露篡改破壞等。因此，實施有效的入侵檢測手段來應(yīng)對這些惡意網(wǎng)絡(luò)活動已成必然。

網(wǎng)絡(luò)入侵檢測技術(shù)是網(wǎng)絡(luò)安全防護體系重要組成部分，異常流量檢測和分析是網(wǎng)絡(luò)入侵檢測領(lǐng)域常用的研究方法[1]。研究人員通常使用機器學(xué)習(xí)方法來構(gòu)建網(wǎng)絡(luò)活動模型，通過評估與正常行為差異性來檢測惡意網(wǎng)絡(luò)活動，較常用的有隨機森林[2]、SVM[3]、KNN[4]、GBDT[5]、K-means[6]等淺層學(xué)習(xí)算法。深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集，與淺層學(xué)習(xí)模型相比，深度學(xué)習(xí)模型擁有更強的擬合能力，將深度學(xué)習(xí)技術(shù)應(yīng)用于網(wǎng)絡(luò)入侵檢測已成為許多研究者關(guān)注的熱點。劉月峰等人[7]借鑒Inception結(jié)構(gòu)，提出了一種9 層網(wǎng)絡(luò)結(jié)構(gòu)的CNN，并利用多尺度卷積核來提取不同維度的特征，最后在KDDcup99數(shù)據(jù)集上進行實驗仿真。饒緒黎等人[8]構(gòu)建了一種MLP神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)信息不完全條件下的入侵檢測。Devan等人[9]使用深度神經(jīng)網(wǎng)絡(luò)（DNN）自動對流量數(shù)據(jù)進行分類，首先通過XGBoost 算法來減少不必要的特征，然后利用DNN模型對網(wǎng)絡(luò)入侵行為進行分類訓(xùn)練。在文獻[10]中，提出了一種主成分分析法和LSTM 相結(jié)合的入侵檢測模型，并在UNSW-NB15數(shù)據(jù)集上進行了仿真實驗。汪盼等人[11]通過改進的DBN深度置信網(wǎng)絡(luò)進行特征降維，并在NSL-KDD數(shù)據(jù)集上進行了分類實驗。

目前，無論是傳統(tǒng)機器學(xué)習(xí)算法，還是深度學(xué)習(xí)模型，大都采用人工設(shè)計的流量特征，這類特征主要包括網(wǎng)絡(luò)流量包頭信息和整個流的統(tǒng)計信息，而對網(wǎng)絡(luò)流量中的有效載荷數(shù)據(jù)利用率卻不高，無法檢測到載荷數(shù)據(jù)包含的惡意信息，如XSS、SQL注入等。另外，網(wǎng)絡(luò)流量中的各類信息對入侵檢測分析的重要性是不同的，標準的CNN、RNN等神經(jīng)網(wǎng)絡(luò)，對重要信息的捕捉能力不足。

最近的研究發(fā)現(xiàn)，在RNN或CNN神經(jīng)網(wǎng)絡(luò)上添加注意力機制，可以在大量自然語言處理任務(wù)中取得更好的效果，如神經(jīng)機器翻譯[12]、文本分類[13]、情緒分析[14]等。注意力機制使用權(quán)重隱藏層來計算輸入序列的權(quán)重分布，根據(jù)權(quán)重分布就能反映輸入序列重要元素的位置信息。與RNN和CNN不同的是，注意力機制可以忽視輸入序列中元素的距離，直接捕獲對任務(wù)有重要貢獻的依賴關(guān)系，從而為RNN或CNN提取的特征補充重要性信息。雖然注意力機制在自然語言處理等領(lǐng)域應(yīng)用效果良好，但目前尚未應(yīng)用到網(wǎng)絡(luò)入侵檢測的問題中。

本文提出了一種雙層注意力神經(jīng)網(wǎng)絡(luò)模型L2-AMNN，無需復(fù)雜的特征工程，直接提取原始網(wǎng)絡(luò)流量的有效載荷數(shù)據(jù)作為樣本，經(jīng)數(shù)據(jù)處理形成字節(jié)數(shù)據(jù)-數(shù)據(jù)包-網(wǎng)絡(luò)流層次結(jié)構(gòu)的文本序列表達。借鑒自然語言處理方法，在雙向LSTM 模型基礎(chǔ)上，引入雙層注意力機制，分別關(guān)注重要的字節(jié)和數(shù)據(jù)包。利用字節(jié)注意力機制，計算字節(jié)信息權(quán)重分布，提取關(guān)鍵字節(jié)信息特征；利用數(shù)據(jù)包注意力機制，計算數(shù)據(jù)包信息權(quán)重分布，提取關(guān)鍵數(shù)據(jù)包信息特征，最后生成更加準確的入侵檢測特征向量，提高網(wǎng)絡(luò)入侵檢測能力。

1 基于雙層注意力機制的神經(jīng)網(wǎng)絡(luò)構(gòu)建

1.1 整體架構(gòu)

如圖1 為本文提出的L2-AMNN 模型整體構(gòu)建流程，首先對PCAP格式的原始網(wǎng)絡(luò)通信數(shù)據(jù)進行數(shù)據(jù)預(yù)處理，包括流量切分、數(shù)據(jù)清洗等操作，并提取網(wǎng)絡(luò)流量的有效載荷數(shù)據(jù)作為輸入數(shù)據(jù)，然后構(gòu)建、訓(xùn)練層次網(wǎng)絡(luò)模型L2-AMNN，最后得到模型分類結(jié)果。

圖1 L2-AMNN模型構(gòu)建流程Fig.1 Overview of L2-AMNN construction

從整體上看，L2-AMNN 是一個端到端的深度學(xué)習(xí)模型，可以自動學(xué)習(xí)輸入數(shù)據(jù)的特征信息，通過構(gòu)建層次網(wǎng)絡(luò)結(jié)構(gòu)模型，實現(xiàn)對有效載荷攻擊信息的深入挖掘，創(chuàng)新性地融合層次注意力機制，進一步提高了字節(jié)和數(shù)據(jù)包重要特征的提取能力。模型整體具有對多協(xié)議、多類別、長時間序列攻擊的高精度檢測優(yōu)勢。

1.2 數(shù)據(jù)預(yù)處理

原始網(wǎng)絡(luò)流量數(shù)據(jù)由一個個數(shù)據(jù)包組成，能提供完整真實的通信信息描述，通常以網(wǎng)絡(luò)信息五元組[15（]源IP地址、源端口、目的IP地址、目的端口、協(xié)議）的標準組合而成。PCAP 格式是常見的網(wǎng)絡(luò)流量存儲格式，其方向分為單向流和雙向流，為全面準確地分析流量特征，本文主要提取雙向網(wǎng)絡(luò)流量。

本文對原始網(wǎng)絡(luò)通信數(shù)據(jù)進行預(yù)處理，主要有以下幾方面原因：一是為表示通信行為的時序特征，需按照五元組屬性逐條提取流數(shù)據(jù)；二是要對流數(shù)據(jù)進行清洗過濾操作，盡量減少臟數(shù)據(jù)量；三是流數(shù)據(jù)格式不符合神經(jīng)網(wǎng)絡(luò)模型輸入要求，需要進行格式轉(zhuǎn)換。如圖2所示，數(shù)據(jù)預(yù)處理主要包含數(shù)據(jù)包分析、流量切分、數(shù)據(jù)抽取、流量清洗、格式轉(zhuǎn)換等步驟。

圖2 數(shù)據(jù)預(yù)處理流程Fig.2 Data preprocess procedure

數(shù)據(jù)包分析：在數(shù)據(jù)處理前，進行數(shù)據(jù)人工分析是非常重要的一個步驟。首先對原始網(wǎng)絡(luò)通信數(shù)據(jù)進行包分析，基于時間戳、IP地址、端口號等過濾網(wǎng)絡(luò)惡意行為數(shù)據(jù)包，然后進行協(xié)議分析，識別數(shù)據(jù)包采用的協(xié)議，明確能夠提取的載荷數(shù)據(jù)結(jié)構(gòu)及特征，最后，要了解PCAP文件結(jié)構(gòu)，為后續(xù)的數(shù)據(jù)抽取清洗作好準備。

流量切分：流量切分步驟是將連續(xù)的原始流量數(shù)據(jù)切分成多個離散的網(wǎng)絡(luò)流數(shù)據(jù)。利用Wireshark 的editcap 工具，根據(jù)網(wǎng)絡(luò)攻擊的時間戳進行數(shù)據(jù)提取，按照五元組格式，切分成多個離散的網(wǎng)絡(luò)流數(shù)據(jù)，輸出數(shù)據(jù)仍是PCAP格式。

數(shù)據(jù)抽?。毫髁壳蟹趾笊傻囊粋€網(wǎng)絡(luò)流PCAP文件包含多個數(shù)據(jù)包，數(shù)據(jù)抽取步驟需要抽取每個數(shù)據(jù)包的傳輸層以上的有效載荷數(shù)據(jù)，為了降低對結(jié)果的影響程度，認為IP報頭等數(shù)據(jù)是無用數(shù)據(jù)，應(yīng)該丟棄。

流量清洗：流量清洗主要去除載荷數(shù)據(jù)長度為零的數(shù)據(jù)包，刪除重復(fù)數(shù)據(jù)，并將每個流中的數(shù)據(jù)包固定為一定長度，大于該長度進行截取，反之進行填充。

格式轉(zhuǎn)換：神經(jīng)網(wǎng)絡(luò)對輸入數(shù)據(jù)格式有一定要求，所以要對PCAP 格式的流數(shù)據(jù)進行格式轉(zhuǎn)換。將流數(shù)據(jù)以十六進制進行讀取，表示為[A～F，0～9]組成的字節(jié)序列，將其轉(zhuǎn)換為字符數(shù)據(jù)，每條流數(shù)據(jù)為一行文本，并標記其標簽類別。

1.3 網(wǎng)絡(luò)模型結(jié)構(gòu)

L2-AMNN模型為雙向LSTM網(wǎng)絡(luò)融合雙層注意力的網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)網(wǎng)絡(luò)流量的字節(jié)數(shù)據(jù)-數(shù)據(jù)包-網(wǎng)絡(luò)流的組成特點，模型首先使用了一個雙向LSTM神經(jīng)網(wǎng)絡(luò)和字節(jié)注意力層，編碼了帶有權(quán)重信息的字節(jié)詞向量數(shù)據(jù)，形成數(shù)據(jù)包特征表示，然后通過雙向LSTM 神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)包注意力機制，編碼形成網(wǎng)絡(luò)流的整體權(quán)重特征向量，最后使用softmax 函數(shù)進行分類。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 L2-AMNN神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.3 Neural network structure of L2-AMNN

1.3.1 字節(jié)特征提取

詞嵌入層：輸入數(shù)據(jù)由數(shù)據(jù)包的字節(jié)序列組成，與自然語言處理中的單詞處理類似，需要使用詞嵌入層進行輸入編碼，由于字節(jié)數(shù)據(jù)取值范圍有限，本文選用one-hot編碼方式，定義一個d維詞向量，則一個數(shù)據(jù)包的字節(jié)信息詞向量表示為：

式中xit∈Rd，bit表示第i個數(shù)據(jù)包的第t個字節(jié)數(shù)據(jù)，e∈Rv×d是詞向量矩陣，v表示數(shù)據(jù)包中字節(jié)數(shù)量，d表示詞向量維度。

字節(jié)雙向LSTM網(wǎng)絡(luò)層：L2-AMNN使用雙向LSTM[16]神經(jīng)網(wǎng)絡(luò)對字節(jié)數(shù)據(jù)的詞向量進行編碼，學(xué)習(xí)字節(jié)數(shù)據(jù)的特征信息，生成正向和反向的特征向量，將連接后生成數(shù)據(jù)包的特征向量hit。

字節(jié)注意力編碼層：標準的雙向LSTM網(wǎng)絡(luò)模型對輸入字節(jié)詞向量進行統(tǒng)一編碼，每個詞向量對生成的中間編碼向量貢獻基本相同，但卻忽略了某些關(guān)鍵字節(jié)信息會對分類結(jié)果產(chǎn)生影響，為了解決這一問題，引入字節(jié)注意力機制，計算字節(jié)數(shù)據(jù)的權(quán)重分布，將有重要貢獻的字節(jié)信息突出表達。為此，首先要計算字節(jié)數(shù)據(jù)的權(quán)重信息，權(quán)重信息矩陣的計算公式如下：

式（5）（6）中，為了度量某個字節(jié)數(shù)據(jù)的權(quán)重，使用hij和隨機初始化向量va的相似度來表示，然后經(jīng)過函數(shù)softmax 獲得了一個歸一化的注意力權(quán)重矩陣αij，αij代表數(shù)據(jù)包i中第j個字節(jié)信息的權(quán)重。

獲得字節(jié)信息的權(quán)重矩陣后，計算權(quán)重矩陣αij與字節(jié)信息特征向量hij的加權(quán)和，更新每個字節(jié)的特征表示，得到數(shù)據(jù)包向量pi，計算公式如（7）所示：

1.3.2 數(shù)據(jù)包特征提取

數(shù)據(jù)包雙向LSTM 網(wǎng)絡(luò)層。獲得帶字節(jié)權(quán)重的數(shù)據(jù)包向量后，通過雙向LSTM神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)包向量pi進行編碼，學(xué)習(xí)數(shù)據(jù)包的特征信息，生成正向和反向的特征向量，將連接后生成網(wǎng)絡(luò)流的特征向量hi。

數(shù)據(jù)包注意力編碼層：與字節(jié)信息特征編碼類似，標準的雙向LSTM 網(wǎng)絡(luò)模型對同樣會忽略某些關(guān)鍵數(shù)據(jù)包信息對分類結(jié)果有重要影響，通過引入數(shù)據(jù)包注意力機制，計算數(shù)據(jù)包的權(quán)重分布，將有重要貢獻的數(shù)據(jù)包信息突出表達。數(shù)據(jù)包權(quán)重信息矩陣αi表示如下式所示，其中vb仍是一個隨機初始化向量并可進行自動學(xué)習(xí)，N為數(shù)據(jù)包個數(shù)。

網(wǎng)絡(luò)流f向量為權(quán)重矩陣αi與數(shù)據(jù)包信息特征向量hi的加權(quán)和，可表示為：

1.3.3 網(wǎng)絡(luò)流分類

將網(wǎng)絡(luò)流向量f輸入softmax 分類器中，并將其線性化為一個長度等于類標簽數(shù)量的向量p，利用交叉熵損失函數(shù)Loss，使損失函數(shù)最小化，當標簽值為c時，fc和pc分別為真實值和預(yù)測值的概率。

2 實驗設(shè)計

2.1 實驗數(shù)據(jù)集

本文數(shù)據(jù)集來源于加拿大網(wǎng)絡(luò)安全研究所的入侵檢測數(shù)據(jù)集CICIDS2017[17]。該數(shù)據(jù)集在連續(xù)5 天時間內(nèi)，基于HTTP、HTTPS、FTP、SSH等多種協(xié)議，采集原始網(wǎng)絡(luò)通信流量共51.1 GB。攻擊類型包括Brute Force、DoS、Heartbleed、Web 攻擊、Infiltration 和僵尸網(wǎng)絡(luò)等6大類。數(shù)據(jù)集提供了PCAP、CSV兩種格式。本實驗采用PCAP 格式數(shù)據(jù)，訓(xùn)練數(shù)據(jù)集、驗證數(shù)據(jù)集和測試數(shù)據(jù)集的比例為6∶2∶2。

如表1 所示，在6 大類攻擊類型下，實驗數(shù)據(jù)集又細分了13種網(wǎng)絡(luò)攻擊小類作為數(shù)據(jù)標簽。原始數(shù)據(jù)集是按照網(wǎng)絡(luò)流五元組切分后統(tǒng)計的雙向流數(shù)據(jù)量，考慮數(shù)據(jù)的不平衡性會對分類結(jié)果產(chǎn)生影響，進一步對部分數(shù)據(jù)進行了采樣處理，如Heartbleed 數(shù)據(jù)量過小，采取二次切分流數(shù)據(jù)的方式進行數(shù)據(jù)過采樣，對于DDoS 數(shù)據(jù)量過大的樣本，采取隨機欠采樣方式處理。對CICIDS2017 數(shù)據(jù)集進行預(yù)處理后，共生成42 144 條雙向流數(shù)據(jù)。

表1 實驗數(shù)據(jù)集Table 1 Experimental data sets

2.2 模型訓(xùn)練

本實驗在Ubuntu 操作系統(tǒng)中，基于開源的Tensorflow 深度學(xué)習(xí)框架，利用GeForce GTX 1060 顯卡進行GPU 加速計算，極大提升了模型訓(xùn)練效率。如表2 所示，模型訓(xùn)練過程中，輸入數(shù)據(jù)取512字節(jié)，輸入序列長度1 024，詞向量one-hot編碼長度17，設(shè)置4層LSTM隱藏層，每層神經(jīng)元數(shù)量為200。為避免訓(xùn)練過擬合，分別對初始學(xué)習(xí)率、學(xué)習(xí)率衰減指數(shù)、衰減速度及dropout進行配置，并當損失函數(shù)值1 000次不下降時，提前結(jié)束整個訓(xùn)練周期。

表2 模型訓(xùn)練超參數(shù)設(shè)置Table 2 Hyperparameters of training model

2.3 評估指標

本實驗為多分類模型，使用表3的多分類混淆矩陣進行具體分類結(jié)果評估。

表3 多分類混淆矩陣Table 3 Confusion matrix of multi-class

除上述混淆矩陣外，還將使用兩類評估指標對實驗結(jié)果進行評估，一類為分類模型通用的評估指標準確率（Accuracy）、精度（Precision）、檢出率（Recall）和F1-score，另一類為網(wǎng)絡(luò)安全入侵檢測領(lǐng)域的評估指標漏報率（MAR）和誤報率（FAR）。

準確率（Accuracy），衡量模型對數(shù)據(jù)集中樣本預(yù)測正確的比例：

精度（Precision），衡量預(yù)測為正例的樣本中真正為正例的比例：

檢出率（Recall），評估是否把樣本中所有真的正例全部找出來：

F1-score，精度和檢出率的平衡點，其中P表示精度，R表示檢出率：

漏報率（MAR），預(yù)測為正常流量樣本中攻擊流量樣本的比率：

誤報率（FAR），所有為正常流量的樣本中預(yù)測為攻擊流量的樣本比率：

2.4 實驗結(jié)果及分析

（1）訓(xùn)練結(jié)果對比

為了評估注意力機制帶來的影響，訓(xùn)練了兩組模型：一組為結(jié)合雙層注意力機制和雙向LSTM 網(wǎng)絡(luò)的L2-AMNN 模型；另一組僅為雙向LSTM 網(wǎng)絡(luò)模型。圖4（a）和（b）為L2-AMNN 和雙向LSTM 兩個模型訓(xùn)練過程中，在驗證數(shù)據(jù)集上的損失函數(shù)值loss和準確率accuracy的變化曲線。從圖中可看出，兩個模型在訓(xùn)練數(shù)據(jù)集上都顯示出良好的收斂性，獲得了模型最優(yōu)參數(shù)，后續(xù)實驗將在測試數(shù)據(jù)集上科學(xué)評估模型性能。

圖4 模型訓(xùn)練的準確率和損失值Fig.4 Accuracy and loss of training model

（2）測試數(shù)據(jù)集分類結(jié)果

為了更直觀地說明情況，利用混淆矩陣，列出了測試數(shù)據(jù)集上的詳細分類結(jié)果。圖5 混淆矩陣提供了一種可視化的方式，矩陣的每一列代表預(yù)測值，每一行代表真實值，對角線上給出了準確的分類結(jié)果，L2-AMNN分類準確率為99.05%，Bi-LSTM分類準確率為97.33%，L2-AMNN 的分類準確率比Bi-LSTM 高了1.72 個百分點，驗證了雙層注意力機制有助于提高分類準確率。

圖5 測試數(shù)據(jù)集分類結(jié)果Fig.5 Classification results of testing data sets

（3）分類評估指標分析

為了進一步比較兩個模型性能，本文還計算了Precision、Recall 和F1-score 等分類評估指標。表4 顯示了兩個模型評估指標計算結(jié)果，可以看出L2-AMNN模型在各個數(shù)據(jù)類別中都取得了更好的分類效果。兩組實驗對比說明，WebAttack、Dos、BruteForce 的分類性能提升最為明顯，在WebAttack 數(shù)據(jù)類別中，由于注意力機制的引入，L2-AMNN模型能夠更好地挖掘XSS、Web暴力破解網(wǎng)絡(luò)流量中的關(guān)鍵攻擊信息；對Dos、BruteForce數(shù)據(jù)類別分析表明，注意力機制能夠讓模型提取到關(guān)鍵數(shù)據(jù)包的持續(xù)攻擊特征，有效提升了模型捕獲較長序列重要特征的能力。實驗結(jié)果也可看出，Botnet 和Brute-Force-SSH的分類效果相對較差。經(jīng)分析，CICIDS20117中的僵尸網(wǎng)絡(luò)發(fā)起大量非法HTTP請求，但有部分請求與正常流量無異，如POST/api/report HTTP/1.1，造成部分攻擊流量未檢出，所以檢出率較低。另外SSH暴力破解攻擊的協(xié)議為SSHv2加密協(xié)議，表明兩個模型對加密協(xié)議的檢測性能相對較低。

表4 Precision、Recall和F1-score對比結(jié)果Table 4 Comparison results of Precision，Recall and F1-score

（4）注意力機制可視化分析

為了更好地理解本文提出的雙層注意力機制，分析載荷數(shù)據(jù)中的字節(jié)信息、數(shù)據(jù)包信息對特定網(wǎng)絡(luò)攻擊類別的影響程度，選取了XSS攻擊和FTP暴力破解攻擊進行分析，可視化了不同字節(jié)和數(shù)據(jù)包的注意力權(quán)重。圖6展示了注意力機制可視化結(jié)果，每一行為一個數(shù)據(jù)包部分字節(jié)數(shù)據(jù)，黃色代表字節(jié)注意力權(quán)重，綠色代表數(shù)據(jù)包注意力權(quán)重，顏色值由權(quán)重歸一化得到，顏色越深表明權(quán)重值越大，對最終的檢測分類影響越大。圖6（a）展示的是XSS 攻擊可視化結(jié)果，其中一條數(shù)據(jù)包為GET 請求“GET/dv/vulnerabilities/xss_r?Name=