蔣彤彤，尹魏昕，蔡 冰，張 琨

（1.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，南京210094；2.國家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心江蘇分中心網(wǎng)絡(luò)安全處，南京210019；3.國家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心江蘇分中心技術(shù)保障處，南京210019）

0 概述

近年來，信息安全問題日益成為國家、企業(yè)和個(gè)人所關(guān)注的熱點(diǎn)，公眾對(duì)個(gè)人隱私信息保護(hù)意識(shí)的提高促進(jìn)了信息加密技術(shù)的發(fā)展，從2019年起互聯(lián)網(wǎng)中HTTPS 加密流量占比已超過HTTP 流量。TLS、IPSec、SSH 等流量加密和認(rèn)證技術(shù)一方面加強(qiáng)了信息通信的保密性和可靠性，另一方面越來越多的攻擊者通過加密信道和流量加密技術(shù)隱藏自己的惡意行為［1］，規(guī)避防火墻的檢測，給網(wǎng)絡(luò)安全監(jiān)測帶來了巨大考驗(yàn)。例如，木馬、廣告軟件、勒索軟件等惡意軟件通過與命令和控制服務(wù)器之間的通信，即C&C 通信方式來接收與執(zhí)行命令進(jìn)行惡意活動(dòng)。在傳統(tǒng)情況下根據(jù)明文流量模式，C&C 服務(wù)器的域名、URL 等威脅情報(bào)信息可以被直接檢測并及時(shí)制止［2］，然而流量加密技術(shù)使得這些信息難以被正確解析提取，且解密將消耗大量計(jì)算資源。文獻(xiàn)［3］指出，截至2020年，超過六成的企業(yè)將無法直接解密HTTPS 來識(shí)別隱藏在流量中的惡意軟件。為避開解密并精確識(shí)別惡意加密軟件流量，本文以HTTPS 加密協(xié)議流量為研究對(duì)象，利用網(wǎng)絡(luò)流量的“網(wǎng)絡(luò)流-數(shù)據(jù)包-字節(jié)”分層結(jié)構(gòu)特征和動(dòng)態(tài)時(shí)序性，提出一種基于層次時(shí)空特征與多頭注意力（Hierarchical Spatiotemporal feature and Multi-Head Self-Attention，HST-MHSA）模型的惡意加密流量識(shí)別方法，并基于公開數(shù)據(jù)集CICAndMal2017 驗(yàn)證HST-MHSA 模型的有效性。

1 相關(guān)研究

目前，越來越多的惡意軟件使用TLS 協(xié)議通過C&C 通道加密交換數(shù)據(jù)，傳統(tǒng)基于端口或者DPI 的方法不再適用于識(shí)別此類威脅，因?yàn)榱髁考用軙r(shí)所有上層信息為不可見，加密技術(shù)改變了原本明文流量規(guī)則和可解析模式與特征。然而，加密技術(shù)的濫用對(duì)網(wǎng)絡(luò)管理和安全帶來了新的挑戰(zhàn)，學(xué)術(shù)界和工業(yè)界將研究重點(diǎn)轉(zhuǎn)移到基于機(jī)器學(xué)習(xí)的惡意加密流量監(jiān)測研究方式上并取得了一些研究成果［4］。ANDERSON 等［5］經(jīng)過深入分析提取流量元數(shù)據(jù)和TLS 頭部大量特征進(jìn)行惡意軟件分類。LIU 等［6］提取了流行為、TLS 明文信息、證書這3 個(gè)維度的特征，結(jié)合在線隨機(jī)森林模型實(shí)時(shí)區(qū)分惡意加密流量。YU 等［7］提取TLS 握手與驗(yàn)證階段的特征，并引入層次聚類方法壓縮數(shù)據(jù)運(yùn)算，加快系統(tǒng)檢測效率。BAZUHAIR 等［8］采用平均不純度減少算法篩選出24 個(gè)流量特征，并加入柏林噪聲增強(qiáng)特征圖像，加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型的泛化能力。胡斌等［9］提出一種不依賴五元組信息的加密惡意流量檢測方法，聯(lián)合報(bào)文負(fù)載特征和流指紋特征來提高復(fù)雜環(huán)境下加密惡意流量的檢測率。然而，這些方法多數(shù)依賴專家知識(shí)，將重點(diǎn)放在優(yōu)化特征工程方面，需要花費(fèi)大量的人力、時(shí)間等資源，且所提取的特征通常普適性較差。

深度學(xué)習(xí)技術(shù)作為一種端到端的學(xué)習(xí)框架，近年來在圖像識(shí)別、自然語言處理等領(lǐng)域得到廣泛應(yīng)用，而流量識(shí)別領(lǐng)域的研究人員也開始基于深度學(xué)習(xí)模型自動(dòng)提取流量特征。WANG 等［10］將流量轉(zhuǎn)換為灰度圖，并使用二維CNN 提取流量空間特征，但該方法僅利用了整條流量的前784 個(gè)字節(jié)，未充分結(jié)合流量的其他信息且缺乏對(duì)IP 地址的匿名化處理。王攀等［11］通過堆棧式自動(dòng)編碼器提取流量特征進(jìn)行加密流量識(shí)別。程華等［12］將流量負(fù)載通過Word2vec 模型轉(zhuǎn)換為句子向量，并利用CNN 實(shí)現(xiàn)惡意加密C&C流量識(shí)別。此外，ILIYASU 等［13］和GUO 等［14］利用半監(jiān)督和無監(jiān)督方法有效解決標(biāo)簽樣本量不足時(shí)加密流量的識(shí)別問題。

為了避免繁瑣的特征工程并且更好地表征加密流量的深層特性，本文在已有研究的基礎(chǔ)上，結(jié)合CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）和多頭注意力機(jī)制［15］進(jìn)一步挖掘流量分層的關(guān)鍵時(shí)空特征，從而更準(zhǔn)確地識(shí)別惡意加密流量。

2 基于HST-MHSA 的惡意加密流量識(shí)別方法

本文提出的惡意加密流量識(shí)別方法主要包括流量預(yù)處理、網(wǎng)絡(luò)流量分層表征、流量分類檢測這3 個(gè)階段，各階段主要操作如下：

1）預(yù)處理階段。篩選存在噪音的原始流量，轉(zhuǎn)化為網(wǎng)絡(luò)流量字節(jié)，并以十進(jìn)制形式表示。

2）網(wǎng)絡(luò)流量分層表征階段。首先，在數(shù)據(jù)包層，利用詞嵌入（Embedding）技術(shù)將字節(jié)轉(zhuǎn)換為稠密向量表示并將其作為流量原始信息，同時(shí)利用雙向長短時(shí)記憶（Bidirectional Long Short-Term Memory，BiLSTM）網(wǎng)絡(luò)提取流量前后的依賴信息，并將兩者相融合以增強(qiáng)流量表征。然后，使用多尺寸卷積核的并行CNN 模型提取多視野的局部信息，整合得到數(shù)據(jù)包內(nèi)部時(shí)空關(guān)聯(lián)特征。接著，在流量會(huì)話層通過BiLSTM 捕捉多數(shù)據(jù)包之間的時(shí)序關(guān)系，并基于多頭注意力機(jī)制改進(jìn)重要數(shù)據(jù)包特征的提取能力，減輕噪音特征的影響。

3）流量分類檢測。通過Softmax 分類器實(shí)現(xiàn)惡意加密流量識(shí)別。

HST-MHSA 模型總體框架如圖1所示。

圖1 HST-MHSA 模型總體框架Fig.1 Overall framework of HST-MHSA model

2.1 流量表示與預(yù)處理

數(shù)據(jù)包是網(wǎng)絡(luò)流的基本傳輸單元，每個(gè)數(shù)據(jù)包由具有固定格式的數(shù)據(jù)包頭部字節(jié)和有效荷載字節(jié)組成，因此網(wǎng)絡(luò)流具有“網(wǎng)絡(luò)流-數(shù)據(jù)包-字節(jié)”的分層結(jié)構(gòu)。相比單向流，由通信雙方數(shù)據(jù)包組成的會(huì)話流含有更多交互信息［10］，因此本文選擇會(huì)話作為流量分類粒度，會(huì)話表示如式（1）所示：

其中：pi為按時(shí)間ti排序的數(shù)據(jù)包；b為源S 和目的端D 可互換的五元組信息；為會(huì)話中各數(shù)據(jù)包的長度和；t為首數(shù)據(jù)包的開始時(shí)間；d=tn-t為會(huì)話持續(xù)時(shí)間。因此，原始流量可表示為F={Session1,Session2,…,Sessionm}，m為會(huì)話流總數(shù)。

預(yù)處理階段完成從原始網(wǎng)絡(luò)流量pcap 文件向適合深度學(xué)習(xí)處理的字節(jié)序列csv 文件的轉(zhuǎn)換，主要流程如圖2所示。首先，根據(jù)式（1）進(jìn)行原始網(wǎng)絡(luò)流量切割，重組為多個(gè)會(huì)話流文件；接著，刪除空流和重復(fù)文件，過濾非HTTPS 的流量以及數(shù)據(jù)包數(shù)目小于3 的無效會(huì)話；然后，去除MAC 地址、IP 地址等對(duì)分類結(jié)果產(chǎn)生干擾的特定信息；最后，根據(jù)網(wǎng)絡(luò)流量傳輸?shù)淖止?jié)范圍為［0，255］的特點(diǎn)，提取每條會(huì)話中前N個(gè)數(shù)據(jù)包的前M個(gè)字節(jié)，若超出長度則截?cái)?，否則補(bǔ)充256 并標(biāo)記該會(huì)話。

圖2 流量預(yù)處理流程Fig.2 Procedure of traffic preprocessing

2.2 基于LSTM 與CNN 的數(shù)據(jù)包時(shí)空特征提取

經(jīng)過預(yù)處理后，每條會(huì)話表示為N×M個(gè)字節(jié)的一維形式。文獻(xiàn)［16］采用One-hot 編碼將每個(gè)數(shù)據(jù)包轉(zhuǎn)換為二維圖像，但生成的數(shù)據(jù)過于稀疏而導(dǎo)致模型訓(xùn)練速率低下。本文采用Embedding 方式，將每個(gè)數(shù)據(jù)包由M×1 的一維序列，轉(zhuǎn)換為M×J的二維稠密向量，其中第i個(gè)字節(jié)表示為一維向量則M個(gè)字節(jié)表示為a1：M=a1⊕a2⊕…⊕aM，作為數(shù)據(jù)包原始信息編碼。

數(shù)據(jù)包內(nèi)部字節(jié)具有前后關(guān)聯(lián)性，類似于句子中詞語之間的關(guān)系，RNN 擅長捕獲句子上下文特征，雙向RNN 可以從前后兩個(gè)方向捕捉前后順序聯(lián)系，避免后文信息的丟失。本文選用雙向LSTM 挖掘數(shù)據(jù)包內(nèi)部前后依賴信息，LSTM 基于RNN 引入選擇性機(jī)制，可以避免RNN 梯度消失問題。在時(shí)間步t上基于3 種門結(jié)構(gòu)完成對(duì)前一步的輸出ht-1和當(dāng)前輸入xt的計(jì)算，分別為輸入門it決定需要被保留的新輸入信息，經(jīng)過tanh 層的計(jì)算得出一個(gè)新的候選值?，進(jìn)一步得到細(xì)胞狀態(tài)Ct，遺忘門ft決定是否保留數(shù)據(jù)，輸出門ot決定輸出的信息ht。更新當(dāng)前隱藏狀態(tài)需要將當(dāng)前細(xì)胞狀態(tài)向量Ct中每個(gè)元素經(jīng)過tanh 函數(shù)并與輸出門ot的值進(jìn)行元素層面的乘積，具體計(jì)算如式（2）～式（7）所示：

通過將Embedding 處理后的數(shù)據(jù)包字節(jié)向量輸入雙向LSTM 層提取數(shù)據(jù)包內(nèi)部全局依賴關(guān)系，作為數(shù)據(jù)包全局時(shí)序特征表示H=hforward⊕hbackward，與原始信息編碼a1：M拼接得到數(shù)據(jù)包的時(shí)序拓展信息E=［eij］，以增強(qiáng)數(shù)據(jù)包內(nèi)部時(shí)序特征的表征能力。

利用TextCNN 模塊［17］進(jìn)一步提取數(shù)據(jù)包內(nèi)部的局部空間特征。該模塊的核心是多通道卷積和池化操作，采用多種尺寸的一維卷積核提取多視野的空間特征，并且卷積操作可以并行進(jìn)行，大幅加快了模型的訓(xùn)練速度。通過第r個(gè)尺寸為d的卷積核對(duì)拓展數(shù)據(jù)包編碼E進(jìn)行卷積操作，如式（8）所示：

其中：F為Relu 函數(shù)；Wr和br分別為第r個(gè)卷積核和偏置；為卷積后的特征。本文選用的3 種卷積核尺寸分別為3、4、5，并對(duì)每個(gè)卷積操作后得到的特征圖進(jìn)行最大池化操作（如式（9）所示），以簡化計(jì)算復(fù)雜度，抽取主要數(shù)據(jù)包的時(shí)空特征。

在合并多粒度局部特征后，為了減少參數(shù)規(guī)模，加快模型訓(xùn)練速度，使用全局最大池化替代文獻(xiàn)［17］中的全連接層，最終輸出數(shù)據(jù)包的內(nèi)部時(shí)空特征向量。數(shù)據(jù)包層混合時(shí)空特征提取模型結(jié)構(gòu)如圖3所示。

圖3 數(shù)據(jù)包層混合時(shí)空特征提取模型結(jié)構(gòu)Fig.3 Structure of hybrid spatiotemporal feature extraction model for packet layer

2.3 基于多頭注意力的會(huì)話層關(guān)鍵時(shí)序特征提取

網(wǎng)絡(luò)流量傳播過程中數(shù)據(jù)包具有明顯的先后順序關(guān)系，且前幾個(gè)TLS 握手階段的數(shù)據(jù)包對(duì)流量識(shí)別具有重要作用。因此，在經(jīng)過底層模型處理得到多個(gè)獨(dú)立數(shù)據(jù)包的時(shí)空特征向量后，使用BiLSTM層同時(shí)處理同一個(gè)會(huì)話中的N個(gè)數(shù)據(jù)包特征向量，捕獲不同數(shù)據(jù)包之間的時(shí)間序列關(guān)系。然而，LSTM在長距離傳播中損失較多信息且對(duì)特征重要度不敏感，因此采用多頭注意力機(jī)制改進(jìn)會(huì)話層對(duì)數(shù)據(jù)包重要特征的提取過程。多頭注意力機(jī)制進(jìn)行多次自注意力計(jì)算，自注意力是一般注意力的改進(jìn)，利用查詢（Q）=鍵（K）=值（V）的特征能充分捕捉序列內(nèi)部數(shù)據(jù)的長距離依賴關(guān)系，并賦予不同屬性不同權(quán)重。本文采用縮放點(diǎn)積注意力機(jī)制，多頭注意力對(duì)Q、K、V使用不同的權(quán)重矩陣并行進(jìn)行h次線性變換，得到不同的數(shù)據(jù)包向量注意力，最終合并輸出全局特征，可以高效學(xué)習(xí)到不同的表示子空間中的關(guān)鍵信息，具體計(jì)算如式（10）～式（12）所示：

其中：dk為K矩陣的維度；Softmax 函數(shù)將Q與K進(jìn)行點(diǎn)積運(yùn)算并歸一化的結(jié)果轉(zhuǎn)換為概率分布，與矩陣V相乘得到注意力權(quán)重求和結(jié)果。

圖4 為基于多頭注意力機(jī)制的會(huì)話層關(guān)鍵時(shí)序特征提取模型結(jié)構(gòu)。將多頭注意力層輸出的會(huì)話層全局特征經(jīng)過全局平均池化處理得到會(huì)話流時(shí)空特征向量，輸入到Softmax 分類器，進(jìn)行惡意加密流量識(shí)別。

圖4 基于多頭注意力機(jī)制的會(huì)話層關(guān)鍵特征提取模型結(jié)構(gòu)Fig.4 Structure of key feature extraction model based on multi-head attention mechanism for session layer

2.4 算法流程

本文提出的基于HST-MHSA 模型的惡意加密流量識(shí)別算法的具體步驟為：1）基于LSTM 和TextCNN 的數(shù)據(jù)包內(nèi)的時(shí)空特征提??；2）基于多頭注意力機(jī)制的會(huì)話層時(shí)序特征提??；3）Softmax 分類；4）模型訓(xùn)練與驗(yàn)證；5）模型測試與評(píng)估。

算法1基于HST-MHSA 模型的惡意加密流量識(shí)別算法

3 實(shí)驗(yàn)設(shè)置

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境根據(jù)流量預(yù)處理節(jié)點(diǎn)及模型構(gòu)建與訓(xùn)練階段分別進(jìn)行設(shè)置：1）在流量預(yù)處理階段，實(shí)驗(yàn)運(yùn)行在配置為Windows10 操作系統(tǒng)、Python2.7 環(huán)境的計(jì)算機(jī)上，利用開源Scapy 庫進(jìn)行流量提??；2）在模型構(gòu)建與訓(xùn)練過程中，實(shí)驗(yàn)運(yùn)行在配置為Windows10 操作系統(tǒng)、Python3.6 環(huán)境、CPU 為12 核i7-8700k、內(nèi)存為32 GB 的計(jì)算機(jī)上，采用GTX1080Ti顯卡加速，基于Tensorflow 2.1 完成模型的構(gòu)建以及訓(xùn)練調(diào)優(yōu)。

HST-MHSA 模型的參數(shù)設(shè)置如下：在Embedding層中，嵌入維度為128；在BiLSTM 層中，隱藏神經(jīng)元個(gè)數(shù)為128，返回整個(gè)序列的輸出，激活函數(shù)為tanh；在CNN 層中，卷積核尺寸分別為3、4、5，卷積核個(gè)數(shù)為128，步長為1，激活函數(shù)為Relu；在最大池化層中，池化的窗口大小為2；在多頭注意力層中，并行頭數(shù)量為2；在Softmax 層中，隱藏神經(jīng)元個(gè)數(shù)分別為2和4；在EarlyStopping 層中，觀察值設(shè)為驗(yàn)證集的loss 值，監(jiān)控的最小變化量為0.01，迭代次數(shù)為10。對(duì)比實(shí)驗(yàn)采用同層同參數(shù)值。實(shí)驗(yàn)使用早停機(jī)制動(dòng)態(tài)控制訓(xùn)練次數(shù)，若連續(xù)迭代10 次后驗(yàn)證集的loss值仍在上升則停止訓(xùn)練，避免過擬合的同時(shí)提高魯棒性。通過十折交叉驗(yàn)證防止實(shí)驗(yàn)偶然性，采用交叉熵?fù)p失函數(shù)及Adam 優(yōu)化算法，平均訓(xùn)練迭代次數(shù)為15，批大小為50，訓(xùn)練集、驗(yàn)證集和測試集的比例分別設(shè)置為8∶1∶1。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

CICAndMal2017 數(shù)據(jù)集［18］是由加拿大網(wǎng)絡(luò)安全研究所整理的數(shù)據(jù)集，收集了運(yùn)行于智能手機(jī)上的惡意和良性應(yīng)用程序的真實(shí)流量，格式為pcap。本文選取其中C&C 通信的3 種惡意應(yīng)用流量以及com.asiandate、com.askfm、com.asos.app 等多種正常應(yīng)用流量（統(tǒng)稱為Benign），具體數(shù)據(jù)情況如表1所示。

表1 數(shù)據(jù)集選取情況Table 1 Dataset selection

經(jīng)過數(shù)據(jù)分析發(fā)現(xiàn)，超過50%的會(huì)話流所含數(shù)據(jù)包數(shù)量（N）不超過21，數(shù)據(jù)包平均長度約為300 Byte，最小長度約為40 Byte，為縮減計(jì)算規(guī)模并保留流量頭部關(guān)鍵信息，本文選取數(shù)據(jù)包數(shù)量為21，每個(gè)數(shù)據(jù)包長度（M）為100 Byte。

3.3 實(shí)驗(yàn)評(píng)價(jià)方法

為從多方面評(píng)價(jià)本文HST-MHSA 模型對(duì)惡意加密流量的分類效果，選取F1 值（F）、漏報(bào)率（Missed Alarm Rate，MAR）和誤報(bào)率（False Alarm Rate，F(xiàn)AR）這3 個(gè)評(píng)價(jià)指標(biāo)，計(jì)算過程中涉及精確率（P）和召回率（R）指標(biāo)，具體計(jì)算公式如式（13）～式（17）所示：

其中，TTP表示正確預(yù)測為c 類的c 類加密流數(shù)量，TTN表示正確預(yù)測為非c 的非c 類加密流數(shù)量，F(xiàn)FP表示錯(cuò)誤預(yù)測為c 類的非c 類加密流數(shù)量，F(xiàn)FN為錯(cuò)誤預(yù)測為非c 類的c 類加密流數(shù)量。在二分類實(shí)驗(yàn)中，c 類指惡意類別，F(xiàn)1 值取加權(quán)平均值。

3.4 實(shí)驗(yàn)與結(jié)果分析

3.4.1 并行頭數(shù)量確定實(shí)驗(yàn)與結(jié)果分析

在多頭注意力層，超參數(shù)并行頭數(shù)量會(huì)影響不同特征的關(guān)注度，合適的并行頭數(shù)量能更準(zhǔn)確地提取數(shù)據(jù)包關(guān)鍵時(shí)空特征，過多或過少并行頭數(shù)量均有可能造成有效特征的缺失或被干擾，從而影響模型分類效果。本文設(shè)置并行頭數(shù)量分別為1、2、4 和8，實(shí)驗(yàn)結(jié)果如圖5所示?？梢钥闯?，當(dāng)并行頭數(shù)量為2 時(shí)的分類結(jié)果F1 值和漏報(bào)率均優(yōu)于其他并行頭數(shù)目，誤報(bào)率也較低。當(dāng)并行頭數(shù)量為1，即單頭自注意力時(shí)，HST-MHSA 模型對(duì)多維特征信息的挖掘能力差于多頭注意力，但并行頭數(shù)量過多可能會(huì)造成噪聲信息的增加，反而不利于關(guān)鍵特征的提取。

圖5 并行頭數(shù)量對(duì)模型分類效果的影響Fig.5 The influence of the number of parallel heads on the effect of model classification

3.4.2 變體模型對(duì)比實(shí)驗(yàn)與結(jié)果分析

為評(píng)估HST-MHSA 模型關(guān)鍵模塊的有效性，設(shè)計(jì)以下3 種變體模型，模型各層參數(shù)設(shè)置一致：

1）HST-MHSA_neLSTM：基于HST-MHSA 模型，去除了嵌入層和TextCNN 層之間的用于提取數(shù)據(jù)包內(nèi)部前后依賴關(guān)系的BiLSTM 層。

2）HST-MH：基于HST-MHSA 模型，去除了多頭注意力層。

3）HST-MHSA_GRU：基于HST-MHSA 模型，將兩層LSTM 均替換為RNN 門控循環(huán)單元（Gated Recurrent Unit，GRU）。GRU 是LSTM 的變體，將LSTM 的遺忘門和輸入門合并為更新門。

表2 給出了HST-MHSA 模型與變體模型的對(duì)比實(shí)驗(yàn)結(jié)果?？梢钥闯觯篐ST-MHSA_neLSTM 模型在數(shù)據(jù)包層缺少了對(duì)數(shù)據(jù)包內(nèi)字節(jié)的全局時(shí)序特征的提取，底層特征表示向量誤差較大，因此識(shí)別性能最差；HST-MHSA 模型在HST-MH 模型的基礎(chǔ)上引入了多頭注意力機(jī)制，可以捕捉到會(huì)話層更豐富且更關(guān)鍵的時(shí)序特征，因此識(shí)別性能更佳。

表2 變體模型對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Experimental results of variant models

HST-MHSA_GRU 模型與HST-MHSA 模型的分類效果較佳，說明本文層次時(shí)空特征提取與分類模型的總體結(jié)構(gòu)設(shè)計(jì)合理，盡管前者比后者簡化了模型復(fù)雜度，但后者在漏報(bào)率、誤報(bào)率和F1 值上均達(dá)到了最優(yōu)，可見GRU 對(duì)加密流量的時(shí)序特征提取能力略遜于LSTM。當(dāng)檢測10 000 條加密流量時(shí)，HST-MHSA_GRU 模型比HST-MHSA 模型少識(shí)別3 500 條惡意加密流量，因此本文選擇LSTM 作為流量時(shí)序特征提取網(wǎng)絡(luò)。

3.4.3 識(shí)別模型性能對(duì)比實(shí)驗(yàn)與結(jié)果分析

為了進(jìn)一步驗(yàn)證HST-MHSA 模型的有效性，本文基于3 種已有基準(zhǔn)模型（H-BiLSTM、HABBiLSTM和HAST-Ⅱ）和3 種簡化模型（1D-CNN、BiLSTM 和TextCNN）進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示，其中：1D-CNN 模型［19］將流量前（N×M）個(gè)字節(jié)的一維序列同時(shí)輸入串聯(lián)的兩層卷積層，提取局部空間特征；BiLSTM 模型將流量前（N×M）個(gè)字節(jié)整體經(jīng)過嵌入層處理后，利用一層BiLSTM 提取會(huì)話流全局時(shí)序特征；TextCNN 使用3 種尺寸的卷積核提取前（N×M）個(gè)字節(jié)的會(huì)話流多視角空間特征；H-BiLSTM模型在數(shù)據(jù)包層和會(huì)話層均采用BiLSTM 提取時(shí)序特征；HABBiLSTM 模型［20］在H-BiLSTM 模型的基礎(chǔ)上引入分層注意力機(jī)制，分別計(jì)算兩層重要時(shí)序特征；HAST-Ⅱ模型［16］首先在數(shù)據(jù)包層將字節(jié)數(shù)據(jù)獨(dú)熱編碼，利用卷積層提取空間特征，再在會(huì)話層采用雙向LSTM 提取時(shí)序特征完成分類。

表3 7 種模型的識(shí)別性能對(duì)比實(shí)驗(yàn)結(jié)果Table 3 Experimental results of comparison among recognition performance of seven models %

由表3 可以看出，HST-MHSA 模型漏報(bào)率最低，相比HAST-Ⅱ和HABBiLSTM 模型分別降低了3.19和2.18 個(gè)百分點(diǎn)，F(xiàn)1 值達(dá)到93.49%，在所有模型中總體分類性能最好，比1D-CNN 模型和HAST-Ⅱ模型分別提高了16.77 和1.20 個(gè)百分點(diǎn)，而誤報(bào)率僅次于HAST-Ⅱ模型，比后者高了0.85 個(gè)百分點(diǎn)，說明HSTMHSA 模型在數(shù)據(jù)包層的BiLSTM 和會(huì)話層的多頭注意力機(jī)制的作用下提高了對(duì)于惡意加密流量的關(guān)注度和識(shí)別能力。通過進(jìn)一步分析得出以下結(jié)論：

1）前3 種模型將流量字節(jié)視為整體處理，分類效果不佳，而后4種模型將流量分層處理，F(xiàn)1值均高于90%，說明分層網(wǎng)絡(luò)模型充分利用了流量所具有的“網(wǎng)絡(luò)流-數(shù)據(jù)包-字節(jié)”的結(jié)構(gòu)特征，更有利于流量分類。

2）HAST-Ⅱ和HST-MHSA 模型混合使用CNN 和LSTM 共同挖掘流量的時(shí)空特征，相比其他單獨(dú)使用LSTM 或CNN 的模型表現(xiàn)更好。

3）HABBiLSTM 和HST-MHSA 均引入了注意力機(jī)制，因此相比無注意力層的簡化模型能獲得更重要的流量特征信息，而多頭注意力相比普通注意力能夠捕獲更多維的關(guān)鍵特征。

表4 給出了各模型的參數(shù)量及訓(xùn)練情況，可以看出HST-MHSA 模型較復(fù)雜，訓(xùn)練時(shí)間較長，但是特征提取能力強(qiáng)，可以較快達(dá)到擬合狀態(tài)，僅需訓(xùn)練15 次即可停止訓(xùn)練。為更直觀地看出模型訓(xùn)練情況，圖6 給出了各模型前15 次訓(xùn)練的驗(yàn)證集準(zhǔn)確率變化情況，可以看出HAST-Ⅱ和HST-MHSA 模型的初始驗(yàn)證集準(zhǔn)確率高，擬合能力強(qiáng)，隨著訓(xùn)練次數(shù)的增加，后者達(dá)到最高的準(zhǔn)確率。

表4 各模型參數(shù)量及訓(xùn)練情況Table 4 The number of parameters and training situation of each model

圖6 7 種模型前15 次訓(xùn)練過程中驗(yàn)證集的準(zhǔn)確率變化情況Fig.6 Changes of the accuracy of the verification set during the first fifteen training sessions of seven models

HABBiLSTM、HAST-Ⅱ、HST-MHSA 這3 種分層模型進(jìn)行加密流量四分類實(shí)驗(yàn)時(shí)，對(duì)各類加密流量識(shí)別的F1 值，如圖7所示。HST-MHSA 模型總體識(shí)別效果最好，尤其是對(duì)數(shù)量最少的AndroidSpy.277流量識(shí)別的F1 值比HAST-Ⅱ模型高出2.05 個(gè)百分點(diǎn)，說明HST-MHSA 模型提高了對(duì)少數(shù)惡意加密流量的特征提取與識(shí)別能力。

圖7 3 種模型的四分類實(shí)驗(yàn)結(jié)果Fig.7 Results of four classification experiment of three models

4 結(jié)束語

本文提出一種基于層次時(shí)空特征與多頭注意力模型的惡意加密流量識(shí)別方法。在數(shù)據(jù)包層引入雙向LSTM 通過層，通過融合多通道CNN 加強(qiáng)對(duì)流量底層時(shí)空特征的表征能力，并利用多頭注意力機(jī)制改進(jìn)雙向LSTM 在會(huì)話層對(duì)多維度高判別性會(huì)話特征的提取能力。實(shí)驗(yàn)結(jié)果表明，該方法在F1 值、漏報(bào)率和誤報(bào)率方面相比其他方法均有明顯的性能提升，并且在一定程度上提高了對(duì)少數(shù)惡意加密流量的識(shí)別率，有效加強(qiáng)了惡意加密流量的識(shí)別效果。但本文僅從算法層面對(duì)不平衡數(shù)據(jù)分類效果進(jìn)行改進(jìn)，因此后續(xù)將考慮從數(shù)據(jù)層面出發(fā)，使用GAN 生成少數(shù)樣本處理不平衡數(shù)據(jù)分類問題，并結(jié)合深度學(xué)習(xí)和集成學(xué)習(xí)技術(shù)實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)下的加密流量精細(xì)化分類。