孫懿，高見(jiàn)，2，顧益軍

（1.中國(guó)人民公安大學(xué) 信息網(wǎng)絡(luò)安全學(xué)院，北京 100038；2.安全防范與風(fēng)險(xiǎn)評(píng)估公安部重點(diǎn)實(shí)驗(yàn)室，北京 102623）

0 概述

隨著信息技術(shù)的發(fā)展及公眾對(duì)隱私與安全的日益關(guān)注，非加密的數(shù)據(jù)傳輸方式逐漸被加密傳輸所取代［1］。加密技術(shù)的不斷發(fā)展，使得加密流量在互聯(lián)網(wǎng)流量中的占比也不斷上升，根據(jù)互聯(lián)網(wǎng)研究趨勢(shì)報(bào)告統(tǒng)計(jì)，大約有87%的Web 流量是加密的［2］。加密流量在一定程度上保障了用戶(hù)隱私與安全，但攻擊者也通過(guò)加密技術(shù)來(lái)隱藏惡意程序和服務(wù)器之間的交互，從而逃避防火墻和網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)等［3］。因此，如何在加密流量背景下有效識(shí)別出惡意加密流量，對(duì)于維護(hù)網(wǎng)絡(luò)空間安全、抵御網(wǎng)絡(luò)攻擊具有重要意義。

目前針對(duì)惡意流量檢測(cè)的方法大致可分為4 種方式［4］：基于端口號(hào)，深度包檢測(cè)，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)?；诙丝谔?hào)的方法，即根據(jù)數(shù)據(jù)包包頭中的端口號(hào)來(lái)區(qū)分不同種網(wǎng)絡(luò)應(yīng)用類(lèi)型（例如FTP 流量的21 端口、HTTP 流量的80 端口等）。但隨著隨機(jī)端口策略［5］、端口偽裝技術(shù)［6］等手段的普遍使用，使得基于端口對(duì)惡意加密流量進(jìn)行檢測(cè)變得十分困難。MOORE 等［7］通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，目前基于端口進(jìn)行流量分類(lèi)的方法在最佳情況下也僅有31%的準(zhǔn)確率?；谏疃劝鼨z測(cè)的方法則通過(guò)分析整個(gè)數(shù)據(jù)包數(shù)據(jù)，根據(jù)匹配預(yù)定義模式來(lái)判定流量所屬種類(lèi)。然而，加密技術(shù)的使用對(duì)網(wǎng)絡(luò)流量載荷數(shù)據(jù)進(jìn)行加密或協(xié)議封裝，使得這種通過(guò)對(duì)流量數(shù)據(jù)進(jìn)行逐字節(jié)匹配的方法在加密流量上變得不再可行。為克服基于深度包檢測(cè)方法存在的問(wèn)題，研究人員提出一種將特征工程與機(jī)器學(xué)習(xí)算法相結(jié)合的檢測(cè)方法。不同種類(lèi)的應(yīng)用所產(chǎn)生的流量特性有所差異，通過(guò)提取能夠體現(xiàn)這些特性的特征數(shù)據(jù)［8］，并結(jié)合機(jī)器學(xué)習(xí)的方法進(jìn)行流量分類(lèi)。但是基于機(jī)器學(xué)習(xí)的方法在很大程度上依賴(lài)于所選取的流量特征，往往很難找到有效區(qū)分的特征，從而導(dǎo)致模型分類(lèi)準(zhǔn)確率低下［3］。深度學(xué)習(xí)則通過(guò)端到端的方式，能夠自動(dòng)從原始流量中提取特征并進(jìn)行分類(lèi)，省去了繁瑣的人工提取特征，成為目前檢測(cè)惡意加密流量的主流方式。雖然深度學(xué)習(xí)模型能夠自動(dòng)提取特征并進(jìn)行分類(lèi)，但是不同的模型結(jié)構(gòu)會(huì)生成不同的表征，從而致使模型性能有所差異。因此，如何搭建深度學(xué)習(xí)模型，生成有效表征以提高惡意加密流量的檢測(cè)率是值得研究的問(wèn)題。

為得到更好的特征表示以提高模型的檢測(cè)結(jié)果，并對(duì)惡意加密流量進(jìn)行區(qū)分，本文設(shè)計(jì)一種融合一 維 Inception 結(jié)構(gòu)和 ViT（One-Dimensional Inception structure and Vision Transformer）的惡意流量檢測(cè)模型，并在公開(kāi)數(shù)據(jù)集USTC-TF2016 上通過(guò)對(duì)比變體模型、常見(jiàn)模型來(lái)驗(yàn)證該模型的有效性。

1 相關(guān)工作

隨著人工智能和大數(shù)據(jù)的發(fā)展，深度學(xué)習(xí)算法在計(jì)算機(jī)視覺(jué)（Computer Vision，CV）、自然語(yǔ)言處理（Natural Language Processing，NLP）等領(lǐng)域取得了較好的成績(jī)，惡意流量檢測(cè)領(lǐng)域的研究人員也開(kāi)始以不同的表示方法處理流量數(shù)據(jù)，并利用深度學(xué)習(xí)模型自動(dòng)提取特征實(shí)現(xiàn)檢測(cè)。

WANG 等［9］將一維卷積神經(jīng)網(wǎng)絡(luò)（One-Dimensional Convolutional Neural Network，1DCNN）應(yīng)用到加密流量分類(lèi)上，并驗(yàn)證了其假設(shè)，即流量是一維的序列數(shù)據(jù)，1D-CNN 相較于二維卷積神經(jīng)網(wǎng)絡(luò)（2D-CNN）更適合流量特征的提取，此外還創(chuàng)建了一個(gè)USTC-TFC2016 數(shù)據(jù)集，并開(kāi)發(fā)了該數(shù)據(jù)集上的預(yù)處理工具［10］。梁杰等［11］則通過(guò)將流量包按照最大內(nèi)容長(zhǎng)度截取并對(duì)其進(jìn)行獨(dú)熱編碼，之后再利用GoogLeNet［12］實(shí)現(xiàn)流量分類(lèi)，此外還對(duì)比了LeNet［13］等模型，證明該方法的有效性。

除將流量數(shù)據(jù)表示為圖像數(shù)據(jù)并根據(jù)卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行空間特征提取外，利用網(wǎng)絡(luò)流量本身具有的時(shí)序性特點(diǎn)，即具有“字節(jié)-數(shù)據(jù)包-數(shù)據(jù)流”的層次結(jié)構(gòu)，使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）對(duì)流量進(jìn)行時(shí)序特征提取也是一種常見(jiàn)的檢測(cè)方式。葉曉舟等［14］利用流量的層次結(jié)構(gòu)，首先對(duì)數(shù)據(jù)包進(jìn)行獨(dú)熱編碼處理，并使用雙向長(zhǎng)短期記憶（Bi-directional Long Short-Term Memory，BiLSTM）網(wǎng)絡(luò)提取數(shù)據(jù)包的時(shí)序特征，然后將一個(gè)網(wǎng)絡(luò)流內(nèi)的數(shù)據(jù)包特征進(jìn)行拼接，再利用BiLSTM提取其網(wǎng)絡(luò)流時(shí)序特征并進(jìn)行分類(lèi)。

ZHUANG 等［15］按照五元組（源IP 地址、源端口、目的IP 地址、目的端口、協(xié)議）方式對(duì)原始流量進(jìn)行切分并在同一流內(nèi)選取3 個(gè)連續(xù)數(shù)據(jù)包，類(lèi)比RGB圖像并利用CNN 對(duì)其進(jìn)行特征提取，之后輸入到LSTM 中提取3 個(gè)連續(xù)數(shù)據(jù)包的流特征，最終實(shí)現(xiàn)分類(lèi)。該類(lèi)方法使用CNN 對(duì)數(shù)據(jù)包特征進(jìn)行提取，再利用LSTM 在CNN 特征提取的基礎(chǔ)上提取流量時(shí)序特征，最終融合CNN 與LSTM 提取網(wǎng)絡(luò)流量的時(shí)空特征。

目前基于深度學(xué)習(xí)對(duì)流量進(jìn)行特征提取的方法大致可分為3 種方式：將流量數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù)利用CNN 對(duì)流量進(jìn)行空間特征提取，將流量視為字節(jié)-數(shù)據(jù)包-網(wǎng)絡(luò)流序列結(jié)構(gòu)使用RNN 提取時(shí)序特征，將CNN 與RNN 融合提取流量的時(shí)空關(guān)聯(lián)特征。此外，劉沖［16］提出了HABBiLSTM 檢測(cè)模型，該模型采用同文獻(xiàn)［14］類(lèi)似的模型結(jié)構(gòu)，但并沒(méi)有對(duì)數(shù)據(jù)進(jìn)行獨(dú)熱處理，而是將注意力機(jī)制融入到各層次特征提取中，以驗(yàn)證注意力機(jī)制能夠提升模型效果。

盡管上述研究均取得了較好的結(jié)果，但目前該領(lǐng)域研究大多在未加密流量上進(jìn)行實(shí)驗(yàn)。為了更好地提取加密流量表征，有效檢測(cè)惡意加密流量，本文通過(guò)改進(jìn)Inception 結(jié)構(gòu)并與ViT［17］相融合，構(gòu)建一維Inception-ViT 模型，以實(shí)現(xiàn)更好地檢測(cè)惡意加密流量。

2 一維Inception-ViT 模型設(shè)計(jì)

2.1 總體架構(gòu)

本文模型架構(gòu)如圖1 所示，通過(guò)使用端到端的方式實(shí)現(xiàn)惡意加密流量檢測(cè)。首先，對(duì)原始流量數(shù)據(jù)集進(jìn)行預(yù)處理，通過(guò)會(huì)話(huà)切分、數(shù)據(jù)清洗、數(shù)據(jù)混淆、統(tǒng)一大小、數(shù)據(jù)轉(zhuǎn)換等步驟，將其轉(zhuǎn)換成模型所需格式，方便后續(xù)進(jìn)行處理。其次，將處理好的數(shù)據(jù)輸入到CNN 特征提取模塊，使用改進(jìn)的一維Inception 結(jié)構(gòu)來(lái)提取更豐富的空間特征信息。最后，將得到的特征向量輸入到ViT 模塊中，利用多層感知機(jī)（Multilayer Perceptron，MLP）獲取多個(gè)特征組合表示，再計(jì)算每個(gè)塊特征的權(quán)重值并輸出加權(quán)特征向量，突出重點(diǎn)特征，迭代多層后，將最終的特征向量輸入到全連接層中得到最終分類(lèi)結(jié)果。

圖1 一維Inception-ViT 模型整體架構(gòu)Fig.1 Overall architecture of one-dimensional Inception-ViT model

2.2 數(shù)據(jù)預(yù)處理

本文所使用的數(shù)據(jù)集是文獻(xiàn)［10］所設(shè)計(jì)的USTC-TFC2016 數(shù)據(jù)集，該數(shù)據(jù)集包括10 種惡意加密流量和10 種正常網(wǎng)絡(luò)應(yīng)用流量，樣本數(shù)據(jù)集均為PCAP 文件格式。表1 為本文所使用的數(shù)據(jù)集，其中，左側(cè)為10 種正常網(wǎng)絡(luò)流量，由IXIA BPS 仿真設(shè)備生成，右側(cè)為10 種惡意加密流量，選自CTU 研究人員采集于真實(shí)網(wǎng)絡(luò)環(huán)境中的惡意軟件流量，數(shù)量列為經(jīng)過(guò)預(yù)處理后生成的樣本數(shù)量。

表1 數(shù)據(jù)集描述Table 1 Dataset description

網(wǎng)絡(luò)流量的切分方式可分為5 種［18］：TCP 連接的方式，即按照TCP 協(xié)議中的三次握手和四次揮手相應(yīng)的標(biāo)志位進(jìn)行切分；流的方式，即按照五元組（源IP地址、源端口、目的IP 地址、目的端口、協(xié)議）進(jìn)行切分，具有相同五元組的數(shù)據(jù)包屬于同一個(gè)流，也可以通過(guò)設(shè)置流超時(shí)或重置判定結(jié)束；會(huì)話(huà)的方式，會(huì)話(huà)也可以看作是雙向流，五元組內(nèi)的源和目的部分可以互換；服務(wù)的方式，按照建立服務(wù)所使用的端口號(hào)對(duì)進(jìn)行劃分，所有使用該端口號(hào)對(duì)的流量均視為同一組；主機(jī)的方式，即按照主機(jī)所產(chǎn)生的流量進(jìn)行切分，即來(lái)自主機(jī)產(chǎn)生的流量、主機(jī)接收來(lái)自哪里的流量。

本文對(duì)原始PCAP 文件以會(huì)話(huà)的方式進(jìn)行切分，相較于其他切分方式，會(huì)話(huà)能夠保存通信雙方之間的交互流量，攜帶更多的信息。具體處理過(guò)程如圖1 中數(shù)據(jù)預(yù)處理模塊所示。

1）會(huì)話(huà)切分：使用SplitCap［19］將原始PCAP 文件以會(huì)話(huà)方式切分成小單元。

2）數(shù)據(jù)清洗：在切分后的數(shù)據(jù)單元中，部分?jǐn)?shù)據(jù)可能丟失了區(qū)分惡意加密流量和正常流量的關(guān)鍵信息，一個(gè)完整的通信會(huì)話(huà)標(biāo)志是完成握手、互相進(jìn)行應(yīng)用數(shù)據(jù)的交互［20］，因此本文僅保留了有應(yīng)用數(shù)據(jù)的會(huì)話(huà)，以實(shí)現(xiàn)數(shù)據(jù)清洗。

3）數(shù)據(jù)混淆：Mac 地址和IP 地址并不是區(qū)分不同種流量的有效信息，相反模型如果學(xué)習(xí)了該類(lèi)信息反而會(huì)造成過(guò)擬合，因此本文采用隨機(jī)替換的方式對(duì)Mac 地址和IP 地址進(jìn)行混淆。

4）統(tǒng)一大?。翰煌耐ㄐ艜?huì)話(huà)，傳遞的網(wǎng)絡(luò)數(shù)據(jù)包數(shù)量和大小存在差異，同一網(wǎng)絡(luò)結(jié)構(gòu)其輸入網(wǎng)絡(luò)的數(shù)據(jù)形狀是固定的，因此需要將會(huì)話(huà)統(tǒng)一至相同大?。?0］。為了更好地進(jìn)行對(duì)比實(shí)驗(yàn)，本文參考制作USTC-TFC2016 數(shù)據(jù)集的原始論文數(shù)據(jù)預(yù)處理方式，最終選取784 Byte 作為會(huì)話(huà)流固定長(zhǎng)度。對(duì)于切分后會(huì)話(huà)長(zhǎng)度小于784 Byte 的數(shù)據(jù)則在末尾填充0x00，對(duì)于長(zhǎng)度大于784 Byte 數(shù)據(jù)則進(jìn)行截?cái)唷?/p>

5）數(shù)據(jù)轉(zhuǎn)換：將原始十六進(jìn)制的數(shù)據(jù)轉(zhuǎn)換成十進(jìn)制，并以大小為28×28 的灰度圖像進(jìn)行存儲(chǔ)，對(duì)生成的灰度圖像按照類(lèi)別隨機(jī)采樣，如圖2 所示。

圖2 20 類(lèi)流量的灰度圖像Fig.2 Gray scale image of twenty types of traffic

6）標(biāo)記標(biāo)簽：將灰度圖像按照類(lèi)別存放在標(biāo)簽命名的文件夾下。

2.3 CNN 特征提取模塊

編碼器具體結(jié)構(gòu)如圖3 所示，其中，數(shù)字大小即為該層所使用的核參數(shù)大小，卷積層、池化層均采用填充的方式，兩者的步長(zhǎng)分別為1 和2，然后再將提取后的特征向量轉(zhuǎn)換成大小為14×14 的特征圖輸入到ViT 模塊，進(jìn)行下一步的操作。

圖3 一維Inception 結(jié)構(gòu)Fig.3 Structure of one-dimensional Inception

在典型的GoogLeNet網(wǎng)絡(luò)中，其特有的Inception結(jié)構(gòu)相較于直接增加網(wǎng)絡(luò)深度和卷積層數(shù)量［11］，在多尺度卷積核上提取圖像的不同尺度特征，能夠在分類(lèi)時(shí)提供更豐富的視野，此外Transformer 編碼器缺少卷積神經(jīng)網(wǎng)絡(luò)內(nèi)固有的一些歸納偏置［21］。因此，本文添加了CNN 特征提取模塊，對(duì)原Inception結(jié)構(gòu)進(jìn)行改進(jìn)，使用一維卷積替換原有二維卷積，同時(shí)添加池化層在保持特征不變性的前提下去除一些冗余信息［22］，防止模型過(guò)擬合。

2.4 ViT 模塊

經(jīng)典ViT 模型主要使用Transformer 編碼器［23］，該編碼器由一個(gè)多頭注意力（Multi-Head Attention，MHA）和前饋網(wǎng)絡(luò)（Feed-Forward Network，F(xiàn)FN）兩個(gè)子層構(gòu)成。其中FFN 層實(shí)質(zhì)上就是兩層線(xiàn)性映射，每個(gè)子層前使用層標(biāo)準(zhǔn)化（Layer Normalization，LN），每個(gè)子層后使用殘差連接，Transformer 編碼器結(jié)構(gòu)如圖4 所示。

圖4 Transformer 編碼器結(jié)構(gòu)Fig.4 Transformer encoder structure

如圖4（a）所示，在Transformer 塊中對(duì)于序列中任何位置的任何輸入X∈Rd，都需要滿(mǎn)足Sublayer(X)∈Rd，以便進(jìn)行殘差連接X(jué)+Sublayer(X)∈Rd，其中Sublayer(X)為子層所實(shí)現(xiàn)的函數(shù)。層標(biāo)準(zhǔn)化的作用是將神經(jīng)網(wǎng)絡(luò)中某一層的所有神經(jīng)元進(jìn)行歸一化，加快模型訓(xùn)練速度、加速收斂。假設(shè)該層有D個(gè)神經(jīng)元，該層輸入X={x1,x2,…,xD}，層標(biāo)準(zhǔn)化計(jì)算如式（1）所示：

其中：?的作用是為了防止分母為0；μ為均值；σ2為方差。

μ、σ2的計(jì)算如式（2）、式（3）所示：

注意力機(jī)制就是讓機(jī)器對(duì)于模型輸入的不同部分賦予不同的權(quán)重，以突出關(guān)鍵信息。對(duì)于輸入的序列X={x1,x2,…,xD}，其中,xt為第t個(gè)向量，使用多層感知機(jī)對(duì)xt做三次線(xiàn)性變換，由xt向量衍生出qt、kt、vt。再將所有向量衍生出的qt、kt、vt拼成向量矩陣，并分別記作查詢(xún)矩陣Q、鍵矩陣K、值矩陣V：

注意力權(quán)重則是通過(guò)計(jì)算查詢(xún)和鍵的相關(guān)性并進(jìn)行softmax 計(jì)算得到的，其中本文所使用的ViT 模塊以點(diǎn)積的方式計(jì)算兩者的相似性，之后將得到的注意力權(quán)重與值矩陣V進(jìn)行加權(quán)求和，最終得到注意力輸出。具體計(jì)算過(guò)程如式（5）所示：

多頭注意力就是對(duì)于輸入序列使用不同的權(quán)重矩陣進(jìn)行h次線(xiàn)性變換，得到不同的注意力輸出hi，最終合并出全局特征H=Concat(h1,h2,…,hh)，再利用多層感知機(jī)將其轉(zhuǎn)換至想要的向量維度，如圖4（b）所示。

ViT 模塊通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行切分，將其轉(zhuǎn)換為一維圖像塊序列，從而使Transformer 能夠?qū)ζ溥M(jìn)行處理，其模型結(jié)構(gòu)如圖5 所示。

圖5 ViT 模型結(jié)構(gòu)Fig.5 ViT model structure

ViT 模型結(jié)構(gòu)步驟如下：

2）圖像塊嵌入：將圖像塊從(N,P2×C)轉(zhuǎn)化為(N,D)，利用MLP 做一個(gè)線(xiàn)性變換。此外，人為追加一個(gè)用于分類(lèi)的可學(xué)習(xí)向量＜class ＞，方便日后對(duì)序列數(shù)據(jù)進(jìn)行分類(lèi)。

3）位置編碼：由于Transformer 編碼器并沒(méi)有像循環(huán)神經(jīng)網(wǎng)絡(luò)那樣的迭代操作，因此需要將切分后的圖像塊位置信息提供給Transformer 編碼器，即在圖像塊嵌入中添加位置編碼向量。

4）Transformer 編碼器：由多個(gè)Transformer 塊組成，對(duì)經(jīng)過(guò)步驟1～步驟3 處理后的圖像塊序列進(jìn)行特征提取。

5）多層感知機(jī)（MLP）：將經(jīng)過(guò)Transformer 編碼器處理后，用于分類(lèi)的可學(xué)習(xí)向量＜class ＞提取，并接入到全連接層進(jìn)行分類(lèi)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境和模型超參數(shù)設(shè)置

本文實(shí)驗(yàn)操作系統(tǒng)為Windows 11 家庭中文版，GPU 型號(hào)為GeForce RTX 3070，cuda 版本為11.4，使用Anaconda3-4.10.3 版本編輯環(huán)境，python 版本為3.7。

一維Inception-ViT 模型參數(shù)設(shè)置如下：在預(yù)處理過(guò)程中，統(tǒng)一會(huì)話(huà)流大小為784 Byte；在CNN 特征提取模塊，一維Inception 結(jié)構(gòu)卷積核尺寸如圖3 所示，卷積核個(gè)數(shù)分別為32、［32，64］、［16，32］、32，激活函數(shù)為relu，經(jīng)過(guò)該模塊處理后圖片從28×28 大小變成14×14；在ViT 模塊，圖片輸入大小為14×14，圖像塊尺寸為7×7，圖像塊嵌入大小為64，在Transformer 編碼器中Transformer 塊個(gè)數(shù)為4，多頭注意力的個(gè)數(shù)為2，多頭注意力線(xiàn)性變換大小為64，其他MLP 維度均為128。模型選擇交叉熵作為損失函數(shù)、Adam 優(yōu)化算法，批大小為50，學(xué)習(xí)率lr為1×10-4，epoch 大小為10。

3.2 評(píng)價(jià)指標(biāo)

由于本文主要對(duì)惡意加密流量進(jìn)行多分類(lèi)檢測(cè)，為了更好地衡量模型對(duì)惡意加密流量檢測(cè)效果，主要選取平均召回率（Average Recall，AR）、平均F1值（Average F1_Score，AF）作為評(píng)價(jià)指標(biāo)。其中平均召回率和平均F1 值為每一類(lèi)流量的召回率（R）和F1 值（F1_Score，F(xiàn)）的調(diào)和平均值，N為數(shù)據(jù)集中種類(lèi)總數(shù)，TTP為將A類(lèi)流量預(yù)測(cè)為A類(lèi)的樣本數(shù)，F(xiàn)FP為將非A類(lèi)流量預(yù)測(cè)為A類(lèi)的樣本數(shù)，TTN為將非A類(lèi)流量預(yù)測(cè)為非A類(lèi)的樣本數(shù)，F(xiàn)FN為將A類(lèi)流量預(yù)測(cè)為非A類(lèi)的樣本數(shù)。計(jì)算過(guò)程所涉及的精確率（P）等具體計(jì)算公式如式（6）～式（10）所示：

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 一維Inception-ViT 模型參數(shù)選擇

不同的Transformer 塊個(gè)數(shù)m可以組成不同深度的ViT 模型，不同的多頭注意力并行頭個(gè)數(shù)h形成不同的Transformer 塊。過(guò)多或過(guò)少的模型深度或并行頭個(gè)數(shù)均有可能造成有效特征的缺失或干擾［24］，從而影響模型的檢測(cè)結(jié)果。因此，本文設(shè)置Transformer 塊個(gè)數(shù)取值為1、2、3、4、5、6，多頭注意力并行頭個(gè)數(shù)取值為1、2、4、6、8，在公開(kāi)數(shù)據(jù)集USTCTFC2016進(jìn)行30組實(shí)驗(yàn)。使用平均召回率、平均F1值作為評(píng)價(jià)指標(biāo)，以選取最佳超參數(shù)組合。實(shí)驗(yàn)最終結(jié)果如圖6、圖7 所示，其中，x軸為T(mén)ransformer 塊個(gè)數(shù)m，y軸為評(píng)價(jià)指標(biāo)值，圖例為多頭注意力并行頭個(gè)數(shù)h。

圖6 不同超參數(shù)組合的平均召回率實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of average recall of different superparametric combinations

圖7 不同超參數(shù)組合的平均F1 值實(shí)驗(yàn)結(jié)果Fig.7 Experimental results of average F1 value of different superparametric combinations

從圖6、圖7 可以看出：當(dāng)Transformer 塊為4 且并行頭個(gè)數(shù)為2 時(shí)，平均召回率值和平均F1 值分別為99.42%和99.39%，均優(yōu)于其他超參數(shù)組合。固定模型深度即Transformer 塊個(gè)數(shù)，可以看出隨著并行頭個(gè)數(shù)的增加，模型性能并非一直提升，過(guò)多的并行頭數(shù)量可能會(huì)加劇噪聲的干擾，反而會(huì)使模型性能下降。同樣，固定并行頭數(shù)量隨著模型深度的增加，模型性能并非一直上升。合適的Transformer 塊個(gè)數(shù)與并行頭個(gè)數(shù)能夠更有效地提取流量特征，因此本文最終選取Transformer 塊個(gè)數(shù)為4、多頭注意力并行頭個(gè)數(shù)為2 的ViT 模塊。

3.3.2 不同CNN 特征提取模塊對(duì)比實(shí)驗(yàn)

為評(píng)估一維Inception-ViT 模型中CNN 特征提取模塊的有效性，設(shè)計(jì)以下變體模型，除改動(dòng)外模型其他參數(shù)保持一致：

1）ViT 模型。去除CNN 特征提取模塊，僅使用ViT 模塊對(duì)流量數(shù)據(jù)進(jìn)行分類(lèi)。

2）一維Inception 模型。去除ViT 模塊，僅使用改進(jìn)后的一維Inception 結(jié)構(gòu)連接兩層全連接層進(jìn)行分類(lèi)，其中全連接層的維度為128。

3）1D-CNN-ViT 模型。替換所使用的CNN 特征提取模塊，具體模塊結(jié)構(gòu)如圖8 所示，采用兩層一維卷積加最大池化結(jié)構(gòu)用于特征提取，其中卷積核個(gè)數(shù)設(shè)置為［32，64］。

圖8 一維卷積結(jié)構(gòu)Fig.8 Structure of one-dimensional convolution

4）2D-CNN-ViT模型。同1D-CNN-ViT 模型結(jié)構(gòu)類(lèi)似，但使用二維卷積，具體模型結(jié)構(gòu)如圖9所示。

圖9 二維卷積結(jié)構(gòu)Fig.9 Structure of two-dimensional convolution

5）Inception-ViT 模型。使用原始Inception 結(jié)構(gòu)作為CNN 特征提取模塊，模型結(jié)構(gòu)如圖10 所示，此外為將大小統(tǒng)一，添加了核大小為3×3 的最大池化層。

圖10 Inception 結(jié)構(gòu)Fig.10 Structure of Inception

6）No_Pooling-ViT 模型。去除了最大池化操作，具體模型結(jié)構(gòu)如圖11 所示。

圖11 去除池化操作后結(jié)構(gòu)Fig.11 Structure of removing the pooling operation

表2 給出了一維Inception-ViT 模型與其變體模型的對(duì)比結(jié)果?？梢钥闯鲆痪SInception-ViT 模型性能最好，在平均召回率和平均F1 值指標(biāo)上分別達(dá)到99.42%和99.39%，相較于僅使用單一模塊的ViT 模型和一維Inception 模型有所提升。此外，去除池化操作后的No_Pooling-ViT 模型相較于一維Inception-ViT 模型性能有所下降，說(shuō)明池化操作的下采樣有助于減少冗余信息，提升模型的檢測(cè)結(jié)果。對(duì)比有無(wú)添加Inception 結(jié)構(gòu)的4 種模型（1D-CNN-ViT 和一維Inception-ViT、2D-CNN-ViT 和Inception-ViT），添加Inception 結(jié)構(gòu)的模型均比沒(méi)有添加Inception 結(jié)構(gòu)模型性能有所提升，說(shuō)明多尺度卷積核能夠提取更豐富的特征信息，使得模型分類(lèi)更為準(zhǔn)確。對(duì)比一維卷積和二維卷積模型（1D-CNN-ViT 和2D-CNNViT、Inception-ViT 和一維Inception-ViT），使用一維卷積的模型都比使用二維卷積的模型性能要好，甚至1D-CNN-ViT 模型比添加了Inception 結(jié)構(gòu)的二維卷積Inception-ViT 模型效果更好，即在時(shí)序性數(shù)據(jù)上一維卷積比二維卷積更適合。

表2 多分類(lèi)下不同變體模型AR 和AF 結(jié)果對(duì)比Table 2 Comparison of AR and AF results of different variant models under multiple classifications %

綜上所述，一維Inception 結(jié)構(gòu)相較于其他CNN特征提取模塊能夠獲取更豐富的特征信息，此外結(jié)合ViT 模塊，利用注意力機(jī)制突出重點(diǎn)特征，從而提升了一維Inception-ViT 模型的檢測(cè)性能。

3.3.3 常見(jiàn)模型性能對(duì)比實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證一維Inception-ViT 模型的有效性，在相同的訓(xùn)練次數(shù)下，本文選取了8 種模型（1DCNN、2D-CNN、GoogLeNet、ResNet、BiLSTM、HiLSTM、HABBiLSTM、CNN+LSTM）作為基準(zhǔn)模型進(jìn)行對(duì)比。其中：1D-CNN［9］模型將經(jīng)過(guò)預(yù)處理后的圖像數(shù)據(jù)轉(zhuǎn)換成一維序列輸入到一維卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征提取并分類(lèi)；2D-CNN［10］模型與1DCNN 模型類(lèi)似，但其使用二維卷積的方式進(jìn)行特征提 ?。籖esNet［25］模型由HE等于2016 年提出，考慮到輸入圖片的大小，本文使用ResNet-14 對(duì)其進(jìn)行分類(lèi)；BiLSTM 模型使用雙向LSTM 從會(huì)話(huà)層級(jí)對(duì)輸入的圖片數(shù)據(jù)整體提取其時(shí)序特征并分類(lèi)；HiLSTM［14］模型將流量看作“字節(jié)-數(shù)據(jù)包-會(huì)話(huà)流”結(jié)構(gòu)，同時(shí)對(duì)數(shù)據(jù)進(jìn)行獨(dú)熱編碼，將一個(gè)流量字節(jié)轉(zhuǎn)換為256 維的向量，使用BiLSTM 在數(shù)據(jù)包和會(huì)話(huà)層級(jí)分別提取時(shí)序特征并進(jìn)行分類(lèi)；HABBiLSTM［16］同HiLSTM 模型結(jié)構(gòu)類(lèi)似，但其不對(duì)數(shù)據(jù)進(jìn)行編碼，同時(shí)在數(shù)據(jù)包和會(huì)話(huà)流層分別添加注意力機(jī)制，用來(lái)計(jì)算重要時(shí)序特征；CNN+LSTM 模型參考文獻(xiàn)［15］的模型結(jié)構(gòu)，首先利用CNN 提取數(shù)據(jù)包的空間特征并使用MLP 將提取后的特征變換至指定維度，之后再使用BiLSTM 對(duì)數(shù)據(jù)包層特征組成的序列進(jìn)一步提取網(wǎng)絡(luò)流特征實(shí)現(xiàn)分類(lèi)。

從表3 可以看出：一維Inception-ViT 模型性能最好，在AR 和AF 指標(biāo)上分別達(dá)到了99.42% 和99.39%，相較于其他基準(zhǔn)模型在AR 指標(biāo)上分別提升了0.19、0.52、1.96、0.31、7.13、0.53、0.45、2.00 個(gè)百分點(diǎn)，在AF 指標(biāo)上分別提升了0.17、0.49、1.87、0.27、7.16、0.61、0.44、1.88 個(gè)百分點(diǎn)。

表3 各模型AR 和AF 結(jié)果對(duì)比Table 3 Comparison of AR and AF results of each model %

此外，為進(jìn)一步驗(yàn)證所提模型在加密流量多分類(lèi)上的性能，圖12 所示為各模型的混淆矩陣。從圖12 可以看出：多數(shù)模型在Neris 和Virut 兩類(lèi)上具有一定混淆。一維Inception-ViT 模型預(yù)測(cè)為Neris類(lèi)樣本中有23 個(gè)屬于Virut 類(lèi)，預(yù)測(cè)為Virut 類(lèi)中樣本有45 個(gè)屬于Neris 類(lèi)，相較于基準(zhǔn)模型中性能最好的1D-CNN 模型，減少了16 個(gè)樣本混淆。為了更好地進(jìn)行對(duì)比，表4 統(tǒng)計(jì)了各模型在Neris 和Virut 兩類(lèi)上F1 值評(píng)價(jià)指標(biāo)結(jié)果。從表4 可以看出：一維Inception-ViT 模型在Neris 和Virut 兩類(lèi)區(qū)分上結(jié)果最優(yōu)，相較于基準(zhǔn)模型中性能最好的1D-CNN 模型分別提升了0.81 和1.33 個(gè)百分點(diǎn)，相較于Neris 和Virut 兩類(lèi)上分類(lèi)結(jié)果最優(yōu)的基準(zhǔn)模型ResNet 分別提升了0.48 和1.1 個(gè)百分點(diǎn)。對(duì)于ResNet 模型，從圖12 混淆矩陣可以看出：該模型在對(duì)惡意加密流量Shifu 類(lèi)進(jìn)行預(yù)測(cè)時(shí)，錯(cuò)誤地將其他種類(lèi)流量的8 個(gè)樣本預(yù)測(cè)為該類(lèi)，而一維Inception-ViT 模型在該類(lèi)別上僅錯(cuò)誤預(yù)測(cè)1 個(gè)樣本，對(duì)惡意加密流量檢測(cè)更為準(zhǔn)確。

表4 各模型在Neris 和Virut 上的F1 值Table 4 F1 value of each model on Neris and Virut %

圖12 各模型混淆矩陣Fig.12 Confusion matrix of each model

綜上所述，一維Inception-ViT 模型能夠在加密流量多分類(lèi)任務(wù)上擁有最優(yōu)性能，同時(shí)相較于其他模型能更有效地區(qū)分惡意加密流量。

4 結(jié)束語(yǔ)

本文構(gòu)建一種融合一維Inception 和ViT 的惡意流量檢測(cè)模型，通過(guò)改進(jìn)GoogLeNet 中的Inception結(jié)構(gòu)，使用一維卷積替換二維卷積并添加池化層去除冗余信息，通過(guò)融合ViT 模塊增強(qiáng)特征區(qū)分度，提升模型檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，該模型在多分類(lèi)實(shí)驗(yàn)下，平均召回率和平均F1 值相比對(duì)比模型均有所提高，同時(shí)在惡意加密流量區(qū)分度上也有明顯提升，可獲取更有效的加密流量表征，增強(qiáng)了對(duì)惡意加密流量的檢測(cè)。但本文僅在單一數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，且在數(shù)據(jù)預(yù)處理中采用截?cái)嗟姆绞剑赡軙?huì)造成有效信息丟失。后續(xù)將考慮采用不同的數(shù)據(jù)預(yù)處理方式，并在多種數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以獲取更好的效果。