駱子銘 許書彬

摘 ? 要：隨著互聯(lián)網(wǎng)應(yīng)用加密業(yè)務(wù)流的快速增長，流量加密在保護(hù)隱私的同時也給網(wǎng)絡(luò)安全防御帶來了巨大的挑戰(zhàn)，惡意加密流量檢測是互聯(lián)網(wǎng)安全領(lǐng)域的一個重點問題。文章首先介紹了TLS協(xié)議特點、流量識別方法;然后，從TLS特征、數(shù)據(jù)元特征、上下文數(shù)據(jù)三個方面分析了惡意加密流量的特征，給出了基于機(jī)器學(xué)習(xí)的TLS惡意流量檢測相關(guān)方法;最后，通過構(gòu)建基于機(jī)器學(xué)習(xí)的分布式自動化的惡意流量檢測體系，實現(xiàn)對惡意流量的動態(tài)檢測，并具備增量式學(xué)習(xí)能力。

關(guān)鍵詞：機(jī)器學(xué)習(xí);流量識別;安全傳輸層

中圖分類號：TN918 ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A

Abstract： As the flow of encrypted network traffic growing rapidly， the encryption of data protects privacy while poses a great threat to cyberthreat defense. Identifying threats contained within encrypted network traffic is a key issue in the network security domain. In this paper， we begin by introduce the characteristics of TLS protocol and the methodology of identifying network traffic. Then， we analyze the characteristics of encrypted malware traffic from TLS data， observable metadata and contextual flow data. This study is used to design the methodology of detecting malicious traffic's use of TLS based on machine learning. Finally， we manage to detect malicious traffic dynamically with incremental learning ability by building a distributed automation malicious traffic detecting system based on machine learning.

Key words： machine learning; encrypted traffic; Transport Layer Security

1 引言

隨著安全傳輸層（Transport Layer Security，TLS）協(xié)議的廣泛使用，網(wǎng)絡(luò)中的加密流量越來越多，識別這些加密的流量是否安全可靠，給網(wǎng)絡(luò)安全防御帶來了巨大挑戰(zhàn)。傳統(tǒng)的流量識別方法，例如基于深度包檢測或者模式匹配等方法都對加密流量束手無策，因此識別網(wǎng)絡(luò)加密流量中包含的威脅是一項具有挑戰(zhàn)性的工作[1]。

由于網(wǎng)絡(luò)基礎(chǔ)設(shè)施安全的重要性，其對檢測的準(zhǔn)確率和誤報率有較高的要求。同時，僵尸網(wǎng)絡(luò)、網(wǎng)絡(luò)入侵、惡意加密流量等網(wǎng)絡(luò)攻擊，具有攻擊量大、形式多樣化的特點，對于該類的攻擊檢測需要能夠做出快速實時的響應(yīng)。基于機(jī)器學(xué)習(xí)的惡意加密流量檢測，一直是近年來網(wǎng)絡(luò)安全領(lǐng)域的研究熱點[2]。

目前，惡意加密流量檢測研究，主要側(cè)重于加密流量特征分析[3]以及機(jī)器學(xué)習(xí)算法的選擇問題[4]。通過合理的檢測體系，構(gòu)建具備增量式學(xué)習(xí)能力的樣本數(shù)據(jù)庫，實時動態(tài)檢測分析惡意加密流量攻擊，將能夠快速實施響應(yīng)并采取防御措施。本文所討論的加密流量限于采用TLS協(xié)議進(jìn)行加密的網(wǎng)絡(luò)流量，故文中提到的“惡意加密流量”和“TLS惡意流量”均代指采用TLS協(xié)議加密的惡意流量。

2 ?TLS協(xié)議

2.1 ?TLS握手協(xié)議

TLS協(xié)議位于傳輸層和應(yīng)用層之間，是一種在兩個通信應(yīng)用程序之間提供安全通信的協(xié)議，保證了網(wǎng)絡(luò)通信數(shù)據(jù)的完整性和保密性[5]。TLS協(xié)議是由握手協(xié)議、記錄協(xié)議、更改密文協(xié)議和警報協(xié)議組成。

握手協(xié)議是TLS協(xié)議中十分重要的協(xié)議，客戶端和服務(wù)端一旦都同意使用TLS協(xié)議，需要通過握手協(xié)議協(xié)商出一個有狀態(tài)的連接以傳輸數(shù)據(jù)。通過握手過程，通信雙方需要確認(rèn)使用的密鑰和算法。除此之外，還包括數(shù)據(jù)壓縮算法、信息摘要算法等一些數(shù)據(jù)傳輸?shù)倪^程中需要使用的其他信息。當(dāng)握手協(xié)議完成以后，通信雙方開始加密數(shù)據(jù)傳輸。

2.2 ?TLS流量識別

鑒于TLS握手協(xié)議通過明文傳輸?shù)奶攸c，可以捕獲PCAP文件并解析數(shù)據(jù)包的頭部信息，通過比較不同的頭部信息及對比不同消息的報文結(jié)構(gòu)，可以判定當(dāng)前的數(shù)據(jù)包是否為TLS握手協(xié)議的某一特定消息類型。一個完整的TLS會話過程一定包含五種類型的消息：ClientHello、Server Hello、Server Hello Done、Client KeyExchange、Change Cipher Spec。如果在某個數(shù)據(jù)流中沒有檢測到以上的消息，那么可以判定其為非TLS流。如果只檢測到其中的一部分消息，則有兩種可能：一是由于TLS握手過程不完整而導(dǎo)致了連接建立失敗;二是抓包不完整，此數(shù)據(jù)流是TLS流，但由于抓包過程中存在網(wǎng)絡(luò)延遲等原因，有可能丟包導(dǎo)致。在判定過程中，如果數(shù)據(jù)流中沒有全部包含以上的五種消息，則將該數(shù)據(jù)流判定為非TLS流，否則將其判定為一個TLS流。

3 ?TLS惡意流量特征分析

在學(xué)術(shù)界，惡意流量特征一般分為三類：內(nèi)容特征、數(shù)據(jù)流統(tǒng)計特征、網(wǎng)絡(luò)連接行為特征[6]。

內(nèi)容特征主要指惡意流量的協(xié)議段中特有的值和協(xié)議負(fù)載中含有的某些特殊的字符序列。數(shù)據(jù)流統(tǒng)計特征和網(wǎng)絡(luò)連接行為特征，需要采集數(shù)據(jù)并進(jìn)行統(tǒng)計分析，從而得到某種規(guī)律，可以統(tǒng)稱為統(tǒng)計特征。從網(wǎng)絡(luò)層、傳輸層、應(yīng)用層提取并計算流量統(tǒng)計值，可以得到數(shù)據(jù)流統(tǒng)計特征，再從這些統(tǒng)計特征中提取惡意流量特征。而一些惡意軟件同時也會產(chǎn)生特定的網(wǎng)絡(luò)連接特征，比如受蠕蟲病毒感染的主機(jī)由于隨機(jī)掃描互聯(lián)網(wǎng)IP地址，從而會產(chǎn)生大量的失敗網(wǎng)絡(luò)連接。針對采用TLS協(xié)議加密的惡意流量，本文從TLS特征、數(shù)據(jù)元統(tǒng)計特征、上下文數(shù)據(jù)三個方面來分析其特征要素。

3.1 ?TLS特征

惡意流量和良性流量具有非常明顯的TLS特征差異，如表1所示，主要包括提供的密碼組、客戶端公鑰長度、TLS擴(kuò)展和服務(wù)器證書收集所采用的密碼套件。在流量的采集過程中，可以從客戶端發(fā)送的請求中獲取TLS版本、密碼套件列表和支持的TLS擴(kuò)展列表。若分別用向量表示客戶端提供的密碼套件列表和TLS擴(kuò)展列表，可以從服務(wù)器發(fā)送的確認(rèn)包中的信息確定兩組向量的值。同時，從密鑰交換的數(shù)據(jù)包中，可以得到密鑰的長度。

3.2 ?數(shù)據(jù)元統(tǒng)計特征

惡性流量與良性流量的統(tǒng)計特征差別主要表現(xiàn)在數(shù)據(jù)包的大小、到達(dá)時間序列和字節(jié)分布。數(shù)據(jù)包的長度受UDP、TCP或者ICMP協(xié)議中數(shù)據(jù)包的有效載荷大小影響，如果數(shù)據(jù)包不屬于以上協(xié)議，則被設(shè)置為IP數(shù)據(jù)包的大小。因到達(dá)時間以毫秒分隔，故數(shù)據(jù)包長度和到達(dá)時間序列，可以模擬為馬爾科夫鏈，從而構(gòu)成馬爾科夫狀態(tài)轉(zhuǎn)移矩陣。

3.3 ?上下文數(shù)據(jù)

上下文數(shù)據(jù)包括HTTP數(shù)據(jù)和DNS數(shù)據(jù)。過濾掉TLS流中的加密部分，可以得到HTTP流，具體包括出入站的HTTP字段、Content-type、User-agent、Accept-language、Server、HTTP響應(yīng)碼。DNS數(shù)據(jù)包括DNS響應(yīng)中域名的長度、數(shù)字以及非數(shù)字字符的長度、TTL值、DNS響應(yīng)返回的IP地址數(shù)、域名在Alexa中的排名。

4 ?TLS惡意流量識別

加密網(wǎng)絡(luò)流量給網(wǎng)絡(luò)安全防御帶來了巨大的挑戰(zhàn)，在不加解密的基礎(chǔ)上識別加密流量中包含的威脅具有十分重要的意義。通過對加密惡意流量的特征進(jìn)行深入的研究，進(jìn)而探索加密惡意流量與正常流量的特征。然后通過機(jī)器學(xué)習(xí)的方法來學(xué)習(xí)這些特征，最終能夠?qū)崟r動態(tài)的區(qū)分網(wǎng)絡(luò)中的惡意與良性流量，檢測到惡意威脅。

惡意流量識別分為四步：第一步數(shù)據(jù)采集;第二步數(shù)據(jù)預(yù)處理;第三步模型訓(xùn)練;第四步評價驗證。

4.1 數(shù)據(jù)集

數(shù)據(jù)集可以通過Wireshark從公共網(wǎng)絡(luò)進(jìn)行采集，過濾掉黑名單上的惡意IP流量，默認(rèn)采集到的均為良性流量，而惡意流量可以通過沙箱環(huán)境模擬并采集。很多研究采用手工采集或者公司私有的數(shù)據(jù)集，在一定程度上會影響檢測結(jié)果的可信度，所以也可以采用公開的數(shù)據(jù)集，例如DARPA1998[7]、ISCX2012[8]、ISCX VPN-non VPN[9]等。

DARPA1998：1998年林肯實驗室在DARPA資助下建立的一個模擬各類入侵行為的流量數(shù)據(jù)集，包含7周訓(xùn)練流量和2周測試流量，分為正常流量和四類攻擊流量（Dos、Probe、U2R、R2L）。

ISCX2012：2012年加拿大新布倫瑞克大學(xué)信息安全中心發(fā)布了一個入侵檢測數(shù)據(jù)集，這個數(shù)據(jù)集包含7天的流量數(shù)據(jù)集，分為正常流量和四種攻擊流量（Brute Force SSH、DDoS、Http DoS、Infiltrating）。

ISCX VPN-non VPN：Draper-gil等（2016）提供了一個加密流量數(shù)據(jù)集，包含7種常規(guī)的加密流量和7種協(xié)議封裝流量，格式包括時間流特征數(shù)據(jù)和原始流量數(shù)據(jù)。

4.2 數(shù)據(jù)預(yù)處理

在數(shù)據(jù)預(yù)處理階段，因流量數(shù)據(jù)維度較大，本文采用Relief算法對數(shù)據(jù)進(jìn)行預(yù)處理，即將收集到的數(shù)據(jù)包按照網(wǎng)絡(luò)流的定義進(jìn)行特征提取，降低數(shù)據(jù)維度，可減小后續(xù)分類器的錯誤率。Relief算法是一種特征權(quán)重算法（Feature Weighting Algorithms），可根據(jù)各個特征和類別的相關(guān)性賦予不予權(quán)重，權(quán)重小于某個閾值的特征將被移除。網(wǎng)絡(luò)流是指在一定的時間內(nèi)，所有的具有相同五元組（源IP地址、源端口號、目的IP、目的端口號、協(xié)議字段）的網(wǎng)絡(luò)數(shù)據(jù)包所攜帶的數(shù)據(jù)特征總和。源IP地址、源端口號和目的IP地址、目的端口號可以互換，從而標(biāo)記一個雙向的網(wǎng)絡(luò)流。

4.3 模型訓(xùn)練

采集完樣本，首先將一個網(wǎng)絡(luò)流視為一個樣本并提取相關(guān)流量特征，將TLS特征、數(shù)據(jù)元統(tǒng)計特征和上下文數(shù)據(jù)特征建模為行向量作為特征取值，列向量不同的TLS流的矩陣。

擬采用隨機(jī)森林算法進(jìn)行訓(xùn)練，基于Bagging方法利用多個決策樹對樣本進(jìn)行訓(xùn)練并預(yù)測，隨機(jī)森林是一種有監(jiān)督的學(xué)習(xí)算法，Bagging方法是指隨機(jī)有放回的選擇訓(xùn)練數(shù)據(jù)，然后構(gòu)造分類器，進(jìn)而通過組合學(xué)習(xí)到的模型來提高整體效果。隨機(jī)森林算法具有可高度并行化，能夠處理高維度的數(shù)據(jù)，訓(xùn)練后的模型方差小及泛化能力強(qiáng)等優(yōu)點，如圖1所示。

為了避免測試的偶然性，采用十折交叉驗證法，將數(shù)據(jù)分為10份，輪流將其中的9份作為訓(xùn)練數(shù)據(jù)，1份作為驗證數(shù)據(jù)進(jìn)行試驗，最后將每次試驗得到的正確率取平均值作為最終精度。

4.4 評價標(biāo)準(zhǔn)

對于訓(xùn)練產(chǎn)生的分類模型，需按照一定的指標(biāo)進(jìn)行評估測試，來評價分類器的的精準(zhǔn)度。分類模型性能的一些主要指標(biāo)，如表2所示。

5 分布式自動化惡意流量檢測體系

傳統(tǒng)的安全產(chǎn)品已無法滿足現(xiàn)有的安全態(tài)勢需求，如何利用機(jī)器學(xué)習(xí)快速檢測未知威脅，并盡快做出響應(yīng)，是網(wǎng)絡(luò)安全態(tài)勢感知中的關(guān)鍵問題。利用上文提出的惡意流量檢測方法，進(jìn)一步訓(xùn)練并標(biāo)記分類惡意流量家族樣本，建立增量式學(xué)習(xí)數(shù)據(jù)庫，進(jìn)而可以構(gòu)建自動化惡意流量檢測體系，有助于更好的降低未知惡意流量帶來的危害。

5.1 ?惡意流量家族

惡意軟件雖然層出不窮，但大部分惡意軟件都是某個惡意家族的變種。在惡意流量檢測的二分類問題中，將惡意流量提取出來并對所屬的家族進(jìn)行標(biāo)記，然后重新進(jìn)行訓(xùn)練，將惡意流量檢測轉(zhuǎn)換為通過流量特征判斷其所屬家族的多分類問題。獲得訓(xùn)練的數(shù)據(jù)后，需對分類的結(jié)果進(jìn)行分析討論，并盡量減少誤報率。

如表3所示，選取了在TLS特征中，7種惡意軟件家族的不同表現(xiàn)。除了表中展示的3種特征外，其他的特征還包括TLS客戶端、證書主題特征，借助這些不同的特征通過機(jī)器學(xué)習(xí)算法訓(xùn)練，可以有效幫助區(qū)分惡意軟件的家族種類。

5.2 ?增量式學(xué)習(xí)數(shù)據(jù)庫

在當(dāng)今網(wǎng)絡(luò)環(huán)境下，惡意軟件更新迭代層出不窮，為了保持惡意流量檢測系統(tǒng)的準(zhǔn)確性，系統(tǒng)應(yīng)具有增量式學(xué)習(xí)的能力。

增量式學(xué)習(xí)是指系統(tǒng)在不斷從新的樣本學(xué)習(xí)新的知識的同時，并能保存大部分以前已學(xué)習(xí)的知識。增量式學(xué)習(xí)類似于人類自身的學(xué)習(xí)模式，這種學(xué)習(xí)的特性，非常適合用于網(wǎng)絡(luò)安全中的的惡意軟件檢測。故建立增量式學(xué)習(xí)能力，需具有增量式學(xué)習(xí)能力的機(jī)器學(xué)習(xí)算法，其次建立惡意軟件數(shù)據(jù)庫，如圖2所示。

建立惡意軟件數(shù)據(jù)庫，需從客戶端和服務(wù)端兩個角度進(jìn)行數(shù)據(jù)庫的建立研究。服務(wù)端：實時收集新生的惡意軟件所產(chǎn)生的流量，并進(jìn)行定期的訓(xùn)練后將特征添加到系統(tǒng)中，實現(xiàn)增量式學(xué)習(xí)?？蛻舳耍寒?dāng)檢測到可疑流量時，分類器判定為其他類別后，需將其上傳至服務(wù)器端，同時在本地進(jìn)行更新。

5.3 ?分布式自動化惡意流量檢測體系

利用上文給出的惡意流量檢測方法，搭建了分布式自動化惡意流量檢測體系，如圖3所示。

（1）IDS Agent負(fù)責(zé)采集或收集客戶端和服務(wù)端的需鑒定文件，計算文件的MD5hash值與FileHash緩存對比，如果存在則直接判定為惡意軟件流量，并附上家族標(biāo)簽，否則緩存文件并進(jìn)入下一步。

（2）對象存儲（公有云IAAS組件，OSS）負(fù)責(zé)文件緩存，便于處理海量的鑒定文件，當(dāng)存儲完成后，發(fā)送Kafka Topic消息。

（3）主程序采用多線程方式啟用多個處理單元，收到Kafka消息后，從消息中獲得OSS文件路徑，下載文件到本地并發(fā)送給各個類型的檢測引擎，例如惡意流量檢測、動態(tài)/靜態(tài)文件檢測、Web Shell檢測等。

（4）惡意流量檢測引擎接收文件后，從文件中提取網(wǎng)絡(luò)流量相關(guān)數(shù)據(jù)，并根據(jù)TLS特征、數(shù)據(jù)元統(tǒng)計特征、上下文數(shù)據(jù)對數(shù)據(jù)進(jìn)行預(yù)處理，然后經(jīng)過分類器進(jìn)行分類，將分類結(jié)果發(fā)往決策中心。

（5）決策中心收到各類檢測結(jié)果后，根據(jù)多類決策樹判斷，并將最終結(jié)果發(fā)往惡意軟件家族分類器。

（6）最后形成惡意軟件家族分類和未知的惡意分類，存儲到Elastic Search以提供給前端用戶展示。

對于系統(tǒng)中的機(jī)器學(xué)習(xí)部分，所提交需要保存的樣本均通過流量的形式發(fā)送到Kafka并存儲到HIVE中，然后導(dǎo)入到Spark Mlib進(jìn)行模型計算，其他通過公網(wǎng)添加的黑白樣本也通過同樣的方式加入系統(tǒng)進(jìn)行循環(huán)。在系統(tǒng)資源有限的情況下，大約一周更新一次分類模型。

通過構(gòu)建分布式自動化惡意流量檢測體系，可以快速、高效地獲取加密網(wǎng)絡(luò)數(shù)據(jù)流量，對數(shù)據(jù)進(jìn)行科學(xué)分析與存儲，縮短檢測時間的同時獲得更準(zhǔn)確的檢測結(jié)果，并預(yù)測未知威脅，實現(xiàn)網(wǎng)絡(luò)安全態(tài)勢感知。

6 ?結(jié)束語

本文基于TLS握手協(xié)議的特點，分析了惡意流量的識別特征，通過對三類特征的具體分析，給出了一種基于機(jī)器學(xué)習(xí)的TLS惡意流量檢測方法，并結(jié)合惡意軟件家族樣本分類，構(gòu)建增量式學(xué)習(xí)能力，最終構(gòu)建了一個分布式自動化惡意流量檢測體系體系，該方案具有多重優(yōu)點，可有效抵御層出不窮惡意流量網(wǎng)絡(luò)威脅。

參考文獻(xiàn)

[1] 張蕾，崔勇，劉靜，等.機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)空間安全研究中的應(yīng)用[J].計算機(jī)學(xué)報，2018（9）：1943-1975.

[2] 王偉.基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量分類及異常檢測方法研究[D]. 2018.

[3] Anderson B， McGrew， David. Identifying Encrypted Malware Traffic with Contextual Flow Data[C]// Acm Workshop on Artificial Intelligence & Security. 2016.

[4] Anderson B， Mcgrew D. Machine Learning for Encrypted Malware Traffic Classification： Accounting for Noisy Labels and Non-Stationarity[C]// the 23rd ACM SIGKDD International Conference. 2017.

[5] 王琳，封化民，劉飚，等.基于混合方法的SSL VPN加密流量識別研究[J].計算機(jī)應(yīng)用與軟件，2019，36（02）：321-328.

[6] 魯剛，郭榮華，周穎，等.惡意流量特征提取綜述[J].信息網(wǎng)絡(luò)安全，2018，213（09）：7-15.

[7] Tavallaee M ， Bagheri E ， Lu W ， etal. A detailed analysis of the KDD CUP 99 data set[C]// IEEE International Conference on Computational Intelligence for Security & Defense Applications. IEEE， 2009.

[8] Shiravi A， Shiravi H， Tavallaee M， etal. Toward developing a systematic approach to generate benchmark datasets for intrusion detection[J]. Computers & Security， 2012， 31（3）：357–374.

[9] Lashkari A H， Draper-Gil G， Mamun M S I， etal. Characterization of Encrypted and VPN Traffic Using Time-Related Features[C]// International Conference on Information Systems Security & Privacy. 2016.