葉松

摘要：在高速網(wǎng)絡環(huán)境下，隨著用戶對端口的自由使用，點對點網(wǎng)絡及加密協(xié)議開始得到廣泛應用。通過創(chuàng)建一個網(wǎng)絡協(xié)議分析庫，深入網(wǎng)絡數(shù)據(jù)包，進行深度學習的應用層協(xié)議分類與分析識別，以提高協(xié)議檢測的準確性。根據(jù)大量主流應用程序的流特征進行深度學習，建立應用協(xié)議特征庫，通過算法實現(xiàn)應用層協(xié)議的識別。研究一種應用于APT攻擊防御系統(tǒng)、網(wǎng)絡入侵檢測系統(tǒng)與Web審計系統(tǒng)的應用層協(xié)議識別技術，可提高對APT攻擊防御判斷的準確性。

關鍵詞：深度學習；應用協(xié)議識別；APT攻擊防御；入侵檢測

DOIDOI：10.11907/rjdk.181170

中圖分類號：TP393

文獻標識碼：A 文章編號：1672-7800（2018）010-0194-06

英文摘要Abstract：In the high-speed network environment， with the free use of the port， the application of the point to point network and encryption protocol is also coming. By creating a network protocol analysis library， deep network data packets， and the application layer protocol classification and recognition of the depth learning， in order to improve the accuracy and universality of the protocol detection. According to the flow characteristics of a large number of mainstream applications for in-depth learning， the establishment of application protocol feature library， through the algorithm to achieve application protocol recognition technology. The application layer protocol high efficiency recognition technology used in the APT attack defense system， the network intrusion detection system and the Web audit system can improve the accuracy of the defense judgment of the APT attack.

英文關鍵詞Key Words：deep learning；application level protocol identification；advanced persistent threat；intrusion detection

0 引言

傳統(tǒng)網(wǎng)絡協(xié)議分析僅限于利用數(shù)據(jù)包包頭與端口進行協(xié)議識別，但在高速網(wǎng)絡環(huán)境下，隨著用戶對端口的自由使用，P2P（點對點）網(wǎng)絡以及基于HTTP封裝的加密協(xié)議開始得到廣泛應用，識別應用層協(xié)議變得非常困難[1-2]。傳統(tǒng)網(wǎng)絡協(xié)議分析系統(tǒng)大多只能根據(jù)端口簡單區(qū)分應用層協(xié)議，即使有些分析工具能對部分應用層協(xié)議內容進行分析，也只能分析HTTP或簡單的應用層協(xié)議。本文通過深度解析UDP、TCP負載內容，深度學習并分析HTTP頭部指紋信息以及負載內容，通過一套高速算法實現(xiàn)對現(xiàn)代網(wǎng)絡應用協(xié)議的識別[3]。

傳統(tǒng)網(wǎng)絡安全設備，如防火墻、入侵檢測系統(tǒng)，甚至是近期出現(xiàn)的APT攻擊防御系統(tǒng)等，如果應用協(xié)議識別缺乏深度學習過程，則無法針對目前層出不窮的網(wǎng)絡安全問題進行高效、可靠的防御。具體表現(xiàn)如下：

（1）誤報率高。隨著應用層協(xié)議越來越豐富，同一端口上可能運行著多種協(xié)議，即使是同一種HTTP協(xié)議，也有著豐富的、更加具體的應用層協(xié)議內容。另外，原有的入侵檢測規(guī)則在某種特殊的應用層協(xié)議（如SINA、360后臺）下可能是正常數(shù)據(jù)，并非攻擊事件，該情況出現(xiàn)得越來越多。因此，需要進一步分析更深度的協(xié)議信息，以排除誤報。

（2）信息不全，無法分析。傳統(tǒng)的APT攻擊防御無法體現(xiàn)具體關聯(lián)信息，只能簡單顯示FTP、HTTP等協(xié)議信息，而無法分析具體的攻擊手段與應用工具，如變種木馬等。使用細粒度的應用層協(xié)議分析，可以對各種攻擊手段與變種工具進行細化分析。

（3）效率偏低。傳統(tǒng)的入侵檢測系統(tǒng)或APT攻擊防御系統(tǒng)，在未知細粒度應用層協(xié)議情況下都需要進行檢測，而大量網(wǎng)絡應用、視頻等應用層協(xié)議不需要進行內容檢測，將其加入白名單協(xié)議表，可以提高檢測性能。

深度學習具體方式如下：①深度學習TCP Payload（負載）數(shù)據(jù)結構；②深度學習UDP Payload（負載）數(shù)據(jù)結構；③針對HTTP頭部數(shù)據(jù)結構建立指紋庫；④深度學習HTTP Payload（負載）數(shù)據(jù)結構[4-6]。

1 分析檢測分類

傳統(tǒng)應用協(xié)議分析基本上只是根據(jù)端口對協(xié)議進行簡單分析，一方面對于常見應用協(xié)議（如SSH、FTP、SMTP、Telnet、HTTP等）而言，大多數(shù)分析都是簡單有效的，但如果換了端口，這些應用協(xié)議則無法被檢測出來；另一方面隨著具體應用協(xié)議（如微信、阿里旺旺、支付寶、百度插件、360安全、迅雷看看等互聯(lián)網(wǎng)實時流媒體傳輸協(xié)議）[7]越來越多，用戶也越來越多，需要對各個Payload的負載內容進行詳細分析。本文重點在于對不同Payload數(shù)據(jù)分支進行分析，利用哈希算法[8]與模式匹配算法[9]快速實現(xiàn)協(xié)議解析，具體分為以下幾類：

（1）TCP協(xié)議帶Payload檢測函數(shù)。包括：①基于HTTP基礎的協(xié)議，例如微信、阿里旺旺等；②網(wǎng)站協(xié)議。包括購物、行業(yè)企業(yè)、交通旅游、教育文化、生活服務、視頻與直播、體育健身、網(wǎng)絡科技、新聞媒體、休閑娛樂、醫(yī)療健康、政府組織等網(wǎng)站協(xié)議；③即時通訊、網(wǎng)絡視頻、網(wǎng)絡音樂、網(wǎng)絡游戲、P2P下載等點對點協(xié)議；④Oracle、Mssql、Mysql、PostgreSQL等常見數(shù)據(jù)庫協(xié)議；⑤其它協(xié)議。

（2）TCP協(xié)議不帶Payload檢測函數(shù)。優(yōu)先進行端口分類識別，然后進入深度內容學習，利用AC-BM模式匹配算法。

（3）UDP協(xié)議帶Payload檢測函數(shù)。包括部分即時通訊協(xié)議與其它應用層協(xié)議，然后進入深度內容學習，利用AC-BM模式匹配算法。

（4）UPD協(xié)議不帶Payload檢測函數(shù)。優(yōu)先進行端口分類識別。

（5）其它協(xié)議檢測函數(shù)。

2 規(guī)則研究庫建設

規(guī)則研究庫建設步驟如下：

（1）對研究庫進行主動深度分析，建立干凈無網(wǎng)絡訪問的系統(tǒng)，以避免其它網(wǎng)絡應用的干擾。通過Wireshark與IPMonitor工具對多種類型的網(wǎng)絡應用行為進行抓包分析，然后將不同場景下抓取的數(shù)據(jù)包進行對比，得出正則表達式形式的應用層協(xié)議特征，對協(xié)議特征進行歸納總結、分類建模，并導入規(guī)則庫。詳細過程如下：①將交換機設置為鏡像監(jiān)聽口，監(jiān)聽系統(tǒng)打開Wireshark，運行捕包；②以微信為例，試驗設備登錄微信，發(fā)送一條簡單消息；③Wireshark停止捕包，開始分析數(shù)據(jù)，根據(jù)端口、TCP/IP協(xié)議類型判斷是否為HTTP協(xié)議，獲取所有頭部信息，建立深度學習指紋庫，驗證HTTP負載內容有無特征碼，將分析結果導入規(guī)則庫。

（2）對研究庫進行被動深度分析，實驗期間將出口數(shù)據(jù)接入識別引擎，將未知協(xié)議保存為原始會話PCAP包，作為后續(xù)篩選分析依據(jù)。按以下層次保存為樹文件模式：網(wǎng)絡協(xié)議→端口→關鍵選項內容正則表達式[9]。根據(jù)大流量優(yōu)先分析原則，被動選擇分析協(xié)議，同時查看是否為應用層協(xié)議，如果是，則對研究庫進行主動深度分析。

（3）收集信息，建立研究庫。收集國內外各大網(wǎng)站信息，其中以國內網(wǎng)站信息為主，并進行排名統(tǒng)計，同時收集各種主流應用協(xié)議。

規(guī)則內容部分有：①端口；②網(wǎng)絡協(xié)議；③TCP Paylaod指紋內容（包含內容起點、終點字節(jié)或PCRE正則表達式）；④HTTP頭部內容（包含HTTP URL關鍵字、域名關鍵字、請求報文、Cookie關鍵字、User_agent、HTTP請求方法、返回報文、內容關鍵字與HTTP狀態(tài)碼）；⑤HTTP指紋內容（包含內容起點、終點字節(jié)或PCRE正則表達式）。其中PCRE正則表達式不推薦使用，但對于非常復雜的語法規(guī)則，其有利于規(guī)則編寫的簡單化。

部分應用層協(xié)議列表如表1所示。

3 算法處理

本文研究目標是在龐大的現(xiàn)代網(wǎng)絡流量中，實現(xiàn)對近千種應用層協(xié)議的分析。因此，需要一套高速算法實現(xiàn)對應用層協(xié)議的精確識別，主要包括以下兩種算法：

（1） 哈希表快速查找算法[8]。它通過將關鍵碼映射到表中某個位置進行記錄訪問，以加快查找速度。若關鍵字為k，則其值存放在f（k）（哈希算法值）的存儲位置上。給定表M，存在函數(shù)f（key），對任意給定的關鍵字值key，將其代入函數(shù)后，若能得到該關鍵字記錄在表中的內存地址，則稱表M為哈希（Hash）表，函數(shù)f（key）為哈希（Hash）函數(shù)。若關鍵字為k，則其值存放在f（k）的存儲位置上。因此，不需要進行比較，便可直接獲取所查記錄，稱該對應關系f（k）為散列函數(shù)，按該方法建立的表為散列表。對于不同關鍵字，可能得到同一散列地址，即k1≠k2，而f（k1）=f（k2），該現(xiàn)象稱為碰撞。因此，需要制定合理的哈希算法以減少碰撞。本文哈希值算法是采用SHA1算法實現(xiàn)的。SHA1算法采用NIST NSA進行設計，其對長度小于264位的輸入，產生長度為160bit的散列值，因而其抗窮舉性能更好。哈希表包括：①會話哈希表。其能夠快速得知會話歷史狀態(tài)，是實現(xiàn)下步分析跳轉的關鍵，如果是已完成分析的會話，后續(xù)將不再進行檢查分析。對不同狀態(tài)的會話，可快速定位其下步流程函數(shù)。本文以源IP端口加目標IP端口的數(shù)據(jù)結構作為關鍵字，通過32位哈希算法值建立哈希表；②HTTP協(xié)議庫哈希表。將HTTP的頭部選項作為哈希關鍵字，通過32位哈希算法值建立哈希表。其缺點是需要大內存的硬件設備支持，內存要求至少為4G以上，建議使用8G內存硬件。

（2）AC-BM模式匹配算法。它將待匹配的字符串集合轉換為一個類似于Aho-Corasick算法的樹狀有限狀態(tài)自動機，但其構建時不是基于字符串的后綴而是前綴。匹配時，采取自后向前的方法，并借用BM算法的壞字符跳轉（Bad Character Shift）與好前綴跳轉（Good Prefix Shift）技術。壞字符跳轉即當字符串樹中的字符與被匹配內容x失配時，將字符串樹跳轉到下一個x出現(xiàn)的位置，如果x的字符串樹不存在，則將字符串樹向左移動最小字符串長度；好前綴跳轉即當字符串樹中的字符與被匹配內容x失配時，將字符串樹跳轉到字符串樹中一個與被測正文部分等同的位置。該等同部分可以是字符串樹中某字符串的子串（子串跳轉），也可以是一個字符串后綴（后綴跳轉）。當既有好后綴跳轉又有壞字符跳轉時，則判斷如果有后綴跳轉，即使用好前綴跳轉（子串跳轉與后綴跳轉的最小值），否則使用好前綴跳轉與壞字符跳轉的最大值。該算法主要用于TCP與UDP的Payload負載內容，以及HTTP無關頭部信息的Paylaod負載內容匹配。

4 實現(xiàn)過程

本文技術實現(xiàn)是在Linux Centos6.4系統(tǒng)上進行的[10]，開發(fā)語言為C語言，開發(fā)調試工具為Eclipse，以計算機網(wǎng)絡高級教程作為開發(fā)指導[11]。實現(xiàn)具體步驟如下：

步驟1：初始化識別引擎，讀取配置文件，再初始化內存分配與數(shù)據(jù)結構。

步驟2：讀取前期建立的規(guī)則研究庫，初始化鏈表，注冊對應每個規(guī)則識別函數(shù)，讀取每個規(guī)則庫關鍵信息。TCP/IP應用層協(xié)議分析包括對網(wǎng)絡層協(xié)議信息、端口信息、可選部分服務器信息、可選部分Paylaod負載信息，以及對應內容模式指紋、可選部分HTTP頭部信息指紋、可選部分Http Paylaod負載信息指紋等的分析。規(guī)則庫注冊內存按樹結構進行分類，先按端口進行分類，建立65 535個數(shù)組的快速分揀結構表，再根據(jù)網(wǎng)絡層協(xié)議進行分類，下層樹是HTTP頭部指紋哈希表，最后末樹節(jié)點為Paylaod負載指紋信息[12]。

步驟3：完成Libpcap初始化工作，打開網(wǎng)絡設備，設置過濾規(guī)則，捕獲數(shù)據(jù)并進入監(jiān)聽模式。Libpcap讀取網(wǎng)卡PC AP數(shù)據(jù)，根據(jù)端口進行分組分揀；然后根據(jù)會話的四元組（源IP、源端口、目標IP、目標端口）建立會話哈希表，查找會話哈希表是否已存在，如果不存在，則建立新會話節(jié)點，并得到該會話信息的哈希節(jié)點狀態(tài)，具體分為：①初始化建立狀態(tài)；②完成協(xié)議識別狀態(tài)；③TCP內容模式匹配狀態(tài)；④UDP內容模式匹配狀態(tài)；⑤HTTP頭部指紋學習狀態(tài)；⑥HTTP內容學習狀態(tài)。

步驟4：對于新建立的會話哈希節(jié)點，先根據(jù)默認端口對應的識別流程進行快速識別。若識別失敗，則進行非默認端口的TCP或UDP、Payload識別。對于Payload內容，優(yōu)先考慮使用模式匹配算法，以快速實現(xiàn)對Payload內容的識別。對于無可用模式匹配的規(guī)則內容，則采用應用層異常檢測方法[13]。根據(jù)應用層協(xié)議關鍵詞以及對動態(tài)應用層協(xié)議[14]、正則表達式應用層協(xié)議的識別，建立檢測內容。以下是Payload識別初始化函數(shù)：

void Payload MatchInit（char *data， contNode * con， int protocol）

{ PatternContData *pcd；

char *data_end；

char *data_dup；

char *opt_data；

int opt_len = 0；

char *next_opt；

pcd = NewNode（con， PATTERN_MATCH）；

lastType = PATTERN_MATCH；

data_dup = myMalloc（data）；

data_end = data_dup + strlen（data_dup）；

opt_data = PayloadExtParameter（data_dup， &opt;_len）；

ParsePattern（opt_data， con， PATTERN_MATCH）；

next_opt = opt_data + opt_len；

fpl = AddOptFuncToList（CheckANDPatternMatch， con）；

fpl->type = RULE_OPTION_TYPE_CONTENT；

pcd->buffer_func = CHECK_AND_PATTERN_MATCH；

fpl->context = pcd；

// 循環(huán)讀取每個Payload規(guī)則節(jié)點

while （next_opt < data_end）

......

}

步驟5：TCP Payload在進行識別時，如果是非HTTP協(xié)議，且識別成功后，會修改會話哈希表結點狀態(tài)，完成協(xié)議識別；如果是HTTP協(xié)議，則繼續(xù)下一步，進入HTTP頭部與內容識別。

步驟6：在HTTP協(xié)議基礎上進行識別，對包含關鍵字、域名關鍵字、請求報文、Cookie關鍵字、User_agent的HTTP URL結構，建立HTTP關鍵字哈希表。規(guī)則中如無HTTP內容，則利用關鍵字的哈希表進行快速匹配，直接完成應用層協(xié)議識別。對于無法識別的協(xié)議，將應用層協(xié)議標識為HTTP協(xié)議；對于成功識別的協(xié)議，修改會話哈希結點狀態(tài)為成功，并對HTTP Payload部分使用模式匹配算法快速實現(xiàn)Payload內容識別，識別成功后，再修改會話哈希結點狀態(tài)。

步驟7：對于協(xié)議解析失敗的會話，按IP端口樹結構保存會話PCAP，作為后續(xù)入庫分析樣本。

分析流程如圖1所示。

以微信數(shù)據(jù)包識別為例，實現(xiàn)步驟如下：

（1）建立規(guī)則庫。具體過程為：①建立純凈的網(wǎng)絡環(huán)境，在此基礎上先打開Wireshark進入捕包狀態(tài)，然后多次登錄微信，發(fā)送微信信息，建立微信PCAP包目錄文檔，并保存對應的PCAP包信息；②用Wireshark打開 PCAP包[15]（對于微軟公司的應用，使用IPMonitor工具打開），利用追蹤流功能查看該會話內容；③查看會話端口與TCP層結構，得到幾個會話端口都為80端口，然后查看網(wǎng)絡協(xié)議，得到TCP協(xié)議，最后查看上一層協(xié)議，得到HTTP協(xié)議；④HTTP頭部信息分析，GET：/mmsns/。。。；HTTP/1.1；Host： shmmsns.qpic.cn；X-Online-Host： shmmsns.qpic.cn；referer： http：//weixin.qq.com/？。。。User-Agent： Dalvik/2.1.0（安卓系統(tǒng)）Accept-Encoding： gzip。根據(jù)相關內容建立指紋信息，保存到規(guī)則庫；⑤經(jīng)分析發(fā)現(xiàn)，微信是建立在HTTP協(xié)議基礎上的，由HTTP頭部信息已足以辨別出該協(xié)議；⑥Payload內容分析，獲取Get操作內容的關鍵指紋（非必選），服務器回應Paylaod信息（非必選）。

（2）引擎檢測。具體過程為：①對于網(wǎng)卡捕獲的每條PCAP包，先查找會話哈希結點。如果是首次出現(xiàn)的會話，插入會話4元組的哈希表節(jié)點：10.4.6.198：56614 --120.120.0.150：80，同時初始化哈希信息狀態(tài)為建立狀態(tài)；②更改結點狀態(tài)信息，根據(jù)80端口優(yōu)先的檢測原則，進入TCP Payload負載狀態(tài)；③得到HTTP協(xié)議，進入HTTP選項哈希表，得到哈希表結構信息如下：Host： short.weixin.qq.com；User-Agent： MicroMessenger Client；User-Agent： Dalvik，其它為可選信息；④匹配到微信協(xié)議，則無需再進行HTTP Payload檢測，更新會話哈希表結點狀態(tài)為完成，將該會話信息結構保存到數(shù)據(jù)庫；⑤會話結束，刪除哈希表結點。

微信數(shù)據(jù)包識別結果如圖3所示。

5 結語

基于現(xiàn)代網(wǎng)絡的深度學習應用協(xié)議識別需要花費大量時間，且后期需要不斷更新完善，但其具有重要意義與廣闊的應用前景，具體如下：

（1）可實現(xiàn)600種以上的應用層協(xié)議解析，后續(xù)根據(jù)定義好的庫文件要求，還將不斷添加新的協(xié)議庫。

（2）將識別的應用層協(xié)議添加到APT攻擊防御相關系統(tǒng)中，使用部分協(xié)議為白名單應用規(guī)則，可排除大量誤報信息，同時過濾其檢測，從而提高系統(tǒng)性能。

（3）應用層協(xié)議可作為網(wǎng)絡入侵檢測與APT攻擊防御的關鍵檢測信息，并為后期的大數(shù)據(jù)分析提供攻擊熱點與關聯(lián)信息。對于深度學習的應用層協(xié)議，可為網(wǎng)絡信息內容審計[16]提供一個重要的內容快速索引項，也是網(wǎng)絡信息內容審計中的一個重要參考依據(jù)。

參考文獻：

[1] 中國網(wǎng)絡空間研究院.世界互聯(lián)網(wǎng)發(fā)展報告2017世界互聯(lián)網(wǎng)大會藍皮書[M].北京：電子工業(yè)出版社，2017.

[2] 白哲哲.基于P2P的跨平臺即時通信軟件的設計與實現(xiàn)[D].成都：電子科技大學，2014.

[3] DAVID GOURLEY.HTTP權威指南[M]. 陳涓，趙振平，譯.北京：人民郵電出版社，2012.

[4] 凱文 R 福爾.TCP/IP詳解（卷1：協(xié)議）[M].吳英，張玉，許昱瑋，譯.北京：機械工業(yè)出版社，2016.

[5] 賴特.TCP/IP詳解（卷2：實現(xiàn)）[M].吳英，張玉，許昱瑋，譯.北京：機械工業(yè)出版社，2014.

[6] W RICHARD STEVENS. TCP/IP詳解（卷3：TCP事務協(xié)議、HTTP、NNTP和UNIX域協(xié)議）[M].胡谷雨，吳禮發(fā)，譯.北京：機械工業(yè)出版社，2011.

[7] 李昕.互聯(lián)網(wǎng)實時流媒體傳輸關鍵技術的研究[D].北京：北京交通大學，2010.

[8] THOMAS H CORMEN.算法導論[M].殷建平，徐云，王剛，譯.北京：機械工業(yè)出版社，2013.

[9] 李亮亮.AC_BM多模式匹配算法分析與改進[D].合肥：合肥工業(yè)大學， 2012.

[10] 宋敬彬.Linux網(wǎng)絡編程[M].第2版.北京：清華大學出版社，2014.

[11] 吳功宜，吳英.計算機網(wǎng)絡高級教程[M].北京：清華大學出版社，2015.

[12] 杜曉春，劉婉妮，王宏.TCP/IP應用層協(xié)議分析與C++實現(xiàn)[J].電子測試，2013（12）：86-87.

[13] 謝柏林，余順爭.基于應用層協(xié)議關鍵詞序列的應用層異常檢測方法[J].計算機研究與發(fā)展，2011，48（1）：159-168.

[14] 王杰，石成輝.基于正則表達式的動態(tài)應用層協(xié)議識別方案[J].計算機工程與應用，2010，46（18）：103-106.

[15] 高凱，趙登攀.PCAP文件格式網(wǎng)絡數(shù)據(jù)包分析軟件設計與實現(xiàn)[J].軟件導刊，2013（12）：150-151.

[16] 孫欽東，管曉宏，周亞東.網(wǎng)絡信息內容審計研究的現(xiàn)狀及趨勢[J].計算機研究與發(fā)展，2009，46（8）：1241-1250.

（責任編輯：黃 ?。?/p>