吳宇佳（貴州航天計量測試技術(shù)研究所，貴陽　550009）

網(wǎng)絡(luò)預(yù)定行為檢測及還原技術(shù)研究

吳宇佳
（貴州航天計量測試技術(shù)研究所，貴陽550009）

隨著互聯(lián)網(wǎng)經(jīng)濟的飛速發(fā)展，網(wǎng)絡(luò)預(yù)定行為（包括定機票、定酒店、定餐等）已經(jīng)成為人們生活中非常重要的一環(huán)。從研究網(wǎng)絡(luò)預(yù)訂行為通信過程和協(xié)議分析著手，針對網(wǎng)絡(luò)預(yù)定行為特征檢測，網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組，及網(wǎng)絡(luò)預(yù)訂行為檢測及還原系統(tǒng)設(shè)計幾個方面展開研究工作。在實際中，網(wǎng)絡(luò)預(yù)定行為檢測及還原技術(shù)研究，可以為網(wǎng)絡(luò)監(jiān)管提供一種輔助措施。

網(wǎng)絡(luò)預(yù)定；POST；特征檢測；數(shù)據(jù)重組

0　引言

互聯(lián)網(wǎng)經(jīng)濟的發(fā)展和成熟，特別是網(wǎng)絡(luò)預(yù)定行為的繁榮很大程度上方便了人們原有的生活。網(wǎng)絡(luò)預(yù)定在方便人們生活的同時，也不可避免地為不法分子所利用，在網(wǎng)絡(luò)中捕捉數(shù)據(jù)包，對其進行特征檢測、信息提取和數(shù)據(jù)還原，可以作為一種有效的公安機關(guān)網(wǎng)絡(luò)監(jiān)管輔助措施。進行網(wǎng)絡(luò)預(yù)定行為檢測及還原技術(shù)研究的目的是提取其中的有用信息，例如預(yù)訂人姓名、證件種類、證件號碼、住址，預(yù)定服務(wù)等。這里研究的是網(wǎng)絡(luò)數(shù)據(jù)在傳輸過程中如何通過捕獲數(shù)據(jù)包進行數(shù)據(jù)的檢測還原，提取有用信息。

1　網(wǎng)絡(luò)預(yù)定通信過程分析

通過對常見三類網(wǎng)絡(luò)預(yù)定行為：機票預(yù)定、酒店預(yù)定、餐飲預(yù)定，進行分析發(fā)現(xiàn)，網(wǎng)絡(luò)預(yù)定行為有一個共同的基本過程：

·用戶在瀏覽器中進入預(yù)定網(wǎng)站，進入預(yù)定頁面。

·用戶通過搜索等方式選擇需要的服務(wù)，點擊提交進入訂單填寫頁面。

·用戶填寫訂單信息，完成點擊“提交訂單”按鈕，完成網(wǎng)絡(luò)預(yù)定。

2　網(wǎng)絡(luò)預(yù)定通信協(xié)議分析及特征檢測

使用數(shù)據(jù)包捕獲分析軟件，如Wireshark，對常見預(yù)訂網(wǎng)站通信過程進行協(xié)議分析，以機票預(yù)定為例，發(fā)現(xiàn)當(dāng)用戶填寫訂單，并點擊“提交訂單”按鈕后，用戶向服務(wù)器發(fā)起一個基于HTTP協(xié)議的POST請求，如圖1所示。

圖1　一個機票預(yù)訂示例網(wǎng)站POST請求數(shù)據(jù)包

分析圖1中所示數(shù)據(jù)包信息可以得到用戶全部訂票信息，其中有底紋字體部分即為所需的有用信息。多次抓包分析試驗證實，所需信息都是在相應(yīng)固定關(guān)鍵詞之后，并且都有固定的格式。其中的文字信息（如出發(fā)地與訂票人姓名）使用URL編碼。把其中的有用信息用URL解碼，能得到的有用信息如表1所示。

表1　一個機票預(yù)訂示例網(wǎng)站有用信息表

通過對各種預(yù)定行為進行通信過程協(xié)議分析，發(fā)現(xiàn)不管是哪類預(yù)訂網(wǎng)站在整個預(yù)訂行為通信過程中的某個時刻或某幾個時刻由用戶向服務(wù)器提交一個或幾個POST請求，通常需要的有用信息存在于當(dāng)用戶填寫訂單并提交訂單時發(fā)出的那一個POST請求中，極少數(shù)情況下有用信息不只存在于一個POST請求中。

通過以上分析，可以總結(jié)出網(wǎng)絡(luò)預(yù)定行為的一些特征。首先訪問的預(yù)定網(wǎng)站服務(wù)器IP可以確定，傳輸層協(xié)議采用TCP，目的端口為80，應(yīng)用層協(xié)議為HTTP，應(yīng)用層數(shù)據(jù)特征字符串以POST開頭，其他一些特征字符串，例如上面的機票預(yù)定中都包含特定字符串“new_order”每個有用信息有一個固定的開始字符串和結(jié)束字符串等信息。通過這些特征可以實現(xiàn)從眾多網(wǎng)絡(luò)數(shù)據(jù)包中檢測定位需要的數(shù)據(jù)包，進而進行有用數(shù)據(jù)的還原。

3　網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組

進行網(wǎng)絡(luò)預(yù)定行為檢測及還原技術(shù)研究的目的是提取其中的有用信息，通過上面研究分析發(fā)現(xiàn)有用信息存在于基于HTTP協(xié)議的POST請求數(shù)據(jù)包中。通過預(yù)定行為特征集合可以定位包含有用信息的數(shù)據(jù)包。但要想從應(yīng)用層POST數(shù)據(jù)中提取有效信息，必須先得到通信中的應(yīng)用層數(shù)據(jù)。由于通信過程中應(yīng)用層數(shù)據(jù)可能分成多個數(shù)據(jù)包獨立發(fā)送，因此從網(wǎng)絡(luò)層上看，應(yīng)用層數(shù)據(jù)會被分散到很多個網(wǎng)絡(luò)數(shù)據(jù)包中。當(dāng)捕獲了正在網(wǎng)絡(luò)中傳送數(shù)據(jù)包的時候，需要的應(yīng)用層數(shù)據(jù)就有可能被分散到多個數(shù)據(jù)包中。這時怎么從這些數(shù)據(jù)包中取出應(yīng)用層數(shù)據(jù)分片然后重新組合成一個完成的應(yīng)用層數(shù)據(jù)就是一個非常重要的問題，本文把這個問題稱作網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組，研究網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組的有效方法就顯得非常重要了。由于這里研究的POST數(shù)據(jù)其傳輸層協(xié)議為TCP，而TCP是面向連接的，可靠的，有序的協(xié)議，重組的時候需要考慮的問題復(fù)雜得多，例如起始包、亂序、包丟失等。所以這里主要研究的是TCP協(xié)議數(shù)據(jù)重組的問題。

另外，實現(xiàn)網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組之前，需要一個特征檢測過程，檢測哪些數(shù)據(jù)包需要還原，然后將需要的數(shù)據(jù)包再進行重組處理。由此不難得出網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組總體結(jié)構(gòu)示意圖如圖2所示。

圖2　網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組總體結(jié)構(gòu)示意圖

捕獲到的數(shù)據(jù)包首先要進行特征檢測以識別某個行為產(chǎn)生的數(shù)據(jù)包，如果檢測到需要的數(shù)據(jù)包的連接，就把需要重組的連接的信息包括還原名稱，五元組等信息等傳送到數(shù)據(jù)重組管理模塊。重組管理模塊這是就會知道有一個新的數(shù)據(jù)連接需要重組，于是就在重組隊列中增加一個隊列。同時重組管理模塊接收每一個捕獲的數(shù)據(jù)包，判斷是否屬于正在重組的某個連接。如果是直接送入對應(yīng)的重組隊列進行重組處理，如果不是丟棄，接收下一個數(shù)據(jù)包。當(dāng)重組管理模塊發(fā)現(xiàn)某個重組隊列重組完成，就把重組好的隊列交由下一步的數(shù)據(jù)分析模塊處理。

進一步對如果更進一步各個模塊進行詳細設(shè)計，則會有網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組詳細設(shè)計圖如圖3所示。

據(jù)包先要送到特征檢測模塊中進行特征檢測，當(dāng)特征檢測模塊中檢測到需要還原的連接后，首先提取該連接的五元組（源IP，源端口，目的IP，目的端口，傳輸層協(xié)議）信息，然后生成重組文件存放的目標(biāo)文件夾，自動在該文件夾下生成四個文本文件，包括存儲有雙向數(shù)據(jù)的文件以及文件附加信息，具體為客戶端向服務(wù)端發(fā)送的應(yīng)用層數(shù)據(jù)，服務(wù)端向客戶端發(fā)送的應(yīng)用層數(shù)據(jù)，還有保存有雙向數(shù)據(jù)的如接收時間、應(yīng)用層數(shù)據(jù)長度等附加信息的文件。最后，特征檢測模塊向數(shù)據(jù)重組模塊發(fā)送這個連接的五元組信息以及剛剛生成的文件夾名稱和路徑。重組模塊要進行的就是將每個進入的數(shù)據(jù)包進行處理寫入這些文件中去。以上的過程就是圖3中的①過程。而接下來數(shù)據(jù)重組模塊就是要收集這個連接的所有數(shù)據(jù)包，剝離其應(yīng)用層數(shù)據(jù)處理后寫入這個文件夾中。

圖3　網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組詳細結(jié)構(gòu)圖

接下來當(dāng)重組管理模塊接收到特征檢測模塊發(fā)來的信息時，知道有個新的連接，于是增加一個單個連接重組模塊進程處理該連接。各個單個連接重組模塊之間相互獨立，同時處理，互不干擾。

重組管理模塊對每一個傳入的數(shù)據(jù)包都進行分析，經(jīng)過與包含有所有正在重組的連接具體信息的隊列中內(nèi)容進行匹配后，確認(rèn)屬于正在重組的連接的就加入相應(yīng)的單個連接重組進程進行重組，否則將該包丟棄，直接進行下一個包的分析。這個過程就是如圖3中所示的②過程。

單個連接的重組進程每接收到一個包，都按照網(wǎng)絡(luò)協(xié)議棧的順序，從底層向上層依次剝離各層包含控制信息頭部，最后將純應(yīng)用層數(shù)據(jù)內(nèi)容寫入連接臨時對話中作排序處理。連接臨時對話中按照包的前后到來時間并且兼顧TCP的序列號（如果是UDP則沒有序號）進行排序處理。如何是TCP，由于TCP是由連接的，有序的，可靠的協(xié)議，其一個連接各個包有先后順序，順序由序列號表示。如果數(shù)據(jù)包再傳輸中有延遲，丟失，那么連接臨時對話中的數(shù)據(jù)就有可能亂序，丟包等，所以連接臨時對話中就必須有對亂序，丟包等各種異常情況的處理。連接臨時對話中把已經(jīng)正確排序的應(yīng)用層數(shù)據(jù)連接部分按順序?qū)懭胫亟M文件夾中對應(yīng)的數(shù)據(jù)重組文件中。同時單個連接的重組進程各自維護自身的標(biāo)志位和連接重組完成情況，隨時等待管理模塊的訪問。

重組模塊在每次處理完單個數(shù)據(jù)包后還要對待重組連接隊列進行一次分析，超時或者是已經(jīng)宣告重組結(jié)束的連接將調(diào)用數(shù)據(jù)分析模塊進行處理。分析模塊處理重組文件夾中的文件進而進行數(shù)據(jù)分析。

4　網(wǎng)絡(luò)預(yù)定行為檢測及還原系統(tǒng)設(shè)計

系統(tǒng)總體設(shè)計分為數(shù)據(jù)采集模塊、數(shù)據(jù)重組模塊和數(shù)據(jù)分析模塊。網(wǎng)絡(luò)預(yù)訂行為檢測系統(tǒng)總體框架設(shè)計如圖4所示。

圖4　網(wǎng)絡(luò)預(yù)訂行為檢測還原系統(tǒng)總體框架設(shè)計圖

數(shù)據(jù)采集模塊實現(xiàn)的是網(wǎng)絡(luò)數(shù)據(jù)包寫入磁盤形成格式話數(shù)據(jù)包文件。在捕獲數(shù)據(jù)包時所采取的過濾策略應(yīng)該是直接在網(wǎng)卡上能實現(xiàn)的策略，通常采取的策略是靠五元組信息進行數(shù)據(jù)包過濾。

接下來應(yīng)該是對網(wǎng)絡(luò)數(shù)據(jù)包進行重組。雖然在網(wǎng)卡上采取了初步過濾，但數(shù)據(jù)包的數(shù)量依然非常大，不可能也沒必要對每一個網(wǎng)絡(luò)連接進行數(shù)據(jù)重組。一個有效的辦法是通過數(shù)據(jù)包特征檢測方式對照行為特征庫對網(wǎng)絡(luò)預(yù)訂行為產(chǎn)生的數(shù)據(jù)連接進行重組，生成重組數(shù)據(jù)文件。所謂行為特征庫里面存儲的是每個行為的特征集合，這里使用的特征庫包括訪問的服務(wù)器IP，傳輸層協(xié)議（TCP），端口（80），應(yīng)用層協(xié)議（HTTP），應(yīng)用層數(shù)據(jù)特征字符串（“POST”）等組成的集合。

然后是對重組后的數(shù)據(jù)文件進行數(shù)據(jù)分析，數(shù)據(jù)分析的重點是對有用信息的提取，這時要對照預(yù)訂行為知識庫進行有用信息的提取。行為知識庫中記錄了每個有用信息的開始字符，及編碼規(guī)則等信息。最后把提取的有用信息存入數(shù)據(jù)庫中。所謂行為知識庫里面存儲的是每個行為中包含的有用信息項集合。這里的行為知識庫中記錄了每個有用信息的開始字符，結(jié)束字符和編碼規(guī)則等信息。

通過對網(wǎng)絡(luò)預(yù)定行為檢測及還原系統(tǒng)進行編碼實現(xiàn)，經(jīng)過實際的模擬環(huán)境測試可以實現(xiàn)網(wǎng)絡(luò)預(yù)定行為檢測并且還原出有用信息。

5　結(jié)語

本文主要研究網(wǎng)絡(luò)預(yù)定行為檢測及還原技術(shù)，從研究網(wǎng)絡(luò)預(yù)訂行為通信過程和協(xié)議分析著手，針對網(wǎng)絡(luò)預(yù)定行為特征檢測，網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組和網(wǎng)絡(luò)預(yù)訂行為檢測及還原系統(tǒng)設(shè)計幾個方面展開研究工作。重點研究了一種網(wǎng)絡(luò)協(xié)議數(shù)據(jù)重組方法。通過對網(wǎng)絡(luò)預(yù)訂行為檢測及還原系統(tǒng)的設(shè)計，經(jīng)編碼實現(xiàn)可以還原出有用信息。

［1］謝希仁.計算機網(wǎng)絡(luò)（第四版）［M］.大連：大連理工大學(xué)出版社，2010，4.

［2］陳雷，劉嘉勇.基于HTTP協(xié)議的POST數(shù)據(jù)分析與還原［J］.通信技術(shù)，2011，44（4）∶43-46.

［3］Richard J.Roiger，Michael W.Geatz.Data Mining a Tutorial-Based Primer［M］.北京∶清華大學(xué)出版社，2003，3.

［4］顧洋.分布式網(wǎng)絡(luò)通信行為分析技術(shù)研究［D］.四川大學(xué)，2012.

Online Booking；POST；Feature Detection；Data Reorganization

Research on Online Booking Behavior Detection and Recovery

WU Yu-jia
（Guizhou Aerospace Institute of Measurement and Testing Technology，Guiyang550009）

With the rapid development of the Internet economy，online booking behavior（including booking flights，a hotel，set meals，etc.）has become a very important part of people's lives.Started with the communication process and protocol analysis，the research focuses on the detection of on online booking behavior characteristics，the reorganization of network protocol data，and the design and of online booking behavior detection and recovery system.In practice，the online booking behavior detection and recovery technology research can provide an additional measure to network supervision.

1007-1423（2016）20-0050-04

10.3969/j.issn.1007-1423.2016.20.010

吳宇佳（1986-），男，重慶涪陵人，碩士，工程師，研究方向為信息系統(tǒng)安全

2016-04-14

2016-06-10