王小平，王建勇，楊 塤

（重慶城市管理職業(yè)學(xué)院，重慶 401331）

采用云計(jì)算技術(shù)的網(wǎng)絡(luò)流量檢測(cè)*

王小平＊＊，王建勇，楊 塤

（重慶城市管理職業(yè)學(xué)院，重慶 401331）

為了實(shí)現(xiàn)對(duì)現(xiàn)網(wǎng)大數(shù)據(jù)網(wǎng)絡(luò)流量的實(shí)時(shí)、有效檢測(cè)，提出了一種基于云計(jì)算的網(wǎng)絡(luò)流量檢測(cè)方案。該方案充分利用Hadoop平臺(tái)Map/Reduce編程模型在海量數(shù)據(jù)處理方面的優(yōu)勢(shì)，采用分層化的設(shè)計(jì)思想，克服了傳統(tǒng)檢測(cè)方案在海量數(shù)據(jù)應(yīng)用環(huán)境中效率低下、可擴(kuò)展性與安全性不足的缺點(diǎn)。重慶移動(dòng)DPI平臺(tái)應(yīng)用表明，該方案較為有效，流量檢測(cè)效果良好，在大數(shù)據(jù)處理時(shí)效率較普通分布式處理有明顯提高。

網(wǎng)絡(luò)流量檢測(cè);云計(jì)算;大數(shù)據(jù);深度包檢測(cè)

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)已步入大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)流量指數(shù)級(jí)增長(zhǎng)的趨勢(shì)使網(wǎng)絡(luò)運(yùn)營(yíng)面臨各種巨大挑戰(zhàn)。首先，網(wǎng)絡(luò)應(yīng)用的日益多樣化與越來(lái)越多的P2P業(yè)務(wù)占據(jù)了大量帶寬，因此需要尋找一種對(duì)其進(jìn)行有效檢測(cè)與管理的方法，以保證移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的正常運(yùn)行。與此同時(shí)，網(wǎng)絡(luò)攻擊手段和異常流量不斷升級(jí)，運(yùn)營(yíng)商存在對(duì)其進(jìn)行有效識(shí)別和禁止的需求［1］。另外，從信息安全的角度，復(fù)雜多變的國(guó)內(nèi)外局勢(shì)也要求對(duì)互聯(lián)網(wǎng)流量加強(qiáng)監(jiān)控。

目前，網(wǎng)絡(luò)流量分析方法主要包括基于傳輸層端口、基于特征內(nèi)容及基于流量特征統(tǒng)計(jì)。其中基于流量統(tǒng)計(jì)特征匹配技術(shù)已被證明更加有效［2－3］，該技術(shù)的分析程序多集中在高性能的服務(wù)器上運(yùn)行，數(shù)據(jù)的收集主要采用NetfFlow或類似工具。但隨著數(shù)據(jù)中心的不斷涌現(xiàn)，數(shù)據(jù)處理量已達(dá)到PB或者更高，傳統(tǒng)的單服務(wù)器處理模式由于存在擴(kuò)展性差等因素已無(wú)法滿足海量數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)處理要求。網(wǎng)絡(luò)流量檢測(cè)急需擴(kuò)展性更好且能充分發(fā)揮計(jì)算和存儲(chǔ)資源能力的并行分析方案。

為此，本文提出一種基于Hadoop的網(wǎng)絡(luò)流量檢測(cè)系統(tǒng)框架，并在此基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)了一種流量分析檢測(cè)方案。通過(guò)對(duì)流量處理層的詳細(xì)設(shè)計(jì)，對(duì)流量數(shù)據(jù)的存儲(chǔ)讀取接口（I/O接口）、流量檢測(cè)的Map/Reduce編程以及協(xié)議解碼三大關(guān)鍵技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)，驗(yàn)證了該方案能充分利用Hadoop平臺(tái)存儲(chǔ)與高速運(yùn)算的優(yōu)勢(shì)，以并行方式對(duì)網(wǎng)絡(luò)流量實(shí)時(shí)大數(shù)據(jù)進(jìn)行高效檢測(cè)與處理。

2 基于Hadoop的云計(jì)算技術(shù)

Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，主要通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，充分利用集群的高速運(yùn)算和存儲(chǔ)優(yōu)勢(shì)。Hadoop的核心架構(gòu)［4］包括分布式文件系統(tǒng)HDFS（Hadoop Distributed File System）和海量數(shù)據(jù)并行計(jì)算編程模型Map/Reduce。

2.1 HDFS

HDFS由大量服務(wù)器集群組成，采用Master/Slave［5］架構(gòu)，即由一臺(tái)中心服務(wù)器作為 Namenode（元數(shù)據(jù)節(jié)點(diǎn)），負(fù)責(zé)執(zhí)行文件、目錄的命名空間操作，如打開、關(guān)閉、重命名文件和目錄，同時(shí)決定數(shù)據(jù)塊（block）到數(shù)據(jù)節(jié)點(diǎn) （Datanode）的映射［6－7］;Datanode是系統(tǒng)真正存儲(chǔ)數(shù)據(jù)的地方，由多臺(tái)服務(wù)器組成。為保證系統(tǒng)安全，用另一臺(tái)服務(wù)器作為輔助節(jié)點(diǎn)，負(fù)責(zé)不斷地將Namenode中的編輯日志edit log應(yīng)用到fsimage（二進(jìn)制文件，記錄HDFS中所有文件和目錄的元數(shù)據(jù)信息）中，減少下次Namenode的啟動(dòng)時(shí)間，同時(shí)也保證了系統(tǒng)的安全性。

2.2 M ap/Reduce

Map/Reduce是Google提出的分布式并行計(jì)算編程模型，用于大規(guī)模數(shù)據(jù)的并行處理［8］。Map/Reduce將大規(guī)模數(shù)據(jù)處理作業(yè)拆分成若干個(gè)可獨(dú)立運(yùn)行的Map任務(wù)，分配到不同的機(jī)器上去執(zhí)行，生成某種格式的中間文件，再由若干個(gè)Reduce任務(wù)合并這些中間文件獲得最后的輸出文件［9－10］。

3 流量檢測(cè)方案設(shè)計(jì)

流量檢測(cè)指利用各種流量檢測(cè)技術(shù)對(duì)網(wǎng)絡(luò)流量進(jìn)行處理，得到流量中部分內(nèi)容、分布情況等信息，為網(wǎng)絡(luò)運(yùn)營(yíng)商網(wǎng)絡(luò)優(yōu)化提供數(shù)據(jù)支撐。它是網(wǎng)絡(luò)運(yùn)營(yíng)管理的有利工具。本文提出的流量檢測(cè)方案主要是針對(duì)移動(dòng)現(xiàn)網(wǎng)業(yè)務(wù)流量識(shí)別，并實(shí)時(shí)統(tǒng)計(jì)各個(gè)業(yè)務(wù)的流量占用情況。為了后文描述方便，現(xiàn)將有關(guān)字段介紹如表1所示。

表1 相關(guān)字段信息Table 1 Fields information

3.1 流量檢測(cè)系統(tǒng)框架設(shè)計(jì)

流量檢測(cè)系統(tǒng)采用分層化設(shè)計(jì)思想，共分為網(wǎng)絡(luò)層、采集層、云處理層和應(yīng)用層4層，如圖1所示。

圖1 流量檢測(cè)系統(tǒng)框架Fig.1 Traffic detection system structure

下面將詳細(xì)介紹流量檢測(cè)系統(tǒng)每層的功能。

（1）網(wǎng)絡(luò)層

網(wǎng)絡(luò)層指的是各種類型的互聯(lián)網(wǎng)絡(luò)，可以是移動(dòng)互聯(lián)網(wǎng)、計(jì)算機(jī)網(wǎng)絡(luò)或者其他類型的需要進(jìn)行流量檢測(cè)的私有網(wǎng)絡(luò)。

（2）采集層

采集層主要負(fù)責(zé)從各種類型的網(wǎng)絡(luò)中采集流量數(shù)據(jù)。由于網(wǎng)絡(luò)的組網(wǎng)方式和速率各異，網(wǎng)絡(luò)層需要能夠適應(yīng)各種類型網(wǎng)絡(luò)流量的采集。流量采集一般采取旁路采集的方式，以保證不影響網(wǎng)絡(luò)的正常運(yùn)行。

（3）云處理層

云處理層主要負(fù)責(zé)網(wǎng)絡(luò)流量的檢測(cè)處理，是流量檢測(cè)的關(guān)鍵所在。云處理層又分為HDFS和MR（Map/Reduce）兩個(gè)子層。HDFS子層完成流量數(shù)據(jù)的分布式存儲(chǔ)，為MR子層處理打下基礎(chǔ)。MR子層完成流量的分布式處理，需要對(duì)數(shù)據(jù)進(jìn)行的處理包括協(xié)議解碼、TCP/IP重組和流量識(shí)別等。由于HDFS子層在存儲(chǔ)數(shù)據(jù)時(shí)數(shù)據(jù)分割不規(guī)則，可能導(dǎo)致某個(gè)任務(wù)處理的數(shù)據(jù)包不完整，所以設(shè)計(jì)了I/O Format層，專門進(jìn)行Pcap格式數(shù)據(jù)的讀取轉(zhuǎn)換。

（4）應(yīng)用層

應(yīng)用層的功能是根據(jù)云處理層結(jié)果進(jìn)行相應(yīng)的上層處理。如:根據(jù)業(yè)務(wù)識(shí)別結(jié)果與需求，對(duì)不同的業(yè)務(wù)流量進(jìn)行流量控制或?qū)I(yè)務(wù)流量進(jìn)行統(tǒng)計(jì)分析等。

3.2 云處理層詳細(xì)設(shè)計(jì)

如何對(duì)云處理層進(jìn)行子模塊劃分，是本方案設(shè)計(jì)中的關(guān)鍵。根據(jù)系統(tǒng)框架，云處理層的功能是接收流量數(shù)據(jù)并進(jìn)行處理。為此首先將云處理層分為流量收集、存儲(chǔ)和檢測(cè)處理3個(gè)子功能模塊，以達(dá)到模塊間低耦合、同時(shí)互相協(xié)作完成流量檢測(cè)目的。其次，將流量檢測(cè)處理過(guò)程分為讀取Pcap格式數(shù)據(jù)、流量檢測(cè)。最后，由于Hadoop平臺(tái)的HDFS存儲(chǔ)可能會(huì)導(dǎo)致Pcap格式的數(shù)據(jù)包在包中間切斷狀況，為實(shí)現(xiàn)快速高效讀取Pcap數(shù)據(jù)需設(shè)計(jì)一個(gè)I/O接口，以完成該功能。同時(shí)，由于流量檢測(cè)采用DPI技術(shù)，而DPI技術(shù)需要特征庫(kù)的支持且特征庫(kù)需要定期更新，所以，需將特征庫(kù)與流量檢測(cè)分析分開。

綜上，云處理層主要包括HDFS存儲(chǔ)、IO接口、協(xié)議檢測(cè)分析、流量收集和業(yè)務(wù)特征五部分。因此，提出如圖2所示的Hadoop平臺(tái)網(wǎng)絡(luò)流量處理方案。

圖2 云處理層詳細(xì)設(shè)計(jì)圖Fig.2 Detail design of cloud processing layer

流量收集主要是負(fù)責(zé)接收采集層采集到的流量數(shù)據(jù)，并按一定格式存入HDFS文件系統(tǒng)中。本方案擬采用HDFS系統(tǒng)自帶的文件裝載功能進(jìn)行處理，block塊的大小可根據(jù)不同的性能需求進(jìn)行不同的優(yōu)化設(shè)置。HDFS存儲(chǔ)是Hadoop平臺(tái)的重要組成部分，其主要存儲(chǔ)網(wǎng)絡(luò)流量，并為流量的分布式處理提供支撐。

由于Hadoop對(duì)文本文件的讀取效率高于對(duì)二進(jìn)制文件的讀取，然而重慶移動(dòng)DPI平臺(tái)主要針對(duì)的是Pcap格式的流量數(shù)據(jù)。因此，需依據(jù)設(shè)計(jì)IO接口實(shí)現(xiàn)Pcap格式文件到文本文件格式的轉(zhuǎn)換，以提高流量數(shù)據(jù)的讀取效率，具體方法將在后文介紹。特征庫(kù)部分是為流量識(shí)別提供支撐，本文采用深度包檢測(cè)（Deep Packet Inspection，DPI）技術(shù)進(jìn)行業(yè)務(wù)流量識(shí)別，由于業(yè)務(wù)特征隨時(shí)在改變，需要定期對(duì)特征庫(kù)進(jìn)行更新。協(xié)議分布式處理也是Hadoop平臺(tái)的重要部分之一，主要包括協(xié)議解碼、IP/TCP重組、協(xié)議識(shí)別和其他擴(kuò)展功能，所有功能均采用Map/Reduce分布式算法進(jìn)行實(shí)現(xiàn)。

4 流量檢測(cè)方案的實(shí)現(xiàn)

4.1 IO接口實(shí)現(xiàn)

當(dāng)MapReduce任務(wù)開始對(duì)存儲(chǔ)在HDFS中的流量數(shù)據(jù)進(jìn)行處理時(shí)，需要調(diào)用IO接口完成對(duì)HDFS中的數(shù)據(jù)進(jìn)行讀取，正確找到Pcap格式數(shù)據(jù)的包頭。IO接口的實(shí)現(xiàn)方法如下:

（1）假設(shè)每個(gè)map任務(wù)對(duì)應(yīng)的block塊中數(shù)據(jù)為正常的Pcap格式數(shù)據(jù)，即認(rèn)為block塊開始的16字節(jié)為一個(gè)Pcap格式數(shù)據(jù)的包頭。同時(shí)跳過(guò)第一個(gè)包頭中l(wèi)en長(zhǎng)度的字節(jié)數(shù)，找到第一個(gè)包的包頭位置;

（2）按 Pcap格式讀取步驟一中假設(shè)的兩個(gè)Pcap格式包頭中的時(shí)間字段、長(zhǎng)度字段、wiredlen和caplen字段，并判斷各字段是否滿足條件;

（3）若步驟2中讀取的字段不滿足條件，則證明步驟1中假設(shè)無(wú)效，跳過(guò)block中的一個(gè)字節(jié)，繼續(xù)繼續(xù)步驟2，直至滿足條件為止。

以上方法需要滿足的條件:

（1）TimeStamp1，TimeStamp2∈時(shí)間值;

（2）wiredlen－caplen＜最大包長(zhǎng)度;

（3）TimeStamp2－TimeStamp1 ＜ uTime。

按如上方法查找到map任務(wù)對(duì)應(yīng)block塊中Pcap數(shù)據(jù)包的開始位置，然后從此位置開始讀取Pcap數(shù)據(jù)包，進(jìn)行供map任務(wù)處理。

4.2 M ap/Reduce編程模型的實(shí)現(xiàn)

利用Hadoop的Map/Reduce編程模型可以對(duì)海量數(shù)據(jù)進(jìn)行高效并行處理，從而大大提高流量檢測(cè)的速率和效率?；贖adoop的流量檢測(cè)處理分為Map（映射）和Reduce（簡(jiǎn)化）兩個(gè)階段。每個(gè)流量處理功能當(dāng)作一次Map/Reduce任務(wù)，如協(xié)議解碼、IP/TCP重組和流量識(shí)別等。一次任務(wù)將流量數(shù)據(jù)集切分為多個(gè)獨(dú)立的數(shù)據(jù)塊，并為每個(gè)數(shù)據(jù)塊建立一個(gè)Map，各個(gè)Map獨(dú)立并行地處理對(duì)應(yīng)的數(shù)據(jù)塊。Map階段產(chǎn)生輸出作為Reduce階段的輸入，Reduce在Map的基礎(chǔ)上對(duì)中間結(jié)果進(jìn)行歸并處理，并生成輸出。Map和Reduce的個(gè)數(shù)可根據(jù)Map和Reduce階段的任務(wù)復(fù)雜度進(jìn)行合理分配，兩者沒有關(guān)聯(lián)性。

下面以流量識(shí)別任務(wù)為例，結(jié)合Map/Reduce編程模型，實(shí)現(xiàn)網(wǎng)絡(luò)流量檢測(cè)中最為關(guān)鍵的流量識(shí)別，其整體框架如圖3所示。

圖3 流量識(shí)別Map/Reduce模型Fig.3 Map/Reduce module of traffic identification

流量識(shí)別的具體實(shí)現(xiàn)流程如下:

（1）通過(guò)云平臺(tái)向外提供的控制接口，提交任務(wù);

（2）Hadoop平臺(tái)啟動(dòng)一個(gè)任務(wù)管理器Job-Track，JobTracker首先讀取待處理的流量Pcap格式數(shù)據(jù)，并將Pcap數(shù)據(jù)分成大小相等的M份，同時(shí)在HDFS中做好備份，最后JobTracker創(chuàng)建多個(gè)Job-Worker，并合理給每個(gè)JobWorker分配任務(wù);

（3）每個(gè)JobWorker通過(guò)調(diào)用IO接口，讀取步驟2中被分割好的Pcap數(shù)據(jù)作為輸入，并生成輸入＜KEY，VALUE＞鍵值對(duì)，輸入鍵值對(duì)KEY要能唯一標(biāo)識(shí)一個(gè)數(shù)據(jù)包，本文選取每個(gè)數(shù)據(jù)包包頭距block塊的字節(jié)數(shù)作為KEY。輸入VLAUE就是數(shù)據(jù)包。Map任務(wù)通過(guò)調(diào)用Map（）函數(shù)來(lái)進(jìn)行流量處理操作，不同的任務(wù)間的區(qū)別在于Map（）函數(shù)的實(shí)現(xiàn)不一樣。Map子經(jīng)過(guò)處理后生成中間＜KEY，VALUE＞鍵值對(duì)，供Reduce子任務(wù)處理;

（4）Reduce子任務(wù)獲取Map子任務(wù)輸出的中間兼職對(duì)，進(jìn)行歸并處理，此過(guò)程也是調(diào)用Reduce（）函數(shù)實(shí)現(xiàn)。以流量識(shí)別為例，Map子任務(wù)輸出的中間鍵值對(duì)中，KEY值與Map子任務(wù)輸入鍵值對(duì)KEY值相同，用于標(biāo)識(shí)每個(gè)數(shù)據(jù)包;VALUE值為數(shù)據(jù)包對(duì)應(yīng)的業(yè)務(wù)類別;

（5）當(dāng)所有Map和Reduce子任務(wù)執(zhí)行完之后，JobTracker將Reduce的輸出結(jié)果保存到HDFS中，供上層應(yīng)用使用。

4.3 M ap/Reduce函數(shù)實(shí)現(xiàn)

Map/Reduce編程模型主要描述的是任務(wù)的分解過(guò)程及其輸入、中間輸出鍵值對(duì)和最終輸出結(jié)果的選取。Map/Reduce模型中真正的處理部分是在Map（）和Reduce（）函數(shù)中實(shí)現(xiàn)，本文以協(xié)議解碼為例，詳細(xì)介紹其實(shí)現(xiàn)過(guò)程。

協(xié)議解碼的分布式處理時(shí)，Map（）函數(shù)完成數(shù)據(jù)包按協(xié)議格式解析，Reduce（）函數(shù)完成解碼結(jié)果的統(tǒng)計(jì)和保存。協(xié)議解碼的流程如圖4所示。

圖4 協(xié)議解碼流程圖Fig.4 Flow chart of protocol decoding

協(xié)議解碼步驟如下:

（1）調(diào)用解碼接口后，解碼開始;

（2）獲取需要解碼的數(shù)據(jù)包的相關(guān)信息，包括數(shù)據(jù)包在內(nèi)存中的首地址和數(shù)據(jù)包的長(zhǎng)度;

（3）判斷數(shù)據(jù)包是否有效，主要判斷依據(jù)是數(shù)據(jù)包協(xié)議所攜帶的長(zhǎng)度字段與實(shí)際數(shù)據(jù)包的長(zhǎng)度進(jìn)行比較，若不等，則數(shù)據(jù)包無(wú)效，解碼結(jié)束;若相等，進(jìn)入步驟4;

（4）數(shù)據(jù)包有效，進(jìn)行相應(yīng)的初始化操作，如獲取本層協(xié)議信息，并申請(qǐng)解碼結(jié)果表;

（5）根據(jù)步驟4獲取到的數(shù)據(jù)包協(xié)議，調(diào)用相應(yīng)的協(xié)議解碼函數(shù)，得到解碼結(jié)果并將本次解碼所能獲取到的解碼結(jié)果字段填入結(jié)果表;

（6）判斷數(shù)據(jù)包是否包含上層PDU信息，若包含，則轉(zhuǎn)到步驟5繼續(xù)對(duì)上層PDU進(jìn)行解碼;若無(wú)，則解碼結(jié)束。

5 方案測(cè)試與結(jié)果分析

5.1 測(cè)試環(huán)境

以重慶某高校校園網(wǎng)實(shí)時(shí)數(shù)據(jù)為本方案測(cè)試對(duì)象，搭建如圖5所示的測(cè)試系統(tǒng)。系統(tǒng)組件與參數(shù)配置說(shuō)明如下:

（1）系統(tǒng)由5臺(tái)PC機(jī)（每臺(tái)配置:4GB內(nèi)存，1TB硬盤，酷睿雙核CPU）、2臺(tái)PC機(jī)（每臺(tái)配置:2 GB內(nèi)存，500 GB硬盤、酷睿雙核CPU）、1臺(tái)千兆交換機(jī)和若干網(wǎng)線構(gòu)成;

（2）在5臺(tái)配置相同的PC上，每臺(tái)用虛擬機(jī)軟件構(gòu)造出4個(gè)配置相同虛擬機(jī)，網(wǎng)絡(luò)方式選擇橋接模式，虛擬機(jī) IP配置如下:物理機(jī) 192.168.1.3上的4 個(gè)虛擬機(jī) IP 分別為192.168.1.31 －34，依次類推，所有機(jī)器通過(guò)千兆交換機(jī)構(gòu)成一個(gè)高速局域網(wǎng);

（3）在22個(gè)機(jī)器（20個(gè)虛擬機(jī)和兩臺(tái)物理機(jī)）上裝Linux 64位操作系統(tǒng)，并搭建Hadoop平臺(tái)。由其中兩臺(tái)配置相同的物理機(jī)分別當(dāng)作Namenode和SecondaryNamenode，20個(gè)虛擬機(jī)作Datanode。

圖5 系統(tǒng)集成示意圖Fig.5 Illustration of system integration

啟動(dòng)Hadoop平臺(tái)，通過(guò)SSH登陸到管理節(jié)點(diǎn)（IP:192.168.1.2）上，進(jìn)入 hadoop 的 bin 目錄，執(zhí)行./start－all.sh命令，就可以啟動(dòng) Hadoop集群。登陸Hadoop的DFS（Distributed File System）管理界面查看，啟動(dòng)成功后的HDFS集群總?cè)萘繛?.61 TB，活動(dòng)節(jié)點(diǎn)有20個(gè)，非活動(dòng)節(jié)點(diǎn)0個(gè)，如圖6所示。

圖6 HDFS管理界面Fig.6 Management interface of HDFS

在一定的Hadoop平臺(tái)參數(shù)配置下，硬件配置越高，節(jié)點(diǎn)個(gè)數(shù)越多，數(shù)據(jù)會(huì)被分割成更小的塊進(jìn)行存儲(chǔ)，對(duì)小數(shù)據(jù)量而言，由于數(shù)據(jù)處理調(diào)度會(huì)占據(jù)大部分時(shí)間，所以處理時(shí)間會(huì)增加;對(duì)于大數(shù)據(jù)，調(diào)度時(shí)間的影響相對(duì)較小，由于節(jié)點(diǎn)數(shù)增加，處理時(shí)間會(huì)顯著縮短。

5.2 結(jié)果分析與性能對(duì)比

利用檢測(cè)系統(tǒng)對(duì)從校園網(wǎng)抓取的4.3 GB流量進(jìn)行檢測(cè)處理，識(shí)別出業(yè)務(wù)類別及其對(duì)應(yīng)的流量信息，如圖7所示。

圖7 業(yè)務(wù)流量識(shí)別與統(tǒng)計(jì)結(jié)果Fig.7 Traffic identification and statistic results

從圖7可以看到，被檢測(cè)的流量中，瀏覽下載類業(yè)務(wù)總流量最大，占據(jù)整個(gè)流量的16%，其次為音樂類和視頻類，分別占據(jù)總流量的13%和12%，這基本符合該特定區(qū)域業(yè)務(wù)流量特性和人們對(duì)業(yè)務(wù)喜愛程度。通過(guò)該統(tǒng)計(jì)方案，我們能在保證資源最小開銷的狀態(tài)下完成移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的流量識(shí)別與檢測(cè)，數(shù)據(jù)展示結(jié)果已通過(guò)重慶移動(dòng)相關(guān)部門審核。

利用基于Hadoop的測(cè)試系統(tǒng)和基于單臺(tái)服務(wù)器的流量檢測(cè)系統(tǒng)同時(shí)處理移動(dòng)數(shù)據(jù)業(yè)務(wù)部門采集的相同大小的流量數(shù)據(jù)，對(duì)比兩者處理完相同數(shù)據(jù)需要的時(shí)間，結(jié)果如表2所示。

表2 流量處理耗時(shí)對(duì)比Table 2 Time consumption of traffic processing

從表2可以看出，在小數(shù)據(jù)量情況下，基于Hadoop的耗時(shí)比單機(jī)多線程對(duì)流量的處理耗時(shí)更大，加速比為0.423。但隨著處理數(shù)據(jù)量的增大，基于Hadoop的系統(tǒng)耗時(shí)相對(duì)單機(jī)多線程耗時(shí)的加速比逐漸提高，尤其當(dāng)數(shù)據(jù)量為100 GB時(shí)，加速比可達(dá)到10.692，實(shí)時(shí)處理效率較為顯著，表明了基于Hadoop平臺(tái)的流量檢測(cè)系統(tǒng)與普通分布式處理在大數(shù)據(jù)處理上具有優(yōu)勢(shì)。經(jīng)重慶移動(dòng)數(shù)據(jù)處理中心產(chǎn)品部實(shí)際測(cè)試，結(jié)果表明當(dāng)被處理數(shù)據(jù)大于200 GB時(shí)性能會(huì)更加明顯。

6 結(jié)束語(yǔ)

本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于Hadoop平臺(tái)的流量檢測(cè)方案，并基于校園網(wǎng)現(xiàn)網(wǎng)實(shí)時(shí)數(shù)據(jù)完成了方案的測(cè)試驗(yàn)證，成功實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)流量的檢測(cè)分析。目前該方案已在重慶移動(dòng)數(shù)據(jù)處理中心成功上線運(yùn)行，經(jīng)實(shí)際運(yùn)用該方案可對(duì)現(xiàn)網(wǎng)大數(shù)據(jù)進(jìn)行有效地流量檢測(cè)，且數(shù)據(jù)處理速度較普通分布式處理有明顯提高。應(yīng)用本文成果進(jìn)一步分析，還可對(duì)具體業(yè)務(wù)的人口偏好度進(jìn)行統(tǒng)計(jì)，為運(yùn)營(yíng)商增值業(yè)務(wù)的統(tǒng)計(jì)需求提供數(shù)據(jù)支撐。未來(lái)研究方向可通過(guò)對(duì)Hadoop參數(shù)進(jìn)一步調(diào)優(yōu)，利用該方案進(jìn)行流量的深度識(shí)別與詳細(xì)統(tǒng)計(jì)。

［1］王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)的現(xiàn)狀與展望［J］.計(jì)算機(jī)學(xué)報(bào)，2013，36（6）:1125－1137.

WANG Yuan －zhuo，JIN Xiao－long，CHEN Xue －qi.Network Big Data:Present and Future［J］.Chinese Journal of Computers，2013，36（6）:1125 －1137.（in Chinese）

［2］吳建軍.網(wǎng)絡(luò)輿情的云計(jì)算監(jiān)測(cè)模式分析與實(shí)現(xiàn)［J］.電訊技術(shù)，2013，53（4）:486 －488.

WU Jian－jun.Analysis and implementation of network public opinion monitoring based on cloud computing［J］.Telecommunication Engineering，2013，53（4）:486 －488.（in Chinese）

［3］ 李喬，鄭嘯.云計(jì)算研究現(xiàn)狀綜述［J］.計(jì)算機(jī)科學(xué)，2011，38（4）:32 －37.

LI Qiao，ZHENG Xiao.Summary of Research on Cloud Computing［J］.Computer Science，2011，38（4）:32 －37.（in Chinese）

［4］劉琨，李愛菊，董龍江.基于Hadoop的云存儲(chǔ)的研究及實(shí)現(xiàn)［J］.微計(jì)算機(jī)信息，2011，27（7）:220－221.

LIU Kun，LI Ai－ju，DONG Long －ju.Research and Implementaiton of Cloud Storage Based on Hadoop［J］.Microcomputer Information，2011，27（7）:220 －221.（in Chinese）

［5］Lee Yeonhee，Kang Wonchul，Lee Yonngseok.A Hadoop－ Based Packet Trace Processing Tool［C］//Proceedings of Third International Workshop on Traffic Monitoring and Analysis:Austria:IEEE，2011:51 －63.

［6］White T.Hadoop:The Definitive Guide［M］.3rd ed.New York:O＇Reil－ ly Media，2012:1 －47.

［7］羅軍舟，金嘉輝，宋愛波，等.云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)［J］.通信學(xué)報(bào)，2011，32（7）:3－7.

LUO Jun － zhou，JIN Jia － hui，SONG Ai－ bo，et al.Cloud Computing:Architecture and Key Technology［J］.Journal on Communications，2011，32（7）:3 －7.（in Chinese）

［8］徐雅斌，李艷平，劉曦子.一種基于云計(jì)算的P2P流量識(shí)別系統(tǒng)模型的研究［J］.電信科學(xué)，2012，28（10）:58 －63.

XU Ya － bin，LI Yan － ping，LIU Xi－ zi.Research of P2P Traffic Identification System Module Based on Cloud Computing［J］.Telecommunications Science，2012，28（10）:58－63.（in Chinese）

［9］陶彩霞，謝曉軍，陳康，等.給予云計(jì)算的移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)用戶行為分析引擎設(shè)計(jì)［J］.電信科學(xué)，2013，29（3）:27－31.

TAO Cai－ xia，XIE Xiao － jun，CHEN Kang，et al.Design of Mobile Internet Big Data User Behavior Analysis Engine Based on Cloud Computing［J］.Telecommunications Science，2013，29（3）:27 －31.（in Chinese）

［10］宋均，祝林.基于云計(jì)算的海量數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)［J］.電訊技術(shù)，2013，52（4）:566 －570.

SONG Jun，ZHU Lin.Mass data processing platform design and implementation based on cloud computing［J］.Telecommunication Engineering，2013，53（4）:566 －570.（in Chinese）

Network Traffic Detection w ith Cloud Computing

WANG Xiao－ping，WANG Jian －yong，YANG Xun
（Chongqing City Management College，Chongqing 401331，China）

In order to detect the network traffic in real time and effectively，a traffic detection scheme based on cloud computing is proposed.The scheme makes full use of the advantages of Hadoop platform＇s Map/Reduce programming model and adopts the thought of hierarchical design to avoid the inefficiency，the defects of scalability and security of traditional detection schemes in big data application environment.The application of the proposed scheme in DPI platform of Chongqing Mobile Communication Company has proved its effictiveness.The detection result is satisfying and the data processing speed has been improved obviously compared with the common distributed processing.

network traffic detection;cloud computing;big data;deep packet inspection

TP393

A

1001－893X（2014）05－0650－06

10.3969/j.issn.1001 －893x.2014.05.023

王小平，王建勇，楊塤.采用云計(jì)算技術(shù)的網(wǎng)絡(luò)流量檢測(cè)［J］.電訊技術(shù)，2014，54（5）:650－655.［WANG Xiao－ping，WANG Jianyong，YANG Xun.Network Traffic Detection with Cloud Computing［J］.Telecommunication Engineering，2014，54（5）:650 －655.］

2014－04－16;

2014－05－19

date:2014－04－16;Revised date:2014－05－19

＊＊

workmail73@126.com Corresponding author:workmail73@126.com

王小平（1973－），男，四川閬中人，2007年于重慶郵電大學(xué)獲通信與信息系統(tǒng)專業(yè)碩士學(xué)位，現(xiàn)為副教授，主要研究方向?yàn)閷拵ЬW(wǎng)絡(luò)、無(wú)線通信、嵌入式系統(tǒng)等。

WANG Xiao－ping was born in Langzhong，Sichuan Province，in 1973.He received the M.S.degree from Chongqing University of Postsand Telecommunications in 2007.He is now an associate professor.His research concerns wideband network，wireless communication and embedded system.

Email:workmail73@126.com