◆顧峰 王慶剛 伊紀(jì)梁 孫遠(yuǎn)秋 焦俊淞 曾文杰 冉志成

基于網(wǎng)絡(luò)流量回溯系統(tǒng)的網(wǎng)絡(luò)質(zhì)量分析與設(shè)計(jì)

◆顧峰1王慶剛1伊紀(jì)梁2孫遠(yuǎn)秋2焦俊淞2曾文杰2冉志成2

（1.西南石油大學(xué)網(wǎng)絡(luò)與信息化中心 四川 610500；2.西南石油大學(xué)計(jì)算機(jī)科學(xué)學(xué)院 四川 610500）

傳統(tǒng)網(wǎng)絡(luò)管理體系以設(shè)備監(jiān)控為中心，對(duì)用戶流量感知度差，難以適應(yīng)網(wǎng)絡(luò)發(fā)展的需求，現(xiàn)以高校網(wǎng)絡(luò)環(huán)境為基礎(chǔ)，設(shè)計(jì)一種網(wǎng)絡(luò)回溯技術(shù)方案，通過抓包（Captuer）軟件、可視化界面（Web）、數(shù)據(jù)存儲(chǔ)三部分搭建網(wǎng)絡(luò)回溯系統(tǒng)，對(duì)用戶網(wǎng)絡(luò)數(shù)據(jù)包分析，達(dá)到分析用戶網(wǎng)絡(luò)訪問質(zhì)量的目的。

校園網(wǎng)；抓包；流量回溯

隨著網(wǎng)絡(luò)的規(guī)模、能力和速度不斷提高，傳統(tǒng)的網(wǎng)絡(luò)管理體系已經(jīng)很難適應(yīng)網(wǎng)絡(luò)管理的需求，簡單的抓包存儲(chǔ)，無法達(dá)到IT人員對(duì)各類數(shù)據(jù)包實(shí)時(shí)響應(yīng)，快速分析的需求。文獻(xiàn)[1]對(duì)網(wǎng)絡(luò)流媒體中的關(guān)鍵技術(shù)進(jìn)行了詳細(xì)分析，就兩種不同流媒體傳輸架構(gòu)（C/S和P2P）下的兩種典型視頻流（HTTP流和RTP流）進(jìn)行了深入的研究，分別對(duì)其進(jìn)行了視頻流的識(shí)別和還原，以及視頻回溯三大功能的分析和設(shè)計(jì)，并給出了基于Web瀏覽的視頻監(jiān)控與回溯系統(tǒng)的實(shí)現(xiàn)方案。文獻(xiàn)[2]表明網(wǎng)絡(luò)的持續(xù)、高效和安全運(yùn)行是醫(yī)院業(yè)務(wù)正常運(yùn)行的基礎(chǔ)，要求網(wǎng)絡(luò)管理者能夠隨時(shí)掌握業(yè)務(wù)應(yīng)用運(yùn)行的關(guān)鍵指標(biāo)，及時(shí)發(fā)現(xiàn)異常并預(yù)警，實(shí)現(xiàn)主動(dòng)運(yùn)維、主動(dòng)管理。這些共同體現(xiàn)了網(wǎng)絡(luò)回溯系統(tǒng)在維護(hù)網(wǎng)絡(luò)穩(wěn)定性中起的重要作用。

網(wǎng)絡(luò)回溯技術(shù)可以很好地分析網(wǎng)絡(luò)狀況，但國內(nèi)外存在的功能軟件例如科來等大多是基于大型企業(yè)網(wǎng)絡(luò)的專項(xiàng)維護(hù)軟件，一般企業(yè)由于非剛性需求以及相對(duì)昂貴的費(fèi)用，對(duì)此項(xiàng)應(yīng)用的推廣相對(duì)滯后，這也導(dǎo)致了目前網(wǎng)絡(luò)回溯技術(shù)并不能在國內(nèi)廣泛的應(yīng)用起來，但隨著企業(yè)用戶對(duì)網(wǎng)絡(luò)質(zhì)量要求的不斷提高，通過網(wǎng)絡(luò)回溯技術(shù)來進(jìn)行深度的流量分析，精準(zhǔn)定位網(wǎng)絡(luò)故障，進(jìn)一步提升網(wǎng)絡(luò)質(zhì)量就顯得越來越重要。因此，本項(xiàng)目將研究如何把網(wǎng)絡(luò)回溯技術(shù)應(yīng)用于高校網(wǎng)絡(luò)運(yùn)維的體系中，在完善系統(tǒng)的同時(shí)，進(jìn)一步加強(qiáng)校園網(wǎng)絡(luò)的穩(wěn)定性和可拓展性。

1 系統(tǒng)架構(gòu)與安裝

Moloch是一款由AOL開源的，能夠大規(guī)模的捕獲IPv4數(shù)據(jù)包（PCAP）、索引和數(shù)據(jù)庫系統(tǒng)。Moloch主要為處理大量pcap文件提供一個(gè)快速索引的能力，為高效快速分析網(wǎng)絡(luò)問題建立了一個(gè)更直接的頁面，由以下三部分組成：

（1）capture：綁定interface運(yùn)行的單線程C語言應(yīng)用，用于監(jiān)控網(wǎng)絡(luò)流量，將網(wǎng)絡(luò)數(shù)據(jù)抓包以pacp格式寫入磁盤。

（2）viewer：運(yùn)行在capture主機(jī)上的node.js Web應(yīng)用，處理Web接口與傳輸中的文件。

（3）elasticsearch：moloch的數(shù)據(jù)檢索驅(qū)動(dòng)。

1.1 系統(tǒng)架構(gòu)

通過在交換機(jī)上，將一個(gè)或多個(gè)源端口的數(shù)據(jù)流量轉(zhuǎn)發(fā)到某一個(gè)指定端口來實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的監(jiān)聽即為端口鏡像（port Mirroring）。在不嚴(yán)重影響源端口正常吞吐流量的情況下，可以通過鏡像端口對(duì)網(wǎng)絡(luò)的流量進(jìn)行監(jiān)控分析。使用鏡像功能，可以很好地對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行監(jiān)控管理，在網(wǎng)絡(luò)出故障的時(shí)候，可以快速地定位故障。

本次實(shí)驗(yàn)探索選取特定的校園網(wǎng)絡(luò)節(jié)點(diǎn)，在校園網(wǎng)絡(luò)交換機(jī)上，將多個(gè)指定源端口的數(shù)據(jù)流量轉(zhuǎn)發(fā)到事先配置好的鏡像端口實(shí)現(xiàn)流量數(shù)據(jù)包的鏡像。通過Capture來抓取鏡像流量包并以pcap格式存儲(chǔ)到服務(wù)器中。Moloch以elasticsearch作為數(shù)據(jù)檢所驅(qū)動(dòng)，實(shí)現(xiàn)對(duì)大型數(shù)據(jù)包的快速打開與信息檢索，最終通過moloch提供的Web的頁面實(shí)現(xiàn)對(duì)數(shù)據(jù)包的瀏覽、搜索、分析，也可使用PCAP格式存儲(chǔ)和導(dǎo)出所有數(shù)據(jù)包。圖1為moloch系統(tǒng)單主機(jī)的部署圖。

圖1 moloch系統(tǒng)單主機(jī)的部署圖

1.2 系統(tǒng)安裝

（1）Moloch安裝

基于Centos7：wget https：//files.molo.ch/builds/centos-7/moloch-1.5.2-1.x86_64.rpm。

官網(wǎng)下載Nightly版本安裝包，以獲取最新特性，安裝后可通過運(yùn)行./configure命令進(jìn)入moloch設(shè)置目錄，首次安裝可進(jìn)行網(wǎng)卡選擇、數(shù)據(jù)庫地址、設(shè)定賬號(hào)密碼等配置，具體設(shè)置信息可參考moloch官網(wǎng)。

（2）安裝capture

Moloch默認(rèn)使用libpcap進(jìn)行抓包，通過參考文獻(xiàn)[6]對(duì)PFRING機(jī)制進(jìn)行了深入地分析，了解了PFRING機(jī)制的原理、實(shí)現(xiàn)，最終選擇在線安裝pfring以提升抓包性能。

（3）elasticsearch安裝及配置

Elasticsearch是個(gè)開源分布式搜索引擎，文獻(xiàn)[7]介紹了es的相關(guān)功能與使用方式，它擁有：開源、靈活性、分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制，restful風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等特點(diǎn)，配置簡單且功能強(qiáng)大。es可以選擇在配置moloch時(shí)候安裝，也可以單獨(dú)安裝。安裝es后可選擇進(jìn)行虛擬內(nèi)存、存儲(chǔ)告警等設(shè)置，最后可通過訪問：http://127.0.0.1：9200，根據(jù)出現(xiàn)信息來判斷es安裝是否成功。

2 抓包與比較

由于校園網(wǎng)絡(luò)環(huán)境數(shù)據(jù)流量大，服務(wù)器可能會(huì)因?yàn)閿?shù)據(jù)包過大出現(xiàn)卡頓現(xiàn)象，這時(shí)可以通過moloch系統(tǒng)腳本進(jìn)行控制。系統(tǒng)磁盤保留空間一般默認(rèn)為5%，可通過配置moloch安裝路徑下的config文件更改保留空間大小。在企業(yè)或高校的日常運(yùn)維中，也可通過定時(shí)任務(wù)每天自動(dòng)檢查磁盤使用情況，達(dá)到設(shè)定閥值實(shí)現(xiàn)告警功能，方便日常維護(hù)。傳統(tǒng)的抓包軟件在存儲(chǔ)數(shù)據(jù)過大時(shí)，很難進(jìn)行對(duì)數(shù)據(jù)包的打開及分析，moloch回溯系統(tǒng)在es的支持下系統(tǒng)檢索速度顯著提升。

Moloch中每一個(gè)會(huì)話過程都有第一個(gè)包、最后一個(gè)包和完整會(huì)話的數(shù)據(jù)時(shí)間戳，多數(shù)Moloch版本都可通過頂部搜索欄下拉框的不同選項(xiàng)實(shí)現(xiàn)對(duì)數(shù)據(jù)包起始時(shí)間的設(shè)定。例如，在查詢頁面中，F(xiàn)irst Packet為一個(gè)會(huì)話接收的第一個(gè)包的時(shí)間戳，Last Packet為一個(gè)會(huì)話接收的最后一個(gè)包的時(shí)間戳，Sessions會(huì)話部分主要用于分析流量，SPI則用于詳細(xì)分析一個(gè)會(huì)話。通過moloch更直觀的Web頁面，可以寫一些search expression來檢索我們所需要的信息。當(dāng)我們搜索ip.src==172.16.245.55&&protocols==http語句時(shí)，即可查看源ip為172.16.245.55并且協(xié)議為http的數(shù)據(jù)包；語句country == CN && port == 80 && host == *com 即表示過濾中國范圍內(nèi)使用80端口并且主機(jī)名或域名中包含 ".com"的會(huì)話。

moloch流量監(jiān)控所展示的是數(shù)據(jù)包的一次完整對(duì)話，可以在一條記錄內(nèi)查看數(shù)據(jù)的發(fā)送端與接收端的相關(guān)信息。當(dāng)網(wǎng)絡(luò)發(fā)生異常時(shí)（例如：延時(shí)較高、頁面無法訪問等），可通過已經(jīng)捕獲并且存儲(chǔ)在服務(wù)器中的數(shù)據(jù)包，展開以TCP為核心，各種網(wǎng)絡(luò)協(xié)議為單位的數(shù)據(jù)分析，判斷數(shù)據(jù)包所出現(xiàn)的問題。例如通過數(shù)據(jù)包接收端的IP地址，可以分析出地理差異等因素，通過流量數(shù)據(jù)包大小可以分析流量差異等因素，如圖2。

圖2 數(shù)據(jù)包

3 小結(jié)及展望

本文總結(jié)了對(duì)基于網(wǎng)絡(luò)流量回溯系統(tǒng)的網(wǎng)絡(luò)質(zhì)量分析與設(shè)計(jì)的基本探索，從安裝、抓包以及分析三個(gè)方面介紹此系統(tǒng)。相較于傳統(tǒng)的抓包分析軟件，流量回溯系統(tǒng)在抓包速度，數(shù)據(jù)包存儲(chǔ)容量，數(shù)據(jù)包查找分析速度等方面有了質(zhì)的提升，在日常的網(wǎng)絡(luò)維護(hù)中發(fā)揮了重要作用。

隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，流量回溯系統(tǒng)在排查及解決復(fù)雜網(wǎng)絡(luò)問題領(lǐng)域的應(yīng)用會(huì)更加廣泛。人們對(duì)網(wǎng)絡(luò)質(zhì)量的要求逐步上升，流量回溯系統(tǒng)也會(huì)進(jìn)一步發(fā)揮它的優(yōu)勢，在國內(nèi)廣泛的應(yīng)用起來。

[1]鞏付鑫.基于Web瀏覽的視頻監(jiān)控與回溯系統(tǒng)的研究與設(shè)計(jì)[D]. 南京郵電大學(xué)，2016.

[2]于宗一，曲強(qiáng)，邱愷，趙麗麗，陳樹生．醫(yī)院網(wǎng)絡(luò)流量回溯分析系統(tǒng)應(yīng)用實(shí)踐[J]．中國衛(wèi)生信息管理雜志，2017，014（005）：691-694.

[3]趙厲. 基于GPU的分布式數(shù)據(jù)包采集與回溯分析系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[D]. 山東科技大學(xué)，2018.

[4]舒園園. 運(yùn)營商網(wǎng)絡(luò)流量安全監(jiān)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 南京郵電大學(xué)，2016.

[5]曹志偉. 企業(yè)內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)包捕獲引擎的設(shè)計(jì)與實(shí)現(xiàn)[D]. 西安電子科技大學(xué)，2015.

[6]劉津銘．高速網(wǎng)卡數(shù)據(jù)傳輸?shù)难芯颗c實(shí)現(xiàn)[D]．電子科技大學(xué)，2013.

[7]（印度）波哈維?荻西特著；劉志斌譯. 深入理解Elasticsearch 原書第3版[M]. 北京：機(jī)械工業(yè)出版社，2019.

[8]刁曉婧. 高校校園網(wǎng)絡(luò)安全問題分析及對(duì)策[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2020（07）.

西南石油大學(xué)課外開放實(shí)驗(yàn)項(xiàng)目立項(xiàng)（KSP19G05）