梅再霞，音春，王鋒

（中國移動通信集團(tuán)設(shè)計(jì)院有限公司安徽分公司, 合肥 230041）

運(yùn)營商統(tǒng)一DPI建設(shè)方案優(yōu)化研究

梅再霞，音春，王鋒

（中國移動通信集團(tuán)設(shè)計(jì)院有限公司安徽分公司, 合肥 230041）

對運(yùn)營商統(tǒng)一DPI系統(tǒng)應(yīng)用場景做闡述，并對建設(shè)中出現(xiàn)的問題深入分析，提出了基于統(tǒng)一DPI設(shè)備的系統(tǒng)優(yōu)化建設(shè)思路。通過同資源池、大數(shù)據(jù)平臺相結(jié)合的優(yōu)化方案，實(shí)現(xiàn)資源整合與共享。

統(tǒng)一DPI；大數(shù)據(jù)；資源池

1 引言

隨著統(tǒng)一DPI設(shè)備在現(xiàn)網(wǎng)的大規(guī)模建設(shè)，統(tǒng)一DPI已經(jīng)成為全網(wǎng)最重要的網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)，是運(yùn)營商數(shù)據(jù)金礦的原石，是大數(shù)據(jù)分析的基礎(chǔ)。各省根據(jù)集團(tuán)規(guī)范要求建設(shè)了統(tǒng)一DPI系統(tǒng)，但各采集位置數(shù)據(jù)的合成和存儲仍為煙囪式建設(shè)，獨(dú)立部署合成和存儲服務(wù)器，未納入資源池進(jìn)行資源整合與共享，各采集位置數(shù)據(jù)相互獨(dú)立，缺少必要的關(guān)聯(lián)與整合，不利于提高設(shè)備利用率。

2 DPI技術(shù)

DPI(Deep Packet Inspection) 是一種基于數(shù)據(jù)分組的深度檢測技術(shù)，針對不同的網(wǎng)絡(luò)應(yīng)用層載荷（例如HTTP、DNS等）進(jìn)行深度檢測，通過對報(bào)文的有效載荷檢測決定其合法性。運(yùn)營商通過DPI設(shè)備通過對網(wǎng)絡(luò)的關(guān)鍵點(diǎn)處的流量和報(bào)文內(nèi)容進(jìn)行檢測分析，可以根據(jù)事先定義的策略對檢測流量進(jìn)行過濾控制，能完成所在鏈路的業(yè)務(wù)精細(xì)化識別、業(yè)務(wù)流量流向分析、業(yè)務(wù)流量占比統(tǒng)計(jì)、業(yè)務(wù)占比整形、以及應(yīng)用層拒絕服務(wù)攻擊、對病毒、木馬進(jìn)行過濾和濫用P2P的控制等功能。

2.1 DPI功能

業(yè)務(wù)識別：業(yè)務(wù)識別有兩種方法，一種是對運(yùn)營商開通的合法業(yè)務(wù)，另一種是運(yùn)營商需要進(jìn)行監(jiān)管的業(yè)務(wù)。運(yùn)營商需要進(jìn)行監(jiān)管的業(yè)務(wù)需求DPI技術(shù)，通過前述的業(yè)務(wù)識別方法，通過對IP數(shù)據(jù)分組的內(nèi)容進(jìn)行分析，通過特征字的查找或者業(yè)務(wù)的行為統(tǒng)計(jì)，得到業(yè)務(wù)流的類型。

業(yè)務(wù)控制：通過DPI識別出各類業(yè)務(wù)流之后，根據(jù)網(wǎng)絡(luò)配置的組合條件，用戶、時(shí)間、帶寬、歷史流量等，對業(yè)務(wù)流進(jìn)行控制?？刂品椒òǎ赫＾D(zhuǎn)發(fā)、阻塞、限制帶寬、整形、重標(biāo)記優(yōu)先級等。

業(yè)務(wù)統(tǒng)計(jì)：DPI 的業(yè)務(wù)統(tǒng)計(jì)功能是為了直觀的統(tǒng)計(jì)網(wǎng)絡(luò)的業(yè)務(wù)流量分布和用戶的各種業(yè)務(wù)使用情況，從而更好的發(fā)現(xiàn)促進(jìn)業(yè)務(wù)發(fā)展和影響網(wǎng)絡(luò)正常運(yùn)營的因素，為網(wǎng)絡(luò)和業(yè)務(wù)優(yōu)化提供依據(jù)。

2.2 統(tǒng)一DPI系統(tǒng)應(yīng)用場景

根據(jù)不同位置的不同流量特性，設(shè)置5個DPI采集點(diǎn)，同一個點(diǎn)上采用一套統(tǒng)一DPI設(shè)備為多套應(yīng)用系統(tǒng)提供數(shù)據(jù)，實(shí)現(xiàn)DPI復(fù)用，如圖1所示。

2.2.1 場景1：PS側(cè)

2G/3G網(wǎng)絡(luò)的Gn接口鏈路，以及4G網(wǎng)絡(luò)的S1-U接口鏈路。

2.2.2 場景2：IDC出口

指IDC連接省網(wǎng)/骨干網(wǎng)的出口，即IDC出口路由器與外部承載網(wǎng)絡(luò)之間的鏈路。

2.2.3 場景3：省網(wǎng)出口

指省網(wǎng)到骨干網(wǎng)的出口，即省網(wǎng)匯接路由器與骨干網(wǎng)路由器之間的鏈路。

2.2.4 場景4：省網(wǎng)網(wǎng)間出口

指省網(wǎng)連接第三方網(wǎng)絡(luò)的出口，即省網(wǎng)網(wǎng)間出口路由器與第三方網(wǎng)絡(luò)之間的鏈路。

2.2.5 場景5：骨干網(wǎng)網(wǎng)間出口

指骨干網(wǎng)連接其他運(yùn)營商網(wǎng)絡(luò)的出口，即骨干網(wǎng)網(wǎng)間出口路由器與其他運(yùn)營商網(wǎng)絡(luò)之間的鏈路。

圖1 統(tǒng)一DPI應(yīng)用場景

3 運(yùn)營商統(tǒng)一DPI建設(shè)存在的問題

各省建設(shè)統(tǒng)一DPI系統(tǒng)，系統(tǒng)采用統(tǒng)一設(shè)備功能、標(biāo)準(zhǔn)的話單格式，對字段類型、長度和取值進(jìn)行了規(guī)范，有效支撐各類應(yīng)用系統(tǒng)，主要有如下幾點(diǎn)。

3.1 數(shù)據(jù)提供方式

原始碼流和XDR話單分別滿足應(yīng)用系統(tǒng)不同需求。

原始碼流：Cache系統(tǒng)、不良信息監(jiān)測系統(tǒng)、網(wǎng)優(yōu)平臺等；

XDR話單：集中化經(jīng)分系統(tǒng)、日志留存系統(tǒng)、IDC信息安全系統(tǒng)等。

3.2 支撐多個應(yīng)用系統(tǒng)

網(wǎng)絡(luò)管理：性能管理系統(tǒng)、網(wǎng)優(yōu)平臺、信令監(jiān)測系統(tǒng)等；

業(yè)務(wù)支撐：集中化經(jīng)分、流量經(jīng)營分析系統(tǒng)等；信息安全：上網(wǎng)日志留存、不良信息監(jiān)測、手機(jī)惡意軟件等。

3.3 目前面臨一些問題

（1）各采集位置數(shù)據(jù)的合成和存儲仍為煙囪式建設(shè)，獨(dú)立部署合成和存儲服務(wù)器，未納入資源池進(jìn)行資源整合與共享，不利于提高設(shè)備利用率，各采集位置數(shù)據(jù)相互獨(dú)立，缺少必要的關(guān)聯(lián)與整合。

(2）對于互聯(lián)網(wǎng)非對稱路由情況，用戶發(fā)起的一次業(yè)務(wù)可能會分布在兩個DPI上。若兩個DPI為異廠商，各廠家只能采集到單方向鏈路的流量，對于需要上下行配合解析的協(xié)議或者只有單方向鏈路中攜帶協(xié)議特征的場景，僅采集單向鏈路無法識別全部消息的協(xié)議類型，造成雙向或者某個單向數(shù)據(jù)無法解析、生成完整的單方向XDR。

(3）統(tǒng)一DPI的5個采集位置已經(jīng)可以完整獲取用戶的整個上網(wǎng)行為，但5個采集點(diǎn)數(shù)據(jù)各自為政，無法形成端到端的用戶行為視圖。

4 統(tǒng)一DPI系統(tǒng)優(yōu)化建設(shè)思路

從用戶上網(wǎng)行為出發(fā)，以端到端的視角貫穿無線網(wǎng)、核心網(wǎng)、CMNet、IDC、業(yè)務(wù)平臺等環(huán)節(jié)，實(shí)現(xiàn)全流程日志關(guān)聯(lián)，描繪用戶上網(wǎng)行為的全景視圖，進(jìn)一步挖掘數(shù)據(jù)金礦價(jià)值。

4.1 統(tǒng)一DPI對TLV的規(guī)范

通過統(tǒng)一DPI的建設(shè)，不同采集點(diǎn)XDR對同一內(nèi)容的字段定義是完全一致的，通過“時(shí)間+關(guān)鍵字段”等的方式，通過IP地址、端口號、URL和時(shí)間等參數(shù)，即可實(shí)現(xiàn)對PS域XDR與互聯(lián)網(wǎng) XDR的關(guān)聯(lián)，同時(shí)通過進(jìn)行多接口之間的逐步關(guān)聯(lián)，即可實(shí)現(xiàn)對用戶行為的全景描述。逐步關(guān)聯(lián)步驟如圖2所示。

圖2 逐步關(guān)聯(lián)步驟

4.2 非對稱路由XDR合成服務(wù)器方案

對于互聯(lián)網(wǎng)非對稱路由情況，用戶發(fā)起的一次業(yè)務(wù)可能會分布在兩個DPI上。若兩個DPI為異廠商，各廠家只能采集到單方向鏈路的流量，對于需要上下行配合解析的協(xié)議或者只有單方向鏈路中攜帶協(xié)議特征的場景，僅采集單向鏈路無法識別全部消息的協(xié)議類型，造成雙向或者某個單向數(shù)據(jù)無法解析、生成完整的單方向XDR。對于同廠商設(shè)備，若上下行鏈路處于不同機(jī)房，仍存在非對稱路由問題。選擇一個機(jī)房部署非對稱路由XDR合成服務(wù)器，集中負(fù)責(zé)合成非對稱路由的完整XDR。

4.3 全流程日志關(guān)聯(lián)方案

部署全流程XDR合成服務(wù)器，將PS域完整的XDR與互聯(lián)網(wǎng)側(cè)完整的XDR關(guān)聯(lián)，合成用戶一次上網(wǎng)全流程完整的XDR話單。以省為單位集中部署1套全流程XDR合成服務(wù)器，與非對稱路由XDR合成服務(wù)器合設(shè)，同時(shí)負(fù)責(zé)互聯(lián)網(wǎng)非對稱路由XDR的合成及用戶上網(wǎng)全流程話單的關(guān)聯(lián)，非對稱路由XDR 合成模塊負(fù)責(zé)將各采集點(diǎn)的上下行單向XDR合成完整的XDR，日志關(guān)聯(lián)模塊負(fù)責(zé)將各采集點(diǎn)XDR關(guān)聯(lián)，合并生成全流程XDR話單并提供上報(bào)接口。圖3為全流程日志關(guān)聯(lián)示意圖。

4.4 構(gòu)建大數(shù)據(jù)基礎(chǔ)能力平臺

圖3 全流程日志關(guān)聯(lián)示意圖

圖4 優(yōu)化后平臺示意圖

利用大數(shù)據(jù)平臺集中存儲DPI數(shù)據(jù)，對數(shù)據(jù)進(jìn)行清洗和融合關(guān)聯(lián)，建立融合后的數(shù)據(jù)庫，并針對應(yīng)用層大數(shù)據(jù)分析的不同需求，定制字段，輸出數(shù)據(jù)，為進(jìn)一步的大數(shù)據(jù)分析提供統(tǒng)一呈現(xiàn)，作為對外提供XDR日志的唯一出口；對于有DPI數(shù)據(jù)實(shí)時(shí)采集需求、或?qū)Σ杉瘯r(shí)延敏感的業(yè)務(wù)系統(tǒng)，可以直接由DPI提供原始數(shù)據(jù)。圖4為優(yōu)化后平臺示意圖。

5 結(jié)束語

在電信運(yùn)營商加大流量經(jīng)營和大數(shù)據(jù)布局的背景，隨著移動互聯(lián)網(wǎng)業(yè)務(wù)的高速發(fā)展以及社會各階層對信息安全認(rèn)識的逐步提高，統(tǒng)一DPI系統(tǒng)優(yōu)化后，利用大數(shù)據(jù)平臺的存儲和分析能力，實(shí)現(xiàn)了資源整合，為運(yùn)營商分析流量經(jīng)營，網(wǎng)絡(luò)質(zhì)量提升、信息安全、用戶服務(wù)支撐等運(yùn)營工作提供了數(shù)據(jù)深度挖掘和分析的基礎(chǔ)。

News

中天科技參加第四屆全國海底光纜通信技術(shù)研討會暨第二屆全國海纜技術(shù)論壇

6月27－28日，第四屆全國海底光纜通信技術(shù)研討會暨第二屆全國海纜技術(shù)論壇在武漢召開，中天科技應(yīng)邀參會。中天科技集團(tuán)總工程師謝書鴻率領(lǐng)中天海纜研發(fā)團(tuán)隊(duì)從新型大有效面積深海光纜研制、有中繼深海光纜關(guān)鍵技術(shù)研究、接駁盒可靠性研究、工程路由設(shè)計(jì)及規(guī)范化施工等方面與業(yè)內(nèi)同行、專家共同分享了中天科技深海光纜的關(guān)鍵技術(shù)及應(yīng)用經(jīng)驗(yàn)。

謝書鴻表示，在我國通信系統(tǒng)技術(shù)逐步發(fā)展應(yīng)用的情況下，中天科技突破了眾多技術(shù)瓶頸，成功開發(fā)出了我國第一條有中繼深海光纜，率先通過UJ、UQJ國際認(rèn)證，并通過了國防項(xiàng)目及觀測網(wǎng)系統(tǒng)的應(yīng)用驗(yàn)證，具備完全自主知識產(chǎn)權(quán)的有中繼深海光纜生產(chǎn)制造技術(shù)。中天科技將借助我國“智慧海洋”發(fā)展契機(jī)，打造海底光纜產(chǎn)業(yè)集群，緊隨國家“一帶一路”戰(zhàn)略，實(shí)踐國內(nèi)制造產(chǎn)業(yè)“走出去”的發(fā)展思考，與系統(tǒng)集成商、國防單位等一道共謀海纜事業(yè)發(fā)展。

（王海軍)

Research on optimization of unified DPI construction scheme for operators

MEI Zai-xia, YIN Chun, WANG Feng
(China Mobile Group Design Institute Co., Ltd. Anhui Branch, Hefei 230041, China)

This paper describes the application scenarios of the unified DPI system of the operators, and analyzes the problems in the construction, and puts forward the idea of system optimization based on the DPI system. Through the combination of resource pool and large data platform, we can realize the integration and sharing of resources.

unified DPI; Big Data; resource pool

TN929.5

A

1008-5599（2017）07-0069-04

2017-01-20