谷紅勛 張霖

【 摘 要 】 DT（大數(shù)據(jù)）運營能力已成為當前電信運營商的關注重點，而DPI技術是提升網(wǎng)絡對用戶及業(yè)務感知能力的重要手段，論文詳細地分析了DPI技術的基本原理及其價值，進一步討論了運營商部署和運營DPI系統(tǒng)的策略以及應用場景的建議。

【 關鍵詞 】 大數(shù)據(jù)；DPI；運營商；移動互聯(lián)網(wǎng)

【 中圖分類號 】 TP392 【 文獻標識碼 】 A

【 Abstract 】 Big data operational capacity has become the focus of the current telecom operators， while the DPI technology is an important means to enhance the network's ability to perceive the business and users.

【 Keywords 】 large data； dpi； operator； mobile network

1 引言

隨著4G時代的到來，運營商的語音業(yè)務收費越來越低，甚至呈現(xiàn)逐漸免費的趨勢，數(shù)據(jù)流量經(jīng)營將成為運營商的主要方向。以某運營商開展4G業(yè)務后的業(yè)務結構變化為例，2015年前三季度語音和短信、彩信業(yè)務繼續(xù)下滑，總通話分鐘數(shù)比上年同期下降0.3%，短信使用量比上年同期下降20.2%；但同期移動網(wǎng)絡數(shù)據(jù)流量比上年同期增長98.6%，幾乎是去年同期的兩倍，流量業(yè)務在營收中占據(jù)的比例越來越大。按照現(xiàn)有數(shù)據(jù)預測，到2016年末，語音、短信收入占比將從2011年的67%降至40%，而數(shù)據(jù)流量和數(shù)字服務的收入將增至60%，成為業(yè)務收入主體。數(shù)據(jù)流量經(jīng)營對運營商的重要性越來越大，關系到運營商的生存價值甚至是生存問題。運營商擁有任何移動互聯(lián)網(wǎng)公司都無法比擬的海量數(shù)據(jù)，大數(shù)據(jù)金礦價值凸顯，由流量經(jīng)營進入大數(shù)據(jù)運營已成為大勢所趨。

運營商在大數(shù)據(jù)經(jīng)營方面尚未形成明確的盈利模式，還處于“摸著石頭過河”階段。借鑒國外運營商的運行模式，結合信令數(shù)據(jù)、DPI技術、B+O域數(shù)據(jù)整合等可洞析大數(shù)據(jù)運營可能的方向。本文重點探討DPI技術對于大數(shù)據(jù)運營的價值和應用方向。

在移動互聯(lián)網(wǎng)時代，上網(wǎng)用戶和應用的所有行為原始數(shù)據(jù)都在網(wǎng)絡管道中遵循一定的協(xié)議以二進制碼進行傳輸，電信運營商要讓這些數(shù)據(jù)產(chǎn)生真正價值，必須對這些二進制碼進行解密，將其還原到本來的業(yè)務含義，才能真正理解移動互聯(lián)網(wǎng)的所有行為，這是運營商大數(shù)據(jù)運營能力的基礎。

運營商解開這個秘密的鑰匙，我們把它叫做DPI（Deep Packet Inspection），學名深度包解析，DPI系統(tǒng)建設是個極其復雜的過程，因為這涉及到運營商、應用商、設備商等的博弈，涉及到行業(yè)規(guī)則的制定，也涉及到運營商掌控核心能力的深層意義。

2 DPI的原理

2.1 網(wǎng)絡協(xié)議的作用

就像聯(lián)合國大會要以英語等作為官方語言，要實現(xiàn)溝通則都需要說同一種語言，協(xié)議是互聯(lián)網(wǎng)的世界語，確立了各類網(wǎng)絡和終端之間能夠進行互相通信的規(guī)則。

網(wǎng)絡協(xié)議的核心作用有：規(guī)定了網(wǎng)絡中電流與數(shù)據(jù)流（0/1）相互轉化的電器規(guī)則；將數(shù)據(jù)包轉化成幀，從而能夠被網(wǎng)絡設備識別以實現(xiàn)傳輸；規(guī)定了數(shù)據(jù)包在網(wǎng)絡中傳輸?shù)穆窂胶蛯ぶ芬?guī)則；通過握手機制確保數(shù)據(jù)包被準確的傳輸?shù)綄Χ?；奠定了互?lián)網(wǎng)得以互聯(lián)的基礎；通過協(xié)議標準封裝構建了一套基本訪問應用，滿足了基本的信息要求，如Http；企業(yè)基于協(xié)議創(chuàng)造更多的個性化應用滿足人們需求，如QQ、微信等。

2.2 TCP/IP是互聯(lián)網(wǎng)基礎協(xié)議

TCP/IP則是移動互聯(lián)網(wǎng)通信的世界語，其自下而上包括了四個層次，每層都有對應的協(xié)議，這些協(xié)議都定義了特定的通信功能，每層都為上層提供服務。

應用層：HTTP、FTP、TELNET、SNMP等標準協(xié)議和非標準協(xié)議，管數(shù)據(jù)的含義。向用戶提供一組應用程序，比如電子郵件等，為解決不同主機中多個應用進程之間的通信和協(xié)作問題，定義了標準或非標準化的應用協(xié)議，如HTTP為標準化協(xié)議，QQ則為非標準化協(xié)議。

傳輸層：TCP協(xié)議和UDP協(xié)議，管數(shù)據(jù)準確傳送。負責將數(shù)據(jù)可靠地傳送到目的地，采取三次握手確保數(shù)據(jù)包按照規(guī)定被送達或接收。

網(wǎng)絡層：IP協(xié)議，管數(shù)據(jù)傳送路徑。將傳輸層的數(shù)據(jù)裝入IP數(shù)據(jù)包，選擇好路由，發(fā)送給鏈路層；處理鏈路層的幀，如果已經(jīng)到達目的地址，則去掉IP包頭送給傳輸層，否則進行轉發(fā)。

鏈路層：以太網(wǎng)協(xié)議（802.2/802.3），管數(shù)據(jù)通過設備。負責接收數(shù)據(jù)包并以幀的形式（比特流）通過網(wǎng)絡發(fā)送；或者從網(wǎng)絡上接收物理幀，抽出數(shù)據(jù)包，交給網(wǎng)絡層。

2.3 應用基于協(xié)議進行數(shù)據(jù)通信

客戶機和服務器是指通信中所涉及的兩個應用進程的主機，客戶是服務請求方，服務器是服務提供方，應用數(shù)據(jù)基于協(xié)議要求逐層生成數(shù)據(jù)包，以請求-響應的模式將數(shù)據(jù)比特流送入網(wǎng)絡，當前我們通過移動互聯(lián)網(wǎng)的APP的通信原理不會跳出這個框架。

2.4 協(xié)議數(shù)據(jù)包中蘊含著豐富的信息

如果能截獲網(wǎng)絡中的幀比特流，然后對協(xié)議進行逐層解析，就可以從IP首部、TCP首部、甚至應用數(shù)據(jù)中發(fā)現(xiàn)各類有價值信息，理論上，所有的上網(wǎng)行為都可以通過協(xié)議的解析而破解。

IP首部，比特流包含了源主機、目的主機的IP地址信息。由于大量的移動互聯(lián)網(wǎng)應用服務器IP固定，因此通過IP首部可以判定數(shù)據(jù)包中的部分應用類型。

TCP首部，比特流包含了端口信息，端口是同一主機區(qū)別不同應用的關鍵。由于部分應用通過固定端口進行通信，如FTP使用21端口，因此可以通過TCP首部判定少量應用。

應用數(shù)據(jù)，比特流包含了應用傳輸?shù)膬?nèi)容數(shù)據(jù)，可能加密。理論上通過應用數(shù)據(jù)的解密可以了解用戶所有的移動互聯(lián)網(wǎng)通信行為，包括應用類型及內(nèi)容。

2.5 應用層協(xié)議復雜多樣

通過對目前主流的五大類應用進行深入分析研究，發(fā)現(xiàn)當前移動互聯(lián)網(wǎng)應用實際所采用的應用層協(xié)議普遍存在的特點。

（1）不公開。公有協(xié)議雖然制訂了一套標準，但同時帶來很多限制，互聯(lián)網(wǎng)企業(yè)為靈活地滿足其需要，出現(xiàn)了大量的自己定義的私用應用協(xié)議，而這些協(xié)議的格式是不公開的，例如QQ、MSN等。

（2）交叉多?；ヂ?lián)網(wǎng)應用功能豐富多樣，不同的功能可能采用不同的協(xié)議來實現(xiàn)，因此存在同一應用內(nèi)共有協(xié)議和私有協(xié)議交叉使用的情況，如PPStream等。

（3）變化大。私有協(xié)議歸屬于某個互聯(lián)網(wǎng)企業(yè)所有，協(xié)議格式的改動不受任何限制，往往隨著應用版本的更新，格式也隨之發(fā)生變化，且更新頻繁，例如QQ一年之內(nèi)發(fā)布了4個版本的應用。

2.6 DPI技術的定義。

DPI（Deep Packet Inspection）深度包檢測技術是一種基于應用層的流量檢測和控制技術，是當前主流的協(xié)議識別技術，當數(shù)據(jù)流通過基于DPI技術的帶寬管理系統(tǒng)時，通過深度分析協(xié)議的特征來識別其業(yè)務類型和特征。六種主要識別方法。

（1）特征字識別，處于應用層，對應用層的內(nèi)容進行滑動匹配一個或多個特征字。識別靈活、準確率高，但由于需深入解析應用層內(nèi)容，會影響識別速度。

（2）URL匹配，處于應用層，匹配應用層中的URL地址。識別準確率高，但只適用于HTTP協(xié)議。

（3）IP地址匹配，處于網(wǎng)絡層，匹配網(wǎng)絡層中的IP地址。識別準確率高，且識別速度快，但當應用經(jīng)常變更IP地址時，會導致準確率的下降。

（4）端口匹配，處于傳輸層，匹配傳輸層中的端口。識別準確率高，且速度快，但僅限于FTP等少量公有協(xié)議。

（5）包長匹配，處于傳輸層以上，根據(jù)數(shù)據(jù)包的長度來識別應用。僅分析流量包的長度，解析速度快，但是識別準確度低，主要用于識別RTP等少量協(xié)議。

（6）組合識別方法，處于傳輸層以上，對以上五種方法組合使用。識別能力隨著協(xié)議和組合的復雜程度而動態(tài)變化。

3 DPI的價值

3.1 業(yè)務識別是實現(xiàn)網(wǎng)絡智能控制（PCC）的關鍵技術

要實現(xiàn)網(wǎng)絡資源的端到端QoS控制，減少資源占用，當前主要采用PCC技術，而其核心是業(yè)務識別及策略控制兩大能力，運營商需要通過這個技術為用戶提供良好的上網(wǎng)體驗。

當前PCC要求能夠基于時間、位置、用戶、流量及業(yè)務等五個方面進行智能策略控制，其中區(qū)分業(yè)務的策略控制是最核心的一種手段。

3.2 業(yè)務識別是理解客戶互聯(lián)網(wǎng)偏好行為的前提

理解用戶是運營商在移動互聯(lián)網(wǎng)時代的核心競爭力，通過協(xié)議解析可以了解用戶訪問內(nèi)容，從而為個性化的客戶服務奠定基礎，這是整個移動互聯(lián)網(wǎng)企業(yè)孜孜以求的終極目標，誰理解用戶，誰就能提供針對性服務，誰就擁有未來。

4 DPI面臨的挑戰(zhàn)

大家可以看到，如果沒有了DPI，運營商的上網(wǎng)數(shù)據(jù)就是一堆沒有任何意義的數(shù)字，因此，在移動互聯(lián)網(wǎng)時代，掌控DPI對于運營商來說意義重大，但運營商當前面臨前所未有的挑戰(zhàn)。

4.1 DPI設備投資巨大

DPI設備需要部署在流量出口，這就好比要在海量的數(shù)據(jù)海洋中去根據(jù)既定規(guī)則檢查每個BIT并識別出特征，這個對于設備的處理能力提出了很高的要求，也許只有運營商才能進行如此大的投入，以前由于運營商業(yè)務流量的分析統(tǒng)計、不良信息的監(jiān)測管控、非法業(yè)務的發(fā)現(xiàn)整治需要，已經(jīng)部署了大量的這些設備，但如果真要應用在PCC控制及客戶行為的精準分析上，實現(xiàn)商業(yè)級的應用，其要求跟以往完全不同，DPI面臨各省各自為政、標準規(guī)范不一、廠家設備能力參差不齊等系列問題，如果運營商全網(wǎng)完整部署這個能力，在未有收益情況下，投資也將是個天文數(shù)字，因此，在巨額投資與不確定的收益之間，運營商該何去何從？

4.2 解析能力至關重要

當前網(wǎng)上的APP數(shù)量應該以百萬千萬計了吧！而APP的協(xié)議基本都是私有協(xié)議，也就是APP的協(xié)議格式都是不一樣的，DPI要能解析，就必須一個個APP去分析和解析，這是一個天文數(shù)字的工作量，誰愿意投入那么大去做？

盡管有很多DPI設備廠商說我能解析，但當前做的最好的估計也是以萬計，解析準確率誰知道，解析深度就跟更無法提了，比如僅僅解析到應用類型，價值有多大呢？對于合作伙伴的依賴，也成為運營商的桎梏。

APP應用開發(fā)商，在應用開發(fā)設計中夾雜的混雜協(xié)議，版本更新速度如火箭發(fā)射速度一樣快，也讓解析難度進一步提高，APP應用協(xié)議運營商也無能為力。

解析能力建設過程中碰到的不少問題。

（1）準確性問題：當大量的移動互聯(lián)網(wǎng)企業(yè)為了靈活滿足用戶的需求，采用了大量的私有應用協(xié)議，不像Http等公有協(xié)議，這些協(xié)議的格式是不公開的，甚至是保密的，當前流量TOP10的應用中有50%都采用私有協(xié)議，如QQ、PPStream等，使得精確識別難度巨大。

（2）及時性問題：當前無論是新的移動互聯(lián)網(wǎng)應用發(fā)布還是版本更新，對于運營商來講都是無法提前預知的，從捕獲到形成新的業(yè)務識別規(guī)則需要一定的時間周期，業(yè)務的識別存在一定的滯后性。

（3）全面性問題：當前移動互聯(lián)網(wǎng)應用成千上萬，沒有一個DPI廠商能識別出全部業(yè)務，例如華為能識別1500種應用，中創(chuàng)能識別350種，而寬廣只能識別250種，業(yè)務解析的不全面性將導致部分關鍵業(yè)務無法實現(xiàn)控制。

4.3 理解客戶是把雙刃劍

DPI解析了上網(wǎng)行為，目的是理解客戶和企業(yè)，為其提供更好的服務，但更好的服務也意味著有可能對其它企業(yè)和個人降低服務能力，比如為不同等級的客戶提供差異化的網(wǎng)絡質(zhì)量，這是否可能違反網(wǎng)絡中立原則呢？比如韓國運營商與OTT曾經(jīng)有過博弈，最終不了了之，很久以前某運營商曾經(jīng)采用DPI技術封堵過BT軟件，因為這類軟件占用了過多帶寬，對于正常用戶上網(wǎng)產(chǎn)生了極大影響，雖然也不了了之，但爭議總是存在。

5 運營商DPI的建設策略

在移動互聯(lián)網(wǎng)時代，DPI是運營商面臨的眾多關鍵性的抉擇的一個，運營商一定要推進這個工作，但需要有一定的策略。

5.1 組織專業(yè)團隊進行研發(fā)

DPI是個專業(yè)性非常高的工作，應該成立專門的公司去做，當前運營商有很多專業(yè)公司，也有很多研究機構，應該將DPI設備和知識庫的打造納入到專業(yè)公司去做，現(xiàn)在就連一些互聯(lián)網(wǎng)公司，也在構建APP的解析知識庫，一些互聯(lián)網(wǎng)公司每天搞知識庫識別的也有幾十號人，基于這些知識庫已經(jīng)產(chǎn)生了較大的經(jīng)濟效益。但規(guī)模龐大的運營商，甚至沒有一只正規(guī)的專業(yè)團隊，的確需要正視，運營商DPI掌控必須以我為主。

當前運營商也在制定DPI的一些標準，但運營商體系很龐大，規(guī)范從制定到宣貫再到執(zhí)行也需要很長時間，在沒有足夠的實踐前制定規(guī)范是有風險的，也許小分隊的形式更好。

同時，運營商應該建立自己的DPI運營流程，比如很多運營商由于依賴設備合作伙伴，DPI新增APP規(guī)則以月計算，效率低下。而互聯(lián)網(wǎng)公司自組團隊搞解析，一個月也可以解析上千款APP，其運營效率是很高的。

5.2 采取1+N方式進行業(yè)務突破

DPI的投資非常大，運營商全網(wǎng)統(tǒng)一完全部署的確困難，同時研發(fā)機構脫離了業(yè)務驅(qū)動也會舉步維艱，可以考慮讓一些發(fā)達省份牽頭去進行業(yè)務的突破，在業(yè)務推進中去落實DPI設備的投資，去逐步完善DPI的解析能力，同時建立符合自身的運營流程，保證了投資的價值。

5.3 制定移動互聯(lián)網(wǎng)的協(xié)議入網(wǎng)標準

當前其實移動互聯(lián)網(wǎng)環(huán)境非常復雜，大量的非法APP肆虐網(wǎng)絡，從維護健康的移動互聯(lián)網(wǎng)環(huán)境講，是否可考慮制定移動互聯(lián)網(wǎng)APP的入網(wǎng)標準，移動互聯(lián)網(wǎng)企業(yè)發(fā)布應用需要進行網(wǎng)絡注冊，告知協(xié)議的規(guī)則，就好比企業(yè)運營也要注冊一樣。運營商基于注冊的協(xié)議進行準確的識別，為網(wǎng)絡監(jiān)管機構追蹤非法行為提供支撐，另一方面也可以基于協(xié)議的識別為APP提供差異化的網(wǎng)絡服務，讓移動互聯(lián)網(wǎng)更透明，從長遠講，應該對于客戶是有利。

6 DPI應用場景

6.1 用戶洞察

深入洞察客戶、助力精準營銷。首先，基于客戶終端信息、手機上網(wǎng)行為軌跡等豐富的數(shù)據(jù)，借助DPI技術等，建立客戶超級細分模型，為各細分群組客戶打上互聯(lián)網(wǎng)行為標簽，完善客戶的360度畫像，深入了解客戶行為偏好和需求特征；其次，根據(jù)用戶行為偏好，推送合適的業(yè)務，并根據(jù)對客戶特征的深入理解，建立客戶與業(yè)務、資費套餐、終端類型、在用網(wǎng)絡的精準匹配，同時也能做到在推送渠道、推送時機、推送方式上滿足客戶的個性化需求，實現(xiàn)全程精細化營銷。

6.2 精準營銷

對于運營商來說，對自己的數(shù)據(jù)資產(chǎn)進行DPI解析，全方位分析廣告受眾的長期喜好和短期關注（DMP），可以識別用戶的Cookie、IMEI、計費代碼等信息，將這些客戶標簽信息以實時的方式提供給廣告平臺（DSP）作為實時競價的依據(jù)之一，可以有效幫助DSP更加精確地投放廣告。

值得特別說明的是，運營商應對于精準營銷的數(shù)據(jù)商用持非常謹慎的態(tài)度，因為涉及到用戶隱私等問題?；谌后w用戶行為的分析是比較可行的。而對于B2C的精準營銷，如個人短息推送等，運營商是要慎之又慎。

6.3 流量控制

對于政策禁止的業(yè)務進行封堵，如VoIP業(yè)務；對于P2P等占用帶寬的業(yè)務進行監(jiān)控和限速；與第三方進行合作，如對視頻應用商的用戶提供高帶寬服務；異常流量的發(fā)現(xiàn)、告警和控制。

6.4 增值業(yè)務

利用基于DPI的用戶的深度感知能力和精細的業(yè)務控制能力，運營商可以開展寬帶提速、綠色上網(wǎng)等增值服務，拓寬業(yè)務內(nèi)容，增加收入。

參考文獻

[1] 高順元.DPI技術在電信運營商精確化營銷中的應用[J].南開大學，2011年5月.

[2] 朱永慶.DPI技術應用場景探討[J].廣東通信技術，2007年7月.

作者簡介：

谷紅勛（1972-），男，河南長垣人，工學碩士研究生，高級工程師，中國電信河南公司副總經(jīng)理；主要研究方向和關注領域：市場營銷、企業(yè)信息化、移動互聯(lián)網(wǎng)業(yè)務。

張霖（1977-），男，河南長垣人，本科，中國電信河南公司移動互聯(lián)網(wǎng)業(yè)務主管；主要研究方向和關注領域：市場營銷、流量經(jīng)營、移動互聯(lián)網(wǎng)及增值業(yè)務。