王 建，張治中，駱云龍

（重慶郵電大學(xué)通信網(wǎng)與測(cè)試技術(shù)重點(diǎn)實(shí)驗(yàn)室 重慶400065）

1 引言

隨著國內(nèi)4G牌照的相繼發(fā)放，各大運(yùn)營商加速了LTE網(wǎng)絡(luò)的部署?；贚TE技術(shù)特征的高帶寬、高質(zhì)量的寬帶網(wǎng)絡(luò)業(yè)務(wù)服務(wù)為廣大客戶提供高速率、低時(shí)延的優(yōu)質(zhì)體驗(yàn)的同時(shí)，也給運(yùn)營商網(wǎng)絡(luò)運(yùn)營支撐和管理帶來了巨大壓力[1]。借鑒移動(dòng)互聯(lián)網(wǎng)營銷模式，結(jié)合用戶自身的業(yè)務(wù)需求、上網(wǎng)習(xí)慣等綜合考慮，實(shí)現(xiàn)對(duì)業(yè)務(wù)的精細(xì)識(shí)別和準(zhǔn)確統(tǒng)計(jì)，增強(qiáng)客戶感知，打造移動(dòng)互聯(lián)網(wǎng)智能管道成為了運(yùn)營商當(dāng)務(wù)之急。

傳統(tǒng)的業(yè)務(wù)面監(jiān)測(cè)技術(shù)基礎(chǔ)是基于IP五元組的業(yè)務(wù)識(shí)別技術(shù)和針對(duì)上層協(xié)議消息頭的xDR(call/transactiondetail record，xDR)合成技術(shù)。一方面，基于IP五元組的識(shí)別技術(shù)只能識(shí)別出常見的應(yīng)用層協(xié)議，如HTTP、SMTP、FTP等，基于P2P技術(shù)的應(yīng)用也往往采用隱藏或假冒端口號(hào)來躲避監(jiān)管，另一方面，基于上層協(xié)議消息頭的xDR合成技術(shù)無法細(xì)粒度地反映出用戶的行為偏好。隨著智能手機(jī)和數(shù)據(jù)業(yè)務(wù)的爆發(fā)增長，新一代客戶感知網(wǎng)絡(luò)監(jiān)測(cè)體系具有廣闊的發(fā)展需求和市場(chǎng)空間。在國內(nèi)，華為推出的SmartCare是一個(gè)旨在服務(wù)于高端細(xì)分市場(chǎng)的網(wǎng)絡(luò)監(jiān)測(cè)解決方案，該方案幫助運(yùn)營商解決端到端的業(yè)務(wù)質(zhì)量提升和保障、用戶體驗(yàn)和滿意度提升及保障的問題[2]。面對(duì)這一發(fā)展趨勢(shì)，中興通訊提出一種基于云計(jì)算架構(gòu)的用戶體驗(yàn)應(yīng)用解決方案——ZSmart CEMS。該方案采用大數(shù)據(jù)分布式以及并行處理架構(gòu)，實(shí)現(xiàn)計(jì)算資源的動(dòng)態(tài)調(diào)配以及利用率。通過DPI（deep packet inspection，DPI）技術(shù)識(shí)別業(yè)務(wù)類型，與業(yè)務(wù)質(zhì)量、用戶數(shù)據(jù)、終端信息相關(guān)聯(lián)，實(shí)現(xiàn)對(duì)現(xiàn)網(wǎng)業(yè)務(wù)的實(shí)時(shí)監(jiān)測(cè)[3]。

但是這些產(chǎn)品往往價(jià)格昂貴，或是應(yīng)用范圍局限，后臺(tái)維護(hù)成本較高，無法滿足LTE網(wǎng)絡(luò)多業(yè)務(wù)大流量的監(jiān)測(cè)需求。因此，實(shí)現(xiàn)一套完整且價(jià)格低廉的用戶感知系統(tǒng)仍然是任重道遠(yuǎn)。

基于這一出發(fā)點(diǎn)，本文重點(diǎn)研究了LTE網(wǎng)絡(luò)S1接口業(yè)務(wù)中用戶行為習(xí)慣的精確感知與監(jiān)測(cè)，在傳統(tǒng)檢測(cè)系統(tǒng)基礎(chǔ)上，運(yùn)用DPI技術(shù)和網(wǎng)絡(luò)爬蟲技術(shù)，實(shí)現(xiàn)了一套具有自學(xué)習(xí)功能的用戶行為識(shí)別與分析系統(tǒng)。

2 系統(tǒng)設(shè)計(jì)

DPI技術(shù)對(duì)業(yè)務(wù)識(shí)別的應(yīng)用已較為成熟，目前在一些網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)如BRO[4]和Snort[5]中得到了運(yùn)用。對(duì)于業(yè)務(wù)流的識(shí)別來說，DPI是一種重要的識(shí)別手段，即通過對(duì)業(yè)務(wù)流中的特定數(shù)據(jù)報(bào)文中的“指紋”加以檢測(cè)，并與特征信息庫匹配，能確定業(yè)務(wù)流承載的具體信息。

在當(dāng)前移動(dòng)互聯(lián)網(wǎng)（GPRS/EDGE/HSDPA）環(huán)境下，大部分業(yè)務(wù)由HTTP承載。伴隨著3G、4G網(wǎng)絡(luò)以及智能終端的發(fā)展，自有協(xié)議也登上了移動(dòng)互聯(lián)網(wǎng)的大舞臺(tái)。

·對(duì)于以HTTP承載的報(bào)文一般采用HTTP報(bào)頭的URL關(guān)鍵字段與user-agent組合識(shí)別的方式進(jìn)行識(shí)別。通過對(duì)URL特征字符串的提取，識(shí)別出移動(dòng)互聯(lián)網(wǎng)用戶具體的操作。如用戶在iTunes手機(jī)客戶端下 載 “鐵 路12306” 訂 票 軟 件，user-agent為“iTunes-iPhone/5.1.1”，host為：“a*.phobos.apple.com”，用戶瀏覽該應(yīng)用特征字符串為“mzl.ihlxdfje.*.jpg”，用戶下載該應(yīng)用的特征字符串為“mzl.ihlxdfje.*.jpg？downloadKey=”(“*”表示通配符，匹配多個(gè)字符)。

·對(duì)于自有協(xié)議（如微信、QQ、米聊等即時(shí)通信軟件）和部分P2P應(yīng)用中采用非密文傳輸?shù)膱?bào)文，需要對(duì)傳輸層及以上的數(shù)據(jù)進(jìn)行分析，提取出具體業(yè)務(wù)的特征指紋，這些指紋可能是指定的端口號(hào)、指定的字符串以及比特序列。如對(duì)微信的協(xié)議報(bào)文總結(jié)歸類提取比特序列特征，其中“0xed 0xed”是報(bào)文結(jié)尾特征字段，“0x02”表示用戶發(fā)送文字，“0x09”表示用戶發(fā)送圖片，“0x38/0x39”表示搖一搖功能。

特征庫的信息健全程度是衡量整個(gè)系統(tǒng)業(yè)務(wù)識(shí)別能力的標(biāo)準(zhǔn)。針對(duì)HTTP承載的報(bào)文，需要結(jié)合網(wǎng)絡(luò)爬蟲，從PC端獲取業(yè)務(wù)信息。對(duì)于自有協(xié)議的報(bào)文，則可以通過Wireshark工具分析業(yè)務(wù)報(bào)文，手動(dòng)錄入“指紋”信息到特征信息庫。

如圖1所示，S1接口是LTE的網(wǎng)絡(luò)中演進(jìn)的通用陸地?zé)o線接入網(wǎng) （evolved universal terrestrial radio access network，E-UTRAN）和演進(jìn)分組核心網(wǎng) （evolved packet core，EPC）的通信橋梁，是LTE網(wǎng)絡(luò)的核心節(jié)點(diǎn)。S1接口作為一個(gè)邏輯接口，它分為控制面和業(yè)務(wù)面兩個(gè)部分，其中S1-MME接口是信令面接口，用于傳送會(huì)話和移動(dòng)性管理等控制信息；S1-U是業(yè)務(wù)面接口，用于傳輸用戶數(shù)據(jù)業(yè)務(wù)[6]。本方案選取業(yè)務(wù)面接口——S1-U接口作為數(shù)據(jù)采集點(diǎn)，通過對(duì)該接口的協(xié)議棧解碼和xDR合成獲取用戶某次操作的特征標(biāo)識(shí)。

用戶行為感知系統(tǒng)主要包括數(shù)據(jù)采集模塊、S1接口協(xié)議棧解析模塊、數(shù)據(jù)存儲(chǔ)模塊、特征分析/網(wǎng)絡(luò)爬蟲模塊、DPI業(yè)務(wù)識(shí)別模塊和可視化業(yè)務(wù)統(tǒng)計(jì)模塊?？傮w實(shí)現(xiàn)框架如圖2所示。

各模塊功能設(shè)計(jì)如下：

（1）數(shù)據(jù)采集模塊實(shí)現(xiàn)對(duì)現(xiàn)網(wǎng)S1接口數(shù)據(jù)實(shí)時(shí)采集，將數(shù)據(jù)交給協(xié)議棧解析模塊；

（2）協(xié)議棧解析模塊實(shí)現(xiàn)對(duì)S1-U接口協(xié)議棧解碼、xDR合成，提供基礎(chǔ)數(shù)據(jù)，并為DPI模塊接口提供關(guān)鍵字段；

（3）數(shù)據(jù)存儲(chǔ)模塊采用關(guān)系型數(shù)據(jù)庫，對(duì)用戶基礎(chǔ)數(shù)據(jù)、特征數(shù)據(jù)、用戶行為數(shù)據(jù)等進(jìn)行關(guān)聯(lián)存儲(chǔ)；

（4）網(wǎng)絡(luò)爬蟲模塊根據(jù)一定的業(yè)務(wù)主題對(duì)Web網(wǎng)站的數(shù)據(jù)進(jìn)行內(nèi)容級(jí)別上的爬取、提煉，并將數(shù)據(jù)信息寫入數(shù)據(jù)倉庫；

（5）實(shí)時(shí)DPI和二次DPI模塊是保障系統(tǒng)性能的關(guān)鍵，實(shí)時(shí)DPI主要用于完成業(yè)務(wù)類型識(shí)別，二次DPI模塊將完成業(yè)務(wù)內(nèi)容的識(shí)別，獲取行為標(biāo)識(shí)的內(nèi)容信息；

（6）可視化業(yè)務(wù)統(tǒng)計(jì)模塊根據(jù)不同維度、需求進(jìn)行識(shí)別結(jié)果統(tǒng)計(jì)，并提供可視化界面顯示。

3 系統(tǒng)實(shí)現(xiàn)

3.1 S1-U接口協(xié)議棧解析模塊

S1-U接口協(xié)議棧解析采用模塊化設(shè)計(jì)思想。子功能模塊包括原始數(shù)據(jù)分組、協(xié)議棧解碼、xDR合成和實(shí)時(shí)DPI識(shí)別。協(xié)議棧解碼模塊針對(duì)各層協(xié)議，自下往上逐層對(duì)協(xié)議進(jìn)行解碼，并將解碼結(jié)果保存到鏈表結(jié)構(gòu)體中。xDR合成應(yīng)用散列索引和超時(shí)檢測(cè)機(jī)制將同一呼叫流程的消息關(guān)聯(lián)在一起，完成上下行流量統(tǒng)計(jì)、呼損統(tǒng)計(jì)等功能[7]。該模塊解碼結(jié)果和TCP分組或UDP分組的負(fù)載凈荷作為DPI識(shí)別模塊的數(shù)據(jù)。圖3是S1-U接口協(xié)議棧解析實(shí)現(xiàn)框架。

其中，GTP-U(GPRS tunnel protocol-user plane,GPRS通道協(xié)議—用戶面)是一組基于IP，用于GSM、UMTS和LTE網(wǎng)絡(luò)以支持GPRS的用戶面通信協(xié)議。它以GTP為基礎(chǔ)，并采用一種通用的隧道封裝方法，能對(duì)各種類型的分組數(shù)據(jù)進(jìn)行透明封裝傳輸。

在感知系統(tǒng)中，對(duì)自有協(xié)議的識(shí)別需要將傳輸層以上的載荷碼流實(shí)時(shí)處理，故將這部分協(xié)議的識(shí)別整合到實(shí)時(shí)的解碼模塊中。為了進(jìn)一步滿足實(shí)時(shí)DPI模塊高性能要求，該模塊的設(shè)計(jì)充分利用分級(jí)思想，采用二維嵌套鏈表結(jié)構(gòu)，其中二維表只保存特征首字符，當(dāng)命中特征后，再轉(zhuǎn)入鏈表結(jié)構(gòu)匹配其他特征字符。常用的業(yè)務(wù)識(shí)別方法包括IP/端口號(hào)關(guān)聯(lián)識(shí)別技術(shù)、流量識(shí)別技術(shù)和比特位識(shí)別技術(shù)等，參考文獻(xiàn)[8]和參考文獻(xiàn)[9]已經(jīng)對(duì)業(yè)務(wù)識(shí)別方法做了深入研究。

圖2 用戶行為感知系統(tǒng)整體框架

圖3 S1-U接口協(xié)議棧解析實(shí)現(xiàn)框架

出于LTE網(wǎng)絡(luò)流量大的考慮，本方案提出一種自學(xué)習(xí)方法，即根據(jù)已識(shí)別的記錄學(xué)習(xí)五元組和三元組信息，并對(duì)該類記錄采用超時(shí)淘汰機(jī)制，對(duì)后來的待識(shí)別記錄優(yōu)先匹配五元組或三元組索引信息。該方法不僅能大幅度減輕服務(wù)器壓力，同時(shí)也提升了分組識(shí)別速率和識(shí)別成功率。實(shí)時(shí)DPI識(shí)別流程如圖4所示。

（1）模塊檢測(cè)到一條xDR記錄，若該報(bào)文承載協(xié)議不是HTTP，依次根據(jù)五元組、三元組、host、user-agent和比特流特征匹配特征庫，直到成功識(shí)別業(yè)務(wù)轉(zhuǎn)到步驟（2）。否則識(shí)別下一條記錄。

（2）識(shí)別成功，判斷該條記錄是否已存在五元組或三元組特征，如果不存在，則學(xué)習(xí)該匹配特征，并更新特征庫。

（3）查看該業(yè)務(wù)是否存在子功能特征，如果存在，則提取子功能比特識(shí)別碼匹配負(fù)載比特流，成功則記錄該子功能名稱，否則該條記錄識(shí)別結(jié)束。

3.2 特征分析/網(wǎng)絡(luò)爬蟲模塊

前面提到針對(duì)不同的業(yè)務(wù)，其特征結(jié)構(gòu)或策略可能都不同，因此必須對(duì)業(yè)務(wù)特征進(jìn)行分析。對(duì)于自有協(xié)議的報(bào)文，運(yùn)用Wireshark抓取分組進(jìn)行分析，遍歷應(yīng)用所有的子功能，確保信息完整性，確定該功能的“指紋”，并將“指紋”和關(guān)聯(lián)信息插入到DPI特征庫；對(duì)HTTP承載的報(bào)文采用聚類爬蟲及技術(shù)從PC端提取相關(guān)的特征信息保存到信息特征庫。

圖4 實(shí)時(shí)DPI識(shí)別流程

聚類爬蟲是一個(gè)按照既定的規(guī)則在傳統(tǒng)PC互聯(lián)網(wǎng)端自動(dòng)獲取網(wǎng)頁信息的程序。它通過對(duì)內(nèi)容特征進(jìn)行分析，提取既定的網(wǎng)頁元數(shù)據(jù)，為專題分析提供特定主題的數(shù)據(jù)資源[10]。爬蟲程序是在PC端獲取信息。因此，對(duì)于移動(dòng)互聯(lián)網(wǎng)端的業(yè)務(wù)請(qǐng)求鏈接，必須能夠找到一種映射關(guān)系與特征庫中的數(shù)據(jù)進(jìn)行關(guān)聯(lián)，并將這種移動(dòng)互聯(lián)網(wǎng)與PC互聯(lián)網(wǎng)中信息關(guān)聯(lián)的特征字符串作為DPI特征信息庫的特征key值。圖5是爬蟲工作流程。

爬蟲程序采用多線程多任務(wù)的設(shè)計(jì)方式，通過UI控制界面對(duì)多個(gè)爬蟲任務(wù)進(jìn)行管理，定時(shí)啟動(dòng)爬蟲任務(wù)。每個(gè)爬蟲任務(wù)負(fù)責(zé)完成某一個(gè)網(wǎng)站的信息采集任務(wù)。為了防止重復(fù)提取信息，爬蟲任務(wù)啟動(dòng)時(shí)應(yīng)該將已爬取的信息key值映射到散列表中，并且每次成功抓取一條記錄都應(yīng)在散列字典中記錄。對(duì)那些實(shí)時(shí)更新的網(wǎng)站，爬蟲程序需要定時(shí)自動(dòng)重啟策略。

3.3 DPI業(yè)務(wù)識(shí)別模塊

高效的匹配算法是衡量DPI識(shí)別引擎性能優(yōu)劣的關(guān)鍵。綜合比較各匹配算法性能[11～13]，本系統(tǒng)選擇基于確定的有限狀態(tài)機(jī)(deterministic finite automaton，DFA)引擎的正則表達(dá)式識(shí)別業(yè)務(wù)特征，并選擇散列字典作為數(shù)據(jù)在內(nèi)存中的存儲(chǔ)容器。DFA引擎每次匹配都能得到一個(gè)確定的狀態(tài)，它不要求回溯，具有線性時(shí)間復(fù)雜度。散列算法是一種高效的信息索引算法，理論時(shí)間復(fù)雜度接近O（1）。二次DPI識(shí)別流程如圖6所示。

二次DPI模塊工作流程如下。

（1）程序啟動(dòng)時(shí)導(dǎo)入特征數(shù)據(jù)庫到內(nèi)存中，并在系統(tǒng)閑時(shí)定期更新，其中DPIdataID作為域名字典和DPI信息字典關(guān)聯(lián)標(biāo)識(shí)。

（2）根據(jù)host信息查詢域名字典，獲取業(yè)務(wù)名稱（如“AppStore”）、DPIdataID和行為識(shí)別表達(dá)式，如果為空則登記此host。

（3）由步驟（2），根據(jù)行為識(shí)別表達(dá)式匹配行為關(guān)鍵字如“瀏覽”、“下載”等，若匹配失敗，則記錄應(yīng)用類型，識(shí)別下一條URL；若匹配成功，則查看是否存在多級(jí)信息，如果存在則循環(huán)匹配多級(jí)DPI查詢字典，直到?jīng)]有ChildID為止，獲取該業(yè)務(wù)標(biāo)識(shí)的key（“指紋”）匹配表達(dá)式。

（4）根據(jù)key匹配表達(dá)式匹配URL，如果獲取key值成功，則根據(jù)key值查詢此DPIdataID關(guān)聯(lián)的信息字典，獲取該記錄具體信息，否則，只記錄應(yīng)用類型。

（5）key值映射信息成功，則記錄本次HTTP請(qǐng)求對(duì)應(yīng)的信息，如“AppStore—下載-12306鐵路客戶端—版本:×××—開發(fā)商:×××”，否則只記錄本次用戶動(dòng)作，如“AppStore-下載”。

（6）將識(shí)別到的信息與用戶IMSI關(guān)聯(lián)，并將本次記錄插入應(yīng)用專題數(shù)據(jù)庫中。

4 結(jié)果統(tǒng)計(jì)

本系統(tǒng)將現(xiàn)網(wǎng)S1-U接口采集到的測(cè)試數(shù)據(jù)，經(jīng)解碼/合成和實(shí)時(shí)DPI業(yè)務(wù)識(shí)別處理后，再轉(zhuǎn)給二次DPI匹配模塊進(jìn)行業(yè)務(wù)內(nèi)容識(shí)別，最后交付給統(tǒng)計(jì)模塊，按不同專題或維度進(jìn)行業(yè)務(wù)統(tǒng)計(jì)。

圖7是業(yè)務(wù)識(shí)別結(jié)果出表的一段截圖，其中B、C字段分別代表主類型和子類型（如主類型“1”表示應(yīng)用商城，子類型“3”表示蘋果Appstore）；D、E、F、G分別表示服務(wù)端IP、服務(wù)端端口號(hào)、客戶端IP、客戶端端口號(hào)；字段H和字段I分別表示host和URL；K列表示user-agent信息；L和M分別表示上下行流量。

將業(yè)務(wù)面出表數(shù)據(jù)做IMSI關(guān)聯(lián)，即可確定某用戶具體的上網(wǎng)信息。如圖8所示，以蘋果AppStore為例，統(tǒng)計(jì)用戶訪問AppStore的詳細(xì)信息。如圖9所示，將業(yè)務(wù)歸類，統(tǒng)計(jì)出某一時(shí)間段內(nèi)全網(wǎng)用戶上網(wǎng)偏好趨勢(shì)。

圖7 業(yè)務(wù)識(shí)別出表

圖8 AppStore用戶訪問詳細(xì)信息

圖9 某一時(shí)段內(nèi)全網(wǎng)用戶上網(wǎng)偏好

5 結(jié)束語

本文提出了一種基于LTE網(wǎng)絡(luò)的用戶行為分析系統(tǒng)的解決方案，分析了智能網(wǎng)絡(luò)趨勢(shì)下用戶行為感知的必要性，在傳統(tǒng)協(xié)議棧解碼的基礎(chǔ)上，結(jié)合DPI技術(shù)和網(wǎng)絡(luò)爬蟲技術(shù)，實(shí)現(xiàn)了一種自學(xué)習(xí)功能的移動(dòng)互聯(lián)網(wǎng)用戶行為感知系統(tǒng)。該方案彌補(bǔ)了傳統(tǒng)業(yè)務(wù)識(shí)別方案的不足，大幅提升了業(yè)務(wù)識(shí)別的精確度和識(shí)別效率。經(jīng)現(xiàn)網(wǎng)數(shù)據(jù)測(cè)試，本方案不僅能夠?qū)TE網(wǎng)絡(luò)用戶行為進(jìn)行有效的識(shí)別，而且能夠針對(duì)不同的業(yè)務(wù)專題實(shí)施策略統(tǒng)計(jì)。本方案為完善移動(dòng)互聯(lián)網(wǎng)“智能管道”具有很高的實(shí)踐價(jià)值。

1 張海峰,張杰.TD-LTE數(shù)據(jù)業(yè)務(wù)發(fā)展趨勢(shì).互聯(lián)網(wǎng)天地,2013（4）

2 Huawei SmartCare CEM解決方案.http://www.huawei.com/cn/services/hw-u_256372.htm#.U5UM qI1h6jU,2014-06-09

3 客戶體驗(yàn)管理系統(tǒng)CEMS.http://www.zte.com.cn/cn/solutions/anyservice/oss_bss/201212/t2012124_372546.html,2014-06-09

4 Paxson V.BRO:a system for detecting network intruders in real-time.Computer Networks,1999,31(23):2435～2463

5 Roesch M.Snort:lightweight intrusion detection for networks.Proceedingsof13th Systems Administration Conference,Washington,USA,1999

6 3GPP TS36.401.E-UTRAN Architecture Description,2010

7 李艷,張治中.LTE網(wǎng)絡(luò)S1AP監(jiān)測(cè)方案的研究與實(shí)現(xiàn).電信科學(xué),2013,29(1):31～38

8 張應(yīng).基于綜合特征的P2P流量識(shí)別與控制系統(tǒng)研究.復(fù)旦大學(xué)碩士學(xué)位論文,2009

9 Chen H,Hu Z,Ye Z,et al.A new model for P2P traffic identification based on DPI and DFI.Information Engineering and Computer Science,2009（ICIECS 2009）,Wuhan，China，2009

10 劉建明.垂直搜索引擎中的主題爬蟲技術(shù)研究.廣東工業(yè)大學(xué)碩士學(xué)位論文,2013

11 Chaudhary A,Sardana A.Software based implementation methodologies for deep packet inspection.ICISA 2011,Jeju Island,Korean,2011

12 Guo L,Wang Y,Yao Q,et al.A fast regular expression matching algorithm for deep packet inspection.ICITIS 2010,Beijing,China,2010

13 Yu F,Chen Z,Diao Y,et al.Fast and memory-efficient regular expression matching for deep packet inspection.Proceedings of the 2006 ACM/IEEE Symposium on Architecture for Networking and Communications Systems,San Jose,California,USA,2006