張亞飛,閻 東
(1.中國通信建設(shè)集團(tuán)設(shè)計(jì)院有限公司第四分公司 鄭州 450052;2.中國電子科技集團(tuán)公司第二十七研究所 鄭州 450052)
隨著移動(dòng)互聯(lián)網(wǎng)的蓬勃興起,運(yùn)營商在不斷滿足網(wǎng)絡(luò)擴(kuò)容和新業(yè)務(wù)需求的同時(shí),其傳統(tǒng)盈利模式則不斷受到?jīng)_擊,在通信產(chǎn)業(yè)鏈上面臨“被管道化”和“被邊緣化”的嚴(yán)峻威脅,智能管道的概念也因此提出。目前智能管道的相關(guān)技術(shù)、功能需求及體系架構(gòu)的研究發(fā)展迅速,其中ITU-T在2011年給出智能型增強(qiáng)網(wǎng)絡(luò) (network intelligence capabilities enhancement,NICE)的定義和總體架構(gòu),并推動(dòng)了相關(guān)標(biāo)準(zhǔn)的制定。NICE架構(gòu)主要分為兩個(gè)層面:承載網(wǎng)絡(luò)層和承載控制層,承載網(wǎng)絡(luò)層主要實(shí)現(xiàn)多維感知和流量控制功能,承載控制層主要實(shí)現(xiàn)策略制定和下發(fā),實(shí)現(xiàn)資源的動(dòng)態(tài)分配。
但在智能管道的建設(shè)過程中,對(duì)于架構(gòu)的開放性及價(jià)值數(shù)據(jù)的合理利用上凸顯不足,主要體現(xiàn)在承載網(wǎng)絡(luò)層多維感知系統(tǒng)需要重復(fù)提供信令流量和特定業(yè)務(wù)的媒體流量,同時(shí)需要為不同的應(yīng)用系統(tǒng)提供大量異構(gòu)、交叉重復(fù)的基礎(chǔ)統(tǒng)計(jì)分析和日志數(shù)據(jù),數(shù)據(jù)復(fù)用性較低且數(shù)據(jù)流向混亂。按照產(chǎn)生與分析分離、數(shù)據(jù)與應(yīng)用分離原則,本文提出在智能管道體系內(nèi)新增數(shù)據(jù)應(yīng)用子層的設(shè)計(jì)方案,經(jīng)實(shí)例分析,該方案可增強(qiáng)承載網(wǎng)絡(luò)層多維感知系統(tǒng)對(duì)上層系統(tǒng)提供數(shù)據(jù)服務(wù)的能力、提升數(shù)據(jù)共享水平、優(yōu)化智能管道體系結(jié)構(gòu)。
按照NICE的定義并依據(jù)承載和控制功能的分離原則,智能管道的系統(tǒng)架構(gòu)由承載控制層和承載網(wǎng)絡(luò)層組成。管道智能的承載網(wǎng)絡(luò)層具備多維感知功能、按需保障和自助指配能力,同時(shí)可以承接策略控制系統(tǒng)的策略下發(fā)執(zhí)行,并與IT支撐系統(tǒng)、終端等配合最終完成服務(wù)的高效提供和資源的智能管控;智能管道的承載控制層在包含原有認(rèn)證系統(tǒng)、網(wǎng)絡(luò)管理系統(tǒng)功能基礎(chǔ)上,主要實(shí)現(xiàn)統(tǒng)一認(rèn)證和融合策略控制功能。
智能管道建設(shè)的主要目的是提升網(wǎng)絡(luò)智能化服務(wù)能力、適應(yīng)商業(yè)模式轉(zhuǎn)變并拓展創(chuàng)新型應(yīng)用。在實(shí)際建設(shè)中,通常依據(jù)NICE體系結(jié)構(gòu),將承載網(wǎng)絡(luò)層和承載控制層作為開放性的智能支撐平臺(tái),為上層應(yīng)用系統(tǒng)傳遞網(wǎng)絡(luò)狀態(tài)、多維信息、策略數(shù)據(jù)等價(jià)值數(shù)據(jù)。隨著智能管道上層應(yīng)用系統(tǒng)的不斷豐富,智能管道提供智能服務(wù)支撐數(shù)據(jù)接口的開放性、共享性和完備性需要統(tǒng)籌考慮,因此應(yīng)在NICE架構(gòu)基礎(chǔ)上新增定義業(yè)務(wù)應(yīng)用層以涵蓋所有的應(yīng)用系統(tǒng),新增業(yè)務(wù)應(yīng)用層和承載控制層、承載網(wǎng)絡(luò)層一起組成智能管道總體體系架構(gòu),如圖1所示。
智能管道在固網(wǎng)的承載網(wǎng)絡(luò)層主要以部署多維感知點(diǎn)DPI(deep packet inspection)設(shè)備/模塊為主,DPI系統(tǒng)可對(duì)固網(wǎng)媒體流量和信令流量進(jìn)行統(tǒng)計(jì)分析及策略管控,并為共享上網(wǎng)管控、綠色上網(wǎng)、網(wǎng)頁推送、非法 VoIP(voice over internet protocol)業(yè)務(wù)管控、用戶行為分析等系統(tǒng)提供支撐;智能管道在固網(wǎng)承載控制層主要實(shí)現(xiàn)基于用戶、業(yè)務(wù)的資源動(dòng)態(tài)指配的功能部署,為業(yè)務(wù)應(yīng)用層的差異化服務(wù)和相關(guān)增值服務(wù)應(yīng)用系統(tǒng)提供支撐,并對(duì)各種網(wǎng)絡(luò)應(yīng)用進(jìn)行保障、管理和控制。
移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展促使運(yùn)營商網(wǎng)絡(luò)的業(yè)務(wù)及信令流量爆發(fā)式增長,同時(shí)對(duì)運(yùn)營商的短信、彩信等傳統(tǒng)業(yè)務(wù)造成巨大沖擊,因此運(yùn)營商迫切需要盡快建設(shè)移動(dòng)網(wǎng)智能管道體系以增強(qiáng)網(wǎng)絡(luò)智能服務(wù)能力和提高業(yè)務(wù)收入。目前移動(dòng)網(wǎng)智能管道在承載網(wǎng)絡(luò)層的建設(shè)是通過外置DPI設(shè) 備 和 PDSN (packet data serving node)/GGSN (gateway GPRSsupport node)內(nèi)置DPI功能模塊的部署實(shí)現(xiàn)多維感知功能和流量控制能力,具體體現(xiàn)為利用DPI系統(tǒng)對(duì)移動(dòng)網(wǎng)業(yè)務(wù)進(jìn)行實(shí)時(shí)檢測(cè),對(duì)P2P(peer-to-peer)等低價(jià)值業(yè)務(wù)流進(jìn)行分時(shí)分區(qū)的限制以解決少量用戶占用了大量網(wǎng)絡(luò)資源的問題等;移動(dòng)網(wǎng)智能管道承載控制層的建設(shè)首先是推進(jìn)基于用戶分級(jí)的差異化網(wǎng)絡(luò)資源分配功能的部署,實(shí)現(xiàn)對(duì)分組域業(yè)務(wù)的簡單策略管控,其次是推進(jìn)移動(dòng)分組域網(wǎng)絡(luò)逐步向PCC架構(gòu)演進(jìn),引入PCRF(policy and charging rules function,策略和計(jì)費(fèi)規(guī)則功能)網(wǎng)元并升級(jí)PDSN/GGSN網(wǎng)元增加 PCEF(policy and charging enforcement fucntion,策略和計(jì)費(fèi)執(zhí)行功能)功能,逐步開展基于網(wǎng)絡(luò)忙閑狀態(tài)、時(shí)間、位置、用戶用量等多維度的QoS(quality of service,服務(wù)質(zhì)量)策略應(yīng)用。
承載網(wǎng)絡(luò)層多維感知能力的部署是智能管道體系建設(shè)的基本要求,這也是承載網(wǎng)識(shí)別用戶和業(yè)務(wù)并進(jìn)行按需保障的基礎(chǔ)。多維感知是指承載網(wǎng)具備多維度的信息感知、采集分析能力,同時(shí)具有對(duì)于特定業(yè)務(wù)流量的抽取和管控功能。
多維感知主要通過DPI技術(shù)實(shí)現(xiàn),DPI設(shè)備/模塊可以通過分光方式或鏡像方式獲取IP鏈路上的用戶互聯(lián)網(wǎng)訪問數(shù)據(jù)及AAA (authentication,authorization,accounting)側(cè)用戶認(rèn)證、計(jì)費(fèi)數(shù)據(jù),對(duì)數(shù)據(jù)報(bào)文進(jìn)行DPI解析。固網(wǎng)通常在城域網(wǎng)、骨干網(wǎng)和IDC(internetdata center)出口處旁路部署DPI系統(tǒng),部署后固網(wǎng)具備數(shù)據(jù)業(yè)務(wù)及用戶行為的統(tǒng)計(jì)分析能力,具有對(duì)P2P類流量、非法接入業(yè)務(wù)等的識(shí)別能力,同時(shí)可對(duì)IDC、政企重要客戶提供應(yīng)用分析、安全防護(hù)等增值服務(wù);移動(dòng)網(wǎng)通常在分組域部署外置DPI網(wǎng)元,實(shí)現(xiàn)對(duì)數(shù)據(jù)流量、用戶和業(yè)務(wù)的多維度統(tǒng)計(jì)分析功能,在PDSN/GGSN部署內(nèi)置DPI模塊,實(shí)現(xiàn)對(duì)業(yè)務(wù)流量的控制功能。
圖1 智能管道總體體系架構(gòu)
目前運(yùn)營商網(wǎng)絡(luò)基本都部署了具備多維感知功能的DPI系統(tǒng),DPI系統(tǒng)基于特征庫對(duì)報(bào)文進(jìn)行3~7層解析和識(shí)別,可以為承載控制層和業(yè)務(wù)應(yīng)用層提供以下3種類型的數(shù)據(jù)。
(1)網(wǎng)絡(luò)層統(tǒng)計(jì)分析數(shù)據(jù)
指面向網(wǎng)絡(luò)和設(shè)備層面的統(tǒng)計(jì)分析數(shù)據(jù),它包括按照時(shí)間、用戶群、業(yè)務(wù)等多維度的統(tǒng)計(jì)信息,同時(shí)可依據(jù)流量流向、連接數(shù)和信令等分類查詢。此類型數(shù)據(jù)可為網(wǎng)絡(luò)優(yōu)化系統(tǒng)、分組域網(wǎng)管和信令分析系統(tǒng)等提供基礎(chǔ)統(tǒng)計(jì)分析數(shù)據(jù),并可構(gòu)建本地化多維度網(wǎng)絡(luò)模型。
(2)用戶日志型統(tǒng)計(jì)分析數(shù)據(jù)
面向用戶網(wǎng)絡(luò)行為的日志型記錄數(shù)據(jù),包含認(rèn)證登錄記錄和訪問互聯(lián)網(wǎng)記錄,該部分?jǐn)?shù)據(jù)關(guān)聯(lián)用戶的MDN(mobile directory number)、IMSI (international mobile equipment identity)、IP地址等相關(guān)字段。日志型數(shù)據(jù)可以為針對(duì)性營銷系統(tǒng)、網(wǎng)絡(luò)安全系統(tǒng)、用戶行為分析系統(tǒng)、策略控制系統(tǒng)等提供分析數(shù)據(jù),并可構(gòu)建本地化多維度用戶行為模型。
(3)特定業(yè)務(wù)鏡像數(shù)據(jù)
DPI系統(tǒng)具備在對(duì)業(yè)務(wù)流量的識(shí)別能力基礎(chǔ)上,對(duì)特定業(yè)務(wù)數(shù)據(jù)流量進(jìn)行提取并鏡像轉(zhuǎn)發(fā)的功能。如可將HTTP (hypertext transfer protocol)、FTP (file transfer protocol)、RADIUS (remote authentication dial in user service)等業(yè)務(wù)媒體和信令數(shù)據(jù)提取并鏡像轉(zhuǎn)發(fā)給網(wǎng)頁推送系統(tǒng)、URL(uniform resource locator)過濾系統(tǒng)、信令分析系統(tǒng)等。該類型數(shù)據(jù)為簡單處理過的實(shí)時(shí)鏡像數(shù)據(jù)流,流量較大且對(duì)傳輸資源要求較高。
隨著智能管道體系的逐步完善和周邊應(yīng)用系統(tǒng)的豐富,多維感知點(diǎn)DPI系統(tǒng)的數(shù)據(jù)提供能力逐漸成為瓶頸,同時(shí)智能管道體系內(nèi)的數(shù)據(jù)需求也存在重復(fù)、異構(gòu)和交叉混亂現(xiàn)象,因此必須在現(xiàn)有智能管道體系基礎(chǔ)上構(gòu)建統(tǒng)一的數(shù)據(jù)應(yīng)用視圖。
數(shù)據(jù)應(yīng)用子層整合多維感知點(diǎn)的基礎(chǔ)數(shù)據(jù),并將整合后的數(shù)據(jù)標(biāo)準(zhǔn)化統(tǒng)一數(shù)據(jù)共享,最后通過標(biāo)準(zhǔn)化數(shù)據(jù)接口統(tǒng)一提供給周邊系統(tǒng),構(gòu)建智能管道統(tǒng)一的數(shù)據(jù)視圖。數(shù)據(jù)應(yīng)用子層作為一個(gè)邏輯上統(tǒng)一的整體,可存儲(chǔ)短期面向運(yùn)營的準(zhǔn)實(shí)時(shí)數(shù)據(jù),支持統(tǒng)計(jì)分析報(bào)表的批量計(jì)算、統(tǒng)計(jì)分析查詢和標(biāo)準(zhǔn)接口的數(shù)據(jù)共享。
數(shù)據(jù)應(yīng)用子層可以提升智能管道信息數(shù)據(jù)共享與應(yīng)用的能力,形成“數(shù)據(jù)集中、應(yīng)用分布”的數(shù)據(jù)管理模式,在提升數(shù)據(jù)質(zhì)量的同時(shí)提高智能管道各層面的數(shù)據(jù)應(yīng)用水平。
數(shù)據(jù)應(yīng)用子層在智能管道體系中的位置及數(shù)據(jù)流向如圖2所示。
數(shù)據(jù)應(yīng)用子層結(jié)構(gòu)設(shè)計(jì)如圖3所示,它由實(shí)時(shí)的鏡像型特定數(shù)據(jù)流和經(jīng)ETL(extraction-transformation-loading)平臺(tái)整合過的準(zhǔn)實(shí)時(shí)日志型、統(tǒng)計(jì)分析型數(shù)據(jù)倉庫組成。
(1)鏡像型特定數(shù)據(jù)流
該功能模塊由分光設(shè)備或流量復(fù)制器組成,可對(duì)由DPI系統(tǒng)鏡像轉(zhuǎn)發(fā)的實(shí)時(shí)特定數(shù)據(jù)流量進(jìn)行統(tǒng)一復(fù)制轉(zhuǎn)發(fā)。如通過分光器復(fù)制大流量的HTTP報(bào)文,提供給網(wǎng)頁推送系統(tǒng)、URL過濾系統(tǒng)等,通過流量復(fù)制器可復(fù)制小流量的RADIUS和其他信令流以提供給信令分析系統(tǒng)、網(wǎng)管系統(tǒng)等。該功能模塊降低了DPI設(shè)備的負(fù)荷,減少了DPI設(shè)備的端口占用和傳輸資源占用,結(jié)構(gòu)清晰,節(jié)約投資。
(2)ETL 平臺(tái)
ETL平臺(tái)是數(shù)據(jù)應(yīng)用子層數(shù)據(jù)處理的核心,該平臺(tái)負(fù)責(zé)對(duì)固網(wǎng)、移動(dòng)網(wǎng)DPI系統(tǒng)產(chǎn)生的數(shù)據(jù)按照統(tǒng)一的規(guī)則進(jìn)行抽取、轉(zhuǎn)換、清洗、裝載處理。經(jīng)過處理后的數(shù)據(jù)納入日志型和統(tǒng)計(jì)分析型數(shù)據(jù)倉庫,以滿足智能管道各層的使用需要。
(3)日志型、統(tǒng)計(jì)分型數(shù)據(jù)倉庫
日志型、統(tǒng)計(jì)分型數(shù)據(jù)倉庫對(duì)ETL平臺(tái)產(chǎn)生的數(shù)據(jù)進(jìn)行整合,為周邊系統(tǒng)提供準(zhǔn)實(shí)時(shí)日志型、統(tǒng)計(jì)分析型數(shù)據(jù)和可定制化報(bào)表,并能為各個(gè)應(yīng)用系統(tǒng)提供跨系統(tǒng)的共享數(shù)據(jù)服務(wù),它是提供上層應(yīng)用系統(tǒng)的高質(zhì)量數(shù)據(jù)的重要來源。
隨著智能管道體系的逐步完善和周邊業(yè)務(wù)系統(tǒng)的不斷豐富,對(duì)數(shù)據(jù)共享及數(shù)據(jù)質(zhì)量提升需求迫切,因此數(shù)據(jù)應(yīng)用子層的主要功能體現(xiàn)如下。
圖2 數(shù)據(jù)應(yīng)用子層及數(shù)據(jù)流向
圖3 數(shù)據(jù)應(yīng)用子層結(jié)構(gòu)
(1)數(shù)據(jù)整合
該功能對(duì)多維感知點(diǎn)產(chǎn)生的數(shù)據(jù)進(jìn)行統(tǒng)一數(shù)據(jù)模型、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、統(tǒng)一數(shù)據(jù)視圖,促進(jìn)智能管道體系數(shù)據(jù)邏輯模型的統(tǒng)一,促進(jìn)數(shù)據(jù)標(biāo)準(zhǔn)化與統(tǒng)一存儲(chǔ)。
(2)數(shù)據(jù)共享
數(shù)據(jù)應(yīng)用子層除了可將整合好的數(shù)據(jù)以數(shù)據(jù)共享、數(shù)據(jù)鏡像/復(fù)制的形式提供給其他應(yīng)用系統(tǒng)以外,也可作為企業(yè)大數(shù)據(jù)的一部分整體共享數(shù)據(jù)資源,協(xié)助企業(yè)進(jìn)行業(yè)務(wù)決策提升總體競(jìng)爭(zhēng)力。
(3)數(shù)據(jù)接口應(yīng)用
數(shù)據(jù)應(yīng)用子層存儲(chǔ)的細(xì)粒度數(shù)據(jù),支持通用標(biāo)準(zhǔn)的統(tǒng)一數(shù)據(jù)接口,為更多的移動(dòng)互聯(lián)網(wǎng)、云計(jì)算和物聯(lián)網(wǎng)等新技術(shù)應(yīng)用提供價(jià)值數(shù)據(jù)支撐。
圖4為典型的cdma2000核心網(wǎng)分組域網(wǎng)絡(luò)結(jié)構(gòu),多維感知外置DPI設(shè)備通過PDSN和CE(customer edge)路由器之間的分光設(shè)備接收并解析移動(dòng)網(wǎng)數(shù)據(jù)業(yè)務(wù)流量,同時(shí)通過CE路由器的端口鏡像功能接收并提取信令數(shù)據(jù)流量以進(jìn)行解析監(jiān)控。
在數(shù)據(jù)應(yīng)用子層相關(guān)系統(tǒng)未部署前,DPI系統(tǒng)需要通過系統(tǒng)本身為網(wǎng)頁推送系統(tǒng)、URL過濾系統(tǒng)、網(wǎng)管系統(tǒng)和信令分析系統(tǒng)提供2×10GE和2×GE的HTTP媒體流和多路的A11、A12和RADIUS信令流量,隨著周邊系統(tǒng)的增多,將會(huì)嚴(yán)重占用DPI設(shè)備的處理性能和端口資源;同時(shí)DPI系統(tǒng)需要通過不同接口分別為策略控制系統(tǒng)和針對(duì)性營銷系統(tǒng)提供各類異構(gòu)的統(tǒng)計(jì)分析型、日志記錄型數(shù)據(jù),隨著周邊應(yīng)用系統(tǒng)的增加,異構(gòu)數(shù)據(jù)需求量增長迅速,而DPI系統(tǒng)設(shè)備只是多維感知的硬件平臺(tái),其數(shù)據(jù)處理能力和統(tǒng)計(jì)分析挖掘能力相對(duì)不足,數(shù)據(jù)質(zhì)量也無法得到可靠保障,整體數(shù)據(jù)流向混亂。
如圖4所示,在分組域部署數(shù)據(jù)應(yīng)用子層相關(guān)設(shè)備及系統(tǒng)后,通過成本低廉的分光設(shè)備和流量復(fù)制器,可統(tǒng)一對(duì)通用特定數(shù)據(jù)流量進(jìn)行多次流量復(fù)制,分別提供給不同的應(yīng)用系統(tǒng),降低DPI設(shè)備處理性能,減少端口和傳輸資源占用;同時(shí)在數(shù)據(jù)應(yīng)用子層新增智能管道運(yùn)營數(shù)據(jù)倉庫系統(tǒng),按照模塊化、松耦合、可配置的思路,建立數(shù)據(jù)整合、封裝機(jī)制,提供開放的數(shù)據(jù)信息服務(wù),推進(jìn)智能管道數(shù)據(jù)體系向組件化、標(biāo)準(zhǔn)化和開放化的方向發(fā)展。數(shù)據(jù)應(yīng)用子層的新增使得整體智能管道體系結(jié)構(gòu)清晰、應(yīng)用合理,而ETL、數(shù)據(jù)庫和數(shù)據(jù)挖掘技術(shù)的廣泛成熟應(yīng)用也充分保障了數(shù)據(jù)應(yīng)用子層相關(guān)系統(tǒng)部署的合理性、有效性和可行性。
圖4 數(shù)據(jù)應(yīng)用子層部署示例
本文在智能管道體系結(jié)構(gòu)的基礎(chǔ)上,依據(jù)數(shù)據(jù)產(chǎn)生與分析分離,數(shù)據(jù)與應(yīng)用分離的原則,在承載網(wǎng)絡(luò)層之上提出并構(gòu)建了數(shù)據(jù)應(yīng)用子層。數(shù)據(jù)應(yīng)用子層通過相關(guān)系統(tǒng)的數(shù)據(jù)整合、數(shù)據(jù)共享和數(shù)據(jù)接口應(yīng)用的功能,統(tǒng)一為智能管道及周邊系統(tǒng)提供鏡像型特定數(shù)據(jù)流、日志型和統(tǒng)計(jì)分析性數(shù)據(jù),并為建立規(guī)范的、多角度有效的數(shù)據(jù)質(zhì)量體系提供基礎(chǔ),保障了智能管道體系數(shù)據(jù)的一致性、及時(shí)性和準(zhǔn)確性。
通過數(shù)據(jù)應(yīng)用子層在移動(dòng)核心網(wǎng)分組域典型場(chǎng)景的簡單部署實(shí)例分析,證明了數(shù)據(jù)應(yīng)用子層可滿足智能管道及周邊系統(tǒng)對(duì)多維度應(yīng)用數(shù)據(jù)的需求,其有效性、可實(shí)施性和可部署性得到驗(yàn)證。同時(shí)數(shù)據(jù)應(yīng)用子層的部署不僅能間接提高網(wǎng)絡(luò)效率、優(yōu)化成本提升流量價(jià)值,也可為進(jìn)一步挖掘創(chuàng)造新的產(chǎn)品、服務(wù)和商業(yè)模式提供平臺(tái),為企業(yè)和用戶創(chuàng)造更大價(jià)值。
1 Wang Q,Zhang Y,Zhao H L.Network intelligence capability requirements and standards system.China Standardization,2012,33(4)
2 3GPP TS23.203 V10.3.0. Policy and Charging Control Architecture,2011
3 YD/T 1899-2009.深度包檢測(cè)設(shè)備技術(shù)要求,2009
4 趙慧玲,徐向輝,陳運(yùn)清等.智能管道構(gòu)建思路探討.電信科學(xué),2011,27(3):7~11
5 王銳,陳麗.適用于實(shí)時(shí)查詢的電信行業(yè)海量數(shù)據(jù)倉庫構(gòu)建方法.電信科學(xué),2011,27(10):120~126
6 沈蘇彬.智能管道的特征與技術(shù)分析.中興通訊技術(shù),2012,18(1):13~15