陳榮平 趙爽

?

網(wǎng)絡(luò)大數(shù)據(jù)能力開放平臺的實(shí)踐

陳榮平 趙爽

中國移動(dòng)通信集團(tuán)廣東有限公司網(wǎng)絡(luò)管理中心，廣東 廣州 510623

結(jié)合運(yùn)營商大數(shù)據(jù)特點(diǎn)和業(yè)務(wù)場景，設(shè)計(jì)一種松耦合的系統(tǒng)架構(gòu)，通過應(yīng)用事前消息回填、統(tǒng)一DPI業(yè)務(wù)識別、Kafka消息分發(fā)和Storm流處理等大數(shù)據(jù)處理技術(shù)，對廣東移動(dòng)海量數(shù)據(jù)進(jìn)行處理，構(gòu)建同步、異步API和數(shù)據(jù)自助服務(wù)模式實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)能力開放，獲得快速、靈活、安全的數(shù)據(jù)響應(yīng)。網(wǎng)絡(luò)大數(shù)據(jù)能力開放平臺已廣泛應(yīng)用到應(yīng)急保障、實(shí)時(shí)監(jiān)控、用戶營銷等多場景中，是運(yùn)營商大數(shù)據(jù)能力開放的成功實(shí)踐案例。

網(wǎng)絡(luò)大數(shù)據(jù)；Kafka分發(fā)；Storm流處理；API；能力開放

引言

4G網(wǎng)絡(luò)技術(shù)、智能終端、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的共同推進(jìn)，將人們快速地帶入移動(dòng)大數(shù)據(jù)時(shí)代。據(jù)統(tǒng)計(jì)，2018年6月僅廣東移動(dòng)用戶一天產(chǎn)生的信令已達(dá)500?T（相當(dāng)于25萬部高清電影）。如何基于這些海量數(shù)據(jù)，靈活、有效地建立模型，提供快速且安全的數(shù)據(jù)輸出，為經(jīng)營分析、客戶服務(wù)等提供支撐，是企業(yè)數(shù)據(jù)運(yùn)營團(tuán)隊(duì)面臨的挑戰(zhàn)。結(jié)合業(yè)界經(jīng)驗(yàn)和廣東移動(dòng)信令的自身特點(diǎn)，廣東移動(dòng)網(wǎng)管中心在網(wǎng)絡(luò)大數(shù)據(jù)能力開放架構(gòu)方面進(jìn)行了有效的探索和實(shí)踐。

1 網(wǎng)絡(luò)大數(shù)據(jù)能力開放平臺設(shè)計(jì)

1.1 架構(gòu)設(shè)計(jì)

基于靈活性、快速部署升級等方面考慮，廣東移動(dòng)數(shù)據(jù)運(yùn)營團(tuán)隊(duì)以松耦合架構(gòu)構(gòu)建網(wǎng)絡(luò)大數(shù)據(jù)能力開放平臺（以下簡稱能力開放平臺）。簡化示意圖見圖1。

圖1

系統(tǒng)分三個(gè)層次：采集解碼層、模型共享層、能力開放層。

（1）采集解碼層。負(fù)責(zé)采集各接口的原始信令，進(jìn)行解碼和業(yè)務(wù)識別后生成XDR。

（2）模型共享層。負(fù)責(zé)存儲(chǔ)來自解碼層的XDR，并結(jié)合維表如小區(qū)資源維表、業(yè)務(wù)維表等，構(gòu)建中間層模型寬表。建立中間層寬表的好處是對上層用戶而言，可直接運(yùn)用中間模型快速得到結(jié)果，而不需要從底層海量XDR數(shù)據(jù)中撈取。

（3）能力開放層。能力開放平臺構(gòu)建類“數(shù)據(jù)商店”的數(shù)據(jù)目錄。用戶可基于數(shù)據(jù)目錄提取數(shù)據(jù)，也可通過自助服務(wù)條件提取。

為應(yīng)對外系統(tǒng)對網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行深加工和展示需求，平臺對通用數(shù)據(jù)進(jìn)行了API封裝。API能力管控模塊可完成接口注冊、申請、管控、調(diào)用統(tǒng)計(jì)等功能。通過API封裝模塊，遠(yuǎn)端系統(tǒng)可輕松地調(diào)用網(wǎng)絡(luò)大數(shù)據(jù)能力，極大地節(jié)約成本。

1.2 關(guān)鍵技術(shù)和創(chuàng)新

1.2.1 采集解碼層

（1）事前關(guān)聯(lián)回填技術(shù)

傳統(tǒng)信令回填為事后關(guān)聯(lián)回填，將各接口話單分別輸出后，再通過用戶關(guān)鍵信息（IMSI、用戶號碼等）進(jìn)行綜合話單關(guān)聯(lián)合成，具有時(shí)延大、消耗大、效率低、無法提供實(shí)時(shí)計(jì)算等缺點(diǎn)。平臺的解碼層采用事前多接口關(guān)聯(lián)技術(shù)。具體以片區(qū)為單位，根據(jù)各接口協(xié)議創(chuàng)建不同解碼集群，各解碼集群同時(shí)將解碼到的用戶關(guān)鍵屬性信息和由業(yè)務(wù)邏輯生成的話單推送至合成服務(wù)器集群，由其負(fù)責(zé)實(shí)時(shí)把多個(gè)接口數(shù)據(jù)進(jìn)行合成回填關(guān)鍵字段，最終合成單個(gè)用戶業(yè)務(wù)的全面呼叫記錄。應(yīng)用事前多接口關(guān)聯(lián)技術(shù)實(shí)現(xiàn)了運(yùn)營商業(yè)內(nèi)全球最大單系統(tǒng)實(shí)時(shí)處理2?000?Gbps信令關(guān)鍵字段回填率99.5%，話單輸出時(shí)延可達(dá)到秒級。

（2）統(tǒng)一DPI庫識別技術(shù)

在識別技術(shù)上，不僅保留IP五元組、HOST等傳統(tǒng)識別元素，且增加了UserAgent、ReferUri、Cookie等識別元素。業(yè)務(wù)側(cè)即便更改了傳統(tǒng)元素規(guī)則，只要其他識別元素未完全更改，業(yè)務(wù)識別就依然能夠生效。采用kNN算法和豐富的識別元素，對于采用動(dòng)態(tài)IP地址、CDN域名的業(yè)務(wù)也能精準(zhǔn)識別，因此可很好地保持識別時(shí)效性，提升識別覆蓋率。

在集成架構(gòu)上，提出基于標(biāo)準(zhǔn)接口的輕耦合獨(dú)立封裝方式，實(shí)現(xiàn)識別和解碼功能的解耦合。在接口不變的情況下，只需調(diào)整識別模塊就可完成識別能力升級，不影響解碼的運(yùn)作。由于使用標(biāo)準(zhǔn)接口，只要使用統(tǒng)一的嵌入式識別模塊，便可規(guī)范所有解碼層的識別結(jié)果，很好地解決異廠家間的識別差異問題。

1.2.2 模型共享層

（1）Kafka數(shù)據(jù)分發(fā)

Kafka 是一個(gè)基于發(fā)布訂閱的消息系統(tǒng)，適用于離線和在線消息消費(fèi)，可由多個(gè)生產(chǎn)者和消費(fèi)者共享主題。平臺的模型共享層使用了Kafka數(shù)據(jù)分發(fā)機(jī)制。信令XDR使用Kafka離線數(shù)據(jù)處理路徑為： XDR->Kafka->hdfs-MR，使用場景包括：各種小時(shí)、日粒度等指標(biāo)統(tǒng)計(jì)等；使用Kafka實(shí)時(shí)數(shù)據(jù)處理路徑為XDR->Kafka->storm，使用場景如實(shí)時(shí)統(tǒng)計(jì)輸出客流人群等。

（2）Storm流計(jì)算框架

在同類的流式計(jì)算工具中，Storm性能出眾，能力開放平臺將Storm技術(shù)應(yīng)用到用戶實(shí)時(shí)位置的處理上，具體流程是：共享層通過Kafka將MOSMS/ MTSMS/MOC/MTC/MM/HO/S1MME等7種XDR分發(fā)給Storm流處理結(jié)構(gòu)，生成實(shí)時(shí)全量用戶位置快照，再以5分鐘為切片輸出，構(gòu)成了所有位置類準(zhǔn)實(shí)時(shí)和非實(shí)時(shí)應(yīng)用的基礎(chǔ)。

HTTP Restful API接口封裝：根據(jù)數(shù)據(jù)量的大小以及用戶使用場景的不同，廣東移動(dòng)運(yùn)營團(tuán)隊(duì)專門制定了Restful API實(shí)時(shí)響應(yīng)接口和異步文件響應(yīng)兩種接口的封裝和調(diào)用規(guī)范，以便將模型共享層寬表以最小化的數(shù)據(jù)集和能力提供給其他系統(tǒng)客戶。

1.2.3 能力開放層

（1）API管控框架：規(guī)劃了API接口管理者、發(fā)布者、可擴(kuò)展的三種角色，提供了注冊授權(quán)、接口發(fā)布、接口訂閱、接口監(jiān)控和審計(jì)等功能，并采用了一種基于Nginx中間代理服務(wù)器的安全容災(zāi)和可擴(kuò)展架構(gòu)，提供接口運(yùn)行的安全性和穩(wěn)定性。

（2）數(shù)據(jù)目錄和自助服務(wù)：基于業(yè)務(wù)場景調(diào)研和數(shù)據(jù)理解，廣東移動(dòng)數(shù)據(jù)運(yùn)營團(tuán)隊(duì)對能力開放平臺進(jìn)行了頂層數(shù)據(jù)目錄設(shè)計(jì)，對場景進(jìn)行了分類，并詳細(xì)解釋了分類下明細(xì)數(shù)據(jù)資產(chǎn)、模型的建立規(guī)則及輸出字段等等。這樣的設(shè)計(jì)使數(shù)據(jù)目錄具有無限拓展性，并可以根據(jù)字段條件性篩選，實(shí)現(xiàn)數(shù)據(jù)的自助服務(wù)。

1.3 安全性考慮

移動(dòng)信令記錄了用戶位置、業(yè)務(wù)行為、終端等大量涉敏數(shù)據(jù)，因此能力開放平臺的安全性是系統(tǒng)設(shè)計(jì)的重中之重。系統(tǒng)安全加固主要體現(xiàn)在以下幾個(gè)方面。

1.3.1 系統(tǒng)接入安全性

作為重要的涉敏生產(chǎn)系統(tǒng)，首先部署在專用的生產(chǎn)用網(wǎng)管網(wǎng)內(nèi)，并強(qiáng)制啟用了4A單點(diǎn)認(rèn)證，杜絕了不同系統(tǒng)之間繞行登錄的可能性，因此保證了系統(tǒng)的接入安全性。

1.3.2 數(shù)據(jù)操作和獲取安全性

系統(tǒng)強(qiáng)制任何人員對于敏感數(shù)據(jù)的訪問和操作，均啟用了4A金庫審批模式。用戶在進(jìn)行涉敏數(shù)據(jù)操作時(shí)，系統(tǒng)會(huì)自動(dòng)發(fā)短信到金庫審批人員手機(jī)上，在獲得授權(quán)后，才可以進(jìn)行下一步操作。涉敏用戶數(shù)據(jù)生成的文件均啟用加密模式，密鑰只對數(shù)據(jù)需求者可見。

1.3.3 數(shù)據(jù)傳輸安全性

對于能力開放平臺的最終數(shù)據(jù)輸出，僅支持專網(wǎng)生產(chǎn)系統(tǒng)之間的FTP對接和后續(xù)分析使用，杜絕了敏感數(shù)據(jù)暴露在互聯(lián)網(wǎng)上；另一種是采用API接口對接，提供了同步、異步API調(diào)用模式，最小化使用數(shù)據(jù)。在API能力管控模塊，對接口進(jìn)行接入審計(jì)，同時(shí)可清晰地監(jiān)控各個(gè)接口，并對異常調(diào)用接口產(chǎn)生告警。

2 網(wǎng)絡(luò)大數(shù)據(jù)能力開放平臺應(yīng)用

應(yīng)用最先進(jìn)的大數(shù)據(jù)處理技術(shù)，通過數(shù)據(jù)商店和API接入兩種能力開放消費(fèi)模式，用戶可獲取快速的數(shù)據(jù)響應(yīng)。目前能力開放平臺月均提供API調(diào)用4?080萬次，平均數(shù)據(jù)響應(yīng)在30?min以內(nèi)。該平臺已成為網(wǎng)絡(luò)和市場線最廣泛使用的系統(tǒng)之一，以下是典型的應(yīng)用場景。

2.1 臺風(fēng)應(yīng)急保障

廣東是臺風(fēng)高發(fā)地區(qū)，每次臺風(fēng)來臨之前，應(yīng)氣象局要求，網(wǎng)絡(luò)大數(shù)據(jù)能力開放平臺會(huì)準(zhǔn)時(shí)提供各地市的本地和漫入號碼給客服中心進(jìn)行客戶提醒。

2.2 實(shí)時(shí)客流監(jiān)控

近兩年來廣州春運(yùn)指揮部現(xiàn)場，市交委“天眼”系統(tǒng)能夠以5?min間隔更新重點(diǎn)區(qū)域如廣州火車站、機(jī)場等重點(diǎn)區(qū)域的實(shí)時(shí)客流，通過對比平時(shí)該區(qū)域內(nèi)聚集人數(shù)的歷史數(shù)據(jù)，春運(yùn)指揮部工作人員可快速判斷當(dāng)前聚集人群數(shù)是否異常，其后臺數(shù)據(jù)就是通過廣東移動(dòng)的實(shí)時(shí)客流API封裝提供的。

2.3 校園迎新支撐

每年校園迎新是運(yùn)營商搶占市場的重中之重。結(jié)合校園歷史常駐用戶和實(shí)時(shí)新增漫入用戶數(shù)據(jù)進(jìn)行建模，網(wǎng)絡(luò)大數(shù)據(jù)能力開放平臺能夠精確地定位新生數(shù)據(jù)，并進(jìn)行針對性的營銷活動(dòng)，給予最大優(yōu)惠政策爭取新客戶。

3 結(jié)束語

運(yùn)營商的海量數(shù)據(jù)是一座巨大的寶藏，廣東移動(dòng)能力開放平臺采用當(dāng)前最先進(jìn)的大數(shù)據(jù)處理技術(shù)進(jìn)行數(shù)據(jù)建模和應(yīng)用，提供了豐富多彩的數(shù)據(jù)種類和快速的數(shù)據(jù)響應(yīng)，并通過自助服務(wù)和API接口極大地延伸應(yīng)用范圍，提供了業(yè)界數(shù)據(jù)運(yùn)營的一種可實(shí)踐的架構(gòu)和運(yùn)營模式。今后，能力開放平臺將在機(jī)器學(xué)習(xí)方面進(jìn)一步探索，在安全的前提下發(fā)揮更大效益。

Practice of Open Platform for Network Big Data Capabilities

Chen Rongping Zhao Shuang

China Mobile Communications Corporation Guangdong Co., Ltd., Network Management Center, Guangdong Guangzhou 510623

Based on the characteristics of big data and business scenarios of operators, a loosely coupled system architecture is designed to apply massive data processing technology such as pre-message backfilling, unified DPI service identification, Kafka message distribution and Storm stream processing to deal with massive data of Guangdong Mobile, build synchronous, asynchronous API and data self-service mode to achieve network big data capabilities, and obtain fast, flexible and secure data response. The network big data capability open platform has been widely applied to multiple scenarios such as emergency support, real-time monitoring, and user marketing. It is a successful practice case for operators to open big data capabilities.

network big data; Kafka distribution; Storm stream processing; API; capability open

TP311.1

A

陳榮平，女，工程師，碩士畢業(yè)于北京郵電大學(xué)大學(xué)通信與信息系統(tǒng)專業(yè)，現(xiàn)就職于中國移動(dòng)廣東公司網(wǎng)絡(luò)管理中心，主要研究方向?yàn)榇髷?shù)據(jù)挖掘、網(wǎng)絡(luò)能力開放。趙爽，女，工程師，碩士畢業(yè)于香港科技大學(xué)，現(xiàn)就職于中國移動(dòng)廣東公司網(wǎng)絡(luò)管理中心，主要研究方向?yàn)榇髷?shù)據(jù)挖掘、網(wǎng)絡(luò)能力開放。