陳榮平 趙爽

?

網(wǎng)絡大數(shù)據(jù)能力開放平臺的實踐

陳榮平 趙爽

中國移動通信集團廣東有限公司網(wǎng)絡管理中心，廣東 廣州 510623

結合運營商大數(shù)據(jù)特點和業(yè)務場景，設計一種松耦合的系統(tǒng)架構，通過應用事前消息回填、統(tǒng)一DPI業(yè)務識別、Kafka消息分發(fā)和Storm流處理等大數(shù)據(jù)處理技術，對廣東移動海量數(shù)據(jù)進行處理，構建同步、異步API和數(shù)據(jù)自助服務模式實現(xiàn)網(wǎng)絡大數(shù)據(jù)能力開放，獲得快速、靈活、安全的數(shù)據(jù)響應。網(wǎng)絡大數(shù)據(jù)能力開放平臺已廣泛應用到應急保障、實時監(jiān)控、用戶營銷等多場景中，是運營商大數(shù)據(jù)能力開放的成功實踐案例。

網(wǎng)絡大數(shù)據(jù)；Kafka分發(fā)；Storm流處理；API；能力開放

引言

4G網(wǎng)絡技術、智能終端、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)、大數(shù)據(jù)等技術的共同推進，將人們快速地帶入移動大數(shù)據(jù)時代。據(jù)統(tǒng)計，2018年6月僅廣東移動用戶一天產(chǎn)生的信令已達500?T（相當于25萬部高清電影）。如何基于這些海量數(shù)據(jù)，靈活、有效地建立模型，提供快速且安全的數(shù)據(jù)輸出，為經(jīng)營分析、客戶服務等提供支撐，是企業(yè)數(shù)據(jù)運營團隊面臨的挑戰(zhàn)。結合業(yè)界經(jīng)驗和廣東移動信令的自身特點，廣東移動網(wǎng)管中心在網(wǎng)絡大數(shù)據(jù)能力開放架構方面進行了有效的探索和實踐。

1 網(wǎng)絡大數(shù)據(jù)能力開放平臺設計

1.1 架構設計

基于靈活性、快速部署升級等方面考慮，廣東移動數(shù)據(jù)運營團隊以松耦合架構構建網(wǎng)絡大數(shù)據(jù)能力開放平臺（以下簡稱能力開放平臺）。簡化示意圖見圖1。

圖1

系統(tǒng)分三個層次：采集解碼層、模型共享層、能力開放層。

（1）采集解碼層。負責采集各接口的原始信令，進行解碼和業(yè)務識別后生成XDR。

（2）模型共享層。負責存儲來自解碼層的XDR，并結合維表如小區(qū)資源維表、業(yè)務維表等，構建中間層模型寬表。建立中間層寬表的好處是對上層用戶而言，可直接運用中間模型快速得到結果，而不需要從底層海量XDR數(shù)據(jù)中撈取。

（3）能力開放層。能力開放平臺構建類“數(shù)據(jù)商店”的數(shù)據(jù)目錄。用戶可基于數(shù)據(jù)目錄提取數(shù)據(jù)，也可通過自助服務條件提取。

為應對外系統(tǒng)對網(wǎng)絡大數(shù)據(jù)進行深加工和展示需求，平臺對通用數(shù)據(jù)進行了API封裝。API能力管控模塊可完成接口注冊、申請、管控、調(diào)用統(tǒng)計等功能。通過API封裝模塊，遠端系統(tǒng)可輕松地調(diào)用網(wǎng)絡大數(shù)據(jù)能力，極大地節(jié)約成本。

1.2 關鍵技術和創(chuàng)新

1.2.1 采集解碼層

（1）事前關聯(lián)回填技術

傳統(tǒng)信令回填為事后關聯(lián)回填，將各接口話單分別輸出后，再通過用戶關鍵信息（IMSI、用戶號碼等）進行綜合話單關聯(lián)合成，具有時延大、消耗大、效率低、無法提供實時計算等缺點。平臺的解碼層采用事前多接口關聯(lián)技術。具體以片區(qū)為單位，根據(jù)各接口協(xié)議創(chuàng)建不同解碼集群，各解碼集群同時將解碼到的用戶關鍵屬性信息和由業(yè)務邏輯生成的話單推送至合成服務器集群，由其負責實時把多個接口數(shù)據(jù)進行合成回填關鍵字段，最終合成單個用戶業(yè)務的全面呼叫記錄。應用事前多接口關聯(lián)技術實現(xiàn)了運營商業(yè)內(nèi)全球最大單系統(tǒng)實時處理2?000?Gbps信令關鍵字段回填率99.5%，話單輸出時延可達到秒級。

（2）統(tǒng)一DPI庫識別技術

在識別技術上，不僅保留IP五元組、HOST等傳統(tǒng)識別元素，且增加了UserAgent、ReferUri、Cookie等識別元素。業(yè)務側(cè)即便更改了傳統(tǒng)元素規(guī)則，只要其他識別元素未完全更改，業(yè)務識別就依然能夠生效。采用kNN算法和豐富的識別元素，對于采用動態(tài)IP地址、CDN域名的業(yè)務也能精準識別，因此可很好地保持識別時效性，提升識別覆蓋率。

在集成架構上，提出基于標準接口的輕耦合獨立封裝方式，實現(xiàn)識別和解碼功能的解耦合。在接口不變的情況下，只需調(diào)整識別模塊就可完成識別能力升級，不影響解碼的運作。由于使用標準接口，只要使用統(tǒng)一的嵌入式識別模塊，便可規(guī)范所有解碼層的識別結果，很好地解決異廠家間的識別差異問題。

1.2.2 模型共享層

（1）Kafka數(shù)據(jù)分發(fā)

Kafka 是一個基于發(fā)布訂閱的消息系統(tǒng)，適用于離線和在線消息消費，可由多個生產(chǎn)者和消費者共享主題。平臺的模型共享層使用了Kafka數(shù)據(jù)分發(fā)機制。信令XDR使用Kafka離線數(shù)據(jù)處理路徑為： XDR->Kafka->hdfs-MR，使用場景包括：各種小時、日粒度等指標統(tǒng)計等；使用Kafka實時數(shù)據(jù)處理路徑為XDR->Kafka->storm，使用場景如實時統(tǒng)計輸出客流人群等。

（2）Storm流計算框架

在同類的流式計算工具中，Storm性能出眾，能力開放平臺將Storm技術應用到用戶實時位置的處理上，具體流程是：共享層通過Kafka將MOSMS/ MTSMS/MOC/MTC/MM/HO/S1MME等7種XDR分發(fā)給Storm流處理結構，生成實時全量用戶位置快照，再以5分鐘為切片輸出，構成了所有位置類準實時和非實時應用的基礎。

HTTP Restful API接口封裝：根據(jù)數(shù)據(jù)量的大小以及用戶使用場景的不同，廣東移動運營團隊專門制定了Restful API實時響應接口和異步文件響應兩種接口的封裝和調(diào)用規(guī)范，以便將模型共享層寬表以最小化的數(shù)據(jù)集和能力提供給其他系統(tǒng)客戶。

1.2.3 能力開放層

（1）API管控框架：規(guī)劃了API接口管理者、發(fā)布者、可擴展的三種角色，提供了注冊授權、接口發(fā)布、接口訂閱、接口監(jiān)控和審計等功能，并采用了一種基于Nginx中間代理服務器的安全容災和可擴展架構，提供接口運行的安全性和穩(wěn)定性。

（2）數(shù)據(jù)目錄和自助服務：基于業(yè)務場景調(diào)研和數(shù)據(jù)理解，廣東移動數(shù)據(jù)運營團隊對能力開放平臺進行了頂層數(shù)據(jù)目錄設計，對場景進行了分類，并詳細解釋了分類下明細數(shù)據(jù)資產(chǎn)、模型的建立規(guī)則及輸出字段等等。這樣的設計使數(shù)據(jù)目錄具有無限拓展性，并可以根據(jù)字段條件性篩選，實現(xiàn)數(shù)據(jù)的自助服務。

1.3 安全性考慮

移動信令記錄了用戶位置、業(yè)務行為、終端等大量涉敏數(shù)據(jù)，因此能力開放平臺的安全性是系統(tǒng)設計的重中之重。系統(tǒng)安全加固主要體現(xiàn)在以下幾個方面。

1.3.1 系統(tǒng)接入安全性

作為重要的涉敏生產(chǎn)系統(tǒng)，首先部署在專用的生產(chǎn)用網(wǎng)管網(wǎng)內(nèi)，并強制啟用了4A單點認證，杜絕了不同系統(tǒng)之間繞行登錄的可能性，因此保證了系統(tǒng)的接入安全性。

1.3.2 數(shù)據(jù)操作和獲取安全性

系統(tǒng)強制任何人員對于敏感數(shù)據(jù)的訪問和操作，均啟用了4A金庫審批模式。用戶在進行涉敏數(shù)據(jù)操作時，系統(tǒng)會自動發(fā)短信到金庫審批人員手機上，在獲得授權后，才可以進行下一步操作。涉敏用戶數(shù)據(jù)生成的文件均啟用加密模式，密鑰只對數(shù)據(jù)需求者可見。

1.3.3 數(shù)據(jù)傳輸安全性

對于能力開放平臺的最終數(shù)據(jù)輸出，僅支持專網(wǎng)生產(chǎn)系統(tǒng)之間的FTP對接和后續(xù)分析使用，杜絕了敏感數(shù)據(jù)暴露在互聯(lián)網(wǎng)上；另一種是采用API接口對接，提供了同步、異步API調(diào)用模式，最小化使用數(shù)據(jù)。在API能力管控模塊，對接口進行接入審計，同時可清晰地監(jiān)控各個接口，并對異常調(diào)用接口產(chǎn)生告警。

2 網(wǎng)絡大數(shù)據(jù)能力開放平臺應用

應用最先進的大數(shù)據(jù)處理技術，通過數(shù)據(jù)商店和API接入兩種能力開放消費模式，用戶可獲取快速的數(shù)據(jù)響應。目前能力開放平臺月均提供API調(diào)用4?080萬次，平均數(shù)據(jù)響應在30?min以內(nèi)。該平臺已成為網(wǎng)絡和市場線最廣泛使用的系統(tǒng)之一，以下是典型的應用場景。

2.1 臺風應急保障

廣東是臺風高發(fā)地區(qū)，每次臺風來臨之前，應氣象局要求，網(wǎng)絡大數(shù)據(jù)能力開放平臺會準時提供各地市的本地和漫入號碼給客服中心進行客戶提醒。

2.2 實時客流監(jiān)控

近兩年來廣州春運指揮部現(xiàn)場，市交委“天眼”系統(tǒng)能夠以5?min間隔更新重點區(qū)域如廣州火車站、機場等重點區(qū)域的實時客流，通過對比平時該區(qū)域內(nèi)聚集人數(shù)的歷史數(shù)據(jù)，春運指揮部工作人員可快速判斷當前聚集人群數(shù)是否異常，其后臺數(shù)據(jù)就是通過廣東移動的實時客流API封裝提供的。

2.3 校園迎新支撐

每年校園迎新是運營商搶占市場的重中之重。結合校園歷史常駐用戶和實時新增漫入用戶數(shù)據(jù)進行建模，網(wǎng)絡大數(shù)據(jù)能力開放平臺能夠精確地定位新生數(shù)據(jù)，并進行針對性的營銷活動，給予最大優(yōu)惠政策爭取新客戶。

3 結束語

運營商的海量數(shù)據(jù)是一座巨大的寶藏，廣東移動能力開放平臺采用當前最先進的大數(shù)據(jù)處理技術進行數(shù)據(jù)建模和應用，提供了豐富多彩的數(shù)據(jù)種類和快速的數(shù)據(jù)響應，并通過自助服務和API接口極大地延伸應用范圍，提供了業(yè)界數(shù)據(jù)運營的一種可實踐的架構和運營模式。今后，能力開放平臺將在機器學習方面進一步探索，在安全的前提下發(fā)揮更大效益。

Practice of Open Platform for Network Big Data Capabilities

Chen Rongping Zhao Shuang

China Mobile Communications Corporation Guangdong Co., Ltd., Network Management Center, Guangdong Guangzhou 510623

Based on the characteristics of big data and business scenarios of operators, a loosely coupled system architecture is designed to apply massive data processing technology such as pre-message backfilling, unified DPI service identification, Kafka message distribution and Storm stream processing to deal with massive data of Guangdong Mobile, build synchronous, asynchronous API and data self-service mode to achieve network big data capabilities, and obtain fast, flexible and secure data response. The network big data capability open platform has been widely applied to multiple scenarios such as emergency support, real-time monitoring, and user marketing. It is a successful practice case for operators to open big data capabilities.

network big data; Kafka distribution; Storm stream processing; API; capability open

TP311.1

A

陳榮平，女，工程師，碩士畢業(yè)于北京郵電大學大學通信與信息系統(tǒng)專業(yè)，現(xiàn)就職于中國移動廣東公司網(wǎng)絡管理中心，主要研究方向為大數(shù)據(jù)挖掘、網(wǎng)絡能力開放。趙爽，女，工程師，碩士畢業(yè)于香港科技大學，現(xiàn)就職于中國移動廣東公司網(wǎng)絡管理中心，主要研究方向為大數(shù)據(jù)挖掘、網(wǎng)絡能力開放。