周龍，譚群芳，項暉

（湖南省郵電規(guī)劃設(shè)計院有限公司，長沙 410001）

運(yùn)營商大數(shù)據(jù)平臺建設(shè)思路

周龍，譚群芳，項暉

（湖南省郵電規(guī)劃設(shè)計院有限公司，長沙 410001）

本文結(jié)合大數(shù)據(jù)時代電信運(yùn)營商互聯(lián)網(wǎng)化轉(zhuǎn)型的背景，從大數(shù)據(jù)促進(jìn)企業(yè)智慧運(yùn)營以及實現(xiàn)數(shù)據(jù)資產(chǎn)變現(xiàn)的需求出發(fā)，分析了運(yùn)營商大數(shù)據(jù)平臺建設(shè)業(yè)務(wù)目標(biāo)和技術(shù)目標(biāo)，提出了運(yùn)營商企業(yè)級大數(shù)據(jù)平臺的總體架構(gòu)、數(shù)據(jù)架構(gòu)及應(yīng)用架構(gòu)。

流量經(jīng)營；支撐系統(tǒng)；大數(shù)據(jù)

1 背景及業(yè)務(wù)驅(qū)動力

隨著移動互聯(lián)網(wǎng)飛速發(fā)展，催生“大數(shù)據(jù)時代”的到來。各種智能移動設(shè)備的迅速普及，帶來海量數(shù)據(jù)的爆炸式增長。運(yùn)營商作為數(shù)據(jù)管道，本身擁有眾多的數(shù)據(jù)資源，既包括后端網(wǎng)絡(luò)運(yùn)行數(shù)據(jù)，也包括前端用戶特征數(shù)據(jù)等，這些數(shù)據(jù)準(zhǔn)確、全面的反映了網(wǎng)絡(luò)和用戶的行為特征，成為發(fā)展大數(shù)據(jù)的先天性優(yōu)勢。國內(nèi)各大運(yùn)營商在近期轉(zhuǎn)型戰(zhàn)略中都提出使數(shù)據(jù)資產(chǎn)化和價值化成為企業(yè)的核心競爭力。

中國電信企業(yè)轉(zhuǎn)型升級戰(zhàn)略（轉(zhuǎn)型3.0）提出對企業(yè)內(nèi)外部數(shù)據(jù)資源進(jìn)行深度挖掘、價值呈現(xiàn)，通過注入大數(shù)據(jù)應(yīng)用、集約支撐服務(wù)等要素，建設(shè)用戶導(dǎo)向的一體化智能運(yùn)營體系，實現(xiàn)運(yùn)營智慧化。

中國移動技術(shù)愿景2020希望提供數(shù)據(jù)資產(chǎn)運(yùn)營，開啟認(rèn)知計算新時代。作為知識服務(wù)提供商，數(shù)據(jù)資產(chǎn)運(yùn)營商，提供無所不知、實時精確的知識服務(wù)及數(shù)據(jù)資產(chǎn)運(yùn)營服務(wù)。

中國聯(lián)通CUBE-Net2.0倡導(dǎo)建立統(tǒng)一的大數(shù)據(jù)平臺，實現(xiàn)對用戶數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)的集中管理，在此基礎(chǔ)上根據(jù)需要逐步挖掘和應(yīng)用數(shù)據(jù)資源，并進(jìn)一步實現(xiàn)數(shù)據(jù)資源和數(shù)據(jù)能力的開放。

在大數(shù)據(jù)時代背景下，現(xiàn)有的運(yùn)營商數(shù)據(jù)域系統(tǒng)很難實現(xiàn)數(shù)據(jù)資產(chǎn)化和價值化的運(yùn)營的目標(biāo)，如平臺橫向擴(kuò)展能力不強(qiáng)，數(shù)據(jù)整合與開放能力不足，數(shù)據(jù)統(tǒng)一采集與模型管理能力欠缺，數(shù)據(jù)應(yīng)用煙囪式建設(shè)，缺乏大數(shù)據(jù)分析挖掘能力等問題已無法應(yīng)對海量數(shù)據(jù)的引入和創(chuàng)新型應(yīng)用的發(fā)展。

根據(jù)戰(zhàn)略轉(zhuǎn)型需求，運(yùn)營商企業(yè)級大數(shù)據(jù)平臺的建設(shè)必須逐漸轉(zhuǎn)向以客戶和消費者為中心的運(yùn)營體系，引入新技術(shù)，實現(xiàn)企業(yè)級網(wǎng)絡(luò)、業(yè)務(wù)、管理數(shù)據(jù)整合，數(shù)據(jù)和應(yīng)用的深度解耦，完善數(shù)據(jù)安全體系，推進(jìn)模式的創(chuàng)新，實現(xiàn)數(shù)據(jù)資產(chǎn)的管理和變現(xiàn)。

2 運(yùn)營商大數(shù)據(jù)平臺建設(shè)目標(biāo)分析

2.1 業(yè)務(wù)目標(biāo)

企業(yè)級大數(shù)據(jù)平臺安全連接企業(yè)內(nèi)外部各種數(shù)據(jù)，滿足各種數(shù)據(jù)應(yīng)用場景和業(yè)務(wù)需求，并最終實現(xiàn)以下業(yè)務(wù)目標(biāo)。

2.1.1 融合數(shù)據(jù)—提供全面融合的數(shù)據(jù)資產(chǎn)

匯聚業(yè)務(wù)、管理、網(wǎng)絡(luò)和互聯(lián)網(wǎng)等數(shù)據(jù)，通過大數(shù)據(jù)平臺解析處理，最終形成以客戶為中心和以企業(yè)為中心的兩類全景化數(shù)據(jù)資產(chǎn)視圖，具備還原客戶和企業(yè)業(yè)務(wù)場景的能力。

2.1.2 及時數(shù)據(jù)—提供及時可用的數(shù)據(jù)資產(chǎn)

通過不斷增強(qiáng)企業(yè)數(shù)據(jù)中心實時采集、實時計算和實時共享能力，不斷壓縮實際業(yè)務(wù)發(fā)生時間和數(shù)據(jù)可用之間的時間窗口；同時重點聚焦專題看數(shù)、領(lǐng)導(dǎo)視窗、集團(tuán)上報和實時營銷涉及數(shù)據(jù)的實時能力的提升。

2.1.3 有效數(shù)據(jù)—提供統(tǒng)一優(yōu)質(zhì)的數(shù)據(jù)資產(chǎn)

形成涵蓋整合層、匯總層和應(yīng)用層的模型統(tǒng)一、指標(biāo)統(tǒng)一、維度統(tǒng)一的高質(zhì)量的數(shù)據(jù)資產(chǎn)能力。

2.1.4 靈活數(shù)據(jù)—提供便捷多樣的數(shù)據(jù)應(yīng)用支撐

充分平衡數(shù)據(jù)的標(biāo)準(zhǔn)化要求和個性化需求，企業(yè)數(shù)據(jù)中心將在量化層面統(tǒng)一標(biāo)準(zhǔn)的基礎(chǔ)上，通過自助標(biāo)簽、自助指標(biāo)、自助取數(shù)、自助分析、自助挖掘的方式，滿足各業(yè)務(wù)部門數(shù)據(jù)定性的多元化需求。

2.1.5 可視數(shù)據(jù)—提供可感知的數(shù)據(jù)可視化能力

通過集中客戶視圖、數(shù)據(jù)展現(xiàn)界面移動互聯(lián)網(wǎng)化等舉措，實現(xiàn)企業(yè)數(shù)據(jù)中心價值呈現(xiàn)。

2.2 技術(shù)目標(biāo)

企業(yè)級大數(shù)據(jù)平臺實現(xiàn)企業(yè)數(shù)據(jù)的集約化匯聚和架構(gòu)處理，形統(tǒng)一匯聚、統(tǒng)一整合、統(tǒng)一匯總和統(tǒng)一計算能力，重點實現(xiàn)以下的技術(shù)目標(biāo)。

2.2.1 通過合理的架構(gòu)設(shè)計與技術(shù)選型，打造“互聯(lián)網(wǎng)化”的平臺基礎(chǔ)能力

（1) 海量數(shù)據(jù)處理能力，對于海量、快速增長數(shù)據(jù)（如詳單數(shù)據(jù)、信令數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)）處理能力。

（2) 實時處理能力，實時/準(zhǔn)實時數(shù)據(jù)處理能力，支撐實時營銷等業(yè)務(wù)場景，具備交互式運(yùn)營智能。

（3) 大范圍數(shù)據(jù)存儲能力，橫向網(wǎng)絡(luò)類數(shù)據(jù)的有效融合，保證數(shù)據(jù)模型的完整性；縱向歷史數(shù)據(jù)的存儲，滿足長周期深度趨勢分析的業(yè)務(wù)需求。

（4) 大數(shù)據(jù)探索分析能力：分布式處理機(jī)制，實現(xiàn)路徑分析、社交網(wǎng)絡(luò)分析等基于大數(shù)據(jù)的探索分析，快速試錯和交互式數(shù)據(jù)探索分析能力，跨平臺的融合分析能力。

（5) 數(shù)據(jù)深度挖掘分析能力：快速響應(yīng)數(shù)據(jù)挖掘和專題分析的業(yè)務(wù)需求；形成數(shù)據(jù)挖掘分析體系，挖掘分析結(jié)果有效的沉淀和固化，面向一線業(yè)務(wù)的支撐能力。

（6) 系統(tǒng)擴(kuò)展能力：系統(tǒng)水平擴(kuò)展能力，降低系統(tǒng)的整體建設(shè)成本。

2.2.2 通過能力標(biāo)準(zhǔn)化封裝與開放,實現(xiàn)“數(shù)據(jù)與應(yīng)用深度解耦”的數(shù)據(jù)生態(tài)體系

（1）適應(yīng)數(shù)據(jù)爆炸和產(chǎn)品快速迭代的要求。

(2）實現(xiàn)底層平臺/數(shù)據(jù)資產(chǎn)和上層應(yīng)用能力之間的深度解耦。

(3）通過能力開放門戶展現(xiàn)底層的平臺和數(shù)據(jù)能力。

(4）通過能力中心連接底層能力和上層應(yīng)用。

(5）實現(xiàn)以”極速、低成本、高質(zhì)量”要求來響應(yīng)海量的內(nèi)外部客戶的個性化數(shù)據(jù)應(yīng)用需求。

(6）建立面向“大數(shù)據(jù)平臺+應(yīng)用開發(fā)商+數(shù)據(jù)供應(yīng)商+數(shù)據(jù)消費者”的互利共贏的數(shù)據(jù)生態(tài)圈。

2.2.3 通過與數(shù)據(jù)管理平臺緊密配合,實現(xiàn)“生產(chǎn)與管控適度分離”的數(shù)據(jù)質(zhì)量與安全保障體系

(1）加強(qiáng)跨層級的端到端的數(shù)據(jù)質(zhì)量管理，實現(xiàn)全流程全業(yè)務(wù)的數(shù)據(jù)調(diào)度，完善數(shù)據(jù)監(jiān)控和稽核。

(2）加強(qiáng)數(shù)據(jù)運(yùn)營管控，做好數(shù)據(jù)源異動預(yù)警，增強(qiáng)數(shù)據(jù)處理的流程監(jiān)控，及時發(fā)布結(jié)果數(shù)據(jù)，全面提升企業(yè)數(shù)據(jù)質(zhì)量。

(3）加強(qiáng)對前后端用戶訪問權(quán)限的控制與管理，對敏感數(shù)據(jù)的訪問控制和訪問軌跡進(jìn)行跟蹤，保障數(shù)據(jù)安全。

3 運(yùn)營商大數(shù)據(jù)平臺建設(shè)思路

3.1 平臺總體架構(gòu)

企業(yè)級大數(shù)據(jù)平臺總體架構(gòu)如圖1所示，主要分為數(shù)據(jù)處理中心、數(shù)據(jù)管理平臺、數(shù)據(jù)應(yīng)用超市3部分，其中數(shù)據(jù)處理中心包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用4個模塊。

圖1 大數(shù)據(jù)平臺總體架構(gòu)圖

數(shù)據(jù)采集與處理：以實時或離線采集的方式匯聚BSS/OSS/網(wǎng)絡(luò)側(cè)等不同來源的數(shù)據(jù)，對采集到的數(shù)據(jù)進(jìn)行清洗、數(shù)據(jù)校驗轉(zhuǎn)換、根據(jù)數(shù)據(jù)管理中的規(guī)則分層分類進(jìn)行處理，將數(shù)據(jù)加工成價值的產(chǎn)品對外共享。

數(shù)據(jù)服務(wù)：以數(shù)據(jù)價值為核心，通過數(shù)據(jù)的能力封裝，采用開發(fā)API、數(shù)據(jù)分發(fā)、文件接口、消息服務(wù)、即席查詢等技術(shù)手段，構(gòu)建能力開放服務(wù)，對內(nèi)部各類應(yīng)用、業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)及技術(shù)能力的共享服務(wù)，對外部應(yīng)用、第三方合作伙伴提供數(shù)據(jù)及技術(shù)能力的開發(fā)服務(wù)，最大化發(fā)揮數(shù)據(jù)價值，支撐企業(yè)內(nèi)部經(jīng)營決策分析并實現(xiàn)數(shù)據(jù)價值變現(xiàn)。

數(shù)據(jù)應(yīng)用：是構(gòu)建在數(shù)據(jù)服務(wù)上的具體數(shù)據(jù)訪問應(yīng)用，如運(yùn)營分析、財務(wù)分析、網(wǎng)優(yōu)分析、清單查詢、位置服務(wù)、行業(yè)報告等。

數(shù)據(jù)應(yīng)用超市：提供企業(yè)級統(tǒng)一的訪問數(shù)據(jù)應(yīng)用的入口，包括對內(nèi)部和外部的各種應(yīng)用，便于應(yīng)用的集中化管理。

數(shù)據(jù)管理平臺：以元數(shù)據(jù)為驅(qū)動，建立面向企業(yè)級數(shù)據(jù)中心的完整數(shù)據(jù)治理體系。從組織架構(gòu)、系統(tǒng)功能等方面增強(qiáng)數(shù)據(jù)宏觀管控，并實現(xiàn)包括數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等全方位精細(xì)化管理。

3.2 平臺數(shù)據(jù)架構(gòu)

企業(yè)級大數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)如圖2所示，主要分為應(yīng)用層、匯總層、中間層、整合層、接口層等5部分。

應(yīng)用層：通過表、視圖、文件、消息等方式為各級各層用戶提供應(yīng)用支持。

匯總層：存儲根據(jù)管理和客戶視角形成的企業(yè)統(tǒng)計、營銷、匯總數(shù)據(jù)。分為指標(biāo)、標(biāo)簽、應(yīng)用寬表。

中間層：按應(yīng)用主題整合數(shù)據(jù)，模型間松耦合設(shè)計，分為基礎(chǔ)寬表、屬性、維表。

整合層：將來源于接口采集的數(shù)據(jù)經(jīng)過統(tǒng)一清洗、編碼轉(zhuǎn)換、整合后形成。

接口層：存儲的是從源系統(tǒng)采集的數(shù)據(jù)，數(shù)據(jù)模型與外圍系統(tǒng)基本保持一致。

3.3 平臺應(yīng)用架構(gòu)

企業(yè)級大數(shù)據(jù)平臺應(yīng)用架構(gòu)如圖3所示，通過構(gòu)建數(shù)據(jù)能力生成與開放體系，形成開放、協(xié)同、完善的大數(shù)據(jù)生態(tài)環(huán)境和生態(tài)圈，提升數(shù)據(jù)服務(wù)能力共享，價值創(chuàng)造和變現(xiàn)能力，助力運(yùn)營商實現(xiàn)數(shù)據(jù)服務(wù)一點共享、價值變現(xiàn)、降本增效的目標(biāo)。

圖2 大數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)圖

圖3 大數(shù)據(jù)平臺應(yīng)用架構(gòu)圖

統(tǒng)一接入：統(tǒng)一內(nèi)外部用戶的接入控制和運(yùn)營管理，包括接入的方式、認(rèn)證、識別、權(quán)限、流量控制。

統(tǒng)一服務(wù)：標(biāo)準(zhǔn)化服務(wù)能力和運(yùn)營流程，通過運(yùn)營商能力開放平臺將大數(shù)據(jù)域的核心能力按標(biāo)準(zhǔn)化的產(chǎn)品進(jìn)行開放。

統(tǒng)一管控：實現(xiàn)大數(shù)據(jù)平臺集中的、標(biāo)準(zhǔn)的安全管控，對接口進(jìn)行封裝和提供、業(yè)務(wù)應(yīng)用的調(diào)用進(jìn)行統(tǒng)一安全管控。

3.4 平臺分階段建設(shè)思路

3.4.1 近期建設(shè)內(nèi)容

平臺架構(gòu)：建立基于Hadoop的企業(yè)級ETL平臺，具備多源異構(gòu)數(shù)據(jù)采集能力。完成分層模型（接口層-整合層-中間層-匯總層）設(shè)計與實施。建設(shè)分布式文件系統(tǒng)、內(nèi)存數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫等多種存儲框架和MR、Spark、Storm、分布式內(nèi)存等多種批處理、準(zhǔn)實時和實時處理的計算框架。實現(xiàn)主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、指標(biāo)庫、調(diào)度監(jiān)控的系統(tǒng)能力。

數(shù)據(jù)模型：完成M、B、O等域及網(wǎng)絡(luò)側(cè)核心數(shù)據(jù)采集匯聚；基于人口屬性、電信業(yè)務(wù)、行為偏好、征信和位置等數(shù)據(jù)，形成客戶標(biāo)簽庫。提升大數(shù)據(jù)挖掘和建模能力對精準(zhǔn)營銷等的支撐。

應(yīng)用建設(shè)：大數(shù)據(jù)征信能力建設(shè)與應(yīng)用，基于大數(shù)據(jù)的客戶精準(zhǔn)營銷與智能客服，基于全網(wǎng)多維數(shù)據(jù)的網(wǎng)絡(luò)效益評估，基于網(wǎng)絡(luò)大數(shù)據(jù)的廣告欺詐等騷擾電話識別、客戶體驗分析等。

團(tuán)隊建設(shè)：建設(shè)與大數(shù)據(jù)資產(chǎn)運(yùn)營相適應(yīng)的組織架構(gòu)，制定數(shù)據(jù)模型建設(shè)流程與規(guī)范，制定數(shù)據(jù)資產(chǎn)開放流程與規(guī)范。

3.4.2 中遠(yuǎn)期建設(shè)內(nèi)容

平臺架構(gòu)：建設(shè)實時處理平臺，引入Kafka+流式計算框架和實時消息處理機(jī)制，具備實時采集能力；采用Flume技術(shù)實現(xiàn)日志采集，采用Nutch技術(shù)實現(xiàn)分布式爬蟲。完善和優(yōu)化分層架構(gòu)，具備實時數(shù)據(jù)處理模型分層框架。引入分布式緩存，提升流計算性能。完善主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、指標(biāo)庫、調(diào)度監(jiān)控的系統(tǒng)能力。提供靈活的API，具備服務(wù)開放能力；提供定制的門戶，具備應(yīng)用開放能力；提供數(shù)據(jù)沙箱，具備數(shù)據(jù)開放能力。

數(shù)據(jù)模型：基本完成內(nèi)部數(shù)據(jù)采集匯聚，同時根據(jù)應(yīng)用需要引入政府公共機(jī)構(gòu)、社交媒體、電商等數(shù)據(jù)，完善客戶標(biāo)簽庫，形成立體化精準(zhǔn)客戶畫像能力。大數(shù)據(jù)精準(zhǔn)營銷支撐實現(xiàn)全覆蓋。

應(yīng)用建設(shè)：建立以客戶感知為核心的全周期、全流程、全渠道的客戶體驗閉環(huán)管理。全面構(gòu)建客戶價值提升和維系挽留模型，實現(xiàn)大數(shù)據(jù)精準(zhǔn)實時營銷支撐全覆蓋。開發(fā)大數(shù)據(jù)變現(xiàn)產(chǎn)品。

團(tuán)隊建設(shè)：加強(qiáng)專業(yè)化人才隊伍建設(shè)，制定大數(shù)據(jù)產(chǎn)品運(yùn)營流程和規(guī)范。

4 結(jié)論

為了適應(yīng)互聯(lián)網(wǎng)時代的數(shù)據(jù)化市場經(jīng)營、企業(yè)管理、精細(xì)運(yùn)營和企業(yè)數(shù)據(jù)價值變現(xiàn)的需要，通過搭建數(shù)據(jù)融合集約、能力開放共享、應(yīng)用多樣的企業(yè)級數(shù)據(jù)平臺，實現(xiàn)運(yùn)營商企業(yè)數(shù)據(jù)資產(chǎn)以集約、標(biāo)準(zhǔn)、高效、高質(zhì)、安全的方式進(jìn)行匯聚、加工、共享和應(yīng)用。

[1] 劉潔. 基于大數(shù)據(jù)的電信運(yùn)營商業(yè)務(wù)精確運(yùn)營平臺的構(gòu)建[J].電信科學(xué), 2013(3).

[2] 陳淑梅. 移動運(yùn)營商的大數(shù)據(jù)發(fā)展策略研究[J]. 信息通信,2014(6).

[3] 陳娜. 基于Hadoop的電信BSS大數(shù)據(jù)平臺建設(shè)研究[J]. 電信科學(xué), 2013(3).

[4] 吳朱華. 云計算核心技術(shù)剖析[M]. 北京：人民郵電出版社，2011.

[5] 李長連，王穎楠，周大勇. 電信業(yè)務(wù)支撐系統(tǒng)云化策略與方案研究[J]. 郵電設(shè)計技術(shù)，2012(7):25-30.

[6] 淘寶分布式服務(wù)框架[EB/OL]. [2014-3-11]. http://alibaba.github.io/dubbo-doc-static/Home-zh.htm

AbstractCombine the background of the strategic transformation of the telecom operators ,this paper analyzes the operational objectives and technical objectives of the operators' big data platform, which is based on the demand to promote the enterprise's intelligent operation and realize the realization of the data assets.The paper also propose the overall architecture of the data platform, data architecture and application architecture.

Keywordsflow management; support system; big data

Discussing thought of big data platform's construction for telecom operators

ZHOU Long, TAN Qun-fang, XIANG Hui
(Hunan planing and designing institute of post and telecommunications Co., Ltd., Changsha 410001, China)

TP301

A

1008-5599（2017）10-0068-05

2017-04-11