1 引言

隨著計算機技術(shù)和互聯(lián)網(wǎng)的飛速發(fā)展，催生了大數(shù)據(jù)時代的到來，大數(shù)據(jù)已經(jīng)進入了我們的生活，正在改變著我們的生活。大數(shù)據(jù)已遍布在世界的每一個角落，正在漸漸滲入各個行業(yè)，我們每個人都將與之息息相關(guān)。

我們正處在一個數(shù)據(jù)主宰一切的時代，大數(shù)據(jù)不但是資產(chǎn)也是一種工具，它可以反映用戶過去的行為軌跡，也可以預(yù)測用戶將來的行為傾向。對于企業(yè)來說，大數(shù)據(jù)技術(shù)的發(fā)展是一個機遇，合理的運用大數(shù)據(jù)將有助于企業(yè)洞察外部市場，適時做出外部市場與內(nèi)部的調(diào)整，提高決策速度和精準(zhǔn)度，也可以將數(shù)據(jù)進行變現(xiàn)轉(zhuǎn)化為企業(yè)價值。

移動互聯(lián)網(wǎng)的發(fā)展以及智能終端的普及，使電信運營商的大數(shù)據(jù)呈現(xiàn)爆炸式的增長。截至2018年底，三大運營商用戶規(guī)模突破15億，每天產(chǎn)生海量的業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)具有多樣性、實時性、安全性和準(zhǔn)確性的特點，數(shù)據(jù)質(zhì)量較高。

本文通過分析電信運營商的大數(shù)據(jù)資產(chǎn)，研究該如何掌握和運用這些數(shù)據(jù)資源，在提升運營商自身運維和運營能力的同時，將數(shù)據(jù)資產(chǎn)進行變現(xiàn)，尋找新的利潤增長點，從大數(shù)據(jù)中獲得收益。

2 運營商的大數(shù)據(jù)資源分析

電信運營商大數(shù)據(jù)經(jīng)過多年的積累，擁有諸如財務(wù)、業(yè)務(wù)量等結(jié)構(gòu)化數(shù)據(jù)，也有圖片、文本、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)。從運營商大數(shù)據(jù)來源看，有來自自身網(wǎng)絡(luò)產(chǎn)生的通信業(yè)務(wù)類、網(wǎng)絡(luò)信令類、資源類、告警類、設(shè)備性能類、互聯(lián)網(wǎng)內(nèi)容類、日志類等數(shù)據(jù)，也有從營銷渠道獲得的公眾客戶、政企客戶和家庭客戶的用戶數(shù)據(jù)、訂購數(shù)據(jù)、營銷數(shù)據(jù)、客服數(shù)據(jù)、終端數(shù)據(jù)等。用戶從開戶、充值到通話、短信、上網(wǎng)等使用通信服務(wù)的行為均產(chǎn)生了大量的數(shù)據(jù)，這些大數(shù)據(jù)被采集、關(guān)聯(lián)、合成處理后存儲在電信運營商的IT系統(tǒng)中。電信運營商建設(shè)的可用于采集數(shù)據(jù)的系統(tǒng)主要包括以下幾類：

（1）業(yè)務(wù)支撐系統(tǒng)

業(yè)務(wù)支撐系統(tǒng)主要是實現(xiàn)對電信業(yè)務(wù)、電信資費、電信營銷的管理，以及對客戶的管理和服務(wù)。業(yè)務(wù)支撐系統(tǒng)主要包括：業(yè)務(wù)運營支撐系統(tǒng)、客戶關(guān)系管理系統(tǒng)、業(yè)務(wù)支撐網(wǎng)運營管理系統(tǒng)、集團客戶業(yè)務(wù)綜合運營平臺、客服系統(tǒng)等。業(yè)務(wù)支撐系統(tǒng)產(chǎn)生并采集的數(shù)據(jù)包括用戶數(shù)據(jù)、訂購關(guān)系數(shù)據(jù)、話單數(shù)據(jù)、渠道數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、營銷數(shù)據(jù)、客服數(shù)據(jù)、終端數(shù)據(jù)等。

（2）網(wǎng)管支撐系統(tǒng)

網(wǎng)管支撐系統(tǒng)主要是實現(xiàn)運營商業(yè)務(wù)網(wǎng)絡(luò)開通管理、網(wǎng)絡(luò)資源調(diào)度、網(wǎng)絡(luò)數(shù)據(jù)配置、網(wǎng)絡(luò)與業(yè)務(wù)監(jiān)控、故障處理、網(wǎng)絡(luò)質(zhì)量分析、網(wǎng)絡(luò)優(yōu)化等。網(wǎng)管支撐系統(tǒng)主要包括：專業(yè)網(wǎng)管系統(tǒng)（話務(wù)網(wǎng)管、數(shù)據(jù)網(wǎng)管、傳輸網(wǎng)管）、綜合資源管理系統(tǒng)、電子運維系統(tǒng)、無線網(wǎng)優(yōu)平臺、故障管理系統(tǒng)、綜合分析系統(tǒng)、全業(yè)務(wù)支撐系統(tǒng)、信令監(jiān)測系統(tǒng)、自動撥測系統(tǒng)等。網(wǎng)管支撐系統(tǒng)產(chǎn)生并采集的數(shù)據(jù)包括運營商網(wǎng)絡(luò)的資源數(shù)據(jù)、性能數(shù)據(jù)、告警數(shù)據(jù)、MR數(shù)據(jù)、工單數(shù)據(jù)、信令數(shù)據(jù)等。

（3）管理信息系統(tǒng)

管理信息系統(tǒng)是面向企業(yè)管理的支撐系統(tǒng)，包括財務(wù)管理、人力資源、供應(yīng)鏈管理、辦公自動化、信息共享、管理決策支持、企業(yè)風(fēng)險管理等。管理信息系統(tǒng)主要包括：統(tǒng)一信息平臺、企業(yè)資源管理系統(tǒng)、合同管理系統(tǒng)、預(yù)算管理系統(tǒng)、電子采購系統(tǒng)、資產(chǎn)管理系統(tǒng)、預(yù)算管理系統(tǒng)等。管理信息系統(tǒng)產(chǎn)生并采集的數(shù)據(jù)包括人力資源數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、財務(wù)數(shù)據(jù)、合同數(shù)據(jù)、預(yù)算數(shù)據(jù)、銀行交互數(shù)據(jù)、投資數(shù)據(jù)等。

（4）DPI及日志留存系統(tǒng)

電信運營商DPI系統(tǒng)主要包括4G統(tǒng)一DPI系統(tǒng)和互聯(lián)網(wǎng)統(tǒng)一DPI系統(tǒng)，DPI系統(tǒng)主要是通過DPI設(shè)備對4G網(wǎng)絡(luò)及互聯(lián)網(wǎng)鏈路上的流量進行采集和識別，對上網(wǎng)數(shù)據(jù)包進行深度檢測，可以實現(xiàn)流量分析、日志合成、非法VoIP檢測等。日志留存系統(tǒng)包括上網(wǎng)日志留存系統(tǒng)、WLAN日志留存系統(tǒng)等，日志留存系統(tǒng)主要是對通過4G網(wǎng)絡(luò)、家庭寬帶、WLAN網(wǎng)絡(luò)等登錄互聯(lián)網(wǎng)的上網(wǎng)日志信息進行采集記錄。DPI及日志留存系統(tǒng)采集的數(shù)據(jù)主要包括位置數(shù)據(jù)、上網(wǎng)數(shù)據(jù)、開關(guān)機數(shù)據(jù)、流量數(shù)據(jù)、尋呼數(shù)據(jù)、漫游數(shù)據(jù)等。

（5）增值業(yè)務(wù)平臺

電信運營商增值業(yè)務(wù)平臺是在基本業(yè)務(wù)（話音業(yè)務(wù)）的基礎(chǔ)上，針對不同的用戶群和市場需求開通的可供用戶選擇使用的業(yè)務(wù)。增值業(yè)務(wù)平臺包括：12580綜合信息服務(wù)平臺、139郵箱業(yè)務(wù)平臺、MM平臺、和飛信業(yè)務(wù)平臺、手機報業(yè)務(wù)平臺、終端管理平臺、手機導(dǎo)航業(yè)務(wù)平臺、手機視頻業(yè)務(wù)平臺、手機閱讀平臺等。增值業(yè)務(wù)平臺產(chǎn)生的數(shù)據(jù)主要包括用戶數(shù)據(jù)、訂購數(shù)據(jù)、登錄數(shù)據(jù)、點擊數(shù)據(jù)、使用數(shù)據(jù)、數(shù)字內(nèi)容數(shù)據(jù)等。

電信運營商大數(shù)據(jù)資產(chǎn)統(tǒng)計情況如表1所示。

3 運營商大數(shù)據(jù)平臺建設(shè)方案

目前各行各業(yè)都在開展大數(shù)據(jù)管理，互聯(lián)網(wǎng)公司大數(shù)據(jù)已全面發(fā)力，開始涉足電信大數(shù)據(jù)傳統(tǒng)領(lǐng)域。京東通過大數(shù)據(jù)涉獵城市規(guī)劃，阿里巴巴通過大數(shù)據(jù)搶灘智慧城市，騰訊通過大數(shù)據(jù)布局政務(wù)行業(yè)，百度通過大數(shù)據(jù)涉足交通規(guī)劃，滴滴出行通過大數(shù)據(jù)探索園區(qū)規(guī)劃等等。

運營商該構(gòu)建怎樣的大數(shù)據(jù)平臺，應(yīng)用好大數(shù)據(jù)一方面提升企業(yè)自身的運維和運營能力，一方面拓展垂直行業(yè)的應(yīng)用，尋找新的利潤增長點，從大數(shù)據(jù)中獲得最大收益？下文將給出運營商大數(shù)據(jù)平臺的建設(shè)方案。

電信運營商建設(shè)的大數(shù)據(jù)平臺可采用如圖1所示的五層架構(gòu)：數(shù)據(jù)采集、計算中心、開放框架、門戶和運維管理。

表1 電信運營商大數(shù)據(jù)資產(chǎn)表

圖1 大數(shù)據(jù)平臺架構(gòu)圖

3.1 數(shù)據(jù)采集

數(shù)據(jù)采集層用于實現(xiàn)大數(shù)據(jù)平臺統(tǒng)一的任務(wù)調(diào)度和數(shù)據(jù)采集，數(shù)據(jù)采集層是大數(shù)據(jù)平臺的基礎(chǔ)，統(tǒng)一采集承擔(dān)整個集中化大數(shù)據(jù)平臺的各類源數(shù)據(jù)的采集，以及跨中心之間，跨平臺與租戶之間，跨異構(gòu)集群之間的多樣類型的數(shù)據(jù)轉(zhuǎn)換，統(tǒng)一數(shù)據(jù)入口、統(tǒng)一接口數(shù)據(jù)的存儲與分發(fā)，同時保障數(shù)據(jù)入口安全、外部用戶使用數(shù)據(jù)資產(chǎn)的管理等職責(zé)。

針對不同類型的數(shù)據(jù)源，采用不同的數(shù)據(jù)采集技術(shù)，分析及建議如下：

對于離線的文件數(shù)據(jù)、合成的XDR數(shù)據(jù)等可采用FTP方式進行采集，F(xiàn)TP技術(shù)可支持斷點續(xù)傳、異構(gòu)網(wǎng)絡(luò)之間的文件傳送特性，具有操作簡單、安全性高、使用方便等優(yōu)點；對于日志數(shù)據(jù)可采用Flume技術(shù)進行采集，F(xiàn)lume是一個提供高可用、高可靠，可分布式處理海量日志采集、聚合和傳輸?shù)南到y(tǒng)，具有效率高、擴展性強的特性；對于DPI實時信令數(shù)據(jù)可采用DPDK技術(shù)、kafka流處理技術(shù)等進行采集，DPDK是用于快速數(shù)據(jù)包處理的函數(shù)庫與驅(qū)動集合，可以極大提高數(shù)據(jù)處理性能和吞吐量；Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)，可用于互聯(lián)網(wǎng)DPI系統(tǒng)數(shù)據(jù)采集；對于文本搜索和WEB網(wǎng)頁爬蟲可采用Nutch技術(shù)，Nutch是一個開源的搜索引擎，可提供搜索引擎所需的全部工具。

3.2 計算中心

計算中心層主要是對數(shù)據(jù)采集層提供的原始數(shù)據(jù)進行抽取、轉(zhuǎn)換和加載處理，以及對數(shù)據(jù)進行關(guān)聯(lián)整合，形成標(biāo)準(zhǔn)化、模型化的數(shù)據(jù)，用于支撐上層應(yīng)用開發(fā)。計算中心層是大數(shù)據(jù)平臺的核心，建議采用Hadoop和MPP等技術(shù)對非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)進行分布式計算和存儲。

計算中心層承擔(dān)著對數(shù)據(jù)進行關(guān)聯(lián)、模型化和標(biāo)簽化處理的任務(wù)，生成針對企業(yè)自身運營、網(wǎng)絡(luò)維護、網(wǎng)絡(luò)優(yōu)化以及面向政府、金融、教育、交通、零售、旅游等不同垂直行業(yè)應(yīng)用的數(shù)據(jù)集，通過計算中心層對各類數(shù)據(jù)集定義標(biāo)簽，建立標(biāo)簽庫和模型庫，引入寬帶信令、互聯(lián)網(wǎng)內(nèi)容信令、外部數(shù)據(jù)等內(nèi)容，借助大數(shù)據(jù)化思維方式，對客戶標(biāo)簽進行優(yōu)化和擴展，更好地為市場、客服、政企等部門提供數(shù)據(jù)支撐，補充對外應(yīng)用標(biāo)簽，拓展外部合作領(lǐng)域的支撐。數(shù)據(jù)集的標(biāo)簽可按以下分類：

數(shù)據(jù)集分類：基本類（職業(yè)類）、互聯(lián)網(wǎng)類、位置類、業(yè)務(wù)類、行業(yè)類、網(wǎng)絡(luò)感知類、渠道類、營銷活動類、服務(wù)類、終端類、消費價值類等。

計算中心層對數(shù)據(jù)進行分類存儲，方便上層應(yīng)用的調(diào)取和提供數(shù)據(jù)共享，計算中心層產(chǎn)生的數(shù)據(jù)直接關(guān)系到上層應(yīng)用的開發(fā)和運營商數(shù)據(jù)價值的體現(xiàn)。

3.3 開放框架

開放框架層主要根據(jù)不同的數(shù)據(jù)集進行應(yīng)用開發(fā)，通過門戶對內(nèi)外部使用客戶提供豐富的數(shù)據(jù)服務(wù)、工具服務(wù)和應(yīng)用服務(wù)等。

開放框架層是大數(shù)據(jù)平臺價值體現(xiàn)的關(guān)鍵環(huán)節(jié)，電信運營商盡量擺脫通道的命運，不建議將數(shù)據(jù)資源直接開放給行業(yè)用戶或互聯(lián)網(wǎng)公司，為了數(shù)據(jù)價值的最大化，建議采用微服務(wù)開發(fā)的方式將數(shù)據(jù)進行包裝，與其他領(lǐng)域開展跨行業(yè)的合作或者直接開發(fā)應(yīng)用面向終端用戶。微服務(wù)具備設(shè)計和編排的能力，設(shè)計包括資源、軟件、配置數(shù)據(jù)、內(nèi)容策略、分析策略和安全策略等，并基于這些對象構(gòu)建完整的、規(guī)范化的“元數(shù)據(jù)”；編排主要為根據(jù)設(shè)計輸出的模型，構(gòu)建完整的網(wǎng)絡(luò)服務(wù)，包括資源實例化、內(nèi)容調(diào)度、分析策略的設(shè)置、安全策略的設(shè)置等過程。

對企業(yè)內(nèi)部應(yīng)用，開發(fā)面向精準(zhǔn)營銷、網(wǎng)絡(luò)維護、網(wǎng)絡(luò)優(yōu)化、方案制作、資源管理、客戶服務(wù)等方面的微服務(wù)，用于提升網(wǎng)絡(luò)質(zhì)量、降低運營運維成本、提高工作效率和增強客戶體驗。

對垂直行業(yè)客戶開發(fā)面向交通、教育、旅游、民生、公檢法、商貿(mào)、金融等方面的微服務(wù)，供第三方購買；包括：智慧氣象、智慧旅游、和信用積分、行業(yè)內(nèi)容解析、智慧公安、金融風(fēng)控等銀行、政府、旅游行業(yè)類微服務(wù)，以“多租戶”的方式向相關(guān)廠商開放。

或者通過引入其他領(lǐng)域數(shù)據(jù)，對終端用戶開發(fā)征信、零售、廣告推薦、智慧家庭、支付、位置服務(wù)、多媒體等方面的微服務(wù)，提高企業(yè)收入的同時也可以增強客戶粘性，提升企業(yè)競爭力。

3.4 門戶

門戶是企業(yè)員工、政企客戶和終端用戶訪問大數(shù)據(jù)平臺的統(tǒng)一入口，具有用戶權(quán)限管理、日志管理和應(yīng)用接入管理等功能。大數(shù)據(jù)平臺通過門戶對外提供大數(shù)據(jù)微服務(wù)和大數(shù)據(jù)應(yīng)用，門戶是大數(shù)據(jù)平臺與用戶的接口，直接影響大數(shù)據(jù)平臺對外服務(wù)的使用效果和用戶體驗。門戶要根據(jù)不同的用戶群體對服務(wù)應(yīng)用進行分類布局，對外服務(wù)提供統(tǒng)一標(biāo)準(zhǔn)的接口，方便用戶服務(wù)調(diào)取。運營商還可以根據(jù)需要在門戶上體現(xiàn)大數(shù)據(jù)微服務(wù)及應(yīng)用的使用原則、使用方法、資費標(biāo)準(zhǔn)等內(nèi)容，便于用戶對大數(shù)據(jù)平臺的了解。

門戶需要具備管理全可視，系統(tǒng)將所有的流程通過可視化方式呈現(xiàn)出來。

3.5 運維管理

運維管理層是實現(xiàn)大數(shù)據(jù)平臺的統(tǒng)一運維管理，提供數(shù)據(jù)治理的工具。運營商可通過運維管理層制定數(shù)據(jù)標(biāo)準(zhǔn)，保障數(shù)據(jù)質(zhì)量和安全，同時監(jiān)控大數(shù)據(jù)平臺數(shù)據(jù)資源使用情況和告警管理；通過運維管理層制定國家政策法規(guī)允許范圍內(nèi)的數(shù)據(jù)開放權(quán)限，明確數(shù)據(jù)開放規(guī)則，保障數(shù)據(jù)開放合法合規(guī)，對數(shù)據(jù)進行加密和去隱私化處理，實現(xiàn)數(shù)據(jù)開放風(fēng)險管控。建議引入AI技術(shù)來提升運維和運營的智能化。

4 結(jié)束語

電信運營商的大數(shù)據(jù)資源具有規(guī)模大、質(zhì)量高、覆蓋廣、種類多、場景全的特點，運營商要利用好這些優(yōu)勢，積極應(yīng)對激烈的市場競爭，開發(fā)優(yōu)質(zhì)的數(shù)據(jù)類服務(wù)，應(yīng)用全行業(yè)鋪開，百花齊放。同時要縮短項目決策和建設(shè)流程，實現(xiàn)應(yīng)用快速上線，在大數(shù)據(jù)不斷迎來政策利好的背景下，切實把握好大數(shù)據(jù)產(chǎn)業(yè)發(fā)展機遇，第一時間爭奪客戶群體，搶占大數(shù)據(jù)市場。