吳濤，劉韜，王斌

?

安徽聯(lián)通企業(yè)級大數(shù)據(jù)平臺構(gòu)建及應(yīng)用實踐

吳濤，劉韜，王斌

（中國聯(lián)合網(wǎng)絡(luò)通信有限公司安徽分公司，安徽 合肥 230069）

完整地總結(jié)了中國聯(lián)合網(wǎng)絡(luò)通信有限公司安徽分公司建設(shè)大數(shù)據(jù)面對的挑戰(zhàn)和機遇以及通過快速構(gòu)建B/O域融合的智慧運營平臺累積的跨域數(shù)據(jù)多維度、多層次融合治理經(jīng)驗。此外，安徽聯(lián)通還對用戶離網(wǎng)預(yù)測進行了深入研究，通過大數(shù)據(jù)平臺構(gòu)建離網(wǎng)預(yù)測模型，實現(xiàn)離網(wǎng)預(yù)測模型查準(zhǔn)率90%、查全率9%的突破，并通過提升用戶感知等應(yīng)用深入推廣大數(shù)據(jù)在各領(lǐng)域的融合應(yīng)用，對內(nèi)提升了運營效率，實現(xiàn)了NOC（network operations center，網(wǎng)絡(luò)運維中心）向SOC（service operations center，業(yè)務(wù)運營中心）的轉(zhuǎn)型。

運營商大數(shù)據(jù)；B/O域數(shù)據(jù)融合；離網(wǎng)預(yù)測大數(shù)據(jù)應(yīng)用；NOC向SOC的轉(zhuǎn)型

1 引言

2015年中國政府提出“互聯(lián)網(wǎng)+行動計劃”，互聯(lián)網(wǎng)化已經(jīng)成為各個傳統(tǒng)行業(yè)升級和創(chuàng)新商業(yè)模式最重要的議題?！盎ヂ?lián)網(wǎng)+”時代的到來，不僅在改善和提升用戶體驗上發(fā)揮作用，也將誕生海量的數(shù)據(jù)資產(chǎn)。根據(jù)愛立信的報告，2020年大數(shù)據(jù)的產(chǎn)生量將接近目前的10倍，大數(shù)據(jù)的激增以及各類大數(shù)據(jù)的融合使得大數(shù)據(jù)的大規(guī)模商業(yè)化和落地成為可能[1]。

2 運營商發(fā)展大數(shù)據(jù)的優(yōu)勢

電信運營商發(fā)展大數(shù)據(jù)具有天然的優(yōu)勢，主要體現(xiàn)為數(shù)據(jù)資源的豐富性、完整性和連續(xù)性。

? ? 豐富性：主要指運營商擁有的數(shù)據(jù)涉及范圍廣，不但涉及財務(wù)收入、業(yè)務(wù)發(fā)展量等結(jié)構(gòu)化數(shù)據(jù)，也會涉及圖片、文本、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)量級已從TB（1 012 GB）發(fā)展至PB乃至ZB。

? ? 完整性：主要指運營商擁有的數(shù)據(jù)涵蓋全業(yè)務(wù)、全用戶和全渠道，數(shù)據(jù)信息完整。

? ? 連續(xù)性：主要指運營商擁有的數(shù)據(jù)記錄周期長，數(shù)據(jù)延續(xù)性好，覆蓋用戶從入網(wǎng)到離網(wǎng)前的全生命周期[2]。

3 安徽聯(lián)通建設(shè)大數(shù)據(jù)的現(xiàn)狀及挑戰(zhàn)

大數(shù)據(jù)給電信運營商帶來機遇的同時，也給運營商相關(guān)技術(shù)帶來極大挑戰(zhàn)[3]。

中國聯(lián)合網(wǎng)絡(luò)通信有限公司安徽分公司（以下簡稱安徽聯(lián)通）擁有龐大的用戶資源，隨著實名制的開展，數(shù)據(jù)會更加翔實，并通過分析移動互聯(lián)網(wǎng)生成的多樣化數(shù)據(jù)，了解人們生活的方方面面，具備非常高的價值純度。安徽聯(lián)通還具備豐富的IDC（integrated data center，集成數(shù)據(jù)中心）資源，能夠保證海量數(shù)據(jù)擁有足夠的存儲空間，從而保證數(shù)據(jù)分析的時間連續(xù)性，以把握數(shù)據(jù)趨勢。但是，安徽聯(lián)通傳統(tǒng)的建設(shè)模式基本采用封閉、獨立、各系統(tǒng)自成一體的建設(shè)方式，導(dǎo)致大量的數(shù)據(jù)分布在各個底層應(yīng)用系統(tǒng)中，沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，各自私有的數(shù)據(jù)結(jié)構(gòu)，且存在大量的冗余建設(shè)，如何有效地實現(xiàn)數(shù)據(jù)的各域、各系統(tǒng)的數(shù)據(jù)統(tǒng)一采集、治理、共享，將是安徽聯(lián)通面臨的巨大挑戰(zhàn)，歸納起來，有以下5點。

（1）接口復(fù)雜覆蓋面廣

智慧運營平臺的數(shù)據(jù)來源于安徽聯(lián)通各業(yè)務(wù)系統(tǒng)，涉及計費、網(wǎng)管、核心網(wǎng)、無線等跨領(lǐng)域業(yè)務(wù)。不同系統(tǒng)間數(shù)據(jù)結(jié)構(gòu)、接口千差萬別，這就對大數(shù)據(jù)平臺的采集能力提出了很高的要求。如何保質(zhì)保量地將不同系統(tǒng)的數(shù)據(jù)準(zhǔn)確采集過來，是智慧運營平臺數(shù)據(jù)整合首先要解決的問題。例如，實時數(shù)據(jù)通過SDTP（serial data transport protocol，串行數(shù)據(jù)傳輸協(xié)議）進行采集，B域的數(shù)據(jù)通過SFTP（secure file transfer protocol，安全文件傳輸協(xié)議）進行采集，流日志數(shù)據(jù)通過syslog方式進行采集；各系統(tǒng)的數(shù)據(jù)接口格式也存在千差萬別，例如4G MR（mobile router，移動路由器）數(shù)據(jù)是XML（extensible markup language，可擴展標(biāo)記語言）報文格式，CBSS數(shù)據(jù)文件格式是固定長度記錄格式，ECS是特殊字符串分割方式，大數(shù)據(jù)平臺需要支持各種差異化接口、格式，實現(xiàn)數(shù)據(jù)的異構(gòu)。

（2）數(shù)據(jù)標(biāo)準(zhǔn)不一致

不同業(yè)務(wù)系統(tǒng)對同一個事物的理解存在差異，同樣的事物可能具有不同的命名規(guī)則、不同的度量單位。如果不進行有效的數(shù)據(jù)治理，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，大數(shù)據(jù)只能是一堆雜亂數(shù)據(jù)的集合，實現(xiàn)統(tǒng)一建模、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，是智慧運營平臺面臨的最大挑戰(zhàn)。例如，在CBSS系統(tǒng)中流量單位是比特，但是，在BSS系統(tǒng)中流量單位為KB，兩者相差一個數(shù)量級。如果不進行標(biāo)準(zhǔn)統(tǒng)一，就會導(dǎo)致數(shù)據(jù)失真，在大數(shù)據(jù)挖掘的過程中錯誤會指數(shù)級別放大。

（3）異廠商技術(shù)壁壘

大數(shù)據(jù)平臺數(shù)據(jù)來源于各應(yīng)用廠商，各應(yīng)用廠商系統(tǒng)接口通常采用私有協(xié)議，具有特殊的數(shù)據(jù)結(jié)構(gòu)，且不對外提供數(shù)據(jù)解析能力，導(dǎo)致大數(shù)據(jù)平臺采集數(shù)據(jù)后，需要協(xié)調(diào)各廠商提供數(shù)據(jù)解析支撐，并做好各廠商數(shù)據(jù)的異構(gòu)適配。因此，大幅度地提升了大數(shù)據(jù)平臺的數(shù)據(jù)采集難度，降低數(shù)據(jù)采集效率。例如，2G/3G 用戶MR數(shù)據(jù)，中興通訊、華為、諾基亞西門子3個廠商數(shù)據(jù)格式各不一樣，任何兩個廠商之間數(shù)據(jù)都無法相互解析，大數(shù)據(jù)平臺進行數(shù)據(jù)采集后，需要根據(jù)業(yè)務(wù)理解對各廠商數(shù)據(jù)進行定制化的轉(zhuǎn)化，實現(xiàn)數(shù)據(jù)的統(tǒng)一建模，對外提供統(tǒng)一的數(shù)據(jù)格式。

（4）煙囪發(fā)展各自為政

由于歷史發(fā)展，各業(yè)務(wù)系統(tǒng)各自為政，形成一個個數(shù)據(jù)煙囪，煙囪長短不一、數(shù)據(jù)質(zhì)量參差不齊，各業(yè)務(wù)分析支撐只能基于單系統(tǒng)數(shù)據(jù)展開，缺少一個全量數(shù)據(jù)的整合平臺，影響數(shù)據(jù)價值的深度挖掘，智慧運營平臺將致力于抹平煙囪，實現(xiàn)全量數(shù)據(jù)的統(tǒng)一共享。

（5）開放及安全防護

大數(shù)據(jù)的重要特點就是數(shù)據(jù)的開放和互通，隨著大數(shù)據(jù)的廣泛應(yīng)用，數(shù)據(jù)共享和開放勢在必行，但大數(shù)據(jù)平臺數(shù)據(jù)包含了大量的用戶隱私數(shù)據(jù)，如用戶行為偏好、位置軌跡、消費數(shù)據(jù)等隱私數(shù)據(jù)，如何在不侵犯個人隱私、保障數(shù)據(jù)安全的情況下，做好數(shù)據(jù)開放實現(xiàn)互利共贏，是智慧運營平臺需要面對的一大挑戰(zhàn)。智慧運營平臺通過網(wǎng)絡(luò)隔離、數(shù)據(jù)加密、去隱私化等方式保障數(shù)據(jù)的安全[4]。

4 安徽聯(lián)通技術(shù)+管理的應(yīng)對措施

面對建設(shè)大數(shù)據(jù)遇到的挑戰(zhàn)，安徽聯(lián)通迎難而上，自上而下明確了整體的工作思路：在組織機制保障下，借助智慧運營平臺相關(guān)建設(shè)，實現(xiàn)大數(shù)據(jù)采集、建模、開放及安全管理。

（1）組織保障

安徽聯(lián)通調(diào)整組織架構(gòu)，成立了智慧運營專（兼）職運營團隊，負(fù)責(zé)智慧運營平臺建設(shè)及日常運營、需求受理等，并基于大數(shù)據(jù)挖掘的應(yīng)用場景使用。

（2）系統(tǒng)建設(shè)

安徽聯(lián)通智慧運營平臺是業(yè)內(nèi)領(lǐng)先的企業(yè)級大數(shù)據(jù)平臺，包括分布式存儲計算平臺、大數(shù)據(jù)應(yīng)該管理平臺、流處理平臺三大資源池，為大數(shù)據(jù)采集和整合奠定了堅實基礎(chǔ)。

（3）數(shù)據(jù)整合

建立全新的四層融合數(shù)據(jù)模型，通過數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)挖掘、數(shù)據(jù)服務(wù)和數(shù)據(jù)開放等過程，實現(xiàn)了大數(shù)據(jù)的處理、加工、應(yīng)用和價值變現(xiàn)。

（4）數(shù)據(jù)安全

在流程方面建立嚴(yán)格的數(shù)據(jù)管理流程，數(shù)據(jù)的接入和獲取需要逐層審批，并實現(xiàn)不同賬號的分權(quán)分域；在平臺方面實現(xiàn)數(shù)據(jù)隔離，做到“進不來、看不見、拿不走”的三“不”要求；在對外合作方面做到數(shù)據(jù)脫敏，保障用戶信息的安全。

（5）數(shù)據(jù)管理

依托智慧運營平臺的資產(chǎn)管理平臺，建立一系列領(lǐng)先的大數(shù)據(jù)管理能力，實現(xiàn)對智慧運營平臺的數(shù)據(jù)以及數(shù)據(jù)生產(chǎn)的全生命周期進行的全面管控。

5 安徽聯(lián)通智慧運營平臺的構(gòu)建

安徽聯(lián)通于2016年底成功構(gòu)建基于華為FusionInsight解決方案的B域、O域數(shù)據(jù)融合的企業(yè)級大數(shù)據(jù)平臺——智慧運營平臺，目的是對內(nèi)實現(xiàn)智慧運營、精準(zhǔn)營銷，對外實現(xiàn)價值變現(xiàn)。

智慧運營平臺基于“+1+”的理念構(gòu)建，即個可擴展的數(shù)據(jù)源、1個企業(yè)級大數(shù)據(jù)融合平臺、基于平臺實現(xiàn)的多（）個對內(nèi)、對外應(yīng)用，如圖1所示。遵循“+1+”的建設(shè)理念，安徽聯(lián)通在搭建智慧運營平臺架構(gòu)時首要考慮的是對融合數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲、跨域數(shù)據(jù)的共享以及跨域數(shù)據(jù)的精品應(yīng)用[5]。

5.1 融合數(shù)據(jù)統(tǒng)一采集

安徽聯(lián)通現(xiàn)網(wǎng)有多個煙囪狀系統(tǒng)，這些系統(tǒng)的數(shù)據(jù)相互獨立、類型互不相同，如BSS、ECS、Gn上網(wǎng)日志、CS信令、基站小區(qū)基本信息、網(wǎng)絡(luò)感知系統(tǒng)、客服系統(tǒng)、號線資源系統(tǒng)等，通過梳理涉及的接口共197個。為了實現(xiàn)對任何系統(tǒng)各類數(shù)據(jù)的統(tǒng)一采集，安徽聯(lián)通智慧運營平臺摒棄傳統(tǒng)ETL（無法支持非結(jié)構(gòu)化文本，不支持流式數(shù)據(jù)處理），而采用云化ETL（BDI）技術(shù)。 BDI實現(xiàn)融合數(shù)據(jù)統(tǒng)一采集 & BDI功能視圖如圖2所示。

圖1 安徽聯(lián)通智慧運營平臺“M+1+N”架構(gòu)

云化ETL（BDI）技術(shù)的數(shù)據(jù)采集功能支持采集多種類型數(shù)據(jù)，并將數(shù)據(jù)源不同的字段類型進行統(tǒng)一。如，OGG采集B域增量數(shù)據(jù)、FTP/SFTP對文本文件進行抽取、Flume/Kafka對O域數(shù)據(jù)實時采集、RDB和MPPDB對數(shù)據(jù)庫直接采集等。數(shù)據(jù)轉(zhuǎn)換功能對異構(gòu)數(shù)據(jù)源的數(shù)據(jù)進行清洗、轉(zhuǎn)換、統(tǒng)一標(biāo)準(zhǔn)，包括過濾、分組、查找、去重、路由、合并、拆分、排序、轉(zhuǎn)換、聯(lián)合、統(tǒng)計、加密等，最終實現(xiàn)維度命名統(tǒng)一、數(shù)據(jù)數(shù)值統(tǒng)一等。數(shù)據(jù)加載/分發(fā)功能將融合數(shù)據(jù)加載分發(fā)到不同的數(shù)據(jù)源，支持異構(gòu)數(shù)據(jù)源并行加載、加載前過濾、加載前路由以及不落地加載等。

5.2 融合數(shù)據(jù)統(tǒng)一存儲/統(tǒng)一處理

安徽聯(lián)通智慧運營平臺采用FusionInsight Hadoop平臺作為融合數(shù)據(jù)統(tǒng)一存儲和處理中心，如圖3所示，采用分布式共享存儲，不需要額外的磁陣和雙機軟件，實現(xiàn)現(xiàn)網(wǎng)B/O/M三域一份數(shù)據(jù)的統(tǒng)一集中化存儲，確保B域全部、O域全部和M域核心價值數(shù)據(jù)的統(tǒng)一與一致性存儲，并通過云化ETL平臺向數(shù)據(jù)倉庫、實時查詢庫和流處理平臺進行統(tǒng)一分發(fā)[6]。

圖2 BDI實現(xiàn)融合數(shù)據(jù)統(tǒng)一采集 & BDI功能視圖

圖3 FusionInsight Hadoop邏輯架構(gòu)

5.3 跨域數(shù)據(jù)共享

安徽聯(lián)通智慧運營平臺通過強大的多租戶能力（在一套服務(wù)器上運行某個應(yīng)用實例，它為多個租戶提供服務(wù)，租戶之間不感知）進行權(quán)限控制和資源隔離，解決部門間大數(shù)據(jù)平臺資源共享與數(shù)據(jù)共享困難，實現(xiàn)跨域數(shù)據(jù)的共享。多租戶邏輯架構(gòu)如圖4所示。

5.4 跨域數(shù)據(jù)精品應(yīng)用[7]

安徽聯(lián)通智慧運營平臺整合B/O域多種數(shù)據(jù)源，在如圖5所示的六大實體數(shù)據(jù)（參與人、服務(wù)、資源、賬務(wù)、營銷、企業(yè)管理）和事件數(shù)據(jù)基礎(chǔ)上，通過表1的九大主題域統(tǒng)一建模，以“數(shù)據(jù)→信息→知識→智慧”為核心將跨域數(shù)據(jù)關(guān)聯(lián)的價值提煉。目前，采用的融合建模方法主要有維度建模（基于靜態(tài)信息，一般是“人”和“物”）和事件+規(guī)則建模（基于動態(tài)信息，即時間軸模型，如離散模型、步進模型、連續(xù)模型和恒定模型等），已經(jīng)在現(xiàn)網(wǎng)實現(xiàn)的跨域數(shù)據(jù)應(yīng)用主要有離網(wǎng)預(yù)測、云砥交通監(jiān)控、2G退網(wǎng)、用戶感知等精品應(yīng)用開發(fā)等。

圖4 多租戶邏輯架構(gòu)

圖5 六大實體數(shù)據(jù)和事件數(shù)據(jù)

表1 九大主題域

6 安徽聯(lián)通智慧運營平臺主要技術(shù)和能力

大數(shù)據(jù)具備4 V特點：volume（大量）、variety（多樣）、veleocity（高速）、value（價值），第一，數(shù)據(jù)體量巨大，從TB級別躍升為PB級別；第二，數(shù)據(jù)結(jié)果類型繁多；第三，數(shù)據(jù)處理速度快，可以從各種類型數(shù)據(jù)中快速獲得高價信息；第四，合理利用數(shù)據(jù)并進行正確的分析，將會獲取高價值回報。

傳統(tǒng)數(shù)據(jù)倉庫在PB級數(shù)據(jù)處理上已經(jīng)力不從心，在大數(shù)據(jù)領(lǐng)域中，Hadoop目前已經(jīng)是大數(shù)據(jù)平臺中應(yīng)用效率最高的技術(shù)，特別是針對文本、社交媒體訂閱及視頻等非結(jié)構(gòu)化數(shù)據(jù)，支撐多種并行處理架構(gòu)，如MapReduce、Spark、Storm；關(guān)注NoSQL數(shù)據(jù)庫，解決傳統(tǒng)關(guān)系型數(shù)據(jù)庫引擎瓶頸；基于內(nèi)存的并行實時分析，使實時流式數(shù)據(jù)分析成為可能。

安徽聯(lián)通智慧運營平臺采用華為公司FusionInside-Hadoop + Universe 解決方案實現(xiàn)，該技術(shù)架構(gòu)具備Hadoop所有的特性功能，并在Hadoop的基礎(chǔ)制定專業(yè)的應(yīng)用解決方案，使智慧運營平臺成為一個安全、開放、便捷的大數(shù)據(jù)平臺，主要具備以下功能特點。

6.1 多樣化的數(shù)據(jù)采集

智慧運營平臺支持對表、文件、消息等多種數(shù)據(jù)的實時增量數(shù)據(jù)采集（使用Flume、消息隊列、Ogg等技術(shù)）和批量數(shù)據(jù)分布式采集等能力（Sqoop、FTP VOER HDFS），比基于傳統(tǒng)ETL的采集性能有數(shù)量級的提升，采集能力在業(yè)界處于領(lǐng)先地位。另外，還支持與DB2、Oracle、Hadoop（Hive）、Hadoop（Impala）、Hadoop（HBase）、Hadoop（Spark）、MPP（Aster）、MPP（GBase）、Sqlfire、GemfireXD以及IBM Streams共11類數(shù)據(jù)庫技術(shù)平臺的對接，真正地實現(xiàn)了跨平臺開發(fā)和數(shù)據(jù)管理。

表2 數(shù)據(jù)模型框架

6.2 統(tǒng)一建模、多域數(shù)據(jù)融合

智慧運營平臺將數(shù)據(jù)模型框架分為原始數(shù)據(jù)層（original data store，ODS）、基礎(chǔ)數(shù)據(jù)層（basic data store，BDS）、融合數(shù)據(jù)層（convergence information store，CIS）和應(yīng)用數(shù)據(jù)層（application data store，ADS）4個層次。原始數(shù)據(jù)層數(shù)據(jù)結(jié)構(gòu)與源系統(tǒng)完全一致，基礎(chǔ)數(shù)據(jù)模型、融合數(shù)據(jù)模型和應(yīng)用層是平臺重點建設(shè)的數(shù)據(jù)模型。數(shù)據(jù)模型架構(gòu)如圖6所示。

在智慧運營平臺總體設(shè)計中，遵循高層級可以從低層級獲取數(shù)據(jù)、低層級不允許從高層級獲取數(shù)據(jù)的整體原則，見表2。

圖6 數(shù)據(jù)模型框架

智慧運營平臺在數(shù)據(jù)融合方面，目前實現(xiàn)B域、O域數(shù)據(jù)融合，共采集八大系統(tǒng)300多個接口數(shù)據(jù)，日存儲處理B域數(shù)據(jù)500 GB，O域數(shù)據(jù)10 TB，數(shù)據(jù)源見表3。

表3 數(shù)據(jù)源范圍

在數(shù)據(jù)準(zhǔn)確性方面，智慧運營平臺在建模階段開始介入，制定嚴(yán)格數(shù)據(jù)校驗規(guī)則及數(shù)據(jù)異常處理規(guī)則，確保模型加載數(shù)據(jù)的準(zhǔn)確性。針對跨域同類數(shù)據(jù)，安徽聯(lián)通獨創(chuàng)單用戶流程數(shù)據(jù)準(zhǔn)確性比較方案，取得平臺與網(wǎng)元及KPI對比差異小于1%，單天流量差異小于0.2%，當(dāng)天存在流量差異用戶比例小于30%的成果。

6.3 支持多框架，實現(xiàn)統(tǒng)一調(diào)度

智慧運營平臺內(nèi)置多種計算框架（MapReduce、Spark、Storm），能夠高效地處理海量非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。同時，滿足批處理、實時處理等多種計算場景需求；可支持個性化、靈活多樣的調(diào)度策略編排，實現(xiàn)多種并行處理框架任務(wù)（如 MapReduce、Spark）的調(diào)度、關(guān)系型數(shù)據(jù)庫存儲過程、shell腳本等調(diào)度。

6.4 集成挖掘算法，快速實現(xiàn)建模

智慧運營平臺基于分布式計算架構(gòu)，整合業(yè)界先進的挖掘算法，實現(xiàn)基于Hadoop的并行計算改造，充分利用大數(shù)據(jù)平臺強大的計算能力及豐富的數(shù)據(jù)資源，快速實現(xiàn)原始數(shù)據(jù)的二次挖掘，提升數(shù)據(jù)價值。目前，已經(jīng)集成的建模算法包含樸素貝葉斯、稀疏線性矩陣、決策樹、隨機森林、邏輯回歸、-means、社交網(wǎng)絡(luò)推薦、影響力傳播、協(xié)調(diào)過濾、線性回歸等一系列的挖掘算法。整個建模過程采用圖形化操作界面，大大降低了數(shù)學(xué)建模門檻，并支持系統(tǒng)自動建模能力。

6.5 圖形化開發(fā)，降低大數(shù)據(jù)應(yīng)用門檻

智慧運營平臺通過一整套的圖形化的開發(fā)和維護工具，支持圖形化拖拽式開發(fā)，免代碼編寫，降低大數(shù)據(jù)應(yīng)用的開發(fā)難度，業(yè)務(wù)需求響應(yīng)周期由周級別降低到小時級別，效率成倍提升。

6.6 基于大數(shù)據(jù)的網(wǎng)絡(luò)維挽工具，實現(xiàn)NOC向SOC轉(zhuǎn)型[8]

6.6.1 重點區(qū)域KQI/KPI實時監(jiān)控能力

根據(jù)業(yè)務(wù)需求，快速制定對指定區(qū)域的KQI/KPI監(jiān)控任務(wù)，對指定區(qū)域進行實時KQI/KPI監(jiān)控，實現(xiàn)5 min粒度監(jiān)控自定義區(qū)域KQI/KPI狀態(tài)并上報告警，并可以通過地圖直觀呈現(xiàn)自定義區(qū)域中的異常區(qū)域，對網(wǎng)絡(luò)中關(guān)鍵指標(biāo)進行實時監(jiān)控，制定保障方案。

6.6.2 移動寬帶網(wǎng)絡(luò)可視化能力

基于MBB流量分析，實現(xiàn)現(xiàn)網(wǎng)流量的多維分析統(tǒng)計（網(wǎng)元、協(xié)議、APN、用戶、接入網(wǎng)、網(wǎng)站、位置、終端等），并提供多維實時的詳細(xì)報表，實現(xiàn)移動寬帶網(wǎng)絡(luò)可視化。

6.6.3 端到端故障分析能力

打通UE（user equipment，用戶設(shè)備）到SP（signaling point，信令點）鏈路所有網(wǎng)元，實現(xiàn)全網(wǎng)元特定業(yè)務(wù)的質(zhì)量分析，發(fā)現(xiàn)業(yè)務(wù)質(zhì)量問題及根因，實現(xiàn)端到端故障定界，并可通過歷史數(shù)據(jù)的分析，發(fā)現(xiàn)潛在問題和未來趨勢。

6.6.4 開放的定制化能力

智慧運營平臺采用開放式架構(gòu)，基于智慧運營平臺可以實現(xiàn)應(yīng)用的百花齊放，目前已經(jīng)實現(xiàn)CSFB（circuit switched fallback，電路域交換回落）專題、Web質(zhì)差小區(qū)專題、高鐵專題、2G/3G/4G專題、OTT用戶行分析、校園用戶分析六大專題應(yīng)用。

? ? CSFB專題：分析對指定時間段內(nèi)、指定區(qū)域的CSFB業(yè)務(wù)指標(biāo)進行監(jiān)控，快速發(fā)現(xiàn)并上報問題，對呼損類問題，使用呼損分析方式形象展示出問題發(fā)生次數(shù)和所在位置，幫助運營商問題定界。

? ? Web質(zhì)差小區(qū)專題：結(jié)合TCP管道指標(biāo)，識別影響用戶感知的無線質(zhì)差小區(qū)。

? ? 高鐵專題：對高鐵用戶進行精準(zhǔn)識別，針對性地進行問題處理。

?? 2G/3G/4G專題：分析2G/3G/4G用戶分布情況，高流量2G小區(qū)下用戶終端類型、用戶業(yè)務(wù)量情況，為2G退網(wǎng)提供數(shù)據(jù)支撐。

?? OTT用戶分析專題：挖掘高價值用戶行為，為市場營銷提供數(shù)據(jù)支撐。

? ? 校園分析專題：分析校園用戶感知情況、結(jié)合終端分布及用戶行為分析為市場進行校園營銷提供數(shù)據(jù)支撐。

7 安徽聯(lián)通智慧運營平臺用戶離網(wǎng)預(yù)測大數(shù)據(jù)的應(yīng)用實踐

7.1 用戶離網(wǎng)定義

用戶離網(wǎng)是指用戶因為某種原因與運營商解除服務(wù)合同行為，即用戶停止消費目前正在使用的電信產(chǎn)品或服務(wù)，選擇其他運營商的產(chǎn)品或服務(wù)，或者選擇該運營商的其他替代性電信產(chǎn)品或服務(wù)。

用戶的離網(wǎng)表現(xiàn)主要分為兩大類：競爭性用戶離網(wǎng)和非競爭性用戶離網(wǎng)。競爭性用戶離網(wǎng)主要是由于其他運營商通過主動方式向用戶提供更優(yōu)惠的資費、服務(wù)導(dǎo)致用戶的離網(wǎng)；非競爭性離網(wǎng)是由于運營商自身的產(chǎn)品替代、電信政策調(diào)測或用戶自身行為對通信產(chǎn)品使用的調(diào)整造成的離網(wǎng)。

7.2 用戶離網(wǎng)因素

根據(jù)用戶的離網(wǎng)意愿可分為主動離網(wǎng)和被動離網(wǎng)，被動離網(wǎng)又分為無意離網(wǎng)和蓄意離網(wǎng)，從現(xiàn)網(wǎng)實際數(shù)據(jù)分析，蓄意離網(wǎng)占整個離網(wǎng)用戶的80%以上，這部分用戶主要受到企業(yè)產(chǎn)品或服務(wù)的技術(shù)原因、經(jīng)濟原因等影響離網(wǎng)，是本次大數(shù)據(jù)應(yīng)用研究預(yù)測的對象。

7.3 離網(wǎng)預(yù)測應(yīng)用原理

7.3.1 離網(wǎng)預(yù)測算法

安徽聯(lián)通離網(wǎng)模型采用隨機森林算法，該算法是一個包含多個決策樹的分類器。每個決策樹的形成采用了隨機方法，各決策樹之間無關(guān)聯(lián)、彼此獨立，所有決策樹訓(xùn)練都是采用同樣的參數(shù)，但是每棵樹的訓(xùn)練集不同。隨機森林對輸入的數(shù)據(jù)要進行和列的隨機采樣，并保證采樣過程的隨機性，所以不容易出現(xiàn)over-fitting，且該算法實現(xiàn)相對簡單、運行速度快，容易基于Hadoop實現(xiàn)并行計算等特點，所以本次離網(wǎng)預(yù)測課題，采用隨機森林算法進行建模[9-16]。

7.3.2 離網(wǎng)預(yù)測模型

本離網(wǎng)預(yù)測模型采用隔月預(yù)測未來3月離網(wǎng)方式進行建模打標(biāo)，目的在于提前發(fā)現(xiàn)準(zhǔn)離網(wǎng)用戶，并拉大維系挽留動作實施窗口，該預(yù)測方式建模更具備實際使用價值，建模打標(biāo)方式如圖7所示。

圖7 離網(wǎng)打標(biāo)簽原理

表4 離網(wǎng)用戶關(guān)鍵數(shù)據(jù)屬性字段

本離網(wǎng)課題與其他課題項目在數(shù)據(jù)選擇上有明顯區(qū)別，其他課題數(shù)據(jù)均來自BSS系統(tǒng)數(shù)據(jù)，本課題數(shù)據(jù)結(jié)合CBSS、ECS、客服、O域用戶網(wǎng)絡(luò)感知數(shù)據(jù)。在數(shù)據(jù)周期上，本課題采用數(shù)據(jù)周期較長，數(shù)據(jù)周期大于6個月，通過用戶消費趨勢變化數(shù)據(jù)，更直觀反映用戶的離網(wǎng)情況，具體指標(biāo)參數(shù)見表4。

7.3.3 模型構(gòu)建

本預(yù)測應(yīng)用構(gòu)建工具采用華為公司大數(shù)據(jù)Universe平臺的SmartMiner工具進行建模。SmartMiner是華為大數(shù)據(jù)平臺中的一個支持圖形化開發(fā)的專業(yè)的數(shù)據(jù)挖掘工具，基于Spark的分布式內(nèi)存處理框架，集成了大量的數(shù)據(jù)挖掘算法，借助大數(shù)據(jù)平臺強大數(shù)據(jù)并行處理能力，批量、快速、便捷地實現(xiàn)數(shù)據(jù)建模挖掘工作。

本次應(yīng)用建模使用SmartMiner中的隨機森林算法實現(xiàn)，共建200棵隨機樹，使用SQR采樣方法，樹的最大深度15層，葉子最小樣本數(shù)100個，最大分箱數(shù)32。

本次建模采用兩種方式：方式一采用使用4個月歷史數(shù)據(jù)，次月給前一個月打標(biāo)標(biāo)簽，采用當(dāng)前月數(shù)據(jù)預(yù)測次月離網(wǎng)情況；方式二采用7個月歷史數(shù)據(jù)，使用隔月后未來3個月數(shù)據(jù)該月打標(biāo)簽，使用當(dāng)前月數(shù)據(jù)隔月后預(yù)測未來3個月用戶離網(wǎng)情況。

7.3.4 模型評估

本次課題采用查準(zhǔn)率和查全率2個指標(biāo)來評估模型的預(yù)測結(jié)果，其計算式如下。

查準(zhǔn)率 = 預(yù)測為離網(wǎng)且最終離網(wǎng)的用戶/預(yù)測離網(wǎng)用戶數(shù)據(jù) （1）

查全率 = 預(yù)測為離網(wǎng)且最終離網(wǎng)的用戶/實際離網(wǎng)用戶數(shù) （2）

采用近期歷史數(shù)據(jù)進行建模和評估，得到表5、表6、表7所示的評估數(shù)據(jù)。

表5 預(yù)付費用戶預(yù)測次月離網(wǎng)結(jié)果（2016年12月）

表6 預(yù)付費用戶隔月預(yù)測次3月離網(wǎng)結(jié)果（2017年2月）

表7 后付費用戶隔月預(yù)測次3月離網(wǎng)結(jié)果（2017年2月）

根據(jù)業(yè)內(nèi)的統(tǒng)計數(shù)據(jù)，國內(nèi)運營商的離網(wǎng)預(yù)測模型查準(zhǔn)率達到40%，查全率達到60%，就即可算作優(yōu)秀的離網(wǎng)預(yù)測模型，根據(jù)表5、表6、表7的結(jié)果可以得出，采用隨機森林算法的預(yù)測模型在查準(zhǔn)率方面有非常大的優(yōu)勢。

7.4 離網(wǎng)根因分析

分析歷史離網(wǎng)用戶與非離網(wǎng)用戶屬性分布，從而確定對應(yīng)屬性特征閾值，然后，分析預(yù)測用戶的對應(yīng)屬性的均值和標(biāo)準(zhǔn)差，計算對應(yīng)屬性偏好值=（屬性?屬性平均值）/方差，從而確定屬性特征閾值（0.5或?0.5），確定該用戶的離網(wǎng)根因，共分析總結(jié)11類離網(wǎng)根因，見表8。

經(jīng)實踐數(shù)據(jù)驗證，符合離網(wǎng)根因用戶離網(wǎng)率的實際離網(wǎng)率，相對于全網(wǎng)用戶的離網(wǎng)率有明顯提升，離網(wǎng)根因應(yīng)用效果見表9、表10。

表8 離網(wǎng)根因

表9 2017年1月非三無用戶未來3個月離網(wǎng)率10.4%

表10 2017年1月預(yù)測Top40萬用戶在后3個月實際離網(wǎng)21.6萬，查準(zhǔn)率54.18%

8 結(jié)束語

安徽聯(lián)通緊抓大數(shù)據(jù)發(fā)展的時代脈搏，敢于創(chuàng)新、敢于挑戰(zhàn)，在全國運營商中率先實現(xiàn)技術(shù)、架構(gòu)先進的企業(yè)級融合大數(shù)據(jù)平臺，完成安徽聯(lián)通B/O/M域數(shù)據(jù)的接入及治理，實現(xiàn)安徽聯(lián)通的數(shù)字化轉(zhuǎn)型及全業(yè)務(wù)流程的智慧運營，并基于平臺的開放架構(gòu)，與融合大數(shù)據(jù)領(lǐng)域合作伙伴合作實現(xiàn)大數(shù)據(jù)對外應(yīng)用的百花齊放。

企業(yè)級融合大數(shù)據(jù)平臺是個不斷迭代的過程，未來，安徽聯(lián)通智慧運營平臺還將朝著“更大、更全、更準(zhǔn)”的方向不斷邁進，并探索專業(yè)化的團隊建設(shè)，通過PaaS化功能完善，實現(xiàn)對內(nèi)、對外應(yīng)用的百花齊放。

[1] 童曉渝, 張云勇, 房秉毅, 等. 大數(shù)據(jù)時代電信運營商的機遇[J]. 信息通信技術(shù), 2013(1): 5-9.

TONG X Y, ZHANG Y Y, FANG B Y, et al. Opportunities and strategies to adopt big data for telecom operators [J]. Information and Communications Technolog, 2013(1): 5-9.

[2] 左超, 耿慶鵬, 劉旭峰. 基于大數(shù)據(jù)的電信業(yè)務(wù)發(fā)展策略研究[J]. 郵電設(shè)計技術(shù), 2013(10): 1-4.

ZUO C, GENG Q P, LIU X F. Study on operator’s development st rategy for big data business [J]. Designing Techniques of Posts and Telecommunications, 2013(10): 1-4.

[3] 丁俊發(fā).大數(shù)據(jù)時代的機遇與挑戰(zhàn)[J]. 硅谷, 2013(1): 9-10.

DING J F. Opportunities and strategies in big data era [J]. Silicon Valley, 2013(1): 9-10.

[4] 馮登國, 張敏, 李昊. 大數(shù)據(jù)安全與隱私保護[J]. 計算機學(xué)報, 2014, 37(1): 246-258.

FENG D G, ZHANG M, LI H. Big data security and privacy protection [J]. Chinese Journal of Computers, 2014, 37(1): 246-258.

[5] 韓晶, 張智江, 王健全, 等. 面向統(tǒng)一運營的電信運營商大數(shù)據(jù)戰(zhàn)略[J]. 電信科學(xué), 2014, 30(11): 154-158.

HAN J, ZHANG Z J, WANG J Q, et al. The unified-operation- oriented big data strategy for telecom operators [J]. Telecommunications Science, 2014, 30(11): 154-158.

[6] 于鵑. 數(shù)據(jù)倉庫與大數(shù)據(jù)融合的探討[J]. 電信科學(xué), 2015, 31(3): 166-170.

YU J. Discussion on integration of data warehouse and big data [J]. Telecommunications Science, 2015, 31(3): 166-170.

[7] 廖建新. 大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與展望[J]. 電信科學(xué), 2015, 31(7): 7-18.

LIAO J X. Big data technology: current applications and prospects [J]. Telecommunications Science, 2015, 31(7): 7-18.

[8] 王帥, 汪來富, 金華敏, 等. 網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J]. 電信科學(xué), 2015, 31(7): 145-150.

WANG S, WANG L F, JIN H M, et al. Big data application in network security analysis [J]. Telecommunications Science, 2015, 31(7): 145-150.

[9] ALMANA A M, AKSOY M S, ALZAHRANI R. A survey on data mining techniques in customer churn analysis for telecom industry[J]. Journal of Engineering Research and Applications, 2014, 4(5): 165-171.

[10] BREIMAN L. Random forests[J]. Machine Learning, 2001, 45(1): 5-32.

[11] AU W, CHAN K, YAO X. A novel evolutionary data mining algorithm with applications to churn prediction[J]. IEEE Transactions on Evolutionary Computation, 2003, 7(6): 532-545.

[12] OSEMAN K B,BINTI S, SHUKOR M, et al. Data mining in churn analysis model for telecommunication industry[J]. Journal of Statistical Modeling and Analytics, 2010 (1): 19-27.

[13] JUNQUE D, MARTENS D, PROVOST F. Predictive modeling with big data: is bigger really better? [J]. Big Data, 2013, 1(4): 215-226.

[14] KIM N, JUNG K H, YONG S K, et al. Uniformly subsampled ensemble (use) for churn management: theory and implementation [J]. Expert Systems with Applications, 2012, 39(15): 11839-11845.

[15] COUSSEMENT K, POEL D. Churn prediction in subscription services: an application of support vector machines while comparing two parameter-selection techniques[J]. Expert Systems with Applications, 2008, 34(1): 313-327.

[16] GUYON I, LEMAIRE V, VOGEL D, et al. Analysis of the KDD cup 2009: fast scoring on a large orange customer database[J]. ACM SIGKDD Explorations Newsletter, 2009, 11(2): 1-22.

Construction and application of Anhui Unicom enterprise big data platform

WU Tao, LIU Tao, WANG Bin

Anhui Branch of China United Network Communications Co., Ltd., Hefei 230069, China

The challenges and opportunities faced by Anhui Unicom of big data construction, and the experience of Anhui Unicom rapidly constructing B+O convergent smart operation platform which realized multi-dimensional and multi-level fusion management of cross-domain platform were summarized. In addition, the customer off-grid prediction was also deeply studied by Anhui Unicom. Achieving the off-grid prediction model through the big data platform which made the precision ratio get 90% and the recall ration get 9%. On the other hand, the big data platform has been popularized to other departments by integrated applications, such as, user awareness enhancement etc. Internal operation efficiency was improved and NOC (network operations center) was transformed to SOC (service operations center).

carrier big data, B+O convergent scenario, big data applications of off-grid prediction, transform from NOC to SOC

TP319

A

10.11959/j.issn.1000?0801.2018036

2017?12?10；

2018?01?10

吳濤（1973?），男，中國聯(lián)合網(wǎng)絡(luò)通信有限公司安徽分公司副總經(jīng)理、大數(shù)據(jù)項目總負(fù)責(zé)人、數(shù)據(jù)分析顧問，主要研究方向為數(shù)據(jù)分析與用戶感知提升、精準(zhǔn)化營銷分析與數(shù)據(jù)挖掘、用戶消費行為。

劉韜（1976?），男，中國聯(lián)合網(wǎng)絡(luò)通信有限公司安徽分公司計劃建設(shè)與資產(chǎn)運營部數(shù)據(jù)分析師，主要研究方向為大數(shù)據(jù)平臺架構(gòu)及搭建、B/O域基礎(chǔ)數(shù)據(jù)融合、數(shù)據(jù)分析、行業(yè)大數(shù)據(jù)應(yīng)用。

王斌（1975?），男，中國聯(lián)合網(wǎng)絡(luò)通信有限公司安徽分公司計劃建設(shè)與資產(chǎn)運營部副總經(jīng)理，主要負(fù)責(zé)大數(shù)據(jù)平臺架構(gòu)、數(shù)據(jù)分析顧問、用戶消費行為數(shù)據(jù)分析、行業(yè)大數(shù)據(jù)應(yīng)用研究等工作。