翁銳浩++段新++黃倚霄++王銳

摘 要：網(wǎng)管系統(tǒng)是各運營商最核心的生產(chǎn)保障系統(tǒng)，負責(zé)核心網(wǎng)、智能網(wǎng)、數(shù)據(jù)網(wǎng)等的安全、高效、穩(wěn)定運行，確保數(shù)億用戶的通信質(zhì)量和信息安全。隨著4G LTE技術(shù)的深度應(yīng)用及移動互聯(lián)網(wǎng)的不斷發(fā)展，用戶對移動網(wǎng)絡(luò)的依賴度越來越高，同時對網(wǎng)絡(luò)質(zhì)量和性能的要求也越來越高，對于網(wǎng)管系統(tǒng)要求更全面分析用戶感知、更深層次挖掘網(wǎng)絡(luò)隱患、更實時發(fā)現(xiàn)故障和質(zhì)量下降、更準(zhǔn)確預(yù)測用戶投訴行為、更快速解決故障和質(zhì)量問題。由于此前的網(wǎng)管系統(tǒng)監(jiān)控、性能、資源、工單、投訴等系統(tǒng)各自建設(shè)、數(shù)據(jù)分散不利于構(gòu)建面向用戶的網(wǎng)絡(luò)質(zhì)量管理及優(yōu)化體系，該文通過運用大數(shù)據(jù)技術(shù)，構(gòu)建運營商網(wǎng)管數(shù)據(jù)互聯(lián)中心，接入網(wǎng)管各類數(shù)據(jù)，進行關(guān)聯(lián)、清洗、互聯(lián)，建立統(tǒng)一融合的數(shù)據(jù)模型，集中對外提供數(shù)據(jù)，通過靈活統(tǒng)一的分布式數(shù)據(jù)互聯(lián)中心方案，大大提升網(wǎng)管數(shù)據(jù)服務(wù)能力。

關(guān)鍵詞：數(shù)據(jù)互聯(lián)中心 數(shù)據(jù)建模 數(shù)據(jù)倉庫 管控分析門戶

中圖分類號：TP399 文獻標(biāo)識碼：A 文章編號：1674-098X（2017）01（c）-0087-05

1 運營商網(wǎng)管系統(tǒng)數(shù)據(jù)現(xiàn)狀及問題

隨著移動LTE業(yè)務(wù)的迅速發(fā)展，網(wǎng)管數(shù)據(jù)迅速增長，對網(wǎng)管系統(tǒng)的數(shù)據(jù)支撐要求也越來越高，急需網(wǎng)管數(shù)據(jù)能更全面分析用戶感知、更深層次挖掘網(wǎng)絡(luò)隱患、更實時發(fā)現(xiàn)故障和質(zhì)量下降、更準(zhǔn)確預(yù)測用戶投訴行為、更快速解決故障和質(zhì)量問題。但目前各網(wǎng)管系統(tǒng)仍以功能性場景服務(wù)為主，只能解決單一場景的問題，在數(shù)據(jù)的關(guān)聯(lián)服務(wù)能力方面較弱，無法有效支撐面向用戶的數(shù)據(jù)服務(wù)支撐能力。目前主要存在以下問題。

（1）在使用方層面，希望能將各類網(wǎng)管數(shù)據(jù)（告警、性能、資源、工單、工程、拓撲、撥測、投訴）進行集中管理、對地市共享，實現(xiàn)各類網(wǎng)管數(shù)據(jù)的集中互聯(lián)、關(guān)聯(lián)、清洗、共享，并希望實現(xiàn)網(wǎng)管數(shù)據(jù)和信令數(shù)據(jù)的關(guān)聯(lián)，支持從網(wǎng)管數(shù)據(jù)到信令詳情的追溯。

（2）從應(yīng)用層面考慮，應(yīng)用對于數(shù)據(jù)實時性要求越來越高，目前已有的系統(tǒng)無法滿足應(yīng)用的實時性要求；應(yīng)用從多個系統(tǒng)獲取數(shù)據(jù)成本較大，不利于上層應(yīng)用敏捷開發(fā)、快速部署的訴求，與互聯(lián)網(wǎng)新架構(gòu)的發(fā)展趨勢不相符。

（3）從數(shù)據(jù)層面考慮，多個系統(tǒng)形成數(shù)據(jù)孤島，缺少統(tǒng)一的接入、清洗、建模的管理，需要統(tǒng)一的數(shù)據(jù)接入、統(tǒng)一的計算、統(tǒng)一的接口共享來打破數(shù)據(jù)孤島；各自獨立系統(tǒng)運維、管理面臨很大難題，通過數(shù)據(jù)互聯(lián)統(tǒng)一運維，提高資源利用率和處理效率；匹配互聯(lián)網(wǎng)的發(fā)展趨勢，數(shù)據(jù)統(tǒng)一互聯(lián)形成大數(shù)據(jù)平臺成為互聯(lián)網(wǎng)主流選擇。

2 利用大數(shù)據(jù)技術(shù)構(gòu)建運營商網(wǎng)管數(shù)據(jù)互聯(lián)中心的方法

針對目前網(wǎng)管系統(tǒng)數(shù)據(jù)分散、數(shù)據(jù)服務(wù)能力較弱，無法有效支撐運營商面向用戶的網(wǎng)絡(luò)質(zhì)量管理要求，該文提出利用大數(shù)據(jù)技術(shù)構(gòu)建網(wǎng)管數(shù)據(jù)互聯(lián)中心，對分散的網(wǎng)管數(shù)據(jù)進行互聯(lián)、清洗、關(guān)聯(lián)，并構(gòu)建靈活統(tǒng)一的數(shù)據(jù)服務(wù)層，有效提高數(shù)據(jù)服務(wù)能力，支撐面向用戶的網(wǎng)絡(luò)質(zhì)量管理要求，如投訴預(yù)警、實時監(jiān)控、省市共享、挖掘分析等應(yīng)用。

該文方法主要包括兩大階段：調(diào)研分析驗證階段和融合互聯(lián)實現(xiàn)階段。

（1）調(diào)研分析驗證階段。

該階段主要是研究需求與數(shù)據(jù)、探索數(shù)據(jù)之間的業(yè)務(wù)聯(lián)系，可按如下步驟進行。

①調(diào)研梳理。

調(diào)研梳理各類業(yè)務(wù)和數(shù)據(jù)模型分布、用途等信息。

調(diào)研梳理各系統(tǒng)數(shù)據(jù)對外提供共享接口形式、共享機制、更新頻率、數(shù)據(jù)粒度等。

數(shù)據(jù)資源調(diào)研分析示例見表1。

②模型分析。

對各應(yīng)用需求分類匯總，進行共性分析。

分析各應(yīng)用需求與數(shù)據(jù)支撐的差距，了解短板所在。

分析省級數(shù)據(jù)，研究數(shù)據(jù)關(guān)聯(lián)節(jié)點，進行多數(shù)據(jù)關(guān)聯(lián)模型設(shè)計。

建模分析方法示例如下。

需要解決的問題：定位用戶投訴原因。

數(shù)據(jù)建模方法：數(shù)據(jù)源：信令數(shù)據(jù)、投訴數(shù)據(jù)、性能數(shù)據(jù)、資源數(shù)據(jù)。關(guān)聯(lián)維度：用戶、時間、業(yè)務(wù)、網(wǎng)元。關(guān)聯(lián)指標(biāo)：投訴事件、信令事件、網(wǎng)元性能、網(wǎng)元資源。模型價值：實現(xiàn)快速地投訴問題原因溯源定位。

數(shù)據(jù)融合互聯(lián)分析模型：多數(shù)據(jù)源，跨數(shù)據(jù)維度匹配、指標(biāo)關(guān)聯(lián)，實現(xiàn)深入分析。

用戶投訴無法呼叫。

根據(jù)投訴號碼時間點關(guān)聯(lián)用戶信令事件（是否網(wǎng)絡(luò)原因）。

根據(jù)信令中位置信息關(guān)聯(lián)資源數(shù)據(jù)。

根據(jù)資源數(shù)據(jù)關(guān)聯(lián)呼叫失敗發(fā)生的小區(qū)接通性能指標(biāo)。

小區(qū)資源不足、小區(qū)覆蓋質(zhì)量差、小區(qū)設(shè)備存在故障等原因定位。

③實施驗證。

預(yù)采集所需各類數(shù)據(jù)，包括傳統(tǒng)性能數(shù)據(jù)、工單數(shù)據(jù)、告警數(shù)據(jù)、投訴數(shù)據(jù)等。

關(guān)聯(lián)建模，構(gòu)建新的數(shù)據(jù)模型。

搭建數(shù)據(jù)DEMO，驗證模型設(shè)計。

（2）融合互聯(lián)實現(xiàn)階段。

利用大數(shù)據(jù)技術(shù)構(gòu)建運營商網(wǎng)管數(shù)據(jù)互聯(lián)中心的構(gòu)建方法，構(gòu)建網(wǎng)管數(shù)據(jù)互聯(lián)中心，主要包括5個步驟：統(tǒng)一數(shù)據(jù)接入、統(tǒng)一數(shù)據(jù)建模、集中數(shù)據(jù)存儲、統(tǒng)一數(shù)據(jù)共享、統(tǒng)一平臺管控。

統(tǒng)一數(shù)據(jù)接入：負責(zé)統(tǒng)一的數(shù)據(jù)接入?？筛鶕?jù)業(yè)務(wù)需求和數(shù)據(jù)類型提供多種接入方式；數(shù)據(jù)接入后根據(jù)規(guī)則對數(shù)據(jù)進行初次清洗。

統(tǒng)一數(shù)據(jù)建模：負責(zé)對接入數(shù)據(jù)進行統(tǒng)一建模。對數(shù)據(jù)做統(tǒng)一的標(biāo)準(zhǔn)化處理，同時也可以根據(jù)業(yè)務(wù)規(guī)則對多數(shù)據(jù)源進行關(guān)聯(lián)。

集中數(shù)據(jù)存儲：負責(zé)對建模后數(shù)據(jù)的統(tǒng)一存儲。運用Hadoop分布式技術(shù)，對于數(shù)據(jù)查詢時延要求高的可以存儲在Hbase上；對于數(shù)據(jù)需要提供靈活查詢方式的可以存儲在Hive上。

統(tǒng)一數(shù)據(jù)共享：負責(zé)數(shù)據(jù)的統(tǒng)一對外共享。統(tǒng)一的數(shù)據(jù)共享可以有效防止數(shù)據(jù)泄露，降低上層應(yīng)用獲取數(shù)據(jù)的成本?？筛鶕?jù)業(yè)務(wù)需求提供多種數(shù)據(jù)共享方式，整體上分實時獲取和非實時獲取方式。

統(tǒng)一平臺管控：負責(zé)對網(wǎng)管數(shù)據(jù)互聯(lián)中心進行管理和控制。包括對用戶的安全認證、數(shù)據(jù)獲取方的權(quán)限管理、互聯(lián)中心的數(shù)據(jù)進行質(zhì)量監(jiān)控等。

3 具體實現(xiàn)方法

3.1 互聯(lián)中心建設(shè)

3.1.1 總體架構(gòu)圖

網(wǎng)管數(shù)據(jù)互聯(lián)中心的架構(gòu)，主要包括5個核心模塊：南向數(shù)據(jù)接入層、數(shù)據(jù)關(guān)聯(lián)中心、數(shù)據(jù)倉庫、北向共享接口層、互聯(lián)中心管控分析門戶（見圖1）。

3.1.2 功能模塊介紹

（1）南向數(shù)據(jù)接入層。

負責(zé)各種網(wǎng)絡(luò)數(shù)據(jù)的實時性接入和非實時性接入，實時性要求高的數(shù)據(jù)通過Kafka方式接入，對實時性無要求的數(shù)據(jù)則通過Flume方式接入。需接入的數(shù)據(jù)如下。

①工單：開通、故障、投訴。

②網(wǎng)絡(luò)變更：工程割接、其他變更操作等。

③網(wǎng)絡(luò)資源：2/3/4G基站信息、2/3/4G小區(qū)信息、BSC、RNC、SGSN、MME等網(wǎng)絡(luò)資源信息。

④網(wǎng)管性能：從采集平臺獲取分支進行計算匯總，實時監(jiān)控需求從采集平臺直接送綜合監(jiān)控。

⑤告警：歷史告警（補充了很多處理信息）；實時告警（沒有工單狀態(tài)），綜合監(jiān)控目前沒有實時的告警的對外共享接口，通過MQ消息送到Kafka總線，經(jīng)過storm清洗后入Hbase。

⑥撥測：基于探針撥測和仿真測試。

⑦用戶投訴：批量投訴、廣義投訴等。

⑧其他網(wǎng)絡(luò)數(shù)據(jù)，如日志等，后續(xù)檢視具體應(yīng)用的數(shù)據(jù)需求再確定。

⑨無線專業(yè)的數(shù)據(jù)范圍待后續(xù)結(jié)合地市需求和無優(yōu)中心溝通后細化，比如投訴黑點、MR等。

（2）數(shù)據(jù)關(guān)聯(lián)中心。

數(shù)據(jù)關(guān)聯(lián)中心是對南向接入數(shù)據(jù)進行數(shù)據(jù)建模、對數(shù)據(jù)模型化處理，主要分為“資源ODM化”和“多數(shù)據(jù)源關(guān)聯(lián)”。

①資源信息ODM化：通過加載資源數(shù)據(jù)后，采用Spark Streaming技術(shù)對南向接入的其他數(shù)據(jù)源，以實時流的方式進行高效資源維度信息規(guī)范化處理，回填資源信息，為后續(xù)的多數(shù)據(jù)源關(guān)聯(lián)提供統(tǒng)一標(biāo)準(zhǔn)的資源維度。

②多數(shù)據(jù)源關(guān)聯(lián)：是依據(jù)數(shù)據(jù)融合模型場景，對實時計算需求場景中使用Spark SQL，在離線計算需求場景中使用Hive，對ODM化輸出的各數(shù)據(jù)源的以資源維度為索引進行數(shù)據(jù)關(guān)聯(lián)和匯聚的處理。

數(shù)據(jù)源關(guān)聯(lián)原則（三同一全原則）：同最小維度關(guān)聯(lián)，對最小維度級別相同的數(shù)據(jù)源進行關(guān)聯(lián)。同網(wǎng)絡(luò)類型關(guān)聯(lián)，關(guān)聯(lián)的數(shù)據(jù)源中只存在某種網(wǎng)絡(luò)類型（2、3、4G）的，則根據(jù)網(wǎng)絡(luò)類型維度分別關(guān)聯(lián)輸出模型。同數(shù)據(jù)量級關(guān)聯(lián)，進行關(guān)聯(lián)的數(shù)據(jù)源必須在同一數(shù)據(jù)量級，否則分開模型輸出。全字段關(guān)聯(lián)，關(guān)聯(lián)的各數(shù)據(jù)源中維度外的字段全部輸出到模型里。

數(shù)據(jù)管理中心處理包括實時計算框架和離線計算框架2類。

①實時計算框架：接入流式消息數(shù)據(jù)，數(shù)據(jù)從接入系統(tǒng)到計算出結(jié)果耗時在1 min內(nèi)，進程常駐；計算框架為Spark Steaming，對接消息隊列Kafka獲取消息。

②離線計算框架：接入文件數(shù)據(jù)，數(shù)據(jù)從接入系統(tǒng)到計算出結(jié)果耗時在5 min以上，按需啟動/結(jié)束進程；計算框架為Spark和Hive，從HDFS獲取輸入數(shù)據(jù)。

（3）數(shù)據(jù)倉庫。

數(shù)據(jù)倉庫負責(zé)共享數(shù)據(jù)的統(tǒng)一存儲，包括ODM化后的原始接入數(shù)據(jù)和關(guān)聯(lián)后的融合模型數(shù)據(jù)。ODM化后的原始接入數(shù)據(jù)因其數(shù)據(jù)量大，存儲在Hbase集群以提供高速的海量數(shù)據(jù)查詢響應(yīng)。關(guān)聯(lián)后的融合模型數(shù)據(jù)是對多數(shù)據(jù)源關(guān)聯(lián)匯聚后的統(tǒng)計數(shù)據(jù)，存儲在Hive以提供靈活組合的高效查詢。

（4）北向共享接口層。

北向共享接口層是一種分布式接口服務(wù)層，負責(zé)數(shù)據(jù)對外開放共享。外部系統(tǒng)可以通過5種方式獲取數(shù)據(jù)。

實時獲取Hbase數(shù)據(jù)。以REST API方式，對外發(fā)布GET（URL）接口，將查詢條件封裝在URL？para1=xxx&

para2=xxx，以JSON的格式返回查詢數(shù)據(jù)。此方式主要用于查詢結(jié)果集較小、實時性要求高的場景。

異步獲取Hbase數(shù)據(jù)。以Kafka+FTP方式，查詢結(jié)果較大時使用此方式，將結(jié)果寫入文件中，然后上傳到FTP服務(wù)器上，通過Kafka返回如何獲取文件的信息。此方式主要用于查詢結(jié)果集較大、實時性要求低的場景。

異步獲取即系查詢數(shù)據(jù)。以Kafka+FTP方式，查詢結(jié)果較大時使用此方式，將結(jié)果寫入文件中，然后上傳到FTP服務(wù)器上，通過Kafka返回如何獲取文件的信息。此方式主要用于查詢結(jié)果集較大、實時性要求低的場景。與第二種的差別是，第二種方式查詢的是Hbase數(shù)據(jù)、而此方式查詢的是Hive數(shù)據(jù)。

FTP定期獲取數(shù)據(jù)。數(shù)據(jù)互聯(lián)中心把使用方需要的數(shù)據(jù)（Hbase、Hive數(shù)據(jù)）上傳至FTP，使用方定期掃描FTP服務(wù)器，發(fā)現(xiàn)有新文件則獲取下來?？紤]到多用戶頻繁掃描FTP服務(wù)器會增加服務(wù)器壓力，目前未使用該方式。

獲取Kafka實時數(shù)據(jù)。通過Kafka接口，實時傳輸數(shù)據(jù)，使用方訂閱相應(yīng)Topic即可獲取所需數(shù)據(jù)。此方式主要用于對數(shù)據(jù)實時性要求極高的場景。

（5）互聯(lián)中心管控分析門戶。

互聯(lián)中心管控分析門戶用于對互聯(lián)中心進行可視化管理和控制，分5個子模塊：元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、接口管理、安全管理、用戶權(quán)限管理。

元數(shù)據(jù)管理。對南向接入數(shù)據(jù)進行可視化管理；對資源數(shù)據(jù)的管理和對數(shù)據(jù)源的資源關(guān)聯(lián)規(guī)則配置，包括資源列表和資源關(guān)聯(lián)規(guī)則兩部分；提供在ODM化和數(shù)據(jù)源關(guān)聯(lián)以后、最終共享給外部系統(tǒng)的模型數(shù)據(jù)視圖；提供接入數(shù)據(jù)的數(shù)據(jù)流向圖。

數(shù)據(jù)質(zhì)量。對互聯(lián)中心的接入數(shù)據(jù)的完整性進行統(tǒng)計、給出缺失的文件；統(tǒng)計各模型的資源關(guān)聯(lián)率、關(guān)聯(lián)率低的模型及時告警。

接口管理。管理南向數(shù)據(jù)接入的種類、接入方式、采集頻率等信息；管理北向共享數(shù)據(jù)的種類、共享方式、時間粒度等信息。

安全管理。對用戶行為進行監(jiān)控、對敏感數(shù)據(jù)進行脫敏等。

用戶權(quán)限管理。對每個訪問互聯(lián)中心的賬號進行權(quán)限管理，按要求進行授權(quán)。

3.1.3 數(shù)據(jù)總體的流向處理

互聯(lián)中心數(shù)據(jù)流總體上分2類：實時數(shù)據(jù)流和非實時數(shù)據(jù)流。

（1）實時數(shù)據(jù)流。實時數(shù)據(jù)流向如圖2所示。

（2）非實時數(shù)據(jù)流。非實時數(shù)據(jù)流向如圖3所示。

3.2 互聯(lián)中心應(yīng)用場景介紹

3.2.1 已落地應(yīng)用

網(wǎng)管數(shù)據(jù)互聯(lián)中心目前已接入5類數(shù)據(jù)，有效支撐智能研判、自研競賽、地市共享等應(yīng)用。接入數(shù)據(jù)及支持的應(yīng)用情況見表2。

后續(xù)將接入話務(wù)網(wǎng)性能數(shù)據(jù)、數(shù)通網(wǎng)性能數(shù)據(jù)、綜分系統(tǒng)數(shù)據(jù)、有線網(wǎng)優(yōu)等性能指標(biāo)數(shù)據(jù)，客響數(shù)據(jù)，廣義投訴，集客、家寬等資源數(shù)據(jù)，HSS日志數(shù)據(jù)等數(shù)據(jù)，豐富網(wǎng)管數(shù)據(jù)，以便支持更多的網(wǎng)管應(yīng)用。

3.2.2 典型應(yīng)用介紹

故障投訴預(yù)警系統(tǒng)：通過互聯(lián)中心北向接口，獲取所需要的告警、工單、網(wǎng)絡(luò)變更、用戶投訴等數(shù)據(jù)。

數(shù)據(jù)共享方式如圖4所示。

對于工單、網(wǎng)絡(luò)變更、投訴等數(shù)據(jù)量較小、實時性要求高的數(shù)據(jù)，故障投訴預(yù)警系統(tǒng)可以實時查詢Hbase獲取數(shù)據(jù)，即圖4中A方式。

對于告警數(shù)據(jù)，由于數(shù)據(jù)量大、且實時性要求也較高，故障投訴預(yù)警系統(tǒng)可以通過異步查詢Hbase，即圖4中B方式，在Hbase查詢完數(shù)據(jù)后把數(shù)據(jù)文件上傳至數(shù)據(jù)共享機，同時會發(fā)一條通知消息至Kafka，故障投訴預(yù)警系統(tǒng)可以從該消息中獲取到文件信息，然后根據(jù)獲取的文件信息通過FTP方式從數(shù)據(jù)共享機獲取數(shù)據(jù)文件。

對于投訴歷史數(shù)據(jù)、告警歷史數(shù)據(jù)等，數(shù)據(jù)量較大、實時性要求較低，故障投訴預(yù)警系統(tǒng)可以通過異步查詢Hive，即圖4中C方式，在Hive查詢完數(shù)據(jù)后把數(shù)據(jù)文件上傳至數(shù)據(jù)共享機，同時會發(fā)一條通知消息至Kafka，故障投訴預(yù)警系統(tǒng)可以從該消息中獲取到文件信息，然后根據(jù)獲取的文件信息通過FTP方式從數(shù)據(jù)共享機獲取數(shù)據(jù)文件。

4 結(jié)語

利用成熟的大數(shù)據(jù)技術(shù)，借鑒互聯(lián)網(wǎng)公司經(jīng)驗，構(gòu)建統(tǒng)一的網(wǎng)管數(shù)據(jù)互聯(lián)中心，統(tǒng)一數(shù)據(jù)處理，融合多源數(shù)據(jù)，進行關(guān)聯(lián)分析、挖掘分析，可以構(gòu)建更高效的業(yè)務(wù)分析模型，滿足業(yè)務(wù)發(fā)展要求；通過有效數(shù)據(jù)融合互聯(lián)，進行線性回歸，溯源分析，實現(xiàn)更精準(zhǔn)的端到端分析，可以更好地優(yōu)化客戶體驗，提高客戶滿意度。

該文的意義在于提供一個高效可行的方法，破除網(wǎng)管系統(tǒng)煙囪建設(shè)、數(shù)據(jù)孤島、支撐力度不足問題，通過集中的網(wǎng)管數(shù)據(jù)互聯(lián)中心，提供更強大的數(shù)據(jù)處理能力，更高效的分析模型，更好地促進業(yè)務(wù)發(fā)展，提高企業(yè)綜合競爭力。

參考文獻

[1] 單紹龍，張西群，劉光富.互聯(lián)異構(gòu)數(shù)據(jù)庫系統(tǒng)構(gòu)建綜合數(shù)據(jù)中心平臺的研究[J].計算機光盤軟件與應(yīng)用，2012（11）：155.

[2] 陳吉榮，樂嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計算機工程與科學(xué)，2013，35（10）：25-35.

[3] 石嵐.電信綜合網(wǎng)管系統(tǒng)中的數(shù)據(jù)管理[J].廣東通信技術(shù)，2007，27（12）：40-44.