張文彬 陳文 張立彬

摘? 要：隨著無線網(wǎng)絡(luò)從2/3G到4/5G的演進(jìn)和日益復(fù)雜，以及移動(dòng)網(wǎng)絡(luò)用戶數(shù)的快速增長和用戶業(yè)務(wù)的多樣化，無線網(wǎng)絡(luò)數(shù)據(jù)也隨之不斷增大到海量，無線網(wǎng)絡(luò)建設(shè)、維護(hù)、優(yōu)化及指標(biāo)分析也面臨著新的挑戰(zhàn)?；凇昂诵?前置”架構(gòu)建設(shè)的網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)，開展網(wǎng)絡(luò)大數(shù)據(jù)采集、運(yùn)營體系研究和運(yùn)營能力建設(shè)，形成上下統(tǒng)籌、協(xié)同運(yùn)營的一體化運(yùn)營體系，助力開展網(wǎng)絡(luò)大數(shù)據(jù)分析和各種應(yīng)用支撐。

關(guān)鍵詞：網(wǎng)絡(luò)大數(shù)據(jù);建維優(yōu)一體化;大數(shù)據(jù)平臺(tái);指標(biāo)分析;應(yīng)用支撐

中圖分類號(hào)：TP393? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）22-0071-05

Abstract： With the evolution of wireless network from 2/3G to 4/5G and its increasing complexity， as well as the rapid growth of mobile network users and the diversification of user services， wireless network data is also increasing to a large amount， wireless network construction， maintenance， optimization and index analysis are also facing new challenges. The network big data system constructed based on the “core + front” architecture will carry out network big data collection， operation system research and operation capacity construction， forming an integrated operation system with overall planning from top to bottom and collaborative operation， and facilitating network big data analysis and various application support.

Keywords： network big data; integration of construction， maintenance and excellence; big data platform; index analysis; application support

0? 引? 言

隨著網(wǎng)絡(luò)大數(shù)據(jù)運(yùn)營的逐漸深入，集團(tuán)大數(shù)據(jù)平臺(tái)已采集無線MR、CDR，移動(dòng)DPI，固網(wǎng)DPI等多類網(wǎng)絡(luò)數(shù)據(jù)。同時(shí)伴隨接入省份的增多，數(shù)據(jù)體量不斷增大，關(guān)聯(lián)計(jì)算資源消耗大，數(shù)據(jù)實(shí)時(shí)性難以保證，帶寬也面臨嚴(yán)峻考驗(yàn)。所以運(yùn)營體系架構(gòu)下沉到各省，組建31省運(yùn)營團(tuán)隊(duì)。數(shù)據(jù)和應(yīng)用分離，使得網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)具有高度的靈活性，能夠快速地定制所需要的數(shù)據(jù)及表現(xiàn)形式，提高數(shù)據(jù)分析和應(yīng)用支撐效率。

無線網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)建維優(yōu)一體化項(xiàng)目是在集團(tuán)層面建設(shè)全國統(tǒng)一的建、維、優(yōu)一體化的專家系統(tǒng)，實(shí)現(xiàn)集團(tuán)集中建設(shè)、全國分級(jí)使用的網(wǎng)絡(luò)大數(shù)據(jù)集中化，提升資源的合理配置，減少重復(fù)建設(shè)造成的投資浪費(fèi)，同時(shí)助力開展網(wǎng)絡(luò)大數(shù)據(jù)指標(biāo)分析，支撐各種應(yīng)用，將會(huì)產(chǎn)生很大的經(jīng)濟(jì)效益。無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化項(xiàng)目建成的建、維、優(yōu)一體化的專家系統(tǒng)，完成了通信行程卡、基站節(jié)能、無線精準(zhǔn)投資規(guī)劃、高速高鐵監(jiān)控、校園場景監(jiān)控、質(zhì)差區(qū)域優(yōu)化、質(zhì)差用戶分析等應(yīng)用的支撐。

網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)運(yùn)營體系研究

1? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)總體架構(gòu)

無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化系統(tǒng)實(shí)行集中一體化部署方案，基于“核心+前置”，前置預(yù)處理采用集團(tuán)統(tǒng)一規(guī)劃、統(tǒng)一設(shè)計(jì)、分省部署建設(shè)方案?？傮w框架如圖1所示。

無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化系統(tǒng)總體架構(gòu)如圖2所示，由前置管理節(jié)點(diǎn)和前置處理節(jié)點(diǎn)兩部分構(gòu)成。

前置管理節(jié)點(diǎn)包括統(tǒng)一任務(wù)調(diào)度、配置中心、運(yùn)營管理和系統(tǒng)管理四部分能力。統(tǒng)一任務(wù)調(diào)度通過統(tǒng)一計(jì)算引擎實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)前置預(yù)處理的預(yù)處理業(yè)務(wù)算法下發(fā)和分層任務(wù)調(diào)度;配置中心對(duì)應(yīng)用參數(shù)配置、數(shù)據(jù)質(zhì)量稽核規(guī)則和數(shù)據(jù)生命周期規(guī)則進(jìn)行配置和管理;運(yùn)營管理通過消息接收能力實(shí)現(xiàn)集群資源、主機(jī)服務(wù)和數(shù)據(jù)質(zhì)量的監(jiān)控;系統(tǒng)管理提供統(tǒng)一安裝部署能力，對(duì)程序版本進(jìn)行管理，并對(duì)用戶功能訪問、數(shù)據(jù)權(quán)限進(jìn)行配置管理。

前置處理節(jié)點(diǎn)包括前置任務(wù)管理、數(shù)據(jù)預(yù)處理、數(shù)據(jù)采集、數(shù)據(jù)稽核、運(yùn)營管理和系統(tǒng)管理能力。前置任務(wù)管理對(duì)任務(wù)進(jìn)行實(shí)例化，并對(duì)任務(wù)進(jìn)行協(xié)同調(diào)度執(zhí)行，執(zhí)行結(jié)果可通過任務(wù)監(jiān)控查看;數(shù)據(jù)采集和預(yù)處理將原始數(shù)據(jù)入庫HDFS文件系統(tǒng)，通過任務(wù)調(diào)度對(duì)原始數(shù)據(jù)進(jìn)行清洗過濾、關(guān)聯(lián)回填、增加定位信息等;運(yùn)營管理定時(shí)采集系統(tǒng)運(yùn)行的各項(xiàng)指標(biāo)信息，并將平臺(tái)運(yùn)行情況上報(bào)給前置管理節(jié)點(diǎn);系統(tǒng)管理接收前置管理節(jié)點(diǎn)的指令信息，在前置節(jié)點(diǎn)中實(shí)施安裝部署、版本管理和權(quán)限管控。

平臺(tái)架構(gòu)特點(diǎn)如下：

（1）基于采集匯集的分層架構(gòu)協(xié)同統(tǒng)一，采用分層協(xié)同調(diào)度管理，前置預(yù)處理由集團(tuán)統(tǒng)一管控，部署和運(yùn)維，具有邏輯集中調(diào)度前置預(yù)處理處理能力。

（2）數(shù)據(jù)直接在前置處理節(jié)點(diǎn)處理，構(gòu)建“邊緣計(jì)算+分布式存儲(chǔ)”的前置預(yù)處理架構(gòu)，減少數(shù)據(jù)上傳帶寬消耗。

（3）數(shù)據(jù)交互量大，數(shù)據(jù)處理復(fù)雜，上下游交互復(fù)雜，需要有穩(wěn)健可行的上下游交互規(guī)則。

（4）具有職責(zé)分工明晰的前置預(yù)處理流程，涉及集團(tuán)與省公司等多方負(fù)責(zé)人員，便于運(yùn)維管控工作。

（5）全流程監(jiān)控保障前置數(shù)據(jù)采集，橫向具備關(guān)鍵采集環(huán)節(jié)梳理及監(jiān)控，縱向能夠穿越業(yè)務(wù)層和主機(jī)層監(jiān)控，建立端到數(shù)據(jù)質(zhì)量管控體系和全流程的運(yùn)營體系。

2? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)技術(shù)架構(gòu)

基于網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)平臺(tái)建設(shè)原則和總體框架設(shè)計(jì)要求，平臺(tái)采用基于分布式技術(shù)的組件構(gòu)建，技術(shù)架構(gòu)如圖3所示。

無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化系統(tǒng)技術(shù)架構(gòu)采用“邏輯統(tǒng)一、物理分散”的架構(gòu)設(shè)計(jì)，包括前置管理節(jié)點(diǎn)和前置處理節(jié)點(diǎn)兩部分。前置管理節(jié)點(diǎn)采用分布式架構(gòu)設(shè)計(jì)，將算法文件下發(fā)到31省前置預(yù)處理平臺(tái)，在各預(yù)處理平臺(tái)進(jìn)行任務(wù)實(shí)例化和分層協(xié)同調(diào)度，實(shí)現(xiàn)數(shù)據(jù)處理、分析和查詢等能力。前置預(yù)處理平臺(tái)使用Hadoop開源生態(tài)組件，通過前置任務(wù)執(zhí)行調(diào)度批量計(jì)算能力和實(shí)時(shí)計(jì)算能力。滿足統(tǒng)一計(jì)算引擎實(shí)現(xiàn)各種計(jì)算能力SQL封裝。

關(guān)鍵技術(shù)如下：

（1）元數(shù)據(jù)管理：基于元數(shù)據(jù)管理，支撐標(biāo)準(zhǔn)化數(shù)據(jù)訪問、互操作，分層協(xié)同任務(wù)調(diào)度。

（2）分層協(xié)同任務(wù)調(diào)度：即前置管理節(jié)點(diǎn)下發(fā)算法文件到31個(gè)省前置處理節(jié)點(diǎn)，前置處理節(jié)點(diǎn)將算法任務(wù)實(shí)例化后，將計(jì)算指令調(diào)度到具體的計(jì)算節(jié)點(diǎn)進(jìn)行計(jì)算。

（3）統(tǒng)一計(jì)算引擎：前置管理節(jié)點(diǎn)將算法下推到前置處理節(jié)點(diǎn)，實(shí)現(xiàn)總部統(tǒng)一管理算法，省份分別調(diào)度計(jì)算。

（4）網(wǎng)絡(luò)傳輸：通過數(shù)據(jù)壓縮、斷點(diǎn)續(xù)傳等技術(shù)，提供高效、可靠的數(shù)據(jù)傳輸服務(wù)。建立命令和數(shù)據(jù)雙通道，避免阻塞，充分利用帶寬。

（5）全網(wǎng)監(jiān)控服務(wù)：實(shí)現(xiàn)前置管理節(jié)點(diǎn)和前置處理節(jié)點(diǎn)的物理節(jié)點(diǎn)和計(jì)算任務(wù)的監(jiān)控。

（6）權(quán)限管理：負(fù)責(zé)全網(wǎng)的功能權(quán)限、數(shù)據(jù)權(quán)限、角色權(quán)限、區(qū)域權(quán)限等的管理。

3? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)組織架構(gòu)

集團(tuán)和各省設(shè)立網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)專職運(yùn)營團(tuán)隊(duì)，規(guī)范化運(yùn)作，全面提升數(shù)據(jù)處理和共享能力，為數(shù)字化轉(zhuǎn)型提供高質(zhì)量大數(shù)據(jù)支撐服務(wù)。網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)已經(jīng)接入4G、5G及統(tǒng)一DPI等網(wǎng)絡(luò)數(shù)據(jù)，形成了無線網(wǎng)絡(luò)數(shù)據(jù)接入、處理、共享能力，除支撐建維優(yōu)一體化應(yīng)用需求外，逐步為集團(tuán)及各省分公司提供數(shù)據(jù)和能力共享服務(wù)。

網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)組織架構(gòu)特點(diǎn)主要有：

（1）設(shè)立集團(tuán)和各省專職運(yùn)營團(tuán)隊(duì)，建立端到端運(yùn)營支撐，規(guī)范運(yùn)營基本動(dòng)作。

（2）完善可維可測工具，實(shí)現(xiàn)系統(tǒng)基礎(chǔ)運(yùn)維自動(dòng)化、前臺(tái)化，提升系統(tǒng)運(yùn)維效率。

（3）落實(shí)運(yùn)行維護(hù)機(jī)制，保障系統(tǒng)軟硬件運(yùn)行穩(wěn)定，全量數(shù)據(jù)穩(wěn)定接入、高效處理，持續(xù)提升數(shù)據(jù)質(zhì)量。

（4）優(yōu)化用戶支持模式，及時(shí)響應(yīng)、處理集團(tuán)、省分各業(yè)務(wù)需求單位的數(shù)據(jù)共享需求和技術(shù)咨詢。

4? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)集群監(jiān)控平臺(tái)

網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)集群監(jiān)控平臺(tái)是基于Hadoop的一個(gè)大型的、分布式的數(shù)據(jù)存儲(chǔ)和處理的基礎(chǔ)設(shè)施，平臺(tái)架構(gòu)如圖4所示。Ambari服務(wù)器（server）、代理（agent）和基礎(chǔ)設(shè)施組件提供了對(duì)集群中主機(jī)的操作控制以及集群訪問的管理控制。Ambari Web顯示已經(jīng)安裝的服務(wù)的摘要、圖形和告警等信息。使用Ambari Web可以創(chuàng)建和管理集群，執(zhí)行基本的操作任務(wù)，例如啟動(dòng)和停止服務(wù)、添加主機(jī)和服務(wù)到集群，并更新服務(wù)配置。Ambari服務(wù)器從整個(gè)集群中收集數(shù)據(jù)。每個(gè)主機(jī)都有一個(gè)Ambari代理（agent），允許Ambari服務(wù)器控制每個(gè)主機(jī)。Ambari Web是一個(gè)客戶端的JavaScript應(yīng)用程序，它調(diào)用Ambari REST API（可從Ambari Server訪問）去訪問集群信息并執(zhí)行集群操作。瀏覽器和服務(wù)器之間的通信使用REST API異步進(jìn)行。

如圖5所示，通過網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)集群監(jiān)控平臺(tái)可視化界面展示數(shù)據(jù)情況，以及自動(dòng)化稽核流程和標(biāo)準(zhǔn)化工作流程等，組織協(xié)同31省完成網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)質(zhì)量稽核工作。數(shù)據(jù)質(zhì)量核查工作分別從以下三個(gè)方面完成。完成4/5G、VoLTE、物聯(lián)網(wǎng)、固網(wǎng)HTTPGET/AAA、移動(dòng)DPI接入的原始數(shù)據(jù)質(zhì)量監(jiān)控;完成網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)各類型、各環(huán)節(jié)數(shù)據(jù)異常監(jiān)控、自動(dòng)告警并進(jìn)行匯總呈現(xiàn)、狀態(tài)跟蹤;完成各主要環(huán)節(jié)數(shù)據(jù)多維度統(tǒng)計(jì)分析，對(duì)數(shù)據(jù)發(fā)生異常的原因進(jìn)行精準(zhǔn)定位，指導(dǎo)維護(hù)人員快速解決問題。

5? 網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)應(yīng)用支撐

網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)核心賦能，為集團(tuán)大數(shù)據(jù)應(yīng)用建設(shè)提供數(shù)據(jù)支撐。網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化項(xiàng)目建成的建、維、優(yōu)一體化的專家系統(tǒng)，完成了通信行程卡、基站節(jié)能、無線精準(zhǔn)投資規(guī)劃、高速高鐵監(jiān)控、校園場景監(jiān)控、質(zhì)差區(qū)域優(yōu)化、質(zhì)差用戶分析等應(yīng)用的支撐。

5.1? 通信行程卡

自2020年初疫情暴發(fā)以來，通信大數(shù)據(jù)行程卡系統(tǒng)對(duì)疫情防控工作發(fā)揮了極其重要的作用。為了“通信行程卡”能覆蓋所到所有的用戶，通過網(wǎng)絡(luò)大數(shù)據(jù)處理系統(tǒng)整合2/3G的OIDD信令，VoLTE信令數(shù)據(jù)，4G信令數(shù)據(jù)以及5G網(wǎng)絡(luò)的相關(guān)信令數(shù)據(jù)，確保了每個(gè)用戶的行程軌跡能夠不被遺漏。

中國電信面對(duì)全網(wǎng)3.62億的移動(dòng)網(wǎng)用戶數(shù)和海量的信令數(shù)據(jù)，為了讓“通信行程卡”能準(zhǔn)確呈現(xiàn)出用戶的行程軌跡，在數(shù)據(jù)治理上進(jìn)行了大量的研究和投入，組織全網(wǎng)協(xié)同，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行提升。自通信大數(shù)據(jù)行程卡正式面向公眾提供位置查詢服務(wù)以來，中國電信的行程軌跡數(shù)據(jù)累計(jì)調(diào)用達(dá)到26.9億人次、日均311萬人次，尤其2021年8月份疫情在全國多點(diǎn)爆發(fā)，訪問量突增，8月份日均調(diào)用次數(shù)達(dá)2 438萬次，為國家疫情防控工作做出了巨大的貢獻(xiàn)。

5.2? 基站節(jié)能

基于網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)基礎(chǔ)數(shù)據(jù)統(tǒng)一打造的基站智慧節(jié)能系統(tǒng)現(xiàn)已于15省部署推廣，4G基站節(jié)能，平均節(jié)能效率達(dá)10.7%，5G基站節(jié)能，平均節(jié)能效率達(dá)20.2%。節(jié)能小區(qū)發(fā)現(xiàn)率由傳統(tǒng)靜態(tài)節(jié)能的10%提升至40%，有效擴(kuò)大節(jié)能小區(qū)規(guī)模，充分挖掘節(jié)能潛力，減少基站運(yùn)維成本。

6? 結(jié)? 論

文章基于“核心+前置”架構(gòu)建設(shè)的網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)，開展了網(wǎng)絡(luò)大數(shù)據(jù)采集、運(yùn)營體系研究和運(yùn)營能力建設(shè)，形成上下統(tǒng)籌、協(xié)同運(yùn)營的一體化運(yùn)營體系，實(shí)現(xiàn)了集團(tuán)集中建設(shè)、全國分級(jí)使用的網(wǎng)絡(luò)大數(shù)據(jù)集中化，提升資源配置合理性，減少了重復(fù)建設(shè)造成的投資浪費(fèi)，同時(shí)助力開展網(wǎng)絡(luò)大數(shù)據(jù)指標(biāo)分析，支撐各種應(yīng)用，將會(huì)產(chǎn)生很大的經(jīng)濟(jì)效益。本文所論述的無線網(wǎng)絡(luò)大數(shù)據(jù)建維優(yōu)一體化項(xiàng)目建成的建、維、優(yōu)一體化的專家系統(tǒng)，完成了通信行程卡、無線精準(zhǔn)投資規(guī)劃、高速高鐵監(jiān)控、校園場景監(jiān)控、質(zhì)差區(qū)域優(yōu)化、質(zhì)差用戶分析等應(yīng)用的支撐，具有非常好的發(fā)展前景。

參考文獻(xiàn)：

[1] 紀(jì)沖，劉巖.基于半監(jiān)督深度學(xué)習(xí)法的網(wǎng)絡(luò)大數(shù)據(jù)集成挖掘 [J].計(jì)算機(jī)仿真，2021，38（7）：313-316.

[2] 段玉琴.大數(shù)據(jù)時(shí)代繼續(xù)教育平臺(tái)建設(shè)研究和實(shí)踐 [J].繼續(xù)教育研究，2021（8）：5-7.

[3] 盤善海，裴華.高安全等級(jí)網(wǎng)絡(luò)安全防護(hù)體系研究與設(shè)計(jì) [J].通信技術(shù)，2021，54（7）：1715-1720.

[4] 李鵬舉.大數(shù)據(jù)背景下計(jì)算機(jī)信息安全體系研究 [J].數(shù)字技術(shù)與應(yīng)用，2021，39（6）：183-185.

[5] 陳亞科.基于大數(shù)據(jù)時(shí)代下的計(jì)算機(jī)網(wǎng)絡(luò)安全研究 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（5）：159-161.

[6] 夏利玲.基于大數(shù)據(jù)時(shí)代計(jì)算機(jī)網(wǎng)絡(luò)安全技術(shù)應(yīng)用與研究 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（4）：161-162.

作者簡介：張文彬（1985—），男，漢族，工程師，大數(shù)據(jù)項(xiàng)目經(jīng)理，畢業(yè)于北京郵電大學(xué)，工學(xué)學(xué)士，研究方向：通信網(wǎng)絡(luò)規(guī)劃、建設(shè)、維護(hù)、優(yōu)化，大數(shù)據(jù)運(yùn)營;陳文（1974—），女，漢族，工程師，大數(shù)據(jù)項(xiàng)目經(jīng)理，畢業(yè)于北京大學(xué)，工學(xué)學(xué)士，研究方向：通信網(wǎng)絡(luò)規(guī)劃、建設(shè)、維護(hù)、優(yōu)化，大數(shù)據(jù)運(yùn)營;張立彬（1986—），男，漢族，工程師，大數(shù)據(jù)項(xiàng)目經(jīng)理，畢業(yè)于吉林大學(xué)，工學(xué)碩士，研究方向：通信網(wǎng)絡(luò)規(guī)劃、建設(shè)、維護(hù)、優(yōu)化，大數(shù)據(jù)運(yùn)營。