沃瀟瀟 王 燁

?

基于大數(shù)據(jù)處理技術的電力通信網(wǎng)資源預警分析系統(tǒng)的研究與實現(xiàn)

沃瀟瀟1王 燁2

1.國網(wǎng)湖南省電力有限公司信息通信分公司，湖南 長沙 410004 2.南京南瑞集團公司，江蘇 南京 210003

隨著電力通信網(wǎng)資源數(shù)據(jù)的海量激增，大數(shù)據(jù)處理技術在電力通信網(wǎng)中的深入應用，如何高效地使用“海量”通信資源數(shù)據(jù)，對電力通信系統(tǒng)的資源管理提出了更新、更高的要求。從海量實時數(shù)據(jù)的匯聚和處理方式著手，對如何建立多維度的電力通信網(wǎng)資源預警分析模型、如何實現(xiàn)資源預警場景實現(xiàn)進行研究并提出建設方案。本系統(tǒng)能夠通過對電力通信資源的緊缺和薄弱環(huán)節(jié)進行分析，提供智能分析決策功能，實現(xiàn)通信資源的自動預警和閉環(huán)管理。

電力通信傳輸網(wǎng)；通信資源；大數(shù)據(jù)處理；預警

引言

近年來，中國大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展正在從信息技術驅動向數(shù)據(jù)驅動方向進階，大數(shù)據(jù)趨勢正從互聯(lián)網(wǎng)向各個領域延展，各行各業(yè)的決策正在向“數(shù)據(jù)智能驅動”轉變，未來在數(shù)據(jù)挖掘、機器學習、人工智能等技術的基礎上，還將以智能化的形式賦能各行各業(yè)。

電網(wǎng)公司經(jīng)過近十年的信息化建設，積累的海量生產(chǎn)運行和經(jīng)營管理數(shù)據(jù)，奠定了電力大數(shù)據(jù)應用基礎。作為電力系統(tǒng)安全穩(wěn)定運行的三大支柱之一的電力通信網(wǎng)，隨著公司快速發(fā)展和業(yè)務創(chuàng)新、網(wǎng)絡規(guī)模日益擴大、網(wǎng)絡結構的日趨復雜、通信資源海量激增，如何更好地發(fā)揮電力通信網(wǎng)對電網(wǎng)的支撐作用，對電力通信資源海量數(shù)據(jù)實時采集接入、關聯(lián)分析挖掘能力提出了更新、更高的要求。

1 電力通信資源管理存在的問題

電力系統(tǒng)已建立覆蓋全國各級電力骨干通信網(wǎng)、交換網(wǎng)、支撐網(wǎng)、接入網(wǎng)等在內的統(tǒng)一通信管理系統(tǒng)（SG-TMS系統(tǒng)），通過系統(tǒng)對大量通信資源進行管理，建立縱橫交互的管理體系，提高了通信資源的管理效率，但是在目前電力通信網(wǎng)資源管理中仍存在不足，考慮建立通信網(wǎng)資源預警分析系統(tǒng)，用以解決以下幾個方面的問題[1]。

一是解決數(shù)據(jù)關聯(lián)分析能力不足問題，用數(shù)據(jù)輔助決策分析，提升精益化管理水平。雖然經(jīng)過近幾年的電力通信信息化建設，通信管理系統(tǒng)中已積累了設備配置、運行維護、業(yè)務通道關聯(lián)等海量原始數(shù)據(jù)，但由于缺少強大的數(shù)據(jù)關聯(lián)分析能力，無法從海量基礎數(shù)據(jù)中獲得真正有價值的、智能的、具有輔助決策的信息。

二是解決通信資源“被動”運維問題，通過系統(tǒng)主動發(fā)現(xiàn)資源問題、主動預警。目前資源管理主要通過SG-TMS系統(tǒng)對通信資源進行統(tǒng)計，但分析、管理很大程度上還需人工干預，現(xiàn)有通信資源的使用情況、預留額度、稀缺程度缺乏自動預警監(jiān)控，維護人員往往無法及時發(fā)現(xiàn)資源問題，有時將直接影響通信網(wǎng)絡規(guī)劃、建設、方式安排和設備運行維護，影響管理效率。

三是解決“海量”數(shù)據(jù)填報準確性無法校驗問題。通信管理系統(tǒng)中的原始數(shù)據(jù)，部分仍需通過人工方式錄入和維護，無法通過有效手段發(fā)現(xiàn)錯誤數(shù)據(jù)，嚴重影響對通信資源統(tǒng)計、分析的準確性。

2 基于大數(shù)據(jù)電力通信網(wǎng)資源預警系統(tǒng)構建思路

由于通信管理系統(tǒng)（SG-TMS系統(tǒng)）中已積累海量原始數(shù)據(jù)，因此通信網(wǎng)資源預警分析可借助海量實時數(shù)據(jù)的及時匯聚和分析處理技術，依托SG-TMS系統(tǒng)開展，同時借助外部數(shù)據(jù)源，對SG-TMS中的數(shù)據(jù)進行提取與比對，從而對設備、光纜、業(yè)務等通信資源對象開展多維度分析、預警和優(yōu)化[2]。

2.1 體系構建

結合電力通信資源管理的實際需求，構建資源預警體系，進行資源評估、及時預警、后續(xù)跟蹤，實現(xiàn)“預警分析—預控治理—效果評估”的閉環(huán)管理?？紤]將資源預警從4個方向、4個對象、9個關鍵點來構建整個體系，實現(xiàn)資源優(yōu)化、系統(tǒng)安全、自主運維3個目標。

2.2 功能構建

建立資源預警分析系統(tǒng)主要包括4個功能點，資源預警分析子系統(tǒng)總體功能結構如圖2所示。

（1）指標計算引擎：提供高性能的指標計算引擎，從業(yè)務安全、網(wǎng)絡安全、風險點、利用率4個維度，定時從TMS資源信息管理中提取相關數(shù)據(jù)，根據(jù)指標分析算法，結合用戶設置的權重和閾值（標準和規(guī)范）進行對比，產(chǎn)生網(wǎng)絡預警及預警報告。

圖1 電力通信傳輸網(wǎng)資源預警體系架構圖

圖2 總體功能結構

（2）預警規(guī)則：提供各預警指標的規(guī)則參數(shù)的管理維護功能，包括預警的分析范圍、權重、閾值等。

（3）處理建議：提供各預警指標的處理建議的管理維護功能，可以為各預警結果添加個性化處理建議。

（4）預警處置與疏導：對于發(fā)現(xiàn)的預警結果，提供相關方式調配的路由方案支撐，執(zhí)行通道疏導、光路疏導或下發(fā)方式單。

3 基于大數(shù)據(jù)電力通信網(wǎng)資源預警系統(tǒng)設計與實現(xiàn)

3.1 系統(tǒng)構建

構建資源預警分析系統(tǒng)，需建設統(tǒng)一的計算框架支撐多維度預警指標的分析計算。資源預警分析系統(tǒng)的功能架構如圖3所示。

3.2 功能實現(xiàn)

由于系統(tǒng)采集數(shù)據(jù)存儲和統(tǒng)計分析均涉及海量數(shù)據(jù)，基礎組件應該滿足大數(shù)據(jù)處理能力的要求，主要通過分布式任務調度和分布式緩存等實現(xiàn)對海量數(shù)據(jù)的批處理[3]。

圖3 系統(tǒng)架構

（1）計算任務調度

由于數(shù)據(jù)的統(tǒng)計分析將會涉及大量分組統(tǒng)計、子查詢、嵌套查詢、窗口函數(shù)、聚合函數(shù)、排序等數(shù)據(jù)的聚合運算，對系統(tǒng)資源的影響較大，因此采用基于分布式集群的任務調度機制，可按月、按周、按天、按小時間隔靈活配置任務的調度周期，計算節(jié)點支持橫向擴展，通過數(shù)據(jù)庫進行間接溝通，根據(jù)系統(tǒng)負載情況選擇合適的計算節(jié)點執(zhí)行任務。

（2）數(shù)據(jù)緩存

通信資源模型分為物理資源模型、邏輯資源模型和業(yè)務資源模型。物理資源模型從物理角度描述網(wǎng)絡及網(wǎng)絡中各種資源關系，邏輯資源從邏輯角度描述網(wǎng)絡及網(wǎng)絡中的各種資源的關系，業(yè)務資源模型以邏輯資源模型為基礎，統(tǒng)一描述各類業(yè)務資源及屬性模型，如圖4所示。

由于大部分預警分析都需要依賴TMS系統(tǒng)中原始數(shù)據(jù)，同時分析過程中也將產(chǎn)生大量過程性數(shù)據(jù)，因此預警分析任務生命周期中產(chǎn)生或使用到的原始數(shù)據(jù)、中間數(shù)據(jù)等過程性數(shù)據(jù)，采用分布式緩存，在存儲通信資源模型的中間層加工數(shù)據(jù)，避免各個計算任務再重復采集加工數(shù)據(jù)。

（3）指標算法注入

圖4 電力通信資源模型關系

資源預警系統(tǒng)基于多處理階段模型，對預警指標的算法模式進行抽象建模，將處理過程拆分為數(shù)據(jù)選擇—數(shù)據(jù)預處理—數(shù)據(jù)變換—數(shù)據(jù)分析四個階段，實現(xiàn)對傳輸系統(tǒng)、光纜網(wǎng)絡、機房資源、輔助系統(tǒng)四類資源的指標明細計算，定時從TMS系統(tǒng)中抽取數(shù)據(jù)，并根據(jù)指標計算公式進行計算結果。根據(jù)用戶設置的權重和閾值（標準和規(guī)范）進行對比，發(fā)布預警工單并生成預警報告。

（4）計算結果歸集

資源預警系統(tǒng)對不同維度預警指標的計算結果統(tǒng)一建模，記錄網(wǎng)絡預警及預警報告歷史記錄，系統(tǒng)根據(jù)歷史記錄比較生成網(wǎng)絡各指標的總體發(fā)展趨勢。

3.3 主要應用場景

為適用方式專責、設備專責、機房專責等不同用戶、角色對資源預警的需求，建立從業(yè)務安全、網(wǎng)絡安全、資源風險、資源利用率等多個預警場景，提高對傳輸系統(tǒng)、光纜網(wǎng)絡、機房資源、輔助系統(tǒng)4類資源的安全性和運維效率。

（1）業(yè)務安全

該場景以保障業(yè)務安全為目標，以設備、光纜、業(yè)務通道組織方式為載體對全網(wǎng)重要業(yè)務的運行安全情況進行分析、預警和監(jiān)視，主要包括設備/光纜重載情況、業(yè)務主備通道同路由情況、業(yè)務通道路由可靠性等，相關用戶（角色）可通過此預警及時對業(yè)務安排方式進行調優(yōu)。

（2）網(wǎng)絡安全

該場景以保障傳輸網(wǎng)絡安全為目標，以站點、光纜、設備為載體對傳輸網(wǎng)絡的運行安全情況進行分析、預警和監(jiān)視，主要包括主備路由同纜、設備單電源供電、末端站單光路接入、樞紐站單節(jié)點接入、超大環(huán)、超長鏈路、超大節(jié)點等，相關用戶（角色）可通過此預警及時對網(wǎng)絡進行調優(yōu)，同時為通信網(wǎng)規(guī)劃、建設等提供重要支撐數(shù)據(jù)。

（3）資源風險和利用率

該場景主要是統(tǒng)計目前通信相關資源風險情況和使用情況。風險情況主要針對光纜和設備服役年限及故障情況進行統(tǒng)計分析。資源利用率主要針對光纜和設備的物理資源以及邏輯資源進行統(tǒng)計分析。物理資源利用率主要統(tǒng)計分析設備槽位、端口利用率及光纜段纖芯利用率等。邏輯資源利用率，主要統(tǒng)計分析帶寬利用率。相關用戶（角色）可通過此預警及時對業(yè)務安排方式進行調優(yōu)，同時為后續(xù)的資源調配和網(wǎng)絡規(guī)劃提供重要支撐。

（4）故障處置與業(yè)務疏導

該場景主要是在突發(fā)故障后為快速恢復業(yè)務提供相關方式調配的路由方案支撐，與業(yè)務安全、網(wǎng)絡安全、資源風險、資源利用率等應用場景緊密相關。例如在光纜、設備或板卡發(fā)生故障時，及時提供疏導建議，快速恢復業(yè)務。此場景還可以對預警資源查看關聯(lián)的站點、機房、機柜、設備、板卡、光纜段資源的臺賬信息，查看預警資源涉及的承載業(yè)務、臨近光路、缺陷單、纖芯占用情況等子資源或相關資源信息，以便于對資源的進一步定位和分析?？赏ㄟ^創(chuàng)建工作聯(lián)系單等方式，對故障處置和業(yè)務疏導進行閉環(huán)管理。

4 結束語

電力通信傳輸網(wǎng)資源預警分析成果已在國網(wǎng)湖南省電力有限公司進行了試點應用，資源預警分析系統(tǒng)的應用較改善了以往通過人工統(tǒng)計分析、問題暴露后再進行整改的被動運維模式，由“被動”轉為“主動”，通過數(shù)據(jù)挖掘、關聯(lián)分析等技術的應用，實現(xiàn)了及時有效的預警分析服務，實現(xiàn)隱患分析和定位輔助技術手段的自動化和主動性，為建立以預防為主的主動運維模式提供重要支撐，大大提高運維效率，有效提升通信資源精益化管理水平。

[1]國網(wǎng)湖南省電力有限公司信息通信分公司. 電力通信傳輸網(wǎng)資源預警分析可行性研究報告[R]. 2017.

[2]呂順利，周澍，洪自歡，等. 基于門限的電力通信網(wǎng)資源預警的設計和實現(xiàn)[J]. 中國電子商情：通信市場，2013（2）：78-82.

[3]林炳花，林麗萍，等. 大數(shù)據(jù)技術在電力通信網(wǎng)的應用分析[J]. 貴州電力技術，2017，20（10）：35-38.

Research and Implementation of Power Communication Network Resources Early Warning Analysis System Based on Big Data Processing Technology

Wo Xiaoxiao1Wang Ye2

1. Information and Communication Branch of State Grid Hunan Electric Power Co., Ltd., Hunan Changsha 410004 2. Nanjing NARI Group Corporation, Jiangsu Nanjing 210003

With the rapid increase of resource data of power communication network and the in-depth application of big data processing technology in power communication network, how to use “massive” communication resource data efficiently, puts forward newer and higher request for the management of power communication system. Starting from the aggregation and processing of massive real-time data, the paper proposes a construction planon how to establish a multi-dimensional early warning analysis model of power communication network resources and how to realize the implementation of resource early warning scenarios. The system can provide intelligent analysis and decision-making functions by analyzing the shortage and weak links of power communication resources, and realize automatic warning and closed-loop management of communication resources.

power communication transmission network; communication resources; big data processing; early warning

TP311.5；TN915.853

A

沃瀟瀟（1982—），女，湖南長沙人，高級工程師，從事電力通信調度運行管理工作。王燁（1986—），男，江蘇南京人，工程師，從事電力通信管理系統(tǒng)研發(fā)工作。