張冬梅 徐東鏹

摘? 要：通信機(jī)房內(nèi)動力環(huán)境設(shè)備日常告警數(shù)據(jù)中的一些關(guān)鍵信息可以用來與綜合資源管理系統(tǒng)數(shù)據(jù)進(jìn)行對比、稽核。文章通過優(yōu)化動環(huán)設(shè)備資源編碼規(guī)則，基于Python開發(fā)動環(huán)告警大數(shù)據(jù)分析工具，實(shí)現(xiàn)了動環(huán)告警數(shù)據(jù)與綜合資源管理系統(tǒng)數(shù)據(jù)的準(zhǔn)確關(guān)聯(lián)與稽核，從而形成閉環(huán)管理，提升了動環(huán)資源數(shù)據(jù)準(zhǔn)確性，節(jié)約了人工成本，提高了運(yùn)維效率。

關(guān)鍵詞：動環(huán)告警;Python;大數(shù)據(jù);數(shù)據(jù)稽核

中圖分類號：TP311? ? ? 文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2021）22-0034-04

Abstract： Some key information in the daily alarm data of power environment equipments in the communication room can be used to compare and audit with the data of the integrated resource management system. By optimizing the coding rules of power environment equipment resources and developing the power environment equipment alarm big data analysis tool based on Python， this paper realizes the accurate correlation and auditing between power environment equipment alarm data and integrated resource management system data， so as to form a closed-loop management， improve the accuracy of power environment resource data， save labor cost and improve operation and maintenance efficiency.

Keywords： power environment equipment alarm; Python; big data; data auditing

0? 引? 言

近年來，通信運(yùn)營商因動力環(huán)境（以下簡稱動環(huán)）設(shè)備故障引發(fā)的通信網(wǎng)絡(luò)業(yè)務(wù)中斷風(fēng)險(xiǎn)日益增多，并引起重視，尤其是在高溫、雷雨、冰凍雨雪等災(zāi)害性天氣下對通信重要業(yè)務(wù)的電源保障能力直接決定了一個通信運(yùn)營商的通信服務(wù)能力，而完好、準(zhǔn)確的動環(huán)監(jiān)控在故障通知和處理中起著非常重要的作用，其中，動環(huán)資源中的所屬機(jī)房、所屬區(qū)縣、設(shè)備類型等資源信息的準(zhǔn)確性對動環(huán)監(jiān)控中的故障派單起著關(guān)鍵性作用，因此動環(huán)設(shè)備原始告警數(shù)據(jù)中含有準(zhǔn)確的、可用的設(shè)備資源信息，可以用來進(jìn)行二次的數(shù)據(jù)開發(fā)挖掘利用，可作為稽核綜合資源管理系統(tǒng)資源準(zhǔn)確性的數(shù)據(jù)來源。

1? 動環(huán)告警處理基本原理和流程

1.1? FSU監(jiān)控單元基本原理

在現(xiàn)有的電信運(yùn)營商的通信機(jī)房中，常見的動環(huán)設(shè)備類型有變壓器、變換設(shè)備、高壓配電、低壓交流配電、發(fā)電機(jī)組、開關(guān)電源、低壓直流配電、UPS設(shè)備、蓄電池、空調(diào)、節(jié)能設(shè)備、動環(huán)監(jiān)控、智能電表和其他設(shè)備，而每種設(shè)備類型都有很多不同的設(shè)備子類。通過安裝動環(huán)監(jiān)控設(shè)備，現(xiàn)場設(shè)備的告警就可以通過FSU（Field Supervision Unit，現(xiàn)場監(jiān)控單元）設(shè)備，以SDH、PTN等傳輸承載方式傳送到LSC（Local Supervision Center，區(qū)域監(jiān)控中心）和CSC（Central Supervision Center中央監(jiān)控中心），一般情況下，縣市區(qū)域中心設(shè)置LSC，省級區(qū)域中心設(shè)置CSC。這樣，從FSU，LSC到CSC就組成了一套動環(huán)監(jiān)控系統(tǒng)，它能對通信機(jī)房的動力設(shè)備及環(huán)境進(jìn)行遙測、遙信、遙控和遙調(diào)，實(shí)時(shí)監(jiān)視其運(yùn)行參數(shù)，監(jiān)測和處理故障，記錄和處理相關(guān)數(shù)據(jù)，從而實(shí)現(xiàn)通信機(jī)房少人或無人值守和集中維護(hù)。

FSU硬件的設(shè)計(jì)應(yīng)遵循結(jié)構(gòu)化、規(guī)范化、模塊化、集成化的方式實(shí)現(xiàn)，以提高系統(tǒng)的可靠性、可維修性和維護(hù)保障性。

1.2? 動環(huán)告警監(jiān)控流程

FSU采集到動環(huán)設(shè)備告警信息后，通過定義的A/B接口傳送至LSC、CSC，最后由CSC進(jìn)行封裝成標(biāo)準(zhǔn)化告警后傳給集中故障系統(tǒng)，集中故障系統(tǒng)根據(jù)告警中的設(shè)備ID和綜合資源管理系統(tǒng)數(shù)據(jù)進(jìn)行關(guān)聯(lián)，將告警信息關(guān)聯(lián)到綜合資源管理系統(tǒng)的站點(diǎn)、機(jī)房、區(qū)縣等信息，從而實(shí)現(xiàn)告警的派單，及時(shí)通知動力維護(hù)人員進(jìn)行故障處理。除此之外，還可進(jìn)行容量管理，動環(huán)拓?fù)涔芾淼裙δ?，具體如圖1所示。

2? 主要的技術(shù)手段及軟件設(shè)計(jì)

2.1? 提出一種新的動環(huán)資源編碼方法

現(xiàn)有的綜合資源管理系統(tǒng)動環(huán)資源編碼方法由機(jī)房編碼+設(shè)備類型編碼+序號組成，這種編碼能較快地關(guān)聯(lián)出通信機(jī)房資源信息，實(shí)現(xiàn)動力設(shè)備告警的快速定位，但缺點(diǎn)是如果機(jī)房名稱或者其他信息發(fā)生了變化，機(jī)房編碼就會改變，這樣動環(huán)編碼就會失效，無法實(shí)現(xiàn)資源關(guān)聯(lián)。通過研究告警報(bào)文發(fā)現(xiàn)，告警中含有FSU_ID和DEVICE_ID這2個字段，而且是不改變的，但DEVICE_ID是存在重復(fù)的，進(jìn)一步分析得知，同一個FSU下的動環(huán)設(shè)備DEVICE_ID不會重復(fù)，根據(jù)此結(jié)論，重新制定編碼規(guī)則，以通過FSU_ID+DeviceID和LSC_ID+DeviceID作為綜合資管系統(tǒng)、集中故障監(jiān)控系統(tǒng)，動環(huán)運(yùn)維系統(tǒng)間關(guān)聯(lián)的唯一編碼，這樣就避免了因機(jī)房資源變化引起編碼變化，從而造成各種系統(tǒng)間數(shù)據(jù)無法匹配的情況，動環(huán)告警信息流如表1所示。

2.2? 軟件設(shè)計(jì)

基于上述優(yōu)化后的動環(huán)編碼方法，集中故障系統(tǒng)和綜合資源管理系統(tǒng)就可以通過該編碼的唯一性特點(diǎn)進(jìn)行一對一準(zhǔn)確關(guān)聯(lián)。由于Python語言中Numpy和Pandas數(shù)據(jù)科學(xué)包對數(shù)據(jù)分析和處理有獨(dú)特優(yōu)勢，因此，可以通過編寫Python軟件程序來進(jìn)行數(shù)據(jù)處理和數(shù)據(jù)稽核。該程序主要分為數(shù)據(jù)讀取模塊、數(shù)據(jù)清洗模塊，數(shù)據(jù)提取模塊，數(shù)據(jù)整合模塊和數(shù)據(jù)輸出模塊，通過對告警大數(shù)據(jù)的清洗、整理和分析，利用Pandas的字符串方法提取動環(huán)告警大數(shù)據(jù)中設(shè)備編碼、設(shè)備類型等關(guān)鍵信息，利用編碼匹配方法與綜合資管數(shù)據(jù)進(jìn)行核對校驗(yàn)，對匹配不一致的數(shù)據(jù)派發(fā)異常編碼工單，運(yùn)維人員登陸綜合資源管理系統(tǒng)進(jìn)行數(shù)據(jù)核對和修改后，實(shí)現(xiàn)閉環(huán)管理。

2.3? 技術(shù)特點(diǎn)

2.3.1? 數(shù)據(jù)向量化

向量化數(shù)據(jù)處理特征，利用多維數(shù)組方法提升內(nèi)存運(yùn)行效率，節(jié)約計(jì)算資源。

2.3.2? 快速部署

基于Python開發(fā)語言實(shí)現(xiàn)，Python是一種開源、可移植的、面向?qū)ο蟮慕忉屝愿呒夐_發(fā)語言，擁有功能強(qiáng)大的內(nèi)置和第三方庫，既可以開發(fā)小工具，也可以開發(fā)企業(yè)級應(yīng)用，同時(shí)利用Docker云原生技術(shù)，可以快速部署Linux服務(wù)器上或網(wǎng)絡(luò)云上。

2.3.3? 編碼統(tǒng)一性

優(yōu)化現(xiàn)有動環(huán)編碼方法，以FSU_ID+設(shè)備ID和LSC_ID+設(shè)備ID作為綜合資管系統(tǒng)、集中故障監(jiān)控系統(tǒng)，動環(huán)運(yùn)維系統(tǒng)間唯一編碼，該編碼具有不可變、唯一性的特點(diǎn)，適用于系統(tǒng)間數(shù)據(jù)關(guān)聯(lián)。

2.3.4? 數(shù)據(jù)接口豐富

pandas的數(shù)據(jù)IO讀寫接口非常豐富，可支持HTML、HDF5、JSON、SQL、SPAA、SASS、Stata、CSV、Excel等常見文件格式，可以通過reader和writer功能模塊實(shí)現(xiàn)數(shù)據(jù)文件的讀寫。

2.4? 軟件基礎(chǔ)環(huán)境配置

基礎(chǔ)環(huán)境概述：操作系統(tǒng)OS版本為Ubuntu 20.04，Python版本為3.8.5，編譯器為Visual StudioCode，版本為1.63.2，安裝Python和Pandas最簡單的方法是通過Anaconda或者是MiniAnaconda進(jìn)行安裝，推薦使用MiniAnaconda安裝，節(jié)省安裝空間。Anaconda發(fā)行版是一個用于數(shù)據(jù)分析和科學(xué)計(jì)算的跨平臺發(fā)行版，這是推薦大多數(shù)用戶安裝方法。

首先，在Ubuntu Linux中創(chuàng)建虛擬環(huán)境Python38，命令為conda create -n python38 python=3.8.5，創(chuàng)建完成后使用命令conda info --env查看創(chuàng)建的虛擬環(huán)境，conda環(huán)境就像一個virtualenv，允許指定特定版本的Python和一組Python庫。已安裝好的虛擬環(huán)境如圖3所示。

其次，創(chuàng)建好虛擬環(huán)境后，使用命令conda activate python38進(jìn)行虛擬環(huán)境激活，這樣可以避免不同安裝包之間的沖突。

最后，使用conda命令安裝Numpy，Pandas包，具體命令為conda install pandas，conda install numpy，本機(jī)安裝的Pandas版本為1.2.2，numpy版本為1.19.2，如果使用pip安裝命令，則為pip install pandas，pip install numpy，安裝包列表如圖4所示。

為確保Pandas安裝成功和相關(guān)硬件和軟件的運(yùn)行正常，可以利用test方法來進(jìn)行安裝后的測試，pd.test（）是Pandas的一套詳盡的單元測試，涵蓋了97%的代碼庫，安裝成功測試如圖5所示。

其他依賴包安裝推薦

numexpr：用于加速某些數(shù)值運(yùn)算。numexpr使用多核以及智能分塊和緩存來實(shí)現(xiàn)大幅加速。建議2.7.0或更高版本。

bottleneck：用于加速某些類型的nan評估。bottleneck使用專門的Cython例程來實(shí)現(xiàn)大幅加速。建議1.2.1 或更高版本。

2.5? 代碼編寫

本軟件基于Visual StudioCode編譯器開發(fā)，軟件版本為最新的1.63.2，代碼編寫完成后，可以點(diǎn)擊在終端中運(yùn)行Python文件運(yùn)行程序，為防止在讀取文件時(shí)候發(fā)生讀取IO異常，可以在程序中加入try? except來捕獲異常，避免程序崩潰，同時(shí)，在分析告警文件中發(fā)現(xiàn)很多分隔符不規(guī)范的問題，可以read_csv功能中加入on_bad_lines = “skip”來解決。運(yùn)行結(jié)果如圖6所示。

3? 應(yīng)用情況

通過開發(fā)動環(huán)告警大數(shù)據(jù)分析程序，每月可開展集中故障系統(tǒng)動環(huán)告警大數(shù)據(jù)和綜合網(wǎng)絡(luò)資源管理系統(tǒng)的數(shù)據(jù)進(jìn)行對比分析，最后輸出設(shè)備類型不一致數(shù)據(jù)，同時(shí)，針對設(shè)備類型不一致數(shù)據(jù)，則由集中故障系統(tǒng)觸發(fā)電子運(yùn)維系統(tǒng)（EOMS）資源勘誤工單，如圖7所示。運(yùn)維人員在收到工單后，在綜合網(wǎng)絡(luò)資源管理系統(tǒng)側(cè)發(fā)起動環(huán)資源調(diào)整流程，對異常編碼進(jìn)行資源修改，調(diào)整完成后，系統(tǒng)再次進(jìn)行比對，直至完全一致，完結(jié)工單，最后形成資源調(diào)整的閉環(huán)管理方式，這樣就可以不斷提升動環(huán)資源中設(shè)備類型和設(shè)備編碼字段的準(zhǔn)確性，這樣就解決了通信網(wǎng)絡(luò)資源管理中數(shù)據(jù)稽核方法的難題，實(shí)現(xiàn)了人工稽核轉(zhuǎn)為系統(tǒng)自動稽核，提升了運(yùn)維工作效率，從而有針對性的提高網(wǎng)絡(luò)資源數(shù)據(jù)的準(zhǔn)確性。根據(jù)統(tǒng)計(jì)，自2021年5月至2021年11月間，該工具在中國移動重慶公司開展應(yīng)用以來，已累計(jì)處理分析動環(huán)告警大數(shù)據(jù)超過1.7億條，累計(jì)處理數(shù)據(jù)10.7 GB，動環(huán)告警數(shù)據(jù)與網(wǎng)絡(luò)資源數(shù)據(jù)的關(guān)聯(lián)匹配率達(dá)到99.5%以上，動環(huán)資源設(shè)備類型字段的準(zhǔn)確率達(dá)到99.57%，動環(huán)告警監(jiān)控準(zhǔn)確率由之前的92%提升至99.5%以上，改善效果明顯。

4? 結(jié)? 論

動環(huán)設(shè)備與其他通信設(shè)備相比具有種類多，其共可分為約26大類設(shè)備，83子類設(shè)備，同時(shí)動環(huán)數(shù)據(jù)采集設(shè)備FSU設(shè)備的廠家品牌較多，動環(huán)運(yùn)維系統(tǒng)不能對全部動環(huán)設(shè)備實(shí)時(shí)進(jìn)行信息采集，這就造成動環(huán)運(yùn)維系統(tǒng)上的設(shè)備類型存在人工錄入，不能保證100%準(zhǔn)確，而FSU進(jìn)行數(shù)據(jù)配置時(shí)必須按照集團(tuán)動環(huán)告警標(biāo)準(zhǔn)化規(guī)范進(jìn)行配置，簡言之，就是告警信息中所攜帶的設(shè)備類型是最準(zhǔn)確的。由于設(shè)備類型的準(zhǔn)確性在故障監(jiān)控和告警處理中具有重要作用，目前集中故障監(jiān)控根據(jù)《中國移動動環(huán)標(biāo)準(zhǔn)化字典表》進(jìn)行標(biāo)準(zhǔn)化后，形成規(guī)范的設(shè)備類型和告警信息，再與資管數(shù)據(jù)中的動環(huán)資源所屬機(jī)房字段進(jìn)行匹配，定位故障發(fā)生的機(jī)房、設(shè)備類型和名稱，通知維護(hù)人員及時(shí)處理和故障發(fā)布。但在日常資源管理工作中，動環(huán)資源的設(shè)備類型、設(shè)備子類的字段的準(zhǔn)確性缺乏系統(tǒng)稽核的手段，往往只能采取現(xiàn)場檢查、核實(shí)的方式進(jìn)行，往往費(fèi)時(shí)費(fèi)力，效果提升不好。

本文通過研究動環(huán)告警編碼方法，對現(xiàn)有動環(huán)編碼進(jìn)行了優(yōu)化，通過對通信網(wǎng)絡(luò)動環(huán)設(shè)備告警大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和提取關(guān)鍵信息，實(shí)現(xiàn)了對綜合資源管理系統(tǒng)動環(huán)資源數(shù)據(jù)的稽核，提高了資源數(shù)據(jù)準(zhǔn)確性。開發(fā)了基于Python的動環(huán)告警大數(shù)據(jù)分析工具，可定期實(shí)現(xiàn)對集中故障和綜合資源管理系統(tǒng)兩個系統(tǒng)的告警數(shù)據(jù)和資源數(shù)據(jù)進(jìn)行對比稽核，提升了系統(tǒng)間關(guān)聯(lián)數(shù)據(jù)的準(zhǔn)確性，進(jìn)而提升了動環(huán)資源管理水平，有力支撐了動環(huán)告警監(jiān)控工作，有利于縮短因停電造成的動環(huán)設(shè)備故障歷時(shí)，同時(shí)，節(jié)約了人工運(yùn)維和開發(fā)成本，提高了運(yùn)維效率。

參考文獻(xiàn)：

[1] 余輝雄.面向大數(shù)據(jù)分析下配網(wǎng)主動式運(yùn)維分析 [J].通信電源技術(shù)，2019，36（12）：119-120.

[2] 李棟.大數(shù)據(jù)分析在網(wǎng)絡(luò)監(jiān)控中的實(shí)現(xiàn)與應(yīng)用 [J].通信管理與技術(shù)，2020（4）：44-46.

[3] 任帥.動環(huán)集中運(yùn)維管理平臺應(yīng)用探析 [J].通信電源技術(shù)，2020，37（3）：64-67.

[4] 張帆.數(shù)據(jù)分析在科學(xué)統(tǒng)籌通信運(yùn)營商動力運(yùn)維成本中的應(yīng)用研究 [J].信息與電腦（理論版），2018（17）：153-154+157.

[5] 孔令誠.接入網(wǎng)機(jī)房動環(huán)監(jiān)控自動派單的分析與實(shí)現(xiàn) [J].中國新通信，2018，20（2）：87-88.

作者簡介：張冬梅（19xx—），女，漢族，重慶人，副教授，碩士研究生，研究方向：電子信息技術(shù)。