安徽南瑞中天電力電子有限公司 孟元 錢立鵬 何義赟 周云鶴

1 背景和意義

1.1 研究背景

面對(duì)新形勢(shì)、新挑戰(zhàn)和新要求，用電計(jì)量類業(yè)務(wù)公司按照“感知數(shù)據(jù)總?cè)肟?、控制指令總出口”的系統(tǒng)定位，聚焦“全量數(shù)據(jù)按需采集、設(shè)備狀態(tài)動(dòng)態(tài)感知、臺(tái)區(qū)能源柔性控制、數(shù)據(jù)靈活高效共享”四大核心業(yè)務(wù)主線，以“量測(cè)、感知、控制、共享”為切入點(diǎn)，主動(dòng)應(yīng)對(duì)“雙高、雙峰”問(wèn)題，構(gòu)建性能卓越、功能豐富、安全穩(wěn)定的新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)、能源互聯(lián)網(wǎng)營(yíng)銷服務(wù)系統(tǒng)，使之成為公司“碳達(dá)峰、碳中和”行動(dòng)方案的重要落腳點(diǎn)和以能源互聯(lián)網(wǎng)為核心構(gòu)建新型電力系統(tǒng)的著力點(diǎn)。

用電計(jì)量類業(yè)務(wù)系統(tǒng)是電力行業(yè)規(guī)模、技術(shù)復(fù)雜度和實(shí)用化程度較高的核心信息系統(tǒng)，為營(yíng)銷、生產(chǎn)、調(diào)度、安檢等專業(yè)提供各項(xiàng)基礎(chǔ)數(shù)據(jù)，有效支撐了計(jì)量資產(chǎn)閉環(huán)管理、電費(fèi)核算、線損管理、配網(wǎng)搶修等各項(xiàng)業(yè)務(wù)的開(kāi)展。隨著新型電力系統(tǒng)的建設(shè)推進(jìn)，對(duì)新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)的業(yè)務(wù)支撐能力和可靠穩(wěn)定運(yùn)行提出了更高的要求。

1.2 研究意義

新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)運(yùn)行監(jiān)控方面應(yīng)用成熟的大數(shù)據(jù)、人工智能、云計(jì)算等技術(shù)，加強(qiáng)核心技術(shù)組件的運(yùn)行監(jiān)控服務(wù)，構(gòu)建完善的備份恢復(fù)策略、安全控制、運(yùn)行管理監(jiān)控、故障智能處理等容錯(cuò)能力，保障終端設(shè)備不間斷接入、業(yè)務(wù)不間斷訪問(wèn)和數(shù)據(jù)不間斷共享，全面支撐新一代用電計(jì)量業(yè)務(wù)系統(tǒng)的“數(shù)據(jù)多樣化、采集實(shí)時(shí)化、信息互動(dòng)化、業(yè)務(wù)增值化”發(fā)展趨勢(shì)，全面服務(wù)市場(chǎng)能源交易生態(tài)，服務(wù)智能電網(wǎng)運(yùn)營(yíng)生態(tài)，服務(wù)末端精益運(yùn)維生態(tài)，服務(wù)綠色能源低碳生態(tài)，服務(wù)營(yíng)商環(huán)境優(yōu)化生態(tài)，全力助推用電計(jì)量類業(yè)務(wù)系統(tǒng)平穩(wěn)有序的向數(shù)字化轉(zhuǎn)型和智能化升級(jí)。

1.3 國(guó)內(nèi)外研究水平

1.3.1 國(guó)內(nèi)外同類產(chǎn)品研究現(xiàn)狀

在國(guó)網(wǎng)層面，用電計(jì)量類業(yè)務(wù)系統(tǒng)已于2015年開(kāi)展了用電信息采集主站性能在線監(jiān)測(cè)的研究，并將在線監(jiān)測(cè)與用電信息采集系統(tǒng)集成并配套使用。該系統(tǒng)在線監(jiān)測(cè)的對(duì)象在實(shí)際應(yīng)用中僅限于系統(tǒng)主站軟件和硬件，軟件包括中間件、數(shù)據(jù)庫(kù)管理軟件、操作系統(tǒng)軟件、采集前置程序；硬件包括采集系統(tǒng)應(yīng)用主機(jī)服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、前置服務(wù)器和網(wǎng)絡(luò)交換設(shè)備。但該功能缺乏可全面推廣實(shí)施的應(yīng)用性能管理解決方案，缺乏可工程化及可實(shí)用化的應(yīng)用性能管理和分析手段，缺乏對(duì)用電信息采集系統(tǒng)各種異常日志的分析及提煉并預(yù)警的分析功能，缺乏對(duì)關(guān)鍵業(yè)務(wù)指標(biāo)監(jiān)控，缺乏針對(duì)采集系統(tǒng)各類大數(shù)據(jù)架構(gòu)組件的監(jiān)控兼容性，缺乏事件預(yù)警分析和故障處理指令自主執(zhí)行和推送等缺點(diǎn)。

1.3.2 發(fā)展趨勢(shì)

新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)的建設(shè)啟動(dòng)在設(shè)計(jì)原則上遵循“架構(gòu)普適前瞻、技術(shù)穩(wěn)定先進(jìn)、功能獨(dú)立擴(kuò)展、界面量身定制”設(shè)計(jì)理念，將廣泛應(yīng)用大數(shù)據(jù)、人工智能、云計(jì)算等技術(shù)，構(gòu)建彈性擴(kuò)展、平滑升級(jí)、穩(wěn)定可靠的技術(shù)架構(gòu)。新架構(gòu)背景開(kāi)發(fā)設(shè)計(jì)的系統(tǒng)運(yùn)行診斷監(jiān)測(cè)及維護(hù)技術(shù)的研究及應(yīng)用在運(yùn)行環(huán)境監(jiān)控、軟件平臺(tái)監(jiān)控、應(yīng)用軟件監(jiān)控、關(guān)鍵指標(biāo)監(jiān)控、事件預(yù)警和自動(dòng)化處理等方面提供了重要的運(yùn)行診斷監(jiān)控手段，為信息化運(yùn)維提供有效的性能和業(yè)務(wù)支撐工具，支撐用電計(jì)量類系統(tǒng)開(kāi)展數(shù)字化運(yùn)維，使得業(yè)務(wù)運(yùn)行高效管控，為系統(tǒng)推廣和實(shí)用化提供重要保障。

2 總體思路

2.1 總體架構(gòu)

新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)運(yùn)行監(jiān)測(cè)應(yīng)用先進(jìn)人工智能技術(shù)，通過(guò)全方位立體化監(jiān)控，集數(shù)字化運(yùn)維服務(wù)，統(tǒng)一事件管理等組件，打通監(jiān)測(cè)與業(yè)務(wù)應(yīng)用，在滿足快速響應(yīng)前臺(tái)的變化和創(chuàng)新需求的同時(shí)，保障業(yè)務(wù)系統(tǒng)穩(wěn)定可靠運(yùn)行，支撐系統(tǒng)開(kāi)展數(shù)字化運(yùn)維與業(yè)務(wù)運(yùn)行高效管控。

新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)的運(yùn)行監(jiān)測(cè)由采集層、存儲(chǔ)層、分析層、業(yè)務(wù)層和展現(xiàn)層組成。采集層基于Prometheus 和Cloudera Manager 收集各類組件和中間件的運(yùn)行日志，將異常信息寫(xiě)入消息總線。存儲(chǔ)層通過(guò)“讀寫(xiě)分離”將日志存儲(chǔ)在ElasticSearch 和Hive 中，滿足日志復(fù)雜查詢和在線分析的需求。分析層運(yùn)用流處理程序、人工智能算法，將不同節(jié)點(diǎn)、關(guān)鍵指標(biāo)、運(yùn)行環(huán)境異常信息與應(yīng)用程序進(jìn)行融合和實(shí)時(shí)分析，研判告警發(fā)生時(shí)間、持續(xù)時(shí)間和嚴(yán)重等級(jí)，研判對(duì)系統(tǒng)運(yùn)行和業(yè)務(wù)的影響范圍。業(yè)務(wù)層根據(jù)告警推送策略，主動(dòng)推送至系統(tǒng)主頁(yè)、App以及短信通知運(yùn)維人員、業(yè)務(wù)主管等相關(guān)人員，同時(shí)支持日志、告警的查詢、統(tǒng)計(jì)和分析。展現(xiàn)層支持將告警信息、監(jiān)控指標(biāo)等信息，以大屏、移動(dòng)端桌面PC等方式進(jìn)行展現(xiàn)。

2.2 技術(shù)選型

新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)基于組件監(jiān)控（Prometheus）、全鏈路監(jiān)控（SkyWalking）等服務(wù)組件，構(gòu)建運(yùn)行狀態(tài)監(jiān)測(cè)、異常實(shí)時(shí)監(jiān)測(cè)、主動(dòng)告警與異常處置等能力，實(shí)現(xiàn)系統(tǒng)資源、技術(shù)組件、應(yīng)用服務(wù)的統(tǒng)一監(jiān)控。

2.3 功能架構(gòu)

運(yùn)行監(jiān)控能力支撐系統(tǒng)可以對(duì)生產(chǎn)應(yīng)用、交互服務(wù)的各類軟硬件資源和服務(wù)實(shí)現(xiàn)一體化監(jiān)測(cè)與管理。資源監(jiān)測(cè)可以對(duì)基礎(chǔ)資源的使用情況和健康程度進(jìn)行實(shí)時(shí)監(jiān)控，并提供歷史狀態(tài)查詢。組件監(jiān)控對(duì)系統(tǒng)內(nèi)大數(shù)據(jù)組件、中間件、微服務(wù)、容器等組件實(shí)現(xiàn)統(tǒng)一形式的狀態(tài)捕獲，對(duì)系統(tǒng)各組件服務(wù)的運(yùn)行狀態(tài)、健康情況等實(shí)現(xiàn)一體化監(jiān)測(cè)與管理。業(yè)務(wù)監(jiān)控對(duì)微應(yīng)用、計(jì)算應(yīng)用進(jìn)行實(shí)時(shí)監(jiān)控，在對(duì)任務(wù)執(zhí)行狀況監(jiān)測(cè)的基礎(chǔ)上，實(shí)現(xiàn)業(yè)務(wù)指標(biāo)的跟蹤監(jiān)測(cè)。日志監(jiān)測(cè)可以提供統(tǒng)一的日志收集、處理、分析、檢索能力。告警預(yù)警結(jié)合各維度監(jiān)控信息，結(jié)合日志分析，提供告警規(guī)則的配置與實(shí)現(xiàn)，支持郵件、短信等多種告警形式，并提供可擴(kuò)展接口，滿足不同網(wǎng)省的差異化需求。支持通過(guò)大屏、PC 端、移動(dòng)端（App掌機(jī)、企業(yè)微信）等媒介進(jìn)行展現(xiàn)[1]。

2.4 業(yè)務(wù)架構(gòu)

對(duì)平臺(tái)、組件、系統(tǒng)軟件和運(yùn)行環(huán)境進(jìn)行日志采集，為開(kāi)展智能研判提供基礎(chǔ)數(shù)據(jù)。通過(guò)消息中間件實(shí)現(xiàn)日志的讀寫(xiě)分離、快速存儲(chǔ)和高效查詢?；诟婢畔R聚，運(yùn)用流處理和人工智能技術(shù)對(duì)網(wǎng)絡(luò)層、系統(tǒng)層、平臺(tái)組件層、統(tǒng)計(jì)層、應(yīng)用程序（微應(yīng)用）做實(shí)時(shí)監(jiān)測(cè)與分析，并對(duì)告警進(jìn)行匯聚，開(kāi)展告警綜合分析，為后續(xù)系統(tǒng)災(zāi)備切換提供可判斷的依據(jù)。

2.5 流程設(shè)計(jì)

結(jié)合系統(tǒng)業(yè)務(wù)應(yīng)用層、中間件層、平臺(tái)層的日志和告警信息，推送消息中間件進(jìn)行實(shí)時(shí)分析，分析結(jié)果用于系統(tǒng)運(yùn)維、故障消缺和異常處理，為新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)的自動(dòng)化運(yùn)維、同城災(zāi)備提供輔助支持功能?；诙嗑S監(jiān)測(cè)信息，統(tǒng)一設(shè)計(jì)告警配置，利用AlertManager 實(shí)現(xiàn)多維告警信息聚合、過(guò)濾，結(jié)合消息中心和告警處理流程設(shè)計(jì)，實(shí)現(xiàn)告警信息的發(fā)布、推送及處理閉環(huán)，形成告警管理綜合體系。

3 功能設(shè)計(jì)

3.1 綜合監(jiān)測(cè)

綜合監(jiān)測(cè)是新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)運(yùn)行監(jiān)測(cè)的基礎(chǔ)功能，也是核心功能。通過(guò)設(shè)定監(jiān)測(cè)指標(biāo)，對(duì)監(jiān)測(cè)對(duì)象的運(yùn)行狀態(tài)及性能進(jìn)行監(jiān)測(cè)，包括監(jiān)測(cè)首頁(yè)、K8S 監(jiān)測(cè)、微服務(wù)監(jiān)測(cè)、調(diào)用鏈監(jiān)測(cè)、任務(wù)關(guān)聯(lián)監(jiān)測(cè)、組件監(jiān)測(cè)、基礎(chǔ)資源監(jiān)測(cè)和大數(shù)據(jù)組件監(jiān)測(cè)等。通過(guò)集成大數(shù)據(jù)、微服務(wù)、基礎(chǔ)資源、關(guān)鍵業(yè)務(wù)、K8S 等監(jiān)控信息，展示各類集群、節(jié)點(diǎn)、服務(wù)和業(yè)務(wù)指標(biāo)的輸出信息。采用集成自研圖形工具如KubeSphere、skywalking、springbootAdmin、Prometheus+grafana、cloudrea manager等第三方開(kāi)元軟件實(shí)現(xiàn)[2]。

3.2 資源關(guān)系管理

通過(guò)各資源拓?fù)浣Y(jié)構(gòu)展示集群、服務(wù)器、組件、應(yīng)用之間的拓?fù)潢P(guān)系，可實(shí)現(xiàn)新增集群、新增服務(wù)器、新增組件、新增應(yīng)用的方式完成一鍵診斷、因素分析、新增資源、更新拓?fù)湟约鞍l(fā)布的功能，便于運(yùn)行監(jiān)控資源關(guān)系的管理維護(hù)。

3.3 告警管理

告警管理分為告警記錄和告警工單監(jiān)控，可對(duì)系統(tǒng)、組件、應(yīng)用等多維度匯聚的監(jiān)測(cè)信息進(jìn)行綜合分析，發(fā)現(xiàn)影響系統(tǒng)運(yùn)行的問(wèn)題并進(jìn)行告警。應(yīng)用場(chǎng)景方面為基礎(chǔ)資源擴(kuò)容更新、組件升級(jí)、程序優(yōu)化提供支撐，實(shí)現(xiàn)異常告警處理與消缺，為系統(tǒng)災(zāi)備切換提供輔助決策依據(jù)。技術(shù)特征方面建立監(jiān)測(cè)告警基線模型，支持監(jiān)控信息的綜合分析、預(yù)警、告警、告警處理機(jī)制、異常等級(jí)劃分、多渠道實(shí)時(shí)推送告警信息及統(tǒng)一的監(jiān)測(cè)告警視圖。

3.4 消息中心

消息中心提供統(tǒng)一的消息配置，將消息按照指定規(guī)則推送到指定終端，并對(duì)這一過(guò)程進(jìn)行鏈路、業(yè)務(wù)監(jiān)控和輸出運(yùn)維與運(yùn)營(yíng)報(bào)表的綜合功能模塊，利用消息分類、消息內(nèi)容、發(fā)送時(shí)間、狀態(tài)等條件，展示消息分類、消息標(biāo)題、消息內(nèi)容、狀態(tài)等信息?？蓪?shí)現(xiàn)對(duì)消息分類、消息模板、消息發(fā)布及配置的新增、刪除、修改，可實(shí)現(xiàn)針對(duì)不同使用人群的新增消息普通推送、模板推送和主題推送。

3.5 配置管理

提供監(jiān)控告警和預(yù)警策略、處理策略的配置功能，提供事件等級(jí)配置和告警發(fā)布配置功能，允許根據(jù)事件和故障等級(jí)實(shí)現(xiàn)消息訂閱，實(shí)現(xiàn)告警和故障實(shí)時(shí)推送和提醒，可實(shí)現(xiàn)對(duì)各類監(jiān)控、告警規(guī)則的新增、刪除、修改和啟用停用功能。

3.6 日志管理

日志管理分為審計(jì)日志、業(yè)務(wù)日志、用戶操作日志、第三方接口日志、頁(yè)面停留日志、異常日志、運(yùn)行日志、服務(wù)運(yùn)行日志、API 網(wǎng)關(guān)日志、大數(shù)據(jù)日志等?；赑rometheus、Cloudera Manager或者其他大數(shù)據(jù)平臺(tái)日志采集軟件，針對(duì)應(yīng)用程序開(kāi)發(fā)的探針，實(shí)現(xiàn)對(duì)服務(wù)器、大數(shù)據(jù)平臺(tái)、微服務(wù)器、容器、技術(shù)組件、運(yùn)行程序和關(guān)鍵業(yè)務(wù)的日志信息采集，將日志信息送入Kafka，實(shí)現(xiàn)入庫(kù)存儲(chǔ)和實(shí)時(shí)分析。同時(shí)，管理頁(yè)面可實(shí)現(xiàn)對(duì)各個(gè)節(jié)點(diǎn)日志采集情況進(jìn)行監(jiān)測(cè)，提供查詢和刪除操作。

4 結(jié)語(yǔ)

新一代用電計(jì)量類業(yè)務(wù)系統(tǒng)運(yùn)行監(jiān)測(cè)以數(shù)據(jù)為基礎(chǔ)、以算法為支撐、以場(chǎng)景為導(dǎo)向，采用先進(jìn)的實(shí)時(shí)海量大數(shù)據(jù)處理方法和機(jī)器學(xué)習(xí)等人工智能技術(shù)，通過(guò)研究輕量級(jí)、低侵入、松耦合的立體化監(jiān)控[3]，集成管理工具集、數(shù)字化運(yùn)維服務(wù)、統(tǒng)一事件管理等模塊化組件，實(shí)現(xiàn)了運(yùn)行診斷監(jiān)測(cè)與前臺(tái)業(yè)務(wù)應(yīng)用之間的信息和管理聯(lián)系，提升了系統(tǒng)運(yùn)行數(shù)據(jù)能力支撐和系統(tǒng)可靠性。運(yùn)用各類數(shù)據(jù)采集軟件，實(shí)現(xiàn)對(duì)用電計(jì)量類業(yè)務(wù)系統(tǒng)的平臺(tái)、組件、程序和指標(biāo)等資源進(jìn)行日志信息的全覆蓋、全采集，構(gòu)建全域數(shù)據(jù)感知。運(yùn)用流處理技術(shù)實(shí)時(shí)檢測(cè)出系統(tǒng)的異常情況，運(yùn)用故障診斷模型對(duì)異常進(jìn)行綜合分析與故障診斷，定位故障節(jié)點(diǎn)及影響范圍，運(yùn)用故障預(yù)測(cè)開(kāi)展磁盤(pán)異常預(yù)測(cè)、服務(wù)器及程序故障預(yù)測(cè)等工作，實(shí)現(xiàn)系統(tǒng)故障智能分析。以異常分析與故障診斷為基礎(chǔ)，通過(guò)構(gòu)建故障運(yùn)維智能處理模型，自動(dòng)觸發(fā)預(yù)定義規(guī)則腳本，依據(jù)監(jiān)測(cè)的系統(tǒng)數(shù)據(jù)及對(duì)數(shù)據(jù)的綜合分析，自動(dòng)發(fā)出運(yùn)維指令執(zhí)行相關(guān)運(yùn)維操作，故障消缺智能運(yùn)維監(jiān)控工作。