向華偉 王林 呂垚 何映軍

摘 要：隨著電力企業(yè)業(yè)務及相關應用數(shù)量的逐年攀升，運維數(shù)據(jù)量的爆炸式增長給以運維數(shù)據(jù)異常檢測為首的電網信息運維監(jiān)控分析帶來了嚴峻的挑戰(zhàn)。在大數(shù)據(jù)分析與挖掘飛速發(fā)展的驅動下，結合長短時記憶神經網絡的變量異常檢測技術可以滿足電網信息運維監(jiān)控數(shù)據(jù)普遍存在的異常檢測需求，達到減少電網信息運維成本的目的，而這一異常檢測流程的可行性、可靠性與準確性也在電網實際運行過程中的服務器流量數(shù)據(jù)集上得到驗證。

關鍵詞：大數(shù)據(jù)分析;深度學習;長短時記憶神經網絡;電網信息運維監(jiān)控;異常檢測

中圖分類號：TM76 文獻標識碼：A 文章編號：1671-2064（2019）18-0157-02

0 引言

電力信息網絡作為電網公司信息系統(tǒng)的主要核心組成部分，則是確保電網能夠在合理有序的監(jiān)控下穩(wěn)定運行的重中之重[1]。由于目前電網領域下的IT運維監(jiān)控系統(tǒng)在設計過程中往往由于考慮不足而出現(xiàn)故障報警信息雜亂、報警不及時、報警不穩(wěn)定以及故障定位信息不明等問題，甚至報警策略的設置存在邏輯性問題。針對這些現(xiàn)象及問題，本文基于電網場景下的海量信息運維監(jiān)控數(shù)據(jù)，融合深度學習先進算法中的長短時記憶網絡（Long-Short Term Memory，LSTM），通過構建正常行為模型（Normal Behavior Model，NBM）對電網信息運維監(jiān)控數(shù)據(jù)中待檢測序列的預測值與真實值之間的關系及變化情況進行分析的方式來檢測異常，使電網信息運維監(jiān)控系統(tǒng)最終具備故障檢測能力，從而達到降低運維開銷的最終目的。

1 傳統(tǒng)電網IT運維數(shù)據(jù)管理系統(tǒng)現(xiàn)狀概述

電網場景中，隨著電力企業(yè)業(yè)務及相關應用數(shù)量的逐年攀升以及云計算、虛擬化、公司企業(yè)管理信息系統(tǒng)CSGII的推廣和建設，應用系統(tǒng)的復雜度和規(guī)模都在不斷的增長和變化，運維的數(shù)據(jù)量也呈現(xiàn)快速增長趨勢[2]。許多大型電力企業(yè)針對性開發(fā)的信息集中控制系統(tǒng)很大程度上解決了各類運維及監(jiān)控系統(tǒng)采集數(shù)據(jù)間的接口規(guī)范和數(shù)據(jù)標準問題，從一定程度上實現(xiàn)了IT基礎監(jiān)控數(shù)據(jù)的集中抽取和存儲，如電網針對數(shù)據(jù)共享、存儲、處理及分析等問題基于大數(shù)據(jù)技術開發(fā)IT運維數(shù)據(jù)管理系統(tǒng)[3]。但不可否認的是運維管理系統(tǒng)仍然殘存一些由于不同系統(tǒng)、不同類型數(shù)據(jù)融合問題而導致的數(shù)據(jù)整合與深度分析方面的不足，監(jiān)控系統(tǒng)間的數(shù)據(jù)難以打通并進行有效的關聯(lián)分析，極大的阻礙了運維能力的提升和業(yè)務質量的有效保障。

2 運維監(jiān)控數(shù)據(jù)驅動下的電網運維故障檢測技術

運維數(shù)據(jù)或監(jiān)控數(shù)據(jù)從本質上來說都是具有時間信息的一系列數(shù)據(jù)，又稱時間序列，而有關異常（或故障）的出現(xiàn)往往是時間序列的變化情況偏離了原有的正常變化情況。

2.1 異常檢測技術

針對電網信息運維監(jiān)控領域中存在的時間序列相關異常問題：如網絡流量異常、溫度過高或過低等電網信息運維過程中常見的各類異常現(xiàn)象或故障問題，本文設計了基于深度學習先進預測技術與統(tǒng)計過程控制分析相結合的異常檢測技術，該技術架構面向的異常檢測問題與時間因素密不可分，即異常在初期形成時可以在數(shù)據(jù)集中得以體現(xiàn)，且異常的發(fā)展是隨著時間的累積而愈發(fā)明顯，并不適用于突發(fā)類型異常的檢測：如突然的環(huán)境因素或人為因素導致的設備功能異常或損壞等形成與發(fā)展特別迅速的故障等。

2.2 數(shù)據(jù)預處理

在數(shù)據(jù)分析的基礎流程中，常見的數(shù)據(jù)預處理技術包括幾個主要步驟[4]：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約以及數(shù)據(jù)變換。而在當今電力企業(yè)所開發(fā)的信息集中控制系統(tǒng)中已經包括了數(shù)據(jù)集成的功能，因此需要針對電力行業(yè)的信息運維數(shù)據(jù)進行數(shù)據(jù)清洗，數(shù)據(jù)規(guī)約以及數(shù)據(jù)變換等幾方面的數(shù)據(jù)預處理工作。

2.2.1 數(shù)據(jù)清洗

時間序列數(shù)據(jù)中的數(shù)據(jù)清洗主要針對數(shù)據(jù)集中缺失的數(shù)據(jù)值進行處理：對于缺失的數(shù)據(jù)類型為整數(shù)或表示狀態(tài)的設備運行數(shù)據(jù)時，缺失值所對應的時間測的的整條數(shù)據(jù)均采取忽略刪去的方式進行處理;而對于實數(shù)型運維數(shù)據(jù)，則首先分析該數(shù)據(jù)是否呈對稱的分布形式，若是則采取前一段時間該數(shù)據(jù)的均值進行插補，反之則采用前一段時間該數(shù)據(jù)的中位數(shù)進行插補;而對于一些實際現(xiàn)場中記錄的一些線下文件數(shù)據(jù)的缺失，則視其在運維流程中的重要程度來決定是否需要進行人工問詢填補的方式進行處理。

2.2.2 數(shù)據(jù)規(guī)約

在時間序列數(shù)據(jù)進行分析前，可以通過適當?shù)姆治黾疤幚矸绞綄?shù)據(jù)進行整合或刪減，從而達到在最大限度保持數(shù)據(jù)集原有相關特征的基礎上來盡可能的減小數(shù)據(jù)集的規(guī)模;另一方面，可以利用如典型相關分析（Canonical Correlation Analysis，CCA）或文獻[5]中所提出的針對多重分形交叉相關分析指數(shù)等變量相關性分析算法來判別兩個時間序列之間的相似性程度，以達到有效地從數(shù)據(jù)屬性維度進行數(shù)據(jù)規(guī)約。

2.2.3 數(shù)據(jù)變換

數(shù)據(jù)變換的目的是為了將數(shù)據(jù)預處理成適合進行數(shù)據(jù)分析的格式或狀態(tài)，其中最為重要的一點是數(shù)據(jù)規(guī)范化。無論是電網運維數(shù)據(jù)還是實際的運行數(shù)據(jù)，對于某一個時間序列而言，其最大值和最小值之間相差可能很大，這將會給諸如神經網絡等一系列算法的效果帶來較大的影響，因此大部分先進的數(shù)據(jù)分析算法都離不開數(shù)據(jù)的規(guī)范化。常見的規(guī)范化方法包括最大值最小值歸一化與Z-Score標準化等方法，其算法本質是通過線性或非線性的比例縮放，將數(shù)據(jù)從原來數(shù)值相差較大的區(qū)間映射到一個相差較小的區(qū)間中。在本文中選用的算法為Z-Score標準化方法，其具體變換映射公式定義如下：

xt= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中，xt和xt分別為變換映射前后時間序列中的第t個數(shù)據(jù);μ和σ分別為變換前時間序列xt的均值及方差。即整個變換將原時間序列xt映射為均值為0，標準差為1的無量綱時間序列xt。

2.3 長短時記憶神經網絡LSTM

循環(huán)神經網絡（Recurrent Neural Network，RNN）作為深度學習算法的領頭羊之一，自被提出以來一直以十分優(yōu)異的效果在深度學習領域的占據(jù)一席之地，但由于RNN本身沒有存儲單元來存儲和輸出信息[6]，促使了長短時記憶神經網絡LSTM的應運而生，其在變量預測與語義識別等基礎領域的成就更是不言而喻[7]，而其自身在不斷發(fā)展過程中也逐漸演變出許多變種以彌補不同情況下的不足，如文獻[8]中的門限循環(huán)單元（Gated Recurrent Unit，GRU）以及文獻[9]中的窺探卷積LSTM（Peephole Convolutional LSTM，PC-LSTM）等。

3 異常檢測示例——數(shù)據(jù)流量異常檢測分析

本文針對電力運維系統(tǒng)場景下的數(shù)據(jù)流量異常問題對電網信息運維監(jiān)控中的數(shù)據(jù)異常檢測技術的有效性進行驗證。數(shù)據(jù)集具體包括諸如CPU利用率、內存使用情況等服務器正常運行數(shù)據(jù)及狀態(tài)信息共81個屬性，以及待進行異常分析檢測的服務器流量數(shù)據(jù)，數(shù)據(jù)采集間隔為10分鐘，經過數(shù)據(jù)清洗等數(shù)據(jù)預處理步驟之后的數(shù)據(jù)信息共計40560條。

對服務器流量數(shù)據(jù)異常檢測分析流程如下：在完成數(shù)據(jù)預處理后，首先將所有數(shù)據(jù)集按照時間先后順序以及6：1：3的比例劃分為訓練集，交叉驗證集以及測試集，其中訓練集和交叉驗證集僅包含服務器正常運作的數(shù)據(jù)，而測試集則既包括服務器正常數(shù)據(jù)，又包括異常的數(shù)據(jù);之后基于訓練數(shù)據(jù)集中全部的81個屬性值通過訓練LSTM預測服務器流量這一變量的方式來構建服務器流量的正常行為模型，之后通過計算EWMA的上下控制界限來對數(shù)據(jù)的異常情況進行檢測，并通過交叉驗證數(shù)據(jù)集加以模型可靠性與準確性的驗證;最后將訓練好參數(shù)的模型直接應用到測試集上，從而通過算法能否在服務器流量異常這一問題出現(xiàn)時及時實現(xiàn)檢測功能來驗證算法的有效性與準確性。

4 結語

本文針對電網信息運維監(jiān)控領域中目前存在的不足之處，針對性地提出了一種結合長短時記憶神經網絡LSTM電網信息運維監(jiān)控數(shù)據(jù)異常檢測流程及算法，用于對電網信息運維監(jiān)控領域中存在的時間序列異常問題進行檢測。通過利用實際電網運行過程中的服務器流量相關數(shù)據(jù)集的訓練及測試，成功的驗證了所提出方法的可行性、可靠性以及有效性，對電網信息運維成本的降低有著積極的指導意義。

參考文獻

[1] 郭創(chuàng)新，陸海波，俞斌，等.電力二次系統(tǒng)安全風險評估研究綜述[J].電網技術，2013（1）：112-118.

[2] 付林.自動化技術在電力企業(yè)IT運維中的應用[J].電子技術與軟件工程，2018（8）：141+149.

[3] 張雪堅，張榆，釧濤，等.基于大數(shù)據(jù)技術的IT運維數(shù)據(jù)管理系統(tǒng)構建方法[J].電子科技，2018（4）：84-86.

[4] 黃天立.面向動車組運維的多源數(shù)據(jù)預處理關鍵技術研究與實現(xiàn)[D].北京交通大學，2018.

[5] 田嬙.時間序列的相關性與相似性分析[D].北京交通大學，2016.

[6] 厙向陽，蘇學威.基于CNN和LSTM混合模型的人體跌倒行為研究[J/OL].計算機應用研究：1-5[2018-10-26].

[7] Wu Y，Schuster M，Chen Z，et al.Googles Neural Machine Translation System： Bridging the Gap between Human and Machine Translation[J].eprint arXiv，1609.08144， 09/2016.

[8] Cho K， Van Merrinboer B， Gulcehre C，et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[J].CoRR，2014：abs/1406. 1078.

[9] Xingjian S H I， Chen Z，Wang H，et al.Convolutional LSTM network： A machine learning approach for precipitation nowcasting[C].Advances in neural information processing systems，2015：802-810.