胡 聰 劉翠玲 吳 尚

?

基于大數(shù)據(jù)日志的預(yù)警技術(shù)分析

胡 聰 劉翠玲 吳 尚

（國(guó)網(wǎng)安徽省電力公司信息通信分公司，合肥 230022）

隨著電力網(wǎng)絡(luò)信息化的發(fā)展，信息技術(shù)已經(jīng)深入到電力生產(chǎn)的各個(gè)環(huán)節(jié)。電力系統(tǒng)在運(yùn)行過(guò)程中產(chǎn)生大量的日志信息，其中的某些數(shù)據(jù)可能包含著與系統(tǒng)的運(yùn)行狀態(tài)相關(guān)的信息。如何對(duì)海量日志信息進(jìn)行分析處理，深層挖掘信息的潛在價(jià)值，從而全面掌握系統(tǒng)狀態(tài)，及時(shí)發(fā)現(xiàn)故障隱患是十分重要的。本文對(duì)大數(shù)據(jù)質(zhì)量提升和分析方法進(jìn)行了介紹，并對(duì)預(yù)警模型進(jìn)行了研究，對(duì)大數(shù)據(jù)背景下電力系統(tǒng)預(yù)警技術(shù)的研究有一定的參考意義。

大數(shù)據(jù)；監(jiān)控；預(yù)警

電力系統(tǒng)的物理硬件設(shè)備高度依賴系統(tǒng)的信息空間，從而決定了電力系統(tǒng)的安全性受信息系統(tǒng)的直接影響。電力系統(tǒng)風(fēng)險(xiǎn)的傳播具有很強(qiáng)的耦合性，比如當(dāng)信息系統(tǒng)發(fā)生故障時(shí)，測(cè)量設(shè)備和控制終端的正常運(yùn)行也會(huì)受到影響，從而進(jìn)一步影響到整個(gè)系統(tǒng)的正常運(yùn)行[1]。并且隨著整個(gè)系統(tǒng)規(guī)模的不斷膨脹，信息系統(tǒng)中累積的日志信息數(shù)量已經(jīng)非常龐大，這些信息的類型多種多樣，并且可能隱含大量關(guān)系系統(tǒng)運(yùn)行狀態(tài)的信息，可見(jiàn)這些日志具有典型的大數(shù)據(jù)特征。如果采用大數(shù)據(jù)的日志采集和處理手段，對(duì)日志信息進(jìn)行深層次地挖掘，就可以及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行中可能存在的問(wèn)題，實(shí)現(xiàn)系統(tǒng)的故障預(yù)警，從而避免不必要的損失[2]。本文針對(duì)大數(shù)據(jù)日志預(yù)警技術(shù)設(shè)計(jì)的技術(shù)問(wèn)題入手，對(duì)大數(shù)據(jù)日志信息處理技術(shù)進(jìn)行了介紹，對(duì)數(shù)據(jù)質(zhì)量提升和分析技術(shù)進(jìn)行了分析，并以變壓器為例對(duì)預(yù)警模型進(jìn)行了研究和建立。

1 基于大數(shù)據(jù)的日志信息處理技術(shù)分析

1.1 提高大數(shù)據(jù)日志信息的質(zhì)量

提高大數(shù)據(jù)日志信息質(zhì)量的方法主要有數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換。

1）數(shù)據(jù)清洗

該過(guò)程主要工作是更新優(yōu)質(zhì)數(shù)據(jù)資源，并對(duì)數(shù)據(jù)進(jìn)行分解和重新組合[3]。清洗的流程如圖1所示。

圖1 數(shù)據(jù)清洗流程

（1）錯(cuò)誤類型的確認(rèn)和定義。其中包括分析數(shù)據(jù)和清洗規(guī)則的定義，分析數(shù)據(jù)就是根據(jù)數(shù)據(jù)的不一致性和錯(cuò)誤實(shí)際情況，利用分析程序提取數(shù)據(jù)屬性，從而發(fā)掘數(shù)據(jù)的質(zhì)量問(wèn)題[4]。清洗規(guī)則的定義是對(duì)數(shù)據(jù)清洗和轉(zhuǎn)換的規(guī)則進(jìn)行定義，制定數(shù)據(jù)清洗和轉(zhuǎn)換的語(yǔ)言并完成轉(zhuǎn)換代碼的生成。

（2）錯(cuò)誤實(shí)例的搜尋和識(shí)別。主要包括屬性錯(cuò)誤的自動(dòng)檢測(cè)以及算法的重復(fù)記錄檢測(cè)。屬性錯(cuò)誤的自動(dòng)檢測(cè)主要利用統(tǒng)計(jì)法和聚類法對(duì)數(shù)據(jù)的屬性錯(cuò)誤進(jìn)行檢測(cè)[5]。算法的重復(fù)記錄檢測(cè)主要是通過(guò)相關(guān)的算法對(duì)重復(fù)記錄的情況進(jìn)行檢測(cè)。

（3）錯(cuò)誤的糾正。主要是對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。

（4）干凈數(shù)據(jù)回流，將已經(jīng)進(jìn)行處理后的數(shù)據(jù)傳送回系統(tǒng)，并將原有數(shù)據(jù)刪除。

2）數(shù)據(jù)轉(zhuǎn)換

該過(guò)程主要是采用數(shù)據(jù)的泛化、規(guī)范化以及屬性構(gòu)造等流程實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的進(jìn)一步提升，使數(shù)據(jù)的精度和性能得到提高。數(shù)據(jù)轉(zhuǎn)換的流程圖如圖2所示。

圖2 數(shù)據(jù)轉(zhuǎn)換流程

（1）結(jié)構(gòu)數(shù)據(jù)的轉(zhuǎn)換。系統(tǒng)首先對(duì)數(shù)據(jù)字典的信息進(jìn)行讀取，掌握數(shù)據(jù)類型定義和數(shù)據(jù)庫(kù)結(jié)構(gòu)等信息，根據(jù)設(shè)定好的數(shù)據(jù)庫(kù)結(jié)構(gòu)生成中間數(shù)據(jù)庫(kù)。

（2）用戶數(shù)據(jù)的轉(zhuǎn)換。根據(jù)用戶需要對(duì)數(shù)據(jù)源的用戶數(shù)據(jù)進(jìn)行讀取，并根據(jù)設(shè)定好的數(shù)據(jù)庫(kù)表數(shù)據(jù)生成數(shù)據(jù)庫(kù)數(shù)據(jù)。

（3）目標(biāo)數(shù)據(jù)的導(dǎo)入。根據(jù)用戶讀取用戶數(shù)據(jù)，并根據(jù)設(shè)定號(hào)的數(shù)據(jù)庫(kù)表數(shù)據(jù)生成數(shù)據(jù)庫(kù)數(shù)據(jù)。

1.2 日志信息的質(zhì)量分析流程

日志信息質(zhì)量分析的對(duì)象主要是電網(wǎng)的實(shí)時(shí)運(yùn)行數(shù)據(jù)。將數(shù)據(jù)跳變、設(shè)備精度原因引起的不良數(shù)據(jù)進(jìn)行準(zhǔn)確過(guò)濾出，避免誤報(bào)警的發(fā)生，同時(shí)對(duì)設(shè)備的工作狀態(tài)進(jìn)行分析，對(duì)裝置的變化趨勢(shì)進(jìn)行分析[6]。日志信息的質(zhì)量分析流程如下。

1）不良數(shù)據(jù)的檢測(cè)。參考實(shí)時(shí)運(yùn)行數(shù)據(jù)和子按下監(jiān)測(cè)數(shù)據(jù)的關(guān)系，制定計(jì)算模型，對(duì)檢測(cè)值進(jìn)行分析評(píng)估，避免因設(shè)備故障和自身誤差造成誤報(bào)警。

2）分析數(shù)據(jù)的準(zhǔn)確性。根據(jù)在線監(jiān)測(cè)數(shù)據(jù)自身特性，對(duì)傳感器采集數(shù)據(jù)的準(zhǔn)確性進(jìn)行評(píng)估，并對(duì)檢測(cè)數(shù)據(jù)的趨勢(shì)進(jìn)行監(jiān)控，根據(jù)傳感器類型設(shè)定標(biāo)準(zhǔn)。

3）對(duì)設(shè)備的異常趨勢(shì)進(jìn)行跟蹤。當(dāng)發(fā)現(xiàn)設(shè)備數(shù)據(jù)出現(xiàn)異常時(shí)，結(jié)合電網(wǎng)運(yùn)行情況對(duì)誤差原因進(jìn)行分析，構(gòu)建趨勢(shì)變化預(yù)警模型，對(duì)設(shè)備運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)跟蹤，設(shè)備出現(xiàn)異常趨勢(shì)時(shí)快速發(fā)出預(yù)警信息，并提供預(yù)警分析報(bào)表[7]。

利用大數(shù)據(jù)處理技術(shù)對(duì)系統(tǒng)中的異常日志信息進(jìn)行分析，可以及時(shí)發(fā)現(xiàn)系統(tǒng)中的異常設(shè)備，從而及時(shí)采取措施，避免事態(tài)的惡化。對(duì)潛在風(fēng)險(xiǎn)的分析判斷是日志分析的意義所在，這對(duì)提高系統(tǒng)的安全性和可靠性具有很強(qiáng)的實(shí)用價(jià)值。

2 預(yù)警模型的研究與建立

預(yù)警模型執(zhí)行對(duì)監(jiān)控模型采集的數(shù)據(jù)進(jìn)行分析處理，利用一定的預(yù)警判定方法封裝數(shù)據(jù)，當(dāng)發(fā)生預(yù)警事件時(shí)，將事件的詳細(xì)信息封裝并形成系統(tǒng)事件并上傳給預(yù)警處理模塊進(jìn)行后續(xù)處理。本文的預(yù)警模型針對(duì)變壓器采用回歸算法和聚類法建立。

2.1 回歸算法模型

假設(shè)為變壓器的預(yù)警指標(biāo)數(shù)值，1，2，…，X（甲烷、氫氣、乙烯、乙炔等）是前個(gè)時(shí)間的值，假設(shè)與之間為如下的線性關(guān)系：

式中，～(0,2),0,1,…,，和2的值未知。

假使

（2）

那么變壓器的線性回歸矩陣的表達(dá)式為

上式中的利用最小二乘函數(shù)()= (-)T(-)求得的最小值＇，則回歸方程可表示為

（4）

在變壓器的預(yù)警過(guò)程中，利用求得的值可以對(duì)系統(tǒng)中對(duì)應(yīng)指標(biāo)的值進(jìn)行確認(rèn)，用該值和設(shè)定的預(yù)警參考值進(jìn)行比較，從而可以完成系統(tǒng)的預(yù)警功能[8]?；貧w算法可以利用指標(biāo)若干時(shí)刻的數(shù)值對(duì)下一時(shí)刻的數(shù)值進(jìn)行預(yù)測(cè)，可以更加準(zhǔn)確、有效地實(shí)現(xiàn)預(yù)警功能[9]。

2.2 聚類算法模型

本文的聚類方法采用模糊聚類的算法，該算法過(guò)程比較簡(jiǎn)單，其過(guò)程可分為以下3步：①進(jìn)行訓(xùn)練樣本的標(biāo)準(zhǔn)化處理；②進(jìn)行聚類，即利用適當(dāng)?shù)木嚯x模式求得數(shù)據(jù)的模糊矩陣，并利用聚類算法實(shí)現(xiàn)樣本的聚類；③求得最優(yōu)聚類結(jié)果。模糊聚類模型的建立可以通過(guò)下面4個(gè)步驟實(shí)現(xiàn)：

假設(shè)樣本數(shù)量為，每個(gè)樣本有個(gè)量化指標(biāo)，x則為樣本的指標(biāo)。

1）對(duì)樣本進(jìn)行標(biāo)準(zhǔn)化處理，因?yàn)橹挥性跀?shù)據(jù)標(biāo)準(zhǔn)化處理之后才能建立特征值矩陣。數(shù)據(jù)標(biāo)準(zhǔn)化的方法多種多樣，現(xiàn)在我們以極值法為例，首先將數(shù)據(jù)歸一化，計(jì)算方法為

式中，為樣本標(biāo)準(zhǔn)化后的數(shù)值；是原始數(shù)值；max是未處理的數(shù)據(jù)最大值；max是未處理的數(shù)據(jù)最小值，則樣本指標(biāo)的特征值集合為

（6）

式中，是樣本指標(biāo)的特征值，其中=1, 2, …,；=1, 2, …,。

2）模糊矩陣關(guān)系矩陣的建立。

其中

（8）

式中，R是樣本和的關(guān)系，=1, 2, …,，= 1, 2, …,。

3）樣本的聚類分析。通常采用編網(wǎng)法進(jìn)行。

4）分析聚類結(jié)果。

模糊聚類模型建立的流程圖如圖3所示。

圖3 模糊聚類模型建立流程

2.3 建立預(yù)警模型

以變壓器為對(duì)象的預(yù)警模型如圖4所示。

圖4 變壓器預(yù)警模型

圖4所示的預(yù)警流程如下。

1）檢測(cè)并收集原始數(shù)據(jù)，參考?xì)v史數(shù)據(jù)分析運(yùn)行狀態(tài)和參數(shù)的關(guān)系，建立設(shè)備動(dòng)態(tài)模型。

2）與在線設(shè)備同時(shí)運(yùn)行動(dòng)態(tài)模型，并根據(jù)運(yùn)行狀態(tài)生成預(yù)測(cè)值。

3）比較檢測(cè)點(diǎn)的預(yù)測(cè)值和時(shí)間值，并用回歸算法和聚類法進(jìn)行分析，實(shí)現(xiàn)設(shè)備的初步預(yù)警。

4）利用輔助分析工具對(duì)設(shè)備的故障原因進(jìn)行分析[10]。

2.4 預(yù)警機(jī)制在電力系統(tǒng)運(yùn)行的應(yīng)用

利用以上的日志預(yù)警原理，建立了電力設(shè)備在線監(jiān)控平臺(tái)，并通過(guò)在線監(jiān)測(cè)數(shù)據(jù)接入對(duì)電力設(shè)備的運(yùn)行狀態(tài)進(jìn)行監(jiān)控和報(bào)警。通過(guò)對(duì)設(shè)備歷史和實(shí)時(shí)數(shù)據(jù)的檢測(cè)分析，分辨出需要進(jìn)行預(yù)警處理的設(shè)備，并通過(guò)人工確認(rèn)，對(duì)報(bào)警信息進(jìn)行分析，從而及時(shí)發(fā)現(xiàn)設(shè)備問(wèn)題，進(jìn)一步維護(hù)電力系統(tǒng)的穩(wěn)定運(yùn)行。圖5為變壓器問(wèn)題在線監(jiān)測(cè)查詢系統(tǒng)的查詢界面。從圖中可以清楚地看出，變壓器的故障原因和故障類型，使變壓器的維護(hù)工作更加輕松高效。

圖5 設(shè)備問(wèn)題在線監(jiān)測(cè)查詢界面

3 結(jié)論

在電力系統(tǒng)信息化發(fā)展的今天，如何對(duì)電力系統(tǒng)運(yùn)行過(guò)程中產(chǎn)生的龐大日志信息進(jìn)行分析和處理，獲取深層次的系統(tǒng)運(yùn)行狀態(tài)信息，從而對(duì)故障隱患做出預(yù)警處理是電力系統(tǒng)研究的重要課題。其中，對(duì)海量日志的篩選和質(zhì)量提升，以及預(yù)警模型的建立是關(guān)鍵。本文對(duì)常用的數(shù)據(jù)分析和質(zhì)量提升方法進(jìn)行了介紹，對(duì)基于回歸算法和模糊聚類模型的預(yù)警方法進(jìn)行了分析，對(duì)大數(shù)據(jù)環(huán)境下的預(yù)警技術(shù)研究具有一定的參考意義。

[1] 胡士. 數(shù)據(jù)挖掘技術(shù)在電力設(shè)備狀態(tài)檢修中的應(yīng)用研究[D]. 北京: 華北電力大學(xué), 2007.

[2] 郭乃網(wǎng), 蘇運(yùn), 瞿海妮, 等. 電力大數(shù)據(jù)安全體系架構(gòu)研究與應(yīng)用[J]. 電氣技術(shù), 2016, 17(11): 143-145.

[3] 林森, 歐陽(yáng)柳. 基于大數(shù)據(jù)理論的電力客戶標(biāo)簽體系構(gòu)建[J]. 電氣技術(shù), 2016, 17(12): 98-101, 112.

[4] 周國(guó)亮, 朱永利, 王桂蘭, 等. 實(shí)時(shí)大數(shù)據(jù)處理技術(shù)在狀態(tài)監(jiān)測(cè)領(lǐng)域中的應(yīng)用[J]. 電工技術(shù)學(xué)報(bào), 2014(S1): 432-437.

[5] 葛磊蛟, 王守相, 王堯, 等. 多源異構(gòu)的智能配用電數(shù)據(jù)存儲(chǔ)處理技術(shù)[J]. 電工技術(shù)學(xué)報(bào), 2015, 30(S2): 159-168.

[6] 宋亞奇, 周國(guó)亮, 朱永利. 智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J]. 電網(wǎng)技術(shù), 2013, 4(4): 927-935.

[7] 譚勇, 王偉. 智能故障診斷技術(shù)及發(fā)展[J]. 飛航導(dǎo)彈, 2009(7): 35-38.

[8] 林升梁. 多元線性回歸模型在骨齡評(píng)估中的應(yīng)用[J]. 吉林醫(yī)學(xué), 2011, 32(24): 5107-5108.

[9] 劉連福. 一元線性回歸方程中回歸系數(shù)的化種確定方法[J]. 沈陽(yáng)師范大學(xué)學(xué)報(bào):自然科學(xué)版, 2008, 12(4): 38-42.

[10] 楊廷方. 變壓器在線監(jiān)測(cè)與故障診斷新技術(shù)的研巧[D]. 武漢: 華中科技大學(xué), 2008.

Analysis of Early Warning Technology based on Large Data Log

Hu Cong Liu Cuiling Wu Shang

(Information and Communication Branch, State Grid Anhui Electric Company, Hefei 230022)

With the development of information technology in the power network, information technology has gradually penetrated into all aspects of power production. The power system to produce a lot of log information in the operation process, some of which may contain data associated with the running state of the system information, how to log information on mass analysis, the potential value of deep mining information, so as to fully grasp the state of the system, found the problems in a timely manner is very important. In this paper, the method of improving the quality of large data and analysis methods are introduced, and the early warning model is studied, which has a certain reference value for the research of power system early warning technology under the background of big data.

big data; monitoring; early warning

胡 聰（1981-），男，安徽合肥人，碩士研究生，高級(jí)工程師，研究方向?yàn)槠髽I(yè)信息化。