黃家續(xù) ，曾獻(xiàn)輝 ，2，施陳俊

(1.東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海201620；2.數(shù)字化紡織服裝技術(shù)教育部工程研究中心，上海201620)

0 引言

節(jié)能降耗是企業(yè)面對的一個迫在眉睫的問題，設(shè)備節(jié)能是其中的一種有效手段。企業(yè)能源浪費很大一部分來自用電設(shè)備的管理維護(hù)不夠精確、不夠及時。人走忘記關(guān)燈、忘記關(guān)水、設(shè)備爆管、設(shè)備老化等異常不能夠及時檢測出來，給企業(yè)造成了一定程度上的損失。

目前企業(yè)中大多都使用了設(shè)備能耗數(shù)據(jù)采集系統(tǒng)[1]，采集到的數(shù)據(jù)量大、實時產(chǎn)生。因此，設(shè)備運行過程中產(chǎn)生的各種異常也會在數(shù)據(jù)上有直接反映。所以為了能夠及時、精確地檢測出設(shè)備運行中產(chǎn)生的各種異常，對能耗數(shù)據(jù)異常的檢測以及分類有著重要的研究意義。

目前國內(nèi)外許多研究者對用電數(shù)據(jù)的異常檢測進(jìn)行了大量的研究。黃悅?cè)A等提出了一種基于用電特征分析的無監(jiān)督方式異常檢測方法[2]，具有較高的準(zhǔn)確性；張春輝等提出了基于小波檢測電力負(fù)荷異常的方法，利用ARFIMA 統(tǒng)計方法結(jié)合小波，能夠快速準(zhǔn)確全面地發(fā)現(xiàn)電力負(fù)荷異常數(shù)據(jù)[3]；趙嫚等利用模糊聚類和孤立森林算法相結(jié)合進(jìn)行異常檢測[4]；徐瑤等采用卷積神經(jīng)網(wǎng)絡(luò)挖掘用戶時間序列中的用電規(guī)律，并通過反向傳播來實現(xiàn)網(wǎng)絡(luò)參數(shù)的更新，利用支持向量機(jī)檢測出異常用電行為[5]；ANGELOS EWS 等人使用模糊分類矩陣來改進(jìn)C均值聚類，歸一化度量距離最大的即為異常用電行為[6]；ARISOY I 等基于電力公司長期運營的專家知識，對用電數(shù)據(jù)的時間關(guān)聯(lián)關(guān)系進(jìn)行了數(shù)學(xué)建模，實現(xiàn)了用戶異常用電量的檢測[7]。

但是對于設(shè)備用電數(shù)據(jù)異常分類目前國內(nèi)相關(guān)的研究比較少，異常分類可以及時地找到異常產(chǎn)生的原因，能及時通知工作人員進(jìn)行快速精準(zhǔn)的維護(hù)，減少不必要的能源浪費。本文提出了一種基于多特征提取的企業(yè)用電異常分類方法。因為本文采用的數(shù)據(jù)是企業(yè)設(shè)備每天24 h 的能耗量數(shù)據(jù)，屬于一維時間序列數(shù)據(jù)，所以并不能直接對用電量數(shù)據(jù)進(jìn)行分類。如何對用能設(shè)備所產(chǎn)生的時間序列數(shù)據(jù)的特征進(jìn)行提取[8]是本研究中很重要的一環(huán)。孤立森林算法[9-10]能夠快速準(zhǔn)確地對異常點進(jìn)行檢測，它利用異常點數(shù)據(jù)少、異常數(shù)據(jù)特征值與正常數(shù)據(jù)差別大這兩大特點來孤立異常點。該方法效率高，能有效地處理海量數(shù)據(jù)。本文利用孤立森林算法對異常數(shù)據(jù)進(jìn)行檢測，分離出正常數(shù)據(jù)和異常數(shù)據(jù)，同時標(biāo)定正常數(shù)據(jù)類型。為了對異常數(shù)據(jù)進(jìn)一步地劃分標(biāo)定，采用K-means 聚類算法[11]，選取特征，設(shè)定聚類數(shù)目k為3，此方法經(jīng)驗證能夠很好地分離出三種不同的異常，并對其進(jìn)行標(biāo)定。最后針對企業(yè)設(shè)備用電數(shù)據(jù)量大并且實時產(chǎn)生的特點，本文提出了一種注意力機(jī)制和LSTM 算法[12-13]相結(jié)合的設(shè)備用電異常分類方法。

1 特征提取

在進(jìn)入分類器進(jìn)行訓(xùn)練之前，首先要進(jìn)行輸入數(shù)據(jù)特征的提取工作，將輸入數(shù)據(jù)轉(zhuǎn)化成多種特征。特征提取對于分類器最后的效果有很大的影響。本文將設(shè)備的運行異常分為了三種類型：設(shè)備空置異常、高能耗用電異常、用電規(guī)律變化異常。

一種典型的設(shè)備空置異常曲線如圖1 所示。從圖中可以看出，處于空置狀態(tài)的設(shè)備以一種低能耗的方式運行。這種異常在企業(yè)中是很常見的，比如人走后設(shè)備沒有正常關(guān)閉。

圖1 設(shè)備空置異常曲線

圖2 所示是一種典型的高能耗用電異常曲線，從圖中可以看出，設(shè)備用電量在某一個時刻急劇升高，超過一個閾值，并且這種高能耗的狀態(tài)持續(xù)很長時間。比如設(shè)備爆管就會引起這種異常。

圖2 高能耗用電異常曲線

一種典型的用電規(guī)律變化異常曲線如圖3 所示，從圖中可以看出，從第16 小時開始，設(shè)備的用電量數(shù)據(jù)相比于之前發(fā)生了明顯的變化。

圖3 用電規(guī)律變化異常

為了更好地對數(shù)據(jù)進(jìn)行分類，本文在對設(shè)備能耗數(shù)據(jù)集的處理中構(gòu)建了如下特征。

1.1 低能耗時間比

低能耗時間比在一定程度上反映了一段時間序列中設(shè)備處于低能耗狀態(tài)的時間比值。為了描述低能耗時間比，為每個小時的用電量數(shù)據(jù)設(shè)定一個上限Emax和一個下限Emin，處于這個上下限范圍之內(nèi)的用電量數(shù)據(jù)在本文中定義為低能耗數(shù)據(jù)。每小時的用電量是否屬于低能耗的判定為：

其中，E(i)(i=0，1，2，…，N-1)為一個長度為N的用電量時間序列，則低能耗時間比定義為：

1.2 高能耗時間量

高能耗時間量反映了樣本時間序列數(shù)據(jù)中設(shè)備處于高能耗狀態(tài)的用時總量。為了判定設(shè)備的用電量是否屬于高能耗，為每小時的用電量設(shè)置一個閾值，當(dāng)數(shù)據(jù)超過設(shè)定的閾值，則判定該時刻的用電量屬于高能耗。則高能耗時間量T定義為：

1.3 DTW 距離特征

為了描述設(shè)備用電規(guī)律是否發(fā)生了變化，引入了動態(tài)時間彎曲距離即DTW 距離[14]。DTW 是時間序列相似性度量的一種方法。下面介紹如何求得新輸入的設(shè)備用電時間序列與歷史時間序列的DTW距離。

若設(shè)備歷史用電時間序列為：X={x1，x2，…，xm}，新輸入的 用電時間序列為：Y={y1，y2，…，yn}。首先構(gòu)造兩者的累積距離：

彎曲路徑W=(w1，w2，…，wk)滿足條件：max(m，n)≤k≤m+n-1，元素wr=(i，j)定義了序列X和序列Y的映射。并且必須滿足以下兩個約束條件：

(1)W從矩陣B的左下角出發(fā)，到右上角結(jié)束，即w1=(1，1)，wk=(m，n)；

(2)W上的元素不可能跨過某個點去匹配，只能和自己相鄰的點對齊。即若有wk=(ak，bk)，wk+1=(ak+1，bk+1)則滿足0≤ak+1-ak≤1 以及0≤bk+1-bk≤1。

最終DTW 距離定義為：

其中K為彎曲路徑W的長度，綜上所述，該特征值即為D(X，Y)。

1.4 基于高斯模型的特征提取

高斯模型[15]就是用高斯概率密度函數(shù)將事務(wù)以量化的方式進(jìn)行刻畫，將一組數(shù)據(jù)分解為若干高斯概率密度函數(shù)的疊加。在本文使用的模型中，僅僅假設(shè)樣本來自于一個正態(tài)分布，下面給出正態(tài)分布的定義。

定義1若隨機(jī)變量X服從一個均值參數(shù)為μ、方差參數(shù)為σ 的概率分布，并且它的概率密度函數(shù)為以下形式：

則將該隨機(jī)變量叫做正態(tài)隨機(jī)變量，其服從的分布叫做正態(tài)分布，記為xN(μ，σ2)。本文高斯特征的提取中假設(shè)設(shè)備用電時間序列來自于一個正態(tài)分布，那么可以通過參數(shù)估計的方法得出模型的參數(shù)：

對于設(shè)備用電時間序列X={x1，x2，…，xn}，對其做一階差分得到Y(jié)={y1，y2，…，yn-1}，使得yk=xk-1-xk，該序列反映了設(shè)備用電量的變化特征。對其做k階差分直到其成為一個平穩(wěn)序列，然后對于每一階的差分序列，都可以得出其高斯特征，本文采用設(shè)備用電原始序列值X={x1，x2，…，xn}以及一階差分序列值Y={y1，y2，…，yn-1}分別建立高斯模型，得到高斯模型參數(shù)該高斯模型參數(shù)反映了時間序列本身的均值和抖動情況，以及時間序列變化的平均大小和抖動情況。本文以高斯模型的參數(shù)作為分類的特征值。

1.5 差值平均量

差值平均量是用新輸入的時間序列數(shù)據(jù)與正常時間序列做差并求均值，描述了與正常時序數(shù)據(jù)的差異大小。若設(shè)備用電時間序列為X=(x1，x2，…，xn)，新輸入的時間序列為Y=(y1，y2，…，yn)，兩者作差得到(δ1，δ2，…，δn)，其中δk=xk-yk。則差值平均量的定義如下：

2 設(shè)備用電異常分類模型

2.1 基于多特征提取的企業(yè)用電異常分類流程架構(gòu)

圖4 為基于多特征提取的企業(yè)用電異常分類流程架構(gòu)，首先對用電量時序數(shù)據(jù)樣本集中的每一條樣本進(jìn)行特征提取，本文對每條樣本都提取了8個特征，分別是低能耗時間比、高能耗用時量、DTW距離、反映時序數(shù)據(jù)本身均值和抖動情況以及反映時序數(shù)據(jù)變化的平均大小和抖動情況的4 個高斯模型系數(shù)，以及差值平均量特征。特征提取過后的樣本并不能直接進(jìn)入分類器進(jìn)行訓(xùn)練，因為本文中采用的樣本數(shù)據(jù)屬于無標(biāo)簽數(shù)據(jù)，還需為樣本數(shù)據(jù)打上標(biāo)簽，對類型進(jìn)行標(biāo)定，隨后才會進(jìn)行分類器模型訓(xùn)練。對輸入的每條樣本數(shù)據(jù)進(jìn)行特征提取，進(jìn)入訓(xùn)練好的模型，得到分類結(jié)果。

2.2 樣本類型的標(biāo)定

本文所采用的數(shù)據(jù)集為企業(yè)設(shè)備的用電量數(shù)據(jù)，每一條時間序列數(shù)據(jù)中包括每天24 h 設(shè)備的用電量，同時也屬于無標(biāo)簽數(shù)據(jù)，所以在進(jìn)入分類器模型訓(xùn)練之前，要利用算法為每條樣本數(shù)據(jù)打上標(biāo)簽。本文為樣本數(shù)據(jù)標(biāo)定類型同時使用了孤立森林模型以及K-means 模型。利用孤立森林模型能夠很精確地檢測出異常數(shù)據(jù)，從而分離正常數(shù)據(jù)和異常數(shù)據(jù)，然后對異常數(shù)據(jù)利用K-means 模型進(jìn)行聚類，聚類數(shù)目K為3，經(jīng)過考慮和試驗選用低能耗時間比、高能耗時間量、DTW 距離、原始序列高斯系數(shù)μ1以及差值平均量5 個特征構(gòu)成樣本數(shù)據(jù)作為K-means 算法的輸入，經(jīng)檢驗此方法能夠很好地對設(shè)備空置異常、高能耗用電異常以及用電規(guī)律變化異常進(jìn)行類型標(biāo)定。樣本數(shù)據(jù)類型標(biāo)定的流程圖如圖5 所示。

圖5 樣本數(shù)據(jù)類型標(biāo)定流程圖

2.3 基于注意力LSTM 的設(shè)備用電異常分類模型

針對企業(yè)設(shè)備用電數(shù)據(jù)量大并且實時產(chǎn)生的特點，本文提出了一種基于注意力機(jī)制和LSTM 的神經(jīng)網(wǎng)絡(luò)設(shè)備用電異常分類方法。圖6 為注意力LSTM 神經(jīng)網(wǎng)絡(luò)的整體框圖，其中包含兩個LSTM 層、注意力層和輸出層。

傳統(tǒng)的RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))能夠鏈接以前的信息和現(xiàn)在的任務(wù)，但是它有一個缺點，即容易產(chǎn)生梯度消失和梯度爆炸問題。LSTM 就是為了解決梯度的問題，其內(nèi)部增加了長期存儲有效信息的單元。LSTM 每個神經(jīng)元內(nèi)部都包含輸入門、輸出門和遺忘門，它們被用作網(wǎng)絡(luò)內(nèi)信息傳播的接口。

圖6 注意力LSTM 神經(jīng)網(wǎng)絡(luò)框圖

LSTM 的計算公式如下：

其中，Wf、Wi、Wc、Wo是權(quán)重參數(shù)，bf、bi、bc、bo是偏置，xt作為輸入序列，結(jié)合上一個隱含層ht-1的狀態(tài)，通過激活函數(shù)構(gòu)成遺忘門ft。輸入門it和輸出門Ot也由xt和ht-1計算。遺忘門ft與前單元狀態(tài)Ct-1聯(lián)合以確定是否丟棄信息。本節(jié)采用雙層LSTM 模型，并將其輸出與注意力機(jī)制相結(jié)合，突出序列中所提取的特征。

近年來注意力機(jī)制被廣泛地應(yīng)用于深度學(xué)習(xí)中。注意力機(jī)制沒有嚴(yán)格的數(shù)學(xué)定義，而是根據(jù)具體的任務(wù)目標(biāo)，對關(guān)注的方向和加權(quán)模型進(jìn)行調(diào)整。

對于輸入x的序列中的每個向量xi，可以根據(jù)式(12)計算注意力權(quán)重αi，其中f(xi)是評分函數(shù)。

注意力層的輸出attentive_x是輸入序列的權(quán)重之和，如式(13)所示：

本文在LSTM 之后引入注意力機(jī)制，可以實現(xiàn)設(shè)備用電異常分類結(jié)果與特征輸出每一項的對應(yīng)關(guān)系。上文從原始序列中提取了8 個特征作為模型的輸入，輸出為該設(shè)備用電異常類型，采用Softmax函數(shù)把輸入映射到[0，1]空間中，并且進(jìn)行歸一化操作，保證其和為1，將最大的概率值作為判別出的異常類型。

3 實驗結(jié)果分析

本文采用的數(shù)據(jù)集為上海某公司某設(shè)備每天24 h 的用電量數(shù)據(jù)，共有715 條樣本數(shù)據(jù)。通過Python 編程得到每條樣本數(shù)據(jù)的8 個特征值，并利用孤立森林算法和K-means 聚類算法為樣本數(shù)據(jù)打上標(biāo)簽。本文使用TensorFlow 框架進(jìn)行注意力LSTM 模型結(jié)構(gòu)的搭建，對設(shè)備能耗異常進(jìn)行識別。為了方便訓(xùn)練，將類型標(biāo)簽轉(zhuǎn)換為one-hot 標(biāo)簽。然后將數(shù)據(jù)集按70%和30%劃分為訓(xùn)練集和測試集。經(jīng)處理后，輸入的特征序列，x的shape 為(715，8)，y的shape 為(715，4)，每條設(shè)備能耗數(shù)據(jù)的特征值個數(shù)為8，數(shù)據(jù)集的樣本總量為715，數(shù)據(jù)類型的數(shù)量為4。

經(jīng)過實驗測試后，基于注意力LSTM 異常用電分類模型的準(zhǔn)確率達(dá)到了97.76%。圖7 是注意力LSTM 異常用電分類模型在訓(xùn)練集和測試集上的10 次epoch 迭代過程中的準(zhǔn)確率，圖8 為其對應(yīng)的損失。

圖7 模型訓(xùn)練過程中的準(zhǔn)確率

圖8 模型訓(xùn)練中的損失

為了驗證所述方法的優(yōu)越性，本文在使用相同數(shù)據(jù)集并且訓(xùn)練10 輪的情況下，用不加注意力機(jī)制的LSTM 神經(jīng)網(wǎng)絡(luò)分類模型進(jìn)行訓(xùn)練和測試，準(zhǔn)確率為95.45%。而注意力LSTM 模型的準(zhǔn)確率為97.76%，經(jīng)過對比可得出基于注意力LSTM 異常分類模型具有更高的分類精確度。

4 結(jié)論

針對能耗設(shè)備的節(jié)能，本文利用企業(yè)中實時采集到的數(shù)據(jù)流，提出了一種基于多特征提取的設(shè)備能耗異常識別方法。首先對原始序列數(shù)據(jù)進(jìn)行特征提取，利用孤立森林算法和K-means 聚類算法為每條樣本數(shù)據(jù)打上標(biāo)簽。最后針對企業(yè)中設(shè)備用電數(shù)據(jù)量大并且實時產(chǎn)生的特點，提出了一種基于注意力LSTM 的設(shè)備用電異常分類算法。提取的8 個特征作為LSTM 的輸入，將LSTM 的輸出作為注意力層的輸入，通過調(diào)整權(quán)重然后輸入到全連接層及Softmax 層進(jìn)行分類。通過數(shù)據(jù)驗證，注意力LSTM設(shè)備用電異常分類模型相比于沒有添加注意力機(jī)制的LSTM 分類模型效果要更好，分類準(zhǔn)確率也更高，更為可靠，可以高效地識別出不同類型的設(shè)備能耗異常，從而可以為企業(yè)及時作出處理，減少能耗損失提供決策依據(jù)。