趙 亮，孟令雯，張銳鋒，余思伍

（1.南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣州 510000；2.貴州電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，貴陽 550000）

隨著智能電網(wǎng)的建設(shè)和發(fā)展，準(zhǔn)確地監(jiān)測變壓器的運行數(shù)據(jù)，對電力系統(tǒng)的安全運行具有重要的現(xiàn)實意義[1]。由于電力變壓器監(jiān)測的數(shù)據(jù)復(fù)雜多樣，會出現(xiàn)數(shù)據(jù)冗余或缺失，從“臟數(shù)據(jù)”中得出的結(jié)論，對配電網(wǎng)的運行狀態(tài)的研究不具有任何參考價值。因此，如何準(zhǔn)確地檢測出運行過程中的異常數(shù)據(jù)是至關(guān)重要的。

專家學(xué)者對異常數(shù)據(jù)檢測方法進(jìn)行了一系列研究。文獻(xiàn)[2]利用中心聚類方法來檢測和描述時間序列中的異常數(shù)據(jù)，該方法提出使用空間和時間聚類法來分析每個窗口的結(jié)構(gòu)，同時考慮每個子序列的異常程度。文獻(xiàn)[3]檢測異常數(shù)據(jù)是通過稀疏表示的方法來檢測和清理，其創(chuàng)新之處在于能夠捕捉變量關(guān)系和時域的相關(guān)性。文獻(xiàn)[4]利用支持向量機(jī)來檢測和處理核電站收集的數(shù)據(jù)是否具有異常數(shù)據(jù)，這種方法能夠降低噪聲對其產(chǎn)生的影響，并提高多重異常檢測效果，降低了誤報率。然而，上述方法在小樣本數(shù)據(jù)中的效果表現(xiàn)較好，但針對智能電網(wǎng)中的大數(shù)據(jù)檢測效果較為一般，具體表現(xiàn)為不能找到準(zhǔn)確的異常點，誤報率高，不能確定異常點是否反映了電力設(shè)備的異常運行狀態(tài)。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，長短期記憶網(wǎng)絡(luò)（LSTM）[5-7]和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[8-10]在大數(shù)據(jù)的時序數(shù)據(jù)研究中逐步得到廣泛的應(yīng)用。LSTM雖然彌補(bǔ)了RNN 的梯度爆炸、梯度消失以及長期記憶不足的問題，但其在時序數(shù)據(jù)上的預(yù)測表現(xiàn)能力仍不能夠滿足配電網(wǎng)實際的生產(chǎn)環(huán)境[11]。為此，本文提出了一種基于MT-LSTM 的電力變壓器異常數(shù)據(jù)檢測方法，同時針對LSTM 隱藏的節(jié)點進(jìn)行分組，每組的學(xué)習(xí)參數(shù)都是由不同尺度的時間特征來更新?；谏鲜龇椒ㄔO(shè)計的MT-LSTM 能夠快速提取分組特征，并且保證每組都有不同時間尺度上的記憶，使得本文方法在實際應(yīng)用中，對具有多樣性和復(fù)雜性的數(shù)據(jù)都具有很好的檢測性能。最后，通過與傳統(tǒng)方法的實驗結(jié)果進(jìn)行對比、分析，表明本文方法能夠提高異常數(shù)據(jù)檢測的準(zhǔn)確率。

1 LSTM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LSTM 神經(jīng)網(wǎng)絡(luò)通過一個狀態(tài)轉(zhuǎn)換函數(shù)將輸入數(shù)據(jù)轉(zhuǎn)換成內(nèi)部隱藏狀態(tài)結(jié)點ht，通過該轉(zhuǎn)換函數(shù)轉(zhuǎn)換后，可以處理任意長度的時序數(shù)據(jù)。該隱藏狀態(tài)結(jié)點是函數(shù)f 在第t 個時間點，由當(dāng)前輸入量xt，以及前一個隱藏結(jié)點ht-1作用產(chǎn)生的，具體公式如下：

通常，將xt與ht-1通過仿射變換進(jìn)行元素級的非線性組合，這種非線性組合過程是一種狀態(tài)到另一種狀態(tài)的映射過程，這個過程是由狀態(tài)轉(zhuǎn)換函數(shù)f 實現(xiàn)的。

圖1 表示LSTM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[12]，虛線代表遞歸式連接，實線代表當(dāng)前連接。圖2 表示LSTM 的單元結(jié)構(gòu)，x=｛x1，x2，…，xT｝表示當(dāng)前時間的輸入，h=｛h1，h2，…，hT｝表示隱藏狀態(tài)。從圖1 和圖2 中可以看出，這些門（如輸出門Output Gate o，輸入門Input Gate i 以及遺忘門Forget Gate f）和存儲單元允許LSTM 對記憶的內(nèi)容自適應(yīng)地遺忘、記憶和展示。如果檢測到需要的特征，即記憶內(nèi)容，那么該特征將被認(rèn)為是非常重要的，遺忘門將會關(guān)閉，并攜帶記憶內(nèi)容跨越多個時間步長，為下一次使用做準(zhǔn)備。這個過程需要LSTM 具有長時間的記憶功能，這也是LSTM 的長期依賴性的表現(xiàn)。如果這個記憶內(nèi)容不是所需要記憶的，遺忘門就將打開，釋放該特征。

圖1 LSTM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 LSTM neural network structure

圖2 LSTM 單元結(jié)構(gòu)Fig.2 Unfolded LSTM

2 MT-LSTM 神經(jīng)網(wǎng)絡(luò)

LSTM 可以捕捉時序數(shù)據(jù)中的長期和短期依賴關(guān)系，但長期依賴關(guān)系需要沿著序列逐一傳送，進(jìn)而會造成特征記憶的更新與遺忘的不及時，在傳輸過程中可能會丟失一些重要的信息[13]。此外，當(dāng)使用通過時間的反向傳播（BPTT）時[14]，錯誤信號會通過多個時間步驟進(jìn)行反向傳播，對于長文本，訓(xùn)練效率較低。例如，如果一個有價值的特征出現(xiàn)在一個長文檔的開頭，需要通過整個文檔來反向傳播錯誤。

本文受已有工作的啟發(fā)[15]，使用延遲連接和在不同時間尺度上運行的單元來改進(jìn)簡單的LSTM。本文將LSTM 單元劃分成g 個組：G1，G2，…，Gg。每個組Gk（1≤k≤g）在不同的時間段被激活Tk。相應(yīng)地，門和權(quán)重矩陣也被劃分，以保持相應(yīng)的LSTM組。選擇Tk∈｛T1，…，Tg｝的周期集是任意的，本文使用指數(shù)系列的周期。組Gk的周期為Tk＝2k-1。組G1是最快的一組，可以在每個時間步長中執(zhí)行，組Gk是最慢的一個。

在時間步驟t，存儲單元向量和隱藏的群體Gk的狀態(tài)向量在2 種情況下被計算出來情況。

（1）當(dāng)Gk組在時間步驟t 被激活時。該組的LSTM單元通過以下公式計算[16-17]：

式中：itk，ftk，okt分別是在t 時間步驟下分組Gk的輸入門、 遺忘門以及輸出門的向量；ckt和hkt分別是在分組Gk的存儲單元和隱藏狀態(tài)量。

（2）當(dāng)Gk組在時間t 處于非激活狀態(tài)，那么LSMT單元將保持不變，不會更新。

2.1 更新策略

LSTM 的反饋機(jī)制是由時間步長t-1 到t 的遞歸連接來實現(xiàn)的。由于LSTM 組的更新頻率不同，所以可以把不同的組看作是人的記憶。快速組是短期記憶，而慢速組則是長期記憶。因此，為解決短時記憶和長期記憶之間的反饋問題，本文考慮了2 種反饋策略來定義不同組之間的連接模式。

（1）由快到慢的更新策略。當(dāng)把短期記憶積累到一定程度時，會將一些有價值的信息從短期記憶儲存到長期記憶中。因此，首先定義一個從快到慢的策略，該策略用較快的組來更新較慢的組。當(dāng)且僅當(dāng)Ti≤Tk，從組j 到組k 是存在連接關(guān)系；當(dāng)Ti＞Tk時，這時權(quán)重矩陣位將會設(shè)置為0。

（2）由慢到快的更新策略?？紤]一個長期記憶可以被“提煉”為短期記憶，即當(dāng)且僅當(dāng)Ti≥Tk，從組到組是存在連接關(guān)系。當(dāng)Ti＜Tk時，這時權(quán)重矩陣位將會設(shè)置為0。

2.2 動態(tài)選擇多尺度LSTM 單元組

本文另一個考慮是有多少個LSTM 單元組需要被使用，給長時間記憶的LSTM 單元組多于短時間記憶，這個組的長度依賴于輸入數(shù)據(jù)的序列長度。本文使用一個簡單的動態(tài)策略來選擇最大的組數(shù)，然后根據(jù)不同的任務(wù)選擇最好的作為超參數(shù)。在不同的任務(wù)上組數(shù)的上界計算方式為

式中：L 為輸入數(shù)據(jù)的平均長度，因此最慢的一組至少會被激活2 次進(jìn)行更新。

3 算例分析

在實驗中，隱藏層在最后時刻有一個全連接層，然后是一個非線性softmax 層用于預(yù)測在給定時序數(shù)據(jù)時分類預(yù)測的概率。該神經(jīng)網(wǎng)絡(luò)使用基于梯度優(yōu)化[18-19]的更新規(guī)則，通過反向傳播法進(jìn)行訓(xùn)練。誤差傳播的反向傳播與LSTM 相似，唯一的區(qū)別是誤差的反向只從時間t 這個步驟開始執(zhí)行，并在LSTM 單元組中進(jìn)行傳播。LSTM 單元組的錯誤在時間上被復(fù)制回來，在那里它被添加到反向傳播中，進(jìn)行神經(jīng)網(wǎng)絡(luò)參數(shù)更新。

為驗證基于MT-LSTM 的電力變壓器異常數(shù)據(jù)檢測方法的準(zhǔn)確性，本文使用ETDataset 數(shù)據(jù)進(jìn)行分析，該數(shù)據(jù)包含一共8 列，包括“HUFL”，“HULL”，“MUFL”，“MULL”，“LUFL”，“LULL”和“OT”，其中“OT”為油溫數(shù)據(jù)。

變壓器油溫異常檢測從本質(zhì)上可以當(dāng)作一個預(yù)測問題，為此，首先對數(shù)據(jù)進(jìn)行預(yù)處理，分為異常狀態(tài)和正常狀態(tài)兩類；其次，為了能夠讓模型更好地針對數(shù)據(jù)進(jìn)行檢測，根據(jù)已有文獻(xiàn)的模型評估方法[20]，在原有數(shù)據(jù)上進(jìn)行處理，即改變原有的油溫值，并把其當(dāng)作異常值。

本文采用油溫異常檢測的混淆矩陣來描述檢測結(jié)果，如表1 所示。

表1 油溫異常值檢測的混淆矩陣Tab.1 Confusion matrix for oil temperature outlier detection

由于人工處理的異常數(shù)據(jù)點在整個數(shù)據(jù)集占10%，為了避免數(shù)據(jù)不平衡對數(shù)據(jù)準(zhǔn)確率產(chǎn)生影響，即將原始的異常數(shù)據(jù)檢測為真實數(shù)據(jù)的情況。本文采用如下評估公式：

式中：SE 表示靈敏度；SP 表示特異度；G 表示幾何均值，G 越大，說明檢測效果越好。

為了獲得較好的預(yù)測效果，首先采用最大值最小值歸一化方法，對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，然后使用一周數(shù)據(jù)預(yù)測變壓器一天的油溫變化情況。其次通過統(tǒng)計分析整個數(shù)據(jù)預(yù)測的油溫與真實值之間的差值，確定異常數(shù)據(jù)模式與真實值模式之間的閾值σ。最后通過判斷閾值與真實值之間的差值是否超出閾值范圍，判斷該變壓器油溫是否存在異常。

如圖3 所示，可以看出MT-LSTM 對工作一天變壓器的油溫預(yù)測結(jié)果的展示。從圖中能夠看出，該模型能夠準(zhǔn)確地預(yù)測出一天內(nèi)變壓器油溫發(fā)生的變化，這為后續(xù)變壓器油溫異常檢測奠定了基礎(chǔ)。根據(jù)訓(xùn)練好的模型，統(tǒng)計模型在真實數(shù)據(jù)上的預(yù)測差值，通過差值確定閾值σ，本文所使用的σ＝0.14。

圖3 在數(shù)據(jù)集上預(yù)測模型的結(jié)果與真實值對比Fig.3 Results of the prediction model on the data set compared to the true values

閾值σ 的計算方式如下：

式中：N 代表時序數(shù)據(jù)的長度，如本文對一天的時序數(shù)據(jù)進(jìn)行預(yù)測，N=24；Tpn和Tgtn分別為模型預(yù)測的結(jié)果與真實的數(shù)據(jù)值。

對數(shù)據(jù)進(jìn)行異常點檢測，得到的準(zhǔn)確率直方圖如圖4 所示。圖4 可以看出，使用MT-LSTM 與LSTM相比較，能夠更準(zhǔn)確地對數(shù)據(jù)進(jìn)行預(yù)測，數(shù)據(jù)異常點檢測的正確率從88%提升至94%，數(shù)據(jù)異常點檢測的誤檢率從10.5%降低到7.9%。

圖4 與LSTM 算法在預(yù)測準(zhǔn)確率上的比較Fig.4 Comparison with LSTM algorithm in terms of prediction accuracy

4 結(jié)語

本文在分析與研究前人成果的基礎(chǔ)上，提出一種基于多時間尺度的電力變壓器油溫異常數(shù)據(jù)檢測方法，通過更新策略和動態(tài)選擇多尺度LSTM 單元組，該方法能夠捕捉不同時間尺度的信息，通過捕獲不同時間尺度的特征，對不同時間尺度的記憶進(jìn)行表達(dá)，使該模型能夠更好地構(gòu)建短時間記憶和長時間記憶，進(jìn)而提高模型的異常數(shù)據(jù)檢測能力。通過算例分析表明，相對于傳統(tǒng)的LSTM 算法，本文方法具有訓(xùn)練速度快、異常數(shù)據(jù)檢測準(zhǔn)確率高的優(yōu)點。