嚴 莉，張 凱，徐 浩，韓圣亞，劉珅岐

（國網(wǎng)山東省電力公司信息通信公司，山東濟南 250013）

0 引言

隨著電力系統(tǒng)自動化水平提高，電網(wǎng)運行對實時數(shù)據(jù)質量要求增高，通過電力數(shù)據(jù)進行異常檢測在電力市場發(fā)展中具有重要意義。異常檢測可提高電網(wǎng)服務水平，節(jié)約人力資源，降低運營成本，保證電力系統(tǒng)穩(wěn)定運行。

傳統(tǒng)異常檢測方法包括回歸分析法［1］、時間序列分析法［2］等。雖然該方法在電力行業(yè)應用廣泛，但對不確定因素考慮不夠全面，并且未能有效利用序列數(shù)據(jù)信息。隨著人工智能技術飛速發(fā)展，機器學習［3］、神經(jīng)網(wǎng)絡［4］和深度學習檢測方法［5］等智能方法逐漸被應用于異常檢測中，開始深入挖掘各影響因素與異常目標的關系。例如，基于神經(jīng)網(wǎng)絡模型對電力序列數(shù)據(jù)進行建模檢測用戶異常［6-7］。雖然以上方法取得了良好的檢測效果，但忽略了數(shù)據(jù)本身對異常檢測性能的影響。

由于電力系統(tǒng)傳感器異常、輸電線路故障等原因，電力數(shù)據(jù)存在大量數(shù)據(jù)缺失，直接影響智能電力系統(tǒng)的分析與決策。目前，主要依靠數(shù)據(jù)專家、業(yè)務專家補全數(shù)據(jù)缺失值，但隨著電力數(shù)據(jù)規(guī)模逐漸擴大，人工將難以實時補全數(shù)據(jù)，還會發(fā)生錯漏現(xiàn)象。此外，人工進行缺失值補全的成本較高、耗時長，嚴重影響智能化電力系統(tǒng)的運行與維護效率。

為此，不少學者提出智能化插補方法解決數(shù)據(jù)缺失問題［8-9］。例如，Zhang 等［10］在標準生成對抗網(wǎng)絡（Generative Adversarial Networks，GAN）架構中引入編碼器網(wǎng)絡，估算多元時間序列的缺失值。Luo 等［11］將缺失值插補轉化為數(shù)據(jù)生成問題，并在GAN 中使用改進門循環(huán)單元模擬不完整時間序列的時間不規(guī)則性，實現(xiàn)缺失值插補。然而，這些方法忽略電設備描述、用戶地址等文本信息，對缺失值插補性能造成了一定的影響。

針對上述問題，本文提出一種基于缺失值補全和雙向長短期記憶神經(jīng)網(wǎng)絡（Bidirectional Long Short-Term Memory，BiLSTM）的異常檢測模型。首先，采用深度學習方法對電力數(shù)據(jù)進行缺失值補全。然后，基于補全后的數(shù)據(jù)集，采用BiLSTM 實現(xiàn)用電行為異常檢測。

本文主要貢獻包括：①提出一種基于缺失值補全和BiLSTM 的用電行為異常檢測模型，解決電力數(shù)據(jù)中的數(shù)據(jù)缺失問題及充分捕獲電力數(shù)據(jù)間復雜的關聯(lián)關系，提高電力異常檢測性能；②采用卡爾曼濾波器和一維卷積神經(jīng)網(wǎng)絡相結合的方法學習電力數(shù)據(jù)文本信息表示，并通過圖注意力網(wǎng)絡捕獲電力數(shù)據(jù)間復雜的關聯(lián)關系，然后以Transformer 為生成器，支持向量機（Support Vector Machine，SVM）為判別器，構建生成對抗網(wǎng)絡模型，通過兩者相互對抗補全電力數(shù)據(jù)缺失值；③采用BiLSTM 捕獲電力數(shù)據(jù)間的依賴關系，實現(xiàn)用電行為異常檢測。

1 相關工作

1.1 用電行為異常檢測

隨著神經(jīng)網(wǎng)絡發(fā)展，深度學習技術在用電行為異常檢測任務中逐漸得到重視。Buzau 等［12］使用長短期記憶網(wǎng)絡和多層感知器混合的深度神經(jīng)網(wǎng)絡檢測用電異常，相較于傳統(tǒng)分類器精度更高。Chahla 等［13］提出一種基于長短期記憶和注意力機制的異常檢測方法，從單變量時間序列數(shù)據(jù)中進行不和諧搜索，根據(jù)觀測數(shù)據(jù)預測誤差，通過統(tǒng)計策略檢測異常。Rouzbahani 等［14］提出一種用于智能電網(wǎng)（Electricity Theft Detection，ETD）的集合深度卷積神經(jīng)網(wǎng) 絡（Ensemble Deep Convolutional Neural Network，EDCNN）。首先采用隨機下采樣技術處理不平衡數(shù)據(jù)，然后利用深度卷積神經(jīng)網(wǎng)絡（Deep Convolutional Neural Network，DCNN）挖掘數(shù)據(jù)間的相互依賴性，最后嵌入投票機制實現(xiàn)用電異常檢測。雖然以上方法均取得了不錯的效果，但忽視了數(shù)據(jù)本身特點對異常檢測性能的影響。

1.2 數(shù)據(jù)缺失值補全

近年來，各學者提出基于深度學習的插補方法解決缺失值補全問題。Yao 等［15］在關系圖卷積網(wǎng)絡模型基礎上，提出空間交互圖卷積網(wǎng)絡模型估計缺失的空間交互數(shù)據(jù)。Buzau 等［16］利用智能電表記錄的信息深入分析客戶消費行為，采用有監(jiān)督學習方法實現(xiàn)用電異常檢測。Zhao等［17］使用長短期記憶網(wǎng)絡提取序列特征，通過全連接網(wǎng)絡（Full Connect Network，F(xiàn)CN）對序列特征進行分類以判斷用電異常用戶。Liu 等［18］提出一種基于注意力機制的卷積神經(jīng)網(wǎng)絡—長短期記憶模型檢測工業(yè)物聯(lián)網(wǎng)異常。Yang等［19］提出一種時空可學習的雙向注意力生成對抗網(wǎng)絡插補缺失數(shù)據(jù)。

基于上述方法，本文提出的模型考慮了電力數(shù)據(jù)間的復雜關聯(lián)關系對異常檢測性能造成的影響，通過構建生成對抗網(wǎng)絡補全缺失數(shù)據(jù)，采用BiLSTM 捕獲電力數(shù)據(jù)間的依賴關系，從而提高電力異常檢測性能。

2 用電行為異常檢測模型

圖1 為本文模型架構圖。該模型主要包括缺失值補全和用電行為異常檢測兩大模塊。其中，對于缺失值補全模塊而言，首先基于用戶歷史電力數(shù)據(jù)構建用戶用電行為的知識圖譜，采用圖注意力網(wǎng)絡（Graph Attention Networks，GAT）捕獲電力數(shù)據(jù)間的復雜關系，獲得用戶用電行為表示向量；然后基于電力數(shù)據(jù)文本信息，結合卡爾曼濾波和一維卷積神經(jīng)網(wǎng)絡對文本信息進行表示學習，獲得文本信息表示向量；最后以Transformer 為生成器，SVM 為判別器，構建生成對抗網(wǎng)絡模型，通過兩者相互對抗補全數(shù)據(jù)缺失值，增強數(shù)據(jù)表示能力。對于用電行為異常檢測模塊而言，在補全缺失值的基礎上，通過雙向長短期記憶網(wǎng)絡實現(xiàn)用電行為異常檢測，提高檢測精度。

2.1 缺失值補全模塊

為解決電力數(shù)據(jù)中存在大量缺失值，本文從文本信息、電力數(shù)據(jù)間的關聯(lián)關系進行用電數(shù)據(jù)的表示學習，構建生成對抗網(wǎng)絡補全電力數(shù)據(jù)缺失值。

2.1.1 文本信息表示學習

Fig.1 Anomaly detection model based on missing value completion and BiLSTM圖1 基于缺失值補全和BiLSTM 的異常檢測模型

考慮到電力數(shù)據(jù)中文本描述信息對缺失數(shù)據(jù)補全性能造成的影響，分別使用一維卷積神經(jīng)網(wǎng)絡、卡爾曼濾波器捕獲電力數(shù)據(jù)文本描述的局部、全局信息，并利用注意力機制將兩者進行融合，得到文本信息表示向量，具體流程如下：

采用卡爾曼濾波器提取數(shù)據(jù)特征，獲得文本數(shù)據(jù)全局信息表示：

其中，wk-1為服從高斯分布的噪聲，xk-1、uk-1分別為k-1、k時刻后驗狀態(tài)估計值，A為狀態(tài)轉移矩陣，B為輸入轉狀態(tài)矩陣。

采用一維卷積神經(jīng)網(wǎng)絡提取數(shù)據(jù)特征，獲得文本數(shù)據(jù)局部信息表示：

其中，ReLU 表示激活函數(shù)，vi為文本信息的嵌入表示，We為權重向量，bc為特征映射的基礎向量，ci為上一層的向量。

其中，max 為使用最大池化操作進行特征降維處理；Z為最終獲得的文本數(shù)據(jù)局部信息表示向量。

最后，引入注意力機制融合局部、全局信息表示向量，獲得最終的文本信息表示向量x'：

2.1.2 用電行為表示學習

為了充分挖掘電力數(shù)據(jù)間復雜的關聯(lián)關系，基于歷史電力數(shù)據(jù)構建用戶用電行為知識圖譜G=(V，E，A，X)。其中，V∈Rn表示圖G節(jié)點，n表示節(jié)點數(shù)量，E為圖G的邊，A∈Rn×n為G鄰接矩陣。對于，如果eij∈E，則Aij=1，否則Aij=0。X∈Rn×m表示節(jié)點屬性信息，m為屬性信息的維數(shù)。

基于注意力機制的圖神經(jīng)網(wǎng)絡（Graph Attention Networks，GAT）學習每個節(jié)點的低維嵌入向量。假設圖中包含N個節(jié)點，每個節(jié)點的特征向量為Ui：

對節(jié)點特征向量U進行線性變換，得到新的特征向量Ui'：

其中，Wu為線性變換的矩陣。

引入圖注意力網(wǎng)絡，拼接節(jié)點i、j的特征向量Ui'、Uj'，然后將拼接結果與2F'維的向量a計算內積：

其中，W為權重矩陣，σ為采用ReLU 函數(shù)的激活函數(shù)為用戶用電行為的表示向量。

2.1.3 缺失值補全

基于獲得的文本信息表示向量x'和用戶用電行為表示向量，以Transformer 為生成器，SVM 為判別器，構建生成對抗網(wǎng)絡模型，通過兩者相互對抗學習補全數(shù)據(jù)缺失值。

在生成對抗網(wǎng)絡模型中，Transformer 生成器表示為：

其中，LN 表示層歸一化方法，ReLU 為激活函數(shù)，Wf、bf為權重矩陣，H'、H''為Transformer 的隱藏向量，Hfinal為電力數(shù)據(jù)綜合表示向量。

在分合線圈檢查的過程中要用力矩扳手檢查分合閘線圈安裝板固定螺栓。目測檢查電氣接線插頭及引出線插（電氣接線插頭無銹蝕，引出線插頭能插緊到位）；萬用表檢查分合閘線圈電阻值。

最后，將經(jīng)過Transformer 的Hfinal輸入Softmax 層進行數(shù)據(jù)缺失補全：

基于生成器的電力數(shù)據(jù)補全結果，結合真實數(shù)據(jù)，利用SVM 構建判別器判斷補全結果是否屬于真實數(shù)據(jù)：

其中，ω、b為權重向量。

將式（19）通過拉格朗日乘子法轉換為：

其中，θ為拉格朗日乘子。

2.2 異常檢測模塊

基于歷史電力序列數(shù)據(jù)，采用循環(huán)神經(jīng)網(wǎng)絡進行異常行為檢測是目前電力領域中常用的方式。然而，當電力序列長度較大時，RNN 無法有效解決長期依賴問題，導致模型性能下降。因此，本文采用雙向LSTM 檢測用戶用電行為。具體數(shù)學表達式如下：

BiLSTM 通過前向和后向LSTM 捕獲電力序列的上下文信息，從而提高異常檢測的性能，具體數(shù)學表達式如下：

最后，基于隱藏狀態(tài)Ht，通過Softmax 函數(shù)檢測用戶用電行為異常，具體數(shù)學表達式如下：

其中，Wh、bh為可學習的參數(shù)向量。

2.3 聯(lián)合損失函數(shù)

本文將損失函數(shù)分為缺失值補全損失和異常檢測損失兩個部分。缺失值補全損失函數(shù)計算公式如下：

其中，X為真實值為通過缺失值補全方法獲得的數(shù)據(jù)值。

異常檢測損失函數(shù)計算公式如下：

因此，本文的聯(lián)合損失函數(shù)計算公式如下：

其中，λ為權重參數(shù)。本文使用Adam 優(yōu)化器［20］優(yōu)化模型參數(shù)。

3 實驗結果與分析

3.1 數(shù)據(jù)描述

為驗證模型的有效性，從中國電網(wǎng)公司用電信息采集系統(tǒng)中采集2019 年6-12 月某地區(qū)996 個用戶（其中異常用戶126 個）的用電數(shù)據(jù)，每隔1 小時采集1 次用戶用電數(shù)據(jù)。

統(tǒng)計發(fā)現(xiàn)，2019 年9 月1-14 日期間，共有115 個用戶用電異常，占全部異常用戶91.3%。為了高效訓練異常檢測模型，本文選取2019 年9 月1-14 日共334 656 條用電數(shù)據(jù)進行實驗。

3.2 實驗環(huán)境及評價指標

3.2.1 實驗環(huán)境

實驗操作系統(tǒng)為Ubuntu 18.04.3 LTS，內存為128GB DDR4 @ 3 200MHz，CPU 為Intel（R）Core（TM）i9-9980XE CPU@3.00GHz，顯卡為NVIDIA TITAN RTX×2，基于Keras 2.4.3框架Python3.5進行編程。實驗參數(shù)如表1所示。

3.2.1 評價指標

為驗證本文模型的優(yōu)勢，選擇準確率（Accuracy）、F1、AUROC 和AUPRC 作為評價指標。其中，準確率、F1 分數(shù)、AUROC 和AUPRC 的值越大，表明模型性能越好。此外，選擇均方根誤差（Root Mean Squared Error，RMSE）和平均百分比絕對誤差（Mean Absolute Percentage Error，MAE）評估缺失值補全方法性能，其中RMSE、MAE 值越小，表明插補方法性能越好。

Table 1 Parameter settings表1 參數(shù)設置

3.3 異常檢測性能比較

將本文模型與LR、SVM、LSTM-Attention［21］、BiLSTM、CNN-LSTM、CNN-BiLSTM 和CNN-BiLSTM-Attention［22］等7 個基線模型進行比較，通過Accuracy、F1、AUROC 和AUPRC 指標進行定量分析，如表2所示。

Table 2 Performance comparison of different detection methods表2 不同檢測方法的性能比較

由表2 可見，相較于基線模型，本文模型所有指標分數(shù)最高。由于數(shù)據(jù)集中正負樣本占比差異較大，因此F1、AUROC 與AUPRC 更能反應模型異常用電行為的檢測性能。本文模型相較于CNN-BiLSTM-Attention 模型的Accuary、F1 約提升2.65%和10.04%，在AUROC 和AUPRC 指標上分別提升3.87%和7.66%。由此可見，考慮缺失數(shù)據(jù)及數(shù)據(jù)間的復雜關系對異常檢測性能具有積極作用。

3.4 缺失值補全性能比較

為驗證本文模型在數(shù)據(jù)缺失值補全的性能，將本文模型與線性插值法（Linear Interpolation，LI）、歷史均值法（Historical Average，HA）、LSTM、GAN 和ST-LRAGAN［19］進行比較，并在RMSE、MAE指標上定量分析，如表3、表4所示。

由表3、表4 可知，當數(shù)據(jù)缺失率為10%、20%、30%、40%、50%和60%時，不同數(shù)據(jù)缺失值補全方法的RMSE、MAE 指標不同。相較于基線模型，本文模型在RMSE、MAE 的表現(xiàn)最好。由此可見，考慮文本描述信息和電力數(shù)據(jù)間復雜關系對缺失值插補性能具有積極作用。

3.5 消融實驗

本文將按未考慮缺失值補全、未構建生成對抗網(wǎng)絡（GAN）、未考慮文本信息的方法3 種方式對模型進行消融。圖2、圖3 為消融實驗在Accuracy、F1、AUROC 和AUPRC 指標上的比較情況。

Table 3 Performance comparison of different data missing value completion methods on RMSE表3 不同數(shù)據(jù)缺失值補全方法在RMSE上的性能比較

Table 4 Performance comparison of different data missing value completion methods on MAE表4 不同數(shù)據(jù)缺失值補全方法在MAE上的性能比較

Fig.2 Performance comparison of different models in accuracy and F1圖2 不同模型在Accuracy和F1上的性能比較

Fig.3 Performance comparison of different models in AUROC and AUPRC圖3 不同模型在AUROC和AUPRC上的性能比較

由圖2 可見，相較于未考慮缺失值補全的方法，本文模型在Accuracy、F1 上分別提升4.64%和5.22%。相較于未構建生成對抗網(wǎng)絡（GAN）的方法，本文模型在Accuracy、F1 上分別提升2.87%、3.89%；相較于未考慮文本信息的方法，本文模型在Accuracy、F1 上分別提升1.61%、1.36%。由圖3 可見，相較于未考慮缺失值補全、未構建生成對抗網(wǎng)絡（GAN）和未考慮文本信息的方法，本文模型AUROC 分別提升3.8%、2.99%和1.33%，AUPRC 分別提升2.49%、1.52%和0.78%。

4 結語

本文提出基于缺失值補全和BiLSTM 的用電行為異常檢測模型，在解決電力數(shù)據(jù)缺失問題的同時，捕獲電力數(shù)據(jù)間復雜的關系，提高電力異常檢測性能。

該模型首先結合卡爾曼濾波器和一維卷積神經(jīng)網(wǎng)絡學習電力數(shù)據(jù)的文本信息表示，通過圖注意力網(wǎng)絡捕獲電力數(shù)據(jù)間的復雜關系；然后以Transformer 為生成器，SVM為判別器，構建生成對抗網(wǎng)絡模型，通過兩者相互對抗補全電力數(shù)據(jù)的缺失值；最后采用BiLSTM 實現(xiàn)用電行為異常檢測。實驗結果表明，該方法能有效提高電力異常檢測的性能。下一步，將考慮解決缺失值補全所帶來的不確定信息，以進一步優(yōu)化模型異常檢測精度。