嚴 莉，張 凱，徐 浩，韓圣亞，劉珅岐，史玉良

（1. 國網(wǎng)山東省電力公司信息通信公司，山東濟南 250013；2. 山東大學軟件學院，山東濟南 250101）

1 引言

異常檢測指出從預期正常數(shù)據(jù)中檢測出扭曲或偏差的數(shù)據(jù)［1，3］，這些數(shù)據(jù)通常被稱為異常值. 異常檢測已被用于許多重要領域，如視頻監(jiān)控、網(wǎng)絡入侵檢測、信用欺詐檢測、電力行業(yè)和醫(yī)療保健.

對于電力行業(yè)，隨著電力系統(tǒng)信息化水平的提高，各種電力設備和系統(tǒng)需要處理大量數(shù)據(jù)［4］. 然而，需要處理的事件信息類型多樣，難以從數(shù)據(jù)中提取有用信息［5］. 此外，由于各種通信故障［6］、設備故障［7］、電網(wǎng)波動［8］和用戶行為異常等原因，出現(xiàn)了大量的異常數(shù)據(jù).這些異常數(shù)據(jù)往往包含電網(wǎng)信息中的重要信息，對電力數(shù)據(jù)的準確性和完整性有著重要影響. 因此，基于大規(guī)模電力數(shù)據(jù)，研究異常檢測算法，分析、識別、處理異常信息，對電力行業(yè)挖掘事件信息和智能電網(wǎng)的分析具有重要意義［9，10］.

目前，傳統(tǒng)數(shù)據(jù)異常檢測方法主要依靠數(shù)據(jù)專家、業(yè)務專家等人力進行排查［11，12］. 隨著各行業(yè)及各專業(yè)數(shù)據(jù)化建設規(guī)模的逐漸擴大，依靠傳統(tǒng)方法對海量、實時、異構(gòu)的數(shù)據(jù)異常檢測方法漸顯不足. 主要問題在于人工成本大、時間周期長，依賴專家經(jīng)驗無法并發(fā)批量工作，人工治理還會引發(fā)錯漏現(xiàn)象等，無法快速、準確、低成本地滿足業(yè)務數(shù)據(jù)的使用需求；同時缺乏異構(gòu)數(shù)據(jù)環(huán)境下數(shù)據(jù)拓撲關系高效管理的手段，無法實現(xiàn)復雜邏輯數(shù)據(jù)管理智能化及數(shù)據(jù)脈絡關系可視化和清晰化，與真正實現(xiàn)“追根溯源”式的數(shù)據(jù)核查理念還存在一定的差距.

近年來，隨著數(shù)據(jù)科學的進步以及人工智能技術(shù)的發(fā)展，提出了一些基于數(shù)據(jù)挖掘和智能優(yōu)化算法的異常檢測方法［13，14］. Wang 等人［13］采用不同的聚類算法，根據(jù)電表收集的平均損失、線路損耗變化效率和電流表開路記錄來檢測10個kV 非技術(shù)損失，最后對各種聚類算法的檢測效果進行了分析和比較. 基于異常用戶用電的差異行為特征和正常用戶，Buzau等人［14］使用長期和短期的記憶網(wǎng)絡和多層感知器混合的深度神經(jīng)網(wǎng)絡來進行異常檢測，它們比其他分類器具有更高的精度. 針對考慮時序數(shù)據(jù)的關聯(lián)性方面，Chahla等人［15］提出了一種基于長短期記憶的異常檢測方法，用于從單變量時間序列數(shù)據(jù)中進行不和諧搜索，然后根據(jù)觀測的數(shù)據(jù)預測誤差，最后通過統(tǒng)計策略進行異常檢測.Barua 等人［16］提出了一個基于層次時空記憶（Hierarchical Temporal Memory，HTM）的新型神經(jīng)認知啟發(fā)架構(gòu)，用于利用微相位測量單元數(shù)據(jù)進行智能電網(wǎng)的實時異常檢測. 其關鍵的技術(shù)思想是，HTM 學習連續(xù)數(shù)據(jù)的稀疏性和關聯(lián)性的時間表示，這對于實時的異常檢測非常有用. Rouzbahani 等人［17］提出了一種用于智能電網(wǎng)ETD 的集合深度卷積神經(jīng)網(wǎng)絡（EDCNN）算法. 該算法首先采用隨機下采樣技術(shù)來處理不平衡數(shù)據(jù)，然后利用深度卷積神經(jīng)網(wǎng)絡（DCNN）來挖掘數(shù)據(jù)之間的相互依賴性，最后，通過嵌入一個投票機制來實現(xiàn)竊電檢測. 這些方法雖然取得了不錯的檢測效果，但是可能會忽略掉特定用戶的某些重要信息.

針對上述問題，本文提出了一種基于圖注意力和Transformer 的異常檢測模型. 該模型首先根據(jù)數(shù)據(jù)中臺中收集的電力數(shù)據(jù)構(gòu)建一個異構(gòu)信息網(wǎng)絡；然后采用圖卷積網(wǎng)絡（Graph Convdutional Netword，GCN）和非負矩陣分解（Non-Negathe Matrix Factorization，NNMF）相結(jié)合的方法進行相似性分組；最后采用圖注意力機制和Transformer 相結(jié)合的方式進行分組異常檢測.

2 相關工作

近年來，隨著信息技術(shù)的不斷發(fā)展，異常用電行為檢測方法受到了越來越多的關注. 異常用電行為檢測方法主要分為基于統(tǒng)計模型的檢測方法、基于分類的檢測方法和基于聚類的檢測方法.

2.1 基于統(tǒng)計模型的異常檢測

基于統(tǒng)計模型的檢測方法主要結(jié)合用戶歷史的用電數(shù)據(jù)、配電網(wǎng)電壓、電流、電源等網(wǎng)絡狀態(tài)數(shù)據(jù)和網(wǎng)絡拓撲，建立異常用電檢測的統(tǒng)計模型. Lo 等人［18］基于電網(wǎng)系統(tǒng)中各節(jié)點電壓和功率等，使用加權(quán)最小二乘法來估計系統(tǒng)狀態(tài)，并建立異常檢測的系統(tǒng)目標函數(shù). 該方法的檢測精度高，錯誤檢測率低. 然而，該方法的取決于配網(wǎng)的拓撲和參數(shù)，而配網(wǎng)的拓撲和參數(shù)并不是恒常的. 大多數(shù)用戶難以進行數(shù)據(jù)篡改，實現(xiàn)數(shù)據(jù)協(xié)調(diào)及異常檢測.

2.2 基于分類的檢測方法

基于分類的方法是利用電力消耗數(shù)據(jù)的特征對正常和異常進行分類. 例如，張承智等人［19］采用實值深度置信網(wǎng)絡的檢測模型，利用螢火蟲算法求解局部最優(yōu)，最后通過分類檢測異常. Wang 等人［20］提出了一個名為LSTM-VE 的多分類異常檢測框架，它使用聚類結(jié)合可視化的方法對正常數(shù)據(jù)進行粗略標記，然后使用正常數(shù)據(jù)訓練長短期記憶神經(jīng)網(wǎng)絡（Long Short-Term Memory，LSTM）進行半監(jiān)督異常檢測. Adil 等人［21］將LSTM 和隨機下采樣Boost（RUSBoost）技術(shù)相結(jié)合實現(xiàn)竊電檢測. 該技術(shù)首先使用數(shù)據(jù)歸一化和數(shù)據(jù)插值對數(shù)據(jù)進行預處理，預處理后的數(shù)據(jù)被進一步交給LSTM模塊進行特征提取，最后，精煉的特征被傳遞給RUSBoost 模塊進行分類. Buzau 等人［14］使用長期和短期記憶網(wǎng)絡和多層感知器混合深度神經(jīng)網(wǎng)絡進行，它們比其他分類器具有更高的精度. Khaledian 等人［23］提出了一個使用無監(jiān)督的堆疊集合學習算法（隔離森林、KMeans 和LoOP）對異常數(shù)據(jù)進行檢測和分類的工具，以檢測異常用電量. Long 等人［22］從無監(jiān)督學習的角度提出了一種多特征融合算法，構(gòu)建了用電模式的特征分類模型，實現(xiàn)用電異常檢測. 考慮到時序數(shù)據(jù)間的相互關聯(lián)性問題，Mishra 等人［24］提出了一種基于注意力的雙向長短期記憶網(wǎng)絡，用于時間序列數(shù)據(jù)的異常檢測，它有助于為順序數(shù)據(jù)中的實例分配最佳權(quán)重.Homayouni 等人［25］提出了一種基于LSTM-Autoencoder的方法，可以檢測多元時間序列數(shù)據(jù)中的異常，而且還提出了一種基于自動自相關的窗口方法來調(diào)整網(wǎng)絡輸入大小，從而提高約束發(fā)現(xiàn)的正確性和性能. 這些方法雖然取得了不錯的檢測效果，但是可能會忽略掉特定用戶的某些重要信息.

2.3 基于聚類的檢測方法

該方法主要通過一種特定的算法，根據(jù)其特征將數(shù)據(jù)集劃分為不同的子數(shù)據(jù)集. Wang 等人［13］使用不同的聚類算法檢測10kV 非技術(shù)損失，并比較各種算法的檢測效果. Passos Júnior 等人［26］使用一種最優(yōu)路徑森林聚類方法進行檢測. Matús 等人［27］首先通過對離散時間序列進行聚類來縮小大型數(shù)據(jù)集中的潛在異?？蛻?，然后使用統(tǒng)計方法SH-ESD 分析選定的配置文件以計算最終的異常分數(shù). 針對傳統(tǒng)時間序列檢測算法的不足，曾惟如等人［28］對時間序列內(nèi)在模式關系進行學習，建立預測模型，通過比較預測值和真實值的偏離程度來判斷數(shù)據(jù)是否異常. 周伯陽等人［29］提出了一種基于多尺度低秩的電力無線網(wǎng)異常流量檢測器，然后采用改進的遞歸特征選取和聚焦分類算法實現(xiàn)異常數(shù)據(jù)的檢測. Peng 等人［30］提出了一種基于聚類和局部離群因子的離群檢測方法. 該方法首先用k-means 分析負荷曲線；然后，選擇那些負荷曲線遠離聚類中心的客戶作為離群點候選人；最后，利用檢測方法來計算離群值候選人的異常度.

針對上述討論的異常檢測方法，本文提出的模型不僅通過相似性分組來捕獲特定用戶的信息，而且還考慮序列數(shù)據(jù)之間的關聯(lián)關系，從而提高檢測性能.

3 模型

本文的目的是根據(jù)歷史用電數(shù)據(jù)進行異常檢測，即判斷是否存在異常，具體流程如圖1 所示. 首先，根據(jù)歷史用電數(shù)據(jù)構(gòu)建一個異構(gòu)信息網(wǎng)絡；然后，考慮到構(gòu)建一個全局模型可能會忽略掉個別用戶的重要信息，采用GCN 和NNMF 相結(jié)合的方法進行相似性分組，挖掘出具有相似性用電行為的群體；最后，采用圖注意力機制和Transformer 相結(jié)合的方式進行分組異常檢測.

圖1 異常檢測模型

3.1 相似性學習

一個異構(gòu)信息網(wǎng)絡是一個圖G=(V，E，A，X)，其中V∈Rn表示的是圖G的節(jié)點，n表示的是節(jié)點的數(shù)量；E是圖G的邊；A∈Rn×n為G的鄰接矩陣；對于Vvi，vj∈V，如果eij∈E，則Aij=1，否則Aij=0；X∈Rn×m表示的是節(jié)點的屬性信息，m是屬性信息的維數(shù).

GCN 可以通過卷積和聚合算子［16］從鄰居節(jié)點上學習每個節(jié)點的低維嵌入向量. 各層的卷積操作如下：

其中，Hi表示的是第i層的輸出，同時它也是第l+1層的輸入，?=A+I，I表示的是偏差矩陣；?表示的對角矩陣；Wi是第i層的參數(shù)集合；δ(·)表示的是一個激活函數(shù).

在實際用電行為檢測模型構(gòu)建過程中，Hi+1比Hi包含更多的高級語義信息，然而卻忽略了許多低級語義信息. 對于圖，由于低級語義信息可以反映圖的局部結(jié)構(gòu)信息，因此低級語義信息在最終嵌入中也起著重要的作用. 此外，如果輸入的尺寸較大，GCN 中產(chǎn)生了更多的參數(shù)，容易出現(xiàn)過擬合現(xiàn)象.

因此，本文在使用GCN 進行相似性學習過程中，i-1 層的輸出沒有直接進行拼接，而是通過NNMF 將Hi(i=0，1，2，…，i-1)分解為2 個低維矩陣，如下所示：

其中，Hi∈Rn×Li，Ui∈Rn×d，Vi∈Rd×Li，Li是第i 層的輸出維度，d是非負矩陣分解方法的輸出維度，Ui是Hi的低維維度的表示向量. 因此，第i+1層的輸出表示為

其中||表示拼接操作.

通過GCN 輸出節(jié)點的低維表示向量，然后將低維表示向量輸入一個具有單個隱藏層的多層感知機（MultiLayer Perceptron，MLP）中. 通過MLP 的輸出結(jié)果Z進行相似性分組，即

其中，Z∈Rn×k.

3.2 用戶行為表示學習

在這一部分中，本文對不同組分別進行用電行為表示學習. 基于歷史用電行為數(shù)據(jù)，利用Transformer機制對用電行為數(shù)據(jù)進行上下文信息學習，實現(xiàn)過程如下所示：

其中，LN(·)=Layer Normalization(·)表示的是層歸一化方法，F(xiàn)FN(·)=Feed Forward Networks(·)表示的是一層前饋網(wǎng)絡.

利用Transformer 獲得上下文信息向量，并結(jié)合第3.1節(jié)獲得的相似用電行為組的相似性矩陣，采用圖注意力網(wǎng)絡捕獲用戶行為之間的相互依賴關系，從而實現(xiàn)用戶行為表示學習.

假設圖中包含N個節(jié)點，每個節(jié)點的特征向量為Hi，維度F，如下所示：

對節(jié)點特征向量H進行線性變換，可以得到新的特征向量δ'i，如下所示：

其中，W∈RF'×F為線性變換的矩陣，F(xiàn)'表示的是變換矩陣的維度.

引入圖注意力網(wǎng)絡，把節(jié)點i，j的特征向量δ'i，δ'j拼接在一起，然后和一個2F'維的向量a計算內(nèi)積. 激活函數(shù)采用LeakyRelu函數(shù)，公式如下：

其中，σ表示的是激活函數(shù).

3.3 異常檢測

最后，為了實現(xiàn)異常檢測，將圖注意力輸出的向量輸入softmax層進行異常檢測，檢測結(jié)果為

其中，Wy和是可以學習的參數(shù)向量.

本文采用交叉熵函數(shù)來計算模型的損失，計算公式如下：

其中，N表示樣本數(shù)量；yi表示異常檢測結(jié)果；y'i表示真實數(shù)據(jù).

算法1 描述了異常檢測模型的整體過程. 第2 行batch_size表示訓練批次大?。坏?行至第8行表示的是使用GCN 和NNMF 相結(jié)合的方法來實現(xiàn)相似性學習；第9 行至第11 行表示使用Transformer 和圖注意力網(wǎng)絡來共同捕獲數(shù)據(jù)間的相互關聯(lián)關系，從而獲得用戶的綜合表示向量；第12行至第16行表示通過softmax函數(shù)進行異常檢測，并通過交叉熵函數(shù)來計算損失，最終返回檢測結(jié)果y.

算法1 基于圖注意力和Transformer的異常檢測輸入：輸入數(shù)據(jù)樣本X=｛x1，x2，…，xn｝，標簽Label=｛0，1｝//0表示異常，1表示正常輸出：y 1. Input data preprocess//數(shù)據(jù)預處理2. Initialize Wi，Wo，W Q i ，W K i ，W V i //初始化參數(shù)和偏置3. For in range（batch_size）//訓練批次大小4. #Similarity Learning//相似性學習5. G=(V，E，A，X)6. Hi=GCN(X)7. H'i=NNMF(Hi)8. Z=MLP(H'i)9. #User Representation Learning//用戶表示學習10. τ=Transformer(X)11. H?'i=GAT(τ⊙Hi)12. 根據(jù)式（17）進行異常檢測，得到y(tǒng)//異常檢測13. Loss=-1 N ×∑i=1 N ( )yi log( )y'i +( )1-yi log( )1-y'i 14. END FOR 15. END FOR 16. RETURN y

4 實驗

4.1 數(shù)據(jù)描述

為了驗證本文提出的模型的有效性，選用從中國某省級電網(wǎng)公司的用電信息采集系統(tǒng)中獲取的2019年6 月至2019 年12 月這6 個月內(nèi)某地區(qū)996 個用戶（包括126 個異常用戶，870 個正常用戶）的用電數(shù)據(jù)，每小時采集一次，每天采集24 個時間點的數(shù)據(jù). 經(jīng)過統(tǒng)計分析發(fā)現(xiàn)，2019 年9 月1 日到2019 年9 月14 日期間，共有115 個用電異常用戶，占全部異常用戶的91.3%. 為了更加高效地訓練異常檢測模型，本文選取2019年9月1日到2019 年9 月14 日共334 656 條用電數(shù)據(jù)作為本文模型的驗證數(shù)據(jù). 在這里要說明的是，本文將每一個時間點采取的數(shù)據(jù)都作為一條用電數(shù)據(jù). 此外，從中國氣象數(shù)據(jù)服務中心網(wǎng)站上獲取了相應城市相應時間的天氣數(shù)據(jù).

4.2 實驗設置

實驗環(huán)境如表1所示.

表1 實驗環(huán)境

為了驗證模型的預測性能，本文選用Accuracy，F(xiàn)1，AUROC和AUPRC作為評價指標.

4.3 性能比較

由表2 可知，相較于基線模型，本文所提出的模型在所有指標上都取得了最高的分數(shù). 在所有基線方法中，SVM 和LR 模型分別在Accuary 和F1 指標上取得最高的分數(shù)，而BiGRU 在AUROC 與AUPRC 取得了最高的分數(shù). 由于數(shù)據(jù)集中正負樣本占比差異較大，因此F1，AUROC與AUPRC更能反映出模型在異常用電行為識別任務上的性能表現(xiàn). 綜合來看，在所有的基線方法中，BiGRU 的綜合性能是最好的. 這是因為BiGRU 相較于其他基線方法可以更好地捕獲存在于序列數(shù)據(jù)中的上下文信息，從而達到了比較好的預測效果.

表2 不同檢測方法的性能比較

對于Accuary 指標，本文所提出的模型相較于最好的基線模型——SVM 模型的性能提升約為3.1%；對于F1 指標，與次優(yōu)模型相比，本文模型提升幅度為19%；對于AUROC 和AUPRC 指標，本模型相較于BiGRU 模型的提升程度分別為17.2%和19.2%.

從以上結(jié)果可以看出，本文模型的綜合性能要好于其他的基線模型. 這是因為本文模型首先將用戶間的關聯(lián)信息進行了提取，并使用Transformer 將用戶的用電序列數(shù)據(jù)中的時序依賴使用自注意力機制進行高效的挖掘，對用戶本身的用電行為進行高效的表示學習，最后將Transformer 學習出的用戶表示與相似性分組信息結(jié)合，使用GAT 網(wǎng)絡來學習用戶的用電行為模式. 上述的實驗結(jié)果驗證了本文所提出模型的有效性.

4.4 損失值變化曲線

圖2 展示了本文所提出的模型的損失變化曲線.從圖2（a）中可以看出，隨著訓練的進行，模型在訓練集上的損失與測試集上的損失逐漸變大，模型的過擬合現(xiàn)象加重. 為了解決這一問題，本文使用了提前停止策略來監(jiān)督模型的訓練過程，其結(jié)果如圖2（b）所示. 使用該策略后，可以在模型過擬合現(xiàn)象即將加重之前停止訓練，并保存訓練期間的最好參數(shù)，這大大地提高了模型的泛化能力.

圖2 異常用電行為檢測模型損失變化曲線

4.5 參數(shù)影響

為了研究模型的參數(shù)敏感性，探索模型在不同的超參數(shù)組合下的異常行為識別性能，本文進行了超參數(shù)搜索實驗. 結(jié)果如圖3所示，其中d=dmodel（d表示模型的嵌入維度）. 從圖中的結(jié)果可以看出，當d＞64 時，模型的性能提升幅度較為有限. 為了平衡模型的復雜度與性能，本文將嵌入維度d設定為64.

圖3 參數(shù)變化對模型的影響

4.5 消融實驗

為了進一步驗證所提模型的性能，本文進行了消融實驗. 本文所提模型的變體如下.

（1）Without Similarity Learning. 該變體沒有考慮相似性信息學習.

（2）Without User Representation Learning. 該變體沒有考慮到使用Transformer進行用戶表示學習.

（3）Without GAT. 該變體沒有使用圖注意力網(wǎng)絡（GAT）來捕獲相似性向量與用戶表示向量間的相互依賴關系.

圖4 描述了本文所提模型變體之間的比較情況.圖4（a）展示的是模型在Accuracy 和F1 指標上的性能比較，圖4（b）展示的是模型在AUROC 和AUPRC 上的性能比較. 從圖4可以得出，本文提出的模型性能要優(yōu)于模型的變體. 同時，這也說明了所提模型中的每一部分對異常檢測都是有意義的.

圖4 本文所提模型的變體在不同評價指標上的性能比較

5 總結(jié)

為提高異常檢測的性能，本文提出了一種基于GAT 和Transformer 的復合模型用于異常檢測. 該模型首先根據(jù)數(shù)據(jù)中臺中收集的電力數(shù)據(jù)（主要包括用戶ID、電能表ID、用戶類型、電流、電壓、功率等數(shù)據(jù)）構(gòu)建一個異構(gòu)信息網(wǎng)絡；然后采用GCN 與NNMF 相結(jié)合的方法進行相似性學習，并使用GAT 和Transformer 共同學習用戶的異常用電行為模式. 實驗結(jié)果證明：相較于基線模型，本文所提出的復合模型能夠更好地建模用戶的用電行為模式，能夠利用用戶自身的用電行為信息與用戶群組間的相似性信息來進行高效的表示學習，從而取得更好的識別性能.

此外，模型結(jié)果的可解釋性以及如何對模型進行進一步優(yōu)化和改進，從而提高預測精度，將是本課題組或筆者后續(xù)的研究方向.