劉月峰，趙瀟瀟

（內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010）

在智能電網(wǎng)系統(tǒng)中，電力損耗分為兩個領(lǐng)域，基于發(fā)電期間的技術(shù)領(lǐng)域電力傳輸固有損耗的技術(shù)性損失（TL）和基于輸配電線路損耗的非技術(shù)性損失（NTL）。

近幾年來，為了降低非技術(shù)損失，許多國內(nèi)外專家學(xué)者對竊電檢測展開了廣泛的研究，提出了許多模型。使用無線傳感器節(jié)點、AM 和RFID 標(biāo)的檢測技術(shù)是最早實現(xiàn)檢測的技術(shù)之一。然而，大多數(shù)的模型硬件設(shè)備的成本較高效率較低，不適合作為竊電檢測方案來實施。隨著智能電網(wǎng)的發(fā)展，基于機器學(xué)習(xí)的分類方法近年來引起了專家極大的關(guān)注，像模糊聚類和利用局部離群因子算法計算離群因子是常用的無監(jiān)督的竊電檢測方法。邏輯回歸、支持向量機（SVM）等方法是較為傳統(tǒng)基于機器學(xué)習(xí)監(jiān)督學(xué)習(xí)的檢測方法。但以上大部分傳統(tǒng)方法對竊電行為的檢測精度較低，且不適用于大規(guī)模訓(xùn)練樣本。文獻[1]提出了一種寬而深的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）結(jié)構(gòu)，以檢測智能電網(wǎng)環(huán)境中的電力盜竊行為。文獻[2]利用長短期記憶（LSTM）的特征提取網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)（FCN）多層特征匹配網(wǎng)絡(luò)的組合模型來進行竊電檢測。以上方法的提出進一步提高了用電異常檢測在大樣本情況下的精確度。對于CNN 來說，它雖然在處理大規(guī)模并行數(shù)據(jù)的情況下具有優(yōu)勢，但在對于時間序列分析問題上較差。LSTM 網(wǎng)絡(luò)雖然在處理時間序列問題上效果較好，但對于大規(guī)模并行數(shù)據(jù)的處理還是存在缺陷，即使存在記憶門，隨著序列的增長也無法完全記錄所有信息，并且存在存儲容量過大問題。為了解決以上局限性，我們將目光放在時間卷積網(wǎng)絡(luò)（TCN）上，TCN 是基于一維卷積神經(jīng)網(wǎng)絡(luò)且能夠處理時間序列數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu)[3]。文獻[4]利用TCN 來進行短期負荷概率密度預(yù)測。文獻[5]將TCN 進行改進用于文本分類。其分析結(jié)果皆優(yōu)于LSTM 等算法。目前關(guān)于TCN 網(wǎng)絡(luò)未見將其應(yīng)用在非技術(shù)性損失檢測方面的研究。因此，本文提出了一種基于時間卷積網(wǎng)絡(luò)（TCN）的用戶用電異常檢測模型。

1 時間卷積網(wǎng)絡(luò)

時間卷積網(wǎng)絡(luò)（temporal convolutional network，TCN）是一種基于卷積神經(jīng)網(wǎng)絡(luò)且能夠處理時間序列數(shù)據(jù)的網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)有兩個特點：一是網(wǎng)絡(luò)的輸入長度和輸出長度相等；二是TCN 具有時間因果性，即t 時刻的輸出結(jié)果只和t 時刻之前的輸入有關(guān)系，并不會有漏接的歷史信息。時間卷積網(wǎng)絡(luò)的結(jié)構(gòu)主要有三部分：因果卷積層（Causal Convolution）、擴張卷積層（Dilated Convolution）、殘差連接（Residual Connections）。

1.1 因果卷積

為了使網(wǎng)絡(luò)的輸出與輸入長度相等，TCN 使用一位全卷積網(wǎng)絡(luò)（FCN）通過使用0 填充使得每一層隱層輸出序列的長度和輸入序列的長度保持一致。為了避免將來信息的泄露和有漏接的歷史信息，TCN 使用因果卷積，即在卷積中，t 時間的輸出僅與t 時間之前的輸入有關(guān)。但存在一個問題：若序列的長度過長，則需要增加網(wǎng)絡(luò)的層數(shù)來擴展感受野。因此為了降低網(wǎng)絡(luò)的復(fù)雜性，引入了擴張卷積。

1.2 擴張卷積

擴張卷積是在標(biāo)準(zhǔn)的卷積中注入空洞，以此來增加感受野。輸入序列X｛x1，x2，….，xn｝，給出的filter｛0，…..，k-1｝，擴張卷積F 在第s 個輸入被定義為：

其中d 代表擴張因子，k 代表濾波器的大小，s-d*i 代表的是過去的方向，f（i）表示卷積核函數(shù)。當(dāng)d=1 時，擴張卷積就為最普通的卷積。當(dāng)d 的取值大于1 時，擴張因子能夠使頂層的輸出代表更大的輸入范圍，有效地擴大了感受野，也就解決了上面使用因果卷積帶來的問題。另外，可以通過選擇更大的k 和更大的d 來增加感受野，且使用膨脹卷積的每一層的有效感受野為（k-1）d。

1.3 殘差連接層

文獻[6]首先提出了殘差網(wǎng)絡(luò)的概念，有效解決了梯度消失的問題。其計算公式（2）如下：

其中X 為殘差模塊的輸入，F(xiàn)（X）表示經(jīng)過殘差網(wǎng)絡(luò)的最后一個隱藏層后的輸出，Activation 是兩者結(jié)合后使用的激活函數(shù)，這里使用的是修正線性單元ReLu 函數(shù)。并使用一維卷積保證輸入輸出之間張量的尺度相同。如圖1所示，其中曲線表示殘差連接。

圖1 帶有殘差連接的擴張因果卷積的結(jié)構(gòu)

2 基于時間卷積網(wǎng)絡(luò)的用電異常檢測模型

為了更好地完成用戶用電異常檢測，用戶的功耗模式中識別出異常用電行為，本文提出了一種基于時間卷積網(wǎng)絡(luò)（TCN）的用戶用電異常檢測模型，主要包括三部分：數(shù)據(jù)處理、模型訓(xùn)練以及模型評估。該模型的具體結(jié)構(gòu)如圖2 所示。原始用戶用電負荷數(shù)據(jù)經(jīng)過數(shù)據(jù)預(yù)處理方法并進行不平衡數(shù)據(jù)處理合成新的數(shù)據(jù)集后，將每一個用戶的用電消耗數(shù)據(jù)作為一個樣本輸入到網(wǎng)絡(luò)中。對網(wǎng)絡(luò)進行訓(xùn)練，最后通過測試數(shù)據(jù)對模型進行評估。

圖2 基于時間卷積網(wǎng)絡(luò)的用戶用電異常檢測模型

2.1 不平衡數(shù)據(jù)處理

在大多數(shù)的用電用戶中，真正進行竊電行為的用戶較少，所以數(shù)據(jù)不平衡現(xiàn)象無法避免。通過對SGCC 的數(shù)據(jù)集分析，在此數(shù)據(jù)集中，用電異常用戶的數(shù)量明顯少于用電正常用戶的數(shù)量，如果使用這種不平衡數(shù)據(jù)集來訓(xùn)練模型，所得到的模型存在只能對多數(shù)類進行分類對少數(shù)類不敏感和模型容易過擬合問題，影響結(jié)果的準(zhǔn)確性。目前常用的不平衡數(shù)據(jù)處理方法為隨機欠采樣和隨機過采樣，隨機欠采樣會隨機丟棄多數(shù)類條目以減少多數(shù)類實例，但是隨機刪除可能會丟棄潛在的重要信息，而其余數(shù)據(jù)可能無法正確表示總體；隨機過采樣技術(shù)復(fù)制了少數(shù)類，以增加少數(shù)實例的數(shù)量，但僅僅復(fù)制樣本可能會使模型過度擬合。SMOTE 算法則是通過生成綜合數(shù)據(jù)，不再是復(fù)制少數(shù)類來平衡數(shù)據(jù)集，可以避免過度擬合的問題。因此，本文使用SMOTE 算法處理不平衡數(shù)據(jù)，假設(shè)（x1，x2）是少數(shù)類的實例，并且如果將其最近的鄰居選擇為（x'1，x'2）然后將數(shù)據(jù)點合成如下公式（3）所示：

2.2 基于時間卷積網(wǎng)絡(luò)的分類模型

本文所提出的基于TCN 網(wǎng)絡(luò)分類模型的結(jié)構(gòu)如圖3 所示。數(shù)據(jù)集作為輸入X{x1，x2，x3，…，xn}，在經(jīng)過擴張因果卷積計算后，得到輸出通過ReLu 激活函數(shù)后得到輸出X{x1，x2，x3，…，xn}。將其作為下一個擴張因果卷積層的輸入并重復(fù)上述過程，獲得通過一個TCN 塊的輸出Q（X）。將其進行殘差連接后的數(shù)據(jù)作為下一個TCN 塊的輸入。在經(jīng)過多個TCN 塊計算之后，數(shù)據(jù)經(jīng)過完整的全連接層，得到最后一層的輸出yL，并通過softmax 激活函數(shù)計算后得到預(yù)測序列標(biāo)簽。

圖3 基于TCN 網(wǎng)絡(luò)分類模型的結(jié)構(gòu)

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)與實驗環(huán)境

本文采用中國國家電網(wǎng)公司（SGCC）提供的竊電數(shù)據(jù)集，該數(shù)據(jù)集是由我國超4 萬消費者1035 天的真實用電量數(shù)據(jù)收集而來，數(shù)據(jù)集中包含竊電標(biāo)簽。樣本總數(shù)為42372，其中正常樣本數(shù)為38757，異常樣本數(shù)為3615。通過數(shù)據(jù)預(yù)處理以及數(shù)據(jù)不平衡處理之后的數(shù)據(jù)集總計84744 條數(shù)據(jù)，其中經(jīng)過SMOTE 算法合成數(shù)據(jù)后，正常用戶與異常用戶的比例為1：1。將合成后的數(shù)據(jù)隨機選取20%作為模型的測試集，測試集共16948 條。本文實驗的操作平臺為谷歌colab 平臺，其中CUDA 的版本為10.0，編程語言為python3.7，深度學(xué)習(xí)框架為Pytorch1.6.0。

3.2 實驗結(jié)果

為了驗證本文所提出模型的有效性，我們給出了在邏輯回歸LR、支持向量機（SVM）、CNN 模型、LSTM 模型以及本文提出TCN 模型在處理過后測試集下的結(jié)果對比，結(jié)果如下表1 所示。

從表1 中可以看出，本文中所提出的TCN 模型評價指標(biāo)結(jié)果皆高于較傳統(tǒng)LR、SVM 方法，說明本文所提出的模型在用電異常分類上較傳統(tǒng)方法具有更好的性能，驗證了本文模型在用電檢測領(lǐng)域的可用性。通過與CNN、LSTM 深度學(xué)習(xí)模型進行對比可以看出，本文所提的模型具有更高的準(zhǔn)確性，在非技術(shù)性損失方面具有優(yōu)勢，所以相比于傳統(tǒng)機器學(xué)習(xí)模型以及常用的深度學(xué)習(xí)模型，本文提出基于TCN 的模型具有更好的分類效果，進一步證明了本文模型的有效性。

表1 對比實驗結(jié)果

4 結(jié)論

本文提出了一種基于時間卷積網(wǎng)絡(luò)的用戶用電異常檢測模型。首先，將原始數(shù)據(jù)進行缺失值處理；然后，為了解決數(shù)據(jù)不平衡問題，利用合成少數(shù)過采樣（SMOTE）技術(shù)生成新的數(shù)據(jù)集；最后，訓(xùn)練基于時間卷積網(wǎng)絡(luò)的檢測模型并進行模型評估。本文將所提模型與傳統(tǒng)機器學(xué)習(xí)方法中的支持向量機和邏輯回歸方法，深度學(xué)習(xí)中方法中的CNN 模型、LSTM 模型進行對比實驗，結(jié)果表明本文所提出的模型具有較高的準(zhǔn)確性。在今后的工作中，將不斷深入用電異常檢測研究，嘗試將TCN 與其他深度學(xué)習(xí)方法相結(jié)合，進一步優(yōu)化模型，縮短模型訓(xùn)練時間并提高模型的泛化能力。