朱瑞琪 陸佳敏 陸佳艷 李梓滔

摘 要：作為智能電網發(fā)展的分支，非侵入式負荷監(jiān)測技術在促進用戶用電行為信息細?；?、提高電能資源利用效率、推動智能電力可持續(xù)發(fā)展等方面起著重要作用。為提高用電設備特征提取的有效性以及負荷分解的精確度，提出了一種基于自注意力機制的CNN-BiLSTM非侵入式負荷分解方法。首先，采集用電設備端智能電表的總負荷功率，對原始數(shù)據(jù)進行歸一化處理，缺失值填充后劃分為訓練集與測試集。其次，對卷積神經網絡（CNN）與雙向長短期記憶網絡（BiLSTM）的混合模型進行訓練與優(yōu)化，同時引入自注意力機制，決定輸出權重值，從而提高網絡預測精度和表征能力。最后，將測試集中的總功率送入網絡進行負荷分解，結果表明，在研究神經網絡后提出的模型能充分挖掘數(shù)據(jù)的空間與時序特征，同時對重要特征進行有效提取，提高了負荷分解的能力。

關鍵詞：非侵入式負荷分解；自注意力機制；卷積神經網絡；雙向長短期記憶網絡

中圖分類號：TM714? ? 文獻標志碼：A? ? 文章編號：1671-0797（2023）16-0077-05

DOI：10.19514/j.cnki.cn32-1628/tm.2023.16.020

0? ? 引言

非侵入式負荷監(jiān)測，又稱“負荷分解”，是一種電力系統(tǒng)監(jiān)測技術，通過數(shù)學模型從總負荷的電氣量中分解出特定用電設備的電氣量，用以預測各電氣設備的具體耗能情況及用電規(guī)律。根據(jù)技術的不同實現(xiàn)方式，負荷監(jiān)測分為兩大類：侵入式負荷監(jiān)測（NILM）和非侵入式負荷監(jiān)測與分解（ILM）。在ILM中，傳感器需要安裝到每一個待測設備上，這種方式雖然可以獲得各設備的精確耗能信息，但其高昂的投資和維護成本限制了其應用范圍。相比之下，NILM將智能電表裝設在主電路處，通過監(jiān)測主電路的功率變化，識別出各設備的負荷信息，具有成本投入低、實用性強的特點。除了實現(xiàn)供給側能源的優(yōu)化配置與管理，NILM還提高了用戶節(jié)能環(huán)保的意識，并為用戶與電網之間的良性互動提供了基礎支撐。

非侵入式負荷監(jiān)測技術由20世紀90年代發(fā)展至今，已有多位專業(yè)學者開展了大量研究。文獻[1]提出了一種利用功率簽名與狀態(tài)機技術的負載分解方法，可以準確記錄設備的開關信息，并輔以機器學習對設備進行識別，但在使用前須做好負荷信息收集工作。文獻[2]利用隱馬爾可夫模型將復雜的功率信息劃分為幾種有限的運行狀態(tài)，實現(xiàn)電器狀態(tài)自動辨識與分類，但該模型在捕捉長期依賴關系方面有所欠缺。文獻[3]根據(jù)奇次諧波電流幅值為負載特性的敏感指標，使用其作為負荷的辨識特征，利用綜合k-NN的簡捷性與核Fisher判別的非線性分類能力，針對相近設備進行有效識別，但同時需要考慮電網中可能產生的干擾和噪聲對分解精度的影響。文獻[4]采用遺傳算法與基于近鄰傳播聚類的方法來構建負荷特征數(shù)據(jù)集，用穩(wěn)態(tài)功率來區(qū)分不同負荷，但需要占用大量的計算資源。

如今，越來越多的學者開始投入這一領域的研究，這得益于深度學習的廣泛應用和不斷取得的研究進展。神經網絡因其優(yōu)異的特征學習能力與良好的泛化特性，逐漸被應用于負荷監(jiān)測與分解中，成效斐然。文獻[5]提出基于注意力時序網絡實現(xiàn)對于信息重要級別的劃分。文獻[6]通過搭建編碼器和解碼器的seq2seq框架并引入殘差網絡，降低了模型訓練難度。文獻[7]利用一維卷積神經網絡與注意力機制相結合，相對提高了負荷分解的精確度。文獻[8]采用基于批量規(guī)范化和爬山算法的卷積神經網絡，減少了過擬合現(xiàn)象的發(fā)生，同時提高了網絡的泛化能力。

為了完善CNN模型，本文提出了一種混合深度學習模型，將CNN與BiLSTM相結合，以充分挖掘用戶數(shù)據(jù)的時空特征，并通過自注意力機制優(yōu)化網絡，提高重要特征的注意力權重并抑制非重要特征，確保有用數(shù)據(jù)的優(yōu)先級。該模型不僅能有效減少訓練時間，同時在非侵入式負荷分解精度方面也有顯著提高。另外，該模型在降低參數(shù)數(shù)量、提高穩(wěn)定性的同時，還能充分發(fā)揮深度學習的優(yōu)勢。

1? ? 網絡介紹

1.1? ? CNN

如圖1所示，CNN（卷積神經網絡）[9]屬于典型的前饋神經網絡，具有從空間維度逐層提取數(shù)據(jù)特征的能力，是深度學習的代表之一。CNN一般由輸入層、卷積層、池化層、全連接層、輸出層組成。其中卷積層根據(jù)卷積核滑動對一個范圍內的數(shù)據(jù)提取特征值；池化層通過對卷積層輸出的特征映射進行降維操作，來保留重要特征，剔除冗余特征，其中最大值池化（Max Pooling）是常用的池化方法。多層卷積層與池化層交疊處理后，將輸出數(shù)據(jù)通過全連接層進行整合和歸一化處理，輸出層采用softmax函數(shù)進行多負荷識別。

1.2? ? LSTM

LSTM（長短期記憶網絡）[10]是RNN的一種特殊類型，擁有三種類型的門結構，分別為遺忘門、輸入門和輸出門。

遺忘門通過讀取上一個時刻的短期記憶ht-1和當前時刻輸入xt，做Sigmoid激活函數(shù)的非線性映射，然后輸出過去記憶衡量因子ft，如式（1）所示：

ft=σ（Wf·[ht-1，xt]+bf）? ? （1）

輸入門用于更新信息記憶。it控制對當前時刻信息的記憶程度，通過tach激活函數(shù)縮放當前時刻單元記憶值ct，再加上遺忘門與記憶門調節(jié)上一個時刻的舊信息ct，便可獲得更新后的信息，如式（2）（3）（4）所示：

it=σ（Wi·[ht-1，xt]+bi） （2）

（3）

（4）

輸出門用于確定下一個隱藏層的值。ot控制當前時刻單元狀態(tài)輸出給隱藏層的狀態(tài)ht并作為LSTM的輸出，如式（5）（6）所示：

ot=σ（Wo·[ht-1，xt]+bo） （5）

ht=ot×tanh（ct）? ?（6）

式中：Wf、Wi、Wc、Wo分別為遺忘門、輸入門、tach層、輸出門的權重向量；bf、bi、bc、bo分別為其對應的偏移量；σ為Sigmoid激活函數(shù)；ht為輸出的負荷狀態(tài)特征。

LSTM能在時序資料中捕捉到長期的依賴關系，有效地解決了RNN在反向傳播中出現(xiàn)的梯度彌散問題。LSTM的基本結構如圖2所示。

1.3? ? BiLSTM

BiLSTM由兩個并行的正向和反向標準LSTM通道構成，能兼顧前后時刻的信息對當前狀態(tài)的影響，相比于LSTM提高了特征提取效率與性能，如式（7）（8）（9）所示：

（7）

（8）

（9）

的權重向量；bt為該時刻隱藏狀態(tài)的偏移量。

BiLSTM的基本結構如圖3所示。

1.4? ? 自注意力機制

注意力機制通過對上級網絡所輸出的狀態(tài)信息序列進行權重分配，自動篩選重要信息，舍棄干擾信息，以全面掌握輸入內容的核心。而自注意力機制（self-attention mechanism）是注意力機制的一種變體，能夠捕捉同一序列中兩個不同位置信息的相互作用，更加注重數(shù)據(jù)本身的特征和數(shù)據(jù)之間的內部交互，減少了對外部信息的依賴程度，提高了信息的利用率。自注意力機制的基本結構如圖4所示。

自注意力機制包括縮放點積注意力（SDA）機制和多頭注意力（MHA）機制兩部分，本文重點關注SDA部分。SDA是對輸入序列X做線性映射，過程如式（10）（11）（12）所示，得到矩陣Q、K和V：

Q=WqX? （10）

K=WkX? （11）

V=WvX （12）

通過Q和K矩陣的點積除以 進行相似度計算，以防止計算所得值過大，再通過softmax函數(shù)進行歸一化處理，最后通過加權求和法得到最終數(shù)據(jù)，如式（13）所示：

（13）

式中：Q，K，V為同一輸入矩陣做線性映射所得到的矩陣；Dk為穩(wěn)定訓練梯度的矩陣；softmax（·）為具有歸一化功能的激活函數(shù)。

1.5? ? 基于自注意力機制的CNN-BiLSTM網絡結構

本文提出的基于自注意力機制的CNN-BiLSTM網絡結構整體由兩層CNN網絡、一層BiLSTM、兩層全連接層構成，如圖5所示。

首先，將包含L個時刻信息的總有功功率時間序列輸入兩層卷積層，用于提取更深層次的負荷特征，得到特征矩陣B×CH1×W1與B×CH2×W2。其中W1=W2=L為兩卷積層輸出矩陣的特征長度，B表示模型的批處理個數(shù)，CH1、CH2表示各層網絡中卷積核個數(shù)（特征通道）。第一層卷積層的卷積核個數(shù)為16，尺寸為3；第二層卷積層的卷積核個數(shù)為32，尺寸為3；兩層激活函數(shù)均選擇ReLU。池化層和Flatten層分別用于數(shù)據(jù)降維和扁平化處理。

其次，CNN網絡把提取到的特征輸入神經元個數(shù)為32的BiLSTM網絡。由于BiLSTM網絡所產生的隱藏層狀態(tài)ht= t是由相反的兩個隱藏層狀態(tài)拼接而成，所以其維度相對于普通LSTM網絡增加一倍，輸出神經元個數(shù)翻倍為2HD，最終BiLSTM輸出特征矩陣維度為B×W2×2HD。

為使模型的最終輸出為設備概率分布向量，利用兩層全連接層分別將W2轉變?yōu)樾璺纸獾脑O備個數(shù)n，2HD轉變?yōu)樗蟹纸庠O備的最大狀態(tài)個數(shù)kmax，并通過兩個全連接層計算注意力機制得分對網絡進行優(yōu)化，使用softmax函數(shù)計算各隱層狀態(tài)權重，與對應隱層狀態(tài)按權相加得到動態(tài)時序向量ct，如式（14）所示：

（14）

式中：αi表示各隱層權重；hi表示BiLSTM層所得的第i個ht。

2? ? 基于自注意力機制的CNN-BiLSTM的非侵入式負荷分解

2.1? ? 分解原理

有功功率是電器耗電特性中最常用的指標之一，可直接從智能電表中準確讀出，本文以有功功率作為研究對象，以用電設備的開啟和關閉狀態(tài)作為標簽，其中開啟狀態(tài)為1，關閉狀態(tài)為0。在只有N個簡單投切二狀態(tài)且投入時沒有功率畸變的負載與智能電表相連的情況下，t時刻總表功率可表示為公式（15）：

P（t）= t）Pm+e（t）? ?（15）

式中：am（t）為負荷m在t時刻的狀態(tài)，數(shù)值為1或0分別代表負荷的開啟或關閉；Pm為負荷m所消耗的有功功率；e（t）為噪聲干擾或誤差。

2.2? ? 負荷分解流程

如圖6所示，具體負荷分解流程如下：

1）數(shù)據(jù)輸入提?。簲?shù)據(jù)在輸入神經網絡之前需要進行重疊滑動窗口處理，即將原始數(shù)據(jù)劃分為恒等長度的向量序列，再進行缺失值填充。

2）數(shù)據(jù)歸一化處理：將數(shù)據(jù)以8：2比例劃分為訓練集與測試集，分別用于網絡模型的訓練與預測結果輸出。在數(shù)據(jù)輸入模型訓練前，將輸入與輸出數(shù)據(jù)進行歸一化處理，即通過線性變化將取值固定于[-1，1]的區(qū)間內，如公式（16）所示：

（16）

式中：xi為功率的真實值；xmin、xmax分別為有功功率的最小值和最大值；xi′為歸一化的結果。

3）模型訓練：將訓練集的數(shù)據(jù)輸入模型進行訓練，由CNN層在空間維度上進行負荷特征提取，BiLSTM層聯(lián)系上下層向量，在時間維度上提取特征。

4）結果輸出：Attention層分配權重值，突出重要特征，得到負荷預測輸出。

3? ? 分解結果

圖7為真實的總有功功率運行曲線。圖8為采用本文模型得到的各用電設備功率分解結果，其中實線為設備真實功率，虛線為本文模型的分解結果。由圖可得，所得分解結果與設備真實運行曲線基本擬合，本文模型具有良好的分解性能。

4? ? 結束語

本文所述模型通過構建CNN逐層在空間維度上抽象數(shù)據(jù)特征，進一步引入BiLSTM提取其時間特性，并對重要特征進行更大的權重分配，從而提高了負荷分解的準確率。由實驗分解結果可得，該模型具有良好的負荷分解性能。

[參考文獻]

[1] ZHU Y，LEE S G，CHUNG K S，et al.Investigation of Auxiliary Poles Design Criteria on Reduction of End Effect of Detent Force for PMLSM[J].IEEE Transactions on Magnetics，2009，45（6）：2863-2866.

[2] JI T Y，LIU L，WANG T S，et al.Non-Intrusive Load Monitoring Using Additive Factorial Approximate Maximum a Posteriori Based on Iterative Fuzzy c-Means[J].IEEE Transactions on Smart Grid，2019， 10（6）：6667-6677.

[3] 宋旭帆，周明，涂京，等.基于k-NN結合核Fisher判別的非侵入式負荷監(jiān)測方法[J].電力系統(tǒng)自動化，2018，42（6）：73-80.

[4] 徐青山，婁藕蝶，鄭愛霞，等.基于近鄰傳播聚類和遺傳優(yōu)化的非侵入式負荷分解方法[J].電工技術學報，2018，33（16）：3868-3878.

[5] 沙建峰，席樂，馮亞杰，等.基于注意力時序網絡的非侵入式負荷分解[J].南京信息工程大學學報（自然科學版），2023，15（4）：448-459.

[6] 何健明，李夢詩，張祿亮，等.基于Attention和殘差網絡的非侵入式負荷監(jiān)測[J/OL].電測與儀表：1-9.（2021-08-06）[2023-04-20].https：//kns.cnki.net/kcms2/article/abstract？v=3uoqIhG8C45S0n9fL2suRadTyEVl2-pW9UrhTDCdPD64iLFH7p67cuPgOSGeusRoUT9AI2ej7O8j8 -LOJCqArNsGNSYiTLE1dL&uniplatform=NZKPT.

[7] 蒙亮，于超，張希翔，等.基于一維卷積神經網絡和自注意力機制的非侵入式負荷分解[J].電力大數(shù)據(jù)，2020，23（10）：1-8.

[8] CHEN H，WANG Y H，F(xiàn)AN C H.A Convolutional Autoencoder-based Approach with Batch Normalization for Energy Disaggregation[J].Journal of Supercompu-ting，2021，77（3）：2961-2978.

[9] LECUN Y，BOTTOU L，BENGIO Y，et al.Gradient-based Learning Applied to Document Recognition[J]. Proceedings of the IEEE，1998，86（11）：2278-2324.

[10] HOCHREITER S，SCHMIDHUBER J.Long Short-term Memory[J].Neural Computation，1997，9（8）：1735-1780.

收稿日期：2023-04-26

作者簡介：朱瑞琪（2002—），女，安徽界首人，研究方向：非侵入式負荷監(jiān)測。