王繼東，張 迪

（天津大學 智能電網(wǎng)教育部重點實驗室，天津 300072）

0 引言

傳統(tǒng)的電能質(zhì)量擾動分類分為擾動特征提取選擇及分類器設計2 個階段。目前，電能質(zhì)量擾動特征提取算法有短時傅里葉變換、S 變換（ST）、小波變換及其改進方法等，對提取到的特征進行選擇后作為分類器的輸入對電能質(zhì)量擾動信號進行分類。文獻［1］采用改進ST 提取電能質(zhì)量擾動信號特征，通過直接支持向量機SVM（Support Vector Machine）分類器進行分類識別；文獻［2］采用離散小波變換DWT（Discrete Wavelet Transformation）提取特征，配合多層感知極限學習機進行電能質(zhì)量擾動信號分類，但小波基的選取和品質(zhì)因子Q的調(diào)諧存在困難等問題增加了算法的難度；文獻［3］采用匹配追蹤MP（Matching Pursuit）算法和粒子群優(yōu)化PSO（Particle Swarm Optimization）算法相結(jié)合的分層搜索的原子分解法提取電能質(zhì)量復合擾動參數(shù)。以上特征提取和分類器的組合算法在對電能質(zhì)量擾動信號進行分類方面有著較好的表現(xiàn)，但這些算法主要憑借經(jīng)驗和統(tǒng)計量提取信號特征，特征的不足或冗余都會對后續(xù)分類器的精度產(chǎn)生較大的影響。文獻［4-5］利用PSO 算法進行參數(shù)尋優(yōu)來篩選出最優(yōu)特征子集，但該方法對于不同類型和起止時刻的復合擾動類型的檢測效果并不理想；文獻［6］構(gòu)造了一種基于歐氏距離的自適應度函數(shù)，利用改進的自適應遺傳算法對原始特征進行篩選和組合優(yōu)化，但該算法對于更多分類器的適用性有限。

擾動特征的選取是電能質(zhì)量擾動信號分類的前提［7］，因此應采用一種更有效的方法自適應地對電能質(zhì)量擾動信號進行特征提取和選擇，排除人為因素的干擾。近年來，數(shù)據(jù)挖掘、深度學習方法的發(fā)展使得快速分類和處理大規(guī)模數(shù)據(jù)成為可能，因此將深度學習方法應用于電能質(zhì)量擾動分類領域具有潛在優(yōu)勢［8-9］。文獻［10］提出了基于Hoeffding Tree 算法的在線電能質(zhì)量擾動分類方法，首先結(jié)合小波變換和離散傅里葉變換進行電能質(zhì)量擾動檢測，然后應用Hoeffding Tree 算法建立增量分類訓練模型；文獻［11］提出了一種基于稀疏自動編碼器SAE（Sparse Auto-Encoder）深度神經(jīng)網(wǎng)絡的電能質(zhì)量擾動算法，該算法利用稀疏自動編碼器對電能質(zhì)量擾動原始數(shù)據(jù)進行無監(jiān)督特征學習，自動提取數(shù)據(jù)特征的稀疏特征表達。

本文提出了一種基于側(cè)輸出融合卷積神經(jīng)網(wǎng)絡SFCNN（Side-output Fusion Convolutional Neural Network）的電能質(zhì)量擾動分類方法，能夠自動對電能質(zhì)量擾動信號進行特征選擇及分類。針對一維序列的電能質(zhì)量擾動信號，在卷積一層采用一維卷積，實現(xiàn)對電能信號序列的有效提取；通過對卷積神經(jīng)網(wǎng)絡CNN（Convolutional Neural Network）的低、中、高層信息進行特征融合，側(cè)向輸出融合分類結(jié)果，能夠更好地把握信號的整體特征和局部特征，有效提高分類精度；通過批量歸一化BN（Batch Normalization）結(jié)構(gòu)和學習率設置優(yōu)化CNN，避免過度擬合等問題；利用添加高斯白噪聲的仿真數(shù)據(jù)對CNN 進行訓練，提高網(wǎng)絡的抗噪性。仿真和實測數(shù)據(jù)驗證了本文方法的有效性。

1 CNN

CNN 是一種監(jiān)督學習的網(wǎng)絡模型，廣泛應用于圖像識別、語義分割、EGG 分類等領域，取得了令人矚目的效果［12-13］。傳統(tǒng)的CNN 包含卷積層、池化層、全連接層和Softmax 分類層［14］。在利用CNN 處理圖像時，可以將其看作一個函數(shù)，函數(shù)的輸入、輸出分別為原始圖像、分類的結(jié)果，即：

式中：xinput、xoutput分別為輸入、輸出；fconv(·)為卷積層運算；ffc(·)為全連接層運算；fSoftmax(·)為Softmax分類層運算。式（1）中包含可變的參數(shù)運算，CNN的訓練過程即通過改變參數(shù)值，使網(wǎng)絡獲得良好的訓練效果。為便于說明，下文對CNN 的各層進行說明時，均將該層作為第l層。

CNN組成說明如下。

1）卷積層。卷積層是CNN 自學特征提取的核心步驟，該層通過在數(shù)據(jù)上滑動卷積核，并與其覆蓋的數(shù)據(jù)進行卷積操作提取特征。卷積層的運算為：

式中：fdown(·)為下采樣函數(shù)，通常選取為最大池化函數(shù)（取局部感受視野內(nèi)的各節(jié)點最大值）或平均池化函數(shù)（取局部感受視野內(nèi)各節(jié)點平均值）；n為神經(jīng)元個數(shù)。

3）全連接層（Dense層）：全連接層對卷積層和池化層提取到的特征進行綜合，計算特征對應的類別，輸出分類信息。全連接層的運算為：

4）Softmax 分類層。Softmax 分類層是具有激活函數(shù)的全連接層，其用于建立特征與類別之間的完全連接，Softmax 分類層的輸出值為輸入樣本屬于相應類別的樣本的概率，因此Softmax 分類層的神經(jīng)元數(shù)量等于分類類別數(shù)量。第m個類別的Softmax 分類層的輸出為：

式中：k為樣本類別數(shù)；pm為該樣本被分為第m個類別的概率；xm為第m個類別的輸出層待激活的神經(jīng)元。

5）BN 層。BN 層一般位于卷積層或全連接層之后，通過規(guī)范化層輸入數(shù)據(jù)解決數(shù)據(jù)內(nèi)部協(xié)變量移位問題。BN層的主要原理公式為：

2 SFCNN分類模型

2.1 SFCNN的設計要求

在設計SFCNN 時，需要考慮電能質(zhì)量擾動信號的2個因素。

1）電能質(zhì)量擾動信號為一維信號，而CNN 廣泛應用于二維圖像的識別，文獻［15］利用Wigner-Ville技術(shù)將一維電能質(zhì)量擾動信號傳輸?shù)蕉S圖像文件中，然后利用CNN 進行識別，但這將增加計算量和操作復雜度，此外，將一維電能質(zhì)量擾動信號轉(zhuǎn)換至二維圖像文件的過程中，可能會丟失重要信號細節(jié)特征。為使CNN 能夠更好地識別一維電能質(zhì)量擾動信號，需要對傳統(tǒng)CNN的卷積層進行改進。

為了更好地對一維電能質(zhì)量擾動信號進行分析處理，卷積層采用一維卷積濾波器。與傳統(tǒng)二維卷積相比，一維卷積的計算量較少，只需要執(zhí)行線性操作即可。則卷積層輸出可表示為［16］：

2）電能質(zhì)量擾動信號比較復雜，且復合擾動時有發(fā)生，訓練后的CNN 應具有很強的泛化能力，可以精確識別各種類型的電能質(zhì)量擾動，這就要求CNN 能夠關(guān)注到擾動信號中的細節(jié)特征。此外，真實的電能質(zhì)量擾動信號總是包含噪聲，因此訓練后的CNN應具有很好的抗噪性。

2.2 SFCNN結(jié)構(gòu)

本文設計的SFCNN 結(jié)構(gòu)如附錄A 圖A1 所示。SFCNN 結(jié)構(gòu)包含S1—S3這3 個單元結(jié)構(gòu)，每個單元結(jié)構(gòu)將卷積層、BN 層、池化層組合在一起作為特征提取器；將S1—S3的卷積層的卷積濾波器數(shù)量分別設置為32、64、128 臺，以逐層加深網(wǎng)絡；將卷積步長設置為小步長1，使網(wǎng)絡能夠關(guān)注到電能質(zhì)量擾動信號的細節(jié)特征，從而更加全面地提取特征；池化層用于提取電能質(zhì)量擾動信號的顯著特征，同時減少網(wǎng)絡參數(shù)，由于最大池化方式的降噪效果要好于平均池化方式，因此池化層采用最大池化方式；在卷積層和池化層中間嵌入BN層對數(shù)據(jù)進行歸一化處理，防止內(nèi)部數(shù)據(jù)過度擬合，并提高網(wǎng)絡的收斂速度；S1—S3的輸出經(jīng)過Flatten 層后分別展平為n維特征向量Ssideoutput1—Ssideoutput3，為了更好地比較融合層輸出與卷積低、中、高層輸出，搭建網(wǎng)絡模型時，使用函數(shù)式應用程序接口（API）構(gòu)建多輸出模型，在S1—S3的Flatten 層后添加全連接層，最后由Softmax 分類層得到各單元結(jié)構(gòu)的分類準確率。

通過對ResNets、GoogleNet 等先進的經(jīng)典CNN模型進行分析可知，在網(wǎng)絡傳遞過程中，網(wǎng)絡低層更加關(guān)注細節(jié)特征，提取到的低層特征伴隨著網(wǎng)絡的深入進行傳遞，逐步提取到高層特征，在該過程中，低層特征難免會丟失。因此本文利用融合層對不同卷積層的輸出進行融合，融合層結(jié)構(gòu)如圖1 所示。融合層的輸入為特征向量Ssideoutput1—Ssideoutput3，融合層將這3 個特征向量首尾相連，拼接為1 個特征向量，從而實現(xiàn)特征融合。融合信號包含電能質(zhì)量擾動信號的各級特征，且各級特征之間可以互補，低層特征可協(xié)助SFCNN提取適當?shù)母邔犹卣?，提高SFCNN識別電能質(zhì)量擾動的能力。

圖1 融合層結(jié)構(gòu)Fig.1 Structure of fusion layer

3 仿真分析與結(jié)果驗證

3.1 實驗準備及數(shù)據(jù)獲取

采用包括純正弦波在內(nèi)的15 種電能質(zhì)量擾動信號來評估所本文所提基于SFCNN 的電能質(zhì)量擾動分類方法的性能。電能質(zhì)量擾動信號由10 種單一類型和5 種復合類型的信號組成，前者包括純正弦波形（C1）、暫降（C2）、暫升（C3）、中斷（C4）、諧波（C5）、脈沖瞬態(tài)（C6）、振蕩瞬態(tài)（C7）、閃變（C8）、電壓切痕（C9）和尖峰（C10）信號，后者包括諧波暫降（C11）、諧波暫升（C12）、諧波中斷（C13）、暫降閃變（C14）和暫升閃變（C15）信號。圖2為典型電能質(zhì)量擾動仿真信號波形圖，圖中幅值為標幺值，后同。參數(shù)變化符合IEEE Std 1159—2019標準中的參數(shù)方程［17］。

圖2 仿真信號波形圖Fig.2 Waveforms of simulative signals

仿真信號在MATLAB 環(huán)境下產(chǎn)生，采樣頻率設置為6.4 kHz，單個樣本數(shù)據(jù)長度為1 280，通過隨機更改約束參數(shù)，可以生成無限數(shù)量的數(shù)據(jù)。因此，仿真信號可以滿足深度學習對訓練數(shù)據(jù)數(shù)量的要求。每類電能質(zhì)量擾動信號有500 個樣本，共產(chǎn)生4 500個訓練集、1 500 個測試集。為了便于計算損失函數(shù)，利用one-hot 編碼表示標簽數(shù)據(jù)，例如［1，0，0，0，0，0，0，0，0，0，0，0，0，0，0］表示樣本屬于第1 個類別。

實際的電能質(zhì)量擾動信號采集過程不可避免地會受到采集設備以及環(huán)境噪聲的干擾，為了提高SFCNN 的泛化性，在采樣信號中疊加信噪比為50、40、30、20 dB的噪聲作為干擾以模擬真實信號，使用不同水平的模擬噪聲來訓練SFCNN。表1為本文所采用的數(shù)據(jù)集。

表1 訓練樣本數(shù)據(jù)集Table 1 Training sample dataset

3.2 仿真數(shù)據(jù)驗證

基于Keras 框架訓練SFCNN，實驗訓練階段設置小批次數(shù)據(jù)量為128，訓練迭代輪次為50，通過訓練集和測試集中的交叉熵損失LCE和分類準確率rc來評價SFCNN 的性能。網(wǎng)絡模型精度越高，交叉熵損失越小，說明網(wǎng)絡模型性能越好。訓練集和驗證集的分類準確率與交叉熵損失對比如圖3 所示。由圖可見，采用隨機小批量方式進行50 次迭代訓練期間，在20 次迭代之后訓練集和驗證集的分類準確率幾乎相等，最高分類準確率在99.5%以上。

圖3 訓練集和驗證集的分類準確率與交叉熵損失的對比Fig.3 Comparison of classification accuracy rates and cross entropy losses between training set and verification set

為進一步驗證融合層的性能，將融合層的分類準確率與卷積低、中、高層的分類準確率進行對比，結(jié)果見圖4。由圖可見：迭代輪次較少時，融合層的分類準確率明顯高于卷積低、中、高層的分類準確率；隨著迭代輪次的增加，卷積中、高層的分類準確率明顯增加，但融合層的分類準確率始終高于卷積高層的分類準確率，可見進行特征融合后分類效果較好。

圖4 融合層與各卷積層的分類準確率比較Fig.4 Comparison of classification accuracy rates between fusion layer and convolutional layers

3.3 SFCNN性能優(yōu)化設計

為確定學習率α對SFCNN 性能的影響，在不同學習率下對SFCNN進行訓練優(yōu)化，結(jié)果如圖5所示。由圖可見，學習率較低時網(wǎng)絡收斂速度較慢，學習率過高又會導致網(wǎng)絡學習性能不穩(wěn)定，綜合來看，學習率為0.001 時SFCNN 的性能最好，因此本文設置學習率為0.001。

圖5 不同學習率下的交叉熵損失對比Fig.5 Comparison of cross entropy losses among different learning rates

為驗證BN 層對于SFCNN 性能的影響，對比包含和不包含BN 層的SFCNN 的分類準確率和交叉熵損失，結(jié)果如圖6 所示。由圖可以看出，包含BN 層的SFCNN 的分類準確率要高于無BN 層的SFCNN，其交叉熵損失更小，收斂速度更快，可見BN 層可以優(yōu)化網(wǎng)絡模型結(jié)構(gòu)，防止網(wǎng)絡的過擬合。

圖6 有、無BN層情況下的分類準確率與交叉熵損失的對比Fig.6 Comparison of classification accuracy rates and cross entropy losses between with and without BN layer

3.4 特征可視化分析

為了更加直觀地理解SFCNN 對于電能質(zhì)量擾動信號的特征提取過程，采用t 分布隨機近鄰嵌入（t-SNE）技術(shù)［18］，對輸入數(shù)據(jù)及融合層輸出進行可視化。設置t-SNE的迭代輪次為1000、困惑度為30，對輸入數(shù)據(jù)以及融合層輸出特征的可視化結(jié)果見附錄A 圖A2和圖A3。由圖A2可見，輸入數(shù)據(jù)分布雜亂，彼此重疊交叉；由圖A3 可見，經(jīng)過SFCNN 處理后，同類別的數(shù)據(jù)聚合在一起，不同類別的數(shù)據(jù)之間距離變大，沒有重疊現(xiàn)象，正常信號和不同類別的電能示例擾動信號在二維平面上均能明顯區(qū)分，說明了特征融合的有效性。

3.5 SFCNN與現(xiàn)有方法的比較

為了驗證本文方法的優(yōu)越性，將本文算法與3種先進的深度學習算法進行對比，對比算法簡要介紹如下。

1）深度CNN（DCNN）：選取文獻［19］提出的具有6 個標準卷積層的DCNN，卷積核大小設置為3，步長設置為1，各卷積層過濾器的數(shù)量設置為32、32、64、64、128、128，全連接層數(shù)為3。

2）長短期記憶網(wǎng)絡（LSTM）：采用3 層堆疊式LSTM 結(jié)構(gòu)，各層的LSTM 記憶節(jié)點數(shù)分別為32、32、32，激活函數(shù)為tanh。

3）CNN-LSTM：文獻［20］設計了具有2層標準卷積層的CNN，卷積核大小設置為3，卷積層過濾器數(shù)量為64和128，將其與LSTM結(jié)合進行電能質(zhì)量擾動信號分類，LSTM層數(shù)為1，LSTM記憶節(jié)點數(shù)為50。

設置迭代輪次為50 次，在相同配置的計算機和數(shù)據(jù)集上對4 種算法進行訓練，訓練時間為算法迭代一次所用時間，性能對比結(jié)果如表2 所示。表中，RSN為信噪比。由表可見：LSTM 的訓練時間最短，但在各種信噪比下的分類準確率均低于其他方法；綜合考慮訓練時間和分類準確率，本文所提的SFCNN取得了較好的效果，優(yōu)于其他3種深度學習算法。

表2 4種深度學習算法的性能比較Table 2 Performance comparison among four deep learning algorithms

將SFCNN 與文獻［2］采用的DWT 和分層極限學習機（H-ELM）方法（DWT+H-ELM），文獻［21］采用的ST 和概率神經(jīng)網(wǎng)絡（PNN）方法（ST+PNN）、文獻［22］采用的可調(diào)品質(zhì)因子小波變換（TQWT）和隨機森林（RF）方法（TQWT+RF）進行對比，結(jié)果如表3所示。表中，“—”表示文獻［21］中未直接給出分類準確率。傳統(tǒng)的電能質(zhì)量擾動分類方法中，對信號分解后要對特征進行選擇，關(guān)于特征數(shù)量的選取并沒有明確的規(guī)定，文獻［21］僅選取了4個特征，在30 dB的信噪比下，分類準確率為98.63%，而文獻［22］選取了16 個特征進行分析，在相同的噪聲條件下，分類準確率達到了98.13%，兩者準確率接近，說明特征的類型及數(shù)量差異導致了分類結(jié)果的差別。本文所提基于SFCNN 的多層信息融合結(jié)構(gòu)可以自動提取有效特征，不僅簡化了電能質(zhì)量擾動識別的過程，而且縮短了特征的提取和選擇時間，訓練后在各種噪聲條件下的分類準確率均高于其他傳統(tǒng)方法。

表3 SFCNN和傳統(tǒng)方法的分類準確率對比Table 3 Comparison of classification accuracy rates between SFCNN and traditional methods

3.6 實測數(shù)據(jù)驗證

為了驗證本文方法對實測信號的適用性，采用一組實測信號來測試SFCNN 的分類性能。實際信號來自IEEE PES 數(shù)據(jù)庫提供的用于電能質(zhì)量擾動分類的數(shù)據(jù)，每個信號的長度為1 536，信號采樣率為每周期256個點。

由于網(wǎng)絡模型需要大量數(shù)據(jù)進行訓練優(yōu)化，數(shù)據(jù)的優(yōu)劣直接決定所訓練模型的適應性和可行性。針對個別類別的數(shù)據(jù)量少、數(shù)據(jù)分配不均衡的問題，采用數(shù)據(jù)增強的方法，通過隨機裁剪、添加高斯噪聲、隨機翻轉(zhuǎn)操作進行數(shù)據(jù)增強，增加訓練數(shù)據(jù)量。以實測暫態(tài)振蕩信號為例，進行數(shù)據(jù)增強后的結(jié)果見圖7。

圖7 數(shù)據(jù)增強結(jié)果示例Fig.7 Example of data enhancement results

對數(shù)據(jù)集進行增強后，訓練集、測試集的樣本數(shù)量分別為3 000、500。使用增強后的數(shù)據(jù)集訓練本文所提SFCNN和3.5節(jié)中的DCNN、LSTM、CNNLSTM，得到的電能質(zhì)量擾動分類結(jié)果如表4 所示?？梢钥闯?，SFCNN 對增強后的實測數(shù)據(jù)的平均分類準確率為97.2%，低于仿真結(jié)果，其主要原因是訓練數(shù)據(jù)是使用仿真軟件生成的，與真實數(shù)據(jù)有一定的差別，而真實數(shù)據(jù)的信號所受干擾更加復雜，且實測數(shù)據(jù)量較小，類別之間分布不均勻，以及人工標注存在誤差等，容易造成網(wǎng)絡訓練準確率有所下降。

表4 數(shù)據(jù)增強后的實測信號分類結(jié)果Table 4 Measured signal classification results after data enhancement

4 結(jié)論

本文針對傳統(tǒng)電能質(zhì)量信號擾動識別存在的人工選取特征困難、計算量較大等缺陷，提出了一種基于深度學習的SFCNN 進行電能質(zhì)量擾動信號分類，主要工作及結(jié)論如下。

1）構(gòu)造了一種新型的側(cè)輸出融合結(jié)構(gòu)，該結(jié)構(gòu)可整合不同卷積層的信息，自動提取特征，實現(xiàn)電能質(zhì)量擾動信號分類。

2）采用一維卷積處理電能質(zhì)量擾動信號，將BN層引入SFCNN，以加快網(wǎng)絡收斂速度，防止過擬合。

3）本文所提的SFCNN 可以將傳統(tǒng)電能質(zhì)量擾動檢測和識別系統(tǒng)的擾動特征提取選擇和分類2 個主要模塊融合到一個學習體中，提高了分類準確率，節(jié)省了人力并簡化電能質(zhì)量擾動信號分類流程；仿真和實測數(shù)據(jù)驗證了本文所提的SFCNN 可以有效地學習分類電能質(zhì)量擾動信號，分類準確率較高，且抗噪性能較好；SFCNN 的輸入數(shù)據(jù)以及融合層輸出特征的t-SNE 可視化結(jié)果也從側(cè)面說明了SFCNN 的有效性。

附錄見本刊網(wǎng)絡版（http：//www.epae.cn）。