張 翼 朱永利

結(jié)合知識蒸餾和圖神經(jīng)網(wǎng)絡(luò)的局部放電增量識別方法

張 翼 朱永利

（華北電力大學(xué)電氣與電子工程學(xué)院 保定 071003）

當(dāng)前，基于深度學(xué)習(xí)的局部放電識別方法缺乏在模型訓(xùn)練后繼續(xù)學(xué)習(xí)新增多樣性數(shù)據(jù)樣本的方案。為此，該文提出一種結(jié)合知識蒸餾和圖神經(jīng)網(wǎng)絡(luò)（GNN）的局部放電增量識別方法：通過回放少量局部放電舊數(shù)據(jù)，實現(xiàn)原始模型與新模型間的先驗知識共享，以避免知識遺忘；利用先驗知識輔助新模型學(xué)習(xí)局部放電新數(shù)據(jù)、提升泛化能力；為適應(yīng)新增數(shù)據(jù)規(guī)模的不確定性，新模型采用與GNN相結(jié)合的方式構(gòu)建，可以協(xié)同學(xué)習(xí)放電特征以及各類放電間豐富的關(guān)聯(lián)信息，彌補有限樣本的信息不足。實驗結(jié)果表明，該方法能夠漸進地學(xué)習(xí)陸續(xù)新增的局部放電數(shù)據(jù)，且不受新數(shù)據(jù)規(guī)模的制約，增量學(xué)習(xí)后模型對新數(shù)據(jù)的識別率提升近18%；模型更新所需的計算資源更少，相較于重新訓(xùn)練，顯存和內(nèi)存占用分別下降67.9%和72.7%；具有較好的可推廣性，對基于AlexNet、ResNet等網(wǎng)絡(luò)的局部放電識別模型均能夠?qū)崿F(xiàn)增量式更新。

局部放電 深度學(xué)習(xí) 增量學(xué)習(xí) 知識蒸餾 圖神經(jīng)網(wǎng)絡(luò)

0 引言

局部放電（簡稱局放）是電力變壓器等高壓輸變電設(shè)備絕緣缺陷的先兆和表現(xiàn)，準(zhǔn)確地識別放電類型對于掌握設(shè)備絕緣狀況具有重要意義[1]。傳統(tǒng)機器學(xué)習(xí)方法雖然極大地推動了局放模式識別的發(fā)展[2-3]，然而這類識別方法的輸入特征量依賴人為手工設(shè)計，存在一定的主觀性，還可能遺漏某些關(guān)鍵特征。

深度學(xué)習(xí)作為一種新型機器學(xué)習(xí)方法，能夠自適應(yīng)地挖掘各類型樣本的可分性表征，已成為當(dāng)前局放診斷研究的主流[4]。Duan Lian等[5]直接將局放脈沖的一維時域序列作為稀疏自編碼器（Sparse Autoencoder, SAE）的輸入，實現(xiàn)了“端到端”的特征提取與類型識別；張重遠等[6]和SongHui等[7]采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）分別對放電脈沖時頻譜和脈沖序列相位圖譜進行識別，識別能力優(yōu)于典型的傳統(tǒng)機器學(xué)習(xí)方法；也有部分學(xué)者利用AlexNet[8]、ResNet[9]和MobileNet[10]等大規(guī)模CNN架構(gòu)捕獲更深層次的局放特征，相較于淺層CNN，識別率和泛化能力進一步得到提高。

上述基于深度網(wǎng)絡(luò)的局放識別模型具有三個顯著特點：①以海量、多樣化的訓(xùn)練數(shù)據(jù)為基礎(chǔ)；②假設(shè)訓(xùn)練與測試數(shù)據(jù)滿足獨立同分布；③一次性學(xué)習(xí)當(dāng)前所有數(shù)據(jù)后，學(xué)習(xí)過程終止。然而，隨著變壓器運行年限的增加以及傳感器的增設(shè)，更加多樣性的局放數(shù)據(jù)逐漸出現(xiàn)，在數(shù)據(jù)分布上表現(xiàn)出與原有數(shù)據(jù)的差異，從而導(dǎo)致原始模型失準(zhǔn)。傳統(tǒng)做法是將新數(shù)據(jù)和歷史數(shù)據(jù)混合后重新訓(xùn)練，但重復(fù)學(xué)習(xí)大規(guī)模歷史數(shù)據(jù)帶來了極大的計算資源浪費。而且，隨著新一代電力智能終端在電力設(shè)備上的應(yīng)用，診斷模型逐漸趨于邊緣終端側(cè)部署，而資源受限的邊緣終端難以支持模型通過重新訓(xùn)練的方式實現(xiàn)自我更新維護。因此，通過模型修正逐步增強面向新數(shù)據(jù)的泛化能力，成為一種更為高效的解決手段[11]，但在局放診斷領(lǐng)域中目前未見相關(guān)報道。

增量學(xué)習(xí)是漸進式修正模型的有效方法，無需重新訓(xùn)練，可以在記憶舊知識的同時（無需完整地保留舊數(shù)據(jù)）持續(xù)學(xué)習(xí)新增數(shù)據(jù)，以適應(yīng)數(shù)據(jù)分布隨時間的變化[12]。知識蒸餾（Knowledge Distillation, KD）是當(dāng)前增量學(xué)習(xí)研究的熱點，主要由原始模型（也稱教師網(wǎng)絡(luò)）和新模型（也稱學(xué)生網(wǎng)絡(luò)）組成。在增量任務(wù)中，原始模型為采用大規(guī)模舊數(shù)據(jù)訓(xùn)練穩(wěn)定的神經(jīng)網(wǎng)絡(luò)；新模型一般與前者結(jié)構(gòu)一致，致力于高效地轉(zhuǎn)化和利用原始模型已學(xué)的知識來完成新知識的學(xué)習(xí)，并盡可能地避免遺忘前期所學(xué)。Li Zhizhong等[13]提出了無遺忘學(xué)習(xí)（Learning without Forgetting, LwF），無需保留舊數(shù)據(jù)，通過在微調(diào)學(xué)習(xí)新數(shù)據(jù)的同時約束新模型和原始模型的預(yù)測相接近，克服了對歷史知識的災(zāi)難性遺忘；S. A. Rebuffi等[14]和F. M. Castro等[15]采用回放部分代表性舊數(shù)據(jù)的方式向新模型傳遞先驗知識，并利用先驗知識指導(dǎo)新數(shù)據(jù)的學(xué)習(xí)，可以實現(xiàn)“溫故而知新”。以上方法雖然在充足的新數(shù)據(jù)下較為有效，但并不適合于小樣本的增量學(xué)習(xí)[16]，而且現(xiàn)場的新增局放數(shù)據(jù)很可能數(shù)量不足且類別不平衡，所以難以直接應(yīng)用于局放識別模型的增量更新。

小樣本任務(wù)的難點在于樣本有限、可利用的信息不足，此時樣本間的關(guān)聯(lián)關(guān)系變得十分重要。新興的圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network, GNN）是一種有效的關(guān)系學(xué)習(xí)網(wǎng)絡(luò)，在小樣本任務(wù)中得到了廣泛關(guān)注[17-18]。GNN的輸入為多個節(jié)點及其連接構(gòu)成的圖數(shù)據(jù)，節(jié)點可以是隨機組合的多個樣本，使得圖數(shù)據(jù)具有多樣性的特點[17]。GNN能夠融合樣本特征和樣本間的關(guān)聯(lián)關(guān)系進而挖掘潛在的相關(guān)信息，相較傳統(tǒng)網(wǎng)絡(luò)可以彌補有限樣本的信息不足。

綜上所述，本文提出了一種結(jié)合知識蒸餾和GNN的局部放電增量識別方法。首先，采用舊局放數(shù)據(jù)集訓(xùn)練一神經(jīng)網(wǎng)絡(luò)作為原始模型；然后，根據(jù)知識蒸餾原理，利用少量代表性舊數(shù)據(jù)在增量更新中遷移先驗知識，并進一步指導(dǎo)新數(shù)據(jù)的學(xué)習(xí)；最后，考慮到新增局放數(shù)量少、類別不平衡的特點，采用GNN進行改進。結(jié)果表明，該方法無需重新訓(xùn)練，能夠高效地學(xué)習(xí)持續(xù)新增的多樣性局放數(shù)據(jù)；在不同規(guī)模的新數(shù)據(jù)集下均具有較好的效果；計算資源占用低，有利于實現(xiàn)邊緣智能終端上模型的部署與維護。

1 基本原理

1.1 基于知識蒸餾的增量學(xué)習(xí)

知識蒸餾本質(zhì)上是一種高效的知識遷移方法，能夠通過最小化新模型與原始模型的軟標(biāo)簽輸出以遷移前期所學(xué)的先驗知識[19]。通常，神經(jīng)網(wǎng)絡(luò)的輸出是采用0和1標(biāo)注的硬標(biāo)簽，忽略了除正確類別下的其他相關(guān)信息，而軟標(biāo)簽的標(biāo)注數(shù)值在0～1之間，既可以表明類別屬性，又蘊含了不同類別間的隱含信息[20]。軟標(biāo)簽的標(biāo)注數(shù)值計算式為

式中，z為網(wǎng)絡(luò)模型的logit輸出；為參數(shù)，當(dāng)=1時，式（1）與softmax函數(shù)等價，越大，q分布越平緩。

基于知識蒸餾的增量學(xué)習(xí)原理如圖1所示，通過對少部分代表性舊數(shù)據(jù)的重復(fù)訪問來共享和高效利用先驗知識，輔助實現(xiàn)面向新增數(shù)據(jù)的模型自我更新，而無需重復(fù)學(xué)習(xí)全部舊數(shù)據(jù)。

圖1 基于知識蒸餾的增量學(xué)習(xí)原理

依據(jù)上述原理，知識蒸餾的總損失函數(shù)可表述為Distill和Class的加權(quán)，即

1.2 圖數(shù)據(jù)與圖神經(jīng)網(wǎng)絡(luò)

圖數(shù)據(jù)是由多個節(jié)點及其連接邊組成的不規(guī)則數(shù)據(jù)結(jié)構(gòu)，直接定義了圖中數(shù)據(jù)間的關(guān)系[21]。假設(shè)個節(jié)點的圖數(shù)據(jù)為∈R×d（為節(jié)點特征維度），全圖中各節(jié)點間的連接關(guān)系采用鄰接矩陣∈R×F表示。通常，若節(jié)點相鄰，則A,j=1；不相鄰則為0。但如此計算的鄰接矩陣僅能表達節(jié)點間的相鄰性，無法表征關(guān)聯(lián)關(guān)系的強弱。受消息傳遞機制的啟發(fā)，S. Kearnes等[22]提出了一種神經(jīng)網(wǎng)絡(luò)化的自適應(yīng)鄰接矩陣計算方法，認(rèn)為節(jié)點、之間的A,j取決于兩節(jié)點的當(dāng)前狀態(tài)(k)和(k)，即

式中，abs(·)為絕對值函數(shù)；conv(·)表示卷積層；經(jīng)softmax函數(shù)歸一化后得到A,j∈[0, 1]。

圖神經(jīng)網(wǎng)絡(luò)（GNN）是針對圖數(shù)據(jù)而設(shè)計的新型網(wǎng)絡(luò)架構(gòu)，其原理如圖2所示。GNN的核心思想是，根據(jù)鄰接矩陣學(xué)習(xí)一特征映射實現(xiàn)鄰域節(jié)點聚合和節(jié)點特征更新[23]。設(shè)(k)為當(dāng)前的圖數(shù)據(jù)特征，任意節(jié)點的狀態(tài)更新均是當(dāng)前節(jié)點特征(k)及其鄰居節(jié)點共同作用的結(jié)果，即

式中，A(k)V(k)表示各節(jié)點間的信息交互；W(k)為可學(xué)習(xí)的權(quán)重，用于加強網(wǎng)絡(luò)擬合能力；ρ(·)為激活函數(shù)。由于GNN存在過平滑問題[23]，一般以1～2層為宜。通過多輪的狀態(tài)更新，GNN從圖數(shù)據(jù)中發(fā)掘數(shù)據(jù)間潛在的關(guān)聯(lián)信息，表現(xiàn)出優(yōu)異的關(guān)聯(lián)性建模能力。

在少樣本場景中，特征信息的匱乏使得樣本間的關(guān)聯(lián)信息對于提升網(wǎng)絡(luò)性能至關(guān)重要。V. Garcia等[17]將GNN引入少樣本任務(wù)中，每個樣本作為圖數(shù)據(jù)中的一個節(jié)點，節(jié)點隨機組合的多樣性可以增加圖數(shù)據(jù)的多樣性，有利于擴充和平衡少樣本任務(wù)，且加之對特征信息和關(guān)聯(lián)信息的協(xié)同挖掘，更進一步彌補了少樣本場景的信息不足。目前，GNN已成為解決少樣本問題的有效手段之一[18]。

2 結(jié)合知識蒸餾和GNN的局部放電增量識別方法

本文將知識蒸餾思想引入局部放電模式識別領(lǐng)域，提出了一種持續(xù)學(xué)習(xí)多樣性新數(shù)據(jù)的局部放電增量識別方法。同時，考慮到電力變壓器的結(jié)構(gòu)復(fù)雜性和放電缺陷的隨機性，一段時間內(nèi)積累的新局放數(shù)據(jù)很可能數(shù)量不足且類別不平衡，故采用GNN對知識蒸餾框架進行改進，以改善少樣本場景下的增量識別性能。結(jié)合知識蒸餾和GNN的局部放電增量識別方法流程如圖3所示，主要步驟如下：

圖3 結(jié)合知識蒸餾和GNN的局部放電增量識別方法

（1）從舊訓(xùn)練集O-train隨機保留部分?jǐn)?shù)據(jù)構(gòu)建代表性舊數(shù)據(jù)集O-ret，并對時段內(nèi)新增的局放數(shù)據(jù)的放電相位分布（Phase Resolved Partial Discharge, PRPD）圖譜進行預(yù)處理形成新數(shù)據(jù)集N-train。

3 實驗與結(jié)果分析

3.1 局部放電數(shù)據(jù)采集

PRPD圖譜表征了局部放電數(shù)據(jù)按照相位統(tǒng)計的放電脈沖幅值和脈沖個數(shù)的分布特征，蘊含了絕緣缺陷的內(nèi)在信息，在局部放電檢測中得到了廣泛的應(yīng)用。為獲得深度網(wǎng)絡(luò)訓(xùn)練所需的PRPD數(shù)據(jù)集，本文以油浸式變壓器為研究對象，針對常見的油中尖端放電、油中沿面放電、油中氣隙放電和油中懸浮放電等缺陷，設(shè)計了如圖4所示的A和B兩套人工放電模型，圖中數(shù)值單位均為mm。為了產(chǎn)生兩組具有數(shù)據(jù)分布差異的數(shù)據(jù)集，兩套放電模型主要存在以下區(qū)別：①A組的尖端放電模型模擬油紙絕緣附近的尖端放電，B組則僅考慮尖端在油中的放電行為；②兩組沿面放電均采用球-板電極模擬，但兩球電極直徑分別為24 mm和2 mm；③A組中的氣隙模擬絕緣紙包封氣泡的情況，B組模擬油中氣泡放電的場景；④兩組懸浮放電的配件存在差異，分別為銅塊和墊片。

圖4 人工放電模型

實驗使用高頻電流法從放電支路的接地端捕獲局部放電信號，實驗原理如圖5所示。實驗時，示波器的采樣率為20 MS/s，采樣帶寬為1～10 MHz。在8～25 kV階升電壓下，分別對兩套放電模型下的四種典型缺陷進行測試，每采集2 s的局放信號（即100個工頻周期）形成一個PRPD圖譜。為了方便神經(jīng)網(wǎng)絡(luò)直接處理PRPD圖譜，將其壓縮為128×128的二維矩陣形式，即放電相位0°～360°和放電量0～max分別被離散為128個等區(qū)間，矩陣中的值為相位和幅值處于對應(yīng)區(qū)間的放電次數(shù)，并按照“最大-最小值”進行線性歸一化處理。各放電缺陷的PRPD圖譜如圖6所示，不同類型的PRPD圖譜在相位分布、脈沖分散度、放電次數(shù)等方面存在較明顯的差異，有利于實現(xiàn)放電類型的模式識別；從兩組放電模型采集的同一類型局放既存在共性，又兼具差異，表現(xiàn)出一定的多樣性。因此，兩組數(shù)據(jù)可分別模擬早期采集的局放舊數(shù)據(jù)和新增的多樣性數(shù)據(jù)。

圖5 局部放電實驗原理

圖6 局部放電信號的時頻譜圖

最終，放電模型A、B分別形成2 400個（600個/類）和800個（200個/類）PRPD圖譜，依次從兩組數(shù)據(jù)集中隨機、分層地抽取400個作為各自的測試集，其余作為對應(yīng)的訓(xùn)練集（O-train和N-train）。其中，O-train用于訓(xùn)練原始的局部放電識別模型，N-train是增量學(xué)習(xí)階段需要學(xué)習(xí)的新數(shù)據(jù)。此外，從舊訓(xùn)練集O-train中隨機保留20%的舊樣本記為O-ret，用作增量學(xué)習(xí)中的輔助信息，避免學(xué)習(xí)新局放知識的同時產(chǎn)生災(zāi)難性遺忘。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)設(shè)置

表1 網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)設(shè)置

Tab.1 Network structure and parameter setting

3.3 損失函數(shù)對增量學(xué)習(xí)的影響

在知識蒸餾中，如何利用新、舊訓(xùn)練樣本是構(gòu)建損失函數(shù)時需要著重考慮的問題。根據(jù)數(shù)據(jù)利用方式的不同，可將常見的損失函數(shù)分為四類：1，無需保留舊數(shù)據(jù)，蒸餾和分類損失均僅采用新數(shù)據(jù)N-train構(gòu)建[13]；2，采用少量代表性舊數(shù)據(jù)O-ret構(gòu)建蒸餾損失，分類損失中僅考慮新數(shù)據(jù)[14]；3，蒸餾損失與2一致，分類損失同時考慮對新、舊數(shù)據(jù)的分類要求[15]；4，兩部分損失均采用新、舊數(shù)據(jù)構(gòu)建。為了考察各損失函數(shù)對增量性能的影響，分別在1～4下進行增量訓(xùn)練（通過遍歷尋優(yōu)確定），各函數(shù)下的訓(xùn)練數(shù)據(jù)集及識別率見表2。

表2 不同損失函數(shù)下的識別率提升效果對比

Tab.2 Comparison of the improvement of recognition rate among different loss functions

注：表中“+”“-”分別代表以原始模型為參照，應(yīng)用各損失函數(shù)時識別率的提升和下降。

圖7 不同λ參數(shù)下的增量效果對比

3.4 增量識別結(jié)果與分析

圖8 模型增量訓(xùn)練前、后的特征可視化

圖9 模型增量訓(xùn)練前、后的混淆矩陣

3.5 對比分析

面對新增的局放數(shù)據(jù)，傳統(tǒng)做法是將新數(shù)據(jù)與大規(guī)模舊數(shù)據(jù)聯(lián)合后重新訓(xùn)練模型，稱為聯(lián)合訓(xùn)練。此外，微調(diào)、LwF[13]和常規(guī)知識蒸餾（簡稱常規(guī)KD）[15]等也常見于增量學(xué)習(xí)領(lǐng)域。微調(diào)通過較小的學(xué)習(xí)率（本處取1×10-5）調(diào)整網(wǎng)絡(luò)參數(shù)來學(xué)習(xí)新數(shù)據(jù)；LwF指采用3.2節(jié)中1構(gòu)建的知識蒸餾法；常規(guī)KD指采用3的知識蒸餾法，即本文方法未經(jīng)GNN改進的版本。為了體現(xiàn)本文方法對變壓器局部放電增量識別任務(wù)的優(yōu)越性，本節(jié)將對各方法進行對比分析。四種對比方法均利用模型初始化，批量大小為80，其他設(shè)置與本文方法一致。

3.5.1 少樣本和類別不平衡場景

由于現(xiàn)場變壓器不能長期帶隱患運行，加之絕緣缺陷類型的隨機性，新增的局放數(shù)據(jù)存在數(shù)量不足、類別不平衡的特點，因此需要評估增量方法對不同數(shù)據(jù)規(guī)模的適應(yīng)性。首先，在類別平衡的情況下，分析新增數(shù)據(jù)數(shù)量對增量性能的影響。逐漸增加新訓(xùn)練集的樣本量為40、80、200和400，對上述方法進行對比，結(jié)果如圖10所示。

圖10 不同新增樣本數(shù)量下的增量性能

圖10中，在不同的新增樣本數(shù)量下，微調(diào)和LwF的舊數(shù)據(jù)識別率均明顯下降，即表現(xiàn)出對舊知識的災(zāi)難性遺忘，原因是微調(diào)過程缺乏對歷史信息的約束，極易覆蓋前期所學(xué)，而LwF的增量學(xué)習(xí)又高度依賴兩數(shù)據(jù)集間的相似性[19]，因此后文不再對二者進行對比分析；聯(lián)合訓(xùn)練和常規(guī)KD保持了與原始模型相似的舊數(shù)據(jù)識別能力，雖然緩解了遺忘問題，但由于傳統(tǒng)深度網(wǎng)絡(luò)對大規(guī)模數(shù)據(jù)的天然依賴，在新數(shù)據(jù)上，隨著新增樣本量的減少，二者的性能迅速下降；本文方法在常規(guī)KD的基礎(chǔ)上增加GNN層，能夠改善少樣本下學(xué)習(xí)能力的不足，在新數(shù)據(jù)上的測試識別率相較常規(guī)KD分別提升了9.25%、3.5%、3.25%和2.75%。這主要是因為，本文方法將圖數(shù)據(jù)作為一個訓(xùn)練樣本，每個圖數(shù)據(jù)由多個類型局放樣本隨機組合，能夠在少樣本場景下增強訓(xùn)練樣本的多樣性；進一步地，GNN自主學(xué)習(xí)各類型局放樣本間的關(guān)聯(lián)性以及新、舊局放數(shù)據(jù)間的相似性，三者協(xié)同地促進增量更新的進程。

接下來，考察新增數(shù)據(jù)的類別不平衡對增量性能的影響。從新訓(xùn)練集N-train中隨機抽取70個尖端放電、10個沿面放電、100個氣隙放電和40個懸浮放電，構(gòu)成類別不平衡訓(xùn)練集，選擇圖10中表現(xiàn)較優(yōu)異的聯(lián)合訓(xùn)練和常規(guī)KD與本文方法進行對比。訓(xùn)練過程中，每2次迭代進行1輪實時預(yù)測，迭代曲線如圖11所示。隨著訓(xùn)練的進行，三者的識別率逐漸趨于穩(wěn)定，聯(lián)合訓(xùn)練、常規(guī)KD和本文方法最終在新、舊數(shù)據(jù)上的平均識別率分別收斂于92.50%、92.25%和98.00%附近，本文方法的性能最佳。類別不平衡情況下的增量性能對比見表3。分析表3中詳細(xì)的識別率對比可知，模型對舊數(shù)據(jù)的認(rèn)知能力基本不受新增數(shù)據(jù)類別不平衡的影響，但在新數(shù)據(jù)的測試上，前兩者對作為少數(shù)類的沿面放電識別率僅為60%左右，而本文方法利用隨機過采樣的方式構(gòu)建圖數(shù)據(jù)，可以保證每個訓(xùn)練批次中的各類圖數(shù)據(jù)數(shù)量均等，對少數(shù)類放電的識別率提升至92%，緩解了絕緣缺陷隨機性帶來的新增局放數(shù)據(jù)的類別不平衡問題。

圖11 不同方法的迭代曲線

表3 類別不平衡情況下的增量性能對比

Tab.3 Incremental performance with category imbalance

3.5.2 計算資源占用

在深度模型的服役周期內(nèi)需要及時地利用新出現(xiàn)數(shù)據(jù)更新、維護模型，因此減少增量訓(xùn)練中的計算資源占用具有重要意義，特別是對于在資源受限的邊緣側(cè)部署和維護的應(yīng)用場景中尤為重要。不同方法的存儲空間和計算資源占用見表4，統(tǒng)計給出了浮點運算數(shù)、數(shù)據(jù)存儲空間和顯存占用等指標(biāo)。浮點運算數(shù)表示模型前向傳播的計算量大小，結(jié)果表明各方法所訓(xùn)練模型在測試環(huán)節(jié)具有相同的測試計算復(fù)雜度；數(shù)據(jù)存儲空間指存儲訓(xùn)練樣本所需的內(nèi)存空間，由于基于知識蒸餾的方法僅保留和回放少部分舊樣本，所需的內(nèi)存空間僅為聯(lián)合訓(xùn)練的27.3%；顯存占用表示增量訓(xùn)練中對計算資源（GPU）的消耗，在每批次樣本量相等的條件下，本文方法僅占用0.9 GB顯存，相較聯(lián)合訓(xùn)練和常規(guī)KD分別減少了67.9%和18.2%，有利于降低模型部署的硬件要求、實現(xiàn)模型的邊緣終端側(cè)部署與本地更新。

表4 不同方法的存儲空間和計算資源占用

Tab.4 Memory footprint and computing resource usage under different methods

由以上分析可以看出，本文方法既能適應(yīng)新增局放規(guī)模的不確定性，又無需占用大量內(nèi)存和計算資源來存儲和重復(fù)學(xué)習(xí)大規(guī)模舊數(shù)據(jù)，僅輕微地?fù)p失精度，獲得了泛化能力的提升和計算資源消耗的大幅降低，驗證了其對局放增量識別任務(wù)的優(yōu)越性。

3.6 可推廣性分析

除AlexNet網(wǎng)絡(luò)外，LeNet5[5]、ResNet18[9]和MobileNet-V2[10]也常被用于局部放電的類型識別。為了驗證本文方法在不同局部放電識別模型上的可推廣性，依次對訓(xùn)練穩(wěn)定的上述三種深度卷積框架進行增量更新。方便起見，各模型的卷積層通道數(shù)均為64，網(wǎng)絡(luò)次末層的64維輸出作為節(jié)點特征構(gòu)建圖數(shù)據(jù)，新模型均采用一層GNN，其他設(shè)置與3.2節(jié)一致。在3.5節(jié)所述的類別不平衡訓(xùn)練集下，不同深度神經(jīng)網(wǎng)絡(luò)的增量學(xué)習(xí)結(jié)果見表5。

表5 對不同局部放電識別模型的增量學(xué)習(xí)

Tab.5 Incremental learning for different PD models

從表5可以看出，多種常見的局部放電識別模型經(jīng)本文方法增量更新后，對新數(shù)據(jù)均可達到90%以上的識別率，相較于增量更新前提升顯著，而且僅輕微損失舊知識，在舊數(shù)據(jù)上的測試識別率下降均在3%以內(nèi)。由此可見，本文提出的深度增量學(xué)習(xí)不受識別模型的網(wǎng)絡(luò)結(jié)構(gòu)限制，對常見的局放識別深度模型均表現(xiàn)出優(yōu)異的增量效果，驗證了該方法的可推廣性。

4 結(jié)論

針對現(xiàn)有基于深度學(xué)習(xí)的局部放電診斷模型不能進一步學(xué)習(xí)現(xiàn)場新增數(shù)據(jù)的問題，本文提出了一種結(jié)合知識蒸餾和圖神經(jīng)網(wǎng)絡(luò)的局部放電增量識別方法，主要工作與結(jié)論如下：

1）將知識蒸餾法引入局部放電模式識別中，建立了具有自更新能力的深度識別模型，可以在繼承原始模型識別能力的同時，學(xué)習(xí)陸續(xù)到達監(jiān)測平臺的新局放數(shù)據(jù)，逐漸提升泛化能力。

2）為了適應(yīng)新增局放數(shù)據(jù)規(guī)模的不確定性，進一步引入圖神經(jīng)網(wǎng)絡(luò)進行改進。該方法通過隨機組合多個類型局放樣本構(gòu)建圖數(shù)據(jù)，增加了訓(xùn)練樣本的多樣性，又能夠挖掘不同類型樣本間的關(guān)聯(lián)性，彌補了有限樣本的信息不足。

3）與增量前相比，對新數(shù)據(jù)的識別率提升了約18%，且在舊數(shù)據(jù)上與原始模型一致；在少樣本和類別不平衡場景下，識別效果優(yōu)于聯(lián)合訓(xùn)練和常規(guī)KD，所需的硬件資源更少，顯存占用分別下降了67.9%和18.2%，數(shù)據(jù)存儲空間占用也僅為聯(lián)合訓(xùn)練的27.3%（即下降72.7%），使得邊緣智能終端上的模型部署及本地更新成為可能。

4）該方法對基于LeNet5、AlexNet、ResNet、MobileNet-V2等典型網(wǎng)絡(luò)訓(xùn)練的局部放電識別模型均可實現(xiàn)增量式更新，表現(xiàn)出較好的可推廣性。

[1] 李澤, 王輝, 錢勇, 等. 基于加速魯棒特征的含噪局部放電模式識別[J]. 電工技術(shù)學(xué)報, 2022, 37(3): 775-785. Li Ze, Wang Hui, Qian Yong, et al. Pattern recognition of partial discharge in the presence of noise based on speeded up robust features[J]. Transactions of China Electrotechnical Society, 2022, 37(3): 775-785.

[2] 鄧冉, 朱永利, 劉雪純, 等. 基于變量預(yù)測-谷本相似度方法的局部放電中未知類型信號識別[J]. 電工技術(shù)學(xué)報, 2020, 35(14): 3105-3115. Deng Ran, Zhu Yongli, Liu Xuechun, et al. Pattern recognition of unknown types in partial discharge signals based on variable predictive model and tanimoto[J]. Transactions of China Electrotechnical Society, 2020, 35(14): 3105-3115.

[3] 宋思蒙, 錢勇, 王輝, 等. 基于方向梯度直方圖屬性空間的局部放電模式識別改進算法[J]. 電工技術(shù)學(xué)報, 2021, 36(10): 2153-2160. Song Simeng, Qian Yong, Wang Hui, et al. Improved algorithm for partial discharge pattern recognition based on histogram of oriented gradient attribute space[J]. Transactions of China Electrotechnical Society, 2021, 36(10): 2153-2160.

[4] Lu Shibo, Chai Hua, Sahoo A, et al. Condition monitoring based on partial discharge diagnostics using machine learning methods: a comprehensive state-of-the-art review[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2020, 27(6): 1861-1888.

[5] Duan Lian, Hu Jun, Zhao Gen, et al. Identification of partial discharge defects based on deep learning method[J]. IEEE Transactions on Power Delivery, 2019, 34(4): 1557-1568.

[6] 張重遠, 岳浩天, 王博聞, 等. 基于相似矩陣盲源分離與卷積神經(jīng)網(wǎng)絡(luò)的局部放電超聲信號深度學(xué)習(xí)模式識別方法[J]. 電網(wǎng)技術(shù), 2019, 43(6): 1900-1907. Zhang Zhongyuan, Yue Haotian, Wang Bowen, et al. Pattern recognition of partial discharge ultrasonic signal based on similar matrix BSS and deep learning CNN[J]. Power System Technology, 2019, 43(6): 1900-1907.

[7] Song Hui, Dai Jiejie, Sheng Gehao, et al. GIS partial discharge pattern recognition via deep convolutional neural network under complex data source[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2018, 25(2): 678-685.

[8] 朱煜峰, 許永鵬, 陳孝信, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的直流XLPE電纜局部放電模式識別技術(shù)[J]. 電工技術(shù)學(xué)報, 2020, 35(3): 659-668. Zhu Yufeng, Xu Yongpeng, Chen Xiaoxin, et al. Pattern recognition of partial discharges in DC XLPE cables based on convolutional neural network[J]. Transactions of China Electrotechnical Society, 2020, 35(3): 659-668.

[9] Gao Angran, Zhu Yongli, Cai Weihao, et al. Pattern recognition of partial discharge based on VMD-CWD spectrum and optimized CNN with cross-layer feature fusion[J]. IEEE Access, 2020, 8: 151296-151306.

[10] Wang Yanxin, Yan Jing, Sun Qifeng, et al. A MobileNets convolutional neural network for GIS partial discharge pattern recognition in the ubiquitous power internet of things context: optimization, comparison, and application[J]. IEEE Access, 2019, 7: 150226-150236.

[11] 湯奕, 崔晗, 黨杰. 基于繼承思想的時變性電力系統(tǒng)暫態(tài)穩(wěn)定預(yù)測[J]. 中國電機工程學(xué)報, 2021, 41(15): 5107-5119. Tang Yi, Cui Han, Dang Jie. Transient stability prediction of time-varying power systems based on inheritance[J]. Proceedings of the CSEE, 2021, 41(15): 5107-5119.

[12] 范興明, 王超, 張鑫, 等. 基于增量學(xué)習(xí)相關(guān)向量機的鋰離子電池SOC預(yù)測方法[J]. 電工技術(shù)學(xué)報, 2019, 34(13): 2700-2708. Fan Xingming, Wang Chao, Zhang Xin, et al. A prediction method of Li-ion batteries SOC based on incremental learning relevance vector machine[J]. Transactions of China Electrotechnical Society, 2019, 34(13): 2700-2708.

[13] Li Zhizhong, Hoiem D. Learning without forgetting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(12): 2935-2947.

[14] Rebuffi S A, Kolesnikov A, Sperl G, et al. iCaRL: incremental classifier and representation learning[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017: 5533-5542.

[15] Castro F M, Marín-Jiménez M J, Guil N, et al. End-to-end incremental learning[C]//Computer Vision - ECCV 2018, Munich, Germany, 2018: 241-257.

[16] Cheraghian A, Rahman S, Fang Pengfei, et al. Semantic-aware knowledge distillation for few-shot class-incremental learning[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021: 2534-2543.

[17] Garcia V, Bruna J. Few-shot learning with graph neural networks[C]//6th International Conference on Learning Representations, Vancouver, Canada, 2018: 1-13.

[18] Kim J, Kim T, Kim S, et al. Edge-labeling graph neural network for few-shot learning[C]//2019 IEEE/ CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2020: 11-20.

[19] Parisi G I, Kemker R, Part J L, et al. Continual lifelong learning with neural networks: a review[J]. Neural Networks, 2019, 113: 54-71.

[20] 趙振兵, 金超熊, 戚銀城, 等. 基于動態(tài)監(jiān)督知識蒸餾的輸電線路螺栓缺陷圖像分類[J]. 高電壓技術(shù), 2021, 47(2): 406-414. Zhao Zhenbing, Jin Chaoxiong, Qi Yincheng, et al. Image classification of transmission line bolt defects based on dynamic supervision knowledge distillation[J]. High Voltage Engineering, 2021, 47(2): 406-414.

[21] 劉廣一, 戴仁昶, 路軼, 等. 基于圖計算的能量管理系統(tǒng)實時網(wǎng)絡(luò)分析應(yīng)用研發(fā)[J]. 電工技術(shù)學(xué)報, 2020, 35(11): 2339-2348. Liu Guangyi, Dai Renchang, Lu Yi, et al. Graph computing based power network analysis applications[J]. Transactions of China Electrotechnical Society, 2020, 35(11): 2339-2348.

[22] Kearnes S, McCloskey K, Berndl M, et al. Molecular graph convolutions: moving beyond fingerprints[J]. Journal of Computer-Aided Molecular Design, 2016, 30(8): 595-608.

[23] Zhou Xiang, Shen Fumin, Liu Li, et al. Graph convolutional network hashing[J]. IEEE Transactions on Cybernetics, 2020, 50(4): 1460-1472.

Incremental Partial Discharge Recognition Method Combining Knowledge Distillation with Graph Neural Network

Zhang Yi Zhu Yongli

（School of Electrical and Electronic Engineering North China Electric Power University Baoding 071003 China）

Partial discharge (PD) is the primary hidden danger threatening the insulation safety of high-voltage power equipment. Typically, there is some correlation between discharge type and insulation damage, so that by identifying the PD types, a large number of insulation faults can be predicted or detected in a timely manner. Recently, deep learning (DL) technology has been gradually applied in PD, showing excellent performance in PD pattern recognition. However, its learning process terminates after learning all the current data at once, which means that those PD recognition models cannot be gradually trained on the new PD data collected later. To address it, an incremental learning method combining knowledge distillation and graph neural network (GNN) for PD recognition is proposed in this paper, which can gradually expand the generalization ability of the original recognition model.

Firstly, a deep neural network (DNN) is trained as the original modelwith the old PD data set. Then, according to the knowledge distillation theory, the prior knowledge fromis transferred to avoid forgetting in the process of incremental training by replaying a small amount of old PD data, and meanwhile, the new PD data can be learned with the prior knowledge assistance, which improves the generalization ability of the. Finally, to adapt to the uncertainty of the new data size, it adopts the GNN layers to extract the abundant correlation information among various types of PD data, making up for the information shortage of limited samples. In this way, the DL-based PD model learns the continuously increasing PD data efficiently without retraining on all the old PD data and achieves better incremental recognition with different set sizes of the new data.

The experimental results show that with sufficient new PD data, the proposed incremental PD recognition method increases the accuracy by roughly 18%. In contrast to the traditional knowledge distillation, the proposed method with GNN increases the recognition accuracy by 2.75% to 9.25% on several new datasets with fewer samples, and reduces the adverse effects of unbalanced categories that are normally caused by the randomness of insulation defects. Moreover, the method has excellent generalization properties and is also effective on the incremental updates of other PD recognition models such as AlexNet, ResNet or MobileNet based models. More significantly, it requires less computational resources than retraining, reducing its GPU and RAM footprint by 67.9% and 72.7%, respectively.

The following conclusions can be drawn from the experiments analysis: (1) By introducing the knowledge distillation theory, the DL-based PD recognition model can inherit the recognition ability of original PD model as well as learn the new PD data gradually arriving at the monitoring platform, which is beneficial to improve the generalization ability of PD models. (2) The added GNN builds the graph data by randomly combining multiple types of PD samples, which increases the diversity of training samples. Therefore, it is appropriate to apply GNN to incrementally learn limited samples or imbalanced datasets in categories. (3) Compared to retrain model, this method requires less hardware resources in incremental training, making the deployment and local maintenance of the DL-based PD recognition models possible. (4) Furthermore, the proposed method is a universal incremental method so that it is effective on numerous common PD recognition models based on classical DNNs.

Partial discharge, deep learning, incremental learning, knowledge distillation, graph neural network

河北省自然科學(xué)基金（F2022502002）、國家自然科學(xué)基金（51677072）和特高壓工程技術(shù)（昆明、廣州）國家工程實驗室開放基金資助項目。

2022-02-27

2022-03-24

10.19595/j.cnki.1000-6753.tces.220285

TM85

張 翼 男，1994年生，博士研究生，研究方向為輸變電設(shè)備在線監(jiān)測與故障診斷。E-mail：pw_zhangyi@163.com（通信作者）

朱永利 男，1963年生，教授，博士生導(dǎo)師，研究方向為電力設(shè)備大數(shù)據(jù)分析與智能電網(wǎng)。E-mail：yonglipw@163.com

（編輯 李冰）