岳云飛,孫 抗,2
(1.河南理工大學(xué) 電氣工程與自動(dòng)化學(xué)院;2.河南省煤礦裝備智能檢測與控制重點(diǎn)實(shí)驗(yàn)室,河南 焦作 454003)
電纜是配電網(wǎng)及大規(guī)模清潔能源接入的關(guān)鍵基礎(chǔ)設(shè)備,其可靠性關(guān)系到電力系統(tǒng)的安全穩(wěn)定運(yùn)行。我國日益增長的對更清潔、更低碳的綠色電網(wǎng)的需求使電纜在電力系統(tǒng)中扮演著愈發(fā)重要的角色。局部放電是電纜絕緣劣化的重要表征,對于不同類型的絕緣缺陷,其局部放電的表征也有所區(qū)別[1]。通過識別局部放電模式,獲知電纜絕緣缺陷類型,可為評估電纜絕緣缺陷風(fēng)險(xiǎn),逐步實(shí)現(xiàn)狀態(tài)檢修提供可靠依據(jù)[2]。
隨著電力大數(shù)據(jù)時(shí)代的到來,深度學(xué)習(xí)將在電力行業(yè)具有廣闊的應(yīng)用前景[3]。由于電纜運(yùn)行時(shí)故障發(fā)生頻率較低,且故障案例與異常樣本信息存在缺失、不完善等問題,現(xiàn)有有效標(biāo)注的樣本規(guī)模較小,嚴(yán)重影響了深度神經(jīng)網(wǎng)絡(luò)分類器的識別效果。業(yè)內(nèi)學(xué)者針對少樣本條件下的局部放電模式識別進(jìn)行了大量研究,總體上可分為基于數(shù)據(jù)增廣的學(xué)習(xí)方法與基于模型簡化的學(xué)習(xí)方法兩大類。
基于數(shù)據(jù)增廣的少樣本學(xué)習(xí)方法多借助先驗(yàn)知識擴(kuò)大樣本規(guī)?;蚱胶鈽颖绢悇e,如隨機(jī)過采樣算法(Random Oversampling,ROS)、合成少數(shù)類過采樣方法(Synthetic Minority Oversampling Technique,SMOTE)等。劉云鵬等[4]采用一種基于梯度懲罰優(yōu)化的條件式Wasserstein 生成對抗網(wǎng)絡(luò)模型,有效增廣了少數(shù)類樣本。隨著Alex-Net、VGGNet、GoogLeNet 以及ResNet 等深度卷積網(wǎng)絡(luò)模型逐步應(yīng)用于局部放電模式識別,局放樣本不足的問題愈加突出。劉文浩等[5]提出一種基于可變噪音的局部放電樣本擴(kuò)充方法,緩解了局部放電樣本數(shù)目不足的問題。史晉濤等[6]則利用圖像合成技術(shù)擴(kuò)充樣本數(shù)目,提高了深度卷積網(wǎng)絡(luò)模型的識別效果。
基于模型簡化的方法一般通過減少分類模型的訓(xùn)練參數(shù),提高分類模型的搜索效率。苑津莎等[7]通過降低特征參數(shù)的維數(shù)與簡化概率神經(jīng)網(wǎng)絡(luò)分類器結(jié)構(gòu)的方法,提高了分類器在少樣本情況下的識別率。Liu 等[8]采用遷移學(xué)習(xí)的方法,緩解了深度卷積網(wǎng)絡(luò)模型在少樣本條件下的梯度消失問題,在提高網(wǎng)絡(luò)模型識別精度的同時(shí),減輕了模型計(jì)算和存儲的壓力。Liu 等[9]在少樣本條件下,設(shè)計(jì)了一種只有3000 多個(gè)參數(shù)的超微卷積神經(jīng)網(wǎng)絡(luò),顯著降低了網(wǎng)絡(luò)模型的復(fù)雜度。
對于少樣本條件下的電纜局部放電模式識別,本文從數(shù)據(jù)增廣與模型簡化兩方面入手,針對局部放電相位分布模式(Phase-Resolved Partial Discharge,PRPD)灰度圖提出一種基于深度卷積生成對抗網(wǎng)絡(luò)(Deep Convolution Generative Adversarial Network,DCGAN)的數(shù)據(jù)增廣方法,并構(gòu)造了基于盒維數(shù)的評價(jià)指標(biāo)衡量生成樣本的有效性。在模型簡化方面,以深度殘差網(wǎng)絡(luò)為基礎(chǔ),分別從殘差模塊、網(wǎng)絡(luò)深度兩個(gè)方面簡化深度殘差網(wǎng)絡(luò)(Deep Residual Network,ResNet)結(jié)構(gòu),使其匹配小規(guī)模局部放電數(shù)據(jù)集。
DCGAN 主要由生成模型與判別模型組成。生成模型可將輸入的隨機(jī)變量變成與真實(shí)樣本類似的生成樣本,判別模型則通過學(xué)習(xí)真實(shí)樣本的特征來鑒別生成樣本是否真實(shí)[10]。兩個(gè)模型經(jīng)過零和博弈,最終達(dá)到納什均衡[11]。DCGAN 博弈目標(biāo)函數(shù)如式(1)所示:
式中,x表示真實(shí)樣本,Pr(x)是x的概率分布,z表示噪聲輸入,Pg(z)表示z的概率分布,G(z)表示生成模型產(chǎn)生的生成樣本,D(·)表示判別模型判定該樣本為真實(shí)樣本的概率。
對于生成模型G,希望其能生成與真實(shí)樣本相同的樣本G(z),即數(shù)學(xué)模型D(G(z))=1,1 -D(G(z))=0,從而最小化模型G。損失函數(shù)如式(2)所示:
對于判別模型D,希望其能準(zhǔn)確地判斷輸入的樣本為真實(shí)樣本還是生成樣本。輸入真實(shí)樣本x時(shí),數(shù)學(xué)模型D(x)=1,輸入生成樣本G(z)時(shí),數(shù)學(xué)模型D(G(z))=0,即最大化模型D,損失函數(shù)如式(3)所示:
DCGAN 生成模型利用反卷積的方法將隨機(jī)變量生成一組PRPD 灰度圖,生成灰度圖與真實(shí)灰度圖將由判別模型來判定,判別模型的判別結(jié)果反向傳播,并進(jìn)一步優(yōu)化生成模型與判別模型,最終生成模型產(chǎn)生使判別模型無法準(zhǔn)確判定的PRPD 灰度圖。DCGAN 作為一種由GAN 發(fā)展而來的一種新模型,其特點(diǎn)是利用步長卷積代替上采樣層,充分發(fā)揮卷積層能提取樣本深層次特征的優(yōu)勢[12]。
利用評價(jià)指標(biāo)衡量生成樣本的質(zhì)量,是判斷數(shù)據(jù)增廣技術(shù)是否有效的重要方法。在圖像識別領(lǐng)域,常選擇Laplacian 梯度[13]、灰度方差函數(shù)等指標(biāo),這些指標(biāo)通過評價(jià)生成樣本的清晰度來判定生成樣本的質(zhì)量,指標(biāo)數(shù)值越大,表明生成樣本的清晰度越高。對于電纜PRPD 灰度圖,其真實(shí)樣本的清晰度偏低,所以生成樣本的清晰度也偏低,導(dǎo)致這些指標(biāo)對灰度圖生成樣本質(zhì)量的評價(jià)效果一般。因此,文中提出一種基于盒維數(shù)的生成樣本評價(jià)指標(biāo),通過衡量生成樣本與真實(shí)樣本的特征相似性,判斷生成樣本的質(zhì)量。
盒維數(shù)作為一種分形特征,因具有易于經(jīng)驗(yàn)估計(jì)、程序化計(jì)算等優(yōu)點(diǎn)而常被應(yīng)用于灰度圖像的特征提?。?4]。針對同一類型的PRPD 灰度圖,分別提取其真實(shí)樣本與生成樣本的盒維數(shù),對比其數(shù)值。盒維數(shù)的數(shù)值差越小,生成樣本的特征與真實(shí)樣本的特征越相似,即生成樣本的質(zhì)量越好。盒維數(shù)的計(jì)算方法如下:
將PRPD 灰度圖用曲面z=f(x,y)表示,其中,z表示圖像像素的灰度值,x和y表示圖像各像素的位置。將整個(gè)x-y圖像平面分成大小為r×r的網(wǎng)格,每個(gè)網(wǎng)格對應(yīng)于三維空間中一疊大小為r×r×r的盒子,設(shè)在(i,j)的格子中,PRPD 灰度圖的灰度最大值位于第l個(gè)盒子內(nèi),最小值位于第k個(gè)盒子內(nèi),則在第(i,j)個(gè)網(wǎng)格中,覆蓋灰度圖曲面的盒子數(shù)為:
所有網(wǎng)格中的盒子總數(shù)為:
式中,r 為盒子尺度,在不同盒子尺度r下,可計(jì)算得到不同的盒子總數(shù)Nr,從而得到序列(r(i),Nr(i))。將序列(r(i),Nr(i)) 表示在雙對數(shù)坐標(biāo)系上,得到對數(shù)序列(logr(i),logNr(i)),進(jìn)而確定對數(shù)序列的分形無標(biāo)度區(qū)。在分形無標(biāo)度區(qū)內(nèi)采用最小二乘法計(jì)算對數(shù)序列(logr(i),logNr(i))的負(fù)斜率,此負(fù)斜率即灰度圖盒維數(shù)DV。盒維數(shù)DV的計(jì)算公式如式(6)所示:
為緩解卷積神經(jīng)網(wǎng)絡(luò)因網(wǎng)絡(luò)加深而出現(xiàn)的網(wǎng)絡(luò)退化、梯度消失等問題,何愷明等[15]在卷積神經(jīng)網(wǎng)絡(luò)中引入恒等映射的設(shè)計(jì),創(chuàng)造性地發(fā)明了深度殘差網(wǎng)絡(luò)。深度殘差網(wǎng)絡(luò)是以深度卷積網(wǎng)絡(luò)為基礎(chǔ),并增加了殘差模塊的網(wǎng)絡(luò)[16]。圖1(a)表示無殘差模塊的卷積神經(jīng)網(wǎng)絡(luò)的隱藏層,將輸入x經(jīng)卷積等操作后,轉(zhuǎn)換為期望輸出H(x)。卷積操作如下[17]:
圖1(b)所示殘差模塊一是殘差網(wǎng)絡(luò)模型中最常用的殘差模塊,與圖1(a)最大的不同是,在其基礎(chǔ)上引入了恒等映射,并使用批標(biāo)準(zhǔn)化(Batch Normalization,BN)和ReLu激活函數(shù),從而使實(shí)際輸出變?yōu)椋?/p>
F(x)是輸入x經(jīng)轉(zhuǎn)換得到的殘差函數(shù)。引入恒等映射后,網(wǎng)絡(luò)由原來x到H(x)的映射,轉(zhuǎn)變?yōu)閷W(xué)習(xí)F(x)和x的加和,在提升模型學(xué)習(xí)能力的同時(shí),也簡化了模型的訓(xùn)練難度[18]。
殘差模塊一直接將輸入x與F(x)加和,則必須保證輸入與輸出的特征圖維度相同,其缺點(diǎn)是不易提取樣本的深層次特征。圖1(c)中的殘差模塊二與殘差模塊一的基本結(jié)構(gòu)相似,但殘差模塊二采用了步長為2 的卷積層作為捷徑連接,使其可以改變輸入特征圖的維度,從而使殘差網(wǎng)絡(luò)能從多個(gè)維度提取樣本特征。
Fig.1 Different types of residual modules圖1 不同類型的殘差模塊
雖然利用DCGAN 數(shù)據(jù)增廣可以擴(kuò)充電纜PRPD 灰度圖樣本數(shù)目,改善分類模型的識別效果,但與圖像識別領(lǐng)域中的ImageNet 圖像數(shù)據(jù)集相比,文中所構(gòu)建的電纜局部放電數(shù)據(jù)集偏小。原始?xì)埐罹W(wǎng)絡(luò)模型結(jié)構(gòu)復(fù)雜,數(shù)據(jù)集規(guī)模與模型結(jié)構(gòu)仍不匹配。為提升殘差網(wǎng)絡(luò)在少樣本條件下對電纜PRPD 灰度圖的識別效果,本文研究了有無殘差模塊、網(wǎng)絡(luò)深度對殘差網(wǎng)絡(luò)的影響,并提出一種簡化的殘差網(wǎng)絡(luò)模型。
2.2.1 殘差模塊對比分析
搭建了殘差網(wǎng)絡(luò)在含有殘差模塊一、殘差模塊二以及無殘差模塊三種情況下的模型。圖2 描述了三種情況下網(wǎng)絡(luò)模型的訓(xùn)練過程,圖3為三種情況下網(wǎng)絡(luò)模型的測試精度。
由圖2 與圖3 可知,具有殘差模塊的網(wǎng)絡(luò)模型明顯優(yōu)于沒有殘差模塊的網(wǎng)絡(luò)模型。由于殘差模塊可以緩解梯度消失以及網(wǎng)絡(luò)退化問題,因此減少了網(wǎng)絡(luò)模型的訓(xùn)練損失,且提高了網(wǎng)絡(luò)模型的識別精度。殘差模塊二通過對特征圖進(jìn)行升維或降維操作,避免了每一層的特征圖都是相同維度的現(xiàn)象,因此殘差模塊二對模型性能的提升要優(yōu)于殘差模塊一。
2.2.2 網(wǎng)絡(luò)深度對比分析
Fig.2 Training process of network model圖2 網(wǎng)絡(luò)模型的訓(xùn)練過程
Fig.3 Test accuracy of network model圖3 網(wǎng)絡(luò)模型的測試精度
殘差模塊的個(gè)數(shù)影響著殘差網(wǎng)絡(luò)的深度,殘差網(wǎng)絡(luò)在具有不同殘差模塊個(gè)數(shù)下的測試精度如圖4 所示。網(wǎng)絡(luò)模型在含有2 個(gè)或3 個(gè)殘差模塊時(shí),網(wǎng)絡(luò)模型的測試精度在迭代10 次后趨于穩(wěn)定,在含有4 個(gè)殘差模塊時(shí)需迭代20次以上才趨于穩(wěn)定,這是由于網(wǎng)絡(luò)結(jié)構(gòu)過深時(shí),網(wǎng)絡(luò)模型需要訓(xùn)練的參數(shù)增多,所需訓(xùn)練時(shí)間也越長,因此測試精度波動(dòng)較大。
2.2.3 簡化后的殘差網(wǎng)絡(luò)
通過上述分析,搭建了一種能較好地識別電纜PRPD灰度圖的殘差網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。簡化的殘差網(wǎng)絡(luò)主要由卷積層、池化層、殘差模塊二和全連接層組成。網(wǎng)絡(luò)中卷積核的大小選為3 × 3,在每次卷積操作后加入BN 層,并選取ReLu 作為激活函數(shù)。
基于簡化后的殘差網(wǎng)絡(luò)模型,并結(jié)合DCGAN 數(shù)據(jù)增廣,提出了基于DCGAN 與ResNet 的電纜局部放電模式識別方法,流程如圖6所示。具體步驟如下:
步驟1:在實(shí)驗(yàn)室環(huán)境下搭建試驗(yàn)平臺,制造4 種常見絕緣缺陷并采集局部放電信號。
Fig.4 Test accuracy of network model with different depths圖4 不同深度的網(wǎng)絡(luò)模型測試精度
Fig.5 Structure of simplified residual network圖5 簡化的殘差網(wǎng)絡(luò)結(jié)構(gòu)
步驟2:提取有效局部放電脈沖的工頻相位φ、放電量q和放電次數(shù)n,并構(gòu)造4種絕緣缺陷類型的PRPD 灰度圖。
步驟3:利用DCGAN 對PRPD 灰度圖進(jìn)行數(shù)據(jù)增廣,將生成樣本和真實(shí)樣本組合為訓(xùn)練樣本集。
步驟4:利用訓(xùn)練樣本集訓(xùn)練結(jié)構(gòu)簡化的深度殘差網(wǎng)絡(luò)。
步驟5:利用結(jié)構(gòu)簡化的深度殘差網(wǎng)絡(luò)對測試樣本集中的樣本進(jìn)行分類,得到識別結(jié)果。
搭建試驗(yàn)系統(tǒng)如圖7 所示,該系統(tǒng)主要由升壓部分、局部放電檢測部分、電纜絕緣缺陷模型、示波器構(gòu)成。
將連續(xù)200 個(gè)周期的局部放電信號轉(zhuǎn)換為一張PRPD灰度圖,如圖8 所示,最終得到700 張PRPD 灰度圖,4 種絕緣缺陷各占175 張。由圖8 可知,主絕緣外表面劃痕,主絕緣表面金屬污穢以及外半導(dǎo)電層爬電三種絕緣缺陷的局部放電主要集中在180~270°之間,而絕緣內(nèi)部氣隙缺陷的局部放電主要集中于10°~90°之間。4 種電纜絕緣缺陷的局部放電特征與文獻(xiàn)[19]所述基本一致,驗(yàn)證了試驗(yàn)的有效性。
Fig.6 Flow of the algorithm圖6 算法流程
Fig.7 Cable partial discharge detection system structure圖7 電纜局部放電檢測系統(tǒng)結(jié)構(gòu)
將每類絕緣缺陷的PRPD 灰度圖按5:2 的比例劃分,即700 張真實(shí)樣本被分為500 張訓(xùn)練樣本與200 張測試樣本。利用DCGAN 對500 張訓(xùn)練樣本進(jìn)行擴(kuò)充,最終得到數(shù)目為1000 的訓(xùn)練樣本集。測試樣本集由200 張真實(shí)樣本組成。
3.2.1 DCGAN數(shù)據(jù)增廣的有效性分析
隨機(jī)選取100 張真實(shí)樣本和100 張生成樣本,并分別計(jì)算其盒維數(shù)均值,如表1所示。
Table 1 Comparison of box dimensions of real samples and generated samples表1 真實(shí)樣本與生成樣本的盒維數(shù)對比
由表1 可知,4 種絕緣缺陷類型的盒維數(shù)具有明顯差異,且分布在不同的數(shù)值區(qū)間。對于同一缺陷類型,生成樣本的盒維數(shù)數(shù)值相近于真實(shí)樣本,表明DCGAN 生成的樣本與真實(shí)樣本具有相似的特征。為進(jìn)一步驗(yàn)證文中所提數(shù)據(jù)增廣方法的有效性,設(shè)置了兩個(gè)數(shù)據(jù)集:一是原始訓(xùn)練樣本集;二是利用DCGAN 增廣樣本后的訓(xùn)練樣本集。使用這兩種訓(xùn)練樣本集分別訓(xùn)練原始ResNet 和結(jié)構(gòu)簡化的深度殘差網(wǎng)絡(luò),識別結(jié)果如表2所示。
Fig.8 PRPD grayscale images of four typical insulation defects圖8 4種典型絕緣缺陷的PRPD灰度圖
由表2 可知,對于結(jié)構(gòu)簡化后的殘差網(wǎng)絡(luò),使用DCGAN 增廣樣本能大幅提高其模型的識別準(zhǔn)確率,準(zhǔn)確率達(dá)到了98.5%,與原始訓(xùn)練樣本集相比,識別準(zhǔn)確率提高了7%。不僅如此,原始ResNet 的識別率也因使用了增廣后的樣本集而得到提升,驗(yàn)證了DCGAN 數(shù)據(jù)增廣的有效性。
Table 2 Recognition accuracy before and after data augmentation表2 增廣樣本前后的識別準(zhǔn)確率
3.2.2 簡化殘差網(wǎng)絡(luò)識別結(jié)果及分析
利用增廣訓(xùn)練樣本集分別對簡化后的殘差網(wǎng)絡(luò)以及原始ResNet 進(jìn)行訓(xùn)練,采用Adam 優(yōu)化器,初始學(xué)習(xí)率設(shè)為0.0001,最后使用測試樣本集測試。兩個(gè)模型的識別混淆矩陣如圖9所示。
Fig.9 Confusion matrix of the two models圖9 兩種模型的混淆矩陣
從圖9 可知,簡化后的殘差網(wǎng)絡(luò)對爬電和氣隙兩種絕緣缺陷的識別率達(dá)到了100%,與原始ResNet 相比,簡化后的殘差網(wǎng)絡(luò)提升了對劃痕和污穢兩種缺陷的識別率,分別提升了12.0%和6.0%。兩種網(wǎng)絡(luò)模型都容易將污穢缺陷誤判為劃痕缺陷,可能是由于這兩種缺陷的局部放電灰度圖相似度較高,導(dǎo)致模型誤判。
在訓(xùn)練速度上,簡化后的殘差網(wǎng)絡(luò)比原始ResNet 更具優(yōu)勢,兩種模型的迭代速度如圖10 所示。兩種模型在首次迭代時(shí)所需的時(shí)間最長,且都呈現(xiàn)遞減趨勢。隨著迭代次數(shù)的增加,每次迭代所需的時(shí)間趨于穩(wěn)定。原始ResNet的平均迭代時(shí)間為86.5s,而結(jié)構(gòu)簡化的ResNet 的平均迭代時(shí)間僅為7.3s。這是由于簡化的ResNet 僅含3 個(gè)殘差模塊,減少了模型訓(xùn)練參數(shù),因此減少了模型的迭代時(shí)間。
3.2.3 與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型的對比分析
Fig.10 The training speed of the two models圖10 兩種模型的訓(xùn)練速度
為驗(yàn)證文中所提方法在電纜局部放電模式識別中的識別性能,搭建AlexNet、VGG-Net、GoogLeNet、ResNet 等具有代表性的深度卷積網(wǎng)絡(luò)模型作橫向?qū)Ρ?。其中,AlexNet模型由5 層卷積層和3 層全連接組成;VGG 模型采用VGG-16結(jié)構(gòu),使用3 × 3的卷積核;搭建的GoogLeNet 模型為22 層,由2 個(gè)輔助輸出模塊和一個(gè)輸出模塊組成;ResNet 采用ResNet-18 結(jié)構(gòu)。四種模型均使用增廣后的訓(xùn)練樣本集訓(xùn)練,各模型的識別準(zhǔn)確率如圖11 所示。實(shí)驗(yàn)結(jié)果表明,簡化后的殘差網(wǎng)絡(luò)對PRPD 灰度圖的識別準(zhǔn)確率明顯優(yōu)于其他網(wǎng)絡(luò)模型。由于VGG-Net 模型結(jié)構(gòu)復(fù)雜,需訓(xùn)練的參數(shù)較多,導(dǎo)致其識別準(zhǔn)確率較低,僅為79.5%。
Fig.11 The recognition accuracy of different network models圖11 不同網(wǎng)絡(luò)模型的識別準(zhǔn)確率
針對電纜PRPD 灰度圖樣本數(shù)目與深度殘差網(wǎng)絡(luò)結(jié)構(gòu)不匹配的問題,提出了一種少樣本條件下的電纜局部放電模式識別方法。在數(shù)據(jù)增廣方面,文中通過深度卷積生成對抗網(wǎng)絡(luò)將PRPD 灰度圖的樣本數(shù)目擴(kuò)充了一倍,之后提取生成樣本與真實(shí)樣本的盒維數(shù),并從特征相似性的角度評估了DCGAN 生成樣本的質(zhì)量。在模型簡化方面,從殘差模塊和網(wǎng)絡(luò)深度兩個(gè)角度對原始?xì)埐罹W(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行簡化,最終設(shè)計(jì)了一種具有3 個(gè)殘差模塊的網(wǎng)絡(luò)模型。實(shí)驗(yàn)結(jié)果顯示,簡化后的殘差網(wǎng)絡(luò)模型的訓(xùn)練速度更快,在PRPD 灰度圖樣本集上的識別準(zhǔn)確率達(dá)到了98.5%,相比原始?xì)埐罹W(wǎng)絡(luò)模型提高了5.5%。然而,文中僅對實(shí)驗(yàn)室條件下的4 種典型絕緣缺陷進(jìn)行了有效識別,對于電纜現(xiàn)場各類故障的適用性仍需進(jìn)一步研究。