吳衛(wèi)堃，宮士營(yíng)，鄭耀華，單超，董傳友

（1.廣東電網(wǎng)有限責(zé)任公司肇慶供電局，廣東 肇慶 526000；2.山東科匯電力自動(dòng)化股份有限公司，山東 淄博 255087；3.哈爾濱理工大學(xué)電氣與電子工程學(xué)院，黑龍江 哈爾濱 150080）

交聯(lián)聚乙烯（XLPE）絕緣電纜被廣泛應(yīng)用于電力網(wǎng)絡(luò)的輸、配電系統(tǒng)，XLPE電纜的健康狀況與電力系統(tǒng)的穩(wěn)定和持久密不可分。對(duì)XLPE電纜故障進(jìn)行智能化診斷，可為檢修維護(hù)、資源更換提供指導(dǎo)性意見(jiàn)。

目前，機(jī)器學(xué)習(xí)算法被廣泛應(yīng)用在電氣設(shè)備的智能化診斷與檢測(cè)，深度學(xué)習(xí)方法（即具有多層次非線性變換的機(jī)器學(xué)習(xí)方法）已成為電氣設(shè)備智能診斷的有效工具[1]。為了取代傳統(tǒng)的人工特征提取，深度學(xué)習(xí)方法從原始局部放電信號(hào)中自主學(xué)習(xí)特征，建立故障種類與特征間的映射關(guān)系。各類深度學(xué)習(xí)已經(jīng)用于電纜的故障診斷，如文獻(xiàn)[2-3]采用卷積神經(jīng)網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)進(jìn)行直流XLPE電纜的局部放電模式識(shí)別；文獻(xiàn)[4]提出了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)的電纜故障診斷方法；文獻(xiàn)[5]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的高壓電纜局部放電模式識(shí)別方法，并研究了不同網(wǎng)絡(luò)層數(shù)、不同激活函數(shù)以及不同池化方式對(duì)識(shí)別效果的影響。然而，對(duì)于傳統(tǒng)的深度學(xué)習(xí)方法來(lái)說(shuō)，參數(shù)優(yōu)化往往需要耗費(fèi)大量工作時(shí)間；此外由于誤差函數(shù)的梯度值必須逐層反向傳播，經(jīng)過(guò)若干層后傳播逐漸變得不準(zhǔn)確，導(dǎo)致初始層中的可訓(xùn)練參數(shù)不能有效優(yōu)化[6]。而深度殘差網(wǎng)絡(luò)（residual network，ResNet）作為卷積神經(jīng)網(wǎng)絡(luò)的變體，通過(guò)短路連接來(lái)緩解參數(shù)優(yōu)化的問(wèn)題[7]。

由于現(xiàn)場(chǎng)采集電纜的局部放電十分微弱，且容易被運(yùn)行環(huán)境中多種較高水平的噪聲嚴(yán)重干擾甚至淹沒(méi)。在處理含高噪聲局部放電信號(hào)時(shí)，ResNet的特征學(xué)習(xí)能力往往會(huì)下降，由于噪聲的干擾，基于卷積核作為局部特征抽取器的ResNet可能無(wú)法檢測(cè)出故障相關(guān)特征[8]。在這種情況下，輸出層學(xué)習(xí)到的高級(jí)特征往往不足以區(qū)分故障。因此，有必要研究高噪聲環(huán)境下局部放電故障診斷的深度學(xué)習(xí)方法。

文中提出了一種深度殘差收縮網(wǎng)絡(luò)（deep residual shrinkage network，DRSN）的高噪聲環(huán)境下XLPE電纜故障識(shí)別方法，即通過(guò)將軟閾值作為非線性變換層嵌入到網(wǎng)絡(luò)深層結(jié)構(gòu)中，并引入軟注意力機(jī)制對(duì)軟閾值進(jìn)行加權(quán)優(yōu)化，使得網(wǎng)絡(luò)具有通道共享閾值的能力，從而加強(qiáng)深度神經(jīng)網(wǎng)絡(luò)從高噪聲局部放電信號(hào)中特征學(xué)習(xí)的能力，進(jìn)而提高電纜故障診斷精度。

1 深度殘差收縮網(wǎng)絡(luò)

1.1 深度殘差網(wǎng)絡(luò)

ResNet是近年來(lái)引起廣泛關(guān)注的一種新興深度學(xué)習(xí)方法[9]。殘差建造單元（residual building units，RBU）是ResNet的基本組成部分，其結(jié)構(gòu)如圖1所示，在RBU結(jié)構(gòu)中包含2個(gè)批量歸一化單元（batch normalization，BN）、2個(gè)整流線性單元（rectifier linear unit，ReLU）、2個(gè)卷積層和短路連接構(gòu)成。

圖1 RBU結(jié)構(gòu)Fig.1 RBU structure

通常在傳統(tǒng)的深度學(xué)習(xí)方法中，交叉熵誤差的梯度是逐層反向傳播的，經(jīng)過(guò)若干層的傳播后，梯度值逐漸變得不準(zhǔn)確，導(dǎo)致初始層中的可訓(xùn)練參數(shù)不能有效優(yōu)化。而ResNet使用短路連接的方式使梯度值可以有效地流向靠近輸入層的初始網(wǎng)絡(luò)層，從而更有效地更新訓(xùn)練參數(shù)。圖2為ResNet的總體架構(gòu)，ResNet由輸入層、卷積層、全局池化層（global average pooling，GAP），RBU，BN，ReLU和輸出全連接層組成。

圖2 ResNet結(jié)構(gòu)Fig.2 ResNet structure

1.2 軟閾值處理

軟閾值處理是很多信號(hào)去噪方法的關(guān)鍵步驟[10]。通過(guò)將絕對(duì)值小于某個(gè)閾值的特征刪除，將絕對(duì)值大于某個(gè)閾值的特征朝著零的方向進(jìn)行收縮。例如，小波閾值法作為一種經(jīng)典的信號(hào)去噪方法，通常由小波分解、軟閾值法和小波重構(gòu)三個(gè)步驟組成。為了保證良好的信號(hào)去噪性能，小波閾值法的核心關(guān)鍵是設(shè)計(jì)濾波器，將有用信息轉(zhuǎn)化為極正或極負(fù)的特征，將噪聲信息轉(zhuǎn)化為接近零的特征。然而，設(shè)計(jì)這樣的濾波器需要很多信號(hào)處理方面的專業(yè)知識(shí)，這限制了小波閾值法的廣泛應(yīng)用。

深度學(xué)習(xí)為解決上述問(wèn)題提供了新的途徑，通過(guò)梯度下降算法自主學(xué)習(xí)濾波器特征，將軟閾值處理與深度學(xué)習(xí)相結(jié)合進(jìn)行噪聲相關(guān)信息的消除和高分辨特征的重構(gòu)。軟閾值函數(shù)可表示為

式中：x為輸入特征；y為輸出特征；τ為閾值，即正參數(shù)。

軟閾值處理并未將ReLU激活函數(shù)中負(fù)特征設(shè)置為零，而是將接近零值的特征設(shè)置為零，這樣就保留了有用的負(fù)值特征。

在經(jīng)典的信號(hào)去噪算法中，很難設(shè)定一個(gè)合適的閾值。而且最佳閾值應(yīng)該根據(jù)處理對(duì)象的不同做一定程度上的改變。針對(duì)這一問(wèn)題，如何智能化確定閾值成為了關(guān)鍵。

1.3 深度殘差收縮網(wǎng)絡(luò)

DRSN將軟閾值作為非線性變換層嵌入到網(wǎng)絡(luò)深層結(jié)構(gòu)中，并引入軟注意力機(jī)制對(duì)軟閾值進(jìn)行加權(quán)優(yōu)化，使得網(wǎng)絡(luò)具有通道共享閾值的能力，從而加強(qiáng)深度神經(jīng)網(wǎng)絡(luò)從高噪聲局部放電信號(hào)中特征學(xué)習(xí)的能力。

圖3為具有通道域共享閾值的殘差收縮單元（residual shrinkage building unit，RSBU）。不同于RBU結(jié)構(gòu)，RSBU具有閾值學(xué)習(xí)模塊，可將閾值學(xué)習(xí)模塊理解成一種特殊的注意力機(jī)制：當(dāng)注意到與當(dāng)前任務(wù)無(wú)關(guān)的特征時(shí)，通過(guò)軟閾值化，將它們置為零；當(dāng)注意到與當(dāng)前任務(wù)有關(guān)的特征時(shí)，將它們保留下來(lái)，以此實(shí)現(xiàn)深度注意力機(jī)制下的軟閾值化[11]。通過(guò)虛線框內(nèi)的子網(wǎng)絡(luò)，對(duì)各個(gè)特征通道進(jìn)行軟閾值化。

圖3 RSBU結(jié)構(gòu)Fig.3 RSBU structure

閾值學(xué)習(xí)模塊工作原理如下：首先，對(duì)輸入特征圖進(jìn)行全連接和全局池化，并取所有特征的絕對(duì)值，記為x；然后，將絕對(duì)值化后的特征經(jīng)過(guò)歸一化和線性化，此時(shí)特征記為z；最后，將特征點(diǎn)z輸入到以Sigmoid函數(shù)作為最后一層的全連接網(wǎng)絡(luò)，將輸出值歸一化到0～1之間，獲得系數(shù)a。最終閾值w可由下式表示：

基于該方法進(jìn)行閾值學(xué)習(xí)，不僅保證了閾值為正，而且不會(huì)太大，這樣就保證了不同的樣本有了不同的閾值。堆疊一定數(shù)量的RSBU模塊以及輸入層、卷積層、GAP，RBU，BN，ReLU和輸出全連接層就得到了完整的深度殘差收縮網(wǎng)絡(luò)，DRSN結(jié)構(gòu)如圖4所示。

圖4 DRSN結(jié)構(gòu)Fig.4 DRSN structure

2 實(shí)驗(yàn)數(shù)據(jù)獲取與加噪處理

2.1 實(shí)驗(yàn)設(shè)置

文中選取全新10 kV XLPE電纜進(jìn)行實(shí)驗(yàn)，結(jié)構(gòu)如圖5a所示，根據(jù)運(yùn)維、檢修經(jīng)驗(yàn)制作了4種典型的終端故障，如圖5b所示。內(nèi)部氣隙多形成于擠包絕緣電纜的擠出過(guò)程中，氣體副產(chǎn)物在XLPE絕緣中殘留而形成的微小氣隙[2]；絕緣表面劃傷是由于終端制作過(guò)程中工藝不過(guò)關(guān)、制作流程不嚴(yán)謹(jǐn)?shù)仍颍?huì)劃傷電纜主絕緣；外半導(dǎo)電層殘留常見(jiàn)于電纜接頭制作過(guò)程中，外半導(dǎo)電層未完全剝除；導(dǎo)體毛刺多形成于絕緣擠出之前絞合導(dǎo)體產(chǎn)生毛刺，導(dǎo)致毛刺刺破內(nèi)屏蔽直接進(jìn)入絕緣層[2]。

圖5 XLPE電纜結(jié)構(gòu)及缺陷制作Fig.5 XLPE cable structure and defect manufacture

基于脈沖電流法對(duì)局部放電信號(hào)進(jìn)行采集，圖6為XLPE電纜局放實(shí)驗(yàn)檢測(cè)系統(tǒng)，圖中Zn為10 kΩ保護(hù)性水阻；Ck為100 kV/300 pF的耦合電容；Zm為檢測(cè)阻抗；電壓探頭用于獲取相位信息，并作為局部放電信號(hào)的觸發(fā)裝置；示波器采樣頻率為100 MHz；寬帶放大器將高頻電流互感線圈（high frequency current transformer，HFCT）耦合的信號(hào)調(diào)整至合適范圍。局部放電實(shí)驗(yàn)在高壓屏蔽大廳中進(jìn)行，背景噪聲2 pC左右，后文將針對(duì)原始的局部放電數(shù)據(jù)進(jìn)行專門的加噪處理。

圖6 XLPE電纜局放實(shí)驗(yàn)檢測(cè)系統(tǒng)Fig.6 XLPE cable partial discharge test system

2.2 數(shù)據(jù)獲取

為了保證數(shù)據(jù)的可靠性，每種缺陷電纜終端各制作5根試樣，每根試樣長(zhǎng)1.3 m左右。同時(shí)為了增加數(shù)據(jù)的多樣性，采集電壓以階梯式升壓，分別采集5 kV，10 kV和15 kV電壓等級(jí)下的局部放電數(shù)據(jù)，每隔2 min采集一次局部放電PRPD譜圖，表1為每次局部放電測(cè)量時(shí)的電壓等級(jí)及獲取的原始數(shù)據(jù)數(shù)量。

表1 典型缺陷電纜的局部放電測(cè)試電壓和數(shù)據(jù)量Tab.1 Partial discharge test voltage and data quantity of typical defect cable

圖7為不同缺陷樣本的PRPD譜圖，由于數(shù)量較多，此處僅選取代表性具有差異的PRPD譜圖進(jìn)行展示，圖中展示的為10 kV電壓等級(jí)下的部分譜圖，從譜圖形狀和數(shù)據(jù)點(diǎn)分布上可以看出較為明顯的差異，因此以PRPD譜圖作為故障診斷的對(duì)象是可行的。

圖7 典型缺陷PRPD譜圖（部分）Fig.7 PRPD spectrum of typical defects（part）

2.3 噪聲添加

上述局部放電實(shí)驗(yàn)在高壓屏蔽大廳中進(jìn)行，背景噪聲基本可以忽略不計(jì)，這樣做的目的是為了人為控制噪聲類別及幅值，更好地研究含不同噪聲強(qiáng)度下的局部放電診斷方法有效性。

通常，局部放電信號(hào)中包含白噪聲、周期性脈沖干擾和周期性窄帶干擾。周期性脈沖干擾由于其幅值具有一定規(guī)律性，較容易濾除，而白噪聲和周期性窄帶干擾的濾波難度較大，文中主要針對(duì)這兩類干擾進(jìn)行添加，白噪聲采用均值為0、方差為0.3分布的高斯白噪聲；根據(jù)現(xiàn)場(chǎng)測(cè)量經(jīng)驗(yàn)，周期性窄帶干擾主要由載波信號(hào)和通信信號(hào)干擾組成[12]，可通過(guò)不同頻率正弦信號(hào)疊加產(chǎn)生，表達(dá)式如下：

式中：Ai為各窄帶干擾信號(hào)幅值，設(shè)為1 mV；h為窄帶干擾數(shù)量，設(shè)為5；fi為窄帶干擾頻率，分別設(shè)為f1=100 kHz，f2=500 kHz，f3=1.2 MHz，f4=5 MHz，f5=7 MHz（頻率范圍的選取依據(jù)為：既符合文中HFCT采集的PD頻帶范圍，又符合PD周期性窄帶干擾的頻率范圍）。

將疊加白噪聲與周期性窄帶干擾后局部放電信號(hào)進(jìn)行編號(hào)，如表2所示。

表2 染噪局部放電信號(hào)類型分布Tab.2 Distribution of partial discharge signal types with noise

3 分析與討論

3.1 超參數(shù)設(shè)置

文中以十折交叉驗(yàn)證方案進(jìn)行分析，即將數(shù)據(jù)集分為10個(gè)子集，每次實(shí)驗(yàn)中將1個(gè)子集用作測(cè)試集，其他9個(gè)子集用作訓(xùn)練集，以此重復(fù)10次，最后的結(jié)果取10次實(shí)驗(yàn)結(jié)果的均值進(jìn)行分析。此外，文中分別對(duì)CNN，ResNET和DRSN中超參數(shù)的初始化和選擇進(jìn)行了介紹。表3為文中討論的網(wǎng)絡(luò)結(jié)構(gòu)，CNN網(wǎng)絡(luò)中的卷積構(gòu)建單元（convolution building units，CBU）中無(wú)“短路連接”結(jié)構(gòu)；在括號(hào)中的第1個(gè)、第2個(gè)數(shù)字分別表示卷積核的數(shù)目和大??；“/2”表示以2的步長(zhǎng)移動(dòng)卷積核來(lái)減小特征圖的寬度；最后的FC輸出層有4個(gè)神經(jīng)元，對(duì)應(yīng)文中的四種典型缺陷。

表3 網(wǎng)絡(luò)結(jié)構(gòu)Tab.3 Network superparameter

網(wǎng)絡(luò)中超參數(shù)值如下：學(xué)習(xí)率0.1，0.01，0.001；懲罰系數(shù)0.000 1；batch size為64；迭代步數(shù)100。網(wǎng)絡(luò)的學(xué)習(xí)率在前40個(gè)周期設(shè)置為0.1，中間40個(gè)周期設(shè)置為0.01，最后20個(gè)周期設(shè)置為0.001，這樣就可以使網(wǎng)絡(luò)在開(kāi)始訓(xùn)練時(shí)以較大的步長(zhǎng)更新參數(shù)，在結(jié)束訓(xùn)練時(shí)對(duì)參數(shù)進(jìn)行微調(diào)；L2正則化用于減少過(guò)擬合的影響，并產(chǎn)生更高的測(cè)試精度，通過(guò)在目標(biāo)函數(shù)中加入一個(gè)懲罰項(xiàng)，使權(quán)重趨于零。這樣，權(quán)值的絕對(duì)值就不太可能被優(yōu)化到非常大的程度，在處理相似的輸入時(shí)，深度神經(jīng)網(wǎng)絡(luò)的輸出與權(quán)值相乘后也不會(huì)有很大的變化，文中將懲罰項(xiàng)的系數(shù)設(shè)置為0.000 1；batch size是指一次訓(xùn)練所選取的樣本數(shù)，batch size太小會(huì)使訓(xùn)練速度很慢，太大會(huì)加快訓(xùn)練速度，但同時(shí)會(huì)導(dǎo)致內(nèi)存占用過(guò)高，并有可能降低準(zhǔn)確率。由于GPU對(duì)2的冪次的batch可以發(fā)揮更佳的性能，因此通常設(shè)置為16，32，64，128等，作者根據(jù)自身處理器性能選擇為64；由于文中算法均在80～100步內(nèi)收斂，因此網(wǎng)絡(luò)迭代步驟取值為100。

3.2 結(jié)果分析

在不同程度染噪局部放電數(shù)據(jù)集下，CNN，ResNet和DRSN的診斷結(jié)果如下：圖8為平均識(shí)別精度柱狀分布，網(wǎng)絡(luò)訓(xùn)練時(shí)間和識(shí)別精度具體值如表4所示。由圖8和表4可以看出，當(dāng)局部放電數(shù)據(jù)未含噪聲（p0）或含低強(qiáng)度噪聲（p1）時(shí)，三種方法的識(shí)別精度相差不大；但當(dāng)局部放電信號(hào)包含的噪聲強(qiáng)度逐漸增強(qiáng)時(shí)，DRSN方法的診斷優(yōu)勢(shì)凸顯，對(duì)于強(qiáng)噪聲環(huán)境（p4和p5），DRSN方法的識(shí)別精度在75%～80%，而ResNet和CNN識(shí)別精度已下降到60%～65%左右，高噪聲環(huán)境下DRSN方法整體識(shí)別精度比傳統(tǒng)ResNet和CNN方法的識(shí)別精度高15%左右。但是DRSN訓(xùn)練時(shí)間比其他兩類方法多耗費(fèi)40%左右，這也是深度復(fù)雜網(wǎng)絡(luò)的不足。

圖8 平均識(shí)別精龐柱狀圖Fig.8 Average recognition accuracy histogram

表4 平均識(shí)別精度和訓(xùn)練時(shí)間Tab.4 Average recognition accuracy and training time

圖9為三種方法訓(xùn)練誤差曲線，可以看出ResNet的訓(xùn)練誤差低于CNN，說(shuō)明使用“短路連接”方式可以方便地進(jìn)行參數(shù)優(yōu)化，得到更精確的訓(xùn)練模型。同時(shí)文中DRSN方法比經(jīng)典的ResNet具有更低的訓(xùn)練誤差，原因是：DRSN在網(wǎng)絡(luò)深層結(jié)構(gòu)中采用軟閾值作為收縮函數(shù)，可以減少噪聲相關(guān)的特征，使全連接后的特征具有更強(qiáng)的識(shí)別能力。

圖9 訓(xùn)練誤差曲線Fig.9 Training error curves

4 結(jié)論

文中提出一種基于深度殘差收縮網(wǎng)絡(luò)的高噪聲環(huán)境下XLPE電纜故障識(shí)別方法，結(jié)論如下：

1）將軟閾值作為可訓(xùn)練的收縮函數(shù)嵌入到深層結(jié)構(gòu)中，使不重要的特征變?yōu)榱悖瑥亩箤W(xué)習(xí)到的高層特征具有更強(qiáng)的識(shí)別能力。同時(shí)，軟閾值學(xué)習(xí)基于注意力機(jī)制結(jié)構(gòu)進(jìn)行設(shè)計(jì)，因此不需要信號(hào)處理方面的專業(yè)知識(shí)。

2）通過(guò)與傳統(tǒng)深度學(xué)習(xí)方法的實(shí)驗(yàn)比較，驗(yàn)證了文中方法在高噪環(huán)境下提高診斷準(zhǔn)確率的有效性。高噪聲環(huán)境下DRSN方法整體識(shí)別精度比傳統(tǒng)ResNet和CNN方法高15%左右。