岳云飛，孫 抗

（河南理工大學(xué)電氣工程與自動(dòng)化學(xué)院，河南焦作 454003）

0 引言

交聯(lián)聚乙烯（XLPE）電纜是城市配電網(wǎng)的重要設(shè)備之一，及時(shí)發(fā)現(xiàn)并處理XLPE電纜缺陷隱患對(duì)保障配電網(wǎng)穩(wěn)定運(yùn)行具有重要意義[1]。對(duì)XLPE電纜進(jìn)行局部放電模式識(shí)別是獲知絕緣缺陷類型的主要方法，可為工作人員制定檢修計(jì)劃提供依據(jù)[2]。隨著深層神經(jīng)網(wǎng)絡(luò)的發(fā)展，許多專家選擇在圖像識(shí)別領(lǐng)域表現(xiàn)出色的卷積神經(jīng)網(wǎng)絡(luò)，作為電氣設(shè)備局部放電模式識(shí)別的分類器，并取得了良好的識(shí)別效果[3]。然而，XLPE電纜正常運(yùn)行時(shí)發(fā)生絕緣缺陷的頻率較低，難以獲取大量局部放電樣本數(shù)據(jù)。雖然在實(shí)驗(yàn)室環(huán)境下可模擬制作XLPE電纜絕緣缺陷，但允許采集的局放樣本依舊有限。卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練離不開數(shù)量充足的樣本[4]，因此，選擇合理的數(shù)據(jù)增強(qiáng)方法擴(kuò)充局部放電數(shù)據(jù)集，是提高卷積神經(jīng)網(wǎng)絡(luò)模型在XLPE電纜局放識(shí)別領(lǐng)域應(yīng)用效果的關(guān)鍵。

傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法主要是改變圖像的數(shù)據(jù)形態(tài)，例如隨機(jī)裁剪、圖像旋轉(zhuǎn)或翻轉(zhuǎn)、縮放變形以及仿射等[5]，但利用這些方法生成的樣本過于單一。為了增加生成樣本的多樣性，研究者們通過對(duì)圖像樣本進(jìn)行隨機(jī)擦除、變化顏色、添加噪聲來實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)[6]。針對(duì)某些類型的樣本數(shù)目過少而導(dǎo)致的不平衡數(shù)據(jù)集問題，CHAWLA N V[7]提出了SMOTE方法，該方法通過人工合成少數(shù)類樣本使數(shù)據(jù)集趨于平衡，并成功應(yīng)用于多個(gè)領(lǐng)域。生成對(duì)抗網(wǎng)絡(luò)作為一種無監(jiān)督的數(shù)據(jù)增強(qiáng)方法，是目前數(shù)據(jù)增強(qiáng)領(lǐng)域的研究熱點(diǎn)[8]。該方法通過學(xué)習(xí)真實(shí)樣本分布而產(chǎn)生大量與之相似的新樣本，有效緩解了樣本不足或樣本分布不均等問題。

為了提高XLPE電纜局放生成樣本的質(zhì)量，本文提出了一種基于改進(jìn)DCGAN的XLPE電纜局放數(shù)據(jù)增強(qiáng)方法。首先搭建XLPE電纜局部放電試驗(yàn)平臺(tái)獲取4類常見絕緣缺陷的局部放電，經(jīng)預(yù)處理后得到局部放電二維灰度圖；其次在DCGAN模型的基礎(chǔ)上引入帶梯度懲罰優(yōu)化的Wasserstein距離和殘差網(wǎng)絡(luò)；最后，選擇Inception Score（IS）、弗雷歇距離（FID）、識(shí)別率等評(píng)估指標(biāo)驗(yàn)證本文所提新模型生成樣本的質(zhì)量。

1 DCGAN原理概述

深度卷積生成對(duì)抗網(wǎng)絡(luò)（Deep convolutional genera?tive adversarial networks，DCGAN）是在生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）基礎(chǔ)上發(fā)展而來的一種新模型，主要由生成器和判別器兩部分構(gòu)成，如圖1所示。其中，生成器的作用是獲取樣本數(shù)據(jù)分布并盡力地生成與真實(shí)樣本相似的樣本；判別器的作用是判斷輸入的樣本是否為真實(shí)樣本；生成器與判別器相互競爭，最終達(dá)到納什均衡[9]。

圖1 DCGAN原理框架

生成器與判別器相互博弈的目標(biāo)函數(shù)為：

式中：x為真實(shí)樣本數(shù)據(jù)；P r(x)為x的概率分布；E為數(shù)學(xué)期望；z為隨機(jī)變量；P g(z)為z的概率分布；D(·)為判別器判定該樣本來自于真實(shí)樣本分布的概率；V(D,G)為判別器和生成器的值函數(shù)。

理想狀態(tài)下希望判別器的值函數(shù)取得最大值，生成器的值函數(shù)取得最小值，生成器與判別器的損失函數(shù)分別為：

在訓(xùn)練過程中，生成器和判別器交替迭代更新，先固定生成器訓(xùn)練判別器，更新判別器中的參數(shù)，然后再更新迭代生成器的網(wǎng)絡(luò)參數(shù)，不斷重復(fù)這個(gè)過程，直到兩者達(dá)到納什均衡。與GAN不同的是，DCGAN模型利用步長卷積代替上采樣層，充分發(fā)揮卷積層能夠提取樣本深層次特征的優(yōu)點(diǎn)，更利于生成器的訓(xùn)練。DCGAN模型摒棄了池化層并使用了批標(biāo)準(zhǔn)化技術(shù)，緩解了模式崩潰問題，有效提升了模型訓(xùn)練時(shí)的穩(wěn)定性。

2 DCGAN的改進(jìn)方法

2.1 損失函數(shù)的改進(jìn)

JS散度是生成對(duì)抗網(wǎng)絡(luò)中常用的一種衡量真實(shí)分布與生成分布的方法，但JS散度存在一定的缺陷。當(dāng)真實(shí)分布與生成分布沒有重疊時(shí)，JS散度就會(huì)變成常數(shù)，導(dǎo)致模型訓(xùn)練不穩(wěn)定。Wasserstein距離是一種新的分布度量距離，又被稱作Earth-Mover（EM）距離[10]。Wasser?stein距離具有平滑性的優(yōu)點(diǎn)，可以反映真實(shí)分布與生成分布之間的距離。Wasserstein距離越小，真實(shí)分布與生成分布之間的相似度就越高，如下所示：

式中：P r與P g分別為真實(shí)分布與生成分布；Π(P r,P g)為聯(lián)合分布(P r,P g)的集合；γ為一種聯(lián)合分布；x為真實(shí)樣本；y為生成樣本；‖x-y‖為兩樣本間的距離。

在使用Wasserstein距離的同時(shí)引入Lipschitz連續(xù)，從而限制目標(biāo)函數(shù)的變化幅度，克服了JS散度容易突變的缺點(diǎn)。目標(biāo)函數(shù)如下：

式中：K為函數(shù)D(x)的Lipschitz常數(shù)，K的取值需使定義域內(nèi)的任意兩個(gè)x1，x2之間的距離‖D‖L≤K|x1-x2|，其中‖D‖L=|D(x1)-D(x2)|，K的取值一般取1。

引入Wasserstein距離和Lipschitz連續(xù)后，生成器與判別器的損失函數(shù)也變?yōu)椋?/p>

修正判別器網(wǎng)絡(luò)的損失函數(shù)，使其滿足1-Lipschitz條件限制，具體的實(shí)現(xiàn)方式是在原有的損失函數(shù)中添加梯度懲罰項(xiàng)，其形式如下：

式中：x r服從P r分布；x g服從P g；λ為正則項(xiàng)系數(shù)；x通過在x r與x g間的連線上隨機(jī)插值采樣取得。

的計(jì)算公式為：

通過對(duì)原網(wǎng)絡(luò)進(jìn)行梯度懲罰優(yōu)化，生成器的損失函數(shù)不變，仍為式（6）所示，判別器的損失函數(shù)則變?yōu)椋?/p>

2.2 模型結(jié)構(gòu)的改進(jìn)

為了緩解DCGAN模型收斂速度較慢的問題，本文在DCGAN的生成器模型中引入殘差結(jié)構(gòu)，改進(jìn)后的生成器模型結(jié)構(gòu)如圖2所示。改進(jìn)后的生成器模型主要由噪聲輸入層、反卷積層、殘差卷積層與圖像輸出層組成。其中，反卷積層1將輸入尺寸為4×4×256的隨機(jī)數(shù)據(jù)反卷積后，輸出尺寸為8×8×256的數(shù)據(jù)至殘差卷積層1；殘差卷積層1包括恒等映射層、輸出尺寸為8×8×128的卷積層1與輸出尺寸為8×8×256的卷積層2；反卷積層2將輸入尺寸為8×8×256的數(shù)據(jù)反卷積后，輸出尺寸為16×16×128的數(shù)據(jù)至殘差卷積層2；殘差卷積層2包括恒等映射層、輸出尺寸為16×16×64的卷積層3與輸出尺寸為16×16×128的卷積層4；反卷積層3將輸入尺寸為16×16×128的隨機(jī)數(shù)據(jù)反卷積后，輸出尺寸為64×64×128的數(shù)據(jù)至卷積層5；最后由卷積層后輸出尺寸為128×128×3的圖像。

圖2 引入殘差網(wǎng)絡(luò)的生成器模型

判別器對(duì)輸入的圖像進(jìn)行真假判斷，并根據(jù)判斷結(jié)果分別對(duì)生成器和判別器進(jìn)行參數(shù)更新。本文設(shè)計(jì)的判別器模型由4個(gè)卷積層和1個(gè)全連接層組成。判別器模型結(jié)構(gòu)示意圖如圖3所示。

圖3 判別器模型結(jié)構(gòu)

2.3 WDRGAN模型

通過對(duì)DCGAN的算法和模型結(jié)構(gòu)兩方面進(jìn)行改進(jìn)，提出了結(jié)合梯度懲罰優(yōu)化的Wasserstein距離的深度殘差生成對(duì)抗網(wǎng)絡(luò)（Wasserstein-Deepresidual Generative Adver?sarial Networks，WDRGAN），模型結(jié)構(gòu)如圖4所示。WDRGAN模型的生成器引入了殘差結(jié)構(gòu)，可將隨機(jī)噪聲轉(zhuǎn)換為生成樣本，并具有較高的收斂速度；WDRGAN模型的判別器用以判斷輸入的圖像是真實(shí)樣本還是生成樣本；WDRGAN模型通過計(jì)算帶有梯度懲罰的Wasserstein距離，并將結(jié)果反向傳播，更新迭代生成器與判別器的網(wǎng)絡(luò)參數(shù)。

圖4 WDRGAN模型結(jié)構(gòu)及訓(xùn)練示意圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 獲取局放數(shù)據(jù)

本文搭建的XLPE電纜局部放電試驗(yàn)如圖5所示，該試驗(yàn)主要由升壓部分、局部放電檢測(cè)部分、XLPE電纜絕緣缺陷模型、示波器構(gòu)成。在XLPE電纜上制作外半導(dǎo)電層爬電、絕緣內(nèi)部氣隙、主絕緣外表面劃痕、主絕緣表面金屬污穢等4種典型絕緣缺陷。

圖5 電纜局部放電檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖

采集不同缺陷下的局部放電，并提取相應(yīng)的工頻相位φ和放電量q、放電次數(shù)n。將連續(xù)200個(gè)周期的局部放電信號(hào)轉(zhuǎn)換為一張局部放電灰度圖，最終得到700張局部放電灰度圖，4種絕緣缺陷各占175張，轉(zhuǎn)換后的4種絕緣缺陷灰度圖如圖6所示。

圖6 四種典型絕緣缺陷的局部放電灰度圖

3.2 結(jié)果及分析

3.2.1 模型參數(shù)設(shè)置及訓(xùn)練

Wasserstein距離是描述WDRGAN模型訓(xùn)練過程的重要指標(biāo)之一，可以衡量生成樣本與真實(shí)樣本的相似程度。為了驗(yàn)證本文所提模型的有效性，同時(shí)搭建了DCGAN模型與WDRGAN模型，將WDRGAN模型生成器的學(xué)習(xí)率設(shè)為0.000 1、迭代訓(xùn)練次數(shù)為500、BatchSize大小為16、采用Adma優(yōu)化器和批標(biāo)準(zhǔn)化技術(shù)。

兩種模型的Wasserstein距離的變化情況如圖7所示。由圖可知，兩種模型的Wasserstein距離在訓(xùn)練期間均呈下降趨勢(shì)，且WDRGAN模型在訓(xùn)練過程中的Wasserstein距離始終小于DCGAN模型。與DCGAN相比，WDRGAN模型的Wasserstein距離沒有較大的波動(dòng)，經(jīng)過少次迭代后就具有了較小的數(shù)值。隨著迭代次數(shù)的增加，WDRGAN模型的Wasserstein距離逐漸穩(wěn)定在0值附近。

圖7 Wasserstein距離變化情況

3.2.2 數(shù)據(jù)增強(qiáng)效果分析

為了驗(yàn)證WDRGAN模型對(duì)XLPE電纜局部放電樣本的增強(qiáng)效果，選取IS、FID，以及生成樣本在經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)下的識(shí)別準(zhǔn)確率3種評(píng)價(jià)指標(biāo)，衡量兩種模型生成樣本的質(zhì)量。

IS和FID是在圖像數(shù)據(jù)增強(qiáng)領(lǐng)域中常用的生成樣本評(píng)價(jià)指標(biāo)。其中，IS值越大，表明生成樣本的質(zhì)量越好；FID值越小，表明生成樣本的質(zhì)量越好。兩種模型生成樣本的IS和FID得分?jǐn)?shù)值如表1所示。由表可知，WDRGAN生成樣本的IS得分在6.09左右，要高于DC?GAN的5.74，且得分優(yōu)化率大于6.0%；WDRGAN生成樣本的FID得分在18.13左右，要低于DCGAN的24.75，且得分優(yōu)化率大于26.0%。

表1 兩種模型的評(píng)價(jià)指標(biāo)得分情況

圖8所示為兩種模型生成樣本的FID值的變化情況。由圖可知，兩種模型的FID值均隨著模型訓(xùn)練次數(shù)的增加而減少，但兩種模型經(jīng)100次迭代后，其FID值趨于穩(wěn)定。與DCGAN模型生成樣本相比，WDRGAN模型生成樣本的FID值的下降趨勢(shì)更明顯。

為進(jìn)一步驗(yàn)證本文所提新模型對(duì)電纜局部放電灰度圖的數(shù)據(jù)增強(qiáng)效果，將經(jīng)典深度學(xué)習(xí)模型的識(shí)別率作為生成樣本的評(píng)價(jià)指標(biāo)之一。首先將局部放電灰度圖的真實(shí)樣本按5∶2的比例分為訓(xùn)練樣本與測(cè)試樣本，即700張真實(shí)樣本被分為500張訓(xùn)練樣本與200張測(cè)試樣本；其次分別利用WDRGAN與DCGAN對(duì)500張訓(xùn)練樣本進(jìn)行擴(kuò)充，得到兩個(gè)樣本數(shù)目為1 000的訓(xùn)練樣本集，即WDRGAN訓(xùn)練樣本集與DCGAN訓(xùn)練樣本集；然后利用這兩種訓(xùn)練樣本集分別對(duì)AlexNet、VGG-Net、GoogLeNet、ResNet進(jìn)行訓(xùn)練；最后利用數(shù)目為200測(cè)試樣本集對(duì)這4種分類模型進(jìn)行測(cè)試，得到識(shí)別率如表2所示。由表可知，使用WDRGAN生成的訓(xùn)練樣本集訓(xùn)練4種深度學(xué)習(xí)模型，AlexNet、VGG-Net、GoogLeNet、ResNet四種模型的識(shí)別準(zhǔn)確率分別為92.0%、85.0%、93.5%、94.5%；與DCGAN模型相比，分別提高了4.0%、5.5%、3.5%、1.5%，表明WDRGAN模型的生成樣本，可以略微提高這4種經(jīng)典深度學(xué)習(xí)模型對(duì)于XLPE電纜局部放電灰度圖樣本的識(shí)別準(zhǔn)確率。

表2 四種分類模型的識(shí)別準(zhǔn)確率對(duì)比

4 結(jié)束語

針對(duì)DCGAN在擴(kuò)充XLPE電纜局部放電樣本時(shí)存在的訓(xùn)練不穩(wěn)定、收斂速度較慢等問題，本文從算法和模型結(jié)構(gòu)兩方面對(duì)DCGAN進(jìn)行改進(jìn)，從而提出了一種WDRGAN新模型。在算法方面，WDRGAN模型使用帶梯度懲罰優(yōu)化的Wasserstein距離替代原網(wǎng)絡(luò)中的JS散度，優(yōu)化了判別器的損失函數(shù)；在模型結(jié)構(gòu)方面，WDRGAN模型使用殘差網(wǎng)絡(luò)構(gòu)建模型的生成器，提升了模型的收斂速度。最后通過設(shè)置IS、FID、識(shí)別準(zhǔn)確率3種評(píng)價(jià)指標(biāo)，多角度地評(píng)價(jià)了WDRGAN模型生成樣本的質(zhì)量。實(shí)驗(yàn)結(jié)果顯示，WDRGAN模型在訓(xùn)練時(shí)的收斂速度更快，WDRGAN生成樣本在IS、FID上的得分優(yōu)化率均大于6.0%，驗(yàn)證了WDRGAN模型對(duì)于XLPE電纜局部放電樣本的數(shù)據(jù)增強(qiáng)效果。