王 寧, 蘇 皓, 王偉成, 陳明虎, 郭淞赫, 薛祥凱

(東北石油大學(xué) 電氣信息工程學(xué)院, 黑龍江 大慶 163318)

0 引 言

隨著電網(wǎng)規(guī)模的不斷壯大, 電網(wǎng)輸送電能的安全性以及可靠性備受關(guān)注, 絕緣子承擔(dān)輸電線路中的絕緣及機(jī)械支持作用, 在室外各種環(huán)境下長(zhǎng)期運(yùn)行, 隔絕電壓, 同時(shí)也要承受風(fēng)雪, 自重以及雷電等造成的隱患, 因此絕緣子掉串, 覆冰以及斷裂等事故時(shí)有發(fā)生, 一旦絕緣子發(fā)生故障, 將會(huì)引起較為嚴(yán)重的后果。因此及時(shí)地對(duì)絕緣子進(jìn)行狀態(tài)監(jiān)測(cè)與故障識(shí)別, 具有重要意義[1]。

傳統(tǒng)的絕緣子運(yùn)行狀態(tài)的檢測(cè)方式主要包括人工觀測(cè)、 超聲檢測(cè)[2]和激光多普勒振動(dòng)法[3]等, 其中人工觀測(cè)法的工作量較大, 安全性相對(duì)較低, 不適宜大量故障環(huán)境下的檢測(cè)； 超聲檢測(cè)法簡(jiǎn)便易行, 成本低, 但帶電操作安全性差, 工作效率低； 激光多普勒振動(dòng)法多用于檢測(cè)開裂的絕緣子, 對(duì)其他故障的檢測(cè)識(shí)別率較低。傳統(tǒng)的絕緣子故障檢測(cè)方法操作復(fù)雜, 識(shí)別率低, 安全性普遍不高。

近年來(lái), 深度學(xué)習(xí)技術(shù)發(fā)展迅速, 在電力的維護(hù)與故障檢測(cè)中也得到了廣泛應(yīng)用。高強(qiáng)等[4]針對(duì)深度信念網(wǎng)絡(luò)故障識(shí)別率較低的缺陷, 引入模糊隸屬函數(shù)的差異理論, 并將其應(yīng)用于絕緣子故障識(shí)別中, 取得了較好的識(shí)別結(jié)果。孟格格[5]基于CNN(Convolution Neural Network)對(duì)特征的表達(dá), 提出一種新的絕緣子圖像分割算法, 根據(jù)預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征區(qū)域, 將絕緣子從復(fù)雜背景中分離, 并以航拍圖像為例進(jìn)行了實(shí)驗(yàn), 取得了較好的識(shí)別結(jié)果。在眾多深度學(xué)習(xí)方法中, 深層自動(dòng)編碼器[6]能自動(dòng)地從絕緣子圖像中學(xué)習(xí)有價(jià)值的特征, 克服了傳統(tǒng)基于人工特征提取-故障模式識(shí)別方法的缺陷。又由于深層自動(dòng)編碼器不需要標(biāo)記數(shù)據(jù), 其訓(xùn)練過(guò)程為非監(jiān)督過(guò)程, 因此可將自動(dòng)編碼器的思想應(yīng)用于極限學(xué)習(xí)機(jī)[7], 從而得到極限學(xué)習(xí)自動(dòng)編碼器(ELAE: Extreme Learning Auto-Encoder)。根據(jù)ELAE的特征表達(dá)能力, 可作為深層極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的基本單元。但ELAE為全連接網(wǎng)絡(luò), 所需要學(xué)習(xí)的參數(shù)眾多, 訓(xùn)練時(shí)間較長(zhǎng), 學(xué)習(xí)到的信號(hào)特征的平移不變性較差, 而且標(biāo)準(zhǔn)ELAE使用sigmoid激活函數(shù), 不能逼近任意L2(Rn)空間中的任意函數(shù), 泛化能力較弱。

在上述研究基礎(chǔ)上, 筆者利用深層自動(dòng)編碼器、 卷積神經(jīng)網(wǎng)絡(luò)、 小波函數(shù)和極限學(xué)習(xí)機(jī)的優(yōu)勢(shì), 區(qū)別于傳統(tǒng)的網(wǎng)絡(luò)模型, 提出一種基于集成卷積小波極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的絕緣子故障檢測(cè)方法, 展現(xiàn)了將小波函數(shù)作為激活函數(shù)在圖像識(shí)別領(lǐng)域的優(yōu)勢(shì), 實(shí)驗(yàn)結(jié)果表明該方法具有較好的可行性和有效性。

1 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)(CNN)的輸入為二維圖像, 卷積層和池化層均使用二維核。創(chuàng)建如下符號(hào)： Conv[m×n+n(S)]+Swish為卷積層,m×n為卷積核的寬和高,n(S)表示卷積核移動(dòng)步長(zhǎng)為n, Swish的激活函數(shù)是一種新型自門控激活函數(shù), 用Sw表示, 該激活函數(shù)無(wú)上界有下界、 平滑非單調(diào), 其表達(dá)式為Sw(x)=xSi(x), 其中Si為Sigmod激活函數(shù)。M[p×1+q(S)]為池化層,p×r為池化區(qū)域的寬和高,q(S)表示池化層移動(dòng)步長(zhǎng)為q； FC為全連接層。損失函數(shù)使用交叉熵函數(shù)并使用Dropout技術(shù)防止網(wǎng)絡(luò)過(guò)度擬合。下面推導(dǎo)網(wǎng)絡(luò)的前向傳播過(guò)程。

設(shè)c為當(dāng)前層次,ic為該層輸入,oc為該層輸出,wc和bc分別為該層連接權(quán)值和偏置, 可得ic=wcic-1+bc, 則該層輸出如下

oc=Sw(ic)

(1)

對(duì)卷積層, 其前向傳播公式如下

(2)

其中j為第j個(gè)特征映射圖,Mj為特征圖集合, 該特征圖集合為第c層的第j個(gè)特征圖和第c-1層相連接部分,k為該層卷積核。對(duì)池化層, 其前向傳播公式為

(3)

2 集成卷積小波極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

極限學(xué)習(xí)自動(dòng)編碼器(ELAE)為3層無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò), 目的是將輸入數(shù)據(jù)和輸出數(shù)據(jù)的重建誤差降至最低, 從而自動(dòng)完成特征提取, 標(biāo)準(zhǔn)ELAE的結(jié)構(gòu)如圖1所示。

圖1 標(biāo)準(zhǔn)ELAE結(jié)構(gòu)圖Fig.1 Standard ELAE structure drawing

h=Si(Wx+b)

(4)

其中W為輸入層到隱層的權(quán)值向量,b為偏置向量。ELAE的輸出為

y=hTβ

(5)

其中β為隱含層到輸出層的輸出權(quán)重向量。

ELAE的優(yōu)化函數(shù)可表示為

min ∑‖hTβ-x‖2, min‖β‖

(6)

其中β為隱層輸出權(quán)重。對(duì)維度壓縮,β可轉(zhuǎn)化為

(7)

其中H為隱層映射矩陣,I為單位矩陣,C為常數(shù)。ELAE為全連接網(wǎng)絡(luò), 訓(xùn)練速度慢, 易產(chǎn)生過(guò)擬合, 受噪聲影響較大, 而卷積神經(jīng)網(wǎng)絡(luò)的稀疏連接與權(quán)值共享特性可有效降低網(wǎng)絡(luò)的過(guò)擬合； 又因?yàn)樾〔ê瘮?shù)具有一定的時(shí)頻局部化能力, 因此, 使用小波激活函數(shù)代替ELAE的sigmoid函數(shù), 具有更優(yōu)異的特征提取和表示的性能。因此筆者將小波和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)結(jié)合, 構(gòu)造集成卷積小波極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(ECWELNN： Ensemble Convolution Wavelet Extreme Learning Neural Network), 如圖2所示。設(shè)CWELNN(Convolution Wavelet Extreme Learning Neural Network)的輸入為x, 則隱層第k個(gè)節(jié)點(diǎn)輸出如下

hk=ψ[(x*Wk-ck)./ak]

(8)

以ψ為高斯小波為例

(9)

其中Wk為卷積核權(quán)重矩陣,ak和ck分別為小波節(jié)點(diǎn)的尺度向量和平移向量, *為卷積符號(hào),./為按元素相除符號(hào)。CWELNN輸出如下

(10)

圖2 卷積小波極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Convolutional wavelet limit learning neural network structure diagram

集成小波卷積極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(ECWELNN)堆疊多個(gè)CWELNN, 能進(jìn)一步提高網(wǎng)絡(luò)學(xué)習(xí)特征的質(zhì)量, 首先, 利用無(wú)標(biāo)簽的絕緣子圖像樣本訓(xùn)練第1層CWELNN, 進(jìn)而得到第1隱層特征； 其次, 將第1隱層特征輸入第2層CWELNN, 得到第2隱層特征； 以此類推, 如圖3所示。

為進(jìn)一步提高絕緣子故障識(shí)別結(jié)果, 提升診斷結(jié)果的魯棒性, 采用集成學(xué)習(xí)方法, 通過(guò)構(gòu)建并結(jié)合多個(gè)不同的深層小波卷積極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)完成絕緣子故障識(shí)別任務(wù)。3種不同的小波函數(shù)如表1所示。

圖3 深層小波卷積極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure of deep wavelet convolution limit learning neural network

表1 3種不同的小波激活函數(shù)

綜上, 基于集成卷積小波極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的絕緣子故障檢測(cè)研究的步驟如下：

1) 采集收集600張正常與600張掉串絕緣子圖像作為訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集, 將其分成80%的訓(xùn)練集與20%的測(cè)試集；

2) 將絕緣子圖像進(jìn)行向量化操作, 并將圖像向量訓(xùn)練樣本輸入模型進(jìn)行訓(xùn)練；

3) 使用測(cè)試樣本對(duì)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測(cè)試。

3 絕緣子故障檢測(cè)實(shí)驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)預(yù)處理

在實(shí)驗(yàn)中, 選擇正常狀態(tài)絕緣子圖像和掉串狀態(tài)絕緣子圖像作為樣本, 其中正常狀態(tài)的絕緣子圖像為600張, 掉串狀態(tài)絕緣子圖像為600張, 由于無(wú)人機(jī)航拍圖像分辨率較高、 絕緣子目標(biāo)小等特點(diǎn), 故首先對(duì)原始絕緣子圖像進(jìn)行預(yù)處理, 預(yù)處理為絕緣子主體截取、 圖像尺寸歸一化, 并放縮至 50×50像素, 并進(jìn)行向量化(2 500維)。正常狀態(tài)下的絕緣子圖像樣本如圖4所示, 掉串狀態(tài)絕緣子圖像樣本如圖5所示。

圖4 正常狀態(tài)下的絕緣子圖像樣本Fig.4 Sample insulator image under normal condition

圖5 掉串狀態(tài)絕緣子圖像樣本Fig.5 Sample image of string-off state insulator

3.2 故障識(shí)別與分析

為證明筆者方法(ECWELNN)的優(yōu)勢(shì), 采用深層自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)(DAENN: Deep Auto Encoder Neural Network)、 深層稀疏自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)[9](DSAENN: Deep Sparse Auto Encoder Neural Network)、 深層降噪自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)[10](DDAENN: Deep Denoising Auto Encoder Neural Network)、 深層收縮自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)[11](DCAENN: Deep Contractive Auto Encoder Neural Network)和深層極限學(xué)習(xí)自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)[12](DELAENN: Deep Extreme Learning Auto Encoder Neural Network)等方法進(jìn)行對(duì)比分析, 輸入均為1 024維信號(hào)樣本, 各網(wǎng)絡(luò)結(jié)構(gòu)均為2500-1024-512-256-128-64-32-2, 共進(jìn)行10次試驗(yàn), 表2列出了不同方法的平均測(cè)試識(shí)別精度和訓(xùn)練時(shí)間。

表2 不同方法的絕緣子故障檢測(cè)識(shí)別結(jié)果

由表2可知, ECWELNN網(wǎng)絡(luò)具有更高的識(shí)別準(zhǔn)確率(98.49%)和更小的標(biāo)準(zhǔn)差(0.20), 能較為穩(wěn)定地識(shí)別出緣子故障。這幾種方法中, DAENN方法的故障識(shí)別率最低, 僅81.13%； DSAENN加入稀疏項(xiàng)限制, 可捕捉輸入數(shù)據(jù)較重要的信息； DDAENN加入了降噪機(jī)制, 一定程度上提高了網(wǎng)絡(luò)對(duì)噪聲的魯棒性； DCAENN加入了收縮項(xiàng)限制, 使網(wǎng)絡(luò)對(duì)輸入圖像向量的小擾動(dòng)具有一定的不變性。綜上, DSAENN、 DDAENN和DCAENN都較DAENN取得了更高的故障識(shí)別率； DELAENN利用ELAE優(yōu)秀的特征表達(dá)能力和快速的網(wǎng)絡(luò)收斂能力, 故障識(shí)別率達(dá)到了95.62%, 訓(xùn)練時(shí)間僅129.19 s。而筆者所提ECWELNN采用局部連接和權(quán)值共享機(jī)制, 大大減少了所需要學(xué)習(xí)的參數(shù), 故訓(xùn)練時(shí)間較短, 通過(guò)標(biāo)準(zhǔn)差及其準(zhǔn)確率的對(duì)比也可看出本方法受噪聲影響較小, 且使用小波激活函數(shù), 具備一定的時(shí)頻聚焦特性, 能有效學(xué)習(xí)絕緣子圖像向量的時(shí)頻特征, 因此故障識(shí)別率較其他方法更高。

3.3 不平衡數(shù)據(jù)集下的故障識(shí)別率

為研究ECWELNN模型在面對(duì)不平衡故障樣本的有效性, 設(shè)計(jì)一種不平衡數(shù)據(jù)集： 正常與故障工況的訓(xùn)練樣本比例為600 ∶300, 實(shí)驗(yàn)共進(jìn)行10次, 取DCAENN、 DELAENN方法作為對(duì)比, 定量計(jì)算3種方法基于不平衡數(shù)據(jù)集的F1值

(11)

表3 不同方法的F1值

其中P為故障識(shí)別準(zhǔn)確率,R為召回率,F1值在[0,1]之間, 反映準(zhǔn)確率和召回率的信息, 0代表最差, 1代表最好。表3列出了相應(yīng)的F1值。

由表3可知, 筆者的ECWELNN方法的F1指標(biāo)值較高, 對(duì)比結(jié)果進(jìn)一步驗(yàn)證了ECWELNN在面對(duì)不平衡數(shù)據(jù)集時(shí)的有效性。

3.4 激活函數(shù)對(duì)ECWELNN識(shí)別率的影響

激活函數(shù)對(duì)ECWELNN的故障識(shí)別率有一定影響, 筆者分析討論了幾種不同激活函數(shù)對(duì)ECWELNN的影響, 如表4所示。由表4可知, Gaussian小波、 Morlet小波和Mexican hat小波的故障識(shí)別效果好于其他激活函數(shù), Gaussian小波在時(shí)域、 頻域均有良好的分辨率, 取得了最好的識(shí)別結(jié)果。

表4 不同激活函數(shù)對(duì)ECWELNN識(shí)別準(zhǔn)確率的影響

4 結(jié) 語(yǔ)

筆者提出一種基于集成卷積小波極限學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(ECWELNN)的絕緣子故障檢測(cè)方法。提出的ECWELNN學(xué)習(xí)能力快, 泛化能力強(qiáng), 且具有局部連接特性和權(quán)值共享特性, 相較于其他方法具有更高的泛化能力、 特征提取能力和故障識(shí)別能力。筆者所提方法通過(guò)實(shí)驗(yàn)證實(shí)了該方法在絕緣子識(shí)別領(lǐng)域的適用意義, 在未來(lái)的絕緣子識(shí)別領(lǐng)域, 將有望通過(guò)此方法進(jìn)行更加細(xì)致的類別區(qū)分, 并且由于其模型參數(shù)的減少及方法的簡(jiǎn)便, 在微型計(jì)算系統(tǒng)中將有一定的應(yīng)用價(jià)值。