何 萍, 李 勇, 陳壽龍, 許洪華, 朱 雷, 王凌燕

(國網(wǎng)江蘇電力有限公司南京供電分公司,江蘇 南京 210019)

0 引 言

隨著經(jīng)濟的不斷發(fā)展，社會對電能的需求逐年提高，而變壓器作為最重要的電力設(shè)備之一，其投入運行的數(shù)量也在不斷增加，但由變壓器運行帶來的噪聲問題也不容忽視[1]。國內(nèi)外學(xué)者對變壓器噪聲產(chǎn)生的機理進行了深入研究。變壓器的噪聲中含有大量能反映變壓器運行狀態(tài)或變壓器故障狀態(tài)的信息。因此,可以通過數(shù)據(jù)挖掘技術(shù)提取變壓器聲音信號中的發(fā)生變化的特征，就可以對變壓器運行狀態(tài)進行識別。

對于變壓器鐵心松動故障的診斷，目前的研究主要集中在針對振動信號的分析上。文獻[2]提出了利用振動信號中100 Hz特征頻率分量占總分量(1 kHz以內(nèi))的比值來判斷鐵心松動故障的方法，指出變壓器鐵心松動后，50 Hz分量及其部分倍頻分量、基頻的倍頻分量等新特征頻率能夠反映故障，能有效識別變壓器鐵心的松動故障。但是由于振動信號的采集依靠的是振動傳感器緊貼在變壓器的側(cè)壁上，采集的信號存在干擾，而利用聲紋診斷時采用非接觸式，采集到的信號更加純凈。在信號處理方面，王豐華等[3]提出基于加權(quán)降維Mel倒譜系數(shù)(MFCC)和矢量量化模型(VQ)的變壓器聲紋識別模型，將提取出的特征值與機器學(xué)習(xí)相結(jié)合的方法，但識別率還需要進一步提高。舒暢等[4]提出了基于自適應(yīng)白噪聲完備集成經(jīng)驗?zāi)B(tài)分解(CEEMDAN)的配電變壓器放電故障診斷方法，該方法在放電故障的識別率達到90%以上,但是針對的是放電故障。目前利用深度學(xué)習(xí)對變壓器聲紋的鐵心松動故障研究較少[5]。

基于上述分析，針對變壓器鐵心松動故障識別，本文設(shè)計兩種聲紋識別模型，分別是帶注意力機制的ResNet+交叉熵?fù)p失函數(shù)(SE-ResNet-Dense)組成的識別模型和帶注意力機制的ResNet+ArcLoss損失函數(shù)(SE-ResNet-ArcLoss)組成的識別模型。模型的輸入均是利用短時傅里葉變換(STFT)提取時頻矩陣并通過Mel濾波器對其降維后生成的語譜圖，比較這兩種模型的識別效果，確定最適合變壓器鐵心松動故障的聲紋識別模型。

1 噪聲信號預(yù)處理

1.1 語譜圖繪制

語譜圖能直觀地表示語音信號隨時間變化的頻譜特性，任一給定頻率成分在給定時刻的強弱用相應(yīng)點的灰度或色調(diào)的濃淡來表示[6]。正確建立噪聲信號時頻域的關(guān)系，能從中提取到重要的特征量，有助于后期聲紋特征的學(xué)習(xí)。

聲紋語譜圖的繪制過程包括分幀、加窗和離散傅里葉變換，再計算出每一幀的功率譜，用顏色的深淺表示能量的大小，從而繪制出語譜圖[7]。取一段變壓器運行時采集的4 s噪聲片段，對截取的片段作分幀處理，分幀長度的選擇會影響能否提取到有效的特征量以及特征量的準(zhǔn)確性。考慮到變壓器噪聲較為穩(wěn)定，因此選擇每幀的長度N=4 096為64 ms(采樣頻率為64 kHz)，重疊率取50%。其次，將分幀好的每一幀數(shù)據(jù)作加窗處理，為減少信號失真現(xiàn)象，本文選擇使用漢明窗,表達式如下：

(1)

式中：N為批次大小(batchsize)；n為類別數(shù)。

再對分幀加窗后的每一幀數(shù)據(jù)作離散傅里葉變換，頻矩陣通過下式獲得：

(2)

最后用式(2)計算的功率譜繪制語譜圖，此時橫坐標(biāo)表示分幀后的幀數(shù)(時間)，縱坐標(biāo)表示頻率，其中的顏色深淺表示該時刻該頻率下的大小，該大小為功率譜密度。通過短時傅里葉變換生成的語譜圖如圖1所示。

圖1 語譜圖

1.2 Mel-語譜圖降維

通過上述步驟能得到描述變壓器運行過程中時域與頻域之間的關(guān)系，但是生成的語譜圖數(shù)據(jù)尺寸達到465×2 049(465代表時間尺度，2 049代表頻率維度)，這樣龐大的數(shù)據(jù)對后續(xù)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與識別速度有很大的影響，因此需要對STFT生成的數(shù)據(jù)進一步壓縮。Mel濾波器是根據(jù)人耳結(jié)構(gòu)特征，對線性的頻段做非線性處理，將低頻部分的權(quán)重加大，高頻部分的權(quán)重降低，突出有效頻段的作用，因此選擇Mel濾波器對465×2 049的矩陣進行壓縮。

Mel頻率與實際頻率的轉(zhuǎn)化關(guān)系為[8]

(3)

式中：fMel(f)為Mel刻度下的頻率；f為實際頻率。

Mel濾波器為一個由M個三角形濾波器組成的濾波器組(取M=40)。其中心頻率為f(m)，在Mel頻率刻度上，濾波器之間的距離是等寬的。該濾波器組的傳遞函數(shù)為[8]

(4)

f(m)定義為[8]

(5)

式中：fh與fl為濾波器濾波頻率的上限與下限；fs為變壓器聲紋采樣的采樣頻率，fs= 64 kHz;N為進行STFT時的幀長。

通過使用Mel濾波器對數(shù)據(jù)進行降維后，時頻矩陣從465×2 049被壓縮至465×40，大大縮減了數(shù)據(jù)的尺寸，簡化了后續(xù)的模型訓(xùn)練與識別，生成的Mel-語譜圖如圖2所示。

圖2 Mel-語譜圖

2 CNN的損失函數(shù)

SE-ResNet-Dense使用的損失函數(shù)是softmax損失函數(shù)，softmax loss是由softmax和cross entropy loss 組合而成的損失函數(shù)，其損失函數(shù)的表達式為

(6)

式中:wyi、byi均為符號函數(shù)，如果樣本i真實，則y=1，否則為0；xi為屬于第i個樣本的嵌入特征，xi∈Rd，特征尺寸d設(shè)置為512；wj為權(quán)重矩陣的第j列，wj∈Rd×n；bj為偏置項。

式(6)中，log是計算時間復(fù)雜度，算法中l(wèi)og級別的時間復(fù)雜度均是由于使用了分治思想，這個底數(shù)直接由分治的復(fù)雜度決定。如果采用二分法，那么就會以2為底數(shù)，三分法就會以3為底數(shù)，其他亦然。

(7)

(8)

3 ResNet網(wǎng)絡(luò)結(jié)構(gòu)

由He等[11]提出的基于殘差結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)——ResNet，極大地緩解了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)在訓(xùn)練過程由于網(wǎng)絡(luò)過深而出現(xiàn)的信息丟失、梯度消失和爆炸等問題[9]，參數(shù)量比超分辨率測試序列(VGG)網(wǎng)絡(luò)減少且準(zhǔn)確率更高。在網(wǎng)絡(luò)結(jié)構(gòu)中添加多個由2個(3×3)卷積層串接在一起的殘差塊，整個網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的部分，簡化了學(xué)習(xí)目標(biāo)和難度。

本文構(gòu)造的兩個模型SE-ResNet-Dense與SE-ResNet-ArcLoss中選取的卷積結(jié)構(gòu)是ResNet34，并在網(wǎng)絡(luò)中引入注意力機制，再用不同的分類器進行分類，兩種模型的結(jié)構(gòu)如下表1所示。SE-ResNet網(wǎng)絡(luò)結(jié)構(gòu)主要由16個ResNet-block組成，ResNet-block由2個kernel為3×3、stride為1×1的conv層和1個SELayer構(gòu)成，通道數(shù)分別為64、128、256、512的ResNet-block個數(shù)分別設(shè)置為3、4、6、3，然后經(jīng)過max pool將特征轉(zhuǎn)換為512維。

表1 模型的網(wǎng)絡(luò)結(jié)構(gòu)

將采集到的4 s變壓器噪聲語音預(yù)處理后生成的Mel-語譜圖時頻矩陣化為單通道數(shù)據(jù)，將矩陣尺寸為40×465的數(shù)據(jù)送入到網(wǎng)絡(luò)中，ResNet34的每個殘差塊是由2個kernel為3×3，stride=1的卷積層加注意力機制組成，且通道數(shù)逐漸增加，并最終用最大池化層將維度轉(zhuǎn)化為512。

4 試驗及訓(xùn)練結(jié)果

4.1 數(shù)據(jù)集

為了驗證Mel語譜圖-ResNet網(wǎng)絡(luò)的有效性，搭建了變壓器鐵心松動故障試驗平臺，采集鐵心在不同松動程度下的噪聲信號。

試驗對象為一臺S13-M-200/10變壓器，根據(jù)國標(biāo)GB/T 1094.10—2003對該變壓器噪聲測量的標(biāo)準(zhǔn)和要求，采用電容式麥克風(fēng)作為聲傳感器對變壓器鐵心不同松動情況下的噪聲進行測量，采樣頻率為64 kHz，頻率響應(yīng)為20 Hz～20 kHz。試驗選擇在比較空曠的變壓器廠房進行，避免了墻面對聲波的反射與折射，如圖3所示。

圖3 試驗環(huán)境

將變壓器油抽出吊芯，使用扭力扳手先確定鐵心夾件的額定預(yù)緊力，再通過設(shè)置不同的預(yù)緊力來表征變壓器鐵心的不同松動程度，模擬鐵心松動故障。鐵心壓緊程度通過改變螺栓預(yù)緊力進行模擬如圖4所示，分別調(diào)整為額定預(yù)緊力(FN)、松動20%(0.8FN)、松動40%(0.6FN)。在低壓側(cè)加入400 V電壓，對變壓器進行空載運行試驗，如圖5所示，分別測量得出不同狀態(tài)下的噪聲信號長度為4 s。

圖4 設(shè)置鐵心預(yù)緊力

圖5 變壓器空載運行

分別采集鐵心在額定預(yù)緊力下的樣本289個，松動20%時的樣本156個，松動40%時的樣本323個。其中，將80%的數(shù)據(jù)作為訓(xùn)練樣本，剩余20%作為測試樣本，驗證模型的有效性。

4.2 模型訓(xùn)練參數(shù)

設(shè)置每個模型訓(xùn)練的epoch=50(訓(xùn)練結(jié)果顯示在50次后模型效果趨向穩(wěn)定)，每訓(xùn)練一個epoch時的批處理量batch_size=16，優(yōu)化器選擇更適合分類問題的隨機梯度下降(SGD)，設(shè)置其動量為0.9，權(quán)重衰減值設(shè)置為5×10-4，學(xué)習(xí)率的設(shè)置采用指數(shù)衰減法，初始學(xué)習(xí)率設(shè)置為10-3，衰減系數(shù)為0.1，即每10個epoch衰減一次。

4.3 性能指標(biāo)

給每一段音頻生成的語譜圖標(biāo)記，分別送入兩個模型中訓(xùn)練，用損失值loss和準(zhǔn)確率acc來評判模型的優(yōu)劣。損失值loss用來描述預(yù)測值與實際值之間的差距，acc表示正確分類的數(shù)量占總預(yù)測樣本的比例。loss值越小，acc值越大，則判定該模型越適合變壓器鐵心松動故障的識別。

4.4 模型測試結(jié)果

圖6所示是這兩個模型在訓(xùn)練集上訓(xùn)練的準(zhǔn)確率acc隨epoch變化的曲線圖。兩個模型從整體來看，均是隨著epoch的增加準(zhǔn)確率逐漸增加。SE-ResNet-Dense網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練集上的準(zhǔn)確率波動很大，顯示出該卷積神經(jīng)網(wǎng)絡(luò)的不穩(wěn)定性，隨著epoch的增大，準(zhǔn)確率在0.1～1之間大幅波動。而在卷積神經(jīng)網(wǎng)絡(luò)SE-ResNet-ArcLoss上的訓(xùn)練效果就相對更穩(wěn)定，SE-ResNet-ArcLoss比SE-ResNet-Dense穩(wěn)定性稍好一些，在epoch=18以后，準(zhǔn)確率在0.75～1之間浮動；在epoch=40以后，準(zhǔn)確率在0.95～1之間浮動。

圖6 模型的acc曲線

圖7所示是兩個模型在訓(xùn)練集上訓(xùn)練的損失值loss隨epoch變化的曲線圖。從圖7中可以清晰地看出，SE-ResNet-Dense模型的loss值沒有隨著epoch的增加呈現(xiàn)逐漸下降的趨勢，說明在訓(xùn)練過程中出現(xiàn)了不同程度的過擬合，但是對于SE-ResNet-ArcLoss模型，在epoch=25以后，loss值雖然有波動但已經(jīng)穩(wěn)定在0.5以下。

圖7 模型的loss值曲線

在測試集上測試的結(jié)果顯示，SE-ResNet-ArcLoss的測試acc為97.541%，而SE-ResNet-Dense的測試acc為90.753%。綜合而言，根據(jù)比較準(zhǔn)確率acc、loss值及參數(shù)量，最終找到最適合變壓器鐵心松動故障識別的模型是SE-ResNet-ArcLoss網(wǎng)絡(luò)。

批尺寸是影響網(wǎng)絡(luò)最終訓(xùn)練結(jié)果的一個重要因素，是指一次送入網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)量，因此對SE-ResNet-ArcLoss網(wǎng)絡(luò)訓(xùn)練的不同batchsize進行測試，測試結(jié)果如圖8所示。從圖8中可以看出,當(dāng)batchsize=10、20、30時，訓(xùn)練的準(zhǔn)確率均出現(xiàn)了大小不一的波動，而當(dāng)batchsize=60時，隨著epoch=40以后，訓(xùn)練準(zhǔn)確率達到1并不再變化，因此該網(wǎng)絡(luò)在訓(xùn)練過程中應(yīng)將batchsize設(shè)置為60。

圖8 SE-ResNet-ArcLoss模型不同batchsize訓(xùn)練結(jié)果

5 結(jié) 語

本文提出了一個基于變壓器聲紋的Mel語譜圖-ResNet卷積神經(jīng)網(wǎng)絡(luò)的鐵心松動故障診斷模型。通過搭建模擬鐵心松動故障試驗平臺，采集不同松動狀態(tài)下變壓器空載運行的噪聲信號；利用Mel濾波器對離散傅里葉變換下的時頻矩陣降維繪制語譜圖制作成數(shù)據(jù)集，輸入ResNet網(wǎng)絡(luò)中，比較在softmax損失函數(shù)和additive angular margin loss損失函數(shù)上的表現(xiàn)效果，通過準(zhǔn)確率和loss值比較，計算結(jié)果是SE-ResNet-Dense模型的準(zhǔn)確率為90.753%，而SE-ResNet-ArcLoss模型的準(zhǔn)確率可達到97.541%，同時計算了當(dāng)批尺寸為60時的訓(xùn)練效果最好，因此最適合變壓器鐵心松動故障的聲紋識別模型是SE-ResNet-ArcLoss。