何勝明，劉 劍，胡 捷，李 政，劉豪睿

（1.雅礱江流域水電開(kāi)發(fā)有限公司，四川 成都 610051；2.北京華控智加科技有限公司，北京 100084）

0 引 言

現(xiàn)代水電站越來(lái)越多的按照無(wú)人值守的原則進(jìn)行設(shè)計(jì)和改造，大量引入各級(jí)監(jiān)控系統(tǒng)。傳統(tǒng)監(jiān)控系統(tǒng)采集振動(dòng)、擺度、溫度、電壓、電流等信號(hào)數(shù)據(jù)；振動(dòng)擺度數(shù)據(jù)反映轉(zhuǎn)子等運(yùn)動(dòng)機(jī)械部件的狀態(tài)、摩擦以及轉(zhuǎn)速等；電壓電流等數(shù)據(jù)則反映發(fā)電質(zhì)量［1］。

但是在發(fā)電廠房?jī)?nèi)，仍舊會(huì)出現(xiàn)上述傳感器所不能監(jiān)測(cè)的異常故障現(xiàn)象。類似水輪發(fā)電機(jī)組轉(zhuǎn)輪葉片裂紋、轉(zhuǎn)輪室鋼板脫落、過(guò)流部件空化空蝕和蝸殼門(mén)故障等缺陷在機(jī)組運(yùn)行過(guò)程中難以用現(xiàn)有的診斷方式進(jìn)行診斷。由于上述缺陷難以及時(shí)發(fā)現(xiàn)，且現(xiàn)有的在線監(jiān)測(cè)手段也無(wú)法很好地解決這個(gè)問(wèn)題。如果使用聲音監(jiān)測(cè)，則可使水電站運(yùn)維人員更加直觀地判斷出設(shè)備運(yùn)行狀態(tài)，縮短故障診斷時(shí)間［2］。

基于聲音信號(hào)的故障診斷技術(shù)被應(yīng)用在多個(gè)領(lǐng)域，例如風(fēng)機(jī)故障診斷，發(fā)動(dòng)機(jī)故障診斷，放電故障診斷等，并引起了諸多學(xué)者的關(guān)注。目前，基于聲音信號(hào)的水輪發(fā)電機(jī)組故障診斷研究可供參考成果較少，且仍存在一些問(wèn)題，如：故障源不確定性，噪聲復(fù)雜且信噪比較低，故障診斷分類器無(wú)法實(shí)現(xiàn)類別增量學(xué)習(xí)等［3，4］。Carvalho 針對(duì)水輪發(fā)電機(jī)組的放電聲音事件，使用小波包進(jìn)行降噪處理，在閾值選擇等方面獲得一定的成果［5］。目前聲音處理領(lǐng)域的通用技術(shù)流程為：采集聲音信號(hào)、預(yù)處理（重采樣和解壓縮等）、降噪、提取特征、使用統(tǒng)計(jì)分類器或深度學(xué)習(xí)模型等進(jìn)行識(shí)別［6］。各種時(shí)頻聯(lián)合特征分析方法得到了廣泛的研究和應(yīng)用。從短時(shí)傅里葉變換到小波變換、維格納分布等各類時(shí)頻分布多達(dá)幾十種。如今時(shí)頻分析已經(jīng)得到了許多有價(jià)值的成果［7］。辨識(shí)模型通常包括以SVM 為代表的傳統(tǒng)機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法。以卷積神經(jīng)網(wǎng)絡(luò)為代表的網(wǎng)絡(luò)模型在大規(guī)模圖像樣本識(shí)別中具有更多優(yōu)點(diǎn)。因此在聲學(xué)場(chǎng)景分類背景下使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)頻譜圖進(jìn)行分析［8-10］。

本文選取兩河口2 號(hào)發(fā)電機(jī)組進(jìn)行實(shí)驗(yàn)研究，全方位采集發(fā)電廠房的聲音，對(duì)采集的聲音數(shù)據(jù)進(jìn)行RMS、頻譜、聲譜圖（STFT）和深度神經(jīng)網(wǎng)絡(luò)分析；建立聲紋模型，通過(guò)聲音對(duì)發(fā)電廠房健康狀況進(jìn)行監(jiān)測(cè)。使用基于神經(jīng)網(wǎng)絡(luò)的聲譜圖特征分類方法識(shí)別水輪機(jī)組發(fā)電設(shè)備的運(yùn)行狀態(tài)。因此在聲學(xué)場(chǎng)景分類背景下使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)頻譜圖進(jìn)行分析［8-10］。

1 實(shí)驗(yàn)準(zhǔn)備

本次試驗(yàn)對(duì)兩河口2 號(hào)水輪發(fā)電機(jī)組進(jìn)行42 個(gè)測(cè)點(diǎn)布置，包括水車室、風(fēng)洞和尾水門(mén)等。聲音采集參數(shù)為48k 采樣率。試驗(yàn)安排時(shí)間見(jiàn)表1。分析方法采用有效值趨勢(shì)分析分析、頻譜分析、聲譜圖分析和基于聲紋特征的神經(jīng)網(wǎng)絡(luò)模型分析。

表1 試驗(yàn)工況總體說(shuō)明Tab.1 General description of test conditions

機(jī)組甩負(fù)荷試驗(yàn)是檢驗(yàn)主機(jī)和調(diào)速器、勵(lì)磁裝置、繼電保護(hù)及管路等的設(shè)計(jì)、制造和安裝質(zhì)量最重要的試驗(yàn)項(xiàng)目之一。通過(guò)甩負(fù)荷試驗(yàn)測(cè)量主機(jī)的振動(dòng)、轉(zhuǎn)速上升率、水壓上升率、電壓上升率以及軸承溫度上升等重要指標(biāo)，來(lái)判定機(jī)組及其相應(yīng)的引水管路和水工建筑物的設(shè)計(jì)、制造、安裝是否符合要求。因此，在機(jī)組開(kāi)機(jī)試驗(yàn)過(guò)程中進(jìn)行不同負(fù)荷的升負(fù)荷甩負(fù)荷實(shí)驗(yàn)，負(fù)荷分別為額定功率的25%，50%，75%，具體調(diào)整時(shí)間表見(jiàn)表2。

表2 升/甩負(fù)荷調(diào)整時(shí)間表Tab.2 Load rejection adjustment schedule

2 工況分析

2.1 有效值趨勢(shì)分析

聲音采集裝置采集信號(hào)數(shù)據(jù)為聲壓，使用公式（1），對(duì)各個(gè)測(cè)點(diǎn)的聲壓進(jìn)行RMS（Root Mean Square）的計(jì)算：

式中：x1，x2，…，xn為采樣時(shí)間內(nèi)樣本點(diǎn)的聲壓值；n為樣本點(diǎn)數(shù)量。

圖1～4分別為各個(gè)測(cè)點(diǎn)聲壓的RMS趨勢(shì)圖。

圖1 水車室側(cè)壁測(cè)點(diǎn)聲音有效值趨勢(shì)分析圖Fig.1 Trend analysis chart of sound RMS of sidewall of waterwheel chamber

圖2 尾水進(jìn)人門(mén)測(cè)點(diǎn)聲音有效值趨勢(shì)分析圖Fig.2 Trend analysis chart of sound RMS of tail water gate

2.2 結(jié)果和討論

由圖1、2可見(jiàn)水車室側(cè)壁和尾水進(jìn)人門(mén)測(cè)點(diǎn)的聲音有效值在不同負(fù)荷工況下有明顯的差異，其中未加載負(fù)荷狀態(tài)下聲音有效值最大，不同負(fù)荷狀態(tài)下聲音有效值處于各自相對(duì)穩(wěn)定的能級(jí)上。由圖1可見(jiàn)水車室側(cè)壁聲音有效值在甩負(fù)荷的瞬間出現(xiàn)一個(gè)尖脈沖，且脈沖能級(jí)和被甩負(fù)荷的大小正相關(guān)。

由圖3、4可見(jiàn)發(fā)電機(jī)風(fēng)洞側(cè)壁和定子機(jī)座測(cè)點(diǎn)聲音有效值在不同的負(fù)荷狀態(tài)下基本處于同一個(gè)穩(wěn)定的能級(jí)，只有在甩負(fù)荷的瞬間出現(xiàn)一個(gè)尖脈沖，且脈沖能級(jí)和被甩負(fù)荷的大小正相關(guān)。

圖3 發(fā)電機(jī)風(fēng)洞側(cè)壁測(cè)點(diǎn)聲音有效值趨勢(shì)分析Fig.3 Trend analysis chart of sound RMS of sidewall of generator wind tunnel

圖4 定子機(jī)座測(cè)點(diǎn)聲音有效值趨勢(shì)分析圖Fig.4 Trend analysis chart of sound RMS of stator frame

根據(jù)上述分析得到如下初步結(jié)論：水車室側(cè)壁測(cè)點(diǎn)采集到的聲音有效值對(duì)于機(jī)組的負(fù)荷和負(fù)荷變化具有良好的區(qū)別性。尾水進(jìn)人門(mén)測(cè)點(diǎn)采集到的聲音有效值對(duì)于機(jī)組的負(fù)荷具有區(qū)別性，但是對(duì)于負(fù)荷的瞬間變化不是特別敏感。發(fā)電機(jī)風(fēng)洞側(cè)壁和定子機(jī)座測(cè)點(diǎn)采集到的聲音有效值對(duì)于機(jī)組的甩負(fù)荷具有良好的指示性，但是對(duì)于負(fù)荷穩(wěn)定狀態(tài)和升負(fù)荷沒(méi)有區(qū)分性。

2.3 頻譜分析

針對(duì)上述聲音有效值趨勢(shì)分析的結(jié)果，重點(diǎn)分析水車室側(cè)壁測(cè)點(diǎn)的聲音數(shù)據(jù)。對(duì)該測(cè)點(diǎn)的各種工作負(fù)荷狀態(tài)所采集的數(shù)據(jù)進(jìn)行傅里葉變換，得到頻譜圖。

圖5為50%和75%負(fù)荷狀態(tài)聲音信號(hào)的波形圖，所示頻譜圖中，該負(fù)荷下存在較穩(wěn)定的400 Hz 及800 Hz。同時(shí)參考圖1有效值趨勢(shì)圖可以看出，隨著負(fù)荷增加，測(cè)點(diǎn)聲音信號(hào)幅值開(kāi)始逐步下降，甩負(fù)荷后幅值迅速增加。通過(guò)上述分析，得到如下的初步結(jié)論：在機(jī)組升負(fù)荷時(shí)，測(cè)點(diǎn)聲音信號(hào)的波形圖幅值會(huì)較為平緩的下降至一定的水平；當(dāng)機(jī)組甩負(fù)荷時(shí)，機(jī)組測(cè)點(diǎn)聲音信號(hào)波形圖幅值通常會(huì)急劇增加至一定水平，原因是在甩負(fù)荷時(shí)刻隨著水輪機(jī)組的負(fù)載突然減小，轉(zhuǎn)速則突然增加，隨后被控制到額定轉(zhuǎn)速。

圖5 水車室側(cè)壁不同負(fù)荷狀態(tài)聲音信號(hào)波和形頻譜圖Fig.5 Time domain wave and spectrogram of the sound signal of the waterwheel sidewall under different loading states

通過(guò)對(duì)機(jī)組的信號(hào)頻譜觀察，由于不同負(fù)荷其頻譜較接近，因此較難對(duì)負(fù)荷狀態(tài)進(jìn)行判斷。此時(shí)需要借助聲譜圖進(jìn)行輔助分析。

2.4 聲譜圖分析

聲譜圖是基于短時(shí)傅里葉變換（STFT）計(jì)算得到的數(shù)據(jù)分析，使用公式（2）進(jìn)行計(jì)算。其中通過(guò)窗函數(shù)w（n-m）對(duì)信號(hào)序列x（m）實(shí)現(xiàn)在m附近的開(kāi)窗和平移，同時(shí)進(jìn)行傅里葉變換。跟隨m的變化，窗函數(shù)在時(shí)間軸上移動(dòng)，使得時(shí)間序列進(jìn)入”逐段”的分析狀態(tài)。為了抑制頻譜泄露帶來(lái)的不利影響，通常會(huì)選擇在時(shí)域加窗，常見(jiàn)的窗函數(shù)有矩形窗、Hanning 和Hamming等，本次數(shù)據(jù)處理選取Hamming 窗。聲譜圖中同時(shí)包含了聲音能量在時(shí)間和頻率兩個(gè)維度上的細(xì)微變化。

通過(guò)觀察聲譜圖，圖6中可以看到，以75%負(fù)荷為例，升∕甩負(fù)荷前后其能量變化更為明顯。此時(shí)需要借助神經(jīng)網(wǎng)絡(luò)方法對(duì)這種能量變化做出判斷。

圖6 75%升/甩負(fù)荷時(shí)段的波形圖、聲譜圖和頻域分析圖Fig.6 Waveform，spectrogram and frequency domain analysis of the 75% load rejection period

2.5 基于CNN的聲紋特征的計(jì)算過(guò)程

目前流行的深度學(xué)習(xí)算法有卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、受限玻爾茲曼機(jī)（RBM）和自動(dòng)編碼器算法。選取CNN進(jìn)行模型訓(xùn)練，網(wǎng)絡(luò)輸入層為短時(shí)傅里葉變換得到的聲譜圖。

對(duì)聲譜圖樣本標(biāo)注的狀態(tài)為無(wú)負(fù)荷狀態(tài)、25%負(fù)荷、50%負(fù)荷、75%負(fù)荷4 種工況。整個(gè)神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)多次卷積和池化后得到一個(gè)固定維度的特征向量，稱之為Embedding層特征，亦稱為聲紋特征。將聲紋特征接入一個(gè)聚類模型或者softmax 層實(shí)現(xiàn)分類，該分類對(duì)應(yīng)4種工況。

（1）輸入二維圖像。采用以二維卷積層為主要結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，輸入層接收一個(gè)二維圖像作為模型輸入。短時(shí)傅里葉變換（STFT）計(jì)算過(guò)程如圖7所示。

圖7 短時(shí)傅里葉變換計(jì)算示意圖Fig.7 Schematic diagram of short-time Fourier transform

圖7中利用短時(shí)傅里葉變換制作聲譜圖有兩個(gè)重要的控制參數(shù)，幀長(zhǎng)（圖中的2n_fft）和幀移（圖中的hop_size）。不同的幀長(zhǎng)和幀移產(chǎn)生的聲譜圖差異很大，尤其是幀長(zhǎng)的選擇。

當(dāng)采用較小的幀長(zhǎng)時(shí)，聲譜圖具有很高的時(shí)間分辨率，但是頻率分辨率低，在聲譜圖呈現(xiàn)為頻率軸方向的豎條紋；當(dāng)采用較大的幀長(zhǎng)時(shí)，聲譜圖具有很高的頻率分辨率，但是時(shí)間分辨率低，在聲譜圖呈現(xiàn)為頻率軸方向的橫條紋。在人聲聲紋識(shí)別領(lǐng)域研究人員根據(jù)人聲發(fā)聲機(jī)理的研究成果通常采用20～25 ms 的幀長(zhǎng)制作語(yǔ)譜圖。對(duì)于本方案要研究的機(jī)器聲紋領(lǐng)域，同樣需要根據(jù)機(jī)器的發(fā)聲特點(diǎn)選擇合適的幀長(zhǎng)。

通過(guò)短時(shí)傅里葉變換得到的聲譜圖縱坐標(biāo)是頻率，單位為Hz。由于本方案采集的聲音數(shù)據(jù)采樣率很高，通常得到的頻率維度的維數(shù)很高。以48 kHz 采樣，幀長(zhǎng)100 ms 為例，一幀采樣點(diǎn)數(shù)為4 800，最高分析頻率為24 kHz，得到的頻率維度為2 048維。幀移選擇256，幀數(shù)選擇128，即構(gòu)成了圖7（c）中的紅框部分，該紅框部分為一個(gè)神經(jīng)網(wǎng)絡(luò)輸入的一個(gè)測(cè)試樣本。

上述算法實(shí)現(xiàn)需實(shí)驗(yàn)分析的譜圖制作方法及需要試驗(yàn)選取的參數(shù)包括：幀長(zhǎng)、幀移和幀數(shù)（時(shí)間context）。

（2）深度神經(jīng)網(wǎng)絡(luò)搭建。深度卷積網(wǎng)絡(luò)設(shè)計(jì)需要考慮模型的層數(shù)、每層卷積核的尺寸、每層卷積核的個(gè)數(shù)等參數(shù)。深度卷積模型結(jié)構(gòu)見(jiàn)表3。

表3 深度卷積模型結(jié)構(gòu)參數(shù)表Tab.3 Structure parameters of depth convolution model

表3中c表示輸出通道數(shù)，n表示重復(fù)次數(shù)，s表示步長(zhǎng)。網(wǎng)絡(luò)結(jié)構(gòu)單元由Depthwise Conv、Piontwise Conv、Inverted residual block和Linear GD Conv組成。

（3）Embedding（聲紋特征）。上述步驟的目的是得到Embedding，Embedding 就是用一個(gè)低維的向量表達(dá)一個(gè)高維數(shù)據(jù)的特征，也就是本方案中的聲紋特征。在深度神經(jīng)網(wǎng)絡(luò)中，除最后一層非線性映射函數(shù)SoftMax，其余所有層對(duì)輸入矩陣的操作都可以看作將高維空間中的樣本點(diǎn)通過(guò)變換和映射投影的方式，或丟棄一部分無(wú)用信息（權(quán)重小的維度），或去除線性相關(guān)項(xiàng)，在盡可能保持原有信息的情況下投影到另一個(gè)空間，通常會(huì)讓高維空間的點(diǎn)映射到低維空間，映射后的點(diǎn)通過(guò)SoftMax 或其他非線性映射函數(shù)輸出分類結(jié)果。若移除SoftMax層，那么最后一層Linear Convolution 的輸出的128 維向量可視為原始數(shù)據(jù)在低維空間的投影，這個(gè)128 維的向量就是模型提取的Embedding特征。因本次數(shù)據(jù)提取的是聲音信號(hào)中蘊(yùn)含的細(xì)微特征，故稱之為聲紋特征。

（4）輸出類別。輸出為4 類，分別對(duì)應(yīng)不同的負(fù)荷工況，標(biāo)簽采用one-hot 編碼方式進(jìn)行編碼。分類的類別由不同的負(fù)荷工況決定，由于采用經(jīng)典的SoftMax 交叉熵?fù)p失函數(shù)，模型的分類訓(xùn)練將迅速收斂，而得到的Embedding 特征對(duì)多工況的狀態(tài)的特異性表達(dá)不足。因此采用Large-Margin SoftMax，驅(qū)使不同類別的Embedding 在特征空間具有更大的距離，而同類別的Embedding 具有更小的距離，最終達(dá)到Embedding 表達(dá)和特異性狀態(tài)特征的強(qiáng)相關(guān)。

2.6 結(jié)果和討論

圖8為本測(cè)試訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)工況分析測(cè)試結(jié)果（以25%負(fù)荷為例）。一共測(cè)試了約6 000 條不同負(fù)荷時(shí)段的樣本。對(duì)每一個(gè)樣本進(jìn)行類別打分，每個(gè)樣本對(duì)4 種工況計(jì)算得到4個(gè)分?jǐn)?shù)，分?jǐn)?shù)越高表示屬于該類別的概率越高，通常取最高分?jǐn)?shù)對(duì)應(yīng)的類別作為最終的分類結(jié)果。圖中橫坐標(biāo)為樣本編號(hào)，縱坐標(biāo)為打分分?jǐn)?shù)。其中的藍(lán)色曲線表示的是測(cè)試樣本所屬類別（屬于25%負(fù)荷工況）得到的打分分?jǐn)?shù)，紅色曲線為測(cè)試樣本歸屬其他類別（屬于其他負(fù)荷工況）得到的打分分?jǐn)?shù)的最高分。由圖8可見(jiàn)本試驗(yàn)訓(xùn)練的模型對(duì)工況分類的正確率達(dá)到了100%。

圖8 深度神經(jīng)網(wǎng)絡(luò)工況分類測(cè)試結(jié)果Fig.8 Classification test results of deep neural network

3 尾水泄露試驗(yàn)

尾水泄露試驗(yàn)通過(guò)采集正常聲音信號(hào)和模擬打開(kāi)尾水門(mén)進(jìn)行。圖9、圖10中，通過(guò)聲音信號(hào)的原始波形、頻譜圖和聲譜圖可以看到，兩個(gè)狀態(tài)下頻率以及能量是有區(qū)分的。為了更準(zhǔn)確判斷事故狀態(tài)，使用深度神經(jīng)網(wǎng)絡(luò)模型對(duì)正常狀態(tài)樣本和泄露狀態(tài)樣本分類。圖11中橫坐標(biāo)為樣本編號(hào)，縱坐標(biāo)為打分分?jǐn)?shù)。其中的藍(lán)色曲線表示的是泄露時(shí)測(cè)試樣本所屬類別得到的打分分?jǐn)?shù)，黃色曲線為泄露測(cè)試樣本所屬其他類別得到的打分分?jǐn)?shù)。由圖可見(jiàn)本試驗(yàn)訓(xùn)練的模型對(duì)泄露聲音的正確率達(dá)到了100%。

圖9 測(cè)點(diǎn)38C泄露試驗(yàn)波形對(duì)比Fig.9 Comparison of waveforms of leakage test at measuring point 38C

圖10 測(cè)點(diǎn)38C泄露試驗(yàn)聲譜圖對(duì)比Fig.10 Comparison of spectrum of leakage test at measuring point 38C

圖11 深度神經(jīng)網(wǎng)絡(luò)事故識(shí)別測(cè)試結(jié)果Fig.11 Classification test results of deep neural network

4 結(jié) 論

通過(guò)采集升負(fù)荷甩負(fù)荷等試驗(yàn)工況狀態(tài)中聲音信號(hào)，對(duì)波形、頻譜、有效值、聲譜圖進(jìn)行分析，得到不同工況聲音的特征具有可分性的結(jié)論。試驗(yàn)用深度神經(jīng)網(wǎng)絡(luò)對(duì)聲譜圖進(jìn)行分類，結(jié)果顯示模型可完全實(shí)現(xiàn)不同負(fù)荷工況的分類。

（1）聲音信號(hào)對(duì)于不同負(fù)荷工況狀態(tài)具有良好的可分性。利用深度神經(jīng)網(wǎng)絡(luò)的細(xì)微特征提取能力，試驗(yàn)結(jié)果顯示聲譜圖可以完全實(shí)現(xiàn)對(duì)不同負(fù)荷工況狀態(tài)的正確分類。

（2）模擬尾水門(mén)泄露實(shí)驗(yàn)無(wú)法利用傳統(tǒng)的信號(hào)處理方法進(jìn)行識(shí)別。利用深度神經(jīng)網(wǎng)絡(luò)的細(xì)微特征提取能力對(duì)測(cè)點(diǎn)采集的數(shù)據(jù)進(jìn)行分析，得到完全正確的分類結(jié)果。

上述結(jié)果只針對(duì)本次試驗(yàn)采集的數(shù)據(jù)，由于實(shí)際運(yùn)行過(guò)程涉及更復(fù)雜的工況參數(shù)變化，本實(shí)驗(yàn)結(jié)論需要進(jìn)一步認(rèn)證。利用分類模型進(jìn)行很好的負(fù)荷工況分類，只能說(shuō)明良好標(biāo)注分類模型的有效性，對(duì)于無(wú)標(biāo)注工況的異常檢測(cè)需要進(jìn)一步研究和分析。