王應(yīng)晨, 段修生

(1. 陸軍工程大學(xué)電子與光學(xué)工程系 石家莊，050003) (2. 石家莊鐵道大學(xué)機(jī)械工程學(xué)院 石家莊，050003)

引 言

機(jī)械裝備的故障診斷是通過(guò)其監(jiān)測(cè)數(shù)據(jù)來(lái)分析裝備狀態(tài)的健康狀況，確定是否對(duì)其進(jìn)行維護(hù)?，F(xiàn)代武器裝備系統(tǒng)中各個(gè)部分相互耦合，故障模式復(fù)雜多樣，使故障診斷具有很大的難度和不確定性，對(duì)于復(fù)雜系統(tǒng)快速有效的故障診斷是裝備保障的重要課題。傳統(tǒng)的智能診斷方法在機(jī)械故障診斷中得到了廣泛的應(yīng)用，但仍存在3個(gè)固有的缺陷：a.診斷性能很大程度上依賴于專家經(jīng)驗(yàn)所提取特征的質(zhì)量；b.在不同的診斷問(wèn)題中選擇敏感的特征費(fèi)時(shí)費(fèi)力；c.神經(jīng)網(wǎng)絡(luò)(neural network,簡(jiǎn)稱NN)和支持向量機(jī)(support vector machine,簡(jiǎn)稱SVM)等屬于淺層學(xué)習(xí)模型，難以有效學(xué)習(xí)復(fù)雜的非線性關(guān)系。因此，有必要構(gòu)建自動(dòng)學(xué)習(xí)特征和精確故障診斷的深度學(xué)習(xí)架構(gòu)。

為了克服淺層模型的缺點(diǎn)，Hinton首先提出了深度學(xué)習(xí)理論，此后深度學(xué)習(xí)引起了廣泛的關(guān)注，并取得了大量成功的應(yīng)用[1]。深度學(xué)習(xí)強(qiáng)大的非線性映射能力以及多隱含層使其與NN，SVM等淺層學(xué)習(xí)模型相比，能夠更加有效、靈活地學(xué)習(xí)故障診斷問(wèn)題中的復(fù)雜關(guān)系。趙光權(quán)等[2]將深度信念網(wǎng)絡(luò)(deep belief network, 簡(jiǎn)稱DBN)用于軸承的故障診斷，該模型從原始時(shí)域信號(hào)中逐層提取故障特征，輸入Softmax分類器，獲得了較高的診斷精度。Guo等[3]采用堆棧降噪自編碼機(jī)(stacked denoising autoencoder,簡(jiǎn)稱SDAE)來(lái)實(shí)現(xiàn)旋轉(zhuǎn)機(jī)械故障診斷。采用原始數(shù)據(jù)訓(xùn)練模型，通過(guò)與不同級(jí)別的隨機(jī)噪聲結(jié)合組成新的數(shù)據(jù)進(jìn)行測(cè)試，取得了較好的結(jié)果，證明了該模型在自動(dòng)提取特征的同時(shí)能有效處理原始信號(hào)的噪聲。這些應(yīng)用仍然存在以下局限性：a.沒有充分利用不同的模型來(lái)提高特征學(xué)習(xí)能力和抗干擾性；b.標(biāo)準(zhǔn)的深度學(xué)習(xí)算法存在誤差振蕩，收斂速度慢。

筆者提出了利用降噪自動(dòng)編碼器和自適應(yīng)高斯深度信念網(wǎng)絡(luò)結(jié)合提取故障特征，粒子群支持向量機(jī)(particle swarm optimization SVM,簡(jiǎn)稱PSO-SVM)進(jìn)行分類的診斷系統(tǒng)。利用不同基礎(chǔ)模型的優(yōu)點(diǎn)，在提取信號(hào)特征的同時(shí)進(jìn)行去噪，并采用自適應(yīng)學(xué)習(xí)率有效提高網(wǎng)絡(luò)的診斷精度和收斂速度。

1 深度神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)介

1.1 降噪自編碼器

降噪自編碼器(denoising autoencoder, 簡(jiǎn)稱DAE)是對(duì)普通自動(dòng)編碼器(autoencoder,簡(jiǎn)稱AE)的有效改進(jìn)[4]，為使AE 隱含層學(xué)習(xí)到的特征更具魯棒性，在訓(xùn)練樣本中加入隨機(jī)噪聲來(lái)污染輸入數(shù)據(jù)，之后送到網(wǎng)絡(luò)中進(jìn)行編碼和解碼，DAE從損壞的數(shù)據(jù)來(lái)重建未損的數(shù)據(jù)，以此提高模型的抽象能力，得到對(duì)原始數(shù)據(jù)更加魯棒的表達(dá)。

圖1說(shuō)明了DAE的結(jié)構(gòu)與訓(xùn)練過(guò)程，主要目標(biāo)是最小化重構(gòu)誤差，定義為

(1)

在訓(xùn)練過(guò)程中，DAE被迫捕獲數(shù)據(jù)中的隱含不變量，在診斷經(jīng)常受噪聲影響的振動(dòng)信號(hào)時(shí)，抵抗噪聲的魯棒性是非常重要的特性。

圖1 降噪自編碼器的編碼和解碼過(guò)程

1.2 高斯受限玻爾茲曼機(jī)

受限玻爾茲曼機(jī)( restricted botlzmann machine, 簡(jiǎn)稱RBM) 是一個(gè)由可見層和隱含層組成的雙層神經(jīng)網(wǎng)絡(luò)[5]?？梢妴卧碗[藏單元之間存在加權(quán)連接，但是其同層節(jié)點(diǎn)之間無(wú)連接，見圖2。

圖2 RBM的結(jié)構(gòu)

在RBM中，各節(jié)點(diǎn)是二進(jìn)制值，而故障信號(hào)是連續(xù)數(shù)值。因此筆者采用了高斯受限玻爾茲曼機(jī)(Gaussian RBM, 簡(jiǎn)稱GRBM)，將二進(jìn)制的可視層節(jié)點(diǎn)值替換為具有高斯分布的連續(xù)實(shí)數(shù)，使輸入層能夠接受連續(xù)型信號(hào)，隱含層仍采用服從伯努利分布的二值神經(jīng)元節(jié)點(diǎn)，GRBM的能量函數(shù)為

E(v,h;θ)=

(2)

模型參數(shù)為θGRBM={wij,ai,bj}，其中：wij為可見單元v與隱藏單元h之間的權(quán)重；ai和bj分別為它們的偏置；n和m分別為可視層和隱含層單元的數(shù)量。

基于該能量函數(shù)，得到(v,h)聯(lián)合概率

(3)

由于隱藏層和可視層內(nèi)部沒有連接，同層的節(jié)點(diǎn)間相互獨(dú)立，當(dāng)給定可見層單元狀態(tài)v時(shí)，隱含層第j個(gè)單元hj的激活概率為

(4)

可視單元vi的激活概率為

(5)

其中：σ=1/(1+e-x)為sigmoid函數(shù)；N(μ,σ2)表示均值為μ、方差為σ2的高斯分布。

GRBM的訓(xùn)練采用由 Hinton[6]提出的CD 算法：從訓(xùn)練樣本的任一狀態(tài)出發(fā)，按照式(4)計(jì)算出隱含單元的概率，然后固定隱含單元，按照式(5)重構(gòu)出可視單元。這樣,得到模型參數(shù)θGRBM={wij,ai,bj}的近似調(diào)整規(guī)則

其中：〈·〉data為由樣本數(shù)據(jù)決定的期望；〈·〉recon為重構(gòu)數(shù)據(jù)的期望；ε為學(xué)習(xí)率。

訓(xùn)練樣本一般被分為多個(gè)小子集，每個(gè)子集訓(xùn)練完成后，再更新模型的參數(shù)。

1.3 高斯深度信念網(wǎng)絡(luò)

高斯深度信念網(wǎng)絡(luò)(Gaussian DBN，簡(jiǎn)稱GDBN)是通過(guò)層疊幾個(gè)GRBM構(gòu)建的。具有3個(gè)堆疊的GRBM的GDBN體系結(jié)構(gòu)如圖3所示。

圖3 GDBN結(jié)構(gòu)

GDBN特征提取過(guò)程采用逐層無(wú)監(jiān)督貪婪預(yù)訓(xùn)練[7]，將數(shù)據(jù)輸入到第1個(gè)GRBM的可見層中，并使用激活函數(shù)將其轉(zhuǎn)換為隱藏層，前1個(gè)GRBM學(xué)到的特征作為下1個(gè)的輸入，直到最后1個(gè)GRBM，無(wú)監(jiān)督預(yù)訓(xùn)練結(jié)束，GDBN從原始數(shù)據(jù)自動(dòng)學(xué)習(xí)的特征被送入分類器中。

2 自適應(yīng)學(xué)習(xí)率

學(xué)習(xí)率是影響GDBN收斂速度和提取特征性能的決定性因素[8]。標(biāo)準(zhǔn)GRBM的學(xué)習(xí)算法中采用固定的學(xué)習(xí)率來(lái)訓(xùn)練網(wǎng)絡(luò)，確定后，學(xué)習(xí)率在整個(gè)訓(xùn)練過(guò)程中保持不變，自適應(yīng)性差。如果學(xué)習(xí)率過(guò)大，很可能會(huì)越過(guò)最優(yōu)值，在局部最優(yōu)點(diǎn)附近來(lái)回跳動(dòng)；而如果學(xué)習(xí)率過(guò)小，優(yōu)化的效率可能過(guò)低，算法長(zhǎng)時(shí)間無(wú)法收斂，所以學(xué)習(xí)率對(duì)于算法性能至關(guān)重要。

為了獲得更好的故障診斷性能并加速網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，在傳統(tǒng)DBN算法基礎(chǔ)上，引入一種基于重構(gòu)誤差的自適應(yīng)學(xué)習(xí)率算法，可以在訓(xùn)練中每一步自適應(yīng)調(diào)整學(xué)習(xí)速率。重構(gòu)誤差是RBM學(xué)習(xí)規(guī)則中應(yīng)用最廣泛的判斷標(biāo)準(zhǔn)，定義為

(9)

可以在RBM訓(xùn)練規(guī)則中的每個(gè)時(shí)期調(diào)整學(xué)習(xí)速率。動(dòng)態(tài)調(diào)整學(xué)習(xí)率為

(10)

其中：η∈(0,1)為增減因子，用來(lái)調(diào)整學(xué)習(xí)率；εold為原來(lái)的學(xué)習(xí)率；εnow為更新后的學(xué)習(xí)率；Δ=Errold-Errnow。

對(duì)比連續(xù)的重構(gòu)誤差Errnow與Errold，當(dāng)重構(gòu)誤差減小時(shí)，加大學(xué)習(xí)率；當(dāng)誤差增大時(shí)，則減小學(xué)習(xí)率。

3 基于DAE和GDBN的融合模型

深層神經(jīng)網(wǎng)絡(luò)在構(gòu)造時(shí)非常強(qiáng)調(diào)模型的混合[9]，目前的深度學(xué)習(xí)模型大都是由一些簡(jiǎn)單而相同的基本模型構(gòu)建，不能同時(shí)充分利用不同基礎(chǔ)模型的優(yōu)點(diǎn)。為了進(jìn)一步提高模型的特征學(xué)習(xí)能力，有必要結(jié)合不同深度學(xué)習(xí)模型，設(shè)計(jì)一種混合模型。受限玻爾茲曼機(jī)和自編碼器是構(gòu)成深度神經(jīng)網(wǎng)絡(luò)的基本單元，文獻(xiàn)[10]指出，自編碼器擅長(zhǎng)于擴(kuò)充數(shù)據(jù)，而受限玻爾茲曼機(jī)擅長(zhǎng)投影數(shù)據(jù)，并基于此提出了基于DBN和SAE的融合模型，較好地解決了作曲家分類問(wèn)題，也證明了參數(shù)傳遞在自編碼器和深度置信網(wǎng)絡(luò)這兩個(gè)模型間是可行并有效的。

降噪自編碼器可以從損壞的輸入中學(xué)習(xí)有用的信息并從隱含層重建干凈的數(shù)據(jù)，具有保持原始數(shù)據(jù)的可恢復(fù)性的作用，這對(duì)于初級(jí)特征的提取非常重要[10]。對(duì)于第1層網(wǎng)絡(luò)，原始數(shù)據(jù)被映射到一個(gè)高維的空間能夠增加數(shù)據(jù)的可分性，并且在這個(gè)投影過(guò)程中數(shù)據(jù)的可恢復(fù)性能夠確保投影結(jié)果的相對(duì)穩(wěn)定性，而RBM投影的結(jié)果依賴于隱節(jié)點(diǎn)的概率分布[10],因此網(wǎng)絡(luò)的第1層由降噪自編碼器來(lái)構(gòu)建，學(xué)習(xí)原始振動(dòng)數(shù)據(jù)的魯棒重構(gòu)。

筆者結(jié)合DAE和DBN的優(yōu)勢(shì)進(jìn)一步提高特征學(xué)習(xí)能力，DAE用于處理原始信號(hào)的隨機(jī)噪聲并學(xué)習(xí)低層特征，DBN用于基于所學(xué)習(xí)的低層特征來(lái)學(xué)習(xí)深層特征。

4 基于深度學(xué)習(xí)融合模型的故障診斷方法

診斷模型以降噪自動(dòng)編碼器和自適應(yīng)高斯深度信念網(wǎng)絡(luò)來(lái)提取故障特征，利用PSO-SVM作為分類器，如圖4所示。

圖4 改進(jìn)的故障診斷模型

其步驟如下：

1) 利用傳感器采集裝備在不同故障狀態(tài)下的監(jiān)測(cè)信號(hào)；

2) 對(duì)采集到的數(shù)據(jù)進(jìn)行等分樣本段后線性歸一化，劃分訓(xùn)練集和測(cè)試集，對(duì)模型進(jìn)行訓(xùn)練；

3) 建立單隱層的DAE對(duì)輸入數(shù)據(jù)提取低層故障特征；

4) 將DAE的隱含層作為第1個(gè)GRBM的可視層，建立多隱層自適應(yīng)高斯深度信念網(wǎng)絡(luò)，無(wú)監(jiān)督逐層預(yù)訓(xùn)練，提取故障深層特征；

5) 將深度網(wǎng)絡(luò)提取到的故障特征輸入PSO-SVM進(jìn)行訓(xùn)練，得到訓(xùn)練好的診斷模型；

6) 將測(cè)試集數(shù)據(jù)輸入訓(xùn)練好的模型，輸出識(shí)別結(jié)果，完成故障診斷。

5 實(shí)例分析

滾動(dòng)軸承是機(jī)械裝備的核心部件，其健康狀況對(duì)裝備的機(jī)械性能、穩(wěn)定性和壽命有重要的影響。筆者通過(guò)軸承故障診斷實(shí)驗(yàn)來(lái)驗(yàn)證所提算法的機(jī)械故障特征提取及診斷能力。

5.1 仿真信號(hào)描述

振動(dòng)信號(hào)通常包含大量的信息，因此，基于振動(dòng)信號(hào)的狀態(tài)監(jiān)測(cè)技術(shù)已被廣泛應(yīng)用。凱斯西儲(chǔ)大學(xué)(CWRU)軸承數(shù)據(jù)中心以12 kHz采樣頻率從電機(jī)驅(qū)動(dòng)機(jī)械系統(tǒng)的加速度計(jì)獲得的軸承狀態(tài)數(shù)據(jù)集有以下4種故障類型：正常、球故障、內(nèi)圈故障和外圈故障，每種故障類型分別包含0.177 8，0.355 6和0.533 4mm這3種故障直徑，共有10個(gè)故障條件。將采集的振動(dòng)信號(hào)以相等的窗口長(zhǎng)度劃分，每個(gè)樣本包含1 024個(gè)數(shù)據(jù)點(diǎn)，數(shù)據(jù)集A，B和C分別包含不同負(fù)載下的70個(gè)訓(xùn)練樣本和30個(gè)測(cè)試樣本，數(shù)據(jù)集D包含所有3個(gè)負(fù)載的210個(gè)訓(xùn)練樣本和90個(gè)測(cè)試樣本。將這些時(shí)域振動(dòng)信號(hào)的頻譜直接作為特征向量來(lái)表示軸承的故障類型，數(shù)據(jù)集的每個(gè)樣本都包含512個(gè)樣本點(diǎn)。表1描述了所有數(shù)據(jù)集的細(xì)節(jié),其中： RF，IF和OF分別代表滾珠、軸承內(nèi)圈和外圈故障；RF1～RF3代表不同的故障深度。

5.2 實(shí)驗(yàn)步驟

1) 原始數(shù)據(jù)是512維的，所以DAE輸入層節(jié)點(diǎn)數(shù)為512，隱含層將原始數(shù)據(jù)映射到高維度的空間，實(shí)驗(yàn)得到最優(yōu)節(jié)點(diǎn)數(shù)為兩倍空間即1 024左右；將DAE的隱含層作為GDBN第1個(gè)GRBM的可見層，之后依次通過(guò)節(jié)點(diǎn)數(shù)為500和300的隱層對(duì)數(shù)據(jù)進(jìn)行壓縮，提取深層特征。DAE噪聲系數(shù)取0.5，經(jīng)反復(fù)實(shí)驗(yàn)得到自適應(yīng)學(xué)習(xí)率增減因子最優(yōu)值η=0.7，訓(xùn)練迭代次數(shù)為100。

表1 軸承故障數(shù)據(jù)

2) 將提取到的特征輸入PSO-SVM，初始化PSO參數(shù)為：最大進(jìn)化代數(shù)為200，種群數(shù)量為20，學(xué)習(xí)因子c1為1.5，學(xué)習(xí)因子c2為1.7，訓(xùn)練和測(cè)試模型；

3) 為了驗(yàn)證所提方法的優(yōu)越性與魯棒性，將本研究方法與標(biāo)準(zhǔn)GDBN、標(biāo)準(zhǔn)SDAE、自適應(yīng)GDBN在相同的網(wǎng)絡(luò)結(jié)構(gòu)和PSO-SVM參數(shù)下的診斷精度進(jìn)行對(duì)比，標(biāo)準(zhǔn)GDBN學(xué)習(xí)率為1，DAE噪聲系數(shù)取0.5。

5.3 仿真結(jié)果分析

5.3.1 特征提取能力分析

為了觀察深度學(xué)習(xí)的特征提取能力，利用非線性降維算法(t-distributed stochastic neighbor embedding, 簡(jiǎn)稱t-SNE)將筆者所提融合模型學(xué)習(xí)到數(shù)據(jù)集A的故障特征轉(zhuǎn)換映射，顯示為二維散點(diǎn)圖，分別命名為t-SNE1和t-SNE2，見圖5～圖7。

可以看出，提出的模型能夠?qū)Σ煌收仙疃群凸收项愋偷臄?shù)據(jù)進(jìn)行較好的特征提取，并且各原始特征點(diǎn)似乎是同心圓，經(jīng)過(guò)深層學(xué)習(xí)模型后被線性分割，這展現(xiàn)深度學(xué)習(xí)強(qiáng)大的非線性映射能力。

5.3.2 收斂性分析

在實(shí)踐中通常用平均重構(gòu)誤差來(lái)表示RBM對(duì)原始輸入數(shù)據(jù)的似然度，并反映訓(xùn)練過(guò)程中收斂速度的快慢。圖8給出了自適應(yīng)學(xué)習(xí)率和固定學(xué)習(xí)率性能的對(duì)比。

可以看出，ε=1時(shí)重構(gòu)誤差一開始呈現(xiàn)急速下降趨勢(shì)，引起了算法不穩(wěn)定；ε=0.5時(shí)收斂速度較慢；采用自適應(yīng)學(xué)習(xí)率時(shí)，迭代到第20次時(shí)已基本達(dá)到穩(wěn)定 并且重構(gòu)誤差最小，證明了所提出的自適應(yīng)策略在提高收斂速度和重構(gòu)精度方面的有效性。

圖5 原始數(shù)據(jù)特征分布可視化

Fig.5 Visualization of the raw data via t-SNE

圖6 DAE提取低層特征分布可視化

Fig.6 Visualization of the Low-level feature dis-tribution extracted by DAE via t-SNE

圖7 GDBN提取深層特征分布可視化

Fig.7 Visualization of the Deep-level feature dis-tribution extracted by GDBN via t-SNE

圖8 最后1個(gè)RBM的重構(gòu)誤差

Fig.8 Reconstruction error of the last RBM

5.3.3 故障診斷能力分析

利用各診斷模型分別進(jìn)行10次實(shí)驗(yàn)，取最好的1次測(cè)試結(jié)果表征模型的診斷精度。圖9具體顯示了本研究方法在數(shù)據(jù)集A的每個(gè)故障狀態(tài)的識(shí)別準(zhǔn)確度，數(shù)據(jù)集A的訓(xùn)練集全部被正確識(shí)別，測(cè)試集的兩個(gè)樣本識(shí)別錯(cuò)誤。

表2為4種不同方法在4類數(shù)據(jù)集下的測(cè)試結(jié)果。分析得出，4種方法的診斷時(shí)間相差不多，這是因?yàn)?種方法的特征提取網(wǎng)絡(luò)結(jié)構(gòu)和分類器都比較相似，處理的時(shí)間也相近。在不同的負(fù)載下筆者提出的融合模型的診斷精度都高于其他3種傳統(tǒng)模型，并且自適應(yīng)GDBN的性能優(yōu)于標(biāo)準(zhǔn)GDBN。

圖9 訓(xùn)練結(jié)果與測(cè)試結(jié)果

表2 不同模型的診斷結(jié)果

5.3.4 魯棒性分析

為了驗(yàn)證所提方法處理隨機(jī)噪聲的能力，進(jìn)一步證明所提出方法的優(yōu)越性，實(shí)驗(yàn)中模型由原始數(shù)據(jù)進(jìn)行訓(xùn)練，然后對(duì)含噪聲的數(shù)據(jù)進(jìn)行測(cè)試。數(shù)據(jù)集A的信號(hào)在時(shí)域中與加性高斯白噪聲合成不同信噪比的信號(hào)，并在此之后轉(zhuǎn)換為頻率信號(hào)，定義為

(11)

其中：Psignal和Pnoise分別為信號(hào)功率和噪聲功率。

圖10 給出了信號(hào)與噪聲混合示例。

圖10 信噪混合示例

噪聲信號(hào)范圍為-4～10 dB，比較本方法與自適應(yīng)GDBN、標(biāo)準(zhǔn)SDAE，圖11顯示了不同噪聲干擾水平下3種模型的故障識(shí)別精度，可以看出所提方法略優(yōu)于SDAE。與傳統(tǒng)GDBN相比，隨著噪聲水平的增加，所提方法的優(yōu)越性變得明顯，表明該方法對(duì)一定范圍的噪聲水平具有魯棒性。

圖11 不同模型在不同噪聲環(huán)境下分類精度

6 結(jié)束語(yǔ)

提出了一種基于降噪自編碼器和自適應(yīng)高斯深度信念網(wǎng)絡(luò)的深度學(xué)習(xí)融合模型來(lái)解決機(jī)械裝備故障診斷問(wèn)題。該模型直接處理原始振動(dòng)信號(hào)，無(wú)需耗時(shí)的手工特征提取過(guò)程，并采用自適應(yīng)學(xué)習(xí)率提高了網(wǎng)絡(luò)的收斂速度和診斷精度，優(yōu)于傳統(tǒng)單一的深度學(xué)習(xí)模型，并且在噪聲環(huán)境下工作良好。