王應(yīng)晨,段修生,2,單甘霖

(1.陸軍工程大學(xué)，河北 石家莊 050003;2.石家莊鐵道大學(xué)，河北 石家莊 050003)

0 引言

隨著電子裝備的日益復(fù)雜以及機(jī)器學(xué)習(xí)方法逐漸成熟,如何保障復(fù)雜電子裝備的可靠運(yùn)行以及發(fā)生故障后快速、準(zhǔn)確的診斷一直是研究的熱點(diǎn)[1]。電子電路是電子裝備的核心，其可靠性直接影響電子裝備的可靠性，作為電子電路的重要組成部分，模擬電路的故障診斷具有重要意義。目前，傳統(tǒng)的智能學(xué)習(xí)算法在模擬電路故障診斷領(lǐng)域得到了廣泛應(yīng)用[2-3]，但仍存在3個(gè)固有的缺陷：①診斷性能很大程度上取決于專家經(jīng)驗(yàn)所提取特征的質(zhì)量；②在不同的診斷問題中選擇敏感的特征費(fèi)時(shí)費(fèi)力；③神經(jīng)網(wǎng)絡(luò)(neural network,NN)和支持向量機(jī)(support vector machine,SVM)等屬于淺層學(xué)習(xí)模型，即只有一次非線性變換,難以有效學(xué)習(xí)復(fù)雜的非線性關(guān)系[4]。因此，有必要構(gòu)建自動(dòng)學(xué)習(xí)特征和精確故障診斷的深度學(xué)習(xí)架構(gòu)。

為了克服淺層模型的缺點(diǎn)，Hinton首先提出了深度學(xué)習(xí)并引起了廣泛的關(guān)注，在圖像分類[5]、人臉識(shí)別[6]、語(yǔ)音識(shí)別[7]等領(lǐng)域得到了有效應(yīng)用。深度學(xué)習(xí)可以自動(dòng)從原始數(shù)據(jù)學(xué)習(xí)敏感而有價(jià)值的特征，強(qiáng)大的非線性映射能力以及多隱層使其與ANN，SVM 等淺層學(xué)習(xí)模型相比，能夠更加有效，靈活地學(xué)習(xí)故障診斷問題中的復(fù)雜關(guān)系。對(duì)于一維數(shù)據(jù)的建模問題，堆棧自編碼機(jī)(stacked autoencoder,SAE)和深度信念網(wǎng)絡(luò)(deep belief network,DBN)2種主要的深度學(xué)習(xí)模型，并逐漸在故障診斷中得到應(yīng)用[8-9]。然而，這些應(yīng)用仍然存在2個(gè)主要局限性：①?zèng)]有考慮正確處理實(shí)際情況下存在的噪聲，而且去噪方法需要專業(yè)的經(jīng)驗(yàn)；②標(biāo)準(zhǔn)的深度學(xué)習(xí)算法存在誤差振蕩，收斂速度慢。

為了能夠在提取特征的同時(shí)對(duì)信號(hào)進(jìn)行去噪，并有效提高網(wǎng)絡(luò)的收斂速度和穩(wěn)定性，本文提出了基于降噪自動(dòng)編碼器和自適應(yīng)高斯深度信念網(wǎng)絡(luò)的融合模型來(lái)構(gòu)建故障診斷系統(tǒng)。

1 深度學(xué)習(xí)基本原理

1.1 降噪自編碼器

降噪自編碼器(denoising autoencoder, DAE)是對(duì)普通自動(dòng)編碼器(autoencoder,AE)的有效改進(jìn)[10]，為使AE 隱含層學(xué)習(xí)到的特征更具魯棒性，在訓(xùn)練樣本中加入隨機(jī)噪聲來(lái)污染輸入數(shù)據(jù)，之后送到網(wǎng)絡(luò)中進(jìn)行編碼和解碼，DAE從損壞的數(shù)據(jù)來(lái)重建未損的數(shù)據(jù)，以此提高模型的抽象能力，得到對(duì)原始數(shù)據(jù)更加魯棒的表達(dá)。

圖1 降噪自編碼器的編碼和解碼過程Fig.1 Encoding and decoding process of DAE

圖1說明了DAE的結(jié)構(gòu)與訓(xùn)練過程，圖中，h=(h1,h2,…,hd)為隱含層特征向量；z=(z1,z2,…,zD)為由隱含層得到的原始輸入的重構(gòu)。訓(xùn)練的主要目標(biāo)是最小化重構(gòu)誤差，定義為

(1)

1.2 高斯深度信念網(wǎng)絡(luò)

高斯深度信念網(wǎng)絡(luò)(Gaussian DBN，GDBN)是通過層疊幾個(gè)高斯受限玻爾茲曼機(jī)(Gaussian restricted botlzmann machine, RBM)構(gòu)建的[11]。具有3個(gè)堆疊的GRBM的GDBN的體系結(jié)構(gòu)如圖2所示。

圖2 GDBN結(jié)構(gòu)Fig.2 Structure of GDBN

在RBM中，各節(jié)點(diǎn)是二進(jìn)制值，而故障信號(hào)是連續(xù)數(shù)值，二元單位RBM不能很好地模擬。因此本文采用GRBM，將二進(jìn)制的可視層節(jié)點(diǎn)值替換為具有高斯分布的連續(xù)實(shí)數(shù)，使輸入層能夠接受連續(xù)型信號(hào)，隱含層仍采用服從伯努利分布的二值神經(jīng)元節(jié)點(diǎn)，高斯受限玻爾茲曼機(jī)的能量函數(shù)為[12]

(2)

式中：wij為可見單元v與隱藏單元h之間的權(quán)重；ai和bj分別為它們的偏置；n和m分別為可視層和隱含層單元的數(shù)量?；谠撃芰亢瘮?shù)，得到(v,h)聯(lián)合概率為

(3)

由于隱藏層和可視層內(nèi)部沒有連接，同一層節(jié)點(diǎn)間是相互獨(dú)立的，當(dāng)給定可見單元狀態(tài)v時(shí)，隱含層第j個(gè)單元hj的激活概率為

(4)

同理，可視單元vi的激活概率為

(5)

式中：σ=1/(1+e-x)是sigmoid函數(shù);N(μ,σ2)表示均值為μ，方差為σ2的高斯分布，為了使模型實(shí)現(xiàn)更簡(jiǎn)單，輸入數(shù)據(jù)的每個(gè)分量通常被歸一化為零均值和單位方差。

GRBM的訓(xùn)練采用由 Hinton 提出的CD算法[13]：利用吉布斯采樣從訓(xùn)練樣本的任一狀態(tài)出發(fā)，按照式(4)計(jì)算出隱含單元的概率；然后，固定隱含單元，按照式(5)重構(gòu)出可視單元。這樣,得到模型參數(shù)θGRBM={wij,ai,bj}的近似調(diào)整規(guī)則:

(6)

，

(7)

Δbj=ε(〈hj〉data-〈hj〉recon)，

(8)

式中：〈·〉data為由樣本數(shù)據(jù)決定的期望；〈·〉recon為重構(gòu)數(shù)據(jù)的期望;ε為學(xué)習(xí)率。

為了更好地訓(xùn)練GRBM,通常將訓(xùn)練樣本分為多個(gè)規(guī)模較小的子集,對(duì)每個(gè)子集訓(xùn)練完之后,再更新模型參數(shù)。

2 自適應(yīng)GDBN

學(xué)習(xí)率是影響GDBN收斂速度和提取特征性能的決定性因素[13]。標(biāo)準(zhǔn)GRBM基于對(duì)比散度(CD)的快速學(xué)習(xí)算法中采用全局的學(xué)習(xí)率來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，一旦選定，學(xué)習(xí)率在整個(gè)訓(xùn)練過程中保持不變，自適應(yīng)性差。如果學(xué)習(xí)率過大，很可能會(huì)越過最優(yōu)值，在局部最優(yōu)點(diǎn)附近來(lái)回跳動(dòng)；而如果學(xué)習(xí)率過小，優(yōu)化的效率可能過低，算法長(zhǎng)時(shí)間無(wú)法收斂，所以學(xué)習(xí)率對(duì)于算法性能至關(guān)重要。

為了獲得更好的故障診斷性能并加速網(wǎng)絡(luò)的學(xué)習(xí)過程，在傳統(tǒng)DBN算法基礎(chǔ)上，引入一種基于重構(gòu)誤差的自適應(yīng)學(xué)習(xí)率算法，可以在訓(xùn)練每一步自適應(yīng)調(diào)整學(xué)習(xí)速率。重構(gòu)誤差是RBM學(xué)習(xí)規(guī)則中應(yīng)用最廣泛的判斷標(biāo)準(zhǔn)，定義為

(9)

可以在GRBM訓(xùn)練規(guī)則中的每個(gè)時(shí)期調(diào)整學(xué)習(xí)速率。動(dòng)態(tài)調(diào)整學(xué)習(xí)率為

(10)

式中：εold為原來(lái)的學(xué)習(xí)率;εnow為更新后的學(xué)習(xí)率;Δ=Errold-Errnow，η∈(0,1)為增減因子。對(duì)比連續(xù)的重構(gòu)誤差Errnow與Errold，當(dāng)重構(gòu)誤差減小時(shí)，加大學(xué)習(xí)率；當(dāng)誤差增大時(shí)，則減小學(xué)習(xí)率。

3 融合模型

深層神經(jīng)網(wǎng)絡(luò)在構(gòu)造時(shí)非常強(qiáng)調(diào)模型的混合，目前的深度學(xué)習(xí)模型大都是由一些簡(jiǎn)單相同的基本模型構(gòu)建，不能同時(shí)充分利用不同基礎(chǔ)模型的優(yōu)點(diǎn)。因此，為了進(jìn)一步提高模型的特征學(xué)習(xí)能力，有必要結(jié)合不同深度學(xué)習(xí)模型，設(shè)計(jì)一種混合模型。受限玻爾茲曼機(jī)和自編碼器是構(gòu)成深度神經(jīng)網(wǎng)絡(luò)的基本單元，文獻(xiàn)[14]指出，自編碼器擅長(zhǎng)對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充，而受限玻爾茲曼機(jī)擅長(zhǎng)對(duì)數(shù)據(jù)進(jìn)行投影，并基于這一區(qū)別提出了基于DBN和SAE的融合模型，較好地解決了作曲家分類問題，也由此證明了參數(shù)傳遞在自編碼器和深度置信網(wǎng)絡(luò)這2個(gè)模型間是可行并有效的。

由1.1可知，降噪自編碼器可以從損壞的輸入中學(xué)習(xí)有用的信息并從隱含層重建干凈的數(shù)據(jù)，具有保持原始數(shù)據(jù)的可恢復(fù)性的作用，這對(duì)于初級(jí)特征的提取非常重要[15]。對(duì)于網(wǎng)絡(luò)第1層而言，將數(shù)據(jù)映射到一個(gè)高維空間可以增加數(shù)據(jù)的可分性，而在這個(gè)投影過程中的可恢復(fù)性可以保證投影結(jié)果的相對(duì)穩(wěn)定，而受限玻爾茲曼機(jī)投影的結(jié)果依賴于隱節(jié)點(diǎn)的概率分布[14]。因此以降噪自編碼器為模型來(lái)構(gòu)建第1層網(wǎng)絡(luò)，學(xué)習(xí)原始振動(dòng)數(shù)據(jù)的魯棒重構(gòu)。

在本文中，通過結(jié)合DAE和DBN的優(yōu)勢(shì)進(jìn)一步提高特征學(xué)習(xí)能力, 具體而言，DAE用于處理原始信號(hào)的隨機(jī)噪聲并學(xué)習(xí)低層特征，DBN基于所學(xué)習(xí)的低層特征來(lái)學(xué)習(xí)深層特征。

4 基于深度學(xué)習(xí)融合模型的故障診斷方法

基于DAE和自適應(yīng)GDBN的融合模型的故障診斷模型如圖3，其步驟可總結(jié)如下：

本文使用的是來(lái)自200個(gè)地震臺(tái)站、采樣率為100Hz的三分量加速度數(shù)據(jù)。首先，將加速度數(shù)據(jù)轉(zhuǎn)換為地震解析碼格式，并用100為因子進(jìn)行抽取，將抽樣頻率減少到1Hz。抽取的過程并不是必須的，但可用來(lái)減少計(jì)算時(shí)間。然后，將抽取的加速度的每個(gè)分量k（t）轉(zhuǎn)換為位移A（t）。這個(gè)轉(zhuǎn)換通過使用遞歸數(shù)字濾波器和機(jī)械地震儀的頻率響應(yīng)對(duì)k（t）進(jìn)行兩次積分完成。

(1) 利用傳感器獲取電子裝備電路在不同故障狀態(tài)下的監(jiān)測(cè)信號(hào)，對(duì)其預(yù)處理，作為網(wǎng)絡(luò)的輸入；

(2) 建立單隱層的降噪自編碼器對(duì)輸入故障數(shù)據(jù)進(jìn)行訓(xùn)練，提取低層故障特征；

(3) 將DAE的隱含層作為第1個(gè)GRBM的可視層，建立多隱層自適應(yīng)高斯深度信念網(wǎng)絡(luò)，無(wú)監(jiān)督逐層預(yù)訓(xùn)練，提取故障深層特征；

(4) 微調(diào)整個(gè)網(wǎng)絡(luò)，將深度網(wǎng)絡(luò)提取到的特征輸入Softmax分類器進(jìn)行訓(xùn)練，反向微調(diào)整個(gè)網(wǎng)絡(luò)參數(shù)，最終輸出故障類別，完成故障診斷。

圖3 改進(jìn)的故障診斷模型Fig.3 Flow chart of improved fault diagnosis model

5 仿真校驗(yàn)

5.1 故障電路

選擇ITC97中Elliptical Filter電路作為實(shí)驗(yàn)電路，其電路圖和元器件標(biāo)稱職如圖4所示。

分別設(shè)置電路中R2,R6,C1,C5的元件值相對(duì)標(biāo)稱值上升和下降50%作為電路故障，如表1所示，加上電路的正常狀態(tài)，共9種電路故障狀態(tài)。

圖4 Elliptical Filter電路Fig.4 Electric circuit of Elliptical Filter

元器件C1/nFC5/nFR2/kΩR6/kΩ故障值1.334.001.334.009829418.756.1

在PSpice環(huán)境下對(duì)電路的各故障狀態(tài)進(jìn)行Monte-Carfo仿真，設(shè)置電阻、電容容差都為5%，在3個(gè)放大器的輸出OUT1,OUT2,OUT3處采集電路在各故障狀態(tài)下的響應(yīng)信號(hào)。以方波信號(hào)為激勵(lì)信號(hào)，對(duì)每種故障狀態(tài)進(jìn)行100次時(shí)域瞬態(tài)分析，各測(cè)試點(diǎn)采樣500個(gè)信號(hào)點(diǎn)，構(gòu)成900×1 500的原始數(shù)據(jù)集隨機(jī)選擇70%作為訓(xùn)練集，剩余30%作為測(cè)試集。

5.2 實(shí)驗(yàn)步驟

(2) 為了驗(yàn)證所提方法的優(yōu)越性與魯棒性，將本文方法與標(biāo)準(zhǔn)GDBN、標(biāo)準(zhǔn)SDAE、自適應(yīng)GDBN在相同的網(wǎng)絡(luò)結(jié)構(gòu)下對(duì)比。

5.3 仿真結(jié)果分析

5.3.1 特征提取能力分析

為了觀察深度神經(jīng)網(wǎng)絡(luò)每一層的特征提取能力，利用非線性降維算法(t-SNE)對(duì)本文所提模型的每一層特征投影到二維平面上。圖5～7給出了特征可視化分布圖，可以看出GDBN提取到的深層故障特征具有很好的分離性和類內(nèi)聚集性，展現(xiàn)了所提算法模型良好的特征提取性能。

圖5 原始數(shù)據(jù)特征分布可視化Fig.5 Visualization of the raw data via t-SNE

圖6 DAE提取低層特征分布可視化Fig.6 Visualization of the Low-level feature distribution extracted by DAE via t-SNE

圖7 GDBN最底層提取深層特征分布可視化Fig.7 Visualization of the Deep-level feature distribution extracted by GDBN via t-SNE

5.3.2 故障診斷能力分析

圖8顯示了所提出的融合模型對(duì)電路的每個(gè)故障狀態(tài)的識(shí)別準(zhǔn)確度。

表2展示了本文提出的方法與其他3種深度學(xué)習(xí)模型的故障診斷能力，可以看出，本文提出的融合模型診斷精度高于其他3種傳統(tǒng)深度學(xué)習(xí)模型，達(dá)到98.3%，并且自適應(yīng)GDBN的分類性能優(yōu)于標(biāo)準(zhǔn)GDBN。

5.3.3 魯棒性分析

由于電子裝備工作的復(fù)雜環(huán)境與電源的高溫，強(qiáng)烈振動(dòng)和電壓波動(dòng)等不同的操作，電路會(huì)受到干擾。為了驗(yàn)證所提方法處理噪聲的能力，進(jìn)一步證明所提出的方法的優(yōu)越性。實(shí)驗(yàn)中，模型由原始數(shù)據(jù)進(jìn)行訓(xùn)練，含噪聲測(cè)試數(shù)據(jù)通過以下方法得到

圖8 所提方法的分類混淆矩陣Fig.8 Confusion matrix of the proposed method

%

Xn=X+Kσ·rand(),

(11)

式中：X為原測(cè)試數(shù)據(jù)；K為噪聲水平；σ為數(shù)據(jù)標(biāo)準(zhǔn)差，分別把原測(cè)試數(shù)據(jù)整體添加不同水平噪聲(K分別取 0，1，2，3)作為新測(cè)試數(shù)據(jù)，圖9顯示了不同噪聲干擾下3種模型的故障識(shí)別精度。

圖9 不同模型在不同噪聲環(huán)境下診斷精度Fig.9 Classification accuracy in different models under different noise environments

可以看出，所提融合模型診斷精度優(yōu)于標(biāo)準(zhǔn)SDAE與自適應(yīng)GDBN，并且隨著噪聲水平的增加，所提出方法的優(yōu)越性變得明顯。從而表明所提出的方法對(duì)一定范圍的噪聲水平具有魯棒性。

6 結(jié)束語(yǔ)

本文提出了一種基于降噪自編碼器和自適應(yīng)高斯深度信念網(wǎng)絡(luò)的深度學(xué)習(xí)融合模型來(lái)解決模擬電路的故障診斷問題。該模型直接處理原始信號(hào)，無(wú)需耗時(shí)的人工特征提取過程，并采用自適應(yīng)學(xué)習(xí)率提高了網(wǎng)絡(luò)的收斂速度和診斷精度，優(yōu)于傳統(tǒng)單一的深度學(xué)習(xí)模型，并且在噪聲環(huán)境下工作良好。