張西寧, 向宙, 唐春華

(西安交通大學(xué)機(jī)械制造系統(tǒng)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室, 710049, 西安)

隨著計(jì)算機(jī)、傳感器及通信技術(shù)的發(fā)展,機(jī)電產(chǎn)品的狀態(tài)監(jiān)測(cè)邁入了“大數(shù)據(jù)”時(shí)代,這給機(jī)械故障診斷帶來了數(shù)據(jù)量大、種類繁多、高速率等新的挑戰(zhàn)[1-2]。在機(jī)電大數(shù)據(jù)時(shí)代,利用先進(jìn)的理論與方法,從機(jī)械裝備大數(shù)據(jù)中自動(dòng)挖掘信息,取代診斷專家進(jìn)行特征提取,對(duì)軸承等基礎(chǔ)零部件進(jìn)行實(shí)時(shí)監(jiān)測(cè)診斷,并保證故障診斷及預(yù)測(cè)的準(zhǔn)確性與高效性,成為了當(dāng)前研究的熱點(diǎn)[3]。

近年來,深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界發(fā)展迅猛,在很多傳統(tǒng)的識(shí)別任務(wù)上取得了顯著的成果。深度學(xué)習(xí)模型依靠其多個(gè)隱含層,可以很好地實(shí)現(xiàn)高變函數(shù)等復(fù)雜高維函數(shù)的表示,在特征提取能力上具有很多其他網(wǎng)絡(luò)學(xué)習(xí)算法不可比擬的優(yōu)勢(shì)[4-6]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是深度學(xué)習(xí)中最重要的模型之一,在二維圖像識(shí)別、一維時(shí)間序列分類與診斷等領(lǐng)域取得了重大突破。2012年,加拿大多倫多大學(xué)的Krizhevsky等設(shè)計(jì)的具有5個(gè)卷積層的深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet在ImageNet圖像識(shí)別挑戰(zhàn)賽上取得了驚人的效果,將準(zhǔn)確率從傳統(tǒng)智能方法的74.2%提升到了83.6%[7];2014年,Google通過建立更深層的模型,將ImageNet圖像識(shí)別準(zhǔn)確率提高到了93.3%[8];2015年,微軟研究院提出的殘差卷積神經(jīng)網(wǎng)絡(luò)ResNet將這個(gè)紀(jì)錄提高到了95.06%,高于人眼識(shí)別正確率的94.9%[9];2017年,斯坦福大學(xué)的Esteva等在《Nature》上發(fā)表的卷積神經(jīng)網(wǎng)絡(luò)在皮膚癌的診斷上正確率達(dá)到了91%,超過了人類專家的水平[10]。在機(jī)械故障診斷領(lǐng)域,華南理工大學(xué)的賈京龍等人利用卷積神經(jīng)網(wǎng)絡(luò)成功識(shí)別出了變壓器故障,并探討了卷積核個(gè)數(shù)、卷積核大小以及采樣寬度等對(duì)分類效果的影響[11]。西安交通大學(xué)的趙明等人對(duì)比了不同結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)在軸承故障診斷中的效果[12]。Zhang等人研究了卷積神經(jīng)網(wǎng)絡(luò)在多負(fù)載高噪聲環(huán)境下的識(shí)別能力,通過分批規(guī)范化和小批量訓(xùn)練,極大地提高了網(wǎng)絡(luò)對(duì)負(fù)載和噪聲的適應(yīng)能力[13]。

卷積神經(jīng)網(wǎng)絡(luò)通過局部權(quán)值共享極大地減少了網(wǎng)絡(luò)參數(shù)的數(shù)量,能夠在一定程度上避免樣本數(shù)量不足時(shí)網(wǎng)絡(luò)產(chǎn)生過擬合[14]。但是,用于機(jī)械故障診斷的卷積神經(jīng)網(wǎng)絡(luò)一般都具有大卷積核[15],網(wǎng)絡(luò)的參數(shù)依然較多,傳統(tǒng)的權(quán)值隨機(jī)初始化方法依然會(huì)有陷入局部最優(yōu)的風(fēng)險(xiǎn)。針對(duì)這種情況,本文提出了一種利用卷積自編碼器對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化的方法:首先,將卷積池化后的特征通過“固定步長(zhǎng)疊加”反卷積回原信號(hào)空間,并優(yōu)化權(quán)值,使重構(gòu)信號(hào)與原信號(hào)誤差最小;之后,將編碼特征作為新的輸入,利用同樣的方式進(jìn)行編碼,依次循環(huán);最后,給網(wǎng)絡(luò)加上全連接網(wǎng)絡(luò)和分類器,用少量帶標(biāo)簽樣本微調(diào),使網(wǎng)絡(luò)具有故障識(shí)別能力。

1 基礎(chǔ)理論

1.1 卷積神經(jīng)網(wǎng)絡(luò)

Hubel和Wiesel對(duì)貓視覺皮層細(xì)胞的研究表明,視覺信息從視網(wǎng)膜傳遞到大腦中是通過多個(gè)層次感受野(receptive field)激發(fā)完成的[16]。卷積神經(jīng)網(wǎng)絡(luò)正是受此啟發(fā),通過堆疊的卷積層和池化層將原始圖像轉(zhuǎn)化成一系列特征圖,然后使用全連接神經(jīng)網(wǎng)絡(luò)對(duì)特征進(jìn)行分類,最后采用反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練。

圖1 用在一維時(shí)間序列上的典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

用在一維時(shí)間序列上的典型卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。卷積神經(jīng)網(wǎng)絡(luò)的卷積層通常包含若干個(gè)特征平面,每個(gè)特征平面由同一個(gè)濾波器對(duì)原信號(hào)進(jìn)行濾波而來,這里濾波器就是卷積核。每個(gè)特征平面使用同一個(gè)濾波器的直接好處是權(quán)值共享減少了網(wǎng)絡(luò)各層之間的連接,進(jìn)而降低了網(wǎng)絡(luò)過擬合的風(fēng)險(xiǎn)。卷積核一般以隨機(jī)小數(shù)的形式初始化,在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核通過學(xué)習(xí)得到合理的權(quán)值。池化也叫作子采樣,通常有均值子采樣和最大值子采樣兩種形式。池化的目的是為了對(duì)主要特征進(jìn)行提取,降低特征維數(shù)[15]。

對(duì)目標(biāo)誤差的反向傳播進(jìn)行求解是神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值優(yōu)化的關(guān)鍵步驟,典型卷積神經(jīng)網(wǎng)絡(luò)主要由全連接、池化、卷積3部分構(gòu)成。在對(duì)這3部分的梯度進(jìn)行求解后,即可通過鏈?zhǔn)角髮?dǎo)法則對(duì)整個(gè)網(wǎng)絡(luò)的梯度傳播進(jìn)行計(jì)算。

(1)

(2)

池化層沒有權(quán)值,只需要計(jì)算L關(guān)于池化層的輸入神經(jīng)元的導(dǎo)數(shù)。對(duì)于最大值池化:正向傳播時(shí)記錄最大值位置,設(shè)t=tm時(shí),max{al(i,t),(j-1)W+1≤t≤jW}=al(i,tm);反向傳播時(shí),只將梯度傳遞給第tm個(gè)神經(jīng)元,其余神經(jīng)元不參與傳遞,即

(3)

(4)

式中:yl(i,j)為卷積層的輸出;xl(j)為卷積層的輸入。

1.2 卷積自編碼器

為了解決深度神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層數(shù)的加深梯度傳遞衰減嚴(yán)重、優(yōu)化目標(biāo)函數(shù)非凸等問題,Hinton等人提出了用無監(jiān)督預(yù)訓(xùn)練來初始化網(wǎng)絡(luò)權(quán)值的方法,這就是自編碼器[17]。自編碼器的核心思想是基于有效的準(zhǔn)則,建立輸入與其編碼的良好拓?fù)鋵?duì)應(yīng)關(guān)系,以致編碼可以以合理的誤差重構(gòu)回原信號(hào)。常見的自編碼器都是基于全連接神經(jīng)網(wǎng)絡(luò)的,基于卷積神經(jīng)網(wǎng)絡(luò)權(quán)值初始化的方法還比較少見?；诖?本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的自編碼器,原理如圖2所示。其主要思想是將卷積池化后的信號(hào)通過反卷積核進(jìn)行重構(gòu),具體做法是以池化后的特征為權(quán)值,對(duì)反卷積核進(jìn)行加權(quán)疊加,疊加時(shí)的步長(zhǎng)為池化時(shí)的步長(zhǎng),將池化后的信號(hào)還原到原信號(hào)空間。

圖2 卷積自編碼器

卷積自編碼器的求解主要是以重構(gòu)信號(hào)與原信號(hào)的差最小為優(yōu)化目標(biāo),對(duì)卷積核和反卷積核進(jìn)行優(yōu)化求解。由圖2可知,卷積自編碼器主要由卷積、池化、反卷積3部分構(gòu)成,卷積和池化層的梯度計(jì)算見式(3)(4),反卷積層的梯度傳遞如下

(5)

(6)

式中:K為反卷積核;y為反卷積層輸出;x為反卷積層輸入;t為反卷積層輸入信號(hào)長(zhǎng)度;m為反卷積時(shí)的疊加步長(zhǎng)。

1.3 深度卷積自編碼網(wǎng)絡(luò)

如圖3所示,將卷積自編碼器堆疊,即將上一層的池化層作為下一層卷積自編碼器的輸入,即可構(gòu)成深度卷積自編碼網(wǎng)絡(luò)。在卷積自編碼過程中,不需要用到數(shù)據(jù)的標(biāo)簽,因此是一種非監(jiān)督的逐層學(xué)習(xí)方式。每一層自編碼器都是淺層神經(jīng)網(wǎng)絡(luò),可充分發(fā)揮淺層神經(jīng)網(wǎng)絡(luò)凸優(yōu)化的優(yōu)勢(shì),降低網(wǎng)絡(luò)陷入局部最優(yōu)的風(fēng)險(xiǎn)。在自編碼完成后,用少量帶標(biāo)簽數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào),即可使網(wǎng)絡(luò)達(dá)到比較好的效果。本質(zhì)上,這種逐層編碼就是將抽象特征進(jìn)行逐步提取的過程,隨著層級(jí)的增加,這種特征就愈加抽象,愈加具有全局整體特性。

圖3 深度卷積自編碼網(wǎng)絡(luò)

1.4 Adam優(yōu)化算法

利用鏈?zhǔn)角髮?dǎo)法則計(jì)算了誤差反向傳播后,下一步就是用優(yōu)化算法更新權(quán)值,以期目標(biāo)函數(shù)達(dá)到最小。本文的優(yōu)化算法采用了自適應(yīng)動(dòng)量項(xiàng)(adaptive moments,Adam)算法。Adam算法是一種利用梯度一階矩和二階矩估計(jì)自適應(yīng)調(diào)整學(xué)習(xí)率的優(yōu)化算法,其主要優(yōu)點(diǎn)是經(jīng)過偏置矯正后,可以修正一階矩(動(dòng)量項(xiàng))和二階矩估計(jì),使得每次的學(xué)習(xí)率都有穩(wěn)定的范圍。由于Adam對(duì)超參數(shù)具有很強(qiáng)的魯棒性,因而在深度學(xué)習(xí)領(lǐng)域被廣泛應(yīng)用,其算法流程如下[18]。

步驟1更新時(shí)間步:t←t+1

步驟2從訓(xùn)練集中隨機(jī)抽取m個(gè)樣本x1,x2…,xm,對(duì)應(yīng)的目標(biāo)為y1,y2…,ym。

步驟4更新一階矩估計(jì):s←ρ1s+(1-ρ1)g

步驟5更新二階矩估計(jì):v←ρ2v+(1-ρ2)g?g

步驟9達(dá)到終止條件則終止訓(xùn)練,否則回到步驟1。

參數(shù)說明:λ為學(xué)習(xí)率;ρ1和ρ2為矩估計(jì)衰減率,推薦0.9和0.999;ε為數(shù)值穩(wěn)定常數(shù),推薦10-8;初始化時(shí)間步t、一階矩s、二階矩v均為0。

2 基于卷積自編碼網(wǎng)絡(luò)的軸承故障診斷

為了驗(yàn)證本文提出的卷積神經(jīng)網(wǎng)絡(luò)的性能,在公共數(shù)據(jù)集——西儲(chǔ)大學(xué)軸承數(shù)據(jù)集以及實(shí)驗(yàn)室實(shí)測(cè)數(shù)據(jù)集上,進(jìn)行了深度卷積自編碼網(wǎng)絡(luò)與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)滾動(dòng)軸承故障識(shí)別的實(shí)驗(yàn)。識(shí)別直接在時(shí)域上進(jìn)行,無需對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,卷積神經(jīng)網(wǎng)絡(luò)模型為“第一層寬卷積核深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network with wide first-layer kernel,WDCNN)”。

WDCNN的特點(diǎn)是第一層為大卷積核,其余各層均為小卷積核。第一層采用大卷積核的目的是為了提取短時(shí)特征,其作用與短時(shí)傅里葉變換類似,只不過將短時(shí)傅里葉變換的正弦函數(shù)換為了第一層的大卷積核,而大卷積核是通過網(wǎng)絡(luò)訓(xùn)練得到的,可以自動(dòng)地學(xué)習(xí)面向診斷對(duì)象的有用特征,過濾掉無用信息。其余各層均采用小卷積核的目的是為了減少網(wǎng)絡(luò)的參數(shù),有助于加深網(wǎng)絡(luò),同時(shí)可以抑制過擬合[13]。每層卷積之后均進(jìn)行激活操作,激活函數(shù)選擇ELU(exponential linear unit)函數(shù),其表達(dá)式為

(7)

式中:α為系數(shù),可取為1。ELU函數(shù)在正值區(qū)間減輕了梯度彌散問題,在負(fù)值區(qū)間具有軟飽和的特性,提升了網(wǎng)絡(luò)對(duì)噪聲的魯棒性。

2.1 西儲(chǔ)大學(xué)軸承數(shù)據(jù)集

西儲(chǔ)大學(xué)滾動(dòng)軸承數(shù)據(jù)集是學(xué)術(shù)界常用的軸承故障診斷標(biāo)準(zhǔn)數(shù)據(jù)集,截至2015年,機(jī)械故障診斷領(lǐng)域著名期刊《Mechanical System and Signal Processing》就發(fā)表過41篇利用此數(shù)據(jù)集進(jìn)行軸承故障診斷的文章[19]。將本文方法與原有方法在第三方數(shù)據(jù)集上進(jìn)行比較,可以有效地驗(yàn)證本文方法的有效性。

利用數(shù)據(jù)集中采樣頻率為12 kHz的數(shù)據(jù),診斷對(duì)象為深溝球軸承SKF6205,軸承故障由電火花加工而來,故障位置分別位于外圈滾道、內(nèi)圈滾道、滾動(dòng)體,每個(gè)位置均有損傷直徑為0.18 mm、0.36 mm、0.54 mm三類不同程度的故障,加上無損傷軸承,共計(jì)10類。實(shí)驗(yàn)中,選擇樣本長(zhǎng)度為1 200點(diǎn),每類狀態(tài)100個(gè)樣本,共計(jì)1 000個(gè)樣本,測(cè)試時(shí)選擇不同比例樣本用于訓(xùn)練,其余樣本用于測(cè)試。

實(shí)驗(yàn)使用Google公司的深度學(xué)習(xí)框架TensorFlow,編程語言為Python,所用計(jì)算機(jī)配置為Core i5-6500 CPU @3.20 GHz,內(nèi)存為16 GB。實(shí)驗(yàn)時(shí)先利用Python在TensorFlow環(huán)境中搭建出卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)流圖,然后將訓(xùn)練數(shù)據(jù)輸入到圖中,啟動(dòng)數(shù)據(jù)流圖,利用權(quán)值更新模塊自動(dòng)更新權(quán)值,待網(wǎng)絡(luò)訓(xùn)練完畢后,將測(cè)試數(shù)據(jù)輸入數(shù)據(jù)流圖進(jìn)行診斷。對(duì)于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò),所有卷積核均采用隨機(jī)小數(shù)進(jìn)行初始化,對(duì)于卷積自編碼神經(jīng)網(wǎng)絡(luò),卷積核采用經(jīng)過卷積自編碼器預(yù)訓(xùn)練后的卷積核進(jìn)行初始化,二者網(wǎng)絡(luò)結(jié)構(gòu)保持一致。

分別選用20%、40%、60%、80%的樣本用于訓(xùn)練,其余樣本用于測(cè)試,網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)及訓(xùn)練超參數(shù)如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)及訓(xùn)練超參數(shù)

為了測(cè)試網(wǎng)絡(luò)的穩(wěn)定性,每個(gè)實(shí)驗(yàn)重復(fù)20次,統(tǒng)計(jì)結(jié)果如表2所示,各次實(shí)驗(yàn)的測(cè)試正確率如圖4所示。從表2、圖4中可以看出,卷積自編碼神經(jīng)網(wǎng)絡(luò)可提高故障平均識(shí)別率,且穩(wěn)定性較傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)得到了極大的提升,可有效地避免傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)由于不恰當(dāng)?shù)某跏蓟萑刖植孔顑?yōu)的情形。

表2 不同比例訓(xùn)練樣本下測(cè)試正確率統(tǒng)計(jì)結(jié)果

(a)20%訓(xùn)練樣本 (b)40%訓(xùn)練樣本

(c)60%訓(xùn)練樣本 (d)80%訓(xùn)練樣本圖4 不同比例訓(xùn)練樣本下的測(cè)試正確率

為了深入了解深度卷積神經(jīng)網(wǎng)絡(luò)的逐層特征提取效果,對(duì)20%樣本訓(xùn)練下的測(cè)試集各層特征通過t-SNE(t-distributed stochastic neighbor embedding)降維技術(shù)降為2維并進(jìn)行可視化[20],可視化結(jié)果如圖5所示。由結(jié)果可以看出,每經(jīng)過一次卷積池化,各個(gè)類別的特征都進(jìn)行了一次聚集,這說明每一個(gè)卷積池化層都具有特征提取能力,到第5層卷積池化后,各個(gè)類別已經(jīng)基本分開。

2.2 實(shí)驗(yàn)室實(shí)測(cè)數(shù)據(jù)集

為了進(jìn)一步驗(yàn)證本文方法的性能,在實(shí)驗(yàn)室實(shí)測(cè)數(shù)據(jù)集上進(jìn)行了測(cè)試,并對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的含義做了進(jìn)一步分析。

實(shí)驗(yàn)所用軸承實(shí)驗(yàn)臺(tái)包括直流電機(jī)、滾動(dòng)軸承安裝架、滾動(dòng)軸承和加載裝置等部分,如圖6所示。被診斷對(duì)象為5種狀態(tài)下的6308深溝球軸承,分別為正常、外圈剝落、內(nèi)圈剝落、滾動(dòng)體剝落和保持架故障狀態(tài)。實(shí)驗(yàn)時(shí)保持軸承內(nèi)圈轉(zhuǎn)速為1 200 r/min,傳感器為IMI的601A11加速度傳感器,數(shù)據(jù)采集卡為UA300系列數(shù)據(jù)采集卡。采樣頻率為10 kHz,每個(gè)樣本采樣長(zhǎng)度為2 400點(diǎn),每種狀態(tài)采集400個(gè)樣本,共計(jì)2 000個(gè)樣本。

卷積神經(jīng)網(wǎng)絡(luò)各層數(shù)據(jù)長(zhǎng)度以及通道數(shù)為:2 400@1;1 200@4;600@4;300@4;150@4;75@4;300@1;5@1。第1層卷積核長(zhǎng)度為64,其余各層均為15,各池化層長(zhǎng)度均為2,分類器選擇Softmax。選取50%樣本用于訓(xùn)練,剩下50%樣本用于測(cè)試,重復(fù)實(shí)驗(yàn)20次,各次實(shí)驗(yàn)結(jié)果如圖7所示。

由測(cè)試結(jié)果可以看出,隨機(jī)初始化CNN的測(cè)試正確率在0.2到1之間變化,而卷積自編碼CNN測(cè)試正確率均在0.8以上。兩種網(wǎng)絡(luò)第5、6次訓(xùn)練時(shí)誤差的變化如圖8所示,可以看出,隨機(jī)初始化卷積神經(jīng)網(wǎng)絡(luò)誤差收斂的不確定性較大,網(wǎng)絡(luò)有陷入局部最優(yōu)的可能,當(dāng)網(wǎng)絡(luò)如第6次訓(xùn)練那樣過早陷入局部最優(yōu)后,網(wǎng)絡(luò)的性能將變得格外糟糕。卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值由于經(jīng)過了卷積自編碼器的逐層預(yù)訓(xùn)練,網(wǎng)絡(luò)的初始誤差較小,經(jīng)過微調(diào)后網(wǎng)絡(luò)的誤差都收斂到了一個(gè)較小值。對(duì)訓(xùn)練誤差的分析再一次說明,本文提出的深度卷積自編碼網(wǎng)絡(luò)可有效地避免卷積神經(jīng)網(wǎng)絡(luò)由于隨機(jī)初始化而陷入局部最優(yōu)。對(duì)20次實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì),卷積自編碼神經(jīng)網(wǎng)絡(luò)將故障識(shí)別正確率由0.799提高到了0.921。

圖5 各層可視化結(jié)果

圖6 滾動(dòng)軸承實(shí)驗(yàn)臺(tái)

圖7 兩種網(wǎng)絡(luò)測(cè)試集的正確率對(duì)比

圖8 兩種網(wǎng)絡(luò)訓(xùn)練時(shí)誤差的變化

為了對(duì)卷積神經(jīng)網(wǎng)絡(luò)提取的特征有一個(gè)直觀的了解,利用圖3中的反卷積核將網(wǎng)絡(luò)底層提取的特征反卷積回原信號(hào)空間,其中外圈故障和內(nèi)圈故障的原信號(hào)與特征重構(gòu)信號(hào)的對(duì)比如圖9所示。

(a)外圈故障

(b)內(nèi)圈故障圖9 原信號(hào)與特征重構(gòu)信號(hào)的對(duì)比

圖9a中,重構(gòu)信號(hào)的噪聲明顯減少,這說明網(wǎng)絡(luò)在特征提取的過程中有消除噪聲的作用。圖9b中,原始信號(hào)被轉(zhuǎn)頻調(diào)制嚴(yán)重,內(nèi)圈故障的沖擊信號(hào)不明顯,但是在重構(gòu)信號(hào)中,故障沖擊信號(hào)得到了明顯的加強(qiáng),轉(zhuǎn)頻信號(hào)相對(duì)被減弱,這說明網(wǎng)絡(luò)在提取特征的過程中還有加強(qiáng)故障特征信號(hào)、衰減非特征沖擊信號(hào)的能力。

在本實(shí)驗(yàn)中,卷積自編碼神經(jīng)網(wǎng)絡(luò)的底層為4個(gè)通道,每個(gè)通道75個(gè)特征,為了更加形象地了解每個(gè)特征的含義,對(duì)各通道的每個(gè)特征都單獨(dú)置為1,其余特征都置為0,然后同樣通過圖3中的反卷積核將各單獨(dú)置1后的特征分別反卷積回原信號(hào)空間,部分重構(gòu)信號(hào)如圖10所示。

圖10 單個(gè)特征的重構(gòu)信號(hào)

反卷積回原信號(hào)空間的過程,實(shí)際上是通過圖2所示的以池化長(zhǎng)度為步長(zhǎng)、特征為權(quán)值、對(duì)反卷積核進(jìn)行疊加的方式進(jìn)行的,因而當(dāng)反卷積核固定后,網(wǎng)絡(luò)底層每個(gè)通道內(nèi)的特征重構(gòu)回的信號(hào)也是一樣的,只不過由于特征所在的位置不一樣,所以在原信號(hào)空間中所在的時(shí)間點(diǎn)也不一樣。網(wǎng)絡(luò)底層不同通道的特征在反卷積回原信號(hào)空間時(shí)由于被疊加的反卷積核不一樣,因而在原信號(hào)空間的表征也不一樣。對(duì)各特征重構(gòu)信號(hào)的頻域進(jìn)行分析,發(fā)現(xiàn)它們都集中在低頻段,且有重疊部分;對(duì)時(shí)域進(jìn)行分析,發(fā)現(xiàn)它們之間的相位有較大差異。

通過觀察各單個(gè)特征的重構(gòu)信號(hào)可以看出,卷積神經(jīng)網(wǎng)絡(luò)對(duì)信號(hào)特征的提取實(shí)際上就是對(duì)信號(hào)的一種分解,特征反卷積回的信號(hào)為分解的基函數(shù),網(wǎng)絡(luò)底層的通道數(shù)為基函數(shù)的數(shù)量,通道內(nèi)單個(gè)特征對(duì)應(yīng)分解時(shí)所在的時(shí)間點(diǎn)。

3 結(jié) 論

為了更好地從機(jī)械裝備大數(shù)據(jù)中自動(dòng)提取特征,本文提出了一種卷積自編碼器,并使用其對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了預(yù)訓(xùn)練。在滾動(dòng)軸承故障診斷上進(jìn)行的實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的網(wǎng)絡(luò)取得了更加穩(wěn)定可靠的性能,故障識(shí)別正確率由0.799提高到了0.921。通過反卷積核對(duì)改進(jìn)后的網(wǎng)絡(luò)提取的特征進(jìn)行重構(gòu),并對(duì)改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分析,得出了如下結(jié)論。

(1)本文提出的卷積自編碼器能夠有效地對(duì)輸入進(jìn)行編碼,保留有效特征。由編碼層、全連接層和分類器堆疊而成的深度卷積自編碼網(wǎng)絡(luò)能夠有效地防止由于不恰當(dāng)?shù)仉S機(jī)初始化使網(wǎng)絡(luò)過早陷入局部最優(yōu),無監(jiān)督逐層學(xué)習(xí)策略可使網(wǎng)絡(luò)繞開深度神經(jīng)網(wǎng)絡(luò)非凸優(yōu)化的問題,使網(wǎng)絡(luò)性能更加穩(wěn)定可靠。

(2)通過反卷積核將被提取的特征逐層重構(gòu)回原信號(hào)空間,第一次在原信號(hào)空間看到了神經(jīng)網(wǎng)絡(luò)到底“學(xué)”到了什么。對(duì)比原信號(hào)與重構(gòu)信號(hào)發(fā)現(xiàn),網(wǎng)絡(luò)不僅能夠明顯削弱原信號(hào)的噪聲,而且還具有加強(qiáng)故障特征信號(hào)、衰減非特征信號(hào)的能力。

(3)對(duì)網(wǎng)絡(luò)底層提取的特征逐個(gè)置1其余置0,分別重構(gòu)回原信號(hào)空間,對(duì)重構(gòu)信號(hào)分析發(fā)現(xiàn):卷積神經(jīng)網(wǎng)絡(luò)對(duì)信號(hào)特征的提取本質(zhì)上是對(duì)信號(hào)的一種分解,特征反卷積回的信號(hào)為分解的基函數(shù),網(wǎng)絡(luò)底層的通道數(shù)為基函數(shù)的數(shù)量,單個(gè)通道內(nèi)的不同特征代表分解時(shí)所在的時(shí)間。

本文提出的卷積自編碼器為科研人員設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)時(shí)的初始化提供了一種策略,避免了網(wǎng)絡(luò)由于非凸優(yōu)化陷入局部最優(yōu)的問題,同時(shí),對(duì)網(wǎng)絡(luò)結(jié)構(gòu)含義的分析也可為網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整提供參考。