張西寧,向宙,夏心銳,李立帆

(西安交通大學(xué)機(jī)械制造系統(tǒng)工程國家重點(diǎn)實(shí)驗(yàn)室,710049,西安)

隨著物聯(lián)網(wǎng)、計(jì)算機(jī)的發(fā)展與普及,各種信息數(shù)據(jù)呈現(xiàn)出了井噴式的增長,如何從浩瀚的數(shù)據(jù)流中挖掘出所需要的信息,已經(jīng)成為了當(dāng)前急需解決的問題之一。在機(jī)電大數(shù)據(jù)時(shí)代,反映裝備狀態(tài)的數(shù)據(jù)往往具有總量大、形式多、價(jià)值密度低等特點(diǎn),如再依靠診斷專家手工處理信號(hào)獲取信息,猶如大海撈針,因而傳統(tǒng)機(jī)械故障診斷“特征提取+模式識(shí)別”的模式已然不能滿足從機(jī)電大數(shù)據(jù)中自動(dòng)挖掘信息的需求[1]。

深度學(xué)習(xí)作為大數(shù)據(jù)時(shí)代的一顆明星,在學(xué)術(shù)界和工業(yè)界都引起了足夠的重視,在很多傳統(tǒng)的識(shí)別任務(wù)上都取得了顯著成果。依靠多個(gè)隱藏層,深度學(xué)習(xí)可以很好地實(shí)現(xiàn)復(fù)雜高維函數(shù)的表示,因而具有強(qiáng)大的表征能力,在特征自動(dòng)提取上具有很多其他算法不可比擬的優(yōu)勢[2-4]。堆疊自編碼網(wǎng)絡(luò)(SAE)是深度學(xué)習(xí)中最重要的模型之一,由Hinton于2006年對Rumelhart提出的自編碼器進(jìn)行改進(jìn)而來[5-6]。SAE采用逐層無監(jiān)督學(xué)習(xí)的方式初始化深度神經(jīng)網(wǎng)絡(luò)的權(quán)值,然后使用少量標(biāo)簽樣本對網(wǎng)絡(luò)進(jìn)行微調(diào),逐層貪心的訓(xùn)練方式可有效避免網(wǎng)絡(luò)陷入局部最優(yōu),從而改善網(wǎng)絡(luò)性能,使深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成為了可能。2007年,Benjio模擬人腦神經(jīng)元被稀疏激活的特性,在損失函數(shù)中加入稀疏項(xiàng),構(gòu)成了稀疏SAE[7];2008年,Vincent向訓(xùn)練數(shù)據(jù)中添加隨機(jī)噪聲,有效地避免了網(wǎng)絡(luò)陷入局部最優(yōu),構(gòu)成了降噪SAE[8];2013年,Telmo研究了不同損失函數(shù)下SAE的性能,對損失函數(shù)的選用和改進(jìn)做出了指導(dǎo)[9]。

在機(jī)械故障診斷領(lǐng)域,應(yīng)用SAE完成了很多故障識(shí)別、分類的任務(wù)。2015年,雷亞國等人利用普通SAE和降噪SAE實(shí)現(xiàn)了對滾動(dòng)軸承以及行星齒輪箱的故障診斷,并對比了SAE和傳統(tǒng)模式識(shí)別方法之間的識(shí)別正確率[3,10];2016年,Shao Haidong等人對SAE的損失函數(shù)進(jìn)行了改進(jìn),并用人工魚群算法優(yōu)化了網(wǎng)絡(luò)的關(guān)鍵結(jié)構(gòu)參數(shù),有效地提高了對齒輪箱以及列車滾動(dòng)軸承故障的識(shí)別率[11];2017年,崔江等人用經(jīng)過灰色關(guān)聯(lián)度優(yōu)化后的SAE提取特征,支持向量機(jī)分類,實(shí)現(xiàn)了航空發(fā)電機(jī)旋轉(zhuǎn)整流器二極管的故障診斷[12]。此外,SAE在變壓器[13]、核電站[14]、風(fēng)力發(fā)電機(jī)組設(shè)備[15]等復(fù)雜機(jī)電系統(tǒng)的故障診斷領(lǐng)域均有應(yīng)用,并取得了良好的效果。但是,目前機(jī)械故障診斷對SAE的研究大多還處于從人工智能領(lǐng)域“引進(jìn)+應(yīng)用”的階段,對網(wǎng)絡(luò)性能退化的原因分析及改進(jìn)還有所欠缺。

2015年,Sergey Ioffe提出了批標(biāo)準(zhǔn)化(BN)的思想,并成功運(yùn)用在卷積神經(jīng)網(wǎng)絡(luò)(CNN)上,不僅減少了模型的訓(xùn)練時(shí)間,而且提高了圖像識(shí)別的正確率,但是由于主要運(yùn)用在大型圖像CNN上,對BN改善網(wǎng)絡(luò)性能的原因分析還有所欠缺[16]。

本文從神經(jīng)元激活值分布的角度,分析了自動(dòng)編碼器在參數(shù)較多時(shí)性能退化的原因,將BN中的標(biāo)準(zhǔn)化策略應(yīng)用到SAE上,把神經(jīng)元按照樣本進(jìn)行歸一化,然后引入兩個(gè)待訓(xùn)練參數(shù)進(jìn)行縮放和平移,最后通過激活函數(shù)輸出到下一級神經(jīng)元。在凱斯西儲(chǔ)大學(xué)滾動(dòng)軸承數(shù)據(jù)集以及實(shí)驗(yàn)室實(shí)測數(shù)據(jù)集上對比了帶標(biāo)準(zhǔn)化的SAE和普通SAE在抗噪性、訓(xùn)練速度、模型精度等方面的優(yōu)勢。

1 基礎(chǔ)理論

1.1 自編碼器

自編碼器(AE)是由Rumelhart在1986年提出的一種典型單隱層神經(jīng)網(wǎng)絡(luò)[5]。由于這種網(wǎng)絡(luò)是在保持輸入與輸出盡可能一致的情形下實(shí)現(xiàn)無監(jiān)督方式下的隱層特征提取與參數(shù)學(xué)習(xí),因而被稱作自編碼器,從輸入到隱藏層、隱藏層到輸出的過程分別被稱為編碼和解碼。

如圖1所示,自編碼器采用全連接的方式將輸入加權(quán)求和,加上偏置后通過激活函數(shù),得到隱藏層;隱藏層通過同樣的方式得到輸出層;然后以輸入、輸出層的差異最小為目標(biāo)對權(quán)值和偏置進(jìn)行優(yōu)化求解。自編碼器的數(shù)學(xué)表述如下

Y=σa(Wa·X+ba)

(1)

(2)

(3)

自編碼器只有簡單的矩陣乘法和矩陣加法運(yùn)算,激活函數(shù)通常為可導(dǎo)的簡單函數(shù),因而利用鏈?zhǔn)椒▌t,容易得到網(wǎng)絡(luò)的梯度,所以網(wǎng)絡(luò)的權(quán)值和偏置可以采用反向傳播算法進(jìn)行優(yōu)化求解。

圖1 自編碼器結(jié)構(gòu)示意圖

1.2 堆疊自編碼網(wǎng)絡(luò)(SAE)

如圖2所示,將自編碼器的編碼部分進(jìn)行堆疊,即依次將上一層自編碼器的隱藏層作為下一層自編碼器的輸入,最后給網(wǎng)絡(luò)加上分類器,即構(gòu)成SAE。網(wǎng)絡(luò)使用逐層自編碼的方式進(jìn)行預(yù)訓(xùn)練,由于這種預(yù)訓(xùn)練不需要用到樣本標(biāo)簽,因而是一種無監(jiān)督的訓(xùn)練方式。預(yù)訓(xùn)練后,網(wǎng)絡(luò)只需要用少量帶標(biāo)簽的樣本進(jìn)行微調(diào),即可達(dá)到較好的性能。由于每一層自編碼器為淺層神經(jīng)網(wǎng)絡(luò),因而可以很好地避免網(wǎng)絡(luò)陷入局部最優(yōu)[17]。

圖2 SAE結(jié)構(gòu)示意圖

自編碼器是在盡量保證信息不丟失的前提下,對輸入進(jìn)行編碼,以期編碼特征可以以足夠小的誤差重構(gòu)回輸入。這種特征編碼可以視為一種特征提取,隨著層級加深,編碼特征便越加抽象,具有全局整體特性。

由于SAE由自編碼器的編碼部分堆疊而成,因而整個(gè)網(wǎng)絡(luò)也只有簡單的矩陣乘法和矩陣加法運(yùn)算,激活函數(shù)簡單可導(dǎo),所以網(wǎng)絡(luò)也可以采用梯度相關(guān)的算法進(jìn)行優(yōu)化求解。

1.3 自適應(yīng)動(dòng)量項(xiàng)與置零比例

利用反向傳播算法求得梯度后,本文利用了自適應(yīng)動(dòng)量項(xiàng)(Adam)算法更新需要訓(xùn)練的參數(shù)。Adam是Kingma和Ba在2014年提出的一種學(xué)習(xí)率自適應(yīng)的優(yōu)化算法,具有良好的超參數(shù)魯棒性。Adam包括偏置矯正環(huán)節(jié),可以修正從原點(diǎn)的初始化一階矩(動(dòng)量項(xiàng))以及(非中心的)二階矩估計(jì),算法流程如圖3所示[18]。

為了減少網(wǎng)絡(luò)訓(xùn)練過程中數(shù)據(jù)的過擬合現(xiàn)象,本文在模型訓(xùn)練時(shí)使用了置零比例(Dropout)訓(xùn)練技巧。Dropout在每一輪的訓(xùn)練時(shí),隨機(jī)將隱層神經(jīng)元的輸出按照一定的比例歸0,使得部分神經(jīng)元不參與正向傳播,這部分神經(jīng)元在反向傳播階段也沒有任何貢獻(xiàn),但是其權(quán)值卻保存以供下一輪訓(xùn)練和測試階段使用[19]。

λ為學(xué)習(xí)率;ρ1和ρ2為矩估計(jì)衰減率,推薦0.9和0.999;ε為數(shù)值穩(wěn)定常數(shù),推薦10-8圖3 Adam算法流程圖

2 網(wǎng)絡(luò)性能分析與優(yōu)化

2.1 SAE性能退化分析

(a)第1隱藏層

(b)第2隱藏層

(c)第3隱藏層圖4 各隱藏層神經(jīng)元激活值分布情況

圖5 ELU激活函數(shù)圖像

為了分析SAE性能退化的原因,在凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集上構(gòu)建了一個(gè)具有3層編碼層的SAE。該SAE網(wǎng)絡(luò)擁有200個(gè)訓(xùn)練樣本,各層神經(jīng)元的個(gè)數(shù)分別為600、400、200、100、10,所以中間3個(gè)隱藏層分別擁有400×200(8萬)、200×200(4萬)、100×200(2萬)個(gè)激活值,對這些激活值的分布進(jìn)行統(tǒng)計(jì)如圖4所示。從圖中可以看出,各隱藏層神經(jīng)元的激活值大多集中在-1左右,結(jié)合所用激活函數(shù)Exponential Linear Unit(ELU)的圖像(見圖5)可知,網(wǎng)絡(luò)大部分神經(jīng)元已經(jīng)處于了飽和階段。處于飽和階段的神經(jīng)元梯度已經(jīng)消失,喪失了學(xué)習(xí)能力,嚴(yán)重限制了網(wǎng)絡(luò)更好地?cái)M合需要學(xué)習(xí)的拓?fù)溆成潢P(guān)系。

2.2 帶標(biāo)準(zhǔn)化SAE

為了解決神經(jīng)元處于飽和階段學(xué)習(xí)能力喪失的問題,引入了一種標(biāo)準(zhǔn)化策略。將通過激活函數(shù)前的神經(jīng)元按照樣本分別進(jìn)行標(biāo)準(zhǔn)化,然后引入兩個(gè)參數(shù)進(jìn)行縮放和平移,最后再通過激活函數(shù)輸出到下一級神經(jīng)元,如圖6所示。

圖6 帶標(biāo)準(zhǔn)化SAE

標(biāo)準(zhǔn)化的具體流程為每個(gè)神經(jīng)元都減去均值后除以標(biāo)準(zhǔn)差化為標(biāo)準(zhǔn)分布,為了抵消這種標(biāo)準(zhǔn)化對網(wǎng)絡(luò)學(xué)習(xí)效果的弱化,引入兩個(gè)需要學(xué)習(xí)的參數(shù)對其進(jìn)行了縮放和平移,計(jì)算公式如下

(4)

(5)

(6)

(7)

式中:xi、yi為標(biāo)準(zhǔn)化前、后神經(jīng)元激活值;m為訓(xùn)練樣本數(shù)量;γ和β為兩個(gè)待學(xué)習(xí)的參數(shù);ε為一個(gè)很小的穩(wěn)定常數(shù)。

為了使反向傳播算法能夠正常進(jìn)行,對梯度在該步驟的傳播情況進(jìn)行了分析,計(jì)算公式如下

(8)

(9)

(10)

其中

(11)

(12)

(13)

圖7 訓(xùn)練和測試樣本的標(biāo)準(zhǔn)化策略

對2.1節(jié)中的SAE進(jìn)行改進(jìn),在每次通過激活函數(shù)前都加入標(biāo)準(zhǔn)化層,按照圖4同樣的方式對隱藏層的激活值進(jìn)行了統(tǒng)計(jì),如圖8所示。利用下式計(jì)算圖4、圖8中激活值的分布熵

(14)

式中:P(xi)為激活值xi出現(xiàn)的概率;q為不重復(fù)激活值的數(shù)量。計(jì)算結(jié)果如表1所示。

表1 兩種網(wǎng)絡(luò)隱藏層激活值的分布熵

從分析可以看出,加入標(biāo)準(zhǔn)化后,神經(jīng)元激活值的分布明顯趨于均勻,表明這些激活值處于ELU激活函數(shù)的不同階段,不像圖4那樣大部分處于飽和區(qū),這種特性有利于緩解網(wǎng)絡(luò)梯度消失的問題。所以,在網(wǎng)絡(luò)每次通過激活函數(shù)前加入標(biāo)準(zhǔn)化策略,可有效地避免網(wǎng)絡(luò)由于過早陷入激活函數(shù)飽和區(qū)而導(dǎo)致的學(xué)習(xí)能力退化問題。

(a)第1隱藏層

(b)第2隱藏層

(c)第3隱藏層圖8 標(biāo)準(zhǔn)化后各隱藏層神經(jīng)元激活值分布情況

3 基于標(biāo)準(zhǔn)化SAE的軸承故障診斷

3.1 凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集

凱斯西儲(chǔ)大學(xué)(CWRU)滾動(dòng)軸承數(shù)據(jù)集[20]數(shù)據(jù)質(zhì)量高、故障特征明顯,因而是學(xué)術(shù)界常用的滾動(dòng)軸承故障診斷標(biāo)準(zhǔn)數(shù)據(jù)集。本文利該數(shù)據(jù)集對比標(biāo)準(zhǔn)化前后SAE對故障識(shí)別的效果。診斷對象為深溝球軸承SKF6205,分別在其外圈滾道、內(nèi)圈滾道、滾動(dòng)體上通過電火花加工模擬不同故障,故障直徑分別為0.18、0.36、0.54 mm 3類不同程度,加上無損傷軸承,實(shí)驗(yàn)共計(jì)需要識(shí)別10類不同狀態(tài)的軸承。數(shù)據(jù)集為用加速度傳感器采集的軸承安裝座上的振動(dòng),采集頻率為12 kHz,采樣長度為1 200個(gè)點(diǎn)。每類狀態(tài)有100個(gè)樣本,共計(jì)1 000個(gè),普通SAE和標(biāo)準(zhǔn)化后的SAE均選擇200個(gè)樣本訓(xùn)練,其余800個(gè)為樣本測試。為了克服各樣本采集起始時(shí)間不一致的問題,本文對數(shù)據(jù)進(jìn)行了快速傅里葉變換(FFT),將信號(hào)的頻譜輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和測試。

本文在Python3.5.2環(huán)境下利用Google公司的深度學(xué)習(xí)框架TensorFlow,搭建了普通SAE和帶標(biāo)準(zhǔn)化SAE的數(shù)據(jù)流圖;將訓(xùn)練數(shù)據(jù)頻譜輸入到圖中,啟動(dòng)數(shù)據(jù)流圖,利用權(quán)值更新模塊自動(dòng)更新權(quán)值;然后網(wǎng)絡(luò)訓(xùn)練完畢后,將測試數(shù)據(jù)頻譜輸入數(shù)據(jù)流圖進(jìn)行診斷。網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練超參數(shù)如表2所示。

普通SAE和標(biāo)準(zhǔn)化SAE都分別重復(fù)實(shí)驗(yàn)20次,計(jì)算20次實(shí)驗(yàn)的平均測試正確率,結(jié)果顯示,普通SAE和標(biāo)準(zhǔn)化SAE的識(shí)別正確率分別達(dá)到了99.99%和100%。為了更加明顯地區(qū)分兩種網(wǎng)絡(luò)在識(shí)別正確率上的差異,按照下式對原始信號(hào)添加了不同信噪比的高斯噪聲

(15)

表2 凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練超參數(shù)

圖9 不同信噪比的測試結(jié)果

從圖9可以看出:在信噪比較大的情形下,普通SAE與標(biāo)準(zhǔn)化SAE對故障的識(shí)別能力相當(dāng),都接近100%;但是在信噪比較小時(shí),標(biāo)準(zhǔn)化SAE對故障的識(shí)別能力明顯強(qiáng)于普通SAE。例如,當(dāng)信噪比為0時(shí),原信號(hào)和添加的噪聲信號(hào)的能量相等,標(biāo)準(zhǔn)化SAE識(shí)別正確率為100%,而普通SAE僅為16.18%。這說明標(biāo)準(zhǔn)化過后的SAE極大地提高了在噪聲環(huán)境下網(wǎng)絡(luò)對故障的識(shí)別能力。

當(dāng)信噪比為0時(shí),第一次實(shí)驗(yàn)第一層編碼的誤差以及所有神經(jīng)元梯度總和隨訓(xùn)練步數(shù)的變化如圖10所示。從中可以看出,加入標(biāo)準(zhǔn)化后的SAE可使網(wǎng)絡(luò)誤差收斂到更小的區(qū)間,避免神經(jīng)元權(quán)值梯度過早消失。

圖10 誤差與神經(jīng)元梯度總和的變化對比

3.2 實(shí)驗(yàn)室實(shí)測數(shù)據(jù)集

在實(shí)驗(yàn)室實(shí)測數(shù)據(jù)上對標(biāo)準(zhǔn)化前后SAE的性能做了進(jìn)一步的測試。如圖11所示,實(shí)驗(yàn)將滾動(dòng)軸承安裝在安裝座內(nèi),通過預(yù)緊裝置對滾動(dòng)軸承進(jìn)行軸向預(yù)緊,軸承安裝座上的繩索通過滑輪與重物相連,進(jìn)而模擬滾動(dòng)軸承的載荷。加速度傳感器IMI601A11采集安裝座上的振動(dòng)信號(hào),然后傳送到數(shù)采卡UA300,進(jìn)行采集后存儲(chǔ)到計(jì)算機(jī)上。實(shí)驗(yàn)所用的6308滾動(dòng)軸承共有5種狀態(tài),分別為正常、外圈剝落、內(nèi)圈剝落、滾動(dòng)體剝落和保持架故障。每種狀態(tài)都分別采集400個(gè)樣本,共計(jì)2 000個(gè),采樣頻率為10 kHz,采樣長度為2 400個(gè)點(diǎn)。

圖11 滾動(dòng)軸承實(shí)驗(yàn)臺(tái)示意圖

數(shù)據(jù)樣本被分為訓(xùn)練集、驗(yàn)證集、測試集3部分,每部分樣本個(gè)數(shù)分別為1 000、500、500。驗(yàn)證集的目的主要是為了防止網(wǎng)絡(luò)過擬合,如圖12所示,當(dāng)訓(xùn)練集上訓(xùn)練誤差穩(wěn)定后,選擇在驗(yàn)證集上驗(yàn)證正確率連續(xù)5次下降,或者訓(xùn)練誤差連續(xù)5次上升,作為網(wǎng)絡(luò)訓(xùn)練終止的標(biāo)志。

圖12 網(wǎng)絡(luò)訓(xùn)練終止條件

在TensorFlow框架下搭建如表3所示的普通SAE和標(biāo)準(zhǔn)化SAE的數(shù)據(jù)流圖,將訓(xùn)練集輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練;每一步訓(xùn)練完成后,在驗(yàn)證集上進(jìn)行驗(yàn)證,以判斷網(wǎng)絡(luò)是否終止;網(wǎng)絡(luò)訓(xùn)練終止后將測試集輸入進(jìn)行識(shí)別。

對普通SAE和標(biāo)準(zhǔn)化SAE均獨(dú)立重復(fù)訓(xùn)練測試20次,所用計(jì)算機(jī)配置為Core i5-6500 CPU @3.20 GHz,內(nèi)存為16 GB。20次實(shí)驗(yàn)的測試正確率如圖13所示,各層編碼以及微調(diào)環(huán)節(jié)的訓(xùn)練時(shí)間如圖14所示。

由圖13可以看出,標(biāo)準(zhǔn)化SAE的測試正確率均在99%以上,而普通SAE的正確率在98%上下波動(dòng),統(tǒng)計(jì)20次實(shí)驗(yàn)的平均正確率分別為99.95%、97.93%。由圖14可以看出,標(biāo)準(zhǔn)化后SAE各次實(shí)驗(yàn)的訓(xùn)練時(shí)間都比普通SAE低。對這20次訓(xùn)練時(shí)間進(jìn)行統(tǒng)計(jì),標(biāo)準(zhǔn)化SAE的平均訓(xùn)練時(shí)間為88.66 s,相比普通SAE平均訓(xùn)練時(shí)間141.22 s,下降約37.22%。

表3 實(shí)測數(shù)據(jù)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練超參數(shù)

圖13 20次實(shí)驗(yàn)測試結(jié)果對比

4 結(jié) 論

為了提高SAE的性能,本文從網(wǎng)絡(luò)每層編碼值分布的角度對SAE進(jìn)行了分析。引入了一種標(biāo)準(zhǔn)化策略,在神經(jīng)元每次通過激活函數(shù)前進(jìn)行標(biāo)準(zhǔn)化,將神經(jīng)元按照樣本進(jìn)行歸一化,然后引入兩個(gè)待學(xué)習(xí)參數(shù)進(jìn)行縮放和平移,最后通過激活函數(shù)輸出到下一級神經(jīng)元。為了驗(yàn)證帶標(biāo)準(zhǔn)化SAE的性能,在凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集以及實(shí)驗(yàn)室實(shí)測數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),得出了如下結(jié)論。

圖14 各層編碼及微調(diào)訓(xùn)練時(shí)間對比

(1)對網(wǎng)絡(luò)每層編碼值的統(tǒng)計(jì)分析表明:普通SAE各層編碼值大部分分布于激活函數(shù)的飽和區(qū),這直接導(dǎo)致了神經(jīng)元權(quán)值梯度的消失,使網(wǎng)絡(luò)學(xué)習(xí)能力退化。

(2)引入的標(biāo)準(zhǔn)化策略可有效地使網(wǎng)絡(luò)編碼值均勻分布,例如在凱斯西儲(chǔ)大學(xué)軸承數(shù)據(jù)集上將第一層編碼值的熵從0.88 bit提高到了16.29 bit。神經(jīng)元激活值的均勻分布表明,這些激活值處于激活函數(shù)的不同階段,不是大部分處于飽和區(qū),這種特性有利于減少SAE權(quán)值梯度的消失,避免SAE由于神經(jīng)元激活值過早陷入激活函數(shù)飽和區(qū)而導(dǎo)致的學(xué)習(xí)能力退化問題。

(3)利用普通SAE和標(biāo)準(zhǔn)化SAE進(jìn)行滾動(dòng)軸承故障診斷,結(jié)果表明,加入標(biāo)準(zhǔn)化步驟后的SAE不僅可以提高網(wǎng)絡(luò)在噪聲環(huán)境下的識(shí)別能力,而且能夠有效地減少網(wǎng)絡(luò)的訓(xùn)練時(shí)間。例如在凱斯西儲(chǔ)大學(xué)數(shù)據(jù)集上,當(dāng)信噪比為0 dB時(shí),將識(shí)別正確率從16.18%提高到了100%;在實(shí)驗(yàn)室實(shí)測數(shù)據(jù)集上,不僅訓(xùn)練時(shí)間下降了37.22%,而且識(shí)別正確率從97.93%提高到了99.95%。

本文對SAE的分析為科研技術(shù)人員尋找SAE性能退化原因提供了一種參考,引入的標(biāo)準(zhǔn)化策略為提高SAE性能提供了一種思路。