王運明,周奕昂,彭國都,常振臣

(1.大連交通大學 自動化與電氣工程學院,遼寧 大連 116028;2.中車長春軌道客車股份有限公司 國家工程技術中心,吉林 長春 130000)

牽引電機既是高速列車的動力來源,也是列車故障的易損壞部件[1],牽引電機的正常工作,是高速鐵路安全正點運行的重要保障。牽引電機主要由定子、轉(zhuǎn)子、軸承組成,而軸承是牽引電機中最容易發(fā)生故障的零件[2]。牽引電機軸承的溫度信息是反映高速列車牽引電機故障的重要指標之一。因此,預測牽引電機軸承溫度已成為準確預測高速列車牽引電機故障的重要手段。

近年來,基于數(shù)據(jù)驅(qū)動的機器學習方法逐漸成為溫度預測領域的研究熱點。皮駿等[3]建立了基于廣義回歸神經(jīng)網(wǎng)絡的航空發(fā)電機排氣溫度預測模型,提高了預測精度。王振陽等[4]采用支持向量機和極限學習機建立高爐鐵水溫度預測模型,支持向量機預測模型預測鐵水誤差在±10 ℃范圍內(nèi)的命中率可達到94%。隨著深度學習技術的發(fā)展,循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network, RNN)通過引入時間步長信息,提高了溫度預測的精度[5]。由RNN發(fā)展而來的長短記憶神經(jīng)網(wǎng)絡(Long Short-Term Memory, LSTM),解決了RNN存在的梯度消失和梯度爆炸問題[6],目前已被應用于故障診斷[7]、故障預測[8]、自然語言處理[9]等領域,并且已經(jīng)成為時間序列預測問題的首選方法。劉樹鑫等[10]建立了基于LSTM網(wǎng)絡的交流接觸器剩余壽命預測模型,采用灰色關聯(lián)分析法(Grey Relation Analysis, GRA)和皮爾遜相關系數(shù)法(Pearson Correlation Coefficient, PCC)選取特征參量,預測精度明顯高于RNN算法。吳飛等[11]采用LSTM網(wǎng)絡預測刀具后刀面磨損值,采用粒子群算法(Particle Swarm Optimization, PSO)尋優(yōu)網(wǎng)絡學習率和隱藏層個數(shù)等參數(shù)。李冬輝等[12]和包曉安等[13]提出了改進的LSTM網(wǎng)絡,將輸入門與遺忘門相互耦合,用于冷水機組傳感器故障預測和智能家居機器學習系統(tǒng),達到實際應用需求。

為提高牽引電機軸承溫度的預測精度,本文提出了一種基于改進LSTM的高速列車牽引電機軸承溫度預測模型。該模型引入窺視孔模塊,改進了LSTM網(wǎng)絡結(jié)構,使得一個存儲塊包含多個細胞,共享3個控制門,適應長距離時間序列的牽引電機軸承溫度數(shù)據(jù),設計兩層改進LSTM網(wǎng)絡構成隱藏層,減少模型的計算量和訓練耗時。最后,選取某動車組的歷史運行數(shù)據(jù)進行測試與分析,試驗結(jié)果表明,改進模型提高了牽引電機軸承溫度的預測精度。

1 LSTM網(wǎng)絡模型

RNN模型主要由輸入層、隱藏層、輸出層組成,RNN結(jié)構見圖1。RNN模型借助隱藏層的數(shù)據(jù)持續(xù)更新實現(xiàn)參數(shù)的時間共享和循環(huán)提取時間信息,適合處理時間序列數(shù)據(jù)。RNN的前向傳播公式為:

圖1 RNN結(jié)構

ht=fa(Xt·Wxh+ht-1·Whh+bh)

(1)

yt=ht·Why+by

(2)

式中:Wxh、Whh、Why分別為權重系數(shù);bh、by為偏置項;fa為激活函數(shù)(如tanh激活函數(shù));t為時間。

LSTM是由RNN發(fā)展而來的,能夠解決RNN存在的梯度消失和梯度爆炸問題,更加適應長距離的時間序列數(shù)據(jù),LSTM內(nèi)部結(jié)構見圖2。

圖2 LSTM內(nèi)部結(jié)構

(3)

式中:Wf、Wi、Wo、Wc為待訓練的參數(shù)矩陣;bf、bi、bo、bc為待訓練的偏置項。LSTM采用基于梯度的反向傳播方法更新權重參數(shù)。

2 牽引電機軸承溫度預測模型

2.1 改進LSTM網(wǎng)絡

高速列車牽引電機軸承溫度數(shù)據(jù)存在數(shù)據(jù)量大、時間序列跨度大的特點,采用LSTM網(wǎng)絡預測牽引電機軸承溫度容易產(chǎn)生預測精度不高的問題。為此,本文在LSTM網(wǎng)絡的基礎上,優(yōu)化網(wǎng)絡結(jié)構,設計改進的LSTM網(wǎng)絡模型(圖3)。

圖3 改進LSTM網(wǎng)絡結(jié)構

改進的LSTM網(wǎng)絡增加了窺視孔模塊(Peephole),將上一時刻的細胞狀態(tài)Ct-1引入輸入門和遺忘門的輸入中,將當前時刻的細胞狀態(tài)Ct引入輸出門的輸入中,使得門控制機制在歷史信息中也能學習,適應長距離時間序列的牽引電機軸承溫度數(shù)據(jù),提升溫度預測精度。

2.2 窺視孔模塊

LSTM結(jié)構中每個時刻的隱含層包含一個存儲塊(block),每個存儲塊包含一個細胞(cell)。窺視孔模塊能夠從細胞狀態(tài)中學習到網(wǎng)絡傳播時產(chǎn)生的歷史信息,提高時間敏感性,更精確地篩選網(wǎng)絡需要更新、丟棄、輸出的信息。為優(yōu)化3個控制門的更新效果,引入窺視孔模塊(Peephole),使得一個存儲塊包含多個細胞,這些細胞共享3個控制門。增加窺視孔模塊后,LSTM更新方案調(diào)整為:更新輸入門、遺忘門、細胞狀態(tài);更新輸出門和細胞輸出?；赑eephole的LSTM網(wǎng)絡更新過程如下:

(4)

(5)

(6)

2.3 牽引電機軸承溫度預測模型

基于改進LSTM的牽引電機軸承溫度預測模型包含數(shù)據(jù)預處理、模型訓練、模型預測和模型評估幾部分,其流程圖見圖4。

圖4 基于改進LSTM的高速列車牽引電機軸承溫度預測流程

列車運行n個時刻的數(shù)據(jù)表示為

…,Yn},數(shù)據(jù)集按照一定比例劃分為訓練集Dtr={Xtr,Ytr}、測試集Dte={Xte,Yte}和驗證集Dval={Xval,Yval},采用改進的LSTM網(wǎng)絡進行訓練和預測。

為精確預測牽引電機軸承的溫度,本文建立了一種基于改進LSTM的牽引電機軸承溫度預測模型,設計了預測模型的輸入層、隱藏層、輸出層。輸入層負責數(shù)據(jù)預處理,滿足模型輸入要求,隱藏層負責提取數(shù)據(jù)特征,輸出層負責輸出溫度預測值。選取平均絕對誤差(Mean Absolute Error, MAE)作為損失函數(shù),采用Adam優(yōu)化器降低損失函數(shù)值。預測模型結(jié)構見圖5。

隱藏層是預測模型的核心部分。為充分挖掘輸入數(shù)據(jù)Xtr隱含的信息,減少模型的計算量和訓練耗時,采用改進LSTM網(wǎng)絡設計兩層隱藏層。設Y1′為隱藏層1的輸出,Y2′為隱藏層2的輸出,隱藏層的處理過程表示為:

Y1′=F1(W1,B1)(Xtr)

(7)

Y2′=F2(W2,B2)(Y1)′

(8)

式中:W1、W2、B1、B2分別為改進LSTM網(wǎng)絡的總權重參數(shù)。通過兩次LSTM前向傳播和各層參數(shù)的時間共享,實現(xiàn)輸入數(shù)據(jù)Xtr的特征提取。

(9)

式中:W3和B3為全連接層的權重參數(shù)。

(10)

溫度預測模型訓練的最終目標為通過優(yōu)化器不斷更新權重參數(shù)W1、W2、W3和B1、B2、B3,使損失函數(shù)盡可能降到最低。模型采用Adam優(yōu)化器降低損失函數(shù)值。

預測模型訓練結(jié)束后,利用測試集Dte={Xte,Yte}觀察預測精度,通過輸入Xte得到模型的預測輸出Ypre,{Yte,Ypre}再經(jīng)過反歸一化得到實際溫度值{Pte,Ppre}。

3 試驗測試與分析

試驗平臺和環(huán)境為:顯卡為NIVIDA GeForce GTX1060、處理器為Intel(R) Core(TM) i7-7700、CPU頻率為2.80 GHz、內(nèi)存為16.0 GB、編程語言為python3.8、開發(fā)環(huán)境為jupyter notebook。模型采用python中tensorflow 2.0程序包搭建。

3.1 相關性分析與數(shù)據(jù)歸一化

本文選取某動車組的歷史運行數(shù)據(jù)進行試驗分析。高速列車牽引電機軸承溫度數(shù)據(jù)包含7個特征參量,分別為1個車廂的1～4號牽引電機軸承溫度、列車速度、環(huán)境溫度、是否主控,數(shù)據(jù)采集周期為1 min。

相關系數(shù)是研究變量之間線性相關程度的量。針對與軸承溫度相關的特征參量,隨機選取一組數(shù)據(jù),將列車速度和環(huán)境溫度與牽引電機軸承溫度進行pearson相關性分析,提取輸入特征參數(shù),計算公式為:

(11)

相關性分析結(jié)果見表1。

篩選出相關系數(shù)大于0.4,顯著性水平小于0.01的特征參量作為溫度預測模型的輸入特征。由于選取的輸入特征參量中速度與溫度的取值范圍具有較大差異,為了消除參數(shù)量綱差異的影響,對數(shù)據(jù)進行歸一化處理,使結(jié)果映射到[0,1],歸一化公式為:

(12)

式中:xmax、xmin為輸入樣本的最大值和最小值。

3.2 網(wǎng)絡訓練

本文選取的數(shù)據(jù)集共包含6 658個數(shù)據(jù)點,劃定數(shù)據(jù)集中80%為訓練集,10%為驗證集,剩下10%為測試集。預測模型設置第一層改進LSTM網(wǎng)絡的節(jié)點個數(shù)為40,第二層節(jié)點個數(shù)為80,以最小化損失函數(shù)為目標訓練神經(jīng)網(wǎng)絡,設定迭代次數(shù)為500,滑動截取窗口長度L分別為10、30、60、80。為預防訓練過程中產(chǎn)生過擬合現(xiàn)象,在隱藏層和輸出層之間加入Dropout層(dropout=0.2)以抑制過擬合。

滑動窗口長度L取不同值時,網(wǎng)絡模型的訓練效果見圖6。

由圖6可知,隨著迭代次數(shù)的增加,損失函數(shù)不斷減小,訓練集的損失函數(shù)收斂于0.01附近,驗證集的損失函數(shù)可收斂于0.01～0.03。當L=10時,驗證集損失函數(shù)波動較大;隨著滑動窗口的增大,驗證集損失函數(shù)的波動范圍逐漸減小,增強了預測模型的泛化能力;當L=80時,模型出現(xiàn)了過擬合現(xiàn)象,說明滑動窗口的取值會對預測模型的訓練效果產(chǎn)生較大影響。

當滑動窗口長度為60時,不同學習率的模型訓練效果見圖7。

(a) lr=0.000 1

從圖7可以看出,當學習率取0.005和0.01時,隨著迭代次數(shù)的增加,訓練集和驗證集的損失函數(shù)產(chǎn)生較大波動,模型出現(xiàn)明顯的過擬合現(xiàn)象,降低模型的擬合精度。當學習率取0.000 1和0.001時,訓練集和驗證集的損失函數(shù)波動范圍較小,損失函數(shù)的收斂效果較好。

3.3 預測結(jié)果分析

采用均方根誤差(Root Mean Square Error, RMSE)和平均絕對百分比誤差(Mean Absolute Percentage Error, MAPE)作為模型預測精度的度量標準,可表示為:

(13)

(14)

不同滑動窗口長度L和學習率時,改進LSTM預測模型的預測精度對比見圖8。

圖8 LSTM預測模型的預測精度對比

由圖8可以看出,學習率越小,RMSE值越小。當學習率為0.000 1、滑動窗口長度為60時,RMSE值最低,為1.158,模型的預測精度最高。

試驗在測試集中采用改進LSTM、標準LSTM、門控循環(huán)網(wǎng)絡(Gated Recurrent Neural Network, GRU)、RNN 4種不同模型,預測某車廂兩組2 h范圍內(nèi)的軸承溫度,結(jié)果見圖9。

(a) 12∶00—14∶00時間段

從圖9中可以看出,改進LSTM溫度預測模型能夠在測試集上較精確地跟蹤真實的牽引電機軸承溫度值,具有良好的預測效果。標準LSTM和GRU的擬合效果相差較小且稍遜于改進LSTM。RNN預測曲線距離真實值相差較大,說明其擬合效果最差,不適合長時間序列的預測問題。本文所提出的改進LSTM預測模型與標準LSTM、RNN、GRU、支持向量機回歸(Support Vector Regression, SVR)4種經(jīng)典時間序列預測模型的預測結(jié)果見表2。LSTM、RNN、GRU模型均采用二層網(wǎng)絡結(jié)構,網(wǎng)絡節(jié)點個數(shù)分別為40、80。SVR模型選取徑向基函數(shù)(RBF)作為核函數(shù),正則化系數(shù)為1,其余參數(shù)均為默認。

表2 不同預測模型的精度對比

由表2可知,改進LSTM預測模型的RMSE值(1.158)和MAPE值(2.57%)最低,標準LSTM模型的RMSE和MAPE值略高于改進LSTM模型,而RNN模型的RMSE和MAPE值最高,分別為6.624和14.07%。說明本文提出的改進LSTM預測模型預測牽引電機軸承溫度的精度高于其他時間序列預測模型。

4 結(jié)論

為提高高速動車組牽引電機軸承溫度的預測精度,本文提出了一種基于改進LSTM的牽引電機軸承溫度預測模型。該模型引入窺視孔模塊,使得一個存儲塊包含多個細胞,共享3個控制門,從細胞狀態(tài)中學習網(wǎng)絡傳播時產(chǎn)生的歷史信息,適應長距離時間序列的牽引電機軸承溫度數(shù)據(jù)。設計兩層改進的LSTM網(wǎng)絡構成隱藏層,減少模型的計算量和訓練耗時。與標準LSTM、RNN、GRU、SVR 4種經(jīng)典時間序列預測模型相比,本文提出的改進LSTM預測模型提高了溫度預測的精度,可為今后根據(jù)軸承溫度預測牽引電機故障提供基礎。