薛逸凡，高仕斌

0 引言

接觸網(wǎng)是鐵路牽引供電系統(tǒng)的重要組成部分，因其設(shè)置于戶外露天環(huán)境，工作環(huán)境較為惡劣，容易受外界影響，且結(jié)構(gòu)復(fù)雜，為高速鐵路牽引供電系統(tǒng)中故障率較高的子系統(tǒng)。接觸網(wǎng)的露天設(shè)置、無備用性使得對(duì)其缺陷趨勢(shì)的預(yù)測(cè)非常重要[1]。

對(duì)于接觸網(wǎng)故障、缺陷的預(yù)測(cè)，現(xiàn)有文獻(xiàn)主要基于時(shí)間序列回歸預(yù)測(cè)，如文獻(xiàn)[2]采用HoltWinters預(yù)測(cè)模型和GM（1,1）灰色預(yù)測(cè)模型構(gòu)建組合時(shí)間序列預(yù)測(cè)方法對(duì)故障強(qiáng)度發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)，文獻(xiàn)[3]基于協(xié)整理論的多元時(shí)間序列回歸模型（ARIMAX模型）對(duì)接觸網(wǎng)的故障數(shù)據(jù)進(jìn)行預(yù)測(cè)分析。這些研究雖然能夠大致擬合短期內(nèi)缺陷趨勢(shì)，但在實(shí)際中，接觸網(wǎng)缺陷數(shù)據(jù)的采集受檢測(cè)周期影響，接觸網(wǎng)檢修前后，缺陷數(shù)據(jù)會(huì)呈現(xiàn)周期性變化，導(dǎo)致現(xiàn)有模型穩(wěn)定性和準(zhǔn)確性有待提高。

隨著6C系統(tǒng)得以廣泛應(yīng)用，在日常運(yùn)行、檢測(cè)、維修等業(yè)務(wù)過程中產(chǎn)生并積累了豐富的數(shù)據(jù)， 具備了利用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷趨勢(shì)預(yù)測(cè)的條件。循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法具備自學(xué)習(xí)能力，在對(duì)時(shí)序序列的非線性特征進(jìn)行學(xué)習(xí)時(shí)具有一定優(yōu)勢(shì)。目前在國(guó)內(nèi)，循環(huán)神經(jīng)網(wǎng)絡(luò)方法在經(jīng)濟(jì)預(yù)測(cè)、語音識(shí)別、圖像字幕等領(lǐng)域有著較為廣泛的應(yīng)用，但用于對(duì)接觸網(wǎng)進(jìn)行缺陷趨勢(shì)預(yù)測(cè)的研究較少。

本文提出一種基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）的高速鐵路接觸網(wǎng)缺陷趨勢(shì)預(yù)測(cè)模型，利用現(xiàn)場(chǎng)獲取的接觸網(wǎng)吊弦缺陷、外部缺陷、定位裝置缺陷等數(shù)據(jù)進(jìn)行數(shù)據(jù)補(bǔ)全等預(yù)處理，并結(jié)合接觸網(wǎng)實(shí)際情況確定LSTM模型參數(shù)，實(shí)現(xiàn)可靠預(yù)測(cè)并進(jìn)行校驗(yàn)，為實(shí)現(xiàn)接觸網(wǎng)計(jì)劃性維修和預(yù)防性檢修提供參考。

1 循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法

1.1 標(biāo)準(zhǔn)RNN方法

標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一類以時(shí)間序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸且所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)[4]，廣泛應(yīng)用于自然語言處理、電力負(fù)荷預(yù)測(cè)等領(lǐng)域。

與前饋神經(jīng)網(wǎng)絡(luò)相比，RNN隱藏層中的每個(gè)神經(jīng)元可以通過自鏈接循環(huán)使用，給定原始時(shí)間序列x= (x1,x2,…,xn)，通過迭代式（1）和式（2）計(jì)算出一個(gè)隱藏層序列h= (h1,h2,…,hn)和一個(gè)輸出序列y= (y1,y2,…,yn)。

式中：W為權(quán)重系數(shù)矩陣（如Wxh表示輸入層到隱藏層的權(quán)重系數(shù)矩陣，Whh表示隱藏層間的權(quán)重系數(shù)矩陣，Why表示隱藏層到輸出層的權(quán)重系數(shù)矩陣）；b為偏置向量（如bh表示隱藏層的偏置向量，by表示輸出層的偏置向量，）；fa為激活函數(shù)（如tanh函數(shù)）；下標(biāo)t表示時(shí)刻。

圖1 RNN模型隱藏層細(xì)胞結(jié)構(gòu)

RNN采用ht-1記憶t時(shí)刻之前的所有輸入信息，t時(shí)刻輸出的yt不僅受該時(shí)刻輸入xt的影響，還受ht-1的影響。RNN采用時(shí)間反向傳播（BPTT）算法進(jìn)行訓(xùn)練，訓(xùn)練過程中存在梯度消失問題，導(dǎo)致RNN不能學(xué)習(xí)時(shí)間序列的長(zhǎng)距離時(shí)序依賴關(guān)系。同時(shí)，標(biāo)準(zhǔn)RNN模型需要預(yù)先確定延遲窗口長(zhǎng)度，在實(shí)際應(yīng)用中很難獲得該參數(shù)的最優(yōu)值。將長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）應(yīng)用于缺陷數(shù)據(jù)時(shí)間序列預(yù)測(cè)，通過一定數(shù)量的先驗(yàn)、歷史知識(shí)引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)間的聯(lián)系與趨勢(shì)，在神經(jīng)元中加入記憶單元和門控單元完成預(yù)測(cè)。較標(biāo)準(zhǔn)RNN而言，LSTM可解決“長(zhǎng)期依賴”（long- term dependency）問題，即有用信息和預(yù)測(cè)點(diǎn)相隔較遠(yuǎn)的情況下依然有較好的預(yù)測(cè)效果。

1.2 LSTM預(yù)測(cè)方法

LSTM以細(xì)胞狀態(tài)向量的形式來存儲(chǔ)神經(jīng)元對(duì)過往序列的宏觀理解和記憶，然后將上一個(gè)時(shí)間的細(xì)胞狀態(tài)、當(dāng)前時(shí)間的輸入、上一時(shí)步的隱藏狀態(tài)綜合起來，構(gòu)造出神經(jīng)元的歷史長(zhǎng)期記憶。LSTM模型將隱藏層的RNN細(xì)胞替換為L(zhǎng)STM細(xì)胞，使其具有長(zhǎng)期記憶能力[5]。LSTM模型細(xì)胞結(jié)構(gòu)如圖2所示。

圖2 LSTM模型細(xì)胞結(jié)構(gòu)

該模型前向計(jì)算方法可表示為

式中：i、f、c、o分別為輸入門、遺忘門、細(xì)胞狀態(tài)、輸出門；W和b分別為對(duì)應(yīng)的權(quán)重系數(shù)矩陣和偏置項(xiàng)；σ和tanh分別為sigmoid和雙曲正切激活函數(shù)。

相比于RNN，LSTM增加隱藏狀態(tài)c，該隱藏狀態(tài)被稱為細(xì)胞狀態(tài)（圖3），使缺陷發(fā)生的內(nèi)在規(guī)律信息在結(jié)構(gòu)塊中傳播。

圖3 LSTM結(jié)構(gòu)塊中的細(xì)胞狀態(tài)

遺忘門以一定概率保留上一層的隱藏細(xì)胞狀態(tài)，決定從細(xì)胞狀態(tài)中留下哪些信息。當(dāng)遺忘門輸出為0時(shí)，完全舍棄上一層細(xì)胞狀態(tài)；輸出為1時(shí)，完全保留上一層的隱含細(xì)胞狀態(tài)。遺忘門能夠去除接觸網(wǎng)缺陷統(tǒng)計(jì)序列中影響較小的部分。

輸入門的作用是向細(xì)胞狀態(tài)中添加新的信息，主要分為2個(gè)步驟：

Step1：通過一個(gè)tanh層和sigmoid層共同作用決定向細(xì)胞狀態(tài)中添加的信息內(nèi)容。

Step2：結(jié)合遺忘門更新細(xì)胞狀態(tài)。

輸入門從前序缺陷統(tǒng)計(jì)量中進(jìn)一步篩選對(duì)預(yù)測(cè)有作用的信息，并添加到當(dāng)前細(xì)胞狀態(tài)中，提高模型對(duì)接觸網(wǎng)缺陷內(nèi)在規(guī)律的學(xué)習(xí)程度。

輸出門為L(zhǎng)STM計(jì)算的最后一步，決定當(dāng)前時(shí)刻的最終輸出。輸出門由更新后的細(xì)胞狀態(tài)、上一時(shí)刻輸出與當(dāng)前時(shí)刻輸入共同決定。

2 基于LSTM的缺陷預(yù)測(cè)模型

2.1 模型框架

接觸網(wǎng)缺陷數(shù)據(jù)具有周期性和趨勢(shì)性，同時(shí)又受季節(jié)天氣變化、集中修等因素的影響，具有較大的不確定性。利用LSTM能學(xué)習(xí)長(zhǎng)距離時(shí)序依賴的優(yōu)點(diǎn)，在考慮預(yù)測(cè)月當(dāng)月相關(guān)因素對(duì)缺陷趨勢(shì)影響的基礎(chǔ)上，從橫向識(shí)別預(yù)測(cè)月當(dāng)月缺陷變化的規(guī)律，從縱向識(shí)別其他年份該月份缺陷的變化規(guī)律。

考慮單變量的缺陷數(shù)量時(shí)間序列有限樣本點(diǎn)的數(shù)據(jù)特征，構(gòu)建基于LSTM的缺陷數(shù)量預(yù)測(cè)模型的整體框架，如圖4所示。該模型架構(gòu)包括輸入層、隱藏層、輸出層、網(wǎng)絡(luò)訓(xùn)練以及網(wǎng)絡(luò)預(yù)測(cè)5個(gè)功能模塊：輸入層負(fù)責(zé)對(duì)原始故障時(shí)間序列進(jìn)行初步處理以滿足網(wǎng)絡(luò)輸入要求；隱藏層采用圖4所示的LSTM細(xì)胞搭建單層循環(huán)神經(jīng)網(wǎng)絡(luò)；輸出層提供預(yù)測(cè)結(jié)果；網(wǎng)絡(luò)訓(xùn)練采用Adam優(yōu)化算法；網(wǎng)絡(luò)預(yù)測(cè)采用迭代的方法逐點(diǎn)預(yù)測(cè)。

圖4 基于LSTM的故障時(shí)間序列預(yù)測(cè)模型框架

2.2 數(shù)據(jù)預(yù)處理

由于缺陷發(fā)生次數(shù)具有一定隨機(jī)性，且有缺失數(shù)據(jù)，本文進(jìn)行數(shù)據(jù)預(yù)處理得到以月為采樣周期的接觸網(wǎng)單項(xiàng)缺陷時(shí)間序列，以便進(jìn)行建模和預(yù)測(cè)。

2.2.1 數(shù)據(jù)上卷

由于接觸網(wǎng)單項(xiàng)缺陷數(shù)據(jù)均來源于運(yùn)營(yíng)的鐵路線路現(xiàn)場(chǎng)，所以存在一定的誤差，且各單項(xiàng)缺陷數(shù)據(jù)的檢測(cè)周期不同，統(tǒng)計(jì)收集的數(shù)據(jù)不符合時(shí)間序列的要求。在模型搭建初始，需要對(duì)各指標(biāo)數(shù)據(jù)進(jìn)行匯總，并以月份作為時(shí)序上卷周期，以月份為采樣周期對(duì)各單項(xiàng)缺陷數(shù)據(jù)進(jìn)行數(shù)據(jù)上卷，使其成為時(shí)間序列。

2.2.2 數(shù)據(jù)補(bǔ)全

缺陷數(shù)據(jù)采樣存在一定的誤差和遺漏，LSTM需要輸入在時(shí)序維度上保持連續(xù)的數(shù)據(jù)[6]，對(duì)以月份為采樣周期的時(shí)間序列進(jìn)行缺失值檢測(cè)，對(duì)前后時(shí)間間隔不大的缺失數(shù)據(jù)采用均值補(bǔ)全的方法進(jìn)行處理，如式（4）所示。

式中：xb為b月份的時(shí)序缺失值；xb+i、xb-i分別為b+i、b-i月份的有效數(shù)據(jù)。

2.2.3 數(shù)據(jù)標(biāo)準(zhǔn)化

神經(jīng)網(wǎng)絡(luò)采用基于梯度下降的反向傳播算法進(jìn)行訓(xùn)練，數(shù)據(jù)太大或太小均可能造成無法找到最優(yōu)解。為此，本文采用最小-最大歸一化方法將數(shù)據(jù)歸一化到區(qū)間[0,1][7]，如式（5）所示。

式中：Xmax、Xmin分別為時(shí)間序列的最大值、最小值；X為原始值；Xnorm為標(biāo)準(zhǔn)化后的值。

2.3 模型訓(xùn)練

本文采用Adam優(yōu)化方法對(duì)用于缺陷趨勢(shì)預(yù)測(cè)的LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練的目的是調(diào)整網(wǎng)絡(luò)參數(shù)，使輸出值盡可能接近真實(shí)值[8]。模型訓(xùn)練流程如圖5所示。

圖5中，②和③為前向推理過程，④為反向傳播過程，⑤和⑥為對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。損失函數(shù)包括均方根誤差（RMSE）損失、均方誤差（MES）損失、平均絕對(duì)誤差（MAE）損失、絕對(duì)百分比誤差（APE）損失。本文采用單項(xiàng)缺陷數(shù)據(jù)所有樣本APE的平均值（MAPE）作為損失函數(shù)衡量預(yù)測(cè)模型的整體性能[9]，表示為

圖5 模型訓(xùn)練流程

式中：N為訓(xùn)練樣本總數(shù)；為預(yù)測(cè)所得缺陷數(shù)據(jù)；Mi為實(shí)際缺陷數(shù)據(jù)。

3 實(shí)例分析

基于高速鐵路牽引供電安全檢測(cè)監(jiān)測(cè)（6C）系統(tǒng)所獲取的數(shù)據(jù)作為研究對(duì)象，選取京廣高鐵韶關(guān)高鐵接觸網(wǎng)工區(qū)、廣州北高鐵接觸網(wǎng)工區(qū)、廣州南接觸網(wǎng)工區(qū)缺陷數(shù)據(jù)中接觸網(wǎng)零部件（吊弦）缺陷和接觸網(wǎng)外部環(huán)境缺陷兩類缺陷數(shù)據(jù)進(jìn)行接觸網(wǎng)缺陷趨勢(shì)預(yù)測(cè)。

3.1 吊弦缺陷預(yù)測(cè)

吊弦是鏈形懸掛中的重要組成部件之一[10]。對(duì)京廣高鐵相關(guān)工區(qū)2017年1月—2020年3月吊弦缺陷源數(shù)據(jù)進(jìn)行月份序列編碼和缺失值補(bǔ)充，如圖6所示。

圖6 數(shù)據(jù)補(bǔ)全前后吊弦缺陷數(shù)據(jù)

圖6 中時(shí)序序列橫坐標(biāo)1—39分別對(duì)應(yīng)2017年1月—2020年3月?；谏鲜鰯?shù)據(jù)對(duì)LSTM模型進(jìn)行訓(xùn)練和參數(shù)調(diào)整，逐月預(yù)測(cè)2020年4—10月共計(jì)7個(gè)月的吊弦缺陷數(shù)量，并以源數(shù)據(jù)中的對(duì)應(yīng)記錄作為標(biāo)準(zhǔn)值與模型值預(yù)測(cè)結(jié)果進(jìn)行對(duì)比校驗(yàn)，結(jié)果如圖7所示，圖中時(shí)序橫坐標(biāo)1—7分別對(duì)應(yīng)2020年4—10月。

圖7 2020年4—10月吊弦缺陷預(yù)測(cè)結(jié)果

由預(yù)測(cè)結(jié)果可知，采用本文所述LSTM模型預(yù)測(cè)的吊弦缺陷趨勢(shì)與實(shí)際趨勢(shì)基本一致，平均誤差次數(shù)為3.14，最大誤差為9次（2020年7月），且2020年4月預(yù)測(cè)結(jié)果與實(shí)際結(jié)果一致，表明LSTM模型可以學(xué)習(xí)吊弦缺陷發(fā)生的內(nèi)在規(guī)律，對(duì)缺陷發(fā)展趨勢(shì)的短期預(yù)測(cè)具有較好的效果。

3.2 外部環(huán)境缺陷預(yù)測(cè)

外部環(huán)境缺陷主要統(tǒng)計(jì)樹木侵限、異物、設(shè)備安裝工藝缺陷、設(shè)備侵蝕等[10]。對(duì)京廣高鐵相關(guān)工區(qū)2016年1月—2019年12月外部環(huán)境缺陷源數(shù)據(jù)進(jìn)行月份序列編碼，如圖8所示。

圖8 中時(shí)序序列橫坐標(biāo)1—48分別對(duì)應(yīng)2016年1月—2019年12月?；谏鲜鰯?shù)據(jù)訓(xùn)練LSTM模型進(jìn)行參數(shù)調(diào)整，逐月預(yù)測(cè)2020年1—10月共計(jì)10個(gè)月的外部環(huán)境缺陷數(shù)量，并用源數(shù)據(jù)中的對(duì)應(yīng)記錄作為標(biāo)準(zhǔn)值與模型值預(yù)測(cè)結(jié)果進(jìn)行對(duì)比校驗(yàn)，預(yù)測(cè)結(jié)果對(duì)比如圖9所示。

圖9 2020年1—10月外部環(huán)境缺陷預(yù)測(cè)結(jié)果

由預(yù)測(cè)結(jié)果對(duì)比可知，采用本文所述LSTM模型預(yù)測(cè)的外部缺陷趨勢(shì)與實(shí)際趨勢(shì)基本一致，最大誤差為40次（2020年9月），2020年1月、3—7月6個(gè)月的誤差均在4次以內(nèi)，表明LSTM模型可以學(xué)習(xí)外部環(huán)境缺陷發(fā)生的內(nèi)在規(guī)律，對(duì)缺陷發(fā)展趨勢(shì)的短期預(yù)測(cè)具有較好的效果。

4 結(jié)語

接觸網(wǎng)系統(tǒng)是一個(gè)較為特殊的系統(tǒng)，其功能復(fù)雜，既是電力機(jī)車的輸電線路，又是受電弓滑板的滑道，同時(shí)其工作條件惡劣，為高速鐵路牽引供電系統(tǒng)中的薄弱環(huán)節(jié)。根據(jù)本文所提出的方法，能夠較為準(zhǔn)確地對(duì)接觸網(wǎng)系統(tǒng)前期缺陷統(tǒng)計(jì)量反映出來的發(fā)展過程和變化規(guī)律進(jìn)行分析，預(yù)測(cè)下一時(shí)間段接觸網(wǎng)系統(tǒng)缺陷可能達(dá)到的水平，為科學(xué)制定接觸網(wǎng)維修計(jì)劃、預(yù)防性檢修提供了依據(jù)。