周自強,姜久超

(1.遼寧紅沿河核電有限公司儀控處，遼寧省大連市中山區(qū)南山路127號 116000;2.河北水利電力學(xué)院電氣自動化系,河北省滄州市黃河西路49號 061001)

備件是指為保障生產(chǎn)設(shè)備的運行和維修而儲備的各種元器件、零部件。備件需求的預(yù)測是進行備件采購計劃制定、供應(yīng)管理、倉儲管理等工作的基礎(chǔ)?？茖W(xué)合理的備件需求計劃，不僅能夠保障生產(chǎn)的正常進行，還能夠降低企業(yè)的采購成本和倉儲成本，直接增加企業(yè)的利潤。不常用備件的需求具有間隔期不確定、變化量波動大、需求規(guī)律性不明顯和不確定性強的特點，可參考歷史數(shù)據(jù)少，不利于進行分析與預(yù)測。目前不常用備件需求一般使用灰色系統(tǒng)理論模型進行預(yù)測。

人工神經(jīng)網(wǎng)絡(luò)是模仿大腦結(jié)構(gòu)和功能的新型信息處理方法，由若干個處理單元聯(lián)結(jié)組成復(fù)雜網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)能夠?qū)Υ罅啃畔⑦M行處理，具有容錯性強等優(yōu)勢，該方法能夠從歷史資料中尋找規(guī)律，通過非線性處理建模[1]，實現(xiàn)對未來狀態(tài)的定量估測。神經(jīng)網(wǎng)絡(luò)利用歷史數(shù)據(jù)構(gòu)成訓(xùn)練集合，通過訓(xùn)練集合對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，實現(xiàn)神經(jīng)網(wǎng)絡(luò)參數(shù)的確認，使用已確認參數(shù)的神經(jīng)網(wǎng)絡(luò)實現(xiàn)對未來數(shù)據(jù)的預(yù)測[2]。本文將LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)應(yīng)用于備件需求預(yù)測，為不常用備件的儲備提供科學(xué)依據(jù)[3]。

1 神經(jīng)網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)LSTM(Long-Short Term Memory)通過對循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)的改進而提出的一種帶記憶能力的神經(jīng)網(wǎng)絡(luò)[4]，這種神經(jīng)網(wǎng)絡(luò)具有從給定數(shù)據(jù)中獲取數(shù)據(jù)間隱含關(guān)系的能力，在分類、自然語言處理、時間序列數(shù)據(jù)預(yù)測等領(lǐng)域有著廣泛應(yīng)用[5]。

神經(jīng)網(wǎng)絡(luò)一般包括輸入層、隱含層和輸出層。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)包括兩條信息傳遞通道，一條是輸入層→隱含層→輸出層，另一條是從當(dāng)前時刻的隱含層到下一時刻的隱含層，如圖1所示。為了使循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)更清晰簡潔，可以將其按照時序展開，如圖2所示。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of RNN

圖2 循環(huán)神經(jīng)網(wǎng)絡(luò)時序展開Fig.2 Time series expansion of RNN

1.1 LSTM神經(jīng)網(wǎng)絡(luò)原理

LSTM(Long-Short Term Memory)長短期記憶神經(jīng)網(wǎng)絡(luò)，它是一種改進的循環(huán)神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的隱含層內(nèi)部存在循環(huán)的鏈式結(jié)構(gòu)[6]，在標準的循環(huán)神經(jīng)網(wǎng)絡(luò)中只有一個tanh函數(shù)，如圖3所示。

圖3 循環(huán)神經(jīng)網(wǎng)絡(luò)的循環(huán)模塊結(jié)構(gòu)Fig.3 Loop module structure of RNN

LSTM長短期記憶神經(jīng)網(wǎng)絡(luò)比RNN循環(huán)神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)更加復(fù)雜，如圖4所示。通過LSTM和RNN的循環(huán)模塊結(jié)構(gòu)對比可以看出，RNN循環(huán)結(jié)構(gòu)中只包含tanh函數(shù)，而LSTM含有復(fù)雜的控制邏輯，從而實現(xiàn)對神經(jīng)元細胞狀態(tài)的控制，它們分別是忘記門、輸入門、更新門和輸出門。

圖4 LSTM循環(huán)模塊結(jié)構(gòu)Fig.4 Loop module structure of LSTM

在LSTM網(wǎng)絡(luò)中，xt、ht分別表示當(dāng)前時刻的輸入和輸出，ht-1上一時間隱含層的輸出數(shù)據(jù)，St、Si、Sj、Sk為連接隱含層的權(quán)值矩陣，b0、bi、bj、bk為偏置值；α為sigmoid函數(shù)取值范圍為[0，1]，1表示保留信息，0表示丟棄信息；tanh為函數(shù)，處理后得到-1～1之間的輸出結(jié)果。

忘記門1的功能是控制信息的取舍。忘記門的輸入數(shù)據(jù)為當(dāng)前時刻的輸入xt和上一時間隱含層的輸出數(shù)據(jù)ht-1，經(jīng)sigmoid函數(shù)處理，取值范圍為[0,1]，1表示保留信息，0表示丟棄信息，忘記門公式

ft=σ(St×[ht-1,xt]+b0)

(1)

式中，ft為忘記門，ft影響細胞狀態(tài)。

輸入門2將前一狀態(tài)和當(dāng)前輸入經(jīng)sigmoid函數(shù)去掉非關(guān)鍵信息，同時經(jīng)tanh函數(shù)處理后得到-1～1之間的輸出結(jié)果作為新的神經(jīng)元細胞狀態(tài)，公式如下

it=σ(Si×[ht-1,xt]+bi)

(2)

(3)

更新門3將輸入門2中sigmoid函數(shù)和tanh函數(shù)的輸出結(jié)果相乘，并加上忘記門1中的輸出結(jié)果，實現(xiàn)神經(jīng)元細胞中重要信息的篩選，公式如下

(4)

式中，Ct為當(dāng)前細胞狀態(tài)。

輸出門4從當(dāng)前狀態(tài)中選擇重要的信息作為狀態(tài)的輸出。首先，將前一隱狀態(tài)和當(dāng)前輸入值經(jīng)sigmoid函數(shù)得到一個0～1之間的結(jié)果。然后對更新門3的輸出結(jié)果經(jīng)tanh函數(shù)輸出，并與得到的結(jié)果相乘，作為當(dāng)前狀態(tài)的輸出也作為下一狀態(tài)的輸入，公式如下

ot=σ(Sk×[ht-1,xt]+bk)

(5)

ht=ot×tanh(Ct)

(6)

式中，Ot為忘記門，Ct為當(dāng)前細胞狀態(tài)。

1.2 Bi-LSTM神經(jīng)網(wǎng)絡(luò)原理

Bi-LSTM(Bi-directional Long Short-Term Memory)雙向長短期記憶網(wǎng)絡(luò)包括前向LSTM和后向LSTM，預(yù)測由前后若干輸入共同決定，提高了輸出的準確性，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。圖中包含了6個共享權(quán)值w1～w6，輸出層不僅包含F(xiàn)orward層也包含Backward層。

圖5 Bi-LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Structure of Bi-LSTM

xt、xt+1分別表示當(dāng)前和下一時刻的輸入，Ot、Ot+1分別表示當(dāng)前和下一時刻的輸出，ht-1、ht分別表示上一時刻和當(dāng)前正向細胞狀態(tài)，ht-1、ht分別表示上一時刻和當(dāng)前反向細胞狀態(tài)。

當(dāng)Forward層從1時刻到t時刻正向計算，得到并保存每個時刻向前隱含層的輸出。在Backward層沿著時刻t到時刻1反向計算，得到并保存每個時刻向后隱含層的輸出。最后在每個時刻結(jié)合Forward層和Backward層的相應(yīng)時刻輸出的結(jié)果得到最終的輸出，公式如下：

ht=f(w1xt+w2ht-1)

(7)

(8)

(9)

2 基于LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測模型

2.1 神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)設(shè)計

循環(huán)神經(jīng)網(wǎng)絡(luò)根據(jù)實際應(yīng)用場景可分為多輸入單輸出、單輸入多輸出、有時差多輸入多輸出和無時差的多輸入多輸出網(wǎng)絡(luò)[7]，本文中采用多輸入單輸出網(wǎng)絡(luò)，由輸入層、隱含層和輸出層組成，在隱含層中包含了設(shè)定數(shù)量的LSTM和Bi-LSTM網(wǎng)絡(luò)的神經(jīng)元、神經(jīng)元間信息傳遞的過程，如圖6所示。

圖6 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.6 Schematic diagram of network structure

2.2 神經(jīng)網(wǎng)絡(luò)輸入輸出的結(jié)構(gòu)設(shè)計

LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)參數(shù)的訓(xùn)練過程是有監(jiān)督學(xué)習(xí)，需要對訓(xùn)練集進行設(shè)計。圖7為本文神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集的結(jié)構(gòu)。

圖7 訓(xùn)練集結(jié)構(gòu)示意圖Fig.7 Schematic diagram of training set

在使用LSTM或Bi-LSTM網(wǎng)絡(luò)進行訓(xùn)練時，需要根據(jù)設(shè)計的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將訓(xùn)練集進行詳細設(shè)計，網(wǎng)絡(luò)中的第一層必須定義預(yù)期輸入的結(jié)構(gòu)且輸入必須是三維的，由Samples、Timesteps和Features組成，Samples為輸入數(shù)據(jù)的行數(shù)、Timesteps輸入數(shù)據(jù)的列數(shù)、Features為預(yù)測數(shù)據(jù)的個數(shù)。在圖7中將訓(xùn)練集按序號分成了3個時間步，輸入3個數(shù)據(jù)預(yù)測1個數(shù)據(jù)，inputn表示第n個有不常用備件需求的檢修輪次，output1用來預(yù)測input4，即通過前三個數(shù)據(jù)來預(yù)測第四個數(shù)據(jù)，按時間順序?qū)⒂胁怀Ｓ脗浼枨蟮臋z修輪次刷選出來整理成序列，將該序列輸入到神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練。

2.3 LSTM神經(jīng)網(wǎng)絡(luò)激活函數(shù)的選擇

循環(huán)神經(jīng)網(wǎng)絡(luò)通過引入非線性的激勵函數(shù)，使每一層的輸出都是上一層輸入的非線性函數(shù)，從而給神經(jīng)網(wǎng)絡(luò)引入了非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以逼近任何非線性函數(shù)，從而使得神經(jīng)網(wǎng)絡(luò)能夠更加全面的模擬目標，提高了循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。常見的激勵函數(shù)有sigmoid、tanh、ReLU，這三個激活函數(shù)各有優(yōu)劣，本文采用ReLU作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，ReLU定義為

(10)

Relu函數(shù)可以使網(wǎng)絡(luò)訓(xùn)練更快，相比于sigmoid、tanh導(dǎo)數(shù)更加好求，因為其導(dǎo)數(shù)形式簡單，加入到神經(jīng)網(wǎng)絡(luò)中可以使網(wǎng)絡(luò)擬合非線性映射，使網(wǎng)格具有稀疏性。

2.4 選取LSTM網(wǎng)絡(luò)模型訓(xùn)練的優(yōu)化方法

梯度下降法GD(Gradient Descent)是最基本的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，主要原理是選取當(dāng)前位置的最快下降方向——負梯度方向進行計算。梯度下降法在與目標值位置遠時，斜率越大，搜索越快；反之，當(dāng)與目標值較近時，斜率越小，搜索越慢。但是GD算法每次迭代要將全部數(shù)據(jù)帶入進行訓(xùn)練，當(dāng)訓(xùn)練數(shù)據(jù)較多時，花費的訓(xùn)練時間比較長。為了加快模型的訓(xùn)練速度，提出了隨機梯度下降法SGD(Stochastic Gradient Descent)和批量梯度下降法BGD(Batch Gradient Descent)，這兩種方法每次迭代不對全部數(shù)據(jù)進行訓(xùn)練，因此訓(xùn)練時間縮短了，但無法保證最終的結(jié)果是全局最優(yōu)解。

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，損失函數(shù)的作用是計算神經(jīng)網(wǎng)絡(luò)每次迭代的前向計算結(jié)果與真實值的差距，從而指導(dǎo)下一步的訓(xùn)練向正確的方向進行。模型訓(xùn)練時首先用隨機值初始化前向計算公式的參數(shù)，之后代入樣本計算輸出的預(yù)測值，然后用損失函數(shù)計算預(yù)測值和標簽值的誤差，隨后根據(jù)損失函數(shù)的導(dǎo)數(shù)，沿梯度最小方向?qū)⒄`差回傳，修正前向計算公式中的各個權(quán)重值，最后再次帶入樣本,直到損失函數(shù)值達到一個滿意的值或達到要求訓(xùn)練的次數(shù)時停止迭代。本文中的數(shù)據(jù)預(yù)測屬于回歸問題，一般采用均方差作為損失函數(shù)進行模型訓(xùn)練，均方誤差(mean_squared_error)損失函數(shù)如下

(11)

此外本文選取Adam(Adaptive Moment Estimation)算法作為損失函數(shù)的優(yōu)化函數(shù)。Adam通過梯度一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學(xué)習(xí)率，實現(xiàn)學(xué)習(xí)率的自適應(yīng)優(yōu)化。

3 實驗設(shè)置及結(jié)果分析

3.1 實驗數(shù)據(jù)

以某大型設(shè)備定檢周期中歷史消耗統(tǒng)計數(shù)據(jù)為分析對象(數(shù)據(jù)序列為等時距數(shù)據(jù)序列)，取樣周期為一個月，數(shù)據(jù)參數(shù)見表1。

表1 備件需求情況

將有備件消耗的檢修輪次單獨提取出來，構(gòu)造出不常用備件的消耗輪次序列{2,5,9,10,15,17,20}。為了驗證LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)在備件需求預(yù)測上的可行性，將消耗輪次序列前6個數(shù)據(jù)作為訓(xùn)練集，將第7個數(shù)據(jù)用于測試預(yù)測的準確性。

3.2 實驗設(shè)置

為了驗證神經(jīng)網(wǎng)絡(luò)預(yù)測不常用備件需求的有效性，實驗分別對LSTM網(wǎng)絡(luò)和Bi-LSTM網(wǎng)絡(luò)進行研究。實驗的軟件環(huán)境為Windows 7操作系統(tǒng)和以Tensorflow-gpu 1.10.0作為后端計算Keras 2.2.8深度學(xué)習(xí)框架提供的神經(jīng)網(wǎng)絡(luò)模型[8]；硬件環(huán)境的CPU為Intel(R)Xeon(R)CPU E3-1231 v3@3.40GH，顯卡為NVIDIA GeForce GTX 970(4096MB)，內(nèi)存為8GB。在實驗中，由于參數(shù)的設(shè)置對實驗結(jié)果影響較大，因此實驗通過不斷調(diào)整參數(shù)訓(xùn)練模型直至得到較好的實驗結(jié)果[9，10]。對于LSTM和Bi-LSTM網(wǎng)絡(luò)，輸入層維數(shù)Input設(shè)為3，輸出層維數(shù)Output設(shè)為1，隱藏層神經(jīng)單元個數(shù)設(shè)為[20，400]，每一次訓(xùn)練的樣本數(shù)Batch設(shè)為3，時間步長Time設(shè)為3，迭代次數(shù)Epoch設(shè)為[20，500]。

3.3 實驗結(jié)果與分析

為了使神經(jīng)網(wǎng)絡(luò)達到更加準確的預(yù)測效果，需要對神經(jīng)網(wǎng)絡(luò)的參數(shù)進行調(diào)整，網(wǎng)絡(luò)隱含層神經(jīng)元的數(shù)量和訓(xùn)練次數(shù)都會影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果。為了更加直觀的體現(xiàn)隱含層神經(jīng)元數(shù)量對神經(jīng)網(wǎng)絡(luò)擬合預(yù)測數(shù)據(jù)的影響，分別對LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)設(shè)置訓(xùn)練次數(shù)epochs固定為100隱含層神經(jīng)元數(shù)量分別設(shè)置為20、50、100、200、400，將訓(xùn)練之后的神經(jīng)網(wǎng)絡(luò)對各點的數(shù)據(jù)進行預(yù)測，預(yù)測結(jié)果與真實序列如圖8所示，從中可以看出隨著神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)量的增加，預(yù)測精度在逐漸提高，本例中LSTM網(wǎng)絡(luò)隱含層神經(jīng)元為100時較為準確，之后隨著隱含層神經(jīng)元的增加擬合精度在下降。本例中Bi-LSTM神經(jīng)網(wǎng)絡(luò)隨著隱含層神經(jīng)元數(shù)量的增加，在逐步接近真實值但沒有達到一個較理想的效果。

圖8 神經(jīng)元變化對比Fig.8 Comparison of neurons changes

為了直觀的展示訓(xùn)練次數(shù)對神經(jīng)網(wǎng)絡(luò)的影響，將LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)量設(shè)置為100，訓(xùn)練次數(shù)分別設(shè)置成20、50、100、200、300、500。訓(xùn)練完成后預(yù)測結(jié)果與真實序列如圖9所示，從中可以看出不論是LSTM還是Bi-LSTM神經(jīng)網(wǎng)絡(luò)，隨著訓(xùn)練數(shù)量的增加，預(yù)測精度均在逐漸提高，本例中LSTM網(wǎng)絡(luò)和Bi-LSTM神經(jīng)網(wǎng)絡(luò)在訓(xùn)練次數(shù)達到200次時預(yù)測精度已經(jīng)比較準確。

圖9 訓(xùn)練次數(shù)變化對比Fig.9 Comparison of training times

不常用備件的需求預(yù)測具有小樣本、貧信息的特點，可以歸類為不確定性問題，求解該類問題的常用方法是灰色系統(tǒng)理論。GM模型通過將原始數(shù)據(jù)序列的隨機性變換整理成有較強規(guī)律的累加生成序列，建立GM模型，計算預(yù)測序列后再還原，實現(xiàn)對不常用備件需求的預(yù)測。本文通過對LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)參數(shù)進行調(diào)整優(yōu)化后，將預(yù)測結(jié)果與單變量一階微分灰色模型GM(1,1)的預(yù)測結(jié)果進行比較。以某不常用備件的消耗輪次序列{2,5,9,10,15,17,20}作為對象，其中前6個數(shù)據(jù)作為已知數(shù)據(jù)，第7個數(shù)據(jù)作為待預(yù)測數(shù)據(jù)，由于神將網(wǎng)絡(luò)步長設(shè)置為3，因此神經(jīng)網(wǎng)絡(luò)預(yù)測從第4個數(shù)據(jù)開始，預(yù)測數(shù)據(jù)見表2。

表2 預(yù)測值與實際值對比

由表2和圖10可以看出，無論是灰色模型還是LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測均能實現(xiàn)對不常用備件需求的預(yù)測，但LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)明顯比灰色模型預(yù)測偏差小。實驗結(jié)果表明，LSTM和Bi-LSTM網(wǎng)絡(luò)能夠較好地反映不常用備件的需求時機，預(yù)測結(jié)果具有較高的準確性。

圖10 真實值與各預(yù)測模型預(yù)測值Fig.10 The real value and the predicted value of different prediction models

4 結(jié)論

在制定備件采購計劃時，需要對備件需求情況進行合理的分析與預(yù)測，尤其是不常用的高價值備件，只有這樣才能保證生產(chǎn)活動的正常進行同時保持較低的庫存資金占用率。本文提出的LSTM和Bi-LSTM神經(jīng)網(wǎng)絡(luò)模型能夠通過對歷史不常用備件需求時機的學(xué)習(xí)，深入挖掘不常用備件需求時機之間的關(guān)系，有效預(yù)測中短期內(nèi)的需求，從而為備件的儲備計劃提供依據(jù)。由于備件的需求情況不僅受設(shè)備因素的影響還受到各種人為因素，如維修測策略的臨時調(diào)整等的制約，因此備件的需求預(yù)測仍值得進一步探索。本文示例中選取的數(shù)據(jù)存在一定的局限性，為了在其他情況中進行應(yīng)用需要重新進行數(shù)據(jù)集的收集和模型的訓(xùn)練，在歷史數(shù)據(jù)較少時的應(yīng)用范圍有待進一步研究。