周 恒 （1. 上海市建筑科學研究院有限公司上海建筑機械安全智能控制工程技術(shù)研究中心， 上海 0003；. 上海市建筑科學研究院科技發(fā)展有限公司， 上海 01506）

在“雙碳”目標日益緊迫的背景下，中國信息通信研究院發(fā)布《企業(yè)數(shù)字化轉(zhuǎn)型藍皮報告—新 IT 賦能實體經(jīng)濟低碳綠色轉(zhuǎn)型》，聚焦石油石化、電力和制造 3 個碳排放能耗大戶，對其數(shù)字化最新進展、轉(zhuǎn)型成效、痛點難點、相關(guān)技術(shù)、業(yè)務場景與轉(zhuǎn)型路徑進行了深度剖析。工信部智能制造試點示范項目數(shù)據(jù)顯示，相關(guān)制造企業(yè)在數(shù)字化、智能化轉(zhuǎn)型后，其能源利用率平均提升 16.1%，最高達到 1.25 倍，節(jié)能降耗正向賦能作用顯著。通過以上數(shù)據(jù)可以看到，在推進“雙碳”工作實施落地的過程中，新 IT 相關(guān)數(shù)字技術(shù)正成為驅(qū)動產(chǎn)業(yè)綠色低碳改造、實現(xiàn)節(jié)能降耗減排的重要引擎，正成為促進能源效率提升、能源結(jié)構(gòu)優(yōu)化的重要動力，正成為推動企業(yè)發(fā)展模式綠色低碳轉(zhuǎn)型、實現(xiàn)人與自然和諧共生的重要手段。

推進數(shù)字化轉(zhuǎn)型升級和實現(xiàn)智能制造，是傳統(tǒng)制造業(yè)的必經(jīng)之路，制造業(yè)的核心是生產(chǎn)，數(shù)字化生產(chǎn)是指企業(yè)應用新 IT 數(shù)字技術(shù)如數(shù)字孿生、人工智能、大數(shù)據(jù)等，從計劃、質(zhì)量、物料、設備等多維度實現(xiàn)自感知、自決策，以達到智能化的目標。作為數(shù)字化生產(chǎn)的源頭，全面準確地預測分析客戶的需求，對于計劃調(diào)度的優(yōu)化和產(chǎn)能的合理配置都是極其重要的，能夠有效降低市場的不確定性對生產(chǎn)的沖擊，對歷史客戶需求數(shù)據(jù)的分析以及對未來一段時間內(nèi)的需求預測，是發(fā)揮大數(shù)據(jù)輔助決策功能的重要基礎。

生產(chǎn)需求預測具有典型的時間序列數(shù)據(jù)特征，具有不穩(wěn)定性、隨機性、復雜性等特征。針對時間序列預測問題，現(xiàn)有的主要研究成果方向，主要包括經(jīng)典的線性回歸模型和基于機器學習的預測模型。由于時間序列數(shù)據(jù)基本屬于非線性，因此機器學習的預測模型效果要遠好于線性回歸模型。本文選擇機器學習中的 LSTM 循環(huán)神經(jīng)網(wǎng)絡，它具有出色的非線性擬合能力，能夠有效提升預測效果。

1 循環(huán)神經(jīng)網(wǎng)絡

1.1 基礎循環(huán)神經(jīng)網(wǎng)絡（RNN）

RNN 網(wǎng)絡結(jié)構(gòu)如圖 1 所示，RNN 模型在 t 時刻的輸入為 Xt，上一時刻的狀態(tài) zt-1傳遞到當前時刻，并與參與當前運算，獲得當前時刻的輸出 Yt和狀態(tài) zt，并將 zt傳遞到下一時刻，影響下一時刻的運算，運算公式簡化如式(1)和(2)所示，其中的 a、b、c、u、v、w 為參數(shù)，通過模型訓練后獲得最優(yōu)解。

圖1 RNN 網(wǎng)絡結(jié)構(gòu)圖

1.2 長短期記憶循環(huán)神經(jīng)網(wǎng)絡（LSTM）

相較于傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡無差別的記憶所有信息，導致重要信息經(jīng)過長期迭代后丟失，LSTM 采用了“門控制”的思想，忘記門將部分無用信息剔除，更新門確定給記憶細胞添加哪些信息，輸出門篩選需要輸出的信息[1]。因此，在深層次網(wǎng)絡結(jié)構(gòu)中，也能留下重要信息并傳遞下去，可以解決長期時序信息處理時梯度消失的問題[2]。LSTM 的單元網(wǎng)絡結(jié)構(gòu)如圖 2 所示。

圖2 LSTM 網(wǎng)絡結(jié)構(gòu)圖

其中 LSTM 的核心部分為單元狀態(tài)如式（3）所示。

遺忘門原理：ft是一個[0,1]的向量如公式（4）所示，通過單位乘運算，將上個單元的 Ct-1的部分特征信息保留到 Ct中。通常使用 sigmoid 作為激活函數(shù)，sigmoid 的輸出是一個 [0,1] 區(qū)間內(nèi)的值，計算公式如式（5）所示。

輸入門原理： it如公式（6）所示，和 ft一樣也是一個[0,1]的向量，用于控制將 Ct有用的特征更新 Ct，同樣由 Xt和 ht-1經(jīng)由 sigmoid 激活函數(shù)計算而成。Ct表示單元狀態(tài)更新值如式（7）所示，由輸入數(shù)據(jù) Xt和隱節(jié)點 ht-1經(jīng)由一個神經(jīng)網(wǎng)絡層得到，單元狀態(tài)更新值的激活函數(shù)通常使用 tanh 如圖 2 所示 。

輸出門原理：輸出 ht由 ot和單元狀態(tài) Ct計算得到，其中 ot的計算方式和 ft以及 it相同，ot、ht計算如式（9）、式（10）所示。

以上公式中的 Wf、Wi、Wo為隨機權(quán)重參數(shù)，bf、bi、bo為偏置參數(shù)。

2 循環(huán)神經(jīng)網(wǎng)絡的產(chǎn)品排產(chǎn)預測模型

2.1 建模流程及方法

本文通過某建筑機械制造工廠的實際數(shù)據(jù)做分析，使用神經(jīng)網(wǎng)絡模型實現(xiàn)排產(chǎn)預測，建模和訓練主流程如圖 3 所示。收集 2019—2022年的某客戶的銷售數(shù)據(jù)，將 2019年和 2020年的數(shù)據(jù)作為訓練數(shù)據(jù)集，2021年和 2022年的數(shù)據(jù)作為測試數(shù)據(jù)集，為了數(shù)據(jù)更快收斂將數(shù)據(jù)進行歸一化處理。首先進行數(shù)據(jù)預處理，把數(shù)據(jù)轉(zhuǎn)換成可以用于 RNN 輸入的數(shù)據(jù)。接著建立 RNN 模型，通過訓練數(shù)據(jù)集訓練 RNN 模型，得到預測模型，再將測試數(shù)據(jù)導入預測模型獲得預測結(jié)果，并將預測結(jié)果與實際數(shù)據(jù)做對比。

圖3 建模和訓練流程圖

數(shù)據(jù)初始化：選用長度為 7 個數(shù)據(jù)的窗口，對第 8 個數(shù)據(jù)進行預測，對未來一周的產(chǎn)品銷售情況進行預測。提取數(shù)據(jù)方法如圖 4 所示，形成樣本數(shù) 250 個，序列長度為 7 ，數(shù)據(jù)維度為 1。

圖4 數(shù)據(jù)初始化方法

2.2 基礎 RNN 建模及結(jié)果

首次建模參數(shù)采用單層 RNN 結(jié)構(gòu)，輸出 5 個神經(jīng)元，激活函數(shù)選用 ReLU，輸出層選用單神經(jīng)元，激活函數(shù)選用 linear，配置參數(shù)中優(yōu)化器選用 adam，損失函數(shù)選用最小均方誤差（MSE）。

30 個樣本計算一次梯度下降，經(jīng)過 1000 次訓練后，損失函數(shù)值為 0.0107，效果不是很理想。如圖 5 所示，藍色為測試數(shù)據(jù)集的實際曲線，黃色為預測數(shù)據(jù)曲線，在徒增和陡降時擬合的效果不佳。利用訓練后的模型對測試組數(shù)據(jù)進行預測，結(jié)果如圖 6 所示，兩條曲線也是欠擬合狀態(tài)。

圖5 訓練數(shù)據(jù)集預測結(jié)果圖

圖6 測試數(shù)據(jù)集預測結(jié)果圖

2.3 LSTM 循環(huán)神經(jīng)網(wǎng)絡建模及結(jié)果

設置模型常量：采用函數(shù)式構(gòu)造流程，設置 2 層 LSTM，1 層全連接，1 層 dropout，最后連接 1 層全連接。預測輸入神經(jīng)元個數(shù)為 5 個，LSTM 單元中的神經(jīng)元個數(shù)為 10，LSTM 單元個數(shù)為 7，輸出神經(jīng)元個數(shù)為 1，學習率為 0.0007。

神經(jīng)網(wǎng)絡變量：隨機產(chǎn)生輸入和輸出層的權(quán)重，以及 dropout 參數(shù)。

LSTM 的輸入樣本為（samples, timesteps, features），根據(jù)訓練集生成時間序列樣本數(shù)據(jù)集為（249，7，1）共 249 個樣本，測試集生成時間序列樣本數(shù)據(jù)集為（125，7，1）共 125 個樣本，lookback 設置為 7，用前 7 天的數(shù)據(jù)來預測下一天的數(shù)據(jù)。

32 個樣本計算一次梯度下降，經(jīng)過 100 次訓練后，損失函數(shù)值為 3.0750×10－8，效果較理想。如圖 7 所示，為訓練集預測數(shù)據(jù)，藍色為訓練數(shù)據(jù)集的實際曲線，黃色為預測數(shù)據(jù)曲線，曲線擬合度較高。如圖 8 所示，為測試集預測情況，效果也較為理想。

圖7 訓練數(shù)據(jù)集預測結(jié)果圖

圖8 測試數(shù)據(jù)集預測結(jié)果圖

2.4 RNN 建模與 LSTM 建模比較與優(yōu)化

對建筑機械制造工廠的 2019—2022年的某客戶的銷售數(shù)據(jù)運用 RNN 和 LSTM 分別進行建模分析，通過損失函數(shù)對兩個模型進行評價，結(jié)果如下表 1。

表1 RNN 與 LSTM 模型效果比較表

從兩者預測結(jié)果圖中可以看到兩種模型都有預測滯后問題，把測試集的真實值及預測值畫出來對比一下，就會發(fā)現(xiàn) t 時刻的預測值往往是 t-1 時刻的真實值，也就是模型傾向于把上一時刻的真實值作為下一時刻的預測值，導致兩條曲線存在滯后性，也就是真實值曲線滯后于預測值曲線，就像圖 6 和圖 8 所顯示的那樣。之所以會這樣，是因為序列存在自相關(guān)性，如一階自相關(guān)指的是當前時刻的值與其自身前一時刻值之間的相關(guān)性[2]。因此，如果一個序列存在一階自相關(guān)，模型學到的就是一階相關(guān)性。而消除自相關(guān)性的辦法就是進行差分運算，也就是我們可以將當前時刻與前一時刻的差值作為我們的回歸目標。

3 結(jié)語

基于 LSTM 雙向循環(huán)神經(jīng)網(wǎng)絡算法的排產(chǎn)預測模型能夠有效精準的預測客戶的需求，提前量有利于生產(chǎn)計劃安排，也助于產(chǎn)能的合理規(guī)劃，錯峰用電節(jié)約成本，提高抵抗疫情、氣候、市場、原料等不確定因素的影響，使得企業(yè)具有更高的生產(chǎn)管理韌性。