陳銘俊 印四華

摘要：在鋁型材的生產(chǎn)過程中，擠壓機是核心的生產(chǎn)機器，其能耗占鋁型材生產(chǎn)能耗的60%以上。針對當前擠壓機能耗預測精度低和預測速度慢的問題，提出基于引力搜索優(yōu)化的注意力機制門控循環(huán)單位網(wǎng)絡模型（GSA-AGRU）用于預測擠壓機的能耗，首先構(gòu)建注意力機制的門控循環(huán)單位網(wǎng)絡模型（AGRU），然后加入引力搜索算法（GSA）優(yōu)化該網(wǎng)絡的權(quán)重，最后得到最優(yōu)的 GSA-AGRU 預測模型。利用某鋁型材企業(yè)的擠壓機生產(chǎn)能耗數(shù)據(jù)進行實驗，結(jié)果表明 GSA-AGRU 模型相比于傳統(tǒng)的 GRU、 LSTM、BP 和 AGRU模型具有更高的預測精度和更快的預測速度。

關(guān)鍵詞：門控循環(huán)單位;能耗預測;擠壓機;注意力機制;引力搜索算法

中圖分類號：TG375文獻標志碼：A

文章編號：1009-9492（2021）11-0021-05

開放科學（資源服務）標識碼（OSID）：

Energy Consumption Prediction of Extruder Based on GSA-AGRU Chen Mingjun1，Yin Sihua2

（1. School of Computers， Guangdong University of Technology， Guangzhou 510006， China;

2. School of Electromechanical Engineering， Guangdong University of Technology， Guangzhou 510006， China）

Abstract： In the process of aluminum profile production， the extruder is the core production machine， its energy consumption accounts for more than 60% of the aluminum profile production energy consumption. In view of the current low extrusion machine energy consumption prediction precision and slow speed of prediction problem. The concentration mechanism gating cycle unit network model （GSA-AGRU） based on gravity search optimization was proposed to predict the energy consumption of extruder. Firstly， the attention mechanism gated cycle unit network model （AGRU） was constructed， and then the gravity search algorithm （GSA） was added to optimize the weight of the network. Finally， the optimal gsa-agru prediction model was obtained. The experiment was carried out by using the production energy consumption data of an aluminum profile enterprise， the results show that the GSA-AGRU model has higher prediction accuracy and faster prediction speed than the traditional GRU， LSTM， BP and AGRU models.

Key words： GRU; energy consumption; extruding machine; attention mechanism; GSA

0 引言

我國是鋁型材生產(chǎn)、出口和消費大國。2017年中國擠壓鋁材產(chǎn)量攀升，達到了19500 kt/a ，占全球總產(chǎn)量的55%，擁有各種擠壓力的現(xiàn)代化油壓機約1850臺，約占全球總臺數(shù)的70%[1]。鋁材生產(chǎn)與消費規(guī)模在不斷擴大，對鋁型材生產(chǎn)過程的進一步分析，已經(jīng)成為促進鋁材生產(chǎn)進一步發(fā)展的迫切需求。擠壓機的能耗一直是鋁型材生產(chǎn)企業(yè)高度關(guān)注的問題，而傳統(tǒng)的物理能耗模型和仿真分析是常用的方法。張聰聰[2]通過擠壓機生產(chǎn)理論計算得到連續(xù)擠壓工藝參數(shù)與擠壓模具結(jié)構(gòu)參數(shù)的聯(lián)系，設計出合理的模具以減少生產(chǎn)能耗成本。蔣攀[3]對擠壓機的泵控液壓系統(tǒng)進行改進與原系統(tǒng)相比能耗有所降低。

隨著深度學習的發(fā)展，各種網(wǎng)絡模型用于工業(yè)能耗預測中，Zhou B[4]使用長期短期記憶（LSTM）網(wǎng)絡構(gòu)建核心預測模型，LSTM區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡使用3個門和1個“記憶細胞”實現(xiàn)長距離信息傳遞。但是 LSTM深度學習模型過于冗余，該模型需要較長的訓練時間，這使得預測效率相對較低。Cho[5]對這 LSTM進行了改進，提出了 GRU網(wǎng)絡。He Y[6]使用深度學習對銑床和磨床的能耗進行預測，結(jié)果表明比傳統(tǒng)機器學習的預測性能和準確率有明顯提高。為了提高風電的預測精度，李漢[7]提出了一種改進的長期短期記憶（ILSTM）網(wǎng)絡結(jié)構(gòu)。郭久俊[8]為了解決目前還原爐能耗預測精度低和建模困難的問題，在 LSTM 網(wǎng)絡模型的基礎上加入Adaboost來優(yōu)化模型參數(shù)，提高了預測模型精度。

基于以上分析，目前對擠壓機能耗的研究已經(jīng)有了不少的研究成果，但國內(nèi)外的研究人員大都從熱力學，擠壓機系統(tǒng)等方面對擠壓機的能耗進行研究，而沒有從預測的角度進行研究，預測工藝參數(shù)對擠壓機能耗的影響。深度神經(jīng)網(wǎng)絡在工業(yè)能源預測的豐碩成果表明深度學習在擠壓機能耗預測的可行性，并且擠壓機生產(chǎn)過程中采集的數(shù)據(jù)具有時間序列性，所以本文采用 GRU網(wǎng)絡模型對擠壓機能耗進行預測，同時結(jié)合注意力機制和 GSA對 GRU進行優(yōu)化以提高模型預測精度和速度。

1 擠壓機能耗分析

1.1 擠壓機系統(tǒng)結(jié)構(gòu)分析

本文研究的擠壓機是華南地區(qū)某大型鋁型材生產(chǎn)企業(yè)型號為 SY-3600Ton 的臥式擠壓機，其能源消耗來源于電能，基本結(jié)構(gòu)如圖1所示。

鋁型材擠壓機主要由3部分組成[9]，分別為電氣控制系統(tǒng)、機械系統(tǒng)和液壓系統(tǒng)，具體的部件如圖2所示。

1.2 擠壓機工作過程能耗分析

擠壓機每個工作周期完成一個鋁型材工件的擠壓生產(chǎn)，不斷重復單個周期的機械運動達到成批生產(chǎn)的目的。鋁型材擠壓機具體工作流程如下。

（1） 擠壓前，主柱塞及盛錠筒后退直至在盛錠筒與模具之間預留出送棒位置，送棒機構(gòu)將鋁棒送至擠壓中心線，盛錠錠筒前進并套住鋁棒，同時對模具、鋁棒和盛錠筒進行加熱，直到加熱至預設的溫度為止。

（2） 擠壓中，液壓泵將液壓油壓入主缸驅(qū)動擠壓桿，進入擠壓過程棒料在擠壓桿的壓力下和模具進行強烈擠壓產(chǎn)生塑性變形，從而得到需要的鋁型材產(chǎn)品。

（3） 擠壓后，主缸液壓卸壓，擠壓桿回到預設位置。剪刀機對擠壓成型的工件進行剪裁，把擠壓的最后階段留有的壓余部分切掉。

以上是一次工序，當完成一個擠壓工序后，就進入下一個工序循環(huán)中。循環(huán)生產(chǎn)中擠壓機的工作能量來源于電能，其能耗主要由直接影響因素和間接影響因素決定，直接影響因素有擠壓機工藝、金屬坯料、模具加熱和盛錠筒;間接影響因素有操作人員、環(huán)境、設備狀況和型材成品。如圖3所示。

2 模型設計

2.1 GRU概述

為了解決 BP 神經(jīng)網(wǎng)絡在處理序列信息的缺陷，1990年，Jeffrey Elman提出了全連接的RNN ，即 Elman網(wǎng)絡。 RNN 算法是一種專門用于重復和順序數(shù)據(jù)學習的人工神經(jīng)網(wǎng)絡，具有內(nèi)部循環(huán)結(jié)構(gòu)[10]。

RNN 與傳統(tǒng)神經(jīng)網(wǎng)絡結(jié)構(gòu)一樣有輸入層、隱藏層和輸出層。RNN 網(wǎng)絡隱藏層節(jié)點以鏈式結(jié)構(gòu)關(guān)聯(lián)起來，當前節(jié)點可以得到上一節(jié)點的歷史信息，還能獲得更早的節(jié)點傳遞的重要信息，這使得 RNN 具有一定的記憶性，也是與 BP 神經(jīng)網(wǎng)絡區(qū)分開的一個重要特性。RNN 網(wǎng)絡的單元結(jié)構(gòu)和展開的鏈式結(jié)構(gòu)如圖4所示，其中 h 為隱藏層單元，X 為 h 的輸入， Y 為輸出，u 、v 、w 為神經(jīng)網(wǎng)絡中的權(quán)值。

RNN存在梯度消失和梯度爆炸的問題，為了解決該問題，Hochreiter和Schmidhuber[11]于1997年提出了 LSTM。LSTM是RNN 的特殊變體，在傳統(tǒng) RNN 的基礎上增加了3個門和1個記憶單元，它具有存儲時間序列的功能，并且可以通過結(jié)構(gòu)中的單元單元存儲，傳輸和處理數(shù)據(jù)流。與 RNN 相比，LSTM可以存儲時間序列，因為 LSTM 中的每個單元都包含基于 S型神經(jīng)網(wǎng)絡層的3個邏輯門，即輸入門、輸出門和遺忘門，可以通過這些邏輯門選擇性地傳遞或處理數(shù)據(jù)。

GRU 神經(jīng)網(wǎng)絡是通過改進 LSTM 神經(jīng)網(wǎng)絡得到的，由于 LSTM門控網(wǎng)絡結(jié)構(gòu)過于復雜與冗余，所以把 LSTM 中的3個門縮減到了2個。GRU通過更新門和重置門對時間序列數(shù)據(jù)進行有針對性地處理，更新門決定了之前的狀態(tài)信息在當前狀態(tài)中的保留程度，其值越大代表之前的狀態(tài)信息保留越多。重置門用來判定是否要結(jié)合當前狀態(tài)與之前的信息，其值越小說明忽略的信息越多，模型訓練效率得到提高。該模型在數(shù)據(jù)學習方面不同于傳統(tǒng)的 LSTM網(wǎng)絡，具有較高預測效率的 GRU網(wǎng)絡可以更深入地挖掘輸入的擠壓機能耗數(shù)據(jù)，使得多維時間序列可以與能耗時間序列建立非線性關(guān)系。不僅減少了數(shù)據(jù)噪聲的影響，而且提高了整個模型的預測效率和準確性。GRU神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖5所示。

rt =sigmiod（Wr [ht -1，xt]）

zt =sigmoid（Wz [ht -1，xt]）

=tanh（Wt [rt *ht -1，xt]）

ht =ht -1*（1-zt）+ t *zt

式中：*為矩陣的逐元素點乘;[]為向量相連;ht為當前時間序列輸出信息;Wr為重置門權(quán)重;Wz為更新門權(quán)重;Wt為候選集權(quán)重;sigmiod和 tanh為激活函數(shù)：

sigmoid（x）=

tanh（x）=

2.2 注意力機制的GRU

注意力機制理論的提出是借鑒人類大腦對于多種信息處理時選擇較為關(guān)鍵的信息給予更多的關(guān)注。在神經(jīng)網(wǎng)絡中使用這種思想可以更合理地分配計算資源，從大量的信息中對重要的信息進行聚焦，減少對不重要信息的計算，在信息的有效選擇、信息相關(guān)性等方面得到提升。

注意力的本質(zhì)是加權(quán)求和[12]，不同的輸入特征通過計算出不同的概率來分配注意力，關(guān)鍵的特征會得到較大的概率值，也就會被賦予更多的注意，在處理時間序列數(shù)據(jù)的時候注意力機制的效果較好。因為 GRU無法靈活區(qū)分前一時期哪些時間數(shù)據(jù)對擠壓機多目標的影響較大，而注意機制提供了一種關(guān)注重要信息的手段，加強了 GRU在長時間序列學習中特征選擇的能力。因此，使用帶有注意機制的 GRU算法來預測擠壓機的生產(chǎn)能耗，把這個模型稱為 AGRU模型。其計算流程如下。

首先通過多層感知器（ MLP ）計算注意力權(quán)值 et′t 。

et′t = V Ttanh（Ws St′-1+ Whht） （7）

式中： et′t 為隱含層狀態(tài)ht在時間 t 時對時間 t′輸出影響的注意力權(quán)重; V T 、WS 和Wh為模型權(quán)重;ht為編碼器隱藏層狀態(tài); St′-1為解碼器隱藏層狀態(tài)。

接著根據(jù)softmax函數(shù)對 et′t 進行歸一化，獲得注意力分配概率分布數(shù)值。

αti =soft max（et′t）=Texp（et′t）

exp（t′ k）（8）

所有的權(quán)重和為1也就是αti =1，加權(quán)求和求出context vector：

ct =α tihi

ct和解碼器的最終輸出之間有一個連接。解碼器隱藏層的狀態(tài)可以通過ct進行更新，這個更新過程簡單地表示為：

St′=GRU（Yt′-1， ct′ ， St′-1）（10）

AGRU模型具體分為：輸入層、隱藏層、注意力層和輸出層，采用編碼器-解碼器結(jié)構(gòu)，如圖6所示。輸入序列為（X1，X2， … ，Xt），隱藏層為（h1， h2， … ， ht），每個輸入 X 到隱藏狀態(tài) h 通過 GRU網(wǎng)絡，在注意力層使用注意力機制理論計算得到模型的輸出Yt′。

2.3 GSA-AGRU模型

引力搜索算法（GSA）是一種魯棒性高且易于實現(xiàn)的全局優(yōu)化算法，從前面對 GRU網(wǎng)絡的描述中可以看出Wr、Wz、Wt是該模型的權(quán)重，通過模型訓練確定。傳統(tǒng)的模型訓練方法采用的是隨機梯度下降算法，但是該算法的其中一個缺點就是在梯度下降過程中造成預測精度的降低。為了提高 AGRU 模型的預測精度，本文采用引力搜索算法（GSA）實現(xiàn)全局最優(yōu)。AGRU神經(jīng)網(wǎng)絡的權(quán)重作為空間中粒子的屬性，輸出誤差被用作目標函數(shù)。

引力搜索算法的基本原理可以概括為：引力存在與各個粒子之間，引力的大小與粒子的質(zhì)量成正比與粒子距離成反比。粒子靠它們之間的萬有引力在搜索空間內(nèi)不斷運動，當粒子移動到最優(yōu)位置時，最優(yōu)解便可以求出。現(xiàn)在假設空間維為 D ，對象總數(shù)為 N ，第i個粒子在空間里的位置為：

xi （t）=（x（t），x（t）， … ，x（t））i =1， 2， … ， N（11）

式中： x為第i個粒子在第 d 維空間的位置;N 為整個群體粒子數(shù)量。

粒子的質(zhì)量 mi （ t ）公式如下：

fiti （ t ）=f（xi （ t ））i =1， 2， … ， N

best（ t ）= i∈{i，， N}fiti （ t ）

worst（ t ）= i∈， N}fiti （ t ）

mi （ t ）

Mi （ t ）=（12）

（13）

（14）

（15）

（16）

每個粒子所受引力和加速度按以下公式計算：

F（t）=G（t）[x（t）-x（t）]

Fid （t）=∑rj× F（t）

a（t）= b（（esttt））

式中： Fid （t）與 a（t）分別為粒子i在 d 維上所受到的力與相應加速度;Rij為粒子i與粒子j 之間的歐式距離;rj為[0， 1]之間的隨機數(shù);ε為一個與計算精度相關(guān)的極小數(shù);kbest為包含適應值最優(yōu)的K個粒子的集合，K初始值通常為種群中總粒子數(shù)，并且隨著算法的迭代線性減少，最終變?yōu)?;G（t）為萬有引力常數(shù)，可由下式計算得到：

G（t）=G0e -α

式中： G 和α為兩個常數(shù);t 為當前群體迭代的次數(shù); T 為算法總的迭代次數(shù)。

粒子的初始速度為0，在每次迭代中，按照下式更新粒子的速度vi（t）與位置xi（t）：

v （ t +1）=ri × v （t）+a（t）

x（ t +1）=x（t）+v （ t +1）

式中：t 為當前群體迭代的次數(shù);ri為[0， 1]之間的隨機數(shù)。

構(gòu)建的 GSA-AGRU如圖7所示。

基于 GSA 算法優(yōu)化 AGRU 模型參數(shù)具體步驟：

（1） 使用原始參數(shù)對 AGRU模型進行訓練;（2）初始化 GSA的粒子速度和位置，選擇AGRU的權(quán)重;（3）計算適度值，更新粒子;（4）判斷是否達到終止條件，達到即可輸出最優(yōu)參數(shù)并保存最優(yōu)參數(shù)的 AGRU ，否則繼續(xù)迭代;（5）把最優(yōu) AGRU模型保存并進行測試。對 AGRU模型的改進主要是基于 GSA算法優(yōu)化 AGRU模型的權(quán)重。

3 實驗與結(jié)果分析

3.1 實驗環(huán)境與模型構(gòu)建

實驗使用Python 3.7編程語言，系統(tǒng)環(huán)境為 Linux ，計算機為 Intel （ R） Core （TM） i5-7300 HQ @2.5 GHz，16 GB RAM ，Windows 1064位系統(tǒng)。GSA-AGRU構(gòu)建步驟如下。

（1） 查閱擠壓機生產(chǎn)的相關(guān)資料，獲得擠壓機工藝中影響能耗的6個主要參數(shù)：擠壓速度、擠壓壓力、擠壓溫度、盛錠筒溫度、坯料溫度、模具溫度。這些參數(shù)被用作神經(jīng)網(wǎng)絡的輸入，輸出為該參數(shù)下能耗的預測值，該值為使用的電量。

（2） GRU神經(jīng)網(wǎng)絡。GRU神經(jīng)網(wǎng)絡包含5層 GRU神經(jīng)網(wǎng)絡，第一層還用作模型的輸入層，并輸入通過預處理獲得的數(shù)據(jù)。經(jīng)過參數(shù)調(diào)整測試后，每層中隱藏神經(jīng)元的數(shù)量分別設置為48、64、64、32和16。該模型的激活函數(shù)使用 sigmoid和 tanh函數(shù)，學習率為0.0005。

（3） 模型訓練。建立網(wǎng)絡后，將選擇 GSA優(yōu)化算法作為網(wǎng)絡優(yōu)化算法。

（4） 使用 RMSE和 MAE 對模型的泛化能力和輸出誤差進行評估。 RMSE 的值越小模型的泛化能力越強，MAE 的值越小模型的預測準確性越高。

RMSE = yi - y

MAE =（yi - y*i）|

3.2 實驗數(shù)據(jù)

本文利用某鋁型材企業(yè)的歷史生產(chǎn)數(shù)據(jù)作為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。數(shù)據(jù)為2019年7月1日至2020年7月1日，其中每個月隨機抽取5天的數(shù)據(jù)作為測試集，其余部分用作訓練的訓練集。后臺系統(tǒng)把每組不同擠壓速度、擠壓壓力、擠壓溫度、盛錠筒溫度、坯料溫度、模具溫度的參數(shù)分別生成工藝編號。從后臺導出的加工能耗數(shù)據(jù)如表1所示。

3.3 結(jié)果分析

圖8所示為分別采用 GSA-AGRU 與 AGRU 、GRU、LSTM和BP 模型預測擠壓機生產(chǎn)能耗的數(shù)據(jù)曲線圖。由圖可知，GSA-AGRU與真實能耗曲線的擬合度要比其他模型的好，與相近的 AGRU模型相比依舊能表現(xiàn)更高的準確性。經(jīng)典 BP 、LSTM和 GRU網(wǎng)絡的擬合效果就沒有那么理想。綜上可知，使用 GSA-AGRU網(wǎng)絡模型可以降低能耗預測誤差得到更精準的擠壓機能耗預測值。

為了進一步驗證 GSA-AGRU模型的準確性和泛化能耗，計算了5種模型的 RMSE 和 MAE 值，如表2所示。由表可知， GSA-AGRU 模型預測的均方根誤差為7.8142，平均絕對誤差為 5.669 1，低于其他模型，說明該模型的泛化能力較強且準確性較高。其中數(shù)據(jù)表明 GSA-AGRU模型優(yōu)于AGRU模型，可見GSA對AGRU進行權(quán)重優(yōu)化是有效的。

深入評估 GSA-AGRU 的訓練和預測效率，將 GSA-AGRU模型與準確較高的模型LSTM、GRU、AGRU 的訓練時間和預測時間進行比較分析。如圖9所示，訓練模型的耗時由短到長分別為： GRU、 AGRU、 GSA-AGRU、LSTM，模型復雜度越大訓練時間越長。預測時間中耗時最短的是GSA-AGRU模型。所以在模型訓練時GSA-AGRU耗時較多，但是在預測時較為快速。

綜合實際生產(chǎn)考慮，GSA-AGRU模型十分符合擠壓機實際生產(chǎn)需求，該模型的高精度確保了擠壓機能耗預測值的準確性，為選擇合適的工藝參數(shù)提供了有效參考，其次，該模型預測效率較高，可以提高公司云平臺的響應速度，從而保證在高強度生產(chǎn)時系統(tǒng)的平穩(wěn)性。

4 結(jié)束語

針對擠壓機生產(chǎn)的能耗預測精度低、預測速度慢的問題，提出了一種基于GSA優(yōu)化的注意力機制GRU神經(jīng)網(wǎng)絡的能耗預測模型。為了驗證GSA-AGRU遞歸神經(jīng)網(wǎng)絡模型的性能，使用了與能耗相關(guān)的擠壓機歷史數(shù)據(jù)訓練和測試了GSA-GRU神經(jīng)網(wǎng)絡、GRU神經(jīng)網(wǎng)絡、LSTM神經(jīng)網(wǎng)絡和 BP 4 種模型。實驗表明，所提出的GSA-GRU神經(jīng)網(wǎng)絡，在模型準確性、泛化能力、預測速度方面優(yōu)于其他模型，且具有工程應用價值。

參考文獻：

[1] 張世忠，王祝堂.渤海灣鋁擠壓工業(yè)[J].輕合金加工技術(shù)，2019，47（8）：1-10.

[2] 張聰聰.鋁材連續(xù)擠壓擴展變形分析及模具設計[D].南寧：廣西大學，2012.

[3] 蔣攀.擠壓機液壓系統(tǒng)建模仿真與能耗分析研究[D]. 廣州：廣東工業(yè)大學， 2015.

[4] Zhou B， Ma X， Luo Y， et al. Wind power prediction based onLSTM networks and nonparametric kernel density estimation[J].IEEE Access， 2019.

[5] Cho K， Van Merrienboer B， Gulcehre C， et al. Learning PhraseRepresentations using RNN Encoder-Decoder for Statistical Machine Translation[J]. Computer Science， 2014.

[6] He Y， Wu P， Li Y， et al. A generic energy prediction model ofmachine tools using deep learning algorithms[J]. Applied Energy， 2020（275）：115402.

[7] Han L， Jing H， Zhang R， et al. Wind power forecast based on improved Long Short Term Memory Network[J]. Energy， 2019（189）：116300.

[8] 郭久俊.基于LSTM-Adaboost的多晶硅生產(chǎn)的能耗預測[J].計算機應用與軟件，2018，35（12）：71-75.

[9] 雷步芳.鋁及鋁合金擠壓工藝及設備[M].北京：國防工業(yè)出版社，2014.

[10] Choi D J， Han J H， Park S U ， et al. Comparative Study of CNNand RNN for Motor fault Diagnosis Using Deep Learning[C]//2020 IEEE 7th International Conference on Industrial Engineering and Applications （ICIEA）， 2020.

[11] Hochreiter S， Schmidhuber J. Long Short-Term Memory[J].Neural Computation， 1997， 9（8）：1735-1780.

[12] Li W， Qi F， Tang M， et al. Bidirectional LSTM with self-attention mechanism and multi-channel features for sentiment classification[J]. Neurocomputing， 2020（387）：63-77.

作者簡介：

陳銘?。?993-），男，廣西北海人，碩士研究生，研究領(lǐng)域為智能制造、綠色制造。

印四華（1983-），博士，研究領(lǐng)域為智能制造、綠色制造。

（編輯：王智圣）