侯 婕,田學(xué)法,孔淑麒

(1.海軍研究院,北京 100161；2.北方工業(yè)大學(xué) 信息學(xué)院,北京 100144)

鋁電解槽對(duì)于鋁冶煉工業(yè)來(lái)說(shuō)是其最為重要的主體設(shè)備。在我們國(guó)家的鋁工業(yè)發(fā)展初始階段,使用過(guò)電流為4～8 kA小型預(yù)焙陽(yáng)極電解槽[1]。對(duì)于現(xiàn)階段比較大型的電解槽它的電流很多已經(jīng)達(dá)到了300～500 kA,在大型預(yù)焙槽中電耗已經(jīng)減少到了13,500 kWh/t-Al。鋁電解槽的電流效率也有了很大的提高,提高到90%～95%。

鋁電解槽由槽體、陽(yáng)極以及陰極構(gòu)成,熔鹽電解槽在高溫、強(qiáng)腐蝕性的環(huán)境中工作,在炭素體陽(yáng)極發(fā)生氧化反應(yīng),陰極發(fā)生還原反應(yīng)產(chǎn)出鋁液。工作電壓、電解溫度、電解質(zhì)水平、鋁水平、分子比、爐底壓降等技術(shù)參數(shù)對(duì)電解槽高效、穩(wěn)定生產(chǎn)產(chǎn)生作用,它們之間既相互聯(lián)系又相互制約。獲取各項(xiàng)技術(shù)參數(shù)比直接探測(cè)槽狀態(tài)更容易,所以利用采集到的技術(shù)參數(shù)結(jié)合機(jī)器學(xué)習(xí)方法可以有效預(yù)測(cè)鋁電解槽的狀態(tài)。

本文選擇使用在時(shí)間序列預(yù)測(cè)任務(wù)中具有良好表現(xiàn)的LSTM網(wǎng)絡(luò)來(lái)對(duì)鋁電解槽況預(yù)測(cè),這能夠使工藝人員提前了解槽況的變化,能夠提前避免槽況變壞帶來(lái)的損失,所以本文研究?jī)?nèi)容在鋁電解工業(yè)上有很大潛在應(yīng)用價(jià)值。

1 研究現(xiàn)狀

鋁電解槽的生產(chǎn)數(shù)據(jù)是一種時(shí)間序列而且具有數(shù)據(jù)維度高的特點(diǎn)?，F(xiàn)有針對(duì)時(shí)間序列數(shù)據(jù)的預(yù)測(cè)算法有多種模型,比如人工神經(jīng)網(wǎng)絡(luò)、自回歸移動(dòng)平均、小波神經(jīng)網(wǎng)絡(luò)等[2-3]。時(shí)間序列預(yù)測(cè)的研究始于一個(gè)回歸方程[4],它在數(shù)據(jù)分析中預(yù)測(cè)了一年中太陽(yáng)黑子的數(shù)量。自回歸移動(dòng)平均模型(ARMA)和自回歸綜合移動(dòng)平均模型(ARIMA)[5]表明,基于回歸方法的時(shí)間序列預(yù)測(cè)模型正變得越來(lái)越流行。因此,這些模型也成為時(shí)間序列預(yù)測(cè)中最簡(jiǎn)單,也是最重要的模型。但由于實(shí)際數(shù)據(jù)的復(fù)雜性、不規(guī)則性、隨機(jī)性和非線性,很難通過(guò)復(fù)雜模型實(shí)現(xiàn)高精度預(yù)測(cè)。采用機(jī)器學(xué)習(xí)方法,可以建立基于大量歷史數(shù)據(jù)的非線性預(yù)測(cè)模型。事實(shí)上,通過(guò)反復(fù)的訓(xùn)練迭代和學(xué)習(xí)近似,機(jī)器學(xué)習(xí)模型可以比傳統(tǒng)的基于統(tǒng)計(jì)的模型獲得更準(zhǔn)確的預(yù)測(cè)。典型的方法有支持向量回歸[6]或基于核的分類(lèi),人工神經(jīng)多階(ANN)[7]與強(qiáng)非線性函數(shù)逼近和基于樹(shù)的集成學(xué)習(xí)方法,如梯度增強(qiáng)回歸或決策樹(shù)(GBRT, GBDT)[8-9]。但是,由于上述方法缺乏對(duì)輸入變量之間序列依賴(lài)關(guān)系的有效處理,因此在時(shí)間序列預(yù)測(cè)任務(wù)[10]中效果有限。

伴隨不斷地深入研究深度學(xué)習(xí)算法,發(fā)現(xiàn)深度學(xué)習(xí)算法可以適用于預(yù)測(cè)時(shí)間序列數(shù)據(jù)的問(wèn)題,該算法先逐步分析輸入的數(shù)據(jù)信息,然后對(duì)有效特征進(jìn)行提取,將隱含關(guān)系從數(shù)據(jù)序列中提取出來(lái)。為了讓RNN網(wǎng)絡(luò)能夠更有效的處理時(shí)間序列數(shù)據(jù),在RNN的神經(jīng)網(wǎng)絡(luò)架構(gòu)中引入時(shí)間序列概念。RNN的一種改進(jìn)算法是長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò),改進(jìn)了在RNN網(wǎng)絡(luò)結(jié)構(gòu)中存在的梯度爆炸、梯度消失、長(zhǎng)時(shí)間序列數(shù)據(jù)的記憶等問(wèn)題,對(duì)于長(zhǎng)時(shí)間的序列信息能夠有效地處理[11]。LSTM模型應(yīng)用在了很多領(lǐng)域例如語(yǔ)音識(shí)別、股票價(jià)格預(yù)測(cè)、降雨量預(yù)測(cè)、交通流預(yù)測(cè)、圖像文字識(shí)別等,并且都取得了不錯(cuò)的應(yīng)用效果[12]。

就目前而言,雖然在鋁電解生產(chǎn)的研究與應(yīng)用中,數(shù)據(jù)挖掘等技術(shù)得到了廣泛的應(yīng)用,用于鋁電解槽的槽狀態(tài)判斷,但是對(duì)于鋁電解槽的槽狀態(tài)預(yù)測(cè)方面一直欠缺研究,本文在對(duì)鋁電解槽進(jìn)行聚類(lèi)分析后,將時(shí)間序列的預(yù)測(cè)研究應(yīng)用到鋁電解槽的槽狀態(tài)預(yù)測(cè)中。

2 LSTM算法

長(zhǎng)短時(shí)記憶(long short term memory,LSTM)網(wǎng)絡(luò)是一種結(jié)合梯度學(xué)習(xí)算法的網(wǎng)絡(luò)結(jié)構(gòu),是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的改進(jìn)模型。LSTM所具有的兩個(gè)特殊的結(jié)構(gòu)記憶門(mén)和遺忘門(mén)使得該網(wǎng)絡(luò)能夠充分的利用數(shù)據(jù)中帶有的時(shí)間屬性。傳統(tǒng)的RNN網(wǎng)絡(luò)在訓(xùn)練網(wǎng)絡(luò)時(shí)會(huì)存在梯度消失的問(wèn)題,梯度消失也叫做長(zhǎng)期依賴(lài)問(wèn)題,LSTM依靠改進(jìn)RNN加入的記憶單元,能夠有效規(guī)避梯度消失的問(wèn)題,并在眾多領(lǐng)域取得了巨大的成功[13]。LSTM結(jié)構(gòu)圖如圖1所示。LSTM神經(jīng)元通過(guò)“門(mén)”結(jié)構(gòu)有選擇性地傳遞消息,從而達(dá)到控制信息的目的。與RNN相比兩者的共同點(diǎn)是LSTM在訓(xùn)練網(wǎng)絡(luò)時(shí)利用反向傳播算法。當(dāng)網(wǎng)絡(luò)反向傳播對(duì)參數(shù)進(jìn)行更新時(shí),LSTM誤差項(xiàng)的反向傳播包括兩個(gè)方向:一個(gè)是沿著時(shí)間方向反向傳播,即從當(dāng)前時(shí)刻開(kāi)始,計(jì)算每個(gè)時(shí)刻的誤差項(xiàng);另一個(gè)是將誤差項(xiàng)向上一層傳播,根據(jù)相應(yīng)的誤差項(xiàng),計(jì)算每個(gè)權(quán)重的梯度。LSTM的改進(jìn)結(jié)構(gòu)增加了三個(gè)‘門(mén)’結(jié)構(gòu),分別是‘輸入門(mén)’‘輸出門(mén)’、‘遺忘門(mén)’[14]。輸入門(mén)是用來(lái)處理當(dāng)前時(shí)刻的輸入值和上一時(shí)刻的輸出值當(dāng)做總的輸入信息。輸出門(mén)是用來(lái)決定下一個(gè)時(shí)刻所要傳遞的信息。遺忘門(mén)則是用來(lái)判斷前面的記憶信息要丟棄的信息,通過(guò)sigmoid函數(shù)把數(shù)值壓縮在[0,1]之間,取值越接近1,表示當(dāng)前細(xì)胞狀態(tài)中要保留的信息越多,相反的,當(dāng)取值越接近0時(shí),則表示選擇遺忘的信息越多。

圖1 LSTM結(jié)構(gòu)圖

其中各個(gè)門(mén)控單元的計(jì)算過(guò)程如下所示:

ft=sigmoid(Wf·[ht-1,xt]+bf)

(1)

it=sigmoid(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=sigmoid(Wo[ht-1,xt]+bo)

(5)

ht=ot×tanh(Ct)

(6)

算法流程如表1所示:

表1 算法流程表

3 鋁電解槽槽況預(yù)測(cè)分析

3.1 數(shù)據(jù)采集

本數(shù)據(jù)來(lái)源于某鋁廠300 kA系列采集到的真實(shí)鋁電解槽生產(chǎn)數(shù)據(jù),其中每個(gè)電解槽每天包含F(xiàn)e含量、鋁水平、分子比、Si含量、氧化鋁濃度、電解質(zhì)水平、電解溫度等13個(gè)特征數(shù)據(jù),采集周期為一天。通過(guò)對(duì)上述數(shù)據(jù)的觀察,結(jié)合鋁電解生產(chǎn)的工業(yè)特點(diǎn),可以總結(jié)出電解鋁生產(chǎn)過(guò)程中的實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn):

(1)數(shù)據(jù)的維度非常高:采集到的鋁電解槽的生產(chǎn)數(shù)據(jù)中每天都存在多個(gè)互相關(guān)聯(lián)的生產(chǎn)數(shù)據(jù),所以數(shù)據(jù)的維度非常高;

(2)數(shù)據(jù)中的一些特征有空缺值:空缺值存在的原因是在采樣過(guò)程中,會(huì)因?yàn)榄h(huán)境、人為失誤、設(shè)備故障等造成一定的數(shù)據(jù)缺失;

(3)數(shù)據(jù)中存在噪聲數(shù)據(jù):在采集數(shù)據(jù)過(guò)程中因?yàn)榄h(huán)境和人為因素等會(huì)造成采集的數(shù)據(jù)存在噪聲;

(4)時(shí)間序列數(shù)據(jù):采集到的生產(chǎn)數(shù)據(jù)都是以時(shí)間為索引,例如:采集到的鋁電解槽的日?qǐng)?bào)數(shù)據(jù)。隨著時(shí)間的改變,各個(gè)生產(chǎn)數(shù)據(jù)會(huì)出現(xiàn)波動(dòng)變化。

3.2 數(shù)據(jù)預(yù)處理

(1)空缺值處理:

首先對(duì)于前期采集的數(shù)據(jù)中缺失值過(guò)多的特征刪除,按照缺失值超過(guò)數(shù)據(jù)總量一半的標(biāo)準(zhǔn)去除特征。如圖2所示,數(shù)值1表示數(shù)據(jù)全部缺失,數(shù)值0表示數(shù)據(jù)不缺失,介于0～1之間的部分缺失,其中氧化鋁濃度、效應(yīng)系數(shù)、出鋁量數(shù)據(jù)全部缺失所以去除,其余特征均可保留。

圖2 數(shù)據(jù)缺失情況

在將缺失率過(guò)多的特征去除后,剩余特征的缺失值采取了線性插值的方法補(bǔ)全。線性插值是一種對(duì)于一維時(shí)間序列數(shù)據(jù)補(bǔ)全的方法,利用缺失值前后的數(shù)據(jù)變化情況,根據(jù)到相鄰數(shù)據(jù)點(diǎn)的距離分配比重補(bǔ)全缺失值。通過(guò)這種方法,對(duì)每一維的數(shù)據(jù)進(jìn)行了補(bǔ)全。y值可通過(guò)式(7)求得:

(7)

(2)數(shù)據(jù)歸一化

因?yàn)椴杉降臄?shù)據(jù)維度較大,各維度量級(jí)都不相同且差異較大,這對(duì)于后續(xù)的數(shù)據(jù)分析非常不利,所以采用了min-max方法對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化,將數(shù)據(jù)歸一化到[0,1]區(qū)間。轉(zhuǎn)換函數(shù)如式(8)所示:

(8)

式中:max——樣本數(shù)據(jù)的最大值;

min——樣本數(shù)據(jù)的最小值。

(3)標(biāo)記槽況

因?yàn)椴杉降臄?shù)據(jù)并沒(méi)有槽況標(biāo)記,所以要在預(yù)測(cè)槽況之前,對(duì)采集的數(shù)據(jù)進(jìn)行槽況分類(lèi),選擇了用具有軟聚類(lèi)屬性的高斯混合模型聚類(lèi),聚類(lèi)得出兩個(gè)類(lèi)別:(0,1),劃分出不同的槽況,并且標(biāo)記槽況,用于槽況預(yù)測(cè)。標(biāo)記過(guò)槽況的數(shù)據(jù)格式如表2所示:

表2 數(shù)據(jù)格式表

3.3 槽況預(yù)測(cè)分析實(shí)驗(yàn)及結(jié)果

本實(shí)驗(yàn)使用Python語(yǔ)言編寫(xiě)所有程序,并在CPU2.50GHz,內(nèi)存8GB,Windows7操作系統(tǒng)的計(jì)算機(jī)上進(jìn)行了槽況預(yù)測(cè)實(shí)驗(yàn)。數(shù)據(jù)采用某鋁廠276臺(tái)電解槽五個(gè)月的全部歷史數(shù)據(jù),并且將原始數(shù)據(jù)進(jìn)行了空缺值處理、歸一化處理以及標(biāo)記槽況等同時(shí)剔除了有問(wèn)題的數(shù)據(jù)。

鑒于采集到的鋁電解槽數(shù)據(jù)是真實(shí)鋁電解廠數(shù)據(jù),所以電解槽大部分都處于一個(gè)良好的工作狀態(tài),在聚類(lèi)階段僅能將槽況分為兩類(lèi)。實(shí)驗(yàn)用到的數(shù)據(jù)共十個(gè)屬性,將每天的十一個(gè)特征屬性數(shù)據(jù)值(通過(guò)聚類(lèi)得到的類(lèi)別也作為一個(gè)特征屬性)作為樣本數(shù)據(jù),輸入的樣本數(shù)據(jù)形式記為:Xt=〔Xt(1),Xt(2),Xt(3),…,Xt(10),yt〕,t表示時(shí)間,y表示聚類(lèi)類(lèi)別,X表示采集到的10個(gè)屬性。按照時(shí)間序列展開(kāi)數(shù)據(jù)格式如式(9)所示:

(9)

在預(yù)測(cè)槽況時(shí),采用LSTM算法,該算法的步驟為:

(1)計(jì)算LSTM在神經(jīng)網(wǎng)絡(luò)前向傳播時(shí)的輸入、輸出以及各個(gè)隱藏層的各個(gè)神經(jīng)元的輸出值;

(2)通過(guò)交叉熵函數(shù)計(jì)算輸出誤差,誤差通過(guò)反向傳播算法反向傳播到各層神經(jīng)元;

(3)根據(jù)梯度下降算法和傳播的誤差,更新各層的神經(jīng)元參數(shù);

(4)根據(jù)設(shè)置的迭代次數(shù),重復(fù)(2)、(3)、(4),直到收斂,此時(shí)模型訓(xùn)練完成。

圖3 LSTM算法流程圖

利用LSTM算法,設(shè)定滑動(dòng)窗口m,根據(jù)滑動(dòng)窗口構(gòu)建訓(xùn)練集和測(cè)試集,訓(xùn)練模型,選擇交叉熵作為損失函數(shù),用來(lái)反映預(yù)測(cè)數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的偏差,最后用訓(xùn)練好的模型對(duì)鋁電解槽狀態(tài)進(jìn)行預(yù)測(cè)。利用LSTM算法對(duì)鋁電解槽況進(jìn)行預(yù)測(cè)的流程如下:

(1)對(duì)數(shù)據(jù)進(jìn)行歸一化處理;

(2)根據(jù)設(shè)定的滑動(dòng)窗口大小m,構(gòu)建訓(xùn)練集和測(cè)試集;

(3)構(gòu)建改進(jìn)的LSTM模型,對(duì)模型的參數(shù)進(jìn)行初始化設(shè)置;

(4)用訓(xùn)練集對(duì)預(yù)測(cè)模型訓(xùn)練,采用梯度下降的方法更新參數(shù),迭代數(shù)次后直到達(dá)到精度要求;

(5)將測(cè)試集喂給訓(xùn)練好的模型中,利用歷史數(shù)據(jù)預(yù)測(cè)t+1時(shí)刻的預(yù)測(cè)值。

本實(shí)驗(yàn)按照8∶2的比例劃分了訓(xùn)練集和測(cè)試集,訓(xùn)練集用于訓(xùn)練構(gòu)建的LSTM模型,測(cè)試集用于驗(yàn)證訓(xùn)練出來(lái)的模型的算法準(zhǔn)確性。對(duì)于滑動(dòng)窗口和神經(jīng)元個(gè)數(shù)的設(shè)定,通過(guò)實(shí)驗(yàn)找到了最佳的選擇,如圖4所示,橫坐標(biāo)為不同的神經(jīng)元個(gè)數(shù),分別為80、90、100、110、120,縱坐標(biāo)為損失函數(shù)值,四個(gè)不同花紋的柱狀體表示四個(gè)不同的滑動(dòng)窗口大小,分別為30、40、50、60。從圖中可以看到在滑動(dòng)窗口大小為50以及隱含層神經(jīng)元個(gè)數(shù)為100時(shí),交叉熵值最小。所以選擇50和100作為滑動(dòng)窗口大小和神經(jīng)元個(gè)數(shù)。

構(gòu)建基于LSTM的鋁電解槽況預(yù)測(cè)模型,使用此前構(gòu)建的訓(xùn)練數(shù)據(jù)集對(duì)模型進(jìn)行迭代訓(xùn)練,得到網(wǎng)絡(luò)參數(shù)和最小的損失函數(shù),然后將測(cè)試數(shù)據(jù)集放入模型中驗(yàn)證模型效果,查看準(zhǔn)確率。在訓(xùn)練好的模型中,準(zhǔn)確率達(dá)到了91.6%?？梢钥闯隼迷撃Ｐ皖A(yù)測(cè)槽況時(shí),能夠較為準(zhǔn)確的預(yù)測(cè)出槽況的變化情況。

圖4 模型參數(shù)對(duì)比實(shí)驗(yàn)圖

將該算法應(yīng)用到鋁電解槽況分析系統(tǒng)中,從而實(shí)現(xiàn)鋁電解槽況的預(yù)測(cè),利用訓(xùn)練好的模型,將結(jié)果展示在頁(yè)面中,方便專(zhuān)業(yè)人員查看槽況的變化情況。如圖5所示,可以看到在中間有槽況的突變;如圖6所示,鋁電解槽況突變時(shí),LSTM算法分析預(yù)測(cè)出的槽況與真實(shí)槽況的對(duì)比。這在實(shí)際的生產(chǎn)過(guò)程中,專(zhuān)業(yè)人員就可根據(jù)預(yù)測(cè)的槽況變化,調(diào)整工藝參數(shù)的添加,使槽況變好,從而減少企業(yè)損失。

圖5 系統(tǒng)預(yù)測(cè)結(jié)果圖

圖6 預(yù)測(cè)結(jié)果與真實(shí)槽況對(duì)比圖

4 結(jié) 論

本文首先介紹了關(guān)于鋁電解的相關(guān)研究,包括研究鋁電解槽的相關(guān)信息以及現(xiàn)階段對(duì)于鋁電解槽況預(yù)測(cè)方面的研究情況,然后介紹了LSTM算法的相關(guān)知識(shí)。其次是數(shù)據(jù)的采集工作,本文描述了數(shù)據(jù)所具有的特點(diǎn),并且對(duì)數(shù)據(jù)空缺值進(jìn)行了剔除和線性插值兩種操作,因?yàn)閿?shù)據(jù)量綱不一致問(wèn)題,對(duì)數(shù)據(jù)歸一化處理,然后利用高斯混合模型對(duì)槽況標(biāo)記。最后是利用準(zhǔn)備好的數(shù)據(jù)對(duì)槽況變化利用LSTM模型進(jìn)行預(yù)測(cè)。模型根據(jù)設(shè)定的滑動(dòng)窗口大小將訓(xùn)練集輸入模型訓(xùn)練,訓(xùn)練完成后利用測(cè)試集驗(yàn)證模型的準(zhǔn)確率,準(zhǔn)確率達(dá)到了91.6%,能夠較為準(zhǔn)確的預(yù)測(cè)出槽況的變化。并將該模型應(yīng)用到鋁電解槽況分析系統(tǒng)中,方便專(zhuān)業(yè)人員查看槽況變化,及時(shí)作出調(diào)整,減少企業(yè)損失,對(duì)于鋁電解工業(yè)上有一定的參考價(jià)值。