趙子凌,李晉宏

(北方工業(yè)大學 信息學院,北京100144)

在鋁電解生產過程中,鋁電解的酸度是一項很重要的技術指標,因此如何測定和控制酸度是鋁電解過程中的重要環(huán)節(jié)之一[1]。然而現(xiàn)代鋁電解工藝普遍采用酸性電解質,此種電解質中含有游離的氟化鋁以及各種添加劑[2](如氟化鎂,氟化鈣,氟化鋰等);這些物質的存在導致電解質物相比復雜,且相互存在非線性關系,相互影響,使得分子比難以直接測量。另外,分子比是代表鋁電解質成分的一個重要技術參數,對電解系統(tǒng)噸鋁直流電耗和電流效率影響較大。故調整合理的電解質成分尤其是控制好分子比,對鋁電解工業(yè)節(jié)能減排、提質增效是非常重要的[3]。

現(xiàn)代鋁電解工藝中,普遍采用的是冰晶石-氧化鋁熔巖電解法,該方法的基本原理:在鋁電解槽中使用氧化鋁作為主要材料,以冰晶石和氟化鹽為熔劑,構成冰晶石-氧化鋁均勻熔融體,將直流電通入電解槽,陰極上產生液態(tài)鋁,陽極上產生的二氧化碳和一氧化碳等氣態(tài)物質,與此同時在鋁電解的整個過程中要保持能量與物料的動態(tài)平衡。液態(tài)電解質成分是保證電解過程能夠正常進行的關鍵因素,而冰晶石就是液態(tài)電解質的主要成分。從分子結構上講,它是由 3 mol 氟化鈉與 1 mol 氟化鋁結合而成,在常溫下呈現(xiàn)白色固體。冰晶石中所含氟化鈉摩爾數與氟化鋁摩爾數之比就是所說的分子比。傳統(tǒng)分子比測定方法[2]有晶型法、化學成分法、電導法以及X射線衍射法。但是這些方法不僅操作復雜,所用儀器設備在電解槽內高溫下容易損壞,而且無法及時直接測定出分子比,也就不能真正的實時指導生產。

本文采用人工蜂群算法(Artificial Bee Colony Algorithm)優(yōu)化的最小二乘支持向量機(Least Squares Support Vector Machine,LSSVM)、自回歸循環(huán)神經網絡(Autoregressive Recurrent Networks,DeepAR)以及高斯過程回歸(Gaussian Process Regression,GPR)進行不同時間窗口的分子比預測,最終通過線性回歸模型將多個分子比預測值加權得到最終預測結果。同時應用傳統(tǒng)支持向量機回歸,傳統(tǒng)最小二乘支持向量機回歸等模型在相同數據集上開展平行實驗,驗證集成算法在鋁電解分子比預測上的性能。

1 研究綜述

工藝生產中,基于監(jiān)控與數據采集系統(tǒng)獲取大量數據中包含豐富的工藝過程歷史信息,這些信息能夠反映工業(yè)過程具體運行情況和出現(xiàn)的問題,反映某個或某些指標伴隨著時間動態(tài)變化趨勢。工業(yè)領域由于涉及多種體系結構及過程,產生的數據種類存在形式多樣。其中,時間序列[4]就是工業(yè)過程中產生的一系列保存時序關系的結構化數據,它客觀記錄所監(jiān)測系統(tǒng)在各個時刻點的重要信息。時間序列預測就是基于工藝過程中產生的時間序列數據對過程中某些關鍵變量進行預測,通過易測過程量推斷難測過程量,從而了解過程趨勢,正確評估系統(tǒng)當前狀態(tài),實現(xiàn)過程指標檢測等,改善過程質量,提高管理效率和管理水平,使得整個過程的經濟效益最大化,提升生產過程的整體可觀可控性,為后續(xù)操作提供指導信息。

目前,參數時間序列預測[5]是鋁電解工業(yè)中主要研究方向之一。利用時間序列模型可以對歷史時序數據中的統(tǒng)一規(guī)律進行分析,并進一步預測趨勢。及時高效地預測可以為后續(xù)的專家決策提供支持。

近年來鋁電解生產實踐研究表明,降低分子比是提高電流效率的有效途徑之一。然而,當前有關電解過程中分子比測定主要采用人工取樣分析,例如肉眼觀察法、指示劑檢查法、晶形光學法、熱滴定法、硝酸釷滴定法等。上述方法各有各自的優(yōu)點,但在滿足現(xiàn)代化工業(yè)生產批量快速檢測要求方面有待提高[7]。針對這一難題,人們通過機器學習等方式開始對分子比進行研究與預測。其中,2005年任鳳蓮提出BP神經網絡在分子比預報中的應用[6]:因為BP神經網絡網絡模型可以對多個變量的系統(tǒng)進行分析,不需要建立確定的數學模型且其擬合度與預報精度都滿足實際應用需求;2010年高鋼,曾水平等人提出了基于神經網絡的鋁電解溫度與分子比的預測研究[8]:該文獻中使用徑向基函數神經網絡進行預測并通過聚類法優(yōu)化神經網絡,但是隨著槽齡和環(huán)境等因素的變化還缺乏在線學習模型來更新網絡參數進而提高模型適應能力;2018年曾水平、王嘉利提出基于隨機森林與神經網絡的鋁電解分子比預測[9]。

上述預測方法多數通過已知與分子比相關的影響因素進行單一時間尺度的時間序列預測,但實際生產中,時間序列預測無法收集到所有影響因子的數據,有時甚至沒有任何歷史數據進行支持。本文通過不同的時間尺度進行預測可以大幅度降低預測過程中因為數據缺失所造成的誤差;將人工蜂群算法進行改進,提高模型收斂速度并且使得模型可以進行參數動態(tài)學習,進而提高其泛化能力;使用自回歸循環(huán)神經網絡進行概率分布預測,解決無法考慮到未來不確定因素等問題。

2 基于多時間窗口的鋁電解分子比預測

基于多時間窗口的鋁電解分子比時間序列預測模型的構建及性能評估的技術路線如圖1所示,包括數據預處理,模型訓練,模型預測及性能評估三個組成部分。

預測模型所用架構如圖1所示。其基本思路如下:

圖1 基于多時間窗口的鋁電解分子比預測架構圖

將電解槽中產生的數據進行預處理:包括空缺值處理、異常值處理以及歸一化操作;根據不同的時間窗口選擇不同的預測模型進行分子比預測;對于最小二乘支持向量機模型使用改進的人工蜂群算法進行超參數的優(yōu)化,實現(xiàn)超參數的動態(tài)學習,進而提高模型泛化能力;將上述三個時間窗口預測得到的分子比放入線性回歸模型中,獲得最終分子比預測值。

2.1 數據預處理

2.1.1 空缺值處理

對于數據缺失值超過半數的特征進行舍棄,其余特征缺失值采用線性插值法進行填充。線性插值法是一種時間序列數據補全方法,根據缺失數據前后的變化趨勢情況,通過到相鄰數據點的距離分配比重進行缺失值的補全。如公式(1)可得:

(1)

2.1.2 異常值處理

如圖2、3所示,通過可視化分析,將小于Q1-1.5IQR或大于Q3+1.5IQR的值判定為異常值點,并將其修改為前后兩日數據的均值。

圖2 某鋁廠A電解槽中平均電壓原始數據

圖3 A電解槽中平均電壓異常處理后數據

2.1.3 數據歸一化

由于電解槽中各特征量級不同且差異巨大,這對后續(xù)的預測過程影響較大,故采用min-max方法對數據進行歸一化操作,將數據歸一化至[0,1]之間,轉換函數如公式(2)所示:

(2)

式中:max——樣本數據中的最大值;

min——樣本數據中的最小值。

2.1.4 特征提取

電解槽中影響分子比的參數分為四類:控制參數、化驗參數、決策參數及測量參數。其中控制參數包括工作電壓、設定電壓、平均電壓等;化驗參數指鐵含量、硅含量、鎂含量、鈣含量等;決策參數是出鋁量、氟化鹽添加量等;測量參數有鋁水平、電解質水平、電解溫度等。由于電解槽中各特征參數均滿足時間序列要求,故各特征參數在成為預測模型輸入之前需要進行時間序列的平穩(wěn)性檢驗。

2.1.4.1 平穩(wěn)性檢驗

平穩(wěn)時序數據的統(tǒng)計規(guī)律隨時間變化較小,通?？梢杂糜跁r間序列預測。因此需要對數據集進行平穩(wěn)性檢驗。本文采用單位根(ADF)檢驗得到數據平穩(wěn)性評價結果,如表1所示:T假設檢驗值為-4.4,p-value表示t統(tǒng)計量對應概率值0.0003,1%、5%、10%信息準確值均大于檢驗值,證明不同程度拒絕原假設的統(tǒng)計值。同時p值小于給定的顯著水平0.05,證明ADF檢驗的原假設是存在單位根。故極顯著的拒絕原假設,認為該時間序列特征的數據平穩(wěn)。若數據不平穩(wěn)可以進一步通過差分法將時間序列數據轉換為平穩(wěn)的序列。如圖4、5所示,是某參數原始時間序列圖和對原始時序圖進行一階,二階差分后效果圖。

圖4 某特征原始時間序列圖

圖5 某特征時間序列差分圖

表1 某特征ADF檢驗相關信息

2.1.4.2 特征選擇

實際工業(yè)生產中,影響分子比的參數很多且相互之間有著復雜的非線性關系,為了提高模型的預測精度,如圖6所示,通過隨機森林的方法進行特征的篩選,選擇相關度最高的k個特征轉化為適用于LSSVM的數據形式作為預測模型的輸入,其中k由使用者自定義。

圖6 特征選擇效果圖

2.2 模型訓練

2.2.1 基于IABC-LSSVM預測模型

基于改進人工蜂群的最小二乘支持向量機預測模型(IABC-LSSVM)以時間窗口為1天進行構建,具體技術路線:將選中的特征數據放入已經人為設定好的初始化LSSVM模型中,進行后一天分子比的預測;得到預測值后,將預測值與實際值的均方根誤差函數作為改進人工蜂群算法中的目標函數;將目標函數放入IABC中進行最小化,同時找到對應的當前最優(yōu)超參數組合。用此最優(yōu)超參數替換原有超參數繼續(xù)預測后續(xù)分子比,以達到預測模型動態(tài)學習[10]的效果,進而提高模型的泛化能力。

2.2.1.1 最小二乘支持向量機(LSSVM)模型

LSSVM[11]將SVM中的不等式約束轉化為等式約束,在采用誤差平方和損失函數代替SVM的二次規(guī)劃方法的基礎上,將二次規(guī)劃問題轉化為線性矩陣求解問題。具體原理如下:

給定一組數據集(xi,yi)i=1,2,……,N,xi為第i個樣本的輸入向量,yi為對應輸出,N為數據集所包含的樣本數,通過非線性映射φ(x)將樣本映射到高維空間,如公式(3)所示:

y(x)=ω·φ(x)+b

(3)

式中:ω——權值向量;

b——偏置向量。

按照結構最小化原理,LSSVM模型可表示為:

(4)

式中:γ——大于0的懲罰系數;

ξi——誤差。

在求解該最小化問題時,加入一個拉格朗日因子φi,構成拉格朗日函數,并利用KKT條件,將LSSVM回歸問題轉化為:

(5)

其中:K(x,xi)=φ(xi)T·φ(xi)為滿足Mercer條件的核函數。

與此同時LSSVM的泛化性能不僅與訓練樣本和測試樣本有關,還取決于模型超參數的選擇。

2.2.1.2 超參數優(yōu)化

研究表明,超參數是影響LSSVM預測性能的主要原因[12]。其中核寬度主要影響樣本數據在高維特征空間中分布的復雜程度,而正則化參數的作用是在確定特征空間中調節(jié)最小二乘支持向量機的置信范圍以及結構風險比例。正則化參數C表示對誤差懲罰度大小:隨著C增大,誤差的懲罰能力將逐步提升,預測誤差與訓練誤差都將大幅降低,但訓練時間會變長。核寬度則反映支持向量間的相關程度:核寬度過小,向量間影響小易導致泛化能力差;而核寬度過大易造成模型欠擬合,導致預測精度低。而SVM與神經網絡不同,其訓練過程相對容易,且沒有局部最優(yōu),可以較好地使用高維數據,但其弱點是需要一個好的核函數[12]。因此使用人工蜂群算法優(yōu)化正則化參數C與核寬度參數σ2兩個超參數,將二者作為一個輸入組合,以每一時間序列時刻的均方根誤差作為適應度函數,通過反復迭代尋優(yōu),找到使得適應度函數最小的取值組合。

為了提高算法的收斂速度,改善傳統(tǒng)人工蜂群[13]陷入局部最優(yōu)解的問題,引入類似禁忌搜索算法思想,使用改進的人工蜂群算法(IABC,Improved-ABC),如圖7所示:創(chuàng)建一個記憶表。使得ABC算法在每一次迭代過程中得到的局部最優(yōu)解存放入列表中,當經歷過limit次循環(huán)后某一個當前最優(yōu)解依然沒有發(fā)生變化,需要隨機產生新解時,遍歷記憶表中所有保存的記錄,確保隨機產生的新解從未出現(xiàn)過。本文構建的IABC-LSSVM(Improved-ABC-LSSVM)主要由最小二乘支持向量機與人工蜂群優(yōu)化算法兩部分組成。將預測數據集輸入到LSSVM模型中,得到第一天分子比預測值,將預測值與實際值的均方根函數作為目標函數值放入人工蜂群算法中進行最小化計算,得到當前狀態(tài)下最優(yōu)的LSSVM超參數組合,將尋得超參數值替換LSSVM中原始值,繼續(xù)進行下一天的分子比預測,如此反復直至完成整個時間范圍內的預測過程。整個算法流程如圖8所示。

圖7 IABC算法流程圖

圖8 IABC-LSSVM算法流程圖

2.2.2 基于DeepAR的預測模型

自回歸循環(huán)神經網絡(DeepAR)是Amazon于2017年提出的基于深度學習的時間序列預測算法,通過循環(huán)神經網絡(RNN)結合自回歸來預測一維時間序列。大部分實際應用生產中,會有跨一組具有代表性單元的多個相似時間序列。DeepAR會根據多個相似時間序列利用深度循環(huán)神經網絡學習不同時間序列內部的關聯(lián)特性,使用多元或多重目標個數來提升整體預測準確度。算法最終產生一個可選時間跨度的多步預測結果,其中單時間節(jié)點預測為概率預測,默認輸出P50,P90兩個值。

數據往往是時間序列預測工作負載最大的問題。例如無法收集預測信息的全部影響因素數據;又可能影響因素在未來具有不確定性;或只有少量甚至沒有歷史數據。而相比較基于LSSVM等傳統(tǒng)算法的時間序列預測性能,DeepAR的預測有著獨特的優(yōu)勢:它能夠在一定程度上減輕對數據的依賴性。作為一種監(jiān)督學習算法,該算法直接在模型內部進行缺失值填充,為數據處理過程節(jié)省大量時間。與此同時,利用DeepAR可以將多個時間序列相互關聯(lián),以便處理統(tǒng)計學中難以解決的非線性問題和規(guī)模問題。

算法模型訓練(左側)與預測(右側)詳細過程如圖9所示。

圖9 DeepAR模型預測原理

(6)

(7)

(8)

(9)

2.2.3 基于GPR的預測模型

上文中使用神經網絡進行分子比預測,當單層神經網絡節(jié)點數趨近于無窮時即在理論上趨近為高斯過程。同時GP模型是一種隨機變量的集合,集合中任意數量的隨機變量組合服從聯(lián)合高斯分布,并且由均值函數和協(xié)方差函數唯一確定。其中協(xié)方差函數直接決定模型精度[15]。這就展示了深度學習中神經網絡與高斯過程的密切聯(lián)系,但不同的是高斯過程可以有原則地量化自回歸循環(huán)神經網絡中的不確定性。因為高斯回歸在預測過程可進行概率推理的過程。

高斯過程回歸[15]是從無數函數中找到任何符合測試數據的函數集,然后通過對先驗信息的了解,不斷縮小函數集尋找范圍,最終通過貝葉斯法則的方法與高斯分布的性質相結合,計算得到函數集分布模型,根據建立好的模型對后續(xù)進行預測。它是一種基于統(tǒng)計學習理論與貝葉斯理論相結合的非參數模型,且完全由輸入特征的均值函數m以及協(xié)方差函數k定義。在本文實驗中,假設輸入特征向量與分子比間關系f為高斯過程,即f～GP(m,k);輸入向量xi服從高斯分布,則f(x)服從多元高斯分布f(x)～N(m(x),K)對訓練集構建回歸模型(公式10)。

y=f(x)+ε

(10)

(11)

式中:m(x)——多元高斯分布均值向量;

K——多元高斯分布協(xié)方差矩陣(公式11)。

(12)

式中:K*=〔k(x*,x1),…k(x*,xn)〕,K**=k(x*,x*)。

根據多元高斯分布條件概率,計算得到f*的后驗分布(公式13)

f*|X,y,X*～N(m(f*),cov(f*))

(13)

式中:X——訓練集輸入特征向量的列向量矩陣;

X*——預測集輸入特征向量的列向量矩陣。

m(f*),cov(f*)分別計算得到的均值矩陣和協(xié)方差矩陣。

核函數作為整個高斯過程回歸算法的核心,本文實驗數據中特征向量與分子比間多為非線性關系,故選用徑向基核函數。(公式14)

(14)

2.2.4 線性回歸預測模型

根據上述三個不同時間窗口預測結果,把最終分子比預測值定義為因變量Y,與其相關性顯著的因素定義為自變量,3個因素分別定義為X1(時間窗口為一天的分子比預測值)、X2(時間窗口為3天的分子比預測值)、X3(時間窗口為7天的分子比預測值)。令線性方程如公式15所示:

Y=α0+α1X1+α2X2+α3X3

(15)

式中:α0——常量;

α1、α2、α3——三個自變量相應系數,稱為偏回歸系數。

通過多元線性回歸模型得到三個自變量對應權重值以及α0常量取值即可通過加權計算得到最終分子比預測值。

2.3 模型預測及性能評估

將預測數據集分別輸入到IABC-LSSVM,DeepAR以及GPR預測模型中分別得到不同時間窗口對應的時間序列分子比預測結果。最后將三個不同分子比預測結果放入LR模型中進行加權預測,得到最終分子比預測值。本文采用均方誤差(Mean Squared Error,MSE),均方根誤差(Root Mean Squared Error,RMSE),平均絕對誤差(Mean Absolute Error,MAE)對三種獨立預測模型和最終線性回歸模型進行性能評估,故公式(16～18)所示:

(16)

(17)

(18)

式中:yi——真實值;

m——預測樣本的個數。

三個評價指標的值越小,表明模型的預測精度越高。為了更加直觀地對比各個模型性能,本文選擇基于相同的訓練集和測試集分別進行計算,使用傳統(tǒng)SVM、LSSVM模型對比IABC-LSSVM模型,從而形成對照算例。

將平穩(wěn)后的數據集中所有特征進行歸一化處理后,轉化為適用于模型的數據形式,輸入到各模型中。對于時間窗口為一天的預測模型:IABC-LSSVM,SVM以及LSSVM模型的懲罰項均設置為0.9,核寬度設置為0.3;時間窗口為三天的自回歸循環(huán)神經網絡設置其RNN網絡層數為2,每層40個神經元,預測范圍為十天,學習速率0.002,迭代20次;時間窗口為七天的高斯過程回歸則設置初始化學習速率0.2,sigma為0.5。擬合效果圖如圖10～13所示。其中傳統(tǒng)的支持向量機模型對于分子比值波動趨勢的捕捉精確度欠缺,通過IABC-LSSVM預測模型不僅僅提高了人工蜂群尋優(yōu)的效率同時更加精準地抓住分子比動態(tài)變化趨勢;DeepAR算法中較細的預測折線代表預測的中位數,深色陰影區(qū)域為50%置信區(qū)間范圍,淺色區(qū)域為90%置信區(qū)間范圍。從預測結果圖中可以直觀地看出大部分實際值落在50%置信區(qū)間中,并且全部處于90%置信區(qū)間預測范圍內;GPR模型中藍色折線表示訓練集,黃色則代表測試集,而紅色散點為測試數據集在高斯過程回歸模型中得到的預測結果;LR回歸模型中,將三個不同時間窗口的時間序列預測結果合成為最終預測值,其預測曲線與實際數值趨勢變化大體一致,擬合效果較好。將2020年6月1日至2020年9月30日的數據作為訓練集,預測2020年10月1日至2020年10月10日共計10天的分子比,結果如表2,3所示。時間窗口為一天,三天的預測評估指標中RMSE分別約為0.29和0.24,表明預測結果較好,時間窗口為7天的測試RMSE約為0.25,表示GPR模型對于高維特征的預測具有一定的波動,對結果有一定的影響。最終線性回歸預測結果的均方根誤差為0.25。

表2 不同時間窗口預測模型結果

圖10 傳統(tǒng)機器學習模型與IABC-LSSVM對比圖

圖11 自回歸循環(huán)神經網絡預測效果圖

圖12 高斯過程回歸預測效果圖

圖13多元線性預測效果圖

表3 不同時間窗口預測效果對比

3 結 論

本文采用IABC-LSSVM、DeepAR、GPR模型對不同時間窗口分子比進行預測,后通過LR模型進行回歸分析實現(xiàn)鋁電解中分子比的預測,應用國內某鋁廠電解槽2020年6月1日至2020年10月10日已有各項相關因素以及分子比數據進行時間序列分析。結果表明,將不同時序窗口分子比預測值進行多元線性回歸后得到的分子比能夠較好地預測所需要的變動趨勢以及大致結果。與傳統(tǒng)機器學習回歸模型相比較,基于人工蜂群改進后的LSSVM算法、基于循環(huán)神經網絡的自回歸神經網絡以及GPR算法的LR模型RMSE更低,預測結果較好。

本文使用不同時間窗口進行分子比的加權預測,研究結果預期可以為提高電解槽電流效率等工作提供幫助,為后續(xù)出鋁量等工作提供決策支持依據。本文在對分子比進行預測時,構建的模型中相關特征主要包括鐵含量等相關因素的傳統(tǒng)時間序列特征,結果雖優(yōu)于多數模型,但考慮時序特點不夠全面。在未來工作中,將結合更多鋁電解工藝中的流程特征,對不同的影響因素提取其對應分子比獨特的時間序列特征進行進一步預測分析。