趙子凌,李晉宏

(北方工業(yè)大學 信息學院,北京100144)

在鋁電解生產過程中,鋁電解的酸度是一項很重要的技術指標,因此如何測定和控制酸度是鋁電解過程中的重要環(huán)節(jié)之一[1]。然而現(xiàn)代鋁電解工藝普遍采用酸性電解質,此種電解質中含有游離的氟化鋁以及各種添加劑[2](如氟化鎂,氟化鈣,氟化鋰等);這些物質的存在導致電解質物相比復雜,且相互存在非線性關系,相互影響,使得分子比難以直接測量。另外,分子比是代表鋁電解質成分的一個重要技術參數(shù),對電解系統(tǒng)噸鋁直流電耗和電流效率影響較大。故調整合理的電解質成分尤其是控制好分子比,對鋁電解工業(yè)節(jié)能減排、提質增效是非常重要的[3]。

現(xiàn)代鋁電解工藝中,普遍采用的是冰晶石-氧化鋁熔巖電解法,該方法的基本原理:在鋁電解槽中使用氧化鋁作為主要材料,以冰晶石和氟化鹽為熔劑,構成冰晶石-氧化鋁均勻熔融體,將直流電通入電解槽,陰極上產生液態(tài)鋁,陽極上產生的二氧化碳和一氧化碳等氣態(tài)物質,與此同時在鋁電解的整個過程中要保持能量與物料的動態(tài)平衡。液態(tài)電解質成分是保證電解過程能夠正常進行的關鍵因素,而冰晶石就是液態(tài)電解質的主要成分。從分子結構上講,它是由 3 mol 氟化鈉與 1 mol 氟化鋁結合而成,在常溫下呈現(xiàn)白色固體。冰晶石中所含氟化鈉摩爾數(shù)與氟化鋁摩爾數(shù)之比就是所說的分子比。傳統(tǒng)分子比測定方法[2]有晶型法、化學成分法、電導法以及X射線衍射法。但是這些方法不僅操作復雜,所用儀器設備在電解槽內高溫下容易損壞,而且無法及時直接測定出分子比,也就不能真正的實時指導生產。

本文采用人工蜂群算法(Artificial Bee Colony Algorithm)優(yōu)化的最小二乘支持向量機(Least Squares Support Vector Machine,LSSVM)、自回歸循環(huán)神經(jīng)網(wǎng)絡(Autoregressive Recurrent Networks,DeepAR)以及高斯過程回歸(Gaussian Process Regression,GPR)進行不同時間窗口的分子比預測,最終通過線性回歸模型將多個分子比預測值加權得到最終預測結果。同時應用傳統(tǒng)支持向量機回歸,傳統(tǒng)最小二乘支持向量機回歸等模型在相同數(shù)據(jù)集上開展平行實驗,驗證集成算法在鋁電解分子比預測上的性能。

1 研究綜述

工藝生產中,基于監(jiān)控與數(shù)據(jù)采集系統(tǒng)獲取大量數(shù)據(jù)中包含豐富的工藝過程歷史信息,這些信息能夠反映工業(yè)過程具體運行情況和出現(xiàn)的問題,反映某個或某些指標伴隨著時間動態(tài)變化趨勢。工業(yè)領域由于涉及多種體系結構及過程,產生的數(shù)據(jù)種類存在形式多樣。其中,時間序列[4]就是工業(yè)過程中產生的一系列保存時序關系的結構化數(shù)據(jù),它客觀記錄所監(jiān)測系統(tǒng)在各個時刻點的重要信息。時間序列預測就是基于工藝過程中產生的時間序列數(shù)據(jù)對過程中某些關鍵變量進行預測,通過易測過程量推斷難測過程量,從而了解過程趨勢,正確評估系統(tǒng)當前狀態(tài),實現(xiàn)過程指標檢測等,改善過程質量,提高管理效率和管理水平,使得整個過程的經(jīng)濟效益最大化,提升生產過程的整體可觀可控性,為后續(xù)操作提供指導信息。

目前,參數(shù)時間序列預測[5]是鋁電解工業(yè)中主要研究方向之一。利用時間序列模型可以對歷史時序數(shù)據(jù)中的統(tǒng)一規(guī)律進行分析,并進一步預測趨勢。及時高效地預測可以為后續(xù)的專家決策提供支持。

近年來鋁電解生產實踐研究表明,降低分子比是提高電流效率的有效途徑之一。然而,當前有關電解過程中分子比測定主要采用人工取樣分析,例如肉眼觀察法、指示劑檢查法、晶形光學法、熱滴定法、硝酸釷滴定法等。上述方法各有各自的優(yōu)點,但在滿足現(xiàn)代化工業(yè)生產批量快速檢測要求方面有待提高[7]。針對這一難題,人們通過機器學習等方式開始對分子比進行研究與預測。其中,2005年任鳳蓮提出BP神經(jīng)網(wǎng)絡在分子比預報中的應用[6]:因為BP神經(jīng)網(wǎng)絡網(wǎng)絡模型可以對多個變量的系統(tǒng)進行分析,不需要建立確定的數(shù)學模型且其擬合度與預報精度都滿足實際應用需求;2010年高鋼,曾水平等人提出了基于神經(jīng)網(wǎng)絡的鋁電解溫度與分子比的預測研究[8]:該文獻中使用徑向基函數(shù)神經(jīng)網(wǎng)絡進行預測并通過聚類法優(yōu)化神經(jīng)網(wǎng)絡,但是隨著槽齡和環(huán)境等因素的變化還缺乏在線學習模型來更新網(wǎng)絡參數(shù)進而提高模型適應能力;2018年曾水平、王嘉利提出基于隨機森林與神經(jīng)網(wǎng)絡的鋁電解分子比預測[9]。

上述預測方法多數(shù)通過已知與分子比相關的影響因素進行單一時間尺度的時間序列預測,但實際生產中,時間序列預測無法收集到所有影響因子的數(shù)據(jù),有時甚至沒有任何歷史數(shù)據(jù)進行支持。本文通過不同的時間尺度進行預測可以大幅度降低預測過程中因為數(shù)據(jù)缺失所造成的誤差;將人工蜂群算法進行改進,提高模型收斂速度并且使得模型可以進行參數(shù)動態(tài)學習,進而提高其泛化能力;使用自回歸循環(huán)神經(jīng)網(wǎng)絡進行概率分布預測,解決無法考慮到未來不確定因素等問題。

2 基于多時間窗口的鋁電解分子比預測

基于多時間窗口的鋁電解分子比時間序列預測模型的構建及性能評估的技術路線如圖1所示,包括數(shù)據(jù)預處理,模型訓練,模型預測及性能評估三個組成部分。

預測模型所用架構如圖1所示。其基本思路如下:

圖1 基于多時間窗口的鋁電解分子比預測架構圖

將電解槽中產生的數(shù)據(jù)進行預處理:包括空缺值處理、異常值處理以及歸一化操作;根據(jù)不同的時間窗口選擇不同的預測模型進行分子比預測;對于最小二乘支持向量機模型使用改進的人工蜂群算法進行超參數(shù)的優(yōu)化,實現(xiàn)超參數(shù)的動態(tài)學習,進而提高模型泛化能力;將上述三個時間窗口預測得到的分子比放入線性回歸模型中,獲得最終分子比預測值。

2.1 數(shù)據(jù)預處理

2.1.1 空缺值處理

對于數(shù)據(jù)缺失值超過半數(shù)的特征進行舍棄,其余特征缺失值采用線性插值法進行填充。線性插值法是一種時間序列數(shù)據(jù)補全方法,根據(jù)缺失數(shù)據(jù)前后的變化趨勢情況,通過到相鄰數(shù)據(jù)點的距離分配比重進行缺失值的補全。如公式(1)可得:

(1)

2.1.2 異常值處理

如圖2、3所示,通過可視化分析,將小于Q1-1.5IQR或大于Q3+1.5IQR的值判定為異常值點,并將其修改為前后兩日數(shù)據(jù)的均值。

圖2 某鋁廠A電解槽中平均電壓原始數(shù)據(jù)

圖3 A電解槽中平均電壓異常處理后數(shù)據(jù)

2.1.3 數(shù)據(jù)歸一化

由于電解槽中各特征量級不同且差異巨大,這對后續(xù)的預測過程影響較大,故采用min-max方法對數(shù)據(jù)進行歸一化操作,將數(shù)據(jù)歸一化至[0,1]之間,轉換函數(shù)如公式(2)所示:

(2)

式中:max——樣本數(shù)據(jù)中的最大值;

min——樣本數(shù)據(jù)中的最小值。

2.1.4 特征提取

電解槽中影響分子比的參數(shù)分為四類:控制參數(shù)、化驗參數(shù)、決策參數(shù)及測量參數(shù)。其中控制參數(shù)包括工作電壓、設定電壓、平均電壓等;化驗參數(shù)指鐵含量、硅含量、鎂含量、鈣含量等;決策參數(shù)是出鋁量、氟化鹽添加量等;測量參數(shù)有鋁水平、電解質水平、電解溫度等。由于電解槽中各特征參數(shù)均滿足時間序列要求,故各特征參數(shù)在成為預測模型輸入之前需要進行時間序列的平穩(wěn)性檢驗。

2.1.4.1 平穩(wěn)性檢驗

平穩(wěn)時序數(shù)據(jù)的統(tǒng)計規(guī)律隨時間變化較小,通常可以用于時間序列預測。因此需要對數(shù)據(jù)集進行平穩(wěn)性檢驗。本文采用單位根(ADF)檢驗得到數(shù)據(jù)平穩(wěn)性評價結果,如表1所示:T假設檢驗值為-4.4,p-value表示t統(tǒng)計量對應概率值0.0003,1%、5%、10%信息準確值均大于檢驗值,證明不同程度拒絕原假設的統(tǒng)計值。同時p值小于給定的顯著水平0.05,證明ADF檢驗的原假設是存在單位根。故極顯著的拒絕原假設,認為該時間序列特征的數(shù)據(jù)平穩(wěn)。若數(shù)據(jù)不平穩(wěn)可以進一步通過差分法將時間序列數(shù)據(jù)轉換為平穩(wěn)的序列。如圖4、5所示,是某參數(shù)原始時間序列圖和對原始時序圖進行一階,二階差分后效果圖。

圖4 某特征原始時間序列圖

圖5 某特征時間序列差分圖

表1 某特征ADF檢驗相關信息

2.1.4.2 特征選擇

實際工業(yè)生產中,影響分子比的參數(shù)很多且相互之間有著復雜的非線性關系,為了提高模型的預測精度,如圖6所示,通過隨機森林的方法進行特征的篩選,選擇相關度最高的k個特征轉化為適用于LSSVM的數(shù)據(jù)形式作為預測模型的輸入,其中k由使用者自定義。

圖6 特征選擇效果圖

2.2 模型訓練

2.2.1 基于IABC-LSSVM預測模型

基于改進人工蜂群的最小二乘支持向量機預測模型(IABC-LSSVM)以時間窗口為1天進行構建,具體技術路線:將選中的特征數(shù)據(jù)放入已經(jīng)人為設定好的初始化LSSVM模型中,進行后一天分子比的預測;得到預測值后,將預測值與實際值的均方根誤差函數(shù)作為改進人工蜂群算法中的目標函數(shù);將目標函數(shù)放入IABC中進行最小化,同時找到對應的當前最優(yōu)超參數(shù)組合。用此最優(yōu)超參數(shù)替換原有超參數(shù)繼續(xù)預測后續(xù)分子比,以達到預測模型動態(tài)學習[10]的效果,進而提高模型的泛化能力。

2.2.1.1 最小二乘支持向量機(LSSVM)模型

LSSVM[11]將SVM中的不等式約束轉化為等式約束,在采用誤差平方和損失函數(shù)代替SVM的二次規(guī)劃方法的基礎上,將二次規(guī)劃問題轉化為線性矩陣求解問題。具體原理如下:

給定一組數(shù)據(jù)集(xi,yi)i=1,2,……,N,xi為第i個樣本的輸入向量,yi為對應輸出,N為數(shù)據(jù)集所包含的樣本數(shù),通過非線性映射φ(x)將樣本映射到高維空間,如公式(3)所示:

y(x)=ω·φ(x)+b

(3)

式中:ω——權值向量;

b——偏置向量。

按照結構最小化原理,LSSVM模型可表示為:

(4)

式中:γ——大于0的懲罰系數(shù);

ξi——誤差。

在求解該最小化問題時,加入一個拉格朗日因子φi,構成拉格朗日函數(shù),并利用KKT條件,將LSSVM回歸問題轉化為:

(5)

其中:K(x,xi)=φ(xi)T·φ(xi)為滿足Mercer條件的核函數(shù)。

與此同時LSSVM的泛化性能不僅與訓練樣本和測試樣本有關,還取決于模型超參數(shù)的選擇。

2.2.1.2 超參數(shù)優(yōu)化

研究表明,超參數(shù)是影響LSSVM預測性能的主要原因[12]。其中核寬度主要影響樣本數(shù)據(jù)在高維特征空間中分布的復雜程度,而正則化參數(shù)的作用是在確定特征空間中調節(jié)最小二乘支持向量機的置信范圍以及結構風險比例。正則化參數(shù)C表示對誤差懲罰度大小:隨著C增大,誤差的懲罰能力將逐步提升,預測誤差與訓練誤差都將大幅降低,但訓練時間會變長。核寬度則反映支持向量間的相關程度:核寬度過小,向量間影響小易導致泛化能力差;而核寬度過大易造成模型欠擬合,導致預測精度低。而SVM與神經(jīng)網(wǎng)絡不同,其訓練過程相對容易,且沒有局部最優(yōu),可以較好地使用高維數(shù)據(jù),但其弱點是需要一個好的核函數(shù)[12]。因此使用人工蜂群算法優(yōu)化正則化參數(shù)C與核寬度參數(shù)σ2兩個超參數(shù),將二者作為一個輸入組合,以每一時間序列時刻的均方根誤差作為適應度函數(shù),通過反復迭代尋優(yōu),找到使得適應度函數(shù)最小的取值組合。

為了提高算法的收斂速度,改善傳統(tǒng)人工蜂群[13]陷入局部最優(yōu)解的問題,引入類似禁忌搜索算法思想,使用改進的人工蜂群算法(IABC,Improved-ABC),如圖7所示:創(chuàng)建一個記憶表。使得ABC算法在每一次迭代過程中得到的局部最優(yōu)解存放入列表中,當經(jīng)歷過limit次循環(huán)后某一個當前最優(yōu)解依然沒有發(fā)生變化,需要隨機產生新解時,遍歷記憶表中所有保存的記錄,確保隨機產生的新解從未出現(xiàn)過。本文構建的IABC-LSSVM(Improved-ABC-LSSVM)主要由最小二乘支持向量機與人工蜂群優(yōu)化算法兩部分組成。將預測數(shù)據(jù)集輸入到LSSVM模型中,得到第一天分子比預測值,將預測值與實際值的均方根函數(shù)作為目標函數(shù)值放入人工蜂群算法中進行最小化計算,得到當前狀態(tài)下最優(yōu)的LSSVM超參數(shù)組合,將尋得超參數(shù)值替換LSSVM中原始值,繼續(xù)進行下一天的分子比預測,如此反復直至完成整個時間范圍內的預測過程。整個算法流程如圖8所示。

圖7 IABC算法流程圖

圖8 IABC-LSSVM算法流程圖

2.2.2 基于DeepAR的預測模型

自回歸循環(huán)神經(jīng)網(wǎng)絡(DeepAR)是Amazon于2017年提出的基于深度學習的時間序列預測算法,通過循環(huán)神經(jīng)網(wǎng)絡(RNN)結合自回歸來預測一維時間序列。大部分實際應用生產中,會有跨一組具有代表性單元的多個相似時間序列。DeepAR會根據(jù)多個相似時間序列利用深度循環(huán)神經(jīng)網(wǎng)絡學習不同時間序列內部的關聯(lián)特性,使用多元或多重目標個數(shù)來提升整體預測準確度。算法最終產生一個可選時間跨度的多步預測結果,其中單時間節(jié)點預測為概率預測,默認輸出P50,P90兩個值。

數(shù)據(jù)往往是時間序列預測工作負載最大的問題。例如無法收集預測信息的全部影響因素數(shù)據(jù);又可能影響因素在未來具有不確定性;或只有少量甚至沒有歷史數(shù)據(jù)。而相比較基于LSSVM等傳統(tǒng)算法的時間序列預測性能,DeepAR的預測有著獨特的優(yōu)勢:它能夠在一定程度上減輕對數(shù)據(jù)的依賴性。作為一種監(jiān)督學習算法,該算法直接在模型內部進行缺失值填充,為數(shù)據(jù)處理過程節(jié)省大量時間。與此同時,利用DeepAR可以將多個時間序列相互關聯(lián),以便處理統(tǒng)計學中難以解決的非線性問題和規(guī)模問題。

算法模型訓練(左側)與預測(右側)詳細過程如圖9所示。

圖9 DeepAR模型預測原理

(6)

(7)

(8)

(9)

2.2.3 基于GPR的預測模型

上文中使用神經(jīng)網(wǎng)絡進行分子比預測,當單層神經(jīng)網(wǎng)絡節(jié)點數(shù)趨近于無窮時即在理論上趨近為高斯過程。同時GP模型是一種隨機變量的集合,集合中任意數(shù)量的隨機變量組合服從聯(lián)合高斯分布,并且由均值函數(shù)和協(xié)方差函數(shù)唯一確定。其中協(xié)方差函數(shù)直接決定模型精度[15]。這就展示了深度學習中神經(jīng)網(wǎng)絡與高斯過程的密切聯(lián)系,但不同的是高斯過程可以有原則地量化自回歸循環(huán)神經(jīng)網(wǎng)絡中的不確定性。因為高斯回歸在預測過程可進行概率推理的過程。

高斯過程回歸[15]是從無數(shù)函數(shù)中找到任何符合測試數(shù)據(jù)的函數(shù)集,然后通過對先驗信息的了解,不斷縮小函數(shù)集尋找范圍,最終通過貝葉斯法則的方法與高斯分布的性質相結合,計算得到函數(shù)集分布模型,根據(jù)建立好的模型對后續(xù)進行預測。它是一種基于統(tǒng)計學習理論與貝葉斯理論相結合的非參數(shù)模型,且完全由輸入特征的均值函數(shù)m以及協(xié)方差函數(shù)k定義。在本文實驗中,假設輸入特征向量與分子比間關系f為高斯過程,即f～GP(m,k);輸入向量xi服從高斯分布,則f(x)服從多元高斯分布f(x)～N(m(x),K)對訓練集構建回歸模型(公式10)。

y=f(x)+ε

(10)

(11)

式中:m(x)——多元高斯分布均值向量;

K——多元高斯分布協(xié)方差矩陣(公式11)。

(12)

式中:K*=〔k(x*,x1),…k(x*,xn)〕,K**=k(x*,x*)。

根據(jù)多元高斯分布條件概率,計算得到f*的后驗分布(公式13)

f*|X,y,X*～N(m(f*),cov(f*))

(13)

式中:X——訓練集輸入特征向量的列向量矩陣;

X*——預測集輸入特征向量的列向量矩陣。

m(f*),cov(f*)分別計算得到的均值矩陣和協(xié)方差矩陣。

核函數(shù)作為整個高斯過程回歸算法的核心,本文實驗數(shù)據(jù)中特征向量與分子比間多為非線性關系,故選用徑向基核函數(shù)。(公式14)

(14)

2.2.4 線性回歸預測模型

根據(jù)上述三個不同時間窗口預測結果,把最終分子比預測值定義為因變量Y,與其相關性顯著的因素定義為自變量,3個因素分別定義為X1(時間窗口為一天的分子比預測值)、X2(時間窗口為3天的分子比預測值)、X3(時間窗口為7天的分子比預測值)。令線性方程如公式15所示:

Y=α0+α1X1+α2X2+α3X3

(15)

式中:α0——常量;

α1、α2、α3——三個自變量相應系數(shù),稱為偏回歸系數(shù)。

通過多元線性回歸模型得到三個自變量對應權重值以及α0常量取值即可通過加權計算得到最終分子比預測值。

2.3 模型預測及性能評估

將預測數(shù)據(jù)集分別輸入到IABC-LSSVM,DeepAR以及GPR預測模型中分別得到不同時間窗口對應的時間序列分子比預測結果。最后將三個不同分子比預測結果放入LR模型中進行加權預測,得到最終分子比預測值。本文采用均方誤差(Mean Squared Error,MSE),均方根誤差(Root Mean Squared Error,RMSE),平均絕對誤差(Mean Absolute Error,MAE)對三種獨立預測模型和最終線性回歸模型進行性能評估,故公式(16～18)所示:

(16)

(17)

(18)

式中:yi——真實值;

m——預測樣本的個數(shù)。

三個評價指標的值越小,表明模型的預測精度越高。為了更加直觀地對比各個模型性能,本文選擇基于相同的訓練集和測試集分別進行計算,使用傳統(tǒng)SVM、LSSVM模型對比IABC-LSSVM模型,從而形成對照算例。

將平穩(wěn)后的數(shù)據(jù)集中所有特征進行歸一化處理后,轉化為適用于模型的數(shù)據(jù)形式,輸入到各模型中。對于時間窗口為一天的預測模型:IABC-LSSVM,SVM以及LSSVM模型的懲罰項均設置為0.9,核寬度設置為0.3;時間窗口為三天的自回歸循環(huán)神經(jīng)網(wǎng)絡設置其RNN網(wǎng)絡層數(shù)為2,每層40個神經(jīng)元,預測范圍為十天,學習速率0.002,迭代20次;時間窗口為七天的高斯過程回歸則設置初始化學習速率0.2,sigma為0.5。擬合效果圖如圖10～13所示。其中傳統(tǒng)的支持向量機模型對于分子比值波動趨勢的捕捉精確度欠缺,通過IABC-LSSVM預測模型不僅僅提高了人工蜂群尋優(yōu)的效率同時更加精準地抓住分子比動態(tài)變化趨勢;DeepAR算法中較細的預測折線代表預測的中位數(shù),深色陰影區(qū)域為50%置信區(qū)間范圍,淺色區(qū)域為90%置信區(qū)間范圍。從預測結果圖中可以直觀地看出大部分實際值落在50%置信區(qū)間中,并且全部處于90%置信區(qū)間預測范圍內;GPR模型中藍色折線表示訓練集,黃色則代表測試集,而紅色散點為測試數(shù)據(jù)集在高斯過程回歸模型中得到的預測結果;LR回歸模型中,將三個不同時間窗口的時間序列預測結果合成為最終預測值,其預測曲線與實際數(shù)值趨勢變化大體一致,擬合效果較好。將2020年6月1日至2020年9月30日的數(shù)據(jù)作為訓練集,預測2020年10月1日至2020年10月10日共計10天的分子比,結果如表2,3所示。時間窗口為一天,三天的預測評估指標中RMSE分別約為0.29和0.24,表明預測結果較好,時間窗口為7天的測試RMSE約為0.25,表示GPR模型對于高維特征的預測具有一定的波動,對結果有一定的影響。最終線性回歸預測結果的均方根誤差為0.25。

表2 不同時間窗口預測模型結果

圖10 傳統(tǒng)機器學習模型與IABC-LSSVM對比圖

圖11 自回歸循環(huán)神經(jīng)網(wǎng)絡預測效果圖

圖12 高斯過程回歸預測效果圖

圖13多元線性預測效果圖

表3 不同時間窗口預測效果對比

3 結 論

本文采用IABC-LSSVM、DeepAR、GPR模型對不同時間窗口分子比進行預測,后通過LR模型進行回歸分析實現(xiàn)鋁電解中分子比的預測,應用國內某鋁廠電解槽2020年6月1日至2020年10月10日已有各項相關因素以及分子比數(shù)據(jù)進行時間序列分析。結果表明,將不同時序窗口分子比預測值進行多元線性回歸后得到的分子比能夠較好地預測所需要的變動趨勢以及大致結果。與傳統(tǒng)機器學習回歸模型相比較,基于人工蜂群改進后的LSSVM算法、基于循環(huán)神經(jīng)網(wǎng)絡的自回歸神經(jīng)網(wǎng)絡以及GPR算法的LR模型RMSE更低,預測結果較好。

本文使用不同時間窗口進行分子比的加權預測,研究結果預期可以為提高電解槽電流效率等工作提供幫助,為后續(xù)出鋁量等工作提供決策支持依據(jù)。本文在對分子比進行預測時,構建的模型中相關特征主要包括鐵含量等相關因素的傳統(tǒng)時間序列特征,結果雖優(yōu)于多數(shù)模型,但考慮時序特點不夠全面。在未來工作中,將結合更多鋁電解工藝中的流程特征,對不同的影響因素提取其對應分子比獨特的時間序列特征進行進一步預測分析。