孫 浩, 趙明達(dá), 李 靜, 魏立新, 呼子宇

(1.燕山大學(xué) 河北省工業(yè)計(jì)算機(jī)控制工程重點(diǎn)實(shí)驗(yàn)室，河北秦皇島066004；2.上汽通用汽車有限公司武漢分公司，湖北武漢430208)

1 引 言

在鋼鐵冷連軋生產(chǎn)過程中,軋制力是最重要的工藝參數(shù)之一,直接影響軋制規(guī)程的制定,還決定著產(chǎn)品的厚度和平整度[1]。精準(zhǔn)的軋制力預(yù)測模型可以減少帶材頭尾長度,有效提高板材的尺寸準(zhǔn)確度和質(zhì)量[2]。軋制生產(chǎn)過程受到多種因素共同影響,各個(gè)參量之間相互耦合,具有非線性、不確定性等特點(diǎn)[3]。傳統(tǒng)方法使用機(jī)理模型進(jìn)行軋制力預(yù)測,由于存在不確定因素而引入許多假設(shè),導(dǎo)致預(yù)測出現(xiàn)很大誤差[4]。近年來隨著人工智能的快速崛起,許多學(xué)者將人工智能和機(jī)器學(xué)習(xí)的方法應(yīng)用到實(shí)際軋制生產(chǎn)過程中,以提高軋制力預(yù)測準(zhǔn)確度[5]。機(jī)器學(xué)習(xí)是1種新興技術(shù),特別是對(duì)于有大量數(shù)據(jù)的工業(yè)生產(chǎn)過程,利用一些易測變量建立模型,來預(yù)測未知變量[6]。在現(xiàn)有文獻(xiàn)中,基于機(jī)器學(xué)習(xí)的方法得到了廣泛應(yīng)用,預(yù)測準(zhǔn)確度也得到很大提升[7]。文獻(xiàn)[8]提出了1種基于改進(jìn)在線序列極限學(xué)習(xí)機(jī)的軋制力預(yù)測模型,在初始訓(xùn)練階段使用粒子群算法優(yōu)化權(quán)值和閾值,在線階段根據(jù)數(shù)據(jù)動(dòng)態(tài)調(diào)節(jié)網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)了軋制力在線預(yù)測,提高了軋制力預(yù)測準(zhǔn)確度。文獻(xiàn)[9]將有限元法與神經(jīng)網(wǎng)絡(luò)相結(jié)合建立軋制力模型,采用迭代法對(duì)模型進(jìn)行優(yōu)化,最終將預(yù)測誤差控制在10%以內(nèi)。文獻(xiàn)[10]運(yùn)用半監(jiān)督深度網(wǎng)絡(luò)建立了軋制力預(yù)測模型,模型使用無監(jiān)督分層預(yù)訓(xùn)練與有監(jiān)督微調(diào)相結(jié)合的方法,來解決深度網(wǎng)絡(luò)難以訓(xùn)練的問題,仿真結(jié)果表明,該模型預(yù)測準(zhǔn)確度可控制在3%以內(nèi)。文獻(xiàn)[11]提出了種通過多層感知器網(wǎng)絡(luò)來預(yù)測軋制力和電機(jī)負(fù)荷,首先利用軋制中所有可用信息構(gòu)建多層感知器模型;然后調(diào)整與正常零件設(shè)置相關(guān)的冷軋變量,平衡各機(jī)架間的電機(jī)負(fù)荷,實(shí)現(xiàn)了冷軋機(jī)軋制過程自動(dòng)設(shè)定,提高生產(chǎn)效率。文獻(xiàn)[12]使用多層感知器進(jìn)行軋制力預(yù)測,以小批量訓(xùn)練為基礎(chǔ),利用Batch Normalization方法穩(wěn)定網(wǎng)絡(luò)前向傳播的輸出分布,Adam算法完善梯度更新,解決了模型難以訓(xùn)練的問題,仿真實(shí)驗(yàn)表明該模型有效降低了預(yù)測誤差。

以上方法與傳統(tǒng)機(jī)理模型相比,預(yù)測準(zhǔn)確度有很大提升。但這些模型不能對(duì)樣本進(jìn)行深層次的特征提取,導(dǎo)致部分信息丟失,同時(shí)在動(dòng)態(tài)變化和非平穩(wěn)環(huán)境中,數(shù)據(jù)分布會(huì)隨時(shí)間變化,產(chǎn)生概念漂移現(xiàn)象[13]。為解決這些問題,提出基于LSTM-JITRVM(long short term memory-just in time relevance vector machine)的軋制力模型。該模型首先使用循環(huán)自編碼網(wǎng)絡(luò)提取樣本的深層次特征;然后使用局部離群因子算法判斷測試樣本與其鄰域點(diǎn)是否屬于同一分布,針對(duì)不同分布使用不同的自學(xué)習(xí)回歸模型進(jìn)行在線預(yù)測。

2 軋制力模型

該軋制力模型分為特征提取和回歸擬合2部分。其中使用循環(huán)自編碼網(wǎng)絡(luò)進(jìn)行特征提取,提取數(shù)據(jù)樣本的深層次特征。在回歸擬合模型中,使用局部離群因子算法判斷測試樣本與其鄰域點(diǎn)是否屬于同一分布;即判斷模型是否可能產(chǎn)生概念漂移,針對(duì)不同分布使用不同的回歸模型進(jìn)行在線預(yù)測。

2.1 循環(huán)自編碼網(wǎng)絡(luò)

循環(huán)門控單元(gate recurrent unit,GRU)是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的1種,解決了RNN只能保存短期記憶和反向傳播時(shí)梯度消失等問題[14]。循環(huán)自編碼網(wǎng)絡(luò)(AEGRU)是以多層的自編碼器(auto encoder,AE)為框架,結(jié)合GRU在序列遞歸方面的優(yōu)勢,進(jìn)行數(shù)據(jù)特征提取。AEGRU網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 AEGRU網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 AEGRU network structure diagram

如圖1所示,輸入數(shù)據(jù)經(jīng)過2層GRU Layer編碼得到隱層數(shù)據(jù),即要提取的新特征;再經(jīng)過2個(gè)GRU Layer解碼得到重構(gòu)數(shù)據(jù)。為了能更好地重構(gòu)輸入,使用均方誤差(MSE)作為網(wǎng)絡(luò)的損失函數(shù),可以表示為:

(1)

AEGRU網(wǎng)絡(luò)的時(shí)序圖如圖2所示,與自編碼網(wǎng)絡(luò)不同的是,當(dāng)前時(shí)刻輸出不僅和當(dāng)前時(shí)刻輸入有關(guān),還和上一時(shí)刻網(wǎng)絡(luò)中保存的歷史樣本特征有關(guān)。每一時(shí)刻特征提取完成后,網(wǎng)絡(luò)會(huì)對(duì)保存的歷史樣本特征進(jìn)行實(shí)時(shí)更新,用于下一時(shí)刻,對(duì)特征提取模型進(jìn)行及時(shí)校正,防止模型出現(xiàn)漂移。

圖2 AEGRU網(wǎng)絡(luò)時(shí)序圖Fig.2 AEGRU network timing diagram

2.2 異常點(diǎn)檢測算法

局部離群因子(local outlier factor, LOF),是1種基于距離的數(shù)據(jù)分布檢測算法,通過比較點(diǎn)和其鄰域點(diǎn)的密度來判斷該點(diǎn)是否和其鄰域點(diǎn)屬于同一分布[15]。密度是通過點(diǎn)之間的距離來計(jì)算的,距離越遠(yuǎn),密度越低。在LOF算法中,d(a,b)表示數(shù)據(jù)集C中點(diǎn)a和點(diǎn)b之間的距離。點(diǎn)a的第k距離表示為dk(a),即距離點(diǎn)a第k遠(yuǎn)的距離。存在以下2種情況使得dk(a)=d(a,b):

1) 至少存在k個(gè)數(shù)據(jù)對(duì)象b′∈C/{a}滿足對(duì)象d(a,b′)≤d(a,b)。

2) 至多存在k-1個(gè)數(shù)據(jù)對(duì)象b′∈C/{a}滿足對(duì)象d(a,b′)

Nk(a)表示點(diǎn)a的第k距離鄰域內(nèi)點(diǎn)的個(gè)數(shù),即點(diǎn)a的第k距離以內(nèi)的所有點(diǎn),包括第k距離。點(diǎn)a到點(diǎn)b的可達(dá)距離dreach(a,b)為點(diǎn)b的第k距離鄰域和點(diǎn)a、b間的真實(shí)距離的最大值,即:

dreach-dk(a,b)=max{dk(b),d(a,b)}

(2)

數(shù)據(jù)點(diǎn)a的局部可達(dá)密度為其第k鄰域內(nèi)點(diǎn)到其平均可達(dá)距離的倒數(shù),即:

(3)

點(diǎn)a的局部離群因子為點(diǎn)a的鄰域點(diǎn)的局部可達(dá)密度與點(diǎn)a的局部可達(dá)密度之比的平均數(shù),即

(4)

若比值小于或接近于1,說明該點(diǎn)和其鄰域點(diǎn)密度差不多,和其鄰域點(diǎn)屬于同一分布。若比值大于1,說明該點(diǎn)的密度低于其鄰域點(diǎn)密度,和其鄰域點(diǎn)屬于非同一分布。

2.3 LSTM-JITRVM模型

LSTM-JITRVM模型結(jié)構(gòu)圖如圖3所示。首先使用循環(huán)自編碼網(wǎng)絡(luò)對(duì)測試樣本進(jìn)行深層次特征提取,然后使用LOF算法判斷測試樣本和其鄰域點(diǎn)是否屬于同一分布。若數(shù)據(jù)分布相同,則使用訓(xùn)練好的LSTM模型進(jìn)行預(yù)測;若數(shù)據(jù)分布不相同,說明該卷鋼的參數(shù)可能發(fā)生較大變化,使用LSTM模型不能有效預(yù)測,則使用即時(shí)學(xué)習(xí)框架挑選最相似的局部數(shù)據(jù)集在線建立JITRVM模型進(jìn)行預(yù)測輸出,預(yù)測完成后將測試樣本添加進(jìn)歷史數(shù)據(jù)集以進(jìn)行數(shù)據(jù)庫更新。

2.3.1 LSTM模型

LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種,能夠解決RNN容易陷入局部極小、梯度消失和爆炸的問題,有選擇保留了初始時(shí)間信息,解決了數(shù)據(jù)利用率低的問題,更適合處理長時(shí)間序列[16]。LSTM的內(nèi)部結(jié)構(gòu)如圖4所示,由遺忘門ft、輸入門it和輸出門ot組成,定義為:

ft=σ(Wf·[ht-1,xt]+bf)

(5)

it=σ(Wi·[ht-1,xt]+bi)

(6)

(7)

(8)

ot=σ(Wo·[ht-1,xt]+bo)

(9)

ht=ot⊙tanh(Ct)

(10)

圖4 LSTM模型結(jié)構(gòu)圖Fig.4 LSTM model structure diagram

最終得到當(dāng)前測試的預(yù)測值為:

yt=Wyht

(11)

2.3.2 JITRVM模型

相關(guān)向量機(jī)RVM(relevance vector machine)是一種貝葉斯稀疏核算法,能有效解決過擬合問題,縮短計(jì)算時(shí)間,且在構(gòu)建高維非線性模型時(shí)能有效避免維數(shù)災(zāi)難[17]。RVM模型的數(shù)學(xué)推導(dǎo)簡述如下:

(12)

式中:wn為權(quán)重系數(shù);εn為獨(dú)立同分布的高斯噪聲,滿足εn～N(0,σ2);K(x,xn)為核函數(shù);w0為偏差項(xiàng);y(x)為非線性回歸函數(shù)的常見形式。目標(biāo)向量t的似然函數(shù)為:

(13)

式中:

(14)

為了避免模型過擬合,使用高斯先驗(yàn)概率來約束權(quán)重,先驗(yàn)分布定義為:

(15)

式(15)中參數(shù)α=[α0,α1,…,αN],RVM為每個(gè)權(quán)參數(shù)wi都引入1個(gè)單獨(dú)的超參數(shù)αi。

假設(shè)α和σ2服從高斯分布,根據(jù)貝葉斯定理,后驗(yàn)分布為:

p(w,α,σ2|t)=p(w|t,α,σ2)p(α,σ2|t)

(16)

權(quán)重參數(shù)的后驗(yàn)分布為:

(17)

后驗(yàn)均值和協(xié)方差為:

μ=σ-2ΣΦTt

(18)

Σ=(A+σ-2ΦTΦ)-1

(19)

式中A=diag(α0,α1,…,αN)。

式(18)的計(jì)算結(jié)果是權(quán)重的最大后驗(yàn)估計(jì)。此時(shí),RVM的學(xué)習(xí)過程變成最大化超參數(shù)的后驗(yàn)分布:p(α,σ2|t)∝p(t|α,σ2)p(α)p(σ2)。根據(jù)該表達(dá)式,最大化邊界分布p(t|α,σ2)即可獲得超參數(shù)α和方差σ2的最優(yōu)值。通過對(duì)權(quán)重參數(shù)進(jìn)行積分,邊際似然性為:

(20)

式中:協(xié)方差矩陣C=σ2I+ΦA(chǔ)-1ΦT。通過式(21)和式(22)對(duì)α和σ2進(jìn)行迭代計(jì)算:

(21)

(22)

式中Σii為后驗(yàn)權(quán)重方差的第i個(gè)對(duì)角元素。

該算法通過式(22)不斷更新μ和Σ,直到滿足收斂要求。其中的一部分超參數(shù)αi趨于無窮大,相應(yīng)的權(quán)重趨于零。非零權(quán)重的樣本即為相關(guān)向量,保證了模型的稀疏性。

即時(shí)學(xué)習(xí)是一種在線學(xué)習(xí)框架,用于對(duì)具有非線性或頻繁變化操作條件的過程進(jìn)行建模,適用于工業(yè)過程[18]。即時(shí)學(xué)習(xí)包括4個(gè)步驟:1)得到測試樣本;2)計(jì)算測試樣本和歷史樣本的相似性;3)建立回歸模型;4)進(jìn)行預(yù)測[19]。在預(yù)測完成后,該模型會(huì)被丟棄,出現(xiàn)下1個(gè)測試樣本,將重新建立回歸模型。

為使RVM模型具有在線學(xué)習(xí)能力,使用即時(shí)學(xué)習(xí)框架建立JITRVM模型。對(duì)于即時(shí)學(xué)習(xí)算法,首先要為樣本建立專屬的局部數(shù)據(jù)集,選擇相似度高的樣本作為數(shù)據(jù)集。不同的相似性度量準(zhǔn)則會(huì)對(duì)模型預(yù)測性能有不同的影響,歐式距離是最常用的相似度計(jì)算方法,度量的是多維空間中兩點(diǎn)間的絕對(duì)距離,距離越近,相似度越高,從而獲得最佳建模樣本。歐氏距離相似度衡量如下:

(23)

但歐式距離僅考慮向量在距離上的相似度,沒有考慮向量在方向上的差異;并且在單位不同的指標(biāo)下使用會(huì)導(dǎo)致結(jié)果失敗。余弦距離是以向量空間中兩個(gè)向量夾角的余弦值度量兩個(gè)樣本相似度,夾角越小,相似度越高。余弦距離衡量如下:

(24)

本文結(jié)合距離相似度和方向相似度,同時(shí)考慮歐式距離和余弦距離,選擇兩者總相似度高的樣本作為JITRVM模型的局部數(shù)據(jù)集。JITRVM模型建模過程示意圖如圖5所示。

圖5 JITRVM模型建模過程示意圖Fig.5 Diagram of modeling process of JITRVM model

對(duì)于JITRVM預(yù)測模型,通過試驗(yàn)選定局部模型的大小為450,核函數(shù)選擇高斯核函數(shù)。對(duì)于局部數(shù)據(jù)集的大小,通過試驗(yàn)確定JITRVM模型的數(shù)據(jù)集大小為450,試驗(yàn)結(jié)果如圖6所示。

圖6 局部樣本數(shù)的誤差對(duì)比圖Fig.6 Error comparison of local sample numbers

即時(shí)學(xué)習(xí)算法是一種基于內(nèi)存的建模方法,所建立的模型有很強(qiáng)的自適應(yīng)能力,是從數(shù)據(jù)庫里選擇少量樣本動(dòng)態(tài)構(gòu)建局部模型,所以模型性能很大程度上取決于數(shù)據(jù)庫中存儲(chǔ)的樣本質(zhì)量和數(shù)量,因此數(shù)據(jù)庫應(yīng)進(jìn)行實(shí)時(shí)更新[20]。數(shù)據(jù)庫初始時(shí)包括所有訓(xùn)練樣本的輸入特征及相應(yīng)的輸出特征,同時(shí)在每個(gè)測試樣本預(yù)測完成后,將其添加進(jìn)數(shù)據(jù)庫并更新歷史數(shù)據(jù)集。

3 軋制力預(yù)測

3.1 模型輸入?yún)?shù)

根據(jù)機(jī)理模型和實(shí)際生產(chǎn)情況確定軋制力模型的輸入?yún)?shù)。選取原料寬度B、原料厚度H、軋輥入口處厚度H0、軋輥出口處厚度H1、軋輥的前張力τf、軋輥的后張力τb、軋輥半徑R′和出料帶線速度v作為模型的輸入?yún)?shù)。

本模型選用的是河南某廠1 200 mm四輥五機(jī)架的冷連軋生產(chǎn)線的數(shù)據(jù),各變量的范圍如表1所示。選取第3機(jī)架中3 000條連續(xù)的數(shù)據(jù)作為數(shù)據(jù)集。

對(duì)于得到的數(shù)據(jù)集,不同變量有著不同的量綱,其數(shù)值相差很大,直接使用原數(shù)據(jù)可能導(dǎo)致一些變量被忽略,影響模型的準(zhǔn)確度。故要對(duì)其進(jìn)行歸一化處理,本文選用min-max標(biāo)準(zhǔn)化將原數(shù)據(jù)轉(zhuǎn)換成[0,1]范圍內(nèi),進(jìn)行歸一化處理能夠提高模型收斂速度和預(yù)測準(zhǔn)確度。模型預(yù)測完后,對(duì)預(yù)測值進(jìn)行反歸一化可以得到實(shí)際預(yù)測值。該模型共使用3 000條數(shù)據(jù),其中前2 250條數(shù)據(jù)作為訓(xùn)練集,后750條數(shù)據(jù)作為測試集。訓(xùn)練集中的前1 000條數(shù)據(jù)用于初始化AEGRU網(wǎng)絡(luò),后1 250條數(shù)據(jù)先進(jìn)行特征提取再作為回歸擬合模型的訓(xùn)練集。

表1 第3機(jī)架軋制過程變量范圍Tab.1 The third frame rolling process variable range

3.2 仿真與分析

該軋制力模型包括特征提取和回歸擬合兩部分,模型中超參數(shù)通過試驗(yàn)法進(jìn)行選取。在特征提取過程中,通過試驗(yàn)法選定AEGRU網(wǎng)絡(luò)中隱藏層節(jié)點(diǎn)數(shù)量。隱藏層節(jié)點(diǎn)數(shù)與均方根誤差關(guān)系如圖7所示。從圖中可以看出,當(dāng)隱藏層節(jié)點(diǎn)數(shù)增加時(shí),均方根誤差能夠顯著降低,使模型擬合性能逐漸提高。當(dāng)隱藏層節(jié)點(diǎn)數(shù)為10時(shí),誤差達(dá)到最低為23.065;再繼續(xù)增加則會(huì)導(dǎo)致誤差有所增大,因此選擇隱藏層節(jié)點(diǎn)數(shù)為10(即AEGRU網(wǎng)絡(luò)中提取的新特征Z個(gè)數(shù))。

圖7 網(wǎng)絡(luò)隱藏層層數(shù)與預(yù)測誤差關(guān)系圖Fig.7 Plot of network hidden layers and prediction error

在特征提取過程中,為了提取數(shù)據(jù)的深層次特征,將AEGRU網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置為[8, 32, 10, 32, 8],訓(xùn)練代數(shù)為1 000。

圖8為LSTM模型的隱藏層神經(jīng)元個(gè)數(shù)、訓(xùn)練時(shí)batch_size大小與模型預(yù)測誤差之間的關(guān)系圖。從圖中可以看出,當(dāng)batch_size固定時(shí),隱藏層神經(jīng)元個(gè)數(shù)增加到32時(shí),預(yù)測誤差最低,繼續(xù)增加個(gè)數(shù),預(yù)測誤差不再發(fā)生明顯變化。當(dāng)固定隱藏層神經(jīng)元個(gè)數(shù),batch_size為10時(shí),模型預(yù)測誤差最小。因此,設(shè)置LSTM模型的隱藏層神經(jīng)元個(gè)數(shù)為32個(gè),batch_size為10,則LSTM模型結(jié)構(gòu)為[10, 32, 1]。

圖8 隱藏層神經(jīng)元個(gè)數(shù)、batch_size值與預(yù)測誤差關(guān)系圖Fig...8 The relationship between the number of hidden layer neurons, batch_size value and prediction error

LSTM模型的迭代次數(shù)與預(yù)測誤差關(guān)系如圖9所示。當(dāng)?shù)螖?shù)為1 000時(shí),預(yù)測誤差最低,之后則不再發(fā)生顯著變化。因此將LSTM模型的迭代次數(shù)設(shè)為1 000次。為了讓模型獲得更好的函數(shù)逼近能力且使其結(jié)構(gòu)簡單,激活函數(shù)選用tanh,比sigmoid的收斂速度更快,優(yōu)化器選用Adam優(yōu)化算法。

圖9 LSTM模型迭代次數(shù)與預(yù)測誤差關(guān)系圖Fig...9 Plot of LSTM model iteration number and prediction error

JITRVM模型的核函數(shù)選擇高斯核函數(shù),初始化α和σ2均取10-8,迭代次數(shù)取1 000。通過試驗(yàn)選定局部模型的大小為450。圖10為LSTM-JITRVM模型預(yù)測結(jié)果,從圖中可以看出,該模型擁有較高的預(yù)測準(zhǔn)確度,其預(yù)測值與真實(shí)值的散點(diǎn)圖完全位于±3%誤差線范圍內(nèi),能夠滿足實(shí)際生產(chǎn)的要求。圖11為該模型預(yù)測絕對(duì)誤差柱狀圖,結(jié)果顯示該模型的預(yù)測誤差分布均勻,且都集中在0點(diǎn)附近,模型有著穩(wěn)定的預(yù)測能力。

圖10 模型預(yù)測值與真實(shí)值對(duì)比圖Fig...10 A comparison of the predicted value and the real value of the model

圖11 絕對(duì)誤差柱狀圖Fig.11 Absolute error histogram

圖12 不同模型的預(yù)測絕對(duì)誤差對(duì)比圖Fig...12 Comparison graph of absolute error of different models

為了驗(yàn)證LSTM-JITRVM模型的有效性,將其與AEGRU-LSTM和AEGRU-GPR模型預(yù)測的絕對(duì)誤差進(jìn)行比較。其中高斯過程回歸(Gaussian process for regression,GPR)是1種基于貝葉斯理論和統(tǒng)計(jì)學(xué)習(xí)理論相結(jié)合的非參數(shù)模型。如圖12所示,由于測試集太大無法全部顯示,選取其中100個(gè)連續(xù)的測試樣本。模型都是由特征提取和回歸擬合2部分組成,且特征提取部分是完全相同的。在回歸擬合中,AEGRU-LSTM中LSTM的參數(shù)和LSTM-JITRVM中的相同,GPR模型中設(shè)置高斯噪聲為0.001。從圖中可以看出,LSTM-JITRVM模型的預(yù)測誤差波動(dòng)較小,其效果明顯優(yōu)于其他2種模型。

為了更好地比較軋制力預(yù)測效果,圖13展示了4種模型預(yù)測相對(duì)誤差的箱線圖。其中AE-GRU模型采用和AEGRU-GPR模型相同的層數(shù)、神經(jīng)元數(shù)量和GPR模型參數(shù)。在箱線圖中,箱子的寬度反映了數(shù)據(jù)的波動(dòng)程度,箱子中的線代表了數(shù)據(jù)的平均水平,箱子上部的點(diǎn)代表離群點(diǎn)。從圖13可以看出使用AEGRU網(wǎng)絡(luò)提取特征的3個(gè)模型效果更好,且LSTM-JITRVM模型的箱子寬度最窄,箱子中線最接近于0,離群點(diǎn)也更少,這表明該模型有更好的預(yù)測能力且更加穩(wěn)定。

圖13 不同模型的預(yù)測誤差對(duì)比圖Fig.13 Comparison graph of error of different models

為了定量說明模型的預(yù)測性能,表2列出了不同模型的參數(shù)對(duì)比結(jié)果。從表中可以看出使用AEGRU網(wǎng)絡(luò)進(jìn)行特征提取的模型性能更好,這是因?yàn)榧尤胙h(huán)神經(jīng)網(wǎng)絡(luò)的AEGRU網(wǎng)絡(luò)能夠保留歷史樣本特征,對(duì)新產(chǎn)生的數(shù)據(jù)進(jìn)行立即的在線學(xué)習(xí),并對(duì)模型進(jìn)行及時(shí)的在線校正,使提取的深層次特征更有效。軋制過程可看作是個(gè)時(shí)序過程,而LSTM模型在處理時(shí)序問題時(shí)很有效,對(duì)比第2種和第3種模型,AEGRU-LSTM模型的預(yù)測性能更好。由于回歸模型漂移問題的存在,引入了離群因子算法,對(duì)于離群點(diǎn)使用即時(shí)學(xué)習(xí)算法進(jìn)行建模,從后兩種方法可以看出,模型性能有了一定的提升。其中LSTM-JITRVM1表示只考慮歐式距離的LSTM-JITRVM模型,對(duì)比最后兩種方法,同時(shí)考慮歐式距離和余弦距離的LSTM-JITRVM模型擁有更好的預(yù)測性能。如表2所示,對(duì)5種模型進(jìn)行了預(yù)測結(jié)果對(duì)比,均方根誤差(RMSE)、平均絕對(duì)百分比誤差(MAPE)、決定系數(shù)(r2)為3種預(yù)測評(píng)價(jià)指標(biāo)。

表2 模型的預(yù)測結(jié)果對(duì)比Tab.2 Comparison of prediction results of the model

4 結(jié) 論

1)建立LSTM-JITRVM軋制力模型。針對(duì)淺層網(wǎng)絡(luò)不能提取樣本的深層次特征和傳統(tǒng)回歸模型長時(shí)間不更新導(dǎo)致的漂移問題,提出了一種基于LSTM-JITRVM的軋制力預(yù)測模型。該模型首先使用多層的循環(huán)自編碼網(wǎng)絡(luò)提取樣本的深層次特征,且由于循環(huán)網(wǎng)絡(luò)的存在能夠記憶歷史樣本特征,對(duì)模型進(jìn)行在線校正,使特征提取模型具有短期自學(xué)習(xí)能力。然后使用局部離群因子算法判斷測試樣本與其鄰域點(diǎn)是否屬于同一分布,即判斷模型是否可能產(chǎn)生概念漂移,針對(duì)不同分布使用不同的回歸模型進(jìn)行預(yù)測。LSTM模型能保存歷史樣本特征,對(duì)最新樣本進(jìn)行增量學(xué)習(xí),實(shí)現(xiàn)模型在線更新。JITRVM模型使用即時(shí)學(xué)習(xí)算法進(jìn)行在線建模,保證了模型的實(shí)時(shí)性。兩種回歸模型都能進(jìn)行實(shí)時(shí)更新,進(jìn)一步提高軋制力預(yù)測準(zhǔn)確度。

2)仿真實(shí)驗(yàn)表明,該方法實(shí)現(xiàn)了軋制力的高準(zhǔn)確度預(yù)測。相比于只在特征提取部分加入自學(xué)習(xí)的模型和未使用自學(xué)習(xí)回歸方法的模型,其預(yù)測誤差均有一定程度降低,預(yù)測性能有了很大提升。且該模型在特征提取和回歸擬合部分均實(shí)現(xiàn)了在線更新,能更好解決外部因素對(duì)模型的影響。綜上所述,該模型在實(shí)際生產(chǎn)中有潛在應(yīng)用價(jià)值。