陰艷超,蘇逸凡+,唐 軍,林文強,蒲昊苒,汪霖宇

(1.昆明理工大學(xué) 機電工程學(xué)院,云南 昆明 650500;2.云南中煙工業(yè)有限責(zé)任公司,云南 昆明 650024)

0 引言

流程工業(yè)對于國家經(jīng)濟的發(fā)展起到了至關(guān)重要的作用,影響力不容小覷,其安全高效生產(chǎn)及對生產(chǎn)過程指標變化趨勢的準確預(yù)測已成為流程生產(chǎn)過程監(jiān)控的重要任務(wù),具有及其重要的戰(zhàn)略意義[1]。與傳統(tǒng)的離散制造有所不同,流程生產(chǎn)具有質(zhì)量指標影響因素多且眾耦合復(fù)雜,工藝參數(shù)時序特征顯著,原料成分波動頻繁等特點[2],也決定了流程生產(chǎn)在原料特性和生產(chǎn)工況等內(nèi)外部條件變化時,如何及時感知預(yù)測工藝過程和產(chǎn)品質(zhì)量發(fā)生的各種變化,進而通過反饋調(diào)控來調(diào)整工藝參數(shù),保證生產(chǎn)全流程整體優(yōu)化運行成為亟待解決的問題[3-4]。

傳統(tǒng)的工藝質(zhì)量指標預(yù)測方法大多依賴于對生產(chǎn)過程非穩(wěn)定、非平衡和強非線性機理的理解,存在建模困難、預(yù)測精度低、可靠性難以保證等問題[5-8]。近年來,隨著工業(yè)互聯(lián)網(wǎng)技術(shù)的發(fā)展, 流程制造企業(yè)已采集了大量涉及生產(chǎn)運行、工藝、設(shè)備、過程、質(zhì)量的歷史數(shù)據(jù)[9-11]。

如何在不增加網(wǎng)絡(luò)復(fù)雜度和深度的情況下,進一步提高模型的預(yù)測精度是構(gòu)建工藝質(zhì)量指標預(yù)測模型的核心工作。何俊強等[19]以馬爾可夫鏈為基礎(chǔ)建立了一種自適應(yīng)的儲能需求功率預(yù)測模型,該模型能夠避免火電機組在調(diào)頻時儲能需求功率隨機性強而導(dǎo)致難以實施監(jiān)控的問題;WEI等[20]將馬爾可夫鏈和正交分解法結(jié)合,提出一種能夠在固態(tài)氣流環(huán)境下預(yù)測空氣中的氣態(tài)污染物的方法,并運用于飛機機艙模型,結(jié)果證明了該方法的優(yōu)勢。以上研究都是基于相關(guān)實際工業(yè)數(shù)據(jù)開展,其構(gòu)建的質(zhì)量預(yù)測模型對制造業(yè)中產(chǎn)品質(zhì)量預(yù)測均比較有效,也收獲了大量有益的成果,但針對復(fù)雜生產(chǎn)線工藝數(shù)據(jù)的高維性和時序性特點,以及數(shù)據(jù)間強耦合性等問題,最終工藝質(zhì)量的預(yù)測仍難以得到更為精準的預(yù)測結(jié)果。

為解決上述問題,本文提出一種基于馬爾可夫優(yōu)化的融合門控循環(huán)單元與長短期記憶網(wǎng)絡(luò)(Markov chain Gate recurrent unit Long Short-Term Memory networks,Mar-G LSTM)的工藝質(zhì)量預(yù)測模型。在工業(yè)生產(chǎn)流程中會產(chǎn)生大量的時序性工藝數(shù)據(jù),各數(shù)據(jù)之間存在著強烈的相關(guān)性,門控循環(huán)單元網(wǎng)絡(luò)適合處理具有時間關(guān)聯(lián)的序列性數(shù)據(jù),模型結(jié)構(gòu)較為簡單,訓(xùn)練參數(shù)相對較少,訓(xùn)練速度快,但會出現(xiàn)預(yù)測精度相對較低的情況。與門控循環(huán)單元網(wǎng)絡(luò)相比,長短期記憶網(wǎng)絡(luò)多一個“門”結(jié)構(gòu),模型參數(shù)多,內(nèi)部結(jié)構(gòu)相對復(fù)雜,訓(xùn)練精度高,因此將門控循環(huán)單元網(wǎng)絡(luò)和長短期網(wǎng)絡(luò)相結(jié)合,在提高預(yù)測精度和效率的同時解決了傳統(tǒng)循環(huán)網(wǎng)絡(luò)訓(xùn)練過程中易出現(xiàn)的梯度爆炸問題?？紤]到生產(chǎn)流程中產(chǎn)生的數(shù)據(jù)具有很強的時序性,各時刻的質(zhì)量指標數(shù)據(jù)都與歷史工藝參數(shù)和質(zhì)量指標之間有著非常密切的聯(lián)系,利用馬爾可夫模型可以從當前狀態(tài)推斷出未來的發(fā)展趨勢,根據(jù)GRU-LSTM模型訓(xùn)練時產(chǎn)生的誤差信息建立馬爾可夫模型,在避免引入其他變量使模型更加復(fù)雜的情況下進一步提高工藝質(zhì)量指標預(yù)測模型的預(yù)測精度。通過將Mar-G LSTM模型應(yīng)用于某流程生產(chǎn)線的數(shù)據(jù)中進行驗證,并與隨機森林[21]、長短期記憶網(wǎng)絡(luò)(LSTM)[22]、門控循環(huán)單元網(wǎng)絡(luò)(GRU)[23]、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)與門控循環(huán)單元組合網(wǎng)絡(luò)(CNN-GRU)[24]以及與其他組合模型的預(yù)測結(jié)果相比,其預(yù)測精度具有顯著提高,證實了Mar-G LSTM模型的有效性。

1 問題分析

近年來,大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等信息技術(shù)的快速發(fā)展,為流程制造車間帶來了巨大的變革,其智能化水平得以顯著提升,然而,如何在生產(chǎn)工程中精準地把控工藝質(zhì)量,仍然是當今研究的熱點問題。工藝質(zhì)量指標預(yù)測需要以生產(chǎn)流程中大量的歷史工藝數(shù)據(jù)作為輸入,以此來準確預(yù)測產(chǎn)品的質(zhì)量指標。以某制絲生產(chǎn)線為例,該生產(chǎn)線的松散回潮工序的工藝參數(shù)包括工藝熱風(fēng)溫度、蒸汽自動閥門開度、工藝流量、加水累計量、加水流量和物料累計量,工藝質(zhì)量指標包括出料溫度和出料含水率。在實際生產(chǎn)過程中,流程制造過程復(fù)雜,容易受到多方面的影響,且傳感器每6 s對數(shù)據(jù)進行采集并編制,每道工序?qū)a(chǎn)生大量的工藝數(shù)據(jù),得到工藝數(shù)據(jù)集,各工序的工藝質(zhì)量指標與歷史工藝數(shù)據(jù)存在極強的相關(guān)性。但在實際應(yīng)用中,數(shù)據(jù)間的時序依賴關(guān)系難以獲取且數(shù)據(jù)量大,這導(dǎo)致無法提前對質(zhì)量指標數(shù)據(jù)進行準確的預(yù)測,進而難以對生產(chǎn)過程進行合理的調(diào)控,最終成品的質(zhì)量也無法獲得保障。

工藝數(shù)據(jù)通常具有一定的時序性,傳統(tǒng)的工藝質(zhì)量預(yù)測模型難以捕獲到時序信息,且數(shù)據(jù)量較大時訓(xùn)練速度難以得到保障,因而本文借助門控循環(huán)單元網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)模型進行工藝質(zhì)量預(yù)測,它們共有的特征為在t時刻狀態(tài)到t+1時刻進行更新,t+1時刻的輸出由輸入和先前的隱藏狀態(tài)得來,以此來捕捉工藝時間序列中的依賴關(guān)系。門控循環(huán)單元網(wǎng)絡(luò)模型內(nèi)部每個隱層減少了幾個矩陣相乘,加快了訓(xùn)練速度,而長短期記憶網(wǎng)絡(luò)模型多出一個“門”結(jié)構(gòu)控制信息的流動,其內(nèi)部參數(shù)更多,擬合精度往往更高。由此將門控循環(huán)單元網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)模型結(jié)合,不僅可以提高預(yù)測效率,還可以保證預(yù)測精度,滿足車間工藝數(shù)據(jù)在線預(yù)測的需求。盡管神經(jīng)網(wǎng)絡(luò)可以有效地處理復(fù)雜的工藝數(shù)據(jù),但要想達到良好的預(yù)測效果,需要收集足夠多的樣本,以便于訓(xùn)練出更加穩(wěn)健的網(wǎng)絡(luò)結(jié)構(gòu),從而使得預(yù)測的準確性得到保障,若訓(xùn)練樣本數(shù)據(jù)不足,預(yù)測結(jié)果往往會有所波動,影響預(yù)測準確性。針對以上情況,通過運用馬爾可夫鏈分析神經(jīng)網(wǎng)絡(luò)模型的預(yù)測結(jié)果,根據(jù)真實值與擬合值之間誤差的波動幅度和發(fā)展趨勢得到狀態(tài)轉(zhuǎn)移概率矩陣,進而根據(jù)該矩陣對神經(jīng)網(wǎng)絡(luò)的擬合值進行修正,實現(xiàn)更加精準的工藝質(zhì)量數(shù)據(jù)預(yù)測。

2 Mar-G LSTM深度時序網(wǎng)絡(luò)模型

2.1 Mar-G LSTM網(wǎng)絡(luò)結(jié)構(gòu)

綜合考慮工藝質(zhì)量指標預(yù)測模型擬合精度和效率兩個方面的原因,建立基于門控循環(huán)單元網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)與馬爾可夫鏈的組合預(yù)測模型,具體包括3個部分:第一層結(jié)構(gòu)采用門控循環(huán)單元網(wǎng)絡(luò),發(fā)揮其網(wǎng)絡(luò)結(jié)構(gòu)較為簡單、參數(shù)少的優(yōu)勢,提高模型的訓(xùn)練時間和測試時間,從而保證組合模型的預(yù)測速度;第二層為長短期記憶網(wǎng)絡(luò)模型,LSTM模型的參數(shù)較多,結(jié)構(gòu)較復(fù)雜,對時序性數(shù)據(jù)預(yù)測具有較高的準確性,將二者結(jié)合能夠同時提高預(yù)測精度并減少預(yù)測時間;第三層結(jié)構(gòu)采用馬爾可夫模型,利用馬爾可夫模型能夠捕獲到神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中產(chǎn)生的預(yù)測誤差,并根據(jù)誤差劃分為不同的狀態(tài)空間,從而得到狀態(tài)轉(zhuǎn)移概率矩陣,根據(jù)矩陣對神經(jīng)網(wǎng)絡(luò)的預(yù)測值進行修正,以此進一步提升預(yù)測的準確性。 Mar-G LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Mar-G LSTM結(jié)構(gòu)圖

2.2 門控循環(huán)單元

流程工業(yè)生產(chǎn)中,伴隨著大量設(shè)備和智能產(chǎn)品的流入,工業(yè)數(shù)據(jù)的存儲量大規(guī)模增長。由于數(shù)據(jù)量龐大,各工藝之間有很強的時序性,工藝質(zhì)量預(yù)測問題僅通過分析當下工藝數(shù)據(jù)很難精確地預(yù)測出未來的產(chǎn)品質(zhì)量,從而使得工藝質(zhì)量的預(yù)測變得更加困難,因此需要同時引入歷史工藝數(shù)據(jù)集進行建模。傳統(tǒng)的預(yù)測模型在處理數(shù)據(jù)量較大的問題時,往往訓(xùn)練時間較長,難以滿足在線預(yù)測的要求,而以循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)為基礎(chǔ)改進后的門控循環(huán)單元網(wǎng)絡(luò),不但能夠避免RNN在時間步數(shù)較大或較小時引發(fā)的梯度爆炸和梯度彌散的問題,而且其內(nèi)部結(jié)構(gòu)相對于RNN網(wǎng)絡(luò)的另一種變體長短期記憶網(wǎng)絡(luò)模型少一個“門”結(jié)構(gòu),參數(shù)更少,訓(xùn)練速度更快。為保證在流程工業(yè)生產(chǎn)中進行實時預(yù)測,引入門控循環(huán)單元網(wǎng)絡(luò)提高模型的訓(xùn)練時間。將歷史工藝數(shù)據(jù)歸一化后作為網(wǎng)絡(luò)的輸入,獲取其潛在的深層關(guān)聯(lián)時序信息。

門控循環(huán)單元網(wǎng)絡(luò)GRU的單元結(jié)構(gòu)如圖2所示,它采用了隱藏狀態(tài)來傳遞信息,并且建立在長短期記憶網(wǎng)絡(luò)的基礎(chǔ)上,將輸入門與遺忘門合并成一個更新門,從而簡化了模型的組成,極大地降低了模型的復(fù)雜程度,有效地加快了模型的訓(xùn)練進程。然而,實際應(yīng)用中,由于其內(nèi)部參數(shù)變得很少,很難達到理想的訓(xùn)練效果。

圖2 門控循環(huán)單元網(wǎng)絡(luò)結(jié)構(gòu)圖

rt=σ(Wr·[ht-1,xt]+br),

(1)

zt=σ(Wz·[ht-1,xt]+br),

(2)

(3)

(4)

其中:Wr、Wz、Wh分別為重置門、更新門和隱藏狀態(tài)的權(quán)重矩陣;br、bz、bh為偏差向量;σ為激活函數(shù)Sigmoid,用于將值控制在[0,1]之間;tanh激活函數(shù)用于調(diào)節(jié)流經(jīng)網(wǎng)絡(luò)的信息,并歸一化在[-1,1]之間。

當更新門zt的值為0,重置門rt的值為1時,GRU的結(jié)構(gòu)與RNN一致;當更新門zt的值為0,重置門rt的值也為0時,信息狀態(tài)ht僅與t時刻輸入的工藝數(shù)據(jù)xt有關(guān);當更新門zt的值為1,重置門rt的值為0時,信息狀態(tài)ht僅與t-1時刻的工藝數(shù)據(jù)輸出信息ht-1有關(guān)。

2.3 深度LSTM網(wǎng)絡(luò)模型

長短期記憶網(wǎng)絡(luò)(LSTM)的工藝參數(shù)預(yù)測模型的單元結(jié)構(gòu)如圖3所示,共包括3個“門”結(jié)構(gòu)和細胞狀態(tài)信息,即輸入門(Input gate)、遺忘門(Forget gate)、輸出門(Output gate)、,3個“門”結(jié)構(gòu)的存在有助于保護和控制信息,而其核心結(jié)構(gòu)細胞狀態(tài)則決定工藝信息保留的程度。

圖3 長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)圖

ft=σ(Wf·[ht-1,xt]+bf),

(5)

it=σ(Wi·[ht-1,xt]+bi),

(6)

(7)

(8)

ot=σ(Wo·[ht-1,xt]+bo),

(9)

ht=ot·tanh(Ct)。

(10)

其中:Wi、Wf、Wc和Wo分別為輸入門、遺忘門、狀態(tài)更新層和輸出門的權(quán)重矩陣;bf、bi、bc和bo分別為輸入門、遺忘門、狀態(tài)更新層和輸出門的偏差向量;σ為激活函數(shù)Sigmoid,用于將值控制在[0,1]之間;tanh激活函數(shù)用于調(diào)節(jié)流經(jīng)網(wǎng)絡(luò)的信息,并歸一化在[-1,1]之間。

由于門控循環(huán)單元網(wǎng)絡(luò)較為精簡的內(nèi)部結(jié)構(gòu),其預(yù)測精度難以得到保證,為進一步提升模型的預(yù)測精度,同時避免因部分產(chǎn)線工藝數(shù)據(jù)不足無法精準建模等問題,在門控循環(huán)單元網(wǎng)絡(luò)的基礎(chǔ)上融入長短期記憶網(wǎng)絡(luò)模型[25]。長短期記憶網(wǎng)絡(luò)模型使得信息在跨過多個時間步依然可以保存下來,同時也允許梯度跨過多個時間步進行傳遞,其結(jié)構(gòu)較復(fù)雜,訓(xùn)練參數(shù)更多,預(yù)測精度往往更高。基于門控循環(huán)單元網(wǎng)絡(luò),利用長短期記憶網(wǎng)絡(luò)對歷史工藝數(shù)據(jù)中的時序信息進行提取,并使用Relu函數(shù)進行激活,最后添加Dense層,以增強時間序列與預(yù)測結(jié)果之間的關(guān)聯(lián),并將輸出結(jié)果進行反歸一化,從而得到GRU-LSTM組合網(wǎng)絡(luò)的預(yù)測結(jié)果。GRU-LSTM結(jié)構(gòu)圖如圖4所示。

圖4 GRU-LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4 G LSTM的馬爾可夫優(yōu)化

馬爾可夫鏈(Markov chain)[26]也稱為離散時間馬爾可夫鏈(discrete-time Markov chain),最早是由俄國數(shù)學(xué)家安德雷·馬爾可夫提出并對其進行研究,主要應(yīng)用于分析當前和未來的變化趨勢,以便更好地把握和預(yù)測未來的發(fā)展情況。馬爾可夫鏈在工藝質(zhì)量指標預(yù)測模型中具有以下概念:

(1)狀態(tài)空間 事件在某時刻呈現(xiàn)的某種結(jié)果稱為“狀態(tài)”,所有“狀態(tài)”構(gòu)成的集合為狀態(tài)空間。在Mar-G LSTM模型中,“狀態(tài)”指GRU-LSTM模型擬合后的預(yù)測值與真實值之間的相對殘差,根據(jù)相對殘差的波動情況和趨勢劃分為不同的區(qū)間范圍,構(gòu)成Mar-G LSTM狀態(tài)空間集合。

(2)狀態(tài)轉(zhuǎn)移 在事件發(fā)展的過程中,伴隨時間的變化由一個狀態(tài)向另一個狀態(tài)轉(zhuǎn)變,稱為狀態(tài)轉(zhuǎn)移。

(3)狀態(tài)轉(zhuǎn)移概率 事件在t時刻處于某一狀態(tài),伴隨時間的變化,在下一時刻轉(zhuǎn)移到下一個狀態(tài)概率稱為狀態(tài)轉(zhuǎn)移概率。在工藝質(zhì)量預(yù)測模型中指訓(xùn)練數(shù)據(jù)的相對殘差隨著采集時間的變化狀態(tài)進行轉(zhuǎn)移的概率。例如從狀態(tài)?Sa轉(zhuǎn)移到狀態(tài)?Sb的狀態(tài)轉(zhuǎn)移概率的計算方式如下所示:

(11)

其中:Eab為從?Sa狀態(tài)經(jīng)過一步轉(zhuǎn)移到?Sb狀態(tài)的樣本數(shù),Ea為位于?Sa狀態(tài)的樣本數(shù)。

(4)狀態(tài)轉(zhuǎn)移概率矩陣 在時序性工藝數(shù)據(jù)中,每個時刻的數(shù)據(jù)都處于一種狀態(tài),而狀態(tài)轉(zhuǎn)移概率矩陣由各數(shù)據(jù)從當前時刻的狀態(tài)轉(zhuǎn)移到下一時刻狀態(tài)所有可能的概率構(gòu)成。假定共有n種狀態(tài),Pab為從狀態(tài)?Sa經(jīng)過一步轉(zhuǎn)移到狀態(tài)?Sb的狀態(tài)轉(zhuǎn)移概率,即可得到狀態(tài)轉(zhuǎn)移概率矩陣P:

(12)

若預(yù)測的工藝質(zhì)量指標數(shù)據(jù)的相對殘差在某一時刻處于狀態(tài)?S1,則在下一時刻它可能轉(zhuǎn)移到狀態(tài)?S1,?S2,…,?Sn中的任一狀態(tài),狀態(tài)轉(zhuǎn)移概率Pab滿足以下條件:

(13)

(14)

由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練后的網(wǎng)絡(luò)結(jié)構(gòu)往往存在一定的不完全穩(wěn)定性,影響模型的擬合效果,而根據(jù)馬爾可夫鏈的性質(zhì)可知,它能有效地預(yù)見并消除隨機因素產(chǎn)生的誤差。因此為了進一步提高工藝質(zhì)量預(yù)測模型的精度,在GRU-LSTM組合網(wǎng)絡(luò)完成預(yù)測后引入馬爾可夫模型,通過計算訓(xùn)練數(shù)據(jù)工藝質(zhì)量指標實際值序列和預(yù)測值序列之間的相對殘差進而劃分狀態(tài)空間,根據(jù)狀態(tài)空間計算訓(xùn)練數(shù)據(jù)的狀態(tài)轉(zhuǎn)移概率矩陣,以狀態(tài)轉(zhuǎn)移概率矩陣為依據(jù)預(yù)測工藝質(zhì)量指標下一時刻可能所處的狀態(tài)并進行修正,提高模型的擬合精度。具體如下:

(1)計算訓(xùn)練集實際值序列和預(yù)測值序列的相對殘差序列,以波動性大且較為平穩(wěn)的相對殘差序列劃分模型的狀態(tài)空間,相對殘差ηi和狀態(tài)空間?Sa的計算公式分別為:

(15)

(16)

(2)根據(jù)相對殘差序列確定每個訓(xùn)練數(shù)據(jù)所處的狀態(tài)空間,結(jié)合數(shù)據(jù)間的狀態(tài)空間變化情況計算出訓(xùn)練集樣本的n步狀態(tài)轉(zhuǎn)移概率矩陣P(n):

(17)

(18)

(3)根據(jù)求得的狀態(tài)轉(zhuǎn)移概率矩陣得到下一個時刻的工藝數(shù)據(jù)最大概率所處的狀態(tài)空間,進而對GRU-LSTM模型擬合出的工藝質(zhì)量指標預(yù)測值進行修正,得到更為精準的預(yù)測結(jié)果。具體修正方法如式(19)所示:

(19)

3 算例與結(jié)果分析

3.1 Mar-G LSTM深度時序網(wǎng)絡(luò)模型的預(yù)測性能

3.1.1 實驗環(huán)境

為驗證Mar-G LSTM模型的普適性和精確度,筆者進行了多次實驗。本次實驗平臺為個人計算機,CPU為Core(TM) i7-12700,配備32.0 GB的RAM,GPU為NVIDIA GeForce RTX 4090。并使用Window 11操作系統(tǒng),通過在Keras框架下和Python 3.6的基礎(chǔ)上,利用PyCharm社區(qū)版集成開發(fā)工具建立預(yù)測模型,以此來實現(xiàn)Mar-G LSTM算法模型的應(yīng)用。

3.1.2 實驗數(shù)據(jù)

本次實驗以某企業(yè)流程生產(chǎn)線的一道工序時序數(shù)據(jù)作為數(shù)據(jù)集,該生產(chǎn)線的整體工藝流程包括:松散回潮、一級加料、二級加料、切葉絲、葉絲增溫增濕、葉絲干燥和加香,實驗針對松散回潮工序為主要案例進行分析。作為制絲生產(chǎn)工藝中首道工序,松散回潮是制絲生產(chǎn)過程中至關(guān)重要的一步,也是核心工序之一,它旨在通過調(diào)節(jié)煙片的含水率和溫度來顯著提升葉絲的耐加工能力,從而使得最終的卷煙產(chǎn)品具有更好的口感和更優(yōu)良的質(zhì)量。在制絲生產(chǎn)線上,傳感器每6 s收集一次樣本數(shù)據(jù),并將其存儲在制造執(zhí)行系統(tǒng)(Manufacturing Execution System,MES)數(shù)據(jù)庫中,以便獲取歷史記錄,排除所有離散奇異點后,最終作為實驗數(shù)據(jù)的主要來源。

為驗證Mar-G LSTM算法的有效性,本實驗使用生產(chǎn)線采集的2022年10月8日～2022年10月12日之間的數(shù)據(jù)作為數(shù)據(jù)集進行驗證,數(shù)據(jù)集部分原始數(shù)據(jù)如表1所示,共5000組數(shù)據(jù)。在數(shù)據(jù)集中共包含6個工藝參數(shù),分別為松散回潮的工藝流量、加水流量、工藝熱風(fēng)溫度、加水累計量、物料累計量和蒸汽自動閥門開度,質(zhì)量指標為松散回潮出料溫度,每組數(shù)據(jù)都包含其采集的日期信息。由于神經(jīng)網(wǎng)絡(luò)模型需要大量的樣本數(shù)據(jù)進行訓(xùn)練以保證網(wǎng)絡(luò)結(jié)果的穩(wěn)定,將采集的工藝數(shù)據(jù)按照4∶1的比例進行劃分,其中訓(xùn)練集數(shù)據(jù)4 000條,測試集數(shù)據(jù)1 000條。

表1 數(shù)據(jù)集部分原始數(shù)據(jù)

3.1.3 實驗參數(shù)

獲取數(shù)據(jù)后,為避免各工藝參數(shù)之間因量綱的差異影響模型的擬合效果,首先對各工藝數(shù)據(jù)進行歸一化處理,使得原始數(shù)據(jù)能夠被統(tǒng)一到[0,1]范圍內(nèi),從而更好地進行綜合對比評價,具體計算方法見式(20)。GRU-LSTM模型的參數(shù)如表2所示。在工藝參數(shù)預(yù)測模型中,第一層為GRU模型,神經(jīng)元個數(shù)設(shè)置為256個,激活函數(shù)為Relu,學(xué)習(xí)率為0.001,return_sequences參數(shù)設(shè)為True,Dropout率設(shè)為0.2;第二層為LSTM模型,神經(jīng)元個數(shù)設(shè)置為256個,激活函數(shù)為Relu,學(xué)習(xí)率為0.001;batch_size為128,優(yōu)化器選用adam,為防止網(wǎng)絡(luò)層堆疊不穩(wěn)定對預(yù)測結(jié)果產(chǎn)生影響,在最后加入Dense全連接層進行調(diào)節(jié),層數(shù)為1層,將最終的輸出結(jié)果進行反歸一化,得到下一時刻出料溫度的預(yù)測結(jié)果。

(20)

表2 訓(xùn)練參數(shù)設(shè)置

其中,Xmin、Xmax分別為原始各工藝數(shù)據(jù)序列中最小值和最大值;X為當前工藝數(shù)據(jù)值;Xscale為經(jīng)過歸一化后的工藝數(shù)據(jù)值。

在訓(xùn)練時間步長的設(shè)置上選取的參數(shù)n_steps=20,即用20組歷史工藝數(shù)據(jù)來預(yù)測第21條的工藝質(zhì)量指標,如此滾動計算直至遍歷所有數(shù)據(jù)輸出預(yù)測結(jié)果。當對步長進行選取時,應(yīng)保持一個適中的范圍,步長過大會導(dǎo)致模型忽略前期的數(shù)據(jù),而步長太小又會使得模型難以捕捉到潛伏在時間序列中的信息,從而降低了網(wǎng)絡(luò)模型的準確性。通過對模型進行調(diào)試認為將步長設(shè)為20預(yù)測效果最佳。

3.1.4 實驗過程

首先,提取GRU-LSTM模型松散回潮工序出料溫度的訓(xùn)練集擬合值,計算相對殘差值(如式(15)),相對殘差的結(jié)果側(cè)面反映了擬合值預(yù)測誤差的大小,其越接近0,則出料溫度真實值與擬合值之間的誤差越小。最終計算的相對殘差結(jié)果如表3所示,按照2.4節(jié)所述對擬合值進行修正,具體如下:

表3 訓(xùn)練集的狀態(tài)空間劃分

(1)狀態(tài)區(qū)間劃分

根據(jù)訓(xùn)練集出料溫度的實際序列和GRU-LSTM模型預(yù)測序列的差異,進而劃分狀態(tài)區(qū)間?Sa=[Sa1,Sa2]。本實驗將擬合值劃分為如下4個狀態(tài):①預(yù)測值狀態(tài)(?S1):即相對殘差在[-0.008,-0.003)之間;②預(yù)測值狀態(tài)(?S2):即相對殘差在[-0.003,0)之間;③預(yù)測值狀態(tài)(?S3):即相對殘差在[0,0.004)之間;④預(yù)測值狀態(tài)(?S4):即相對殘差在[0.004,0.014]之間。由此將擬合值劃分到對應(yīng)的狀態(tài)空間,如表3所示。

(2)狀態(tài)轉(zhuǎn)移概率矩陣

根據(jù)表3中訓(xùn)練集所屬的狀態(tài)空間,可以得到松散回潮出料溫度的一步狀態(tài)轉(zhuǎn)移概率矩陣:

(21)

(3)組合模型預(yù)測

由表3可知,第4000條出料溫度處于?S2狀態(tài),由式(21)狀態(tài)轉(zhuǎn)移概率矩陣可知,經(jīng)過一步轉(zhuǎn)移后,第4001條出料溫度最有可能處于?S2狀態(tài),據(jù)式(19)即可得到馬爾可夫修正后的擬合值。在對第4002條出料溫度的狀態(tài)空間進行分析時,將第4001條出料溫度所處的狀態(tài)空間作為已知數(shù)據(jù),按照上述方法重復(fù),可以計算得到其余數(shù)據(jù)的馬爾可夫修正后的擬合值,若測試集的相對殘差超過劃分的狀態(tài)空間范圍,則按?S1狀態(tài)或?S4狀態(tài)進行修正。馬爾可夫修正前后擬合值如表4和圖5所示,計算兩種模型的相對殘差得到平均相對殘差值,如表5所示。

表4 測試集真實值、GRU-LSTM擬合值與馬爾可夫修正值情況

表5 GRU-LSTM和Mar-G LSTM預(yù)測結(jié)果相對殘差對比

圖5 GRU-LSTM和Mar-G LSTM與真實值擬合圖

3.1.5 模型評價指標

為驗證本文所提工藝質(zhì)量指標預(yù)測模型的性能,選擇使用決定系數(shù)R2、均方根誤差RMSE、平均絕對誤差MAE和均方誤差MSE作為模型的評價指標。一般情況下,R2越接近1,則模型的擬合效果越好,RMSE、MAE和MSE的值越小,則回歸分析的差異程度越低,模型的擬合性能越好。各指標的計算公式如下:

(22)

(23)

(24)

(25)

3.2 消融實驗

本文通過消融實驗驗證Mar-G LSTM模型在提升工藝質(zhì)量指標預(yù)測準確率方面的有效性,共使用5種模型訓(xùn)練同一組工藝數(shù)據(jù),并將擬合結(jié)果進行對比,5種模型分別為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)門控循環(huán)單元(GRU)網(wǎng)絡(luò)和長短期記憶(LSTM)網(wǎng)絡(luò),GRU-LSTM組合網(wǎng)絡(luò),以及分別經(jīng)馬爾可夫修正后的門控循環(huán)單元網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)。實驗結(jié)果如表6和圖6所示。消融實驗各模型的相對殘差對比結(jié)果如表7和圖7所示。

表6 消融實驗預(yù)測分析表

表7 消融實驗平均相對殘差對比

圖6 消融實驗預(yù)測結(jié)果對比

圖7 消融實驗相對殘差對比

由表6中的實驗結(jié)果比較可知,GRU-LSTM模型的預(yù)測精度優(yōu)于單層門控循環(huán)單元和長短期記憶網(wǎng)絡(luò)模型。雖然單層的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)較少,訓(xùn)練時間相對較短,但模型的學(xué)習(xí)能力相比于組合網(wǎng)絡(luò)有所下降,相比之下,GRU-LSTM組合的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜且參數(shù)多,而訓(xùn)練時間相比于預(yù)測性能較好的長短期記憶網(wǎng)絡(luò)僅增加了2.39s。引入馬爾可夫模型后,單層門控循環(huán)單元網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的擬合度均有10%左右的提高,但訓(xùn)練時間僅增加了1.5s左右。由實驗可證明本文所提Mar-G LSTM模型結(jié)合門控循環(huán)單元網(wǎng)絡(luò)訓(xùn)練速度快、長短期記憶網(wǎng)絡(luò)預(yù)測精度高和馬爾可夫模型消除誤差的優(yōu)勢,有效提高模型的預(yù)測精度和預(yù)測效率。

3.3 對比試驗

為說明本文提出的模型在車間工藝質(zhì)量預(yù)測中的優(yōu)勢,將本文提出的Mar-G LSTM模型的預(yù)測效果與傳統(tǒng)的機器學(xué)習(xí)模型隨機森林、XGBoost,神經(jīng)網(wǎng)絡(luò)預(yù)測模型RNN和CNN-GRU,以及利用馬爾可夫修正后的組合模型Mar-RNN、Mar-CNN-GRU的擬合效果進行了對比,預(yù)測結(jié)果的各評價指標如表8所示,預(yù)測對比圖如圖8所示,各對比模型平均相對殘差結(jié)果如表9所示,相對殘差對比結(jié)果如果9所示?？梢?在使用Mar-G LSTM模型進行質(zhì)量指標預(yù)測時,其擬合度較其他6種模型均有明顯提高,體現(xiàn)了本文模型在預(yù)測精度方面的優(yōu)勢。傳統(tǒng)的機器學(xué)習(xí)模型雖然訓(xùn)練速度快,但在處理數(shù)據(jù)量較大的情況時,擬合度較低,無法保證預(yù)測精度;組合網(wǎng)絡(luò)模型相比于單層神經(jīng)網(wǎng)絡(luò)模型,其內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜參數(shù)較多,因此在訓(xùn)練模型的時間上有所耗費。由表8可以看出,在保證85%以上的預(yù)測精度情況下,經(jīng)過馬爾可夫修正后的GRU-LSTM組合網(wǎng)絡(luò)模型相較于修正后的RNN模型時間上僅增加了4.79 s,而擬合度提高了10%左右,相較于馬爾可夫修正后的CNN-GRU模型,Mar-G LSTM模型訓(xùn)練時間縮短了1.33 s,擬合度提高了3.86%,可以說明本文模型在保證預(yù)測效率的情況下,提高了模型的預(yù)測精度。

表8 對比模型預(yù)測結(jié)果評價指標

表9 對比模型平均相對殘差

圖8 對比實驗預(yù)測結(jié)果對比

圖9 對比實驗相對殘差對比

3.4 泛化性驗證

在實際流程生產(chǎn)過程中,預(yù)測模型若僅適用于某道工序是無法進行應(yīng)用的,模型的泛化能力也是判斷模型是否適用于生產(chǎn)線的重要標準。為驗證本文所提Mar-G LSTM模型的泛化能力,將模型應(yīng)用到一級加料和薄板干燥工序中預(yù)測其質(zhì)量指標。

(1)一級加料 該工序共包含7項工藝參數(shù),分別為料液流量、料液累計量、料液溫度、工藝流量、加水流量、物料累計量和工藝熱風(fēng)溫度,工藝質(zhì)量指標為出料溫度,共收集5000條工藝數(shù)據(jù)生成新的數(shù)據(jù)集。

(2)薄板干燥 該工序的工藝參數(shù)共包含10項,分別為葉絲增溫增濕工藝流量、切葉絲含水率、薄板干燥熱風(fēng)風(fēng)速、薄板干燥熱風(fēng)溫度、葉絲增溫增濕蒸汽流量、葉絲冷卻出料含水率、薄板干燥Ⅰ區(qū)筒壁溫度、薄板干燥Ⅱ區(qū)筒壁溫度、葉絲干燥筒壁Ⅰ區(qū)蒸汽閥門開度以及葉絲干燥筒壁Ⅱ區(qū)蒸汽閥門開度,工藝質(zhì)量指標為出料溫度,共收集5000條數(shù)據(jù)作為新的數(shù)據(jù)集。

本文提出的Mar-G LSTM模型在一級加料和薄板干燥兩道工序上的測試結(jié)果如表10所示,擬合情況如圖10和圖11所示。由預(yù)測結(jié)果可以看出Mar-G LSTM模型在不同工序下的預(yù)測精度均在95%以上,證明該工藝質(zhì)量指標預(yù)測模型具有良好的泛化性能,能夠有效地應(yīng)對制絲生產(chǎn)線不同工序的工藝變化。

表10 不同工序Mar-G LSTM模型泛化能力測試結(jié)果

圖10 一級加料預(yù)測結(jié)果對比

圖11 薄板干燥預(yù)測結(jié)果對比

4 結(jié)束語

針對目前工藝質(zhì)量預(yù)測模型對于具有關(guān)聯(lián)性和時序性特征的數(shù)據(jù)進行預(yù)測時其精度較低且預(yù)測周期較長的問題,本文提出一種基于Mar-G LSTM的車間工藝質(zhì)量預(yù)測算法模型,并對該方法的預(yù)測效果進行了實例分析和評估,主要結(jié)論如下:

(1)GRU-LSTM模型在工藝質(zhì)量預(yù)測中能有效提升曲線擬合精度。在實驗中GRU-LSTM模型的平均相對殘差相對門控循環(huán)單元網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)模型分別下降了0.07%和0.03%,這一結(jié)果表明GRU-LSTM模型的工藝質(zhì)量預(yù)測的準確性優(yōu)于單層網(wǎng)絡(luò)模型。

(2)在GRU-LSTM模型后引入馬爾可夫模型進行修正,能夠更加準確地描述工藝質(zhì)量指標的變化規(guī)律,提高預(yù)測精度。在對比實驗中,Mar-G LSTM模型的相對殘差、RMSE、MAE、MSE均小于其他6種預(yù)測模型,決定系數(shù)R2明顯大于其他預(yù)測模型。實驗結(jié)果表明,本文所提預(yù)測模型在工藝質(zhì)量指標預(yù)測中誤差小,預(yù)測結(jié)果更為準確,對于在生產(chǎn)線中提高產(chǎn)品質(zhì)量的穩(wěn)定性具有一定的意義。

本研究驗證了將基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型與馬爾可夫鏈結(jié)合完成不同工序的車間工藝質(zhì)量預(yù)測,為實際車間生產(chǎn)中完成在線預(yù)測提供了新的方向,未來將運用在線工藝數(shù)據(jù)驗證本網(wǎng)絡(luò)模型實用性并加以改進。