任巍，翟博豪，彭煒淞

（1.山西太鋼不銹鋼股份有限公司冷軋廠，山西 太原 030003；2.天津電氣科學(xué)研究院有限公司，天津 300180）

在現(xiàn)代工業(yè)過程中，某些關(guān)鍵性指標(biāo)的預(yù)測(cè)對(duì)安全、環(huán)保生產(chǎn)而言顯得越來越重要，其很大程度上決定著生產(chǎn)過程的規(guī)劃及產(chǎn)品的質(zhì)量[1]。近年來，基于數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)模型在冶金、生化工業(yè)等領(lǐng)域非常流行且有效，這主要得益于大量的過程歷史數(shù)據(jù)[2]。數(shù)據(jù)驅(qū)動(dòng)模型無需對(duì)生產(chǎn)的物理化學(xué)過程進(jìn)行深入了解，僅基于生產(chǎn)變量間的關(guān)系進(jìn)行建模。與機(jī)理模型相比，其具有成本低、響應(yīng)快、維護(hù)方便等優(yōu)點(diǎn)[3]。

過程數(shù)據(jù)的特征表示在建立精確的預(yù)測(cè)模型中起著不可或缺的作用[4]。由于過程數(shù)據(jù)的高維、大容量增長(zhǎng)，在捕獲復(fù)雜數(shù)據(jù)特征方面受到限制。這使得傳統(tǒng)的特征學(xué)習(xí)方法，如典型相關(guān)分析（canonical correlation analysis，CCA），主成分分析（principal component analysis，PCA）和偏最小二乘（partial least squares，PLS）等淺層學(xué)習(xí)網(wǎng)絡(luò)模型，難以在現(xiàn)代大規(guī)模流程中描述數(shù)據(jù)。與淺層模型相比，多層神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的非線性建模能力。由于多層非線性的堆疊結(jié)構(gòu)，深度神經(jīng)網(wǎng)絡(luò)能夠處理任何高度非線性的數(shù)據(jù)關(guān)系[5]。深度網(wǎng)絡(luò)主要以分層無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)的方式進(jìn)行訓(xùn)練，為此開發(fā)了深度信念網(wǎng)絡(luò)（deep belief network，DBN）、長(zhǎng)短期記憶（long and short term memory，LSTM）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、堆疊自編碼器（stack autoencoder，SAE）等深度學(xué)習(xí)模型。

在以上模型中，雖然分層預(yù)訓(xùn)練方式可以從工業(yè)過程數(shù)據(jù)中學(xué)習(xí)到層次特征，但是大多數(shù)深度網(wǎng)絡(luò)主要基于無監(jiān)督訓(xùn)練的方式對(duì)原始輸入數(shù)據(jù)進(jìn)行特征表示，因此提取的特征可能不適合用于目標(biāo)預(yù)測(cè)過程。以無監(jiān)督的方式進(jìn)行預(yù)訓(xùn)練往往會(huì)忽略引導(dǎo)特征學(xué)習(xí)重要參數(shù)。在實(shí)際應(yīng)用中，只有從原始輸入數(shù)據(jù)中提取有用的信息，才能進(jìn)行高精度預(yù)測(cè)。

為此，本文提出一種基于半監(jiān)督堆疊自編碼器（semi-supervised stacked autoencoder，SS-SAE）的深度分層預(yù)處理框架，用于軋制力預(yù)測(cè)建模研究。將半監(jiān)督自編碼器（semi-supervised autoencoder，SS-AE）的編碼器部分級(jí)聯(lián)起來，構(gòu)建一個(gè)深度網(wǎng)絡(luò)，實(shí)現(xiàn)與預(yù)測(cè)目標(biāo)相關(guān)的分層特征表示。通過改進(jìn)特征學(xué)習(xí)的約束條件，使其在重構(gòu)輸入的同時(shí)，預(yù)測(cè)目標(biāo)數(shù)據(jù)。然后疊加多個(gè)SS-AE模型，對(duì)原始輸入數(shù)據(jù)進(jìn)行連續(xù)提取，進(jìn)而從低階特征中逐層提取高階目標(biāo)相關(guān)特征。最后，將輸出層添加至SS-SAE的頂層特征層，對(duì)軋制力進(jìn)行預(yù)測(cè)。

1 半監(jiān)督自編碼器

1.1 自編碼器

自編碼器是一個(gè)輸入層神經(jīng)元數(shù)量等于輸出層數(shù)量的三層神經(jīng)網(wǎng)絡(luò)。如圖1 所示，其網(wǎng)絡(luò)結(jié)構(gòu)分為編碼層和解碼層兩部分。

圖1 自編碼器模型結(jié)構(gòu)Fig.1 Structure of autoencoder

首先，輸入數(shù)據(jù)x經(jīng)編碼層映射至隱藏層，以提取有效特征h。在解碼層中，有效特征h經(jīng)非線性重構(gòu)轉(zhuǎn)換為輸出數(shù)據(jù)z。通過設(shè)定損失函數(shù)，使輸出最大限度等于輸入。

編碼層訓(xùn)練過程如下：

式中：N為訓(xùn)練所需的總樣本數(shù)。

1.2 半監(jiān)督自編碼器

AE 是一個(gè)無監(jiān)督的自學(xué)習(xí)編解碼器網(wǎng)絡(luò)。編碼器將輸入層映射到隱藏層的特征，解碼器確保學(xué)習(xí)到的特征具有某些特定的屬性。由于AE的目標(biāo)是通過重構(gòu)輸入來學(xué)習(xí)特征，因此潛在特征需要可以在很大程度上重構(gòu)其輸入數(shù)據(jù)。然而，對(duì)于回歸預(yù)測(cè)建模，重要的是學(xué)習(xí)有用的與預(yù)測(cè)目標(biāo)相關(guān)特征。若學(xué)習(xí)具有較低相關(guān)性的特征，則會(huì)導(dǎo)致預(yù)測(cè)性能下降。AE 作為一種無監(jiān)督模型，不能保證特征與標(biāo)簽值的相關(guān)性，在提取特征過程中，可能存在許多不利于目標(biāo)預(yù)測(cè)的無關(guān)信息。針對(duì)這一問題，設(shè)計(jì)了一種半監(jiān)督自編碼器（SS-AE）網(wǎng)絡(luò)模型，用于預(yù)訓(xùn)練階段學(xué)習(xí)與目標(biāo)相關(guān)的特征，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。在SS-AE 網(wǎng)絡(luò)中，使用編碼器從輸入數(shù)據(jù)生成隱藏特性。然后，利用隱藏特征重構(gòu)輸入數(shù)據(jù)的同時(shí)，預(yù)測(cè)輸出層的目標(biāo)值。通過將標(biāo)簽值信息加入到網(wǎng)絡(luò)中，并使用標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，可以提取與目標(biāo)相關(guān)的特征，減少不相關(guān)信息。

圖2 半監(jiān)督自編碼器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of semi-supervised autoencoder

由SS-AE 的網(wǎng)絡(luò)結(jié)構(gòu)圖可知，該模型的損失函數(shù)為

式中：y?為目標(biāo)值y的預(yù)測(cè)值；λ為權(quán)重系數(shù)。

改進(jìn)后的損失函數(shù)將標(biāo)簽值信息加入至訓(xùn)練過程中，使得訓(xùn)練過程轉(zhuǎn)為半監(jiān)督模式，提高了特征提取的有效性。通過調(diào)整λ，可以改變標(biāo)簽值信息對(duì)重構(gòu)過程的影響。

傳統(tǒng)梯度下降方法中，每次迭代中使用所有樣本進(jìn)行訓(xùn)練。當(dāng)訓(xùn)練樣本較多時(shí)，訓(xùn)練過程較慢。小批量梯度下降將輸入樣本分為若干個(gè)相同大小的子集。每次迭代中，僅使用單個(gè)子集進(jìn)行訓(xùn)練，提高了訓(xùn)練過程的靈活性，特別適用于大樣本的訓(xùn)練過程。為了加快網(wǎng)絡(luò)訓(xùn)練過程，SS-AE模型使用小批量梯度下降的方式進(jìn)行訓(xùn)練，具體訓(xùn)練過程如圖3所示。

圖3 單輪損失小批量梯度下降訓(xùn)練過程Fig.3 Single epoch loss function calculation of mini-batch gradient descent

Adam 優(yōu)化算法為模型中的每個(gè)參數(shù)提供自適應(yīng)的學(xué)習(xí)率，可進(jìn)一步提高訓(xùn)練效率，其過程如表1所示。為此，引入Adam優(yōu)化算法優(yōu)化模型的梯度下降過程。

表1 Adam優(yōu)化算法偽代碼Tab.1 Pseudocode of Adam optimization algorithm

1.3 半監(jiān)督堆疊自編碼器

為了逐步減少不相關(guān)信息，學(xué)習(xí)與目標(biāo)相關(guān)的深層特征，將多個(gè)半監(jiān)督自編碼器堆疊設(shè)計(jì)，構(gòu)成SS-SAE 的深層網(wǎng)絡(luò)結(jié)構(gòu)。其結(jié)構(gòu)如圖4 所示，前一個(gè)SS-AE 的隱藏層作為下一個(gè)SS-AE 的輸入層。通過改進(jìn)損失函數(shù)，將標(biāo)簽值信息加入到逐層的特征提取過程中。然后，學(xué)習(xí)到的深層特征可以用于目標(biāo)值預(yù)測(cè)。

圖4 半監(jiān)督堆疊自編碼器結(jié)構(gòu)圖Fig.4 Structure diagram of SS-SAE

SS-SAE使用貪婪逐層訓(xùn)練的方式進(jìn)行學(xué)習(xí)。對(duì)于一個(gè)Km層的堆疊結(jié)構(gòu)SS-SAE，首先，對(duì)SSAE1進(jìn)行訓(xùn)練，將其輸入向量x1映射至隱藏層h1中，通過最小化其損失函數(shù)l1提取x1的特征h1。然后，將h1作為SS-AE2的輸入數(shù)據(jù)，用于提取高階數(shù)據(jù)h2。按以上步驟，逐個(gè)訓(xùn)練每個(gè)SS-AE。因此，SS-SAE使用標(biāo)簽值變量指導(dǎo)每一層的特征學(xué)習(xí)，可以提取對(duì)目標(biāo)值預(yù)測(cè)更有用的層次特征。

2 基于SS-SAE的軋制力預(yù)報(bào)模型

2.1 基于SS-SAE的軋制力預(yù)報(bào)模型

軋制力的預(yù)報(bào)精度決定著最終成品的厚度及板形的平整度。準(zhǔn)確的軋制力預(yù)報(bào)有助于提高成材率?；赟S-SAE 的軋制力預(yù)報(bào)模型可以從原始輸入數(shù)據(jù)中學(xué)習(xí)更深層次的與目標(biāo)相關(guān)的特征。這些深度特征包含了大量標(biāo)簽值變量的預(yù)測(cè)信息，非常適合預(yù)測(cè)回歸建模中。因此，只需在SS-SAE 網(wǎng)絡(luò)的最頂層增加一個(gè)用于預(yù)測(cè)目標(biāo)值的輸出層，就可利用提取的深度相關(guān)特征直接構(gòu)建預(yù)測(cè)模型?；赟S-SAE 的軋制力預(yù)報(bào)模型詳細(xì)過程描述如下：

1）根據(jù)軋制過程的機(jī)理模型確定軋制力預(yù)測(cè)建模所需的工藝變量，并劃分訓(xùn)練集和測(cè)試集。

2）確定SS-SAE 的堆疊層數(shù)，假設(shè)在SS-SAE網(wǎng)絡(luò)中共有Km個(gè)隱藏特征提取層。從SS-AE1開始，使用改進(jìn)的反向傳播算法對(duì)其進(jìn)行訓(xùn)練。然后，將SS-AE1的編碼層變量{W1，b1}及隱層特征向量h1保存下來，用于后續(xù)處理。

3）使用SS-AE1的隱層特征向量h1作為SSAE2的輸入數(shù)據(jù)，對(duì)SS-AE2進(jìn)行訓(xùn)練。訓(xùn)練完成后，保存其編碼層變量{W2，b2}及隱層特征向量h2。

4）按以上方式，逐層訓(xùn)練每個(gè)SS-AE 直至頂層。對(duì)于所有的SS-AE，其編碼層變量可以被定義為{Wk，bk}，k=1，2，…，Km。

5）當(dāng)SS-SAE特征學(xué)習(xí)網(wǎng)絡(luò)預(yù)訓(xùn)練完成后，在最頂層的SS-AE隱藏層后添加目標(biāo)輸出層。使用標(biāo)簽數(shù)據(jù)，對(duì)網(wǎng)絡(luò)中的變量{W，b}進(jìn)行微調(diào)。

6）在測(cè)試階段，首先，將測(cè)試數(shù)據(jù)集Xt輸入至SS-SAE 特征網(wǎng)絡(luò)中，經(jīng)第1 層向頂層隱藏層的向前傳播，獲得目標(biāo)相關(guān)的深層特征；然后，將頂層特征作為預(yù)測(cè)網(wǎng)絡(luò)的輸入，獲得測(cè)試數(shù)據(jù)集的預(yù)測(cè)值Yt。

2.2 輸入?yún)?shù)的選擇

Bland-Ford 軋制力計(jì)算公式[6]為冷軋軋制力計(jì)算基本公式，具體如下所示：

式中：P為軋制力；B為原件寬度；l′c為變形區(qū)接觸弧長(zhǎng)；Qp為外摩擦應(yīng)力狀態(tài)系數(shù)；Kt為張力影響系數(shù)；K為變形抗力。

通過對(duì)Bland-Ford 公式進(jìn)行分析，最終選取原料寬度、原料厚度、進(jìn)出口厚度、進(jìn)出口張力、軋輥壓扁半徑和出料帶線速度作為模型的輸入?yún)?shù)。

2.3 結(jié)果與討論

本模型所需樣本數(shù)據(jù)選自山西太鋼不銹鋼股份有限公司冷軋廠的生產(chǎn)數(shù)據(jù)。取其軋制過程中1 000 條數(shù)據(jù)作為訓(xùn)練集。同時(shí)，額外選擇200 條未參與訓(xùn)練的數(shù)據(jù)為測(cè)試集，以驗(yàn)證模型的精確性。

基于SS-SAE 的軋制力預(yù)報(bào)模型分為半監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)兩部分。經(jīng)重復(fù)實(shí)驗(yàn)，最終選定模型中的超參數(shù)如表2所示。

表2 SS-SAE模型超參數(shù)設(shè)定值Tab.2 Hyper-parameter of SS-SAE model

為了獲得更好的函數(shù)逼近能力，使用5 個(gè)隱層數(shù)量為7 的SS-AE 堆疊組成軋制力預(yù)報(bào)模型，預(yù)測(cè)結(jié)果如圖5 所示。從圖中可以看出，該模型的預(yù)測(cè)值與實(shí)測(cè)值的擬合點(diǎn)基本位于±2%誤差線范圍內(nèi)，實(shí)現(xiàn)了冷連軋軋制力的高精度預(yù)測(cè)，滿足生產(chǎn)要求。

圖5 基于SS-SAE的軋制力預(yù)報(bào)模型擬合效果圖Fig.5 Simulation diagram of rolling force prediction model based on SS-SAE

為驗(yàn)證模型性能，將所提出的SS-SAE建模方法與其他兩種相關(guān)方法進(jìn)行了比較。第一種方法是傳統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)，采用反向傳播算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行隨機(jī)初始化和優(yōu)化。第二種方法是基于SAE 的深度網(wǎng)絡(luò)。SAE 是分層無監(jiān)督模型，通過構(gòu)建多個(gè)AE 進(jìn)行預(yù)訓(xùn)練。兩種方法具有相同的結(jié)構(gòu)，即[8，7，7，7，7，7，1]。

三種建模方法經(jīng)過訓(xùn)練后，可以用來預(yù)測(cè)測(cè)試數(shù)據(jù)集中的目標(biāo)值。表3給出了基于多層神經(jīng)網(wǎng)絡(luò)、SAE和SS-SAE預(yù)測(cè)模型的預(yù)測(cè)指標(biāo)。對(duì)比均方根誤差（RMSE）、平均絕對(duì)百分比誤差（MAPE）和決定系數(shù)（R2），傳統(tǒng)多層神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)性能最差。多層神經(jīng)網(wǎng)絡(luò)雖然能夠模擬復(fù)雜的非線性關(guān)系，但其參數(shù)是隨機(jī)初始化的，因此，很容易進(jìn)入局部最優(yōu)。對(duì)于SAE，采用分層預(yù)訓(xùn)練技術(shù)從原始輸入數(shù)據(jù)中獲取深度特征，然后利用預(yù)先訓(xùn)練好的網(wǎng)絡(luò)參數(shù)作為初始化參數(shù)，并對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，因此，該方法可以提高預(yù)測(cè)精度。然而，SAE 是一個(gè)無監(jiān)督的自學(xué)習(xí)網(wǎng)絡(luò)，其可以自行學(xué)習(xí)原始輸入數(shù)據(jù)的良好特性不能保證特征與目標(biāo)相關(guān)，在深層特征中可能包含許多不相關(guān)的信息。與其相比，SS-SAE利用標(biāo)簽值構(gòu)建深度半監(jiān)督學(xué)習(xí)模型指導(dǎo)每個(gè)SS-AE的預(yù)訓(xùn)練。深度特征的學(xué)習(xí)是為了在每個(gè)SS-AE中盡可能好地預(yù)測(cè)目標(biāo)值，這樣可以把只有與質(zhì)量數(shù)據(jù)相關(guān)的特征被保留下來。因此，SS-SAE可以學(xué)習(xí)深度目標(biāo)相關(guān)特征，用于目標(biāo)值的預(yù)測(cè)。此外，預(yù)訓(xùn)練的參數(shù)可以用于基于SS-SAE 的深層網(wǎng)絡(luò)的良好初始化。因此，在三種方法中，SS-SAE 的預(yù)測(cè)性能最好，其RMSE，MAPE和R2指標(biāo)均優(yōu)于其他方法。

表3 不同模型預(yù)測(cè)效果對(duì)比Tab.3 Comparison of prediction effects of different models

圖6 為三種方法在500 個(gè)訓(xùn)練周期下的誤差曲線對(duì)比?？梢钥闯?，由于多層神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)是隨機(jī)初始化的，所以其在訓(xùn)練初始階段的訓(xùn)練誤差最大；對(duì)于SAE，其初始訓(xùn)練誤差較小，但是SAE 的預(yù)訓(xùn)練只是通過對(duì)輸入數(shù)據(jù)的自重構(gòu)來學(xué)習(xí)特征，不能保證特征與輸出的相關(guān)性，因此訓(xùn)練誤差在起始階段較大；基于SS-SAE的預(yù)測(cè)模型在預(yù)訓(xùn)練階段提取與質(zhì)量相關(guān)的特征進(jìn)行回歸，因此SS-SAE可以獲得更好的網(wǎng)絡(luò)初始參數(shù)，并且比多層神經(jīng)網(wǎng)絡(luò)和SAE 具有更小的初始訓(xùn)練誤差，此外，與多層神經(jīng)網(wǎng)絡(luò)和SAE 模型相比，SS-SAE模型可以更快地逼近收斂狀態(tài)且收斂誤差較低。

圖6 不同模型訓(xùn)練過程Fig.6 Training process of different models

圖7比較了三種方法對(duì)測(cè)試數(shù)據(jù)集的預(yù)測(cè)誤差。多層神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)誤差較大。通過使用深度學(xué)習(xí)技術(shù)，SAE 可以減少許多測(cè)試樣本的偏差。在此基礎(chǔ)上，SS-SAE可以學(xué)習(xí)深度質(zhì)量相關(guān)特征來預(yù)測(cè)軋制力，因此其預(yù)測(cè)誤差最小。對(duì)比三種方法在測(cè)試數(shù)據(jù)集中的詳細(xì)預(yù)測(cè)誤差曲線可以看出，大部分的預(yù)測(cè)誤差都在零附近。而且，在許多樣本點(diǎn)上，基于SS-SAE 方法的誤差值均小于其他兩種方法。

圖7 不同模型對(duì)測(cè)試集的預(yù)測(cè)誤差Fig.7 Prediction error of different models for the test sample

3 結(jié)論

提出了一種新的半監(jiān)督預(yù)測(cè)模型，并用于軋制力預(yù)測(cè)建模研究。SS-SAE 模型能夠從原始輸入數(shù)據(jù)中學(xué)習(xí)深層與目標(biāo)相關(guān)的特征。在SSSAE 中，通過構(gòu)建多個(gè)SS-AE 模型逐層提取深層高階特征。與目標(biāo)值相關(guān)的特征被依次學(xué)習(xí)，不相關(guān)的信息則通過層次化疊加的SS-AE 逐步減少。最后，通過冷連軋生產(chǎn)過程的軋制力預(yù)報(bào)實(shí)驗(yàn)，驗(yàn)證了SS-SAE模型的有效性和優(yōu)越性。