袁壯，凌逸群，楊哲，李傳坤

（1中石化安全工程研究院有限公司，化學(xué)品安全控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，山東 青島 266071；2中國(guó)石油化工集團(tuán)有限公司，北京 100728）

引 言

化工生產(chǎn)中，關(guān)鍵工藝參數(shù)的實(shí)時(shí)感知與精準(zhǔn)預(yù)測(cè)對(duì)于監(jiān)控運(yùn)行狀態(tài)和保障過(guò)程安全至關(guān)重要[1-2]，亦是實(shí)施先進(jìn)控制及在線(xiàn)優(yōu)化的基石[3]。針對(duì)反應(yīng)過(guò)程的時(shí)滯性，預(yù)測(cè)模型幫助現(xiàn)場(chǎng)人員提前捕捉參量變化趨勢(shì)，開(kāi)展預(yù)知操作以維持裝置平穩(wěn)[4]，避免傳感器故障導(dǎo)致的誤判斷、誤響應(yīng)。

隨著智能儀表、傳感網(wǎng)絡(luò)及分散控制系統(tǒng)（distributed control system,DCS）的普及，化工產(chǎn)業(yè)邁入大數(shù)據(jù)時(shí)代[5]。海量數(shù)據(jù)被采集存儲(chǔ)，如何挖掘其隱含價(jià)值成為新課題[3,6]。數(shù)據(jù)驅(qū)動(dòng)從反映真實(shí)工況的歷史數(shù)據(jù)入手，運(yùn)用機(jī)器學(xué)習(xí)建立目標(biāo)參數(shù)與關(guān)聯(lián)變量的映射關(guān)系，無(wú)須繁復(fù)的理化機(jī)理便能實(shí)現(xiàn)靈活預(yù)測(cè)[7-8]：宋菁華等[9]將神經(jīng)網(wǎng)絡(luò)（neural network,NN）用于鐵水汞含量預(yù)測(cè)；劉佳等[10]構(gòu)建支持向量回歸（support vector rregression, SVR）預(yù)測(cè)乙烯裂解爐收率；Geng 等[11]基于極限學(xué)習(xí)機(jī)（extreme learning machine, ELM）預(yù)測(cè)裝置能效。然而，受限于單隱藏層網(wǎng)絡(luò)結(jié)構(gòu)，上述淺層算法的特征表達(dá)能力不足，復(fù)雜任務(wù)性能不佳[12-13]。

深度神經(jīng)網(wǎng)絡(luò)（deep neural network, DNN）是人工智能領(lǐng)域的革命性技術(shù)[3]，通過(guò)級(jí)聯(lián)多個(gè)非線(xiàn)性處理層，它被賦予無(wú)窮的特征挖掘和函數(shù)擬合能力。首先，DNN 能直接處理類(lèi)型多樣的原始監(jiān)測(cè)信號(hào)，逐層轉(zhuǎn)換提取本質(zhì)特征，不依賴(lài)人工經(jīng)驗(yàn)[14]，在大數(shù)據(jù)時(shí)代價(jià)值巨大[1]；其次，化工過(guò)程機(jī)理復(fù)雜、模態(tài)多樣，加之設(shè)備故障、原料變化等外部擾動(dòng)，參數(shù)存在高度的相關(guān)性、耦合性和不確定性[15]，DNN強(qiáng)大的非線(xiàn)性映射能力更能表征此種復(fù)雜函數(shù)分布[7]；最后，化工生產(chǎn)具有動(dòng)態(tài)時(shí)變性，不同時(shí)刻數(shù)據(jù)之間存在潛在關(guān)聯(lián)[1]?，F(xiàn)有方法多為假定樣本相互獨(dú)立的靜態(tài)模型，缺少捕捉、解釋和存儲(chǔ)時(shí)序特征的能力[16]。DNN 中的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short term memory，LSTM）憑借獨(dú)有的記憶細(xì)胞和門(mén)結(jié)構(gòu)可在學(xué)習(xí)當(dāng)前動(dòng)態(tài)行為的同時(shí)保證歷史信息的持久留存[17]，探索間隔較遠(yuǎn)元素間的長(zhǎng)期依賴(lài)性，避免長(zhǎng)時(shí)間跨度造成信息丟失。因此，LSTM 廣泛用于工藝參數(shù)和質(zhì)量指標(biāo)預(yù)測(cè)[2,4,13-14,16-18]，其衍生算法雙向LSTM（bi-directional LSTM, BiLSTM）[12,19-20]更能同時(shí)分析數(shù)據(jù)在向前、向后兩個(gè)時(shí)間方向上的未知關(guān)聯(lián)，性能出眾。

然而，BiLSTM 仍有若干不足：一方面，BiLSTM只擅長(zhǎng)提取時(shí)序特征，對(duì)高維輸入變量之間的空間關(guān)聯(lián)欠缺深入考量[6]；另一方面，對(duì)目標(biāo)變量影響更大的關(guān)鍵特征是沿時(shí)間軸非均勻分布的[18]，即BiLSTM 學(xué)習(xí)的時(shí)序特征對(duì)預(yù)測(cè)輸出有不同影響。但回歸層卻對(duì)各時(shí)間步隱藏狀態(tài)平等對(duì)待，忽略其重要性差異。輸入序列較長(zhǎng)時(shí)，容易主次不分導(dǎo)致重要信息被掩蓋[16]。針對(duì)上述問(wèn)題，本文利用DNN擅長(zhǎng)組合不同結(jié)構(gòu)以利用其各自?xún)?yōu)勢(shì)完成復(fù)雜任務(wù)的特點(diǎn)，將卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）[21]、BiLSTM 和時(shí)間注意力（temporal attention,TA）機(jī)制[22]集成到統(tǒng)一框架內(nèi)，提出深度預(yù)測(cè)模型TA-ConvBiLSTM。其中，CNN 能平緩數(shù)據(jù)波動(dòng)，利用多核卷積運(yùn)算分析高維輸入變量間的空間關(guān)聯(lián)；BiLSTM 從正反兩個(gè)方向挖掘時(shí)序特征，相互約束以形成信息閉環(huán)，修正建模誤差；CNN 和BiLSTM 構(gòu)成混合模型，相互彌補(bǔ)以從過(guò)程數(shù)據(jù)中提取深度時(shí)空特征。進(jìn)一步引入TA，根據(jù)輸入和輸出間的相關(guān)性強(qiáng)弱為時(shí)間步分配不同的權(quán)重，提升關(guān)鍵信息對(duì)輸出的影響力，降低次要信息對(duì)預(yù)測(cè)的干擾。最后，實(shí)際工業(yè)案例驗(yàn)證了該方法的有效性和實(shí)用性。

1 理論背景

1.1 時(shí)間序列預(yù)測(cè)問(wèn)題

參數(shù)預(yù)測(cè)的本質(zhì)是時(shí)間序列回歸。數(shù)據(jù)集D={(Xi,Yi)}，Yi∈Xi，Xi={xi1,xi2,…xid}，Yi=yi，i= 1,2,…,n。

Yi為目標(biāo)變量，Xi為關(guān)聯(lián)變量，n、d為數(shù)據(jù)長(zhǎng)度和變量維度。時(shí)間序列回歸是指從D中學(xué)習(xí)預(yù)測(cè)模型f，將當(dāng)前時(shí)刻i及b步前的關(guān)聯(lián)變量映射到p時(shí)刻后的目標(biāo)空間[23]，即：

1.2 CNN

CNN 的核心是一系列可訓(xùn)練的卷積核，能從自身角度描述輸入數(shù)據(jù)并對(duì)特定特征敏感：

CNN通過(guò)池化層對(duì)卷積特征降維采樣，只保留區(qū)域最大值或均值。但該操作可能中斷序列連續(xù)性[24]，丟失時(shí)序信息，本文并未采用，后文將深入討論。

1.3 BiLSTM

LSTM 的核心是記憶細(xì)胞和三種非線(xiàn)性門(mén)。LSTM 根據(jù)當(dāng)前輸入xt和上一時(shí)刻隱藏狀態(tài)ht-1計(jì)算遺忘門(mén)ft、記憶門(mén)it和輸出門(mén)ot，控制細(xì)胞的遺忘、記憶和輸出，從而保留長(zhǎng)期依賴(lài)性，遺忘次要信息，如圖2所示。

圖1 時(shí)滯樣本集構(gòu)造過(guò)程（b=3、p=1）Fig.1 The construction procedure of time-lagged samples with b=3 and p=1

圖2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of LSTM

遺忘門(mén)ft、記憶門(mén)it、臨時(shí)記憶狀態(tài)C?t、記憶狀態(tài)Ct、輸出門(mén)ot和當(dāng)前隱藏狀態(tài)ht計(jì)算如下：

式中，σ和tanh 為sigmoid 及tanh 激活函數(shù)；Wf、Uf、Wi、Ui、Wc、Uc、Wo、Uo為各類(lèi)門(mén)或狀態(tài)的權(quán)值，bf、bi、bc、bo為偏置。

BiLSTM 由兩個(gè)結(jié)構(gòu)相同、方向相反的LSTM 組成，記t時(shí)刻正向LSTM 的輸出為h→t，反向的為h←t，則BiLSTM的隱藏狀態(tài)h?t為：

式中，⊕為矩陣拼接操作。

1.4 TA機(jī)制

TA 可視為全連接神經(jīng)網(wǎng)絡(luò)。如圖3 所示，當(dāng)前時(shí)刻j的時(shí)滯樣本{X1,X2,…,Xb}j經(jīng)特征提取后，得到長(zhǎng)度t的隱層輸出{h1,h2,…,ht}j，輸入TA 計(jì)算注意力值ei：

圖3 TA機(jī)制結(jié)構(gòu)Fig.3 Structure of the TA mechanism

式中，l=n-b-p+1 為時(shí)滯樣本數(shù)量。最后，將cj代入回歸層求解預(yù)測(cè)值Yj。

2 預(yù)測(cè)模型與流程

2.1 關(guān)聯(lián)變量選擇

工藝參數(shù)高維冗余，與目標(biāo)變量的相關(guān)性也不盡相同，數(shù)據(jù)豐富但信息匱乏[6]。因此，需要篩選維度適當(dāng)且重要獨(dú)立的關(guān)聯(lián)變量[25]。本文基于eXtreme gradient boosting（XGBoost）[26-28]算法選擇關(guān)聯(lián)變量，K次迭代輸出預(yù)測(cè)值：

式中，下角標(biāo)L 和R 分別代表左、右子樹(shù)，選擇Gain 最大的輸入變量作為本次劃分的節(jié)點(diǎn)。XGBoost 統(tǒng)計(jì)所有輸入變量在分割時(shí)被選作葉子節(jié)點(diǎn)的次數(shù)，次數(shù)越多則該變量對(duì)預(yù)測(cè)模型的增益越大，重要度越高，可選取排序靠前的若干變量作為關(guān)聯(lián)變量。

2.2 TA-ConvBiLSTM

XGBoost 選定k維關(guān)聯(lián)變量，繼續(xù)處理獲得Ds={(Xs j,Y s j)}，Xs j∈Rb×k，1≤j≤l。將Ds輸入TA-ConvBiLSTM并訓(xùn)練。

圖4 TA-ConvBiLSTM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of the proposed TA-ConvBiLSTM

上述前向傳播后，以均方誤差（mean square error, MSE）作損失函數(shù)，開(kāi)展反向傳播（backpropagation,BP）：

式中，yj為第j個(gè)時(shí)滯樣本的理想輸出。以最小化MSE為目標(biāo)更新模型，多次迭代完成訓(xùn)練。

2.3 預(yù)測(cè)流程

基于TA-ConvBiLSTM 的工藝參數(shù)預(yù)測(cè)流程如圖5所示。

圖5 基于TA-ConvBiLSTM 的參數(shù)預(yù)測(cè)流程Fig.5 Flowchart of parameters prediction based on TA-ConvBiLSTM

離線(xiàn)階段：

（1）讀取歷史數(shù)據(jù)并歸一化；

（2）確定目標(biāo)變量，XGBoost 對(duì)所有工藝參數(shù)在預(yù)測(cè)中的重要度排序，選取前k組作為關(guān)聯(lián)變量；

（3）確定回溯步長(zhǎng)b和預(yù)測(cè)步長(zhǎng)p，構(gòu)造時(shí)滯樣本集，并按比例分割為訓(xùn)練集和測(cè)試集；

（4）基于訓(xùn)練集訓(xùn)練TA-ConvBiLSTM，優(yōu)化模型結(jié)構(gòu)和參數(shù)；

（5）基于測(cè)試集驗(yàn)證TA-ConvBiLSTM 的預(yù)測(cè)精度是否滿(mǎn)足要求。若是，則完成模型訓(xùn)練；若否，則重復(fù)步驟（4）。

在線(xiàn)階段：

（1）讀取k組關(guān)聯(lián)變量的實(shí)時(shí)數(shù)據(jù)并歸一化；

（2）根據(jù)b和p構(gòu)造時(shí)間序列，獲取時(shí)滯樣本；

（3）將時(shí)滯樣本輸入訓(xùn)練好的TA-ConvBiLSTM中，計(jì)算輸出；

（4）反歸一化輸出值，得到目標(biāo)變量的預(yù)測(cè)值。

3 案例研究與分析

3.1 爐管溫度預(yù)測(cè)

延遲焦化是一種原油二次加工技術(shù)，常用于劣質(zhì)重油輕質(zhì)化[29]，工藝流程如圖6 所示。原料油經(jīng)加熱爐升溫后通過(guò)四通閥進(jìn)入焦炭塔中發(fā)生熱裂化及縮合，產(chǎn)生油氣進(jìn)入分餾塔冷凝輸出。其中，保持加熱爐爐管各位置溫度在適當(dāng)范圍內(nèi)至關(guān)重要[30]：溫度過(guò)高，爐管局部超溫，油品在管內(nèi)便裂解縮合導(dǎo)致結(jié)焦，能耗增加，持續(xù)超溫更會(huì)損傷管壁，誘發(fā)泄漏著火等惡性事故；反之則爐出口溫度降低，焦炭塔生焦反應(yīng)深度不足，產(chǎn)物收率下降。生產(chǎn)中，若等到溫度超限報(bào)警后再采取措施，結(jié)焦損傷已發(fā)生，且持續(xù)時(shí)間越長(zhǎng)危害越大。因此，預(yù)測(cè)爐管溫度并預(yù)知性地調(diào)整注汽量、燃料氣壓等參數(shù)，維持其在合理區(qū)間內(nèi)波動(dòng)，具有促進(jìn)平穩(wěn)運(yùn)行和提升經(jīng)濟(jì)效益的雙重作用。

圖6 延遲焦化工藝流程Fig.6 Flowchart of the delayed coking

3.2 應(yīng)用案例

3.2.1 數(shù)據(jù)說(shuō)明 從某延遲焦化DCS中讀取2019年6～8 月的加熱爐生產(chǎn)數(shù)據(jù)，選取爐管A 輻射段某溫度測(cè)點(diǎn)y2jTI2012A 作目標(biāo)變量，選取74維相關(guān)工藝參數(shù)（包括y2jTI2012A）作候選關(guān)聯(lián)變量，部分變量信息見(jiàn)表1。為提高預(yù)測(cè)效率和時(shí)長(zhǎng)，各參數(shù)每10 min 的測(cè)量均值作1 個(gè)樣本，得到長(zhǎng)度9000 的多維時(shí)間序列D∈R9000×74，并處理為時(shí)滯樣本。沿時(shí)間流向，取前75%的樣本作訓(xùn)練集，剩余作測(cè)試集，與隨機(jī)劃分相比該方式更符合工程實(shí)際。

表1 部分候選關(guān)聯(lián)變量及其特征重要度Table 1 Some candidate correlation variables and their characteristic importance

3.2.2 評(píng)價(jià)指標(biāo) 選用平均絕對(duì)誤差（mean absolute error, MAE）、均方根誤差（root mean squared error,RMSE）和可決系數(shù)（coefficient of determination,R2）衡量預(yù)測(cè)性能：

式中，lt為測(cè)試集樣本數(shù)量；yˉ為測(cè)試集目標(biāo)變量均值。MAE和RMSE反映預(yù)測(cè)值與真實(shí)值間的誤差，越小越好，R2則反映二者的相似程度，越大越好。

3.3 預(yù)測(cè)效果分析

3.3.1 模型結(jié)構(gòu)與參數(shù)設(shè)置 TA-ConvBiLSTM 的預(yù)測(cè)性能受網(wǎng)絡(luò)結(jié)構(gòu)、超參數(shù)及樣本維度影響。

為討論CNN 池化層對(duì)預(yù)測(cè)的影響，在結(jié)構(gòu)5 第3 層后面插入一層池化層。采用最大值（maxpooling）和均值（mean-pooling）兩種池化策略，不同池化尺寸下的預(yù)測(cè)精度如表3所示。由表3可知，池化層對(duì)預(yù)測(cè)有負(fù)面影響，且池化尺寸越大，降采樣過(guò)程信息丟失越多，模型性能下降越大，不適用于本案例。

表3 不同池化尺寸下的模型預(yù)測(cè)性能Table 3 Model prediction accuracy under different pooling sizes

超參數(shù)方面，模型迭代500 epoch，early stopping patience 為100 epoch，Adam 算法自適應(yīng)調(diào)整學(xué)習(xí)率，batch size根據(jù)表4設(shè)為128。

表4 不同batch size下的模型預(yù)測(cè)性能Table 4 Model prediction accuracy under different batch sizes

樣本維度方面，XGBoost 對(duì)所有參數(shù)排序后，按照重要度從高到底依次選取前k={74,60,50,40,30,20,10,5}維參數(shù)作關(guān)聯(lián)變量。由圖7(a)可知，TAConvBiLSTM預(yù)測(cè)性能先隨k減少而逐漸上升并在k=10時(shí)達(dá)到峰值。表明未經(jīng)篩選的關(guān)聯(lián)變量包含大量的冗余乃至無(wú)關(guān)信息，簡(jiǎn)單堆積只會(huì)降低運(yùn)算效率而非提升預(yù)測(cè)效果。然而，k=5 時(shí)預(yù)測(cè)精度又大幅下降。表明剩余參數(shù)均與目標(biāo)變量高度相關(guān)，繼續(xù)縮減會(huì)缺失必要信息，難以全面衡量變化趨勢(shì)。因此k=10較合適，選定的變量及重要度詳見(jiàn)表1。

圖7(b)分析了回溯步長(zhǎng)b對(duì)預(yù)測(cè)的影響。理論上，序列越長(zhǎng)蘊(yùn)含的過(guò)程信息越多。但實(shí)際場(chǎng)景中，變量前后的潛在關(guān)聯(lián)在多個(gè)時(shí)間步后便十分微弱，捕捉困難。而圖7(b)中b=48時(shí)效果最佳，表明TA-ConvBiLSTM能有效處理長(zhǎng)跨度序列，并保留其長(zhǎng)期依賴(lài)性。

圖7 輸入維度對(duì)預(yù)測(cè)性能的影響Fig.7 The influence of input dimension on the prediction performance

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)下的模型預(yù)測(cè)性能Table 2 Model prediction accuracy under different network structures

基于上述分析，本案例所采用的模型如表5(a)～(c)所示。

3.3.2 性能對(duì)比分析 除TA-ConvBiLSTM 外，還采用其他模型做對(duì)比分析：深度學(xué)習(xí)領(lǐng)域內(nèi)，選取CNN 和LSTM 做基線(xiàn)模型，展現(xiàn)單一DNN 最大預(yù)測(cè)表現(xiàn)力；TA-ConvBiLSTM 框架內(nèi)，各模塊被拆解重組，證明其各自功能和集成作用，包括BiLSTM、ConvBiLSTM（CNN 與BiLSTM 級(jí)聯(lián)）和TA-BiLSTM（BiLSTM 和TA 級(jí)聯(lián)）。為增強(qiáng)說(shuō)服力，上述方法也采用表5(a)～(c)的設(shè)置；淺層學(xué)習(xí)領(lǐng)域內(nèi)，選取XGBoost、SVR 和BPNN 三種算法，限定b=1，其部分參數(shù)經(jīng)遺傳算法尋優(yōu)后如表5(d)～(f)所示。

表5 網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)設(shè)置Table 5 Networks structure and parameters setting

直觀(guān)比較各模型結(jié)果如圖8所示。對(duì)于BPNN、SVR 和XGBoost，預(yù)測(cè)線(xiàn)與實(shí)測(cè)線(xiàn)之間始終存在較大偏差，預(yù)測(cè)線(xiàn)很難追蹤實(shí)測(cè)線(xiàn)的快速波動(dòng)和細(xì)微變化，表明淺層網(wǎng)絡(luò)對(duì)時(shí)序數(shù)據(jù)缺乏動(dòng)態(tài)表征能力。其相對(duì)預(yù)測(cè)誤差分布在[-0.02,0.02]區(qū)間，且絕大部分位于零刻度線(xiàn)一側(cè)，表明預(yù)測(cè)結(jié)果出現(xiàn)整體性漂移；CNN、LSTM、BiLSTM 及ConvBiLSTM 等深度模型大幅提升了預(yù)測(cè)線(xiàn)與實(shí)測(cè)線(xiàn)的貼合程度，能大致追蹤真實(shí)溫度的變化趨勢(shì)。相對(duì)誤差主要位于[-0.01,0.01]，特別是第100～750 樣本點(diǎn)，因溫度波動(dòng)劇烈，誤差幅值較大且相對(duì)集中；引入TA 后，TABiLSTM 和TA-ConvBiLSTM 的性能進(jìn)一步提升，預(yù)測(cè)線(xiàn)和實(shí)測(cè)線(xiàn)幾乎完全重合為一體，即使在曲線(xiàn)突變區(qū)域也有極高匹配度，相對(duì)誤差也繼續(xù)下降到[-0.005,0.005]，表明模型已充分掌握爐管溫度的變化規(guī)律。TA-ConvBiLSTM 的誤差控制更勝一籌，它分布在零線(xiàn)附近的誤差“毛刺”更稀疏且幅值更小。

圖8 各模型詳細(xì)預(yù)測(cè)結(jié)果及誤差Fig.8 Detailed prediction results and error of various testing models

表6對(duì)模型性能進(jìn)行了量化排序。淺層模型性能最差，誤差指標(biāo)MAE、RMSE最高而準(zhǔn)確度指標(biāo)R2最低。因?yàn)闇\層網(wǎng)絡(luò)屬于靜態(tài)模型范疇，只能分析關(guān)聯(lián)變量當(dāng)前狀態(tài)Xt和目標(biāo)變量下一步狀態(tài)Yt+1之間的關(guān)系（b=1），未考慮數(shù)據(jù)的時(shí)間性質(zhì)；DNN 憑借強(qiáng)大的非線(xiàn)性擬合能力具有更優(yōu)異表現(xiàn)。其中，盡管CNN 能分析連續(xù)時(shí)間序列，但本質(zhì)仍為靜態(tài)模型，擅長(zhǎng)挖掘局部信息而非時(shí)序關(guān)聯(lián)，結(jié)果最不理想。LSTM 則是專(zhuān)為序列處理而設(shè)計(jì)的動(dòng)態(tài)模型，能夠有效捕捉并存儲(chǔ)長(zhǎng)期依賴(lài)性，R2提升到0.947。BiLSTM 進(jìn)一步從前后兩個(gè)時(shí)間流向上挖掘引起溫度波動(dòng)的隱含因素，其優(yōu)秀的動(dòng)態(tài)建模能力使R2達(dá)到0.963。然而，ConvBiLSTM 的各項(xiàng)指標(biāo)卻弱于BiLSTM 單體模型，因?yàn)镃NN 在每個(gè)時(shí)間步上都注入了豐富的細(xì)節(jié)信息，但BiLSTM 缺乏必要的區(qū)分機(jī)制，致使重要特征被遺失或掩蓋；與之相比，TABiLSTM 和TA-ConvBiLSTM 則以各時(shí)間步的隱藏狀態(tài)作參考，對(duì)其分配不同的權(quán)重以突出重要特征，弱化次要信息。兩模型R2在引入TA 后分別提升了0.010 和0.024，證明了TA 的必要性。特別是TAConvBiLSTM，CNN 和TA 結(jié)合成為一種巧妙的時(shí)空注意力機(jī)制，不僅能在每個(gè)時(shí)間步上自主辨識(shí)與目標(biāo)參數(shù)緊密聯(lián)系的關(guān)聯(lián)變量，還能橫跨所有時(shí)間步自適應(yīng)挖掘影響未來(lái)趨勢(shì)的有用特征。因此，其MAE 和RMSE 分別為0.0151 和0.0216，遠(yuǎn)低于其他模型，R2更達(dá)到了最高的0.980。

表6 各模型預(yù)測(cè)性能對(duì)比Table 6 Comparison of prediction performance of various models

圖9 以歸一化的預(yù)測(cè)值和真實(shí)值為橫縱坐標(biāo)，繪制測(cè)試集的散點(diǎn)分布，并根據(jù)聚集情況討論準(zhǔn)確性。圖中，對(duì)角線(xiàn)y=x表示預(yù)測(cè)值與真實(shí)值完全相同。因此，散點(diǎn)越逼近對(duì)角線(xiàn)精準(zhǔn)度越高，異常風(fēng)險(xiǎn)越小。顯然，TA-ConvBiLSTM 所屬散點(diǎn)在對(duì)角線(xiàn)附近分布最為密集、距離最為接近，體現(xiàn)出預(yù)測(cè)模型對(duì)真實(shí)規(guī)律的高度還原。反觀(guān)其他模型則要分散的多，預(yù)測(cè)結(jié)果不同程度地偏離了真實(shí)情況。

圖9 各模型的預(yù)測(cè)散點(diǎn)圖Fig.9 Predicted scatter plots of various models

圖10 通過(guò)箱線(xiàn)圖形象展示了各模型絕對(duì)誤差的分布情況。箱線(xiàn)圖能反映模型殘差的極值、中值、均值、第25 和75 百分位，并直觀(guān)呈現(xiàn)離群異常點(diǎn)。由圖可知，TA-ConvBiLSTM 的誤差中值及均值非常接近零刻度線(xiàn)，具有最高的平均預(yù)測(cè)準(zhǔn)確度，其他算法則不同程度地偏離。 此外，TAConvBiLSTM 的箱體寬度也遠(yuǎn)小于各對(duì)比算法，展現(xiàn)出更窄的誤差范圍和更佳的預(yù)測(cè)穩(wěn)定性。但是，TA-ConvBiLSTM 上下截?cái)帱c(diǎn)間的內(nèi)限區(qū)域（1.5IQR）也隨之縮小，造成其異常點(diǎn)較多。

圖10 各模型絕對(duì)預(yù)測(cè)誤差的箱線(xiàn)圖Fig.10 The box-plot diagram of absolute prediction error of various models

4 結(jié) 論

本文提出了TA-ConvBiLSTM 模型，用于表征復(fù)雜化工過(guò)程的高維相關(guān)性和動(dòng)態(tài)時(shí)序性，彌補(bǔ)傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)方法在特征提取和參數(shù)預(yù)測(cè)方面的不足。加熱爐爐管溫度的預(yù)測(cè)實(shí)驗(yàn)證明了該方法的有效性和適用性，其R2高達(dá)0.980，MAE 和RMSE 也分別降至0.0151 和0.0216，明顯優(yōu)于其他方法。本文的主要?jiǎng)?chuàng)新點(diǎn)和貢獻(xiàn)總結(jié)如下。

（1）基于DNN 擅長(zhǎng)自由組合以解決復(fù)雜任務(wù)的優(yōu)勢(shì)，將CNN 和BiLSTM 集成為統(tǒng)一的深度網(wǎng)絡(luò)，使之能夠兼顧空間關(guān)聯(lián)提取和時(shí)序特征挖掘。

（2）將TA 機(jī)制進(jìn)一步融入上述預(yù)測(cè)框架，分析深度特征與目標(biāo)輸出間的相關(guān)性并增加關(guān)鍵信息的注意力權(quán)重，避免其因?yàn)樾蛄醒娱L(zhǎng)而被淹沒(méi)，提高建模的準(zhǔn)確性和魯棒性。

后續(xù)研究將對(duì)模型性能做進(jìn)一步優(yōu)化，解決現(xiàn)有分析所暴露出的不足。例如，TA-ConvBiLSTM 在箱線(xiàn)圖中雖然具有最高的整體預(yù)測(cè)精度，但其異常點(diǎn)數(shù)量也要多于其他算法，仍需持續(xù)改進(jìn)。