徐寶昌 呂 爽 董秀娟 王 健

（1.中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院；2.中石油北京天然氣管道有限公司）

實現(xiàn)良好的控制是提高工業(yè)生產(chǎn)過程經(jīng)濟效益、保障生產(chǎn)安全的關(guān)鍵，而實現(xiàn)良好控制的基礎(chǔ)就是建立準(zhǔn)確的模型。 但現(xiàn)有的化工過程辨識方法大多過于依賴實驗獲得的數(shù)據(jù)，這嚴重地限制了其使用范圍。 隨著計算機計算能力的提升，DCS在實際生產(chǎn)中逐漸普及，大量的生產(chǎn)數(shù)據(jù)被存儲在本地或云端，這些數(shù)據(jù)中蘊含著生產(chǎn)過程的各種動靜態(tài)信息， 如果能充分挖掘DCS中數(shù)據(jù)的信息，通過一定的模型結(jié)構(gòu)和參數(shù)來表達非線性的動態(tài)過程，建立良好的替代模型，將能夠更好地掌握過程的內(nèi)在特性，便于研究出更加高效穩(wěn)定的控制方法， 實現(xiàn)對整個流程的故障預(yù)測、控制、監(jiān)督以及經(jīng)濟效益優(yōu)化等。

為解決上述問題， 筆者引入深度學(xué)習(xí)算法中的模型——長短期記憶（Long Short-Term Memory，LSTM）［1］。 LSTM 在 循 環(huán) 神 經(jīng) 網(wǎng) 絡(luò)（Recurrent Neural Network，RNN） 的基礎(chǔ)上引入長短期記憶結(jié)構(gòu)，既考慮了過往信息的影響，也有效地解決了梯度消失或爆炸問題，在手寫識別［2］、圖像分析［3］及時間序列預(yù)測等方面表現(xiàn)出良好的效果。 Yadav A等利用LSTM對印度股票市場進行預(yù)測，通過有無狀態(tài)模型和隱藏層數(shù)量對網(wǎng)絡(luò)進行優(yōu)化，結(jié)果表明LSTM在股票預(yù)測上具有可行性［4］；Gonzalez J和Yu W則利用LSTM與神經(jīng)網(wǎng)絡(luò)的結(jié)合，證明了改進后的方法對于只使用測試輸入、不利用以往測試輸出的模型而言具有更好的效果［5］；Joohyun W等利用LSTM進行無人水面車輛（SUV）模型的建立，該方法相比傳統(tǒng)的線性動態(tài)模型降低了浪涌預(yù)測誤差、偏航率預(yù)測誤差等，表現(xiàn)出良好的性能［6］。 針對基本結(jié)構(gòu)對數(shù)據(jù)契合不高的問題，學(xué)者們對其結(jié)構(gòu)進行了改變或采用與其他模型、方法相結(jié)合的思路，如韓恒貴利用LSTM的變體GRU和混合模型進行絕緣雙極性晶體管的故障預(yù)測，實驗結(jié)果表明新方法進行故障預(yù)測的均方根值為0.075 6，預(yù)測效果有了很大的提升［7］；Yu R等提出一種基于序列相關(guān)特征的LSTM-EFG模型用于風(fēng)力發(fā)電預(yù)測，該方法對遺忘門功能進行了增強，提高了預(yù)測的效果［8］。

在實際應(yīng)用中，LSTM基礎(chǔ)網(wǎng)絡(luò)由于結(jié)構(gòu)和輸入數(shù)據(jù)不足等問題， 往往會出現(xiàn)模型過擬合、泛化能力低等問題，為此筆者結(jié)合常用于解決過擬合現(xiàn)象的正則化［9，10］方法提出基于L2正則化LSTM辨識策略， 并利用非自衡系統(tǒng)TE過程（Tennessee Eastman Process）進行方法有效性的驗證。 通過實驗表明，該方法具有更快的收斂速度，模型泛化能力更強，對所需辨識數(shù)據(jù)要求更低，辨識得到的模型可以很好地反映系統(tǒng)的階躍響應(yīng)過程，預(yù)測系統(tǒng)的輸出。

1 L2正則化LSTM模型

1.1 LSTM模型

LSTM 是由RNN 發(fā)展而來的重要結(jié)構(gòu)，由Hochreiter S和Schmidhuber J于1997年提出［1］，它在RNN的基礎(chǔ)上增加了輸入門、輸出門、遺忘門和記憶單元4個門限， 能夠?qū)﹂L距離依賴問題進行處理，避免梯度消失或爆炸的問題。 LSTM內(nèi)部結(jié)構(gòu)如圖1所示。

圖1 LSTM內(nèi)部結(jié)構(gòu)

在LSTM的結(jié)構(gòu)中，以t時刻的輸入xt和前一時刻的狀態(tài)信息ht-1作為輸入信息，通過內(nèi)部細胞進行狀態(tài)單元的填充或移除完成信息更新。 原始的LSTM結(jié)構(gòu)的門限由sigmoid函數(shù)與矩陣點乘組成，由于sigmoid函數(shù)的輸出為0～1之間的數(shù)字，因此可以描述信息的通過程度， 其中0代表移除，1代表全部信息通過。 LSTM網(wǎng)絡(luò)的前向傳播可以表示為：

1.2 基于L2正則化LSTM模型

為增強辨識模型的泛化能力，筆者采用可以對參數(shù)進行稀疏化的L2正則化方法對LSTM基礎(chǔ)模型進行優(yōu)化，即在原損失函數(shù)上加上L2范數(shù)正則化項，得到的損失函數(shù)J公式如下：

其中，λ為正則化系數(shù)，用于權(quán)衡正則項與原始函數(shù)的比重；n為訓(xùn)練集樣本大??；J0為原始的損失函數(shù)；ω為權(quán)重；yi為模型實際輸出；為模型預(yù)測輸出。

根據(jù)上述公式，權(quán)重ω的更新為：

其中，η為學(xué)習(xí)率。

根據(jù)式 （7）、（8）， 可以得到基于L2正則化LSTM辨識策略的權(quán)值更新公式：

其中，Wfx、Wfh分別為遺忘門更新時輸入信息和上一層狀態(tài)所對應(yīng)的更新權(quán)重；k為時刻；δf，t為損失函數(shù)J對于Wf·［ht-1，xt］+bf的偏導(dǎo)數(shù)。

其余權(quán)值更新公式同理。

2 實驗及結(jié)果分析

2.1 數(shù)據(jù)來源及預(yù)處理

筆者采用非自衡系統(tǒng)TE過程作為辨識對象。TE過程是一個實際化工過程的仿真模擬，它是由美國Tennessee Eastman化學(xué)公司過程控制小組的Downs J J和Vogel E F提出的［11］，被廣泛地應(yīng)用于過程控制技術(shù)的研究［12］。整個TE過程可以被用來進行各種各樣的過程研究，主要包括裝置的控制策略設(shè)計、多變量控制、過程優(yōu)化及預(yù)測控制等。

TE過程包含12個操縱變量和41個測量變量，所給出的已知數(shù)據(jù)集中包含21個預(yù)先設(shè)定好的故障，其中16個為已知故障（包含階躍、隨機變量等），5個為未知故障。 每一種故障對應(yīng)兩組數(shù)據(jù)，分別為具有498個數(shù)據(jù)的訓(xùn)練集和948個數(shù)據(jù)的測試集。 文中筆者選取12個操縱變量作為輸入，產(chǎn)品分離器溫度XMEAS11的測量值作為輸出，具體的訓(xùn)練集、測試集、驗證集來源見表1。

表1 實驗中涉及的幾組數(shù)據(jù)集組合

TE過程所提供的數(shù)據(jù)集來自仿真實驗，需要進行時序處理才能符合L2正則化LSTM網(wǎng)絡(luò)的輸入形式。 同時，為消除不同量綱和數(shù)量級帶來的影響，需將數(shù)據(jù)集進行0～1標(biāo)準(zhǔn)化處理。 筆者選用以下幾種模型評價指標(biāo)來對辨識效果進行評估，包括ACC （精確度）、MAPE （平均相對百分比誤差）、RMSE（均方根誤差）及R2（擬合優(yōu)度）等。 其中，MAPE和RMSE的值越小， 說明模型建立的效果越好；R2衡量的是回歸方程整體的擬合度，R2的值越接近1，說明模型的擬合效果越好。 具體評價指標(biāo)如下：

其中，y-為實際輸出的平均值。

2.2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)定

文中用前n步時間狀態(tài)的11個操縱變量數(shù)據(jù)預(yù)測后m步產(chǎn)品分離器溫度XMEAS11，即網(wǎng)絡(luò)輸入X={X1（t），X2（t），…，X11（t），…，X1（t-n），X2（tn），…，X11（t-n）}，輸出Y={Y（t），…，Y（t+m）}。

利用L2正則化LSTM辨識策略和表1中的第4組數(shù)據(jù)集進行TE過程辨識，根據(jù)網(wǎng)格搜索法確定標(biāo)準(zhǔn)LSTM辨識時的最優(yōu)參數(shù)組合為：隱藏層參數(shù)為25，學(xué)習(xí)率η為0.3，時間步長time_step為2，迭代次數(shù)為1 000次。 從［0，10］中選取正則化系數(shù)λ的值，觀察訓(xùn)練集、測試集和驗證集的評價指標(biāo)變化，其中驗證集變化曲線如圖2所示。

圖2 驗證集偏差隨正則化系數(shù)λ的變化曲線

根據(jù)仿真結(jié)果可以得到：驗證集偏差隨正則化系數(shù)λ的增加先減小后增大，當(dāng)正則化系數(shù)λ=2時，驗證集偏差最小，正則化方法使用前后的評價指標(biāo)見表2。

表2 正則化方法使用前后評價指標(biāo)的對比

2.3 實驗對比分析

現(xiàn)利用支持向量回歸（SVR）、BP和基于L2正則化LSTM的網(wǎng)絡(luò)（L2-G-LSTM）對TE過程進行辨識與比較，得到的訓(xùn)練結(jié)果如圖3、4所示，評價指見標(biāo)表3～6。 所采用的數(shù)據(jù)集為表1中的4組數(shù)據(jù)集。

圖3 測試集各個樣本預(yù)測誤差百分比

圖4 基于第2組數(shù)據(jù)集各算法的預(yù)測結(jié)果

表3 基于第1組數(shù)據(jù)集的評價指標(biāo)

（續(xù)表3）

表4 基于第2組數(shù)據(jù)集的評價指標(biāo)

表5 基于第3組數(shù)據(jù)集的評價指標(biāo)

表6 基于第4組數(shù)據(jù)集的評價指標(biāo)

從表3～6的結(jié)果可以看出， 相較于BP和SVR而言，L2-G-LSTM對TE過程進行辨識時，在訓(xùn)練集和測試集上得到的RMSE、MAPE相對較小，R2和ACC更接近于1，得到的擬合模型更加接近真實模型。 同時根據(jù)預(yù)測結(jié)果和實際輸出的對比，L2-GLSTM在驗證集上進行驗證時，能夠更好地反映出系統(tǒng)階躍響應(yīng)的各項指標(biāo)，綜合評價指標(biāo)和預(yù)測結(jié)果對比結(jié)果， 可以充分說明L2-G-LSTM具有更高的泛化能力和更高的辨識精度，能夠更好地對非線性動態(tài)系統(tǒng)進行建模。 實驗中的4組數(shù)據(jù)集分別對應(yīng)4種情況，無論在哪種情況下L2-G-LSTM網(wǎng)絡(luò)基本都能得到綜合評價下的最優(yōu)結(jié)果，基于這一點說明基于L2正則化的LSTM對于輸入數(shù)據(jù)的要求較低，為化工實際生產(chǎn)過程的建模提供了更多可能。

3 結(jié)束語

筆者提出的基于L2正則化的LSTM辨識策略，能夠有效地避免過擬合現(xiàn)象的發(fā)生，完成對非線性動態(tài)系統(tǒng)的辨識。 與BP、SVR方法相比，具有更快的收斂速度和辨識精度，在測試集上的誤差控制在0.15%左右； 在訓(xùn)練集和測試集上的輸出偏差控制在0.5℃以下； 擬合優(yōu)度R2控制在3以內(nèi)，表明對實際數(shù)據(jù)的動態(tài)走勢預(yù)測良好。 從對不同數(shù)據(jù)集的辨識結(jié)果來看， 基于L2正則化的LSTM辨識策略能夠降低對辨識數(shù)據(jù)的要求，對含有少量噪聲的正常工況數(shù)據(jù) （表1中的第1組數(shù)據(jù)）辨識時，仍然得到了良好的辨識效果，為離線辨識，得到“孿生”模型提供了可能。 將來應(yīng)考慮利用其他優(yōu)化算法對LSTM進行優(yōu)化，以進一步提高辨識精度。