Soft Sensing Modeling Method Based on Elman Neural Network for Chemical Process

桑樺李軍(蘭州交通大學(xué)自動化與電氣工程學(xué)院，甘肅蘭州　730070)

?

基于Elman神經(jīng)網(wǎng)絡(luò)的化工過程軟測量建模方法

Expanded Kalman filter algorithmChemical processes

國家自然科學(xué)基金資助項目(編號:51467008)。

修改稿收到日期:2015－06－02。

第一作者桑樺(1991－)，男，現(xiàn)為蘭州交通大學(xué)自動化與電氣工程學(xué)院在讀碩士研究生;主要從事軟測量建模、計算智能方面的研究。

0　引言

在化工生產(chǎn)過程中，許多重要的質(zhì)量變量難以實時測量。軟測量技術(shù)通過構(gòu)建某種數(shù)學(xué)模型，描述可測、易測的輔助變量與難以直接測量的待測主導(dǎo)變量間的函數(shù)關(guān)系。根據(jù)最優(yōu)準則，軟測量技術(shù)能夠?qū)崿F(xiàn)對待測變量的測量或估計［1－2］。

近年來，人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)、支持向量機(support vector machine，SVM)等方法被廣泛地應(yīng)用于軟測量建模［1－6］。文獻［1］提出了基于多層感知器神經(jīng)網(wǎng)絡(luò)的軟測量建模方法，并將其應(yīng)用于脫丁烷塔的軟測量建模;文獻［2］提出了一種基于SVR的軟測量建模方法，并把它用于乙烯裂解產(chǎn)物收率的測量中。關(guān)于軟測量建模的研究大部分都采用靜態(tài)結(jié)構(gòu)。Elman神經(jīng)網(wǎng)絡(luò)是一種遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)，能夠?qū)㈦[層狀態(tài)變量反饋到輸入端，反饋中包含時間延時，因此具有動態(tài)記憶特性，可以有效提高模型的估計精度。傳統(tǒng)的RNN訓(xùn)練算法，如沿著時間反向傳播(back－propagation through time，BPTT)算法［7］、實時遞歸(real－time recurrent learning，RTRL)算法［8］，遵循誤差梯度最小化的準則，存在收斂速度慢、易陷入局部最優(yōu)等問題。擴展卡爾曼濾波［8－10］(expanded Kalman filter，EKF)作為卡爾曼算法的一種非線性擴展形式，屬于最優(yōu)狀態(tài)估計算法，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以提高收斂速度，滿足軟測量建模實時性的需求。

1　理論基礎(chǔ)

1.1 Elman神經(jīng)網(wǎng)絡(luò)

Elman網(wǎng)絡(luò)是1990年由Elman提出的一種RNN［7］。它是在基本前饋多層感知器結(jié)構(gòu)的基礎(chǔ)上，增加一個反饋層，作為一步延時算子，使其具備動態(tài)記憶特性;能直接反映動態(tài)過程系統(tǒng)的特性，可用于構(gòu)建具有時空特性動態(tài)軟測量模型。Elman神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)如圖1所示。

Elman網(wǎng)絡(luò)主要由四部分組成，分別為輸入層U、隱含層X、承接層C及輸出層Y。輸入層、隱含層、輸出層的連接類似于前饋式神經(jīng)網(wǎng)絡(luò)，輸入層單元起信號傳輸作用，輸出層單元起線性加權(quán)作用，隱含層單元的傳遞函數(shù)可選擇線性或者非線性函數(shù)，承接層用來記憶隱含層單元前一時刻的輸出值并返回給網(wǎng)絡(luò)的輸入。設(shè)外部輸入U (t)=［(μ1(t)，…，μj(t)，…，μm(t)］，承接層輸入X(t)=［x1(t)，…，xj(t)，…，xt(t)］，輸入層至隱含層、隱含層與承接層及隱含層至輸出層的連接權(quán)值矩陣分別為: WRI、WRC及WOR，則網(wǎng)絡(luò)隱含層的輸入x～(t)和輸出x(t)可以表示為:

輸出層的輸入y～(t)和輸出y(t)可表示為:

式中: f1(·)和f2(·)為神經(jīng)元之間的傳遞函數(shù)，通常用Sigmoid函數(shù)。

圖1　Elman神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)圖Fig.1 Topological structure of Elman neural network

與其他RNN一樣，Elman神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法主要有基于梯度下降的BPTT算法和RTRL算法。

1.2 BPTT算法

BPTT算法是由前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練中經(jīng)常使用的反向傳播算法(back propagation，BP)發(fā)展而來。傳統(tǒng)的BP算法只能應(yīng)用于沒有動態(tài)特性的前饋神經(jīng)網(wǎng)絡(luò)，不適用于訓(xùn)練Elman神經(jīng)網(wǎng)絡(luò)。BPTT算法把輸出誤差梯度儲存于每一個時間步，將網(wǎng)絡(luò)沿著時間展開，使動態(tài)網(wǎng)絡(luò)轉(zhuǎn)化為靜態(tài)網(wǎng)絡(luò)。

對于時間層之前的層，對輸出層和隱含層神經(jīng)元有:

設(shè)學(xué)習(xí)率為α，則權(quán)值的修正形式可表示為:

BPTT算法是一種離線算法，其存在的主要問題是收斂速度慢、容易陷入局部最小，需要耗費較長的時間才能得到滿意的效果。

1.3 RTRL算法

RTRL算法是1989年由Williams和Zipser提出的一種前向梯度下降算法，它能夠在每次迭代時直接計算每個節(jié)點的誤差梯度，并且能夠獲得每一個時間步的精確誤差梯度解。網(wǎng)絡(luò)的訓(xùn)練目的是通過調(diào)整權(quán)值使均方誤差和最小，輸出層至隱含層連接權(quán)值的修正形式可表示為:

式中: d(t)=［d1(t)，…，dn(t)］為網(wǎng)絡(luò)輸出的期望值;α為學(xué)習(xí)率。

隱含層至輸入層連接權(quán)值的修正可表示為:

同樣的方法，隱含層至承接層連接權(quán)值的修正可表示為:

式中:當h =1時，δkhrjon=1;否則δkhrjon=0。

RTRL算法可以得到誤差梯度的精確解，但是與BPTT算法一樣，同樣存在收斂速度較慢和容易陷入局部最優(yōu)的缺陷;而且，RTRL算法計算復(fù)雜度較高，比較適用于小型網(wǎng)絡(luò)。

1.4 EKF算法

EKF學(xué)習(xí)算法是適用于非線性系統(tǒng)的一種狀態(tài)估計技術(shù)，在神經(jīng)網(wǎng)絡(luò)建模中的應(yīng)用十分廣泛。其基本思路是把網(wǎng)絡(luò)的連接權(quán)值作為Kalman濾波器的待估狀態(tài)，把網(wǎng)絡(luò)的輸出作為Kalman濾波器的觀察輸出，這樣就可以把神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題轉(zhuǎn)化為非線性濾波問題，改善了用簡單的梯度下降算法訓(xùn)練RNN時所產(chǎn)生的收斂速度慢、容易陷入局部最優(yōu)等問題。EKF的網(wǎng)絡(luò)訓(xùn)練過程可簡單表示為:

式中: W為狀態(tài)矩陣，可由長度為nw的網(wǎng)絡(luò)權(quán)值向量(包括WRI、WRC和WOR)表示; H為nw×ny的雅克比矩陣，通常采用BPTT算法或RTRL算法對其進行求解; P為nw×nw的誤差協(xié)方差矩陣，它包含了對應(yīng)于每一組網(wǎng)絡(luò)權(quán)值的誤差協(xié)方差; K為nw×nw的Kalman增益矩陣，可以根據(jù)期望輸出向量和實際輸出向量的差值來更新權(quán)值矩陣W; N為ny×ny的測量噪聲矩陣，與BPTT或RTRL算法中的學(xué)習(xí)率相似，用來控制網(wǎng)絡(luò)的訓(xùn)練速度，ny為輸出單元的個數(shù); Q為nw×nw的過程噪聲協(xié)方差矩陣，nw為網(wǎng)絡(luò)權(quán)值的個數(shù)。非零的過程噪聲可以提高濾波器的收斂速率。

對于強非線性系統(tǒng)，EKF算法進行狀態(tài)估計時可以很快地實現(xiàn)對真值的逼近，而且能夠避免BPTT算法和RTRL算法容易陷入局部最小的缺點，因此更適用于化工過程軟測量建模。

2　仿真實驗

為了驗證本文所用方法的有效性，進行了2個仿真實驗，具體包括脫丁烷塔塔底的戊烷油組分中丁烷組分含量的估計和SRU中H2S和SO2氣體濃度的預(yù)測。模型性能的評價指標如下。

(1)均方誤差。

式中: yd(i)和y(i)分別為不同時刻的實測值和估計

式中: cov(.)為協(xié)方差矩陣。

相關(guān)系數(shù)表示兩個變量之間的緊密程度，R越大表明變量之間的線性相關(guān)程度越高。

2.1脫丁烷塔底軟測量建模

脫丁烷塔是煉油廠煉油過程中脫硫和石腦油分離裝置的必要組成部分，其目的主要是降低脫丁烷塔底部丁烷的濃度。由于丁烷濃度是在異戊烷塔頂產(chǎn)物儲存處進行監(jiān)測，利用在線測量儀表監(jiān)測丁烷濃度，需要的周期較長，因此建立動態(tài)軟測量模型［11－12］，對丁烷濃度進行實時監(jiān)測是十分必要的。

該過程共有2 394組數(shù)據(jù)，7個輔助變量和1個主導(dǎo)變量，采樣周期為12 min。本文選取數(shù)據(jù)的前50%作為訓(xùn)練樣本，后50%作為測試樣本，采用式(22)所示的具有外部輸入的非線性自回歸模型結(jié)構(gòu)(nonlinear auto regressive with exogenous inputs，NARX)［1］:值; T0為起始時刻; T為終止時刻。

(2)相關(guān)系數(shù)。

式中: y(k)為丁烷在k時刻的濃度; f為Elman神經(jīng)網(wǎng)絡(luò)。

在該過程中，采用隱層神經(jīng)元個數(shù)為6的Elman神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的權(quán)值和初始狀態(tài)分別在(－0.5，0.5)和(0.0，1.0)之間隨機給定。采用BPTT和RTRL算法，學(xué)習(xí)率取0.5，對主導(dǎo)變量進行估計，然后用EKF對BPTT和RTRL兩種算法進行改進。令其狀態(tài)誤差協(xié)方差矩陣P的對角元素值為P1，非對角元素值為P2，測量噪聲協(xié)方差矩陣和輸出噪聲協(xié)方差矩陣對角元素值分別為R和Q，采用交叉驗證法，當P1= 10 000、P2=1 000、R =100、Q =0.001時可得到較好的實驗結(jié)果。

圖2和圖3分別給出了基于EKF－BPTT和EKF－RTRL算法對C4組分進行預(yù)測時，在測試集上模型的預(yù)測值與實際值的對比圖;表1給出了基于不同算法估計C4濃度時，測試集上的相關(guān)系數(shù)以及均方誤差的性能指標比較。由表1可知，采用EKF算法對網(wǎng)絡(luò)進行訓(xùn)練，提高了網(wǎng)絡(luò)的預(yù)測精度。同時，本文還與相關(guān)文獻的結(jié)果進行了比較。文獻［3］在與本文完全相同的條件下，選取數(shù)據(jù)的前50%作為訓(xùn)練樣本，后50%作為測試樣本，采用式(22)所示的NARX模型，利用16－12－1的多層感知器(multilayer perceptron，MLP)方法，得到相關(guān)系數(shù)為0.985。文獻［14］運用貝葉斯網(wǎng)絡(luò)建立軟測量模型，獲得值為0.995的相關(guān)系數(shù)。經(jīng)對比可知，本文采用的方法均優(yōu)于文獻［2］和［3］中所使用的方法。

圖2　EKF－BPTT對丁烷濃度預(yù)測圖Fig.2 C4prediction using EKF－BPTT

圖3　EKF－RTRL對丁烷濃度預(yù)測圖Fig.3 C4prediction using EKF－RTRL

表1　在測試集上C4組分預(yù)測性能評價指標對比結(jié)果Tab.1 Contrast results of performance evaluation indexes of C4in test set

2.2 SRU軟測量建模

硫回收裝置(sulfur recovery unit，SRU)是煉油廠不可或缺的一個裝置，其主要作用是在把酸性氣體流排放到空氣之前，移除其中的環(huán)境污染物，如SO2、H2S，最終將硫元素作為一種副產(chǎn)品被SRU回收。由于測量濃度的儀表容易受到酸性氣體的腐蝕，當儀表進行維護時，可以用軟傳感器暫時替代。

根據(jù)專家經(jīng)驗，選取5個輔助變量作為SRU模型的輸入，2個主導(dǎo)變量(分別是H2S和SO2的濃度)作為輸出，采樣周期為1 min?？紤]到SRU是一個MIMO非線性動態(tài)模型，本文采用式(23)和式(24)所示的非線性滑動平均(nonlinear moving average，NMA )結(jié)構(gòu)［1］:

式中: y1(k)為H2S在k時刻的濃度輸出; y2(k)為SO2在k時刻的濃度輸出; f1及f2為Elman神經(jīng)網(wǎng)絡(luò)。

該化工過程共收集了10 081組數(shù)據(jù)，本文選取其中的前4/5作為訓(xùn)練樣本，其余的作為測試樣本，采用隱層神經(jīng)元個數(shù)為8的Elman神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的權(quán)值和初始狀態(tài)分別在(－0.5，0.5)和(0.0，1.0)之間隨機給定。采用BPTT和RTRL算法，學(xué)習(xí)率取0.5，對主導(dǎo)變量進行估計，然后用EKF對BPTT和RTRL兩種算法進行改進，令其狀態(tài)誤差協(xié)方差矩陣P的對角元素值為P1，非對角元素值為P2，測量噪聲協(xié)方差矩陣和輸出噪聲協(xié)方差矩陣對角元素值分別為R和Q，通過交叉驗證，當P1=10 000、P2=1 000、R =100、Q = 0.001時可得到較好的實驗結(jié)果。

表2和表3分別給出了基于不同算法估計H2S和SO2的濃度時，測試集上的相關(guān)系數(shù)以及均方誤差的性能指標比較。由表2和表3可以看出，對具有強非線性的SRU化工過程，EKF算法使Elman神經(jīng)網(wǎng)絡(luò)的預(yù)測精度得到明顯提高。同時，本文還對相關(guān)文獻的結(jié)果進行了比較。文獻［3］中，分別基于MLP、RBF神經(jīng)網(wǎng)絡(luò)、自適應(yīng)神經(jīng)模糊系統(tǒng)和非線性最小二乘4種方法，對H2S和SO2的濃度進行估計，在數(shù)據(jù)集中分別隨機選取1 000組數(shù)據(jù)作為訓(xùn)練樣本和測試樣本，非線性最小二乘的預(yù)測精度最高，其H2S的預(yù)測指標MSE為8×10－4，相關(guān)系數(shù)為0.848;對SO2的預(yù)測指標MSE為4×10－4，相關(guān)系數(shù)為0.905。經(jīng)對比可知，本文采用的方法均優(yōu)于文獻［2］和［3］中所使用的方法。

表2　在測試集上H2S性能評價指標對比結(jié)果Tab.2 Contrast results of performance evaluation indexes of H2S in test set

表3　在測試集上SO2性能評價指標對比結(jié)果Tab.3 Contrast results of performance indexes of SO2in test set

3　結(jié)束語

軟測量建模構(gòu)成的“軟傳感器”具有較強的適用性，可與硬件傳感器同時工作，當系統(tǒng)參數(shù)發(fā)生變化時能夠被重置，而且能夠克服硬件傳感器的延時問題，為需要監(jiān)控的過程主導(dǎo)變量提供了一種廉價、快速的實時估計手段，有效提高了控制系統(tǒng)的性能。本文對傳統(tǒng)RNN的訓(xùn)練算法進行了說明，并引入了EKF算法，用于化工過程軟測量建模。與傳統(tǒng)訓(xùn)練算法以及相關(guān)文獻的研究成果進行比較，實驗結(jié)果表明基于EKF算法的Elman神經(jīng)網(wǎng)絡(luò)收斂速度快，收斂精度高，而且具有較好的魯棒性，是一種有效的軟測量建模方法。

參考文獻

［1］Fortuna L，Graziani S，Xibilia M G.Soft sensors for product quality monitoring in debutanizer distillation columns［J］.Control Engineering Practice，2005，13(4): 499－508.

［2］吳文元，熊智華，呂寧.支持向量回歸在乙烯裂解產(chǎn)物收率軟測量中的應(yīng)用［J］.化工學(xué)報，2010，61(8):2046－2050.

［3］Fortuna L，Graziani S，Rizzo A，et al.Soft sensors for monitoring and control of industrial processes［M］.Berlin: Springer，2007.

［4］Kadlec P，Grbi R，Gabrys B.Review of adaptation mechanisms for data－driven soft sensors［J］.Computers＆Chemical Engineering，2011，35(1): 1－24.

［5］Graziani S，Napoli G，Xibilia M G.Soft sensor design for a sulfur recovery unit using a clustering based approach［C］/ / InstrumentationandMeasurementTechnologyConference Proceedings，IEEE，2008: 1162－1167.

［6］曹鵬飛，羅雄麟.化工過程軟測量建模方法研究進展［J］.化工學(xué)報，2013，64(3):788－800.

［7］Mazumdar J，Harley R G.Recurrent neural networks trained with backpropagation through time algorithm to estimate nonlinear load harmonic currents［J］.Industrial Electronics，IEEE Transactions on，2008，55(9): 3484－3491.

［8］Erňansky M，Makula M，Beňuková L.Organization of the state space of a simple recurrent network before and after training on recursive linguistic structures［J］.Neural Networks，2007，20(2): 236－244.

［9］陳巍.遞歸神經(jīng)網(wǎng)絡(luò)的卡爾曼濾波及分層學(xué)習(xí)算法［J］.華南理工大學(xué)學(xué)報:自然科學(xué)版，1998，26(4): 44－48.

［10］仲衛(wèi)進，艾芊.擴展卡爾曼濾波在動態(tài)負荷參數(shù)辨識中應(yīng)用［J］.電力自動化設(shè)備，2007，27(2): 47－50.

［11］Souza F，Araújo R.Online mixture of univariate linear regression models for adaptive soft sensors［J］.IEEE Transactions on Industrial Informatics，2013，10(2):937－945.

［12］Naha A，Deb A K.Soft－sensor approach for measuring pulverised coal flow［J］.Science，Measurement＆Technology，IET，2014，8(4):220－227.

［13］唐志杰，唐朝暉，朱紅求.一種基于多模型融合軟測量建模方法［J］.化工學(xué)報，2011，62(8): 2248－2252.

［14］李雅芹，周開武，楊慧中.基于貝葉斯網(wǎng)絡(luò)的軟測量建模方法［J］.計算機與應(yīng)用化學(xué)，2010(10):25.

Soft Sensing Modeling Method Based on Elman Neural Network for Chemical Process

桑樺李軍
(蘭州交通大學(xué)自動化與電氣工程學(xué)院，甘肅蘭州730070)

摘要:針對軟測量建模問題，提出了一種基于Elman神經(jīng)網(wǎng)絡(luò)的軟測量建模方法。將該方法應(yīng)用于脫丁烷塔底部丁烷組分含量以及硫回收裝置尾氣中SO2和H2S含量的軟測量建模，分別采用BPTT算法、RTRL算法和EKF算法對Elman網(wǎng)絡(luò)進行訓(xùn)練。在同等條件下，通過與傳統(tǒng)的梯度下降算法以及其他軟測量建模方法對比表明，EKF算法能夠獲得較好的離線估計結(jié)果，具有較好的魯棒性和較快的收斂速度。

關(guān)鍵詞:Elman神經(jīng)網(wǎng)絡(luò)軟測量時間反向傳播(BPTT)算法實時遞歸(RTRL)算法擴展卡爾曼濾波(EKF)算法化工過程

Abstract:For soft sensing modeling，the method based on Elman neural network is proposed，and applied in soft sensing modeling for butane component content of the bottom of the debutanizer，and the contents of SO2and H2S in tail gas of sulfur recovery unit; and the Elman neural network is trained by using BPTT algorithm，RTRL algorithm and EKF algorithm respectively.Comparison with other soft sensing modeling methods and traditional gradient descent algorithm，better off line estimation result，robustness and faster convergence speed are obtained by EKF algorithm.

Keywords:Elman neural networkSoft sensingBack－propagation through time algorithmReal－time recurrent learning algorithm

中圖分類號:TH－39; TP274

文獻標志碼:A

DOI:10.16086/j.cnki.issn1000－0380.201603017