方港 袁瓏華 王曉明 李艷 黃道平 于廣平 葉洪濤 劉乙奇，5?

（1.華南理工大學(xué) 自動化科學(xué)與工程學(xué)院/自主系統(tǒng)與網(wǎng)絡(luò)控制教育部重點實驗室，廣東 廣州 510640；2.華南理工大學(xué)未來技術(shù)學(xué)院，廣東 廣州 511442；3.廣州工業(yè)智能研究院，廣東 廣州 511458；4.廣西科技大學(xué) 廣西汽車零部件與整車技術(shù)重點實驗室，廣西 柳州 545036；5.華南理工大學(xué) 廣東省無人機系統(tǒng)工程技術(shù)研究中心，廣東 廣州 510640）

軟測量技術(shù)能夠?qū)I(yè)過程中重要且難以在線測量的變量進(jìn)行測量，并實現(xiàn)對過程變量的實時監(jiān)控。近年來，隨著人工智能技術(shù)的發(fā)展，基于數(shù)據(jù)驅(qū)動的軟測量技術(shù)被廣泛應(yīng)用于工業(yè)過程中，成為了先進(jìn)過程控制技術(shù)的重要組成部分，也是化工領(lǐng)域中用于難測過程變量檢測的常用技術(shù)［1-2］?；跀?shù)據(jù)驅(qū)動的軟測量建模技術(shù)無需獲取精確的機理模型，其通過對數(shù)據(jù)的深度分析構(gòu)建易測變量和難測變量之間的數(shù)學(xué)模型，利用易測的輔助變量估計難測變量［3］?；谏窠?jīng)網(wǎng)絡(luò)的軟測量建模方法憑借其強大的非線性映射能力、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和魯棒性，以及不依賴于數(shù)學(xué)模型的特性，成為了軟測量領(lǐng)域最為活躍的研究分支［4-6］。但是，強非線性、參數(shù)時變、多變量耦合使得利用傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)建立的模型存在檢測不清、故障診斷不明和實時控制不準(zhǔn)等問題。遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的處理單元間既有內(nèi)部的反饋連接又有前饋連接，具有動態(tài)記憶特性，能夠處理具有時延信息的數(shù)據(jù)，從而具有比前饋神經(jīng)網(wǎng)絡(luò)更強的動態(tài)行為和計算能力［7］。作為最典型的RNN 之一，Elman 遞歸神經(jīng)網(wǎng)絡(luò)在水質(zhì)軟測量模型中得到了較好的應(yīng)用［8］。關(guān)學(xué)忠等［9］對污水處理廠曝氣池中的化學(xué)需氧量（Chemical Oxygen Demand，COD）進(jìn)行學(xué)習(xí)預(yù)測，證明了Elman網(wǎng)絡(luò)對污水COD的預(yù)測能力優(yōu)于反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)。

然而，現(xiàn)有Elman 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法多采用時間反向傳播（Back Propagation Through Time，BPTT）［10］、動量梯度下降（Gradient Descent with Momentum，GDM）和Levenberg-Marquardt（LM）［11］等傳統(tǒng)優(yōu)化算法［12］。這些基于梯度下降的算法存在對初始值設(shè)置敏感、計算結(jié)果不穩(wěn)定、易收斂到局部最優(yōu)解和梯度消失等問題［13-14］，而卡爾曼濾波算法（Kalman Filter，KF）［15］的提出為上述問題提供了一個解決思路［16］。Hao 等［17］采用基于擴展卡爾曼濾波器（Extended Kalman Filter，EKF）的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，提高了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的迭代收斂速度和精度，但每次迭代計算量大。EKF方法采用一階泰勒近似，需要計算雅克比矩陣，在局部非線性較強時容易引入較大的近似誤差，導(dǎo)致濾波器失效，不利于并行計算［18-19］。為此，研究者們嘗試引入集合卡爾曼濾波（Ensemble Kalman Filter，EnKF）以避免上述問題［20-21］。

EnKF 是 由Evensen［22］提出的一種數(shù)據(jù)同化方法，適用于高維、非線性和非高斯?fàn)顟B(tài)估計問題［21］，目前在神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化領(lǐng)域得到了廣泛應(yīng)用。Legler 等［23］將EnKF 與標(biāo)準(zhǔn)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）相結(jié)合來優(yōu)化淺水模型參數(shù)，減小了大氣變量的狀態(tài)誤差，有效量化了參數(shù)估計的不確定性，但其預(yù)測能力在實際數(shù)據(jù)的表現(xiàn)仍有待進(jìn)一步研究。Mirikitani 等［24］通過將EnKF 與遞歸神經(jīng)網(wǎng)絡(luò)有序結(jié)合，驗證了EnKF 在RNN 的時間序列預(yù)測上具有很好的適用性。此外，Chen等［25］采用EnKF 訓(xùn)練長短期記憶網(wǎng)絡(luò)，將其作為捕獲預(yù)測不確定性的無梯度替代方案。

為避免雅克比矩陣的計算，并規(guī)避標(biāo)準(zhǔn)算法不適用于大型神經(jīng)網(wǎng)絡(luò)的難題，文中將EnKF 引入Elman 遞歸神經(jīng)網(wǎng)絡(luò)中更新網(wǎng)絡(luò)參數(shù)，以期獲得一種簡單、無梯度的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，提高軟測量模型的預(yù)測性能。

1 Elman 遞歸神經(jīng)網(wǎng)絡(luò)及其狀態(tài)空間模型

1.1 Elman遞歸神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)

神經(jīng)網(wǎng)絡(luò)是目前最常使用的軟測量模型，文中采用Elman 遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行動態(tài)非線性建模。Elman 網(wǎng)絡(luò)也稱為簡單遞歸神經(jīng)網(wǎng)絡(luò)（Simple Recurrent Network，SRN），是一種典型的局部回歸網(wǎng)絡(luò)［26］。與前饋網(wǎng)絡(luò)相比，Elman 網(wǎng)絡(luò)引入了一個特別的隱含層，稱為關(guān)聯(lián)層。關(guān)聯(lián)層保存了上一時刻的隱含層狀態(tài)信息，并與當(dāng)前時刻的網(wǎng)絡(luò)輸入一起作用于隱含層，這相當(dāng)于引入了狀態(tài)反饋。這種內(nèi)部反饋增加了網(wǎng)絡(luò)動態(tài)特性，可實現(xiàn)動態(tài)建模。

Elman 網(wǎng)絡(luò)一般分為4 層：輸入層U，隱含層R，承接層C 和輸出層Y。用WRU、WRC、WYR分別表示輸入層到隱含層、承接層到隱含層、隱含層到輸出層的連接權(quán)值矩陣。隱含層輸出經(jīng)單位時延后作為下一時刻承接層的輸入，即ck=vk-1，并經(jīng)權(quán)值矩陣WRC作用到隱含層。

給定k時刻的輸入uk∈Rn，Elman 網(wǎng)絡(luò)的輸出可以計算為

式中，fh(·)為隱含層激活函數(shù)，fo(·)為輸出層激活函數(shù)，n、Nh、m分別表示輸入層、隱含層、輸出層的結(jié)點個數(shù)。文中隱含層激活函數(shù)采用sigmoid函數(shù)fh(x)=，輸出層采用線性激活函數(shù)fo(x)=x。

Elman 神經(jīng)網(wǎng)絡(luò)引入的內(nèi)部反饋增加了網(wǎng)絡(luò)動態(tài)特性，便于動態(tài)建模，但同時也使模型結(jié)構(gòu)變得復(fù)雜，訓(xùn)練時更易陷入局部最小值。訓(xùn)練Elman神經(jīng)網(wǎng)絡(luò)的方法較多，比較常用的有BPTT 算法、GMD和LM算法等［10-12］。

1.2 動態(tài)狀態(tài)空間建模

遞歸神經(jīng)網(wǎng)絡(luò)、前饋神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)（Radial Basis Function，RBF）神經(jīng)網(wǎng)絡(luò)等的學(xué)習(xí)問題本質(zhì)上是參數(shù)優(yōu)化問題，通過對模型參數(shù)（權(quán)值）的不斷調(diào)整，使性能函數(shù)（如均方根誤差）的值不斷減小。

將集合卡爾曼濾波技術(shù)引入神經(jīng)網(wǎng)絡(luò)中，本質(zhì)上是把神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間的連接權(quán)值參數(shù)作為隨機變量，即濾波器的狀態(tài)，采用動態(tài)狀態(tài)空間框架，隨著時序k不斷優(yōu)化網(wǎng)絡(luò)的參數(shù)，使得網(wǎng)絡(luò)的目標(biāo)輸出與預(yù)測輸出之間的均方誤差逐漸減小，進(jìn)而提高網(wǎng)絡(luò)的訓(xùn)練精度。利用卡爾曼框架編寫神經(jīng)網(wǎng)絡(luò)的狀態(tài)空間模型如下：

式中：xk為由權(quán)值參數(shù)所組成的狀態(tài)向量；uk為輸入向量；zk為模型輸出；rk為過程噪聲向量，假設(shè)rk～N(0，Rk)；vk為測量噪聲向量，假設(shè)vk～N(0，Vk)；g（·）為神經(jīng)網(wǎng)絡(luò)函數(shù)，文中g(shù)（·）為Elman遞歸神經(jīng)網(wǎng)絡(luò)，也可以將其擴展到前饋神經(jīng)網(wǎng)絡(luò)（Feed Forward Neural Network，F(xiàn)FNN）、RBF等網(wǎng)絡(luò)中。

2 基于集合卡爾曼濾波的Elman 網(wǎng)絡(luò)算法

2.1 基于基本集合卡爾曼濾波的Elman 網(wǎng)絡(luò)算法

EnKF是一種基于隨機采樣的卡爾曼濾波方法，它通過隨機采樣產(chǎn)生的粒子集來擬合狀態(tài)分布，用粒子集的協(xié)方差信息代替系統(tǒng)協(xié)方差，簡化了卡爾曼框架中協(xié)方差矩陣的分析過程。當(dāng)新的數(shù)據(jù)到來時，EnKF 對粒子集中的每個粒子進(jìn)行更新，從而不斷調(diào)整概率分布，因此，EnKF更便于實現(xiàn)。

應(yīng)用基本EnKF 算法可以對Elman 網(wǎng)絡(luò)參數(shù)進(jìn)行估計。對于式（4）的狀態(tài)空間模型，基于EnKF濾波的Elman網(wǎng)絡(luò)參數(shù)學(xué)習(xí)過程（EnKF-Elman）可整理為以下步驟。

步驟1由初始狀態(tài)的均值和協(xié)方差隨機采樣生成由集成粒子xk，i∈Rn（n為狀態(tài)維度）組成的粒子集：

式中，N為集成粒子個數(shù)，Xk為k時刻的粒子集合。狀態(tài)分布的均值和協(xié)方差可以由這N個集成粒子來近似：

式中：1N∈RN，是維度為N、元素均為1 的列向量；表示去均值后的粒子集合，

步驟2計算Elman模型的預(yù)測粒子集：

分別用和Yk表示粒子轉(zhuǎn)移狀態(tài)和粒子輸出的組成矩陣：

步驟3粒子更新——給定測量值zk∈Rm，其粒子集的更新方式如下：

式中：Hk為輸出zk相對于網(wǎng)絡(luò)權(quán)重xk的雅可比矩陣；εk為施加在每個粒子上的擾動觀測向量所組成的擾動矩陣，它可以有效避免協(xié)方差矩陣的過度低估［27］；為粒子集的協(xié)方差，可由其去均值后的矩陣進(jìn)行計算，具體計算方法可參照式（7）和（8），那么可將粒子集的更新方式寫為

式（14）的更新需要計算Hk，更簡便地，可以采用直接計算Hk的方法［28］：

在實際應(yīng)用中，為加快運算速度并避免矩陣求逆的問題，往往采用奇異值分解（Singular Value Decomposition，SVD）的方法進(jìn)行計算［27-28］，即

這樣，算法的編程實現(xiàn)可以更加高效、快速。

EnKF根據(jù)測量數(shù)據(jù)循環(huán)迭代步驟2和3，不斷調(diào)整粒子集分布，從而實現(xiàn)Elman 網(wǎng)絡(luò)的參數(shù)更新。可以發(fā)現(xiàn)，EnKF 只需要更新粒子集，因此有效解決了KF 框架在計算和更新狀態(tài)誤差協(xié)方差時對計算資源需求量過大的問題；同時，其不需要求解和計算雅克比矩陣，易于實現(xiàn)，便于擴展。

2.2 基于對偶有限樣本集合卡爾曼濾波的Elman網(wǎng)絡(luò)算法

相比EnKF-Elman，基于對偶有限樣本集合卡爾曼濾波（Dual Finite-Size Ensemble Kalman Filter，D-EnKF-N）的Elman 網(wǎng)絡(luò)算法主要在于濾波器的不同，其采用的是D-EnKF-N 濾波器。在介紹D-EnKF-N 濾波器前，先介紹有限樣本的集合卡爾曼濾波（Finite-Size Ensemble Kalman Filter，EnKF-N）方法。

2.2.1 有限樣本的集合卡爾曼濾波方法

EnKF-N 本質(zhì)上不需要像基本集合卡爾曼濾波一樣引入擾動觀測矩陣，其主要思想是：式（6）和（7）計算得到的集合均值和協(xié)方差與先驗概率密度函數(shù)（Probability Density Function，PDF）的均值Xb和誤差協(xié)方差B不匹配；對于較大的樣本（N→∞），它們是接近一致的，但由于采樣誤差的存在，對于較小的樣本它們往往是不一致的。為此，EnKF-N 在EnKF 中提出了一種新的先驗PDF，它是對所有可能的Xb和B進(jìn)行積分的結(jié)果：

式中：det|·|表示矩陣的行列式；εN是一個取決于先驗分布假設(shè)的常數(shù)，如果集合均值Xˉ與Xb一致，則εN=1，否則。由于預(yù)測先驗公式（18）是非高斯的，需要通過類似于變分優(yōu)化的最大似然濾波器進(jìn)行分析［29］。在集合空間中，狀態(tài)被向量∈RN參數(shù)化，使得

此時，EnKF-N的代價函數(shù)為

那么，式（19）中的可通過最小化式（20）得出：

式中：VT為滿足VT1N=1N的任意正交矩陣；為集合空間中的分析誤差協(xié)方差矩陣，其計算方式為

2.2.2 基于D-EnKF-N的Elman網(wǎng)絡(luò)算法原理

因為D(?)是一個標(biāo)量函數(shù)，式（25）的全局最小值很容易找到。變量?與平方半徑共軛，其可以看作是粒子集中有效自由度的數(shù)量。D(?)的最小值?a可以通過在區(qū)間[0，N/εN]上最小化以下對偶代價函數(shù)來實現(xiàn)［31］：

一旦計算出最小值?a，就可以從類似式（21）的代價函數(shù)中獲得對w的分析：此時，通過式（22）和（24）可對粒子集進(jìn)行更新，詳細(xì)信息可以參閱文獻(xiàn)［31-32］。D-EnKF-N 與Elman網(wǎng)絡(luò)相結(jié)合構(gòu)建軟測量模型的步驟總結(jié)如下。

對比EnKF-Elman和D-EnKF-N-Elman算法，可以發(fā)現(xiàn)它們本質(zhì)上是為了緩解粒子集的分布與狀態(tài)參數(shù)的實際分布不匹配問題而采取了不同的措施。EnKF-Elman 算法在訓(xùn)練過程中通過引入擾動觀測矩陣來緩解協(xié)方差矩陣的過度低估問題，其訓(xùn)練過程簡單，易于實現(xiàn)，但在迭代過程中引入了隨機性，可能產(chǎn)生次優(yōu)的濾波性能；D-EnKF-N-Elman算法采用新的先驗概率密度函數(shù)進(jìn)行分析，避免了每次迭代過程中擾動觀測矩陣的隨機性影響，性能更好，但是增加了算法的復(fù)雜度。

3 實驗分析

3.1 案例說明

為了驗證所提出的算法的優(yōu)越性，文中使用加州大學(xué)歐文分校機器學(xué)習(xí)數(shù)據(jù)庫中的污水?dāng)?shù)據(jù)（UCI數(shù)據(jù)）進(jìn)行仿真。UCI 數(shù)據(jù)來源于一間城市活性污泥污水處理廠，由于該廠的污水處理工藝較為落后，5 日生物需氧量BOD5在線分析儀往往不可靠。此外，實驗室測量過程又存在固有的5天延遲，難以實時獲取BOD5值，給污水的有效處理帶來了挑戰(zhàn)，因此非常需要一個合理、準(zhǔn)確的預(yù)測模型來對BOD5等重要的出水指標(biāo)進(jìn)行預(yù)測。

如圖1 所示，該廠的污水處理過程由4 部分組成［33］：預(yù)處理、初沉池、反應(yīng)池和二沉池。該廠每天對38 個與有機物和微生物相關(guān)的過程變量進(jìn)行測量。受測量條件的限制，設(shè)備故障、傳感器失靈、天氣、人為等因素均會對變量的測量產(chǎn)生影響，導(dǎo)致僅有275天的正常數(shù)據(jù)。對此，文中首先結(jié)合機理分析對變量進(jìn)行了初步篩選，最終選擇18個過程變量作為模型的輸入［34-35］，詳細(xì)的變量介紹見表1。

表1 UCI輔助變量Table 1 UCI auxiliary variables

圖1 污水處理過程Fig.1 Sewage treatment process

研究中選擇工廠出水中的化學(xué)需氧量（CODS）、生物需氧量（BOD5）和固體懸浮物濃度（ρSS，S）作為輸出變量。

為評價模型的預(yù)測精度，分別引入均方根誤差（Root Mean Square Error，ERMSE）、平均絕對百分比誤差（Mean Absolute Percentage Error，EMAPE）和相關(guān)系數(shù)R作為性能指標(biāo)，它們的數(shù)學(xué)表達(dá)式分別為

式中：N為樣本個數(shù)；和yi分別為第i個樣本的預(yù)測值和輸出值；cov(Y，Y)為協(xié)方差；var(Y)和var()分別為Y和的方差；=(，，…，)，Y=(y1，y2，…，yn)。ERMSE衡量的是真實值與預(yù)測值偏離的絕對大小，而EMAPE衡量的是預(yù)測值偏離真實值的相對大?。窗俜致剩?，R主要用來衡量模型對數(shù)據(jù)變化趨勢的擬合程度。顯然，ERMSE和EMAPE越小，模型的預(yù)測誤差和偏離實際值的程度越小，效果越好；R越大，模型越能很好地跟蹤數(shù)據(jù)的變化趨勢，性能也就越好。

考慮到文中使用Elman網(wǎng)絡(luò)作為多輸出模型同時預(yù)測多個響應(yīng)，因此用對角平方和的均方根ERMSSD和多元相關(guān)系數(shù)RMR作為多輸出的性能評價標(biāo)準(zhǔn)。這些評價標(biāo)準(zhǔn)的計算公式如下：

式中，trace{·}表示矩陣的跡，Ri為第i個輸出所對應(yīng)的相關(guān)系數(shù)。對于軟測量模型而言，ERMSSD越小、RMR越大，則預(yù)測性能越好。

性能評估時，采用ERMSE、EMAPE和R這3 個指標(biāo)來評價各輸出變量的預(yù)測精度和偏差率，采用ERMSSD和RMR來評價多輸出模型的整體預(yù)測性能。

3.2 實驗結(jié)果

為了驗證集成卡爾曼濾波技術(shù)在Elman網(wǎng)絡(luò)軟測量模型上的有效性，將其用于預(yù)測UCI數(shù)據(jù)集的ρSS，S、BOD5和CODS，并將其和使用經(jīng)典訓(xùn)練算法的Elman 網(wǎng)絡(luò)（BPTT-Elman、GDM-Elman、LM-Elman）進(jìn)行對比，評估其預(yù)測性能。為了方便書寫，下文用EnKF-Elman 表示集合卡爾曼濾波的Elman 軟測量模型，用D-EnKF-N-Elman 表示基于對偶有限樣本的集合卡爾曼濾波的Elman軟測量模型。

為便于對比，實驗中所采用的網(wǎng)絡(luò)結(jié)構(gòu)均為18-8-3 的Elman 網(wǎng)絡(luò)結(jié)構(gòu)，而隱含層激活函數(shù)和輸出層激活函數(shù)分別使用sigmoid 函數(shù)fh(x)=和線性激活函數(shù)fo(x)=x；權(quán)重的初始值介于［-0.5，0.5］；將UCI 的400 組數(shù)據(jù)中的前200 組樣本用于訓(xùn)練模型，后200組用于驗證模型性能?？紤]到受初始權(quán)重隨機性的影響，表2中結(jié)果是使用300次隨機的初始權(quán)值運行得到的平均結(jié)果。

表2 不同集成粒子個數(shù)下EnKF-Elman模型的預(yù)測結(jié)果1）Table 2 Prediction results of EnKF-Elman model with different particle numbers

表2 給出了不同算法的預(yù)測結(jié)果。可以看出，當(dāng)集成粒子個數(shù)M為500時，基于集合卡爾曼技術(shù)的Elman軟測量模型已能得到較好的預(yù)測效果，性能顯著優(yōu)于BPTT-Elman、GDM-Elman 和LM-Elman等傳統(tǒng)Elman網(wǎng)絡(luò)。

以EnKF-Elman 為例，從單個輸出的預(yù)測指標(biāo)ERMSE、R和EMAPE來看，集合卡爾曼濾波方法的粒子個數(shù)為500 時，EnKF-Elman 在ρSS，S、BOD5和CODS上的ERMSE分別為3.379、1.897 和8.667，比BPTTElman分別減小了31.83%、47.17%和46.25%，比GDM-Elman分別減小了26.51%、42.65%和40.14%，比LM-Elman分別減小了86.98%、43.51%和35.95%，這表明文中提出的EnKF-Elman 方法在水質(zhì)參數(shù)預(yù)測上比傳統(tǒng)Elman 模型的測量誤差更小，性能更優(yōu)。

EnKF-Elman 在各個水質(zhì)質(zhì)量參數(shù)輸出的EMAPE和R上同樣有類似的提升，具有較好的性能表現(xiàn)。從整體預(yù)測性能ERMSSD和RMR來看，EnKF-Elman 的ERMSSD減少到了9.499，RMR達(dá)到了0.911，比BPTTElman 分別提升了45.00% 和32.41%，比GDMElman 分別提升了38.99% 和16.65%，比LMElman 分別提升了69.71%和19.08%，這說明集合卡爾曼濾波方法提升了Elman網(wǎng)絡(luò)的預(yù)測性能，可對系統(tǒng)多水質(zhì)參數(shù)進(jìn)行有效檢測。

對比EnKF-Elman 和D-EnKF-N-Elman 可以發(fā)現(xiàn)，對偶形式的有限樣本集合卡爾曼濾波比標(biāo)準(zhǔn)形式的集合卡爾曼濾波的預(yù)測結(jié)果略優(yōu)，能夠更有效地提高Elman網(wǎng)絡(luò)的預(yù)測性能。

圖2 和圖3 為不同算法的輸出預(yù)測曲線。為了方便觀察，僅列出前100 個測試數(shù)據(jù)的預(yù)測結(jié)果。對比基于BPTT、GDM 和LM 的傳統(tǒng)算法的預(yù)測結(jié)果，可以看出文中基于EnKF 的算法能夠更好地跟蹤輸出變量ρSS，S的動態(tài)變化。傳統(tǒng)算法中的輸出水質(zhì)參數(shù)ρSS，S的預(yù)測值與實際值的擬合較差，這主要是因為算法容易陷入局部極小值，得到較為不理想的預(yù)測結(jié)果，這反過來證明了文中方法的有效性。對于變量BOD5和CODS，BPTT-Elman、GDM-Elman和LM-Elman 等傳統(tǒng)算法具有良好的擬合性能。但從預(yù)測曲線的峰值和峰谷來看，基于EnKF 技術(shù)的Elman 網(wǎng)絡(luò)能夠更好地跟蹤實際曲線的動態(tài)變化，其預(yù)測能力優(yōu)于上面列出的傳統(tǒng)Elman 訓(xùn)練算法，這說明EnKF-Elman 可以很好地擬合預(yù)測水質(zhì)參數(shù)的變化趨勢。

圖2 BPTT-Elman、GDM-Elman 和LM-Elman 模型的輸出預(yù)測曲線Fig.2 Output prediction curves of BPTT-Elman，GDM-Elman and LM-Elman models

圖3 EnKF-Elman 和D-EnKF-N-Elman 模型的輸出預(yù)測曲線（M=500）Fig.3 Output prediction curves of EnKF-Elman and D-EnKFN-Elman models（M=500）

圖4 為基于集合卡爾曼技術(shù)的Elman 網(wǎng)絡(luò)的收斂曲線?？梢钥闯?，D-EnKF-N-Elman 的收斂精度比EnKF-Elman的略高，說明D-EnKF-N-Elman的收斂性能更好。這主要是因為D-EnKF-N 濾波器在先驗中考慮了采樣誤差，而且不需要像集合卡爾曼濾波器一樣引入擾動觀測矩陣，可以有效減小采樣誤差。但是，EnKF-N 類方法計算更加復(fù)雜，其訓(xùn)練時間要求更高。

圖4 EnKF-Elman 和D-EnKF-N-Elman 模型的平均ERMSE 收斂曲線Fig.4 Average ERMSE convergence curves of EnKF-Elman and D-EnKF-N-Elman models

4 結(jié)語

文中針對傳統(tǒng)Elman 神經(jīng)網(wǎng)絡(luò)預(yù)測精度欠佳、容易陷入局部最小值的問題，將集合卡爾曼濾波技術(shù)引入到Elman 網(wǎng)絡(luò)中構(gòu)建軟測量模型，采用UCI數(shù)據(jù)進(jìn)行驗證，對ρSS，S、BOD5和CODS等重要污水出水水質(zhì)參數(shù)進(jìn)行預(yù)測，并將結(jié)果與傳統(tǒng)的模型進(jìn)行對比，發(fā)現(xiàn)EnKF-Elman和D-EnKF-N-Elman模型無論是單輸出還是多輸出評價指標(biāo)，其預(yù)測性能都優(yōu)于傳統(tǒng)的Elman模型，說明文中提出的方法是有效和可行的。但隨著系統(tǒng)復(fù)雜度增加，EnKF 算法占用的內(nèi)存會大幅增加，后續(xù)研究中擬引入解耦方法，以提高算法的運行效率和實用性。