張宏偉,李鵬飛,景軍鋒,張 蕾,趙永濤

(西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048)

1 引言與預(yù)備知識

在石油冶煉等流程工業(yè)的自動化生產(chǎn)過程中,軟測量模型已經(jīng)被廣泛應(yīng)用于過程參數(shù)的實時估計或預(yù)報.隨著生產(chǎn)過程變得越來越復(fù)雜,過程的機(jī)理也越來越復(fù)雜,所以建立一個準(zhǔn)確的機(jī)理模型非常耗時且效果不佳.不同于機(jī)理建模的方式,利用生產(chǎn)過程的歷史數(shù)據(jù),建立基于數(shù)據(jù)的軟測量模型在近幾年出現(xiàn)了許多廣泛應(yīng)用的偏最小二乘回歸(PLS)[1-2]、人工神經(jīng)網(wǎng)絡(luò)(ANN)[3]、支持向量機(jī)回歸(SVR)[4]和最小二乘支持向量回歸(LSSVR)[5]等方法.

在石油冶煉等流程工業(yè)中,設(shè)備特性和催化劑活性等過程特性會隨著時間發(fā)生變化,比如設(shè)備老化、催化劑鈍化、原材料因生產(chǎn)任務(wù)的改變而改變等等,建立的軟測量模型必須隨系統(tǒng)特性的變化及時更新,才能準(zhǔn)確估計過程參數(shù).許多基于遞歸的方法被用來解決軟測量模型自動更新的問題,比如遞歸PLS[6-7]、遞歸SVR.盡管通過遞歸的方式能夠把軟測量模型調(diào)整到一個新的工況,但是這種方式卻無法處理工況發(fā)生突變的問題.為了使軟測量模型在工況變化時能夠快速自動調(diào)整,近年來的很多研究和應(yīng)用使用即時學(xué)習(xí)的方法用于軟測量建模和過程參數(shù)估計[8-9].

在傳統(tǒng)的基于即時學(xué)習(xí)的軟測量建模方法中,建立局部模型是計算耗時最多的一個環(huán)節(jié).如果能夠根據(jù)工況的實際變化情況,在工況發(fā)生突變的時候,及時更新局部模型;而在工況區(qū)域穩(wěn)定的間歇,降低局部模型更新的頻率,將有效地減少局部模型建模的耗時,提高預(yù)測的實時性.在實際的生產(chǎn)過程的大部分時間內(nèi),工況總是穩(wěn)定在幾個主要的工作區(qū)域.在工況穩(wěn)定的區(qū)域內(nèi),使用即時學(xué)習(xí)建立的局部模型在預(yù)測過程參數(shù)時并不需要每次更新.

本文針對在及時學(xué)習(xí)方法每次預(yù)測過程參數(shù)時均需要更新局部模型、軟測量建模耗時久的問題,提出了1個判定工況是否發(fā)生變化的參數(shù)和以該參數(shù)為基礎(chǔ)的控制局部模型是否更新的方法,并和其他改進(jìn)控制即時學(xué)習(xí)實時性的方法進(jìn)行實例對比的研究.通過對比分析,本文提出的方法能夠在穩(wěn)定的工況下準(zhǔn)確停止局部模型的更新,在工況突變的時刻及時更新局部模型,所以該方法有效的運(yùn)算量較小，實時性好,同時又能較好地跟蹤工況的突變,具有較準(zhǔn)確的估計預(yù)測能力.

與全局學(xué)習(xí)相比,即時學(xué)習(xí)的局部模型建立時需要的建模樣本數(shù)據(jù)較少,為了保持較好的預(yù)測泛化能力和預(yù)測實時性,最小二乘支持向量回歸機(jī)經(jīng)常用于即時學(xué)習(xí)的建模.為了對比不同的局部模型更新頻率策略對實時性等性能的影響,本文后面的軟測量建模使用的都是最小二乘支持向量機(jī)(LSSVR).

LSSVR具有快速的學(xué)習(xí)能力,計算簡單.在小樣本情況下,LSSVR能夠取得較好的學(xué)習(xí)效果.一組輸入樣本,LSSVR通過非線性映射將訓(xùn)練數(shù)據(jù)集映射到一個高維特征空間,從而使非線性函數(shù)估計問題轉(zhuǎn)化為高維特征空間中的線性函數(shù)估計問題.設(shè)回歸函數(shù)為y=f(u)=+b,其中<·,·>為內(nèi)積運(yùn)算,LSSVR在回歸估計中,即為求解如下的優(yōu)化問題,可以寫為

(1)

s.t.yi=+b+ei,i=1,…,n.

(2)

其中ei為誤差向量,γ為用于折中訓(xùn)練誤差和模型復(fù)雜性的懲罰系數(shù).為了求解該優(yōu)化問題,構(gòu)建拉格朗日函數(shù):

(3)

因此,優(yōu)化問題的求解過程就轉(zhuǎn)換成求解一個線性方程組.根據(jù)Mercer條件,LSSVR的模型為

(4)

其中αi為每個訓(xùn)練樣本的系數(shù),f(u)為LSSVR的預(yù)測模型,K(ui,u)為非線性的核函數(shù),本文采用較常用的高斯核函數(shù).對于一個新的數(shù)據(jù)樣本unew,由LSSVR預(yù)測的輸出可以計算：

(5)

圖1 全局模型和局部模型結(jié)構(gòu)的區(qū)別

2 實時性改進(jìn)

2.1 傳統(tǒng)的即時學(xué)習(xí)算法

與利用全部歷史數(shù)據(jù)離線建立一個全局模型的方法不同,即時學(xué)習(xí)在每次估計或預(yù)測過程參數(shù)時都需要重新建立一個局部模型,即更新局部模型,即時學(xué)習(xí)的局部模型結(jié)構(gòu)和離線學(xué)習(xí)的全局模型結(jié)構(gòu)的對比如圖1所示.

當(dāng)新的待測樣本unew需要估計過程參數(shù)的時候,根據(jù)傳統(tǒng)的在線學(xué)習(xí)建模的基本原理,需要經(jīng)過3個主要步驟:首先在一定的相似性尺度下,計算當(dāng)前樣本與全局?jǐn)?shù)據(jù)庫內(nèi)樣本點的相似性關(guān)系,然后依據(jù)相似性的大小選擇較相似的若干樣本,確定相關(guān)數(shù)據(jù)集;然后利用相關(guān)數(shù)據(jù)集建立新的局部模型;最后根據(jù)unew和新建立的局部模型預(yù)測輸入值.該局部模型在使用之后即被拋棄.當(dāng)下一個待測樣本unew+1來臨的時候,重復(fù)上述步驟.

在建立局部模型之前,先根據(jù)unew選擇用于建立局部模型的相關(guān)數(shù)據(jù)集.相似性的測度有很多,比如歐氏距離、馬氏距離和角度等,但這不是本文的研究重點,為了簡化,本文后面的研究默認(rèn)采用歐氏距離d(unew,ui)=‖unew,ui‖2作為相似性的測度,用來選擇建立局部模型的相關(guān)數(shù)據(jù)集.

按照式(6)計算待測樣本unew和全局?jǐn)?shù)據(jù)庫內(nèi)數(shù)據(jù)樣本ui相似性指數(shù):

(6)

其中d2(unew,ui)表示unew和ui的歐式距離.在上述計算結(jié)束之后,將得到的相似性指數(shù)降序排列.依據(jù)相似性大小,從數(shù)據(jù)庫中依次選取L個相關(guān)性最大樣本{ui,yi}1,2,…,L作為相關(guān)數(shù)據(jù)集,用來建立局部模型.在后面的軟測量建模部分,建立局部模型的相關(guān)數(shù)據(jù)集表示為{UL,yL}.根據(jù)LSSVR的建模步驟,可以推導(dǎo)出基于在線學(xué)習(xí)的LSSVR軟測量模型,訓(xùn)練后得到的模型參數(shù)分別表示為wL,αL和bL,對于待測樣本unew的測試結(jié)果表示為

(7)

2.2 實時性改進(jìn)對比研究

即時學(xué)習(xí)需要在線建立局部模型并預(yù)測輸出,建模的實時性是實際應(yīng)用的重要參考指標(biāo).如果系統(tǒng)運(yùn)行在相對穩(wěn)定的一段工況,那么unew會在一個非常小的范圍內(nèi)變化,則每次選取的{UL,yL}幾乎不變,所以在這種情況下,用于更新局部模型的計算是不必要的.文獻(xiàn)[5]提出通過計算前后相鄰兩個樣本的變化,并與設(shè)定的閾值相比較,用于判斷是否需要更新局部模型,其算法步驟為

(1) 假定當(dāng)前為t時刻,待測輸入unew(t),且模型需要更新.以歐氏距離為相關(guān)性測度,使用式(6)計算unew(t)與數(shù)據(jù)庫樣本的相似性指數(shù)si,i=1,2，…,n,其中n為數(shù)據(jù)庫樣本的總數(shù).挑選相似性指數(shù)大小為前L的樣本{UL,yL},建立了1個局部模型f(unew(t))預(yù)測輸出.同時相似度最小的那個值min(sL)作為t+1時刻判斷是否更新模型的閾值cut(t+1).

(2) 在t+1時刻,待測輸入變?yōu)閡new(t+1),使用式(6)計算unew(t+1)與unew(t)的相似度指數(shù),若小于cut(t+1),則不更新局部模型，否則局部模型更新為f(unew(t+1)),cut(t+1)更新為cut(t+2),建模步驟同步驟(1).

(3) 后面以此類推,在t+n時刻,先計算unew(t+n)與unew(t+n+1)的相似度,如果相似度小于cut(t+n+1)閾值,則不更新局部模型.否則更新局部模型,建模步驟同步驟(1).

該方法雖然能夠有效地降低模型的更新頻率,但是該方法在待測樣本緩慢變化的時候,極容易發(fā)生模型更新遲鈍的情況,這樣會導(dǎo)致模型的估計能力出現(xiàn)較大偏差的情況.

2.3 實時性改進(jìn)算法

上述控制局部模型更新頻率的算法給即時學(xué)習(xí)實時性改進(jìn)提供了很好的思路,但是無法解決待測輸入緩慢變化時,待測輸入微小偏差引入的累計誤差問題.這樣會導(dǎo)致無法及時更新局部模型,所以為了解決相鄰待測輸入偏差微小時局部模型更新無法跟蹤系統(tǒng)變化的問題,提出以下改進(jìn)算法：

(1) 假定當(dāng)前為t時刻,待測輸入unew(t),且模型需要更新.以歐氏距離為相關(guān)性測度,使用式(6)計算unew(t)與數(shù)據(jù)庫樣本的相似性指數(shù)si,i=1,2,…,n,其中n為數(shù)據(jù)庫樣本的總數(shù)，挑選相似性指數(shù)大小為前L的樣本{UL,yL},建立了1個局部模型f(unew(t))預(yù)測輸出.同時相似度最小的那個值min(sL)作為t+1時刻判斷是否更新模型的閾值cut(t+1).

(2) 在t+1時刻,待測輸入變?yōu)閡new(t+1),使用式(6)計算unew(t+1)與unew(t)的相似度指數(shù),若小于cut(t+1),則不更新局部模型.否則局部模型更新為f(unew(t+1)),cut(t+1)更新為cut(t+2),建模步驟同步驟(1).

(3) 若t+1時刻模型未更新,unew(t+2)與該局部模型建立之初的那個待測輸入unew(t)計算相似度,如果相似度大于閾值cut(t+2),則不更新局部模型.否則更新局部模型建模步驟同步驟(1).

該方法最大的特點是判斷是否需要更新局部模型之前,需要比較當(dāng)前待測輸入和上一局部模型建模之初所使用的那個待測輸入的相似性指數(shù),而不是比較相鄰兩個時刻待測輸入的相似性.該方法除了能夠保證較高的實時性,還能夠及時地跟蹤系統(tǒng)的動態(tài)變化.

3 案例研究與討論

為了驗證改進(jìn)算法的性能,使用1個去丁烷塔的生產(chǎn)數(shù)據(jù)進(jìn)行案例分析.為了評價算法的實時性改進(jìn)程度和預(yù)測的準(zhǔn)確性,提出使用局部模型建模時間(CPU Time),預(yù)測值與真實值的均方差(Root Mean Square Error(RMSE))兩個指標(biāo)作為評價準(zhǔn)則.

圖2所示為Fortuna在文獻(xiàn)[10]中給出的預(yù)測丁烷值的生產(chǎn)數(shù)據(jù)集的部分?jǐn)?shù)據(jù),該數(shù)據(jù)集已被很多學(xué)者作為評價軟測量算法性能的數(shù)據(jù)進(jìn)行分析.該數(shù)據(jù)集有7維輸入{u1,u2,u3,u4,u5,u6,u7},1維輸出{Y},共2 000組數(shù)據(jù).為了測試本文改進(jìn)算法的性能,隨機(jī)抽取1 000組作為測試樣本集,另外1 000組作為即時學(xué)習(xí)的訓(xùn)練樣本集.

圖2 去丁烷塔的輸出數(shù)值特性 圖3 不同即時學(xué)習(xí)模型的預(yù)測結(jié)果

圖4 不同模型在不同L值下的建模時間與預(yù)測均方差

為了對比實時性改進(jìn)的性能,用于建模和測試的計算機(jī)配置統(tǒng)一為:操作系統(tǒng)為Windows XP(32 bit),CPU為Intel Core2 Quad Q8300(2.5GHz),內(nèi)存為2GB,MATLAB版本為2009a.使用上述丁烷塔數(shù)據(jù),分別建立3個LSSVR軟測量模型：傳統(tǒng)的即時學(xué)習(xí)模型、文獻(xiàn)[5]中提到的實時性改進(jìn)模型和本文提出的實時性改進(jìn)模型,其中LSSVR模型統(tǒng)一選用高斯核,核參數(shù)σ均為2，懲罰系數(shù)γ均為150.

圖3為L取40的情況下得到的結(jié)果,其頂部圖片是未作實時性改進(jìn)的及時學(xué)習(xí)模型的預(yù)測結(jié)果,中間的圖片是按照文獻(xiàn)[5]進(jìn)行實時性改進(jìn)的預(yù)測結(jié)果,底部的圖片是按照本文提出的方法得到的預(yù)測結(jié)果.從圖3可以看出，本文提出的實時性改進(jìn)算法在預(yù)測的準(zhǔn)確性上和傳統(tǒng)的方法相近,而文獻(xiàn)[5]提及的改進(jìn)算法在系統(tǒng)發(fā)生突變的時候,會出現(xiàn)一些明顯的跟蹤誤差,而本文提取的方法能夠較好地跟蹤系統(tǒng)發(fā)生的突變.

圖4(a)比較了上述3個模型的建模時間,可以看出本文提出的算法比文獻(xiàn)[5]的算法耗時要多一些,但是與傳統(tǒng)的未作實時性改進(jìn)的方法比較起來并未隨著L值的增加而明顯增加建模時間,很好地提高建模的實時性.而從圖4(b)可以看出,本文提出的算法的預(yù)測偏差已經(jīng)達(dá)到了和傳統(tǒng)的即時學(xué)習(xí)方法同樣的效果.相比之下,本文提出的實時性改進(jìn)算法比文獻(xiàn)[5]提到的算法預(yù)測偏差能降低很多.綜上所述,從建模時間和預(yù)測準(zhǔn)確性的兩個方面看,本文提出的算法能夠在保證預(yù)測準(zhǔn)確性的條件下,減少了建模所耗的時間,提高了系統(tǒng)的實時性.

4 結(jié)束語

提出了一種針對即時學(xué)習(xí)方法實時性改進(jìn)的策略,使用LSSVR作為局部模型建立軟測量模型,并通過和其他兩種不同即時學(xué)習(xí)方法進(jìn)行案例分析對比研究.實驗結(jié)果驗證了本文提出的方法既能顯著地減少建立局部模型所耗時間,明顯提高軟測量建模預(yù)測實時性,同時又能很好地跟蹤系統(tǒng)的突變,確保了預(yù)測的準(zhǔn)確性沒有因為實時性的提高而明顯降低.

參考文獻(xiàn)：

[1] BYLESJO M,RANTALAINEN M,NICHOLSON J K,et al.K-OPLS package:Kernel-based orthogonal projections to latent structures for prediction and interpretation in feature space[J].Bmc Bioinformatics,2008(9)：106-107.

[2] FACCO P,DOPLICHER F,BEZZO F,et al.Moving average PLS soft sensor for online product quality estimation in an industrial batch polymerization process[J]. Journal of Process Control,2009,19(3):520-529.

[3] KO Y D,SHANG H L.A neural network-based soft sensor for particle size distribution using image analysis[J].Powder Technology,2011,212(2):359-366.

[4] JAIN P,RAHMAN I,KULKARNI B D.Development of a soft sensor for a batch distillation column using support vector regression techniques[J].Chemical Engineering Research & Design,2007,85(A2):283-287.

[5] GE Z Q,SONG Z H.A comparative study of Just-In-Time-Learning based methods for online soft sensor modeling[J].Chemometrics and Intelligent Laboratory Systems,2010,104(2):306-317.

[6] QIN S J.Recursive PLS algorithms for adaptive data modeling[J].Computers & Chemical Engineering,1998,22(4-5):503-514.

[7] LI C F,YE H,WANG G Z,et al.A recursive nonlinear PLS algorithm for adaptive nonlinear process modeling[J].Chemical Engineering & Technology,2005,28(2):141-152.

[8] FUJIWARA K,KANO M,HASEBE S,et al.Soft-sensor development using correlation-based Just-In-Time modeling[J].Aiche Journal,2009,55(7):1754-1765.

[9] CHENG C,CHIU M S.Nonlinear process monitoring using JITL-PCA[J].Chemometrics and Intelligent Laboratory Systems,2005,76(1):1-13.

[10] FORTUNA L,GRAZIANI S,XIBILIA M G.Soft sensors for product quality monitoring in debutanizer distillation columns[J].Control Engineering Practice,2005,13(4):499-508.