湯健　　柴天佑　　劉卓　　余文　　周曉杰

基于更新樣本智能識別算法的自適應(yīng)集成建模

湯健1，2柴天佑2劉卓2余文3周曉杰2

選擇表征建模對象特性漂移的新樣本對軟測量模型進行自適應(yīng)更新，能夠降低模型復(fù)雜度和運行消耗，提高模型可解釋性和預(yù)測精度.針對新樣本近似線性依靠程度（Approximate linear dependence，ALD）和預(yù)測誤差（Prediction error，PE）等指標只能片面反映建模對象的漂移程度，領(lǐng)域?qū)＜医Y(jié)合具體工業(yè)過程需要依據(jù)上述指標和自身積累經(jīng)驗進行更新樣本的有效識別等問題，本文提出了基于更新樣本智能識別算法的自適應(yīng)集成建模策略.首先，基于歷史數(shù)據(jù)離線建立基于改進隨機向量泛函連接網(wǎng)絡(luò)（Improved random vector functional-link networks，IRVFL）的選擇性集成模型；然后，基于集成子模型對新樣本進行預(yù)測輸出后采用在線自適應(yīng)加權(quán)算法（On-line adaptive weighting fusion，OLAWF）對集成子模型權(quán)重進行更新，實現(xiàn)在線測量階段對建模對象特性變化的動態(tài)自適應(yīng)；接著基于領(lǐng)域?qū)＜抑R構(gòu)建模糊推理模型對新樣本相對ALD （Relative ALD，RALD）值和相對PE（Relative PE，RPE）值進行融合，實現(xiàn)更新樣本智能識別，構(gòu)建新的建模樣本庫；最后實現(xiàn)集成模型的在線自適應(yīng)更新.采用合成數(shù)據(jù)仿真驗證了所提算法的合理性和有效性.

集成學(xué)習，更新樣本識別，模糊推理，近似線性依靠，預(yù)測誤差

引用格式湯健，柴天佑，劉卓，余文，周曉杰.基于更新樣本智能識別算法的自適應(yīng)集成建模.自動化學(xué)報，2016，42（7）: 1040-1052

工業(yè)過程對象受原料屬性、產(chǎn)品質(zhì)量和產(chǎn)量及環(huán)境氣候等因素的影響而具有動態(tài)特性，這些動態(tài)變化通常包括傳感器漂移和過程漂移，在機器學(xué)習領(lǐng)域?qū)⑵浣y(tǒng)稱為概念漂移［1］.基于歷史數(shù)據(jù)構(gòu)建的軟測量模型難以適應(yīng)這些變化，導(dǎo)致預(yù)測性能下降.處理概念漂移的自適應(yīng)機理包括樣本選擇（如滑動窗口）、樣本加權(quán)（如遞推更新）和在線集成學(xué)習（如子模型權(quán)重自適應(yīng)、子模型參數(shù)自適應(yīng)、子模型增加或刪減）［2］.集成學(xué)習模型的更新包括基于樣本和基于批兩種方式，其中基于批的在線集成更新方式的較長更新時間周期常導(dǎo)致更新模型難以反映當前狀態(tài)，基于樣本的在線集成更新方式則可以快速適應(yīng)過程對象變化.本文的研究基于后一種更新策略.

采用每個新樣本均進行模型更新并不符合工業(yè)實際情況.為選擇能夠代表過程對象概念漂移的新樣本進行模型更新，已有策略包括［3］：基于主元分析（Principal component analysis，PCA）模型的平方預(yù)測誤差（Square prediction error，SPE）和Hotellin′T2指標［4］、基于核特征空間近似線性依靠（Approximate linear dependence，ALD）條件［5［7］以及基于建模樣本原始空間ALD條件［8-9］.但是，基于PCA監(jiān)控指標的方法因不設(shè)定更新閾值難以有效控制模型更新次數(shù)、基于PEB僅考慮了模型預(yù)測性能、采用ALD條件雖通過設(shè)定閾值有效控制了模型更新次數(shù)卻未考慮模型預(yù)測性能的變化.

針對具體工業(yè)實踐，領(lǐng)域?qū)＜彝ǔ＞C合考慮過程特性變化和軟測量模型預(yù)測性能等指標，依據(jù)自身經(jīng)驗知識決策是否有必要進行軟測量模型更新.因此，如何有效地結(jié)合領(lǐng)域?qū)＜抑R，融合ALD值和模型預(yù)測誤差（Prediction error，PE）所代表的具有不同視角的概念漂移程度，即基于領(lǐng)域?qū)＜业慕?jīng)驗和知識獲取模糊規(guī)則，對是否對軟測量模型進行更新采用智能化識別是本文的關(guān)注焦點.

研究表明，集成學(xué)習算法具有較好的概念漂移處理能力.文獻［10］給出了基于加權(quán)集成的集成模型自適應(yīng)系統(tǒng)的結(jié)構(gòu).湯健等提出了基于OLKPLS （On-line kernel partial least squares）算法更新回歸子模型和在線自適應(yīng)加權(quán)融合（On-line adaptive weighting fusion，OLAWF）算法更新子模型加權(quán)系數(shù)的磨機負荷參數(shù)在線軟測量方法［9］.上述兩種方法未對集成模型結(jié)構(gòu)進行更新，難以有效地適應(yīng)概念漂移.

文獻［11］提出應(yīng)用于分類問題的選擇性負相關(guān)學(xué)習算法；文獻［12］給出預(yù)設(shè)定集成尺寸和權(quán)重更新速率的自適應(yīng)集成模型；文獻［13］提出基于改進Adaboost.RT算法的集成模型；文獻［14］提出能夠隨識別目標復(fù)雜程度自適應(yīng)變化的分類器動態(tài)選擇與循環(huán)集成方法，并可調(diào)整模型參數(shù)實現(xiàn)集成模型精度和效率的折衷；文獻［15］指出面向回歸問題的在線集成算法較少，并提出了基于樣本更新的動態(tài)在線集成回歸算法.面向高維小樣本數(shù)據(jù)，上述方法難以建立學(xué)習速度快、性能穩(wěn)定的在線集成模型.

選擇適合的子模型構(gòu)建方法對集成模型的快速更新極為重要.誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)（Back propagation neural network，BPNN）被過擬合、訓(xùn)練時間長等問題所困擾.面對小樣本數(shù)據(jù)時，BPNN難以建立穩(wěn)定性較高的預(yù)測模型.基于結(jié)構(gòu)風險最小化的支持向量機（Support vector machine，SVM）建模方法適用于小樣本數(shù)據(jù)建模，需要花費較多時間求解最優(yōu)解，難以采用重新訓(xùn)練方式實現(xiàn)模型快速更新，其在線遞推模型是以次優(yōu)解替代最優(yōu)解.隨機向量泛函連接網(wǎng)絡(luò)（Random vector functional link，RVFL）求解速度快［16-18］，但在面向小樣本數(shù)據(jù)建模時同樣存在預(yù)測性能不穩(wěn)定的問題，并且難以直接用于高維數(shù)據(jù)建模.理論上，基于RVFL的集成模型具有更好的建?？煽啃裕?9-20］.在隱含層映射關(guān)系未知的情況下，將SVM中的核技術(shù)引入RVFL構(gòu)建改進的RVFL（Improved RVFL，IRVFL）模型可有效克服上述問題［21］.

RVFL作為一種單隱層的人工神經(jīng)網(wǎng)絡(luò)模型，難以直接采用高維數(shù)據(jù)建模.維數(shù)約簡是首先需要面對的問題［22］，解決方法主要是特征選擇［23-24］和特征提?。?5-26］技術(shù).特征選擇方法主要是選擇與函數(shù)分類或估計目標關(guān)系密切的部分變量實現(xiàn)約簡；丟棄的部分特征可能會降低估計模型的泛化能力.特征提取是采用線性或非線性的方式確定適當?shù)牡途S空間取代原始高維空間，無需丟棄部分特征變量，避免了特征選擇技術(shù)丟棄部分特征引起的缺陷.基于偏最小二乘（Partial least squares，PLS）的特征提取方法［27］克服了PCA提取的潛在特征只關(guān)注輸入數(shù)據(jù)、并非能有效用于函數(shù)估計問題的缺點；并且，PLS遞推算法較為容易實現(xiàn)［28］.顯然，針對RVFL難以有效解決高維共線性數(shù)據(jù)的直接建模問題，將其結(jié)合基于PLS的特征提取是較佳的解決方案之一.

綜上，本文提出了基于更新樣本智能識別的在線集成建模方法.該方法首先提出一種采用模糊規(guī)則融合新樣本的相對ALD（Relative ALD，RALD）值和相對PE（Relative PE，RPE）值的智能更新樣本識別算法，然后采用改進的遞推PLS（Recursive，RPLS）對潛在特征進行遞推更新，最后重新訓(xùn)練并優(yōu)化選擇具有快速學(xué)習能力的IRVFL集成子模型，在線測量過程中基于OLAWF算法進行權(quán)重系數(shù)動態(tài)更新.

1　更新樣本識別概述

離線構(gòu)建的非線性模型f（·）不能代表具有時變特性的工業(yè)過程的當前工況.工業(yè)過程模型在時刻mn的輸入輸出關(guān)系采用下式表示.

正常工況下運行的工業(yè)過程多是慢時變的，多數(shù)新樣本可能并沒有包含明顯的時變信息.每次新樣本出現(xiàn)時，采用每個新樣本進行模型更新不但耗時而且沒有必要.顯然，識別能夠代表過程對象概念漂移的新樣本進行離線模型的自適應(yīng)更新對簡化模型結(jié)構(gòu)、降低運算消耗和提高模型預(yù)測性能很有必要.

下文描述文獻中常用方法［3］.

1.1基于PCA的方法

基于PCA的過程監(jiān)視方法在化工、半導(dǎo)體制造等具有時變特性的工業(yè)過程得到成功應(yīng)用.利用建立離線模型f（·）的訓(xùn)練數(shù)據(jù)構(gòu)建PCA模型.將標定后的新樣本分為兩部分：

計算新樣本的SPE和Hotelling′s T2［29］：

通常，SPE用于度量新樣本在殘差子空間上的投影，表示新樣本偏離模型的程度；T2度量新樣本在主元子空間上的變化，表示新樣本在模型內(nèi)部的偏離程度.如果SPE和T2滿足如下條件，不進行模型更新［4］：

其中，SPEαpro和表示SPE和T2的控制限，其定義詳見文獻［24］.

1.2基于ALD的方法

相對于建模樣本，工業(yè)過程中采集的新樣本通常存在突變和緩變兩種變化.文獻［5，8］提出利用新樣本和建模樣本間的ALD值描述這種變化，其定義如下：■■

在線建模過程中，通常比較關(guān)注建模精度和建模速度，它們是兩個相互沖突的優(yōu)化目標.實際應(yīng)用中，不同工業(yè)系統(tǒng)對建模精度與速度的側(cè)重程度不同，閾值的選擇策略也不同：1）側(cè)重于建模精度時選擇較小閾值，極限情況是v=0，即每個新樣本均參與更新；2）側(cè)重于建模速度時選擇較大閾值，極限情況是v=vlim，即沒有新樣本參與模型更新；3）若需要在建模精度和速度間進行均衡，閾值選擇可表述為如下單目標優(yōu)化問題［9］：

其中，Jpred（vjv）和Jtime（vjv）是采用閾值時的建模精度和速度和和是工業(yè)過程可以接受的建模精度、建模速度的下限和上限和是在建模精度和建模速度間進行均衡的加權(quán)系數(shù).

通常，最佳閾值需要依據(jù)使用者經(jīng)驗和特定領(lǐng)域問題的背景進行選擇.

1.3基于PE的方法

文獻［7］基于模型選擇性稀疏策略基本思想（即當過程的實際測量值能被模型準確估計時，表明當前模型是準確的，不必進行模型更新；當預(yù)測誤差超過一定范圍時進行模型更新），提出了基于預(yù)測誤差限（PE bound，PEB）的更新樣本識別算法；提出通過有效地與領(lǐng)域?qū)＜业南闰炛R相結(jié)合，選擇適合的PEB值可避開完全黑箱數(shù)據(jù)模型的弊端.

當PEB滿足如下條件時，不進行模型更新：

該方法依據(jù)實際需要預(yù)先定義多個δmn閾值和相應(yīng)規(guī)則對更新樣本進行識別.

1.4更新方法小結(jié)

由以上表述可知：1）基于PCA模型識別更新樣本的方法不設(shè)定更新閾值，難以有效控制模型更新次數(shù)，預(yù)測模型精度與更新速度間的均衡較難控制；2）采用ALD條件在建模樣本的核特征空間和原始空間中判斷新樣本與建模樣本庫的線性獨立關(guān)系的方法，雖然通過設(shè)定閾值可有效控制模型更新次數(shù)，但對模型預(yù)測性能的變化未予以考慮；3）基于PEB的方法考慮模型預(yù)測性能，難以準確涵蓋過程特性漂移，而且對于某些難以在短時間內(nèi)獲得預(yù)測變量真值的復(fù)雜工業(yè)過程不能實現(xiàn)更新樣本的識別.實際上，復(fù)雜工業(yè)過程的時變特性（概念漂移）的影響不僅體現(xiàn)在當前單個新樣本相對于建模樣本的變化（ALD值）和相對于舊模型預(yù)測精度的變化（PE值），還表現(xiàn)為某段時間內(nèi)ALD值和PE值的累計變化.

如何依據(jù)這些變化進行模型更新與否的識別決策往往需要領(lǐng)域?qū)＜腋鶕?jù)不同工業(yè)現(xiàn)場的實際情況而定，即基于專家知識進行智能決策.因此，如何有效地結(jié)合領(lǐng)域?qū)＜抑R，融合ALD閾值和模型PE值，即基于領(lǐng)域?qū)＜业慕?jīng)驗和知識獲取模糊規(guī)則，綜合考慮新樣本相對復(fù)雜過程的變化和預(yù)測輸出的波動范圍，研究智能化更新樣本識別方法是值得關(guān)注的研究熱點之一.

2　基于更新樣本智能識別的自適應(yīng)集成建模策略及其實現(xiàn)

通常工業(yè)過程都是在完成當前時刻軟測量的一段時間后才能獲得該時刻對應(yīng)的真值，其滯后時間的長短隨工業(yè)過程的不同而具有差異性.也就是說，我們首先基于舊模型進行在線測量，然后依據(jù)采用離線化驗等其他手段得到的真值對模型進行在線更新，為下一時刻的軟測量服務(wù)，即分為在線測量和在線更新兩個階段.

本文提出基于智能更新樣本識別算法的在線集成建模策略，由離線建模、在線測量和在線更新模塊三部分組成，如圖1所示.其中，離線建模由數(shù)據(jù)預(yù)處理、潛在特征提取、候選子模型構(gòu)建、集成子模型選擇與合并等組成；在線測量模塊由在線數(shù)據(jù)預(yù)處理、在線潛在特征提取、在線集成子模型預(yù)測、在線子模型權(quán)系數(shù)更新及在線合并子模型輸出等部分組成；在線更新模塊包括數(shù)據(jù)遞推預(yù)處理、智能更新識別、潛變量特征遞推更新、集成子模型更新、非更新特征及集成子模型賦值等組成部分.

該方法不同于其他在線集成模型方法，集成子模型加權(quán)系數(shù)的更新是在在線測量階段通過OLAWF算法完成的，能夠更好地適應(yīng)工業(yè)過程的動態(tài)變化.

2.1離線建模模塊

此處采用文獻［21］提出的基于潛變量特征的選擇性集成IRVFL的建模策略構(gòu)建離線軟測量模型，主要包括潛變量特征提取、子模型構(gòu)建、子模型選擇和子模型合并4個模塊，如圖2所示.

由圖2可知，共有4個學(xué)習參數(shù)需要選擇：潛變量特征個數(shù)h、候選子模型數(shù)量J、IRVFL算法的核參數(shù)和懲罰參數(shù)CRVFL.建立離線選擇性集成模型的過程可表述為求解如下優(yōu)化問題：

圖1 建模策略圖Fig.1　The proposed modeling strategy

圖2　基于潛變量特征的選擇性集成IRVFL離線軟測量模型建模策略Fig.2　Selective ensemble IRVFL off-line soft sensor model based on latent variable features

其中，JRMSRE表示選擇性集成模型的均方根相對誤差（Root mean square relative error，RMSRE）；kvalid表示驗證樣本集的數(shù)量；OpSel（·）表示集成子模型的優(yōu)化選擇方法；J?表示優(yōu)選的集成子模型的數(shù)量表示優(yōu)選的集成子模型的加權(quán)系數(shù).

分別表示由訓(xùn)練數(shù)據(jù)分解得到的得分矩陣、輸入數(shù)據(jù)負荷矩陣、輸出數(shù)據(jù)負荷矩陣和PLS內(nèi)部模型的系數(shù)矩陣.采用Bootstrap算法基于提取的潛在特征矩陣產(chǎn)生的訓(xùn)練子集，即

其中，J是訓(xùn)練子集的數(shù)量，即候選子模型的數(shù)量.采用核矩陣替代RVFL的隱含層特征映射RVFL算法針對第j個候選子模型的輸出可表示為

其中，H是RVFL的隱含層矩陣.

從構(gòu)建的J個候選子模型選擇J?個集成子模型的過程可表示為

由以上離線建模過程可知，本文建立的選擇集成模型采用“采集訓(xùn)練樣本”的方式產(chǎn)生訓(xùn)練子集并構(gòu)建選擇性集成模型，并非工業(yè)工程常用多模型建模策略所采用的“聚類算法獲得代表不同工況的訓(xùn)練樣本構(gòu)建集成子模型再集成的策略”；此外，本文采用SVM核矩陣替代RVFL的隱含層映射，輸入權(quán)重的隨機性得到抑制.因此，對集成模型的學(xué)習參數(shù)進行更新是必要的.另外，無論采用何種方式產(chǎn)生訓(xùn)練子集，只要過程對象漂移產(chǎn)生的新工況在建模樣本覆蓋范圍之外，都有必要對集成模型的結(jié)構(gòu)和參數(shù)同時進行更新.

2.2在線測量模塊

在線數(shù)據(jù)預(yù)處理時，新樣本采用舊均值和方差進行標定

新樣本基于第j個舊集成子模型的預(yù)測輸出

采用在線AWF算法計算集成子模型權(quán)系數(shù)［3］

2.3在線更新模塊

通常，獲得k+1時刻真值后進行模型更新，因而在k+1時刻更新的模型只能在k+2時刻進行基于軟測量模型的在線測量輸出.

2.3.1數(shù)據(jù)遞推預(yù)處理

在線數(shù)據(jù)預(yù)處理需考慮新樣本對舊建模樣本的均值和方差的影響.首先對舊建模樣本的均值和方差進行遞推更新

新樣本標定的遞推形式為

2.3.2更新樣本智能識別更新樣本智能識別中同時考慮新樣本ALD值和PE值的影響.基于領(lǐng)域?qū)＜抑R總結(jié)規(guī)則，建立基于Mamdani模糊推理系統(tǒng)的智能模型對ALD值和PE值進行融合輸出.采用文獻［8］的方法計算相對于建模樣本庫的ALD絕對值

計算新樣本的相對ALD（RALD）值ak+1：

上述過程可采用如下公式表示：

考慮k+1時刻PE值的影響，定義相對預(yù)測誤差（RPE）如下：

此處將融合新樣本RPE和RALD值建立的更新樣本智能識別算法記為Fcom（·），并將智能識別算法的輸出稱為模糊融合值，記為usk+1，用下式表示：

采用基于專家經(jīng)驗總結(jié)的模糊推理規(guī)則實現(xiàn)對RALD值和RPE值的融合輸出，參考PID控制器設(shè)計的比例—積分控制律，總結(jié)如表1所示49條專家規(guī)則.

表1中，RALD、RPE和Us分別表示新樣本面對舊建模樣本庫的相對近似線性依靠值、新樣本基于舊模型的相對預(yù)測誤差值和模糊融合值.

表1　更新樣本模糊推理規(guī)則Table 1　Fuzzy inference rulers of the updating sample

采用重心法對Us進行去模糊處理.將樣本選擇閾值記為θcom，閾值函數(shù)Fthre（·）可記為

其中，Sk+1=1表示識別該新樣本為更新樣本.

2.3.3潛變量特征遞推更新

基于以上輸入輸出數(shù)據(jù)建立新PLS模型

2.3.4集成子模型更新

確定采用子模型更新時，建模樣本集為

因IRVFL算法具有較快的學(xué)習速度，此處采用新建模樣本庫重新訓(xùn)練方式進行集成模型更新.更新后的集成子模型對訓(xùn)練樣本的輸出為

為保證采集到第（k+2）個新樣本時在線測量模塊可以正常運行，需更新的變量及模型包括：建模樣本的均值 uuuk+1和標準差Σk+1，潛變量特征提取模型的Bk，Qk，Pk+1和Wk+1，集成子模型集成子模型預(yù)測值的均值和方差按如下公式進行賦值：

3　仿真驗證

采用如下函數(shù)生成仿真數(shù)據(jù)模擬工業(yè)過程的非線性和時變特性：

仿真合成數(shù)據(jù)分布在C1、C2、C3和C4共4個不同區(qū)域.訓(xùn)練樣本數(shù)量由分別來自C1、C2和C3區(qū)域的各30個樣本組成.測試樣本由C1、C2 和C3區(qū)域的各30個樣本以及C4區(qū)域的90個樣本組成.

3.1離線模型結(jié)果

基于90個訓(xùn)練樣本，采用PLS進行特征提取，不同LV的方差貢獻率如表2所示.

表2表明，前3個LVs分別描述了X-Block和Y-Block方差變化率的99.73%和99.51%.不同模型學(xué)習參數(shù)（核半徑、懲罰參數(shù)、候選子模型數(shù)量、潛變量數(shù)量）與均方根預(yù)測相對誤差（RMSRE）間的關(guān)系如圖3所示.

表2　仿真數(shù)據(jù)的方差貢獻率（%）Table 2　Percent variance contribution of the simulation data（%）

依據(jù)圖3進行建模參數(shù)選擇.為便于比較，將RALD值和RPE值采用極差法標定在-3與+3之間，測試樣本相對于初始建模樣本的RALD值、RPE值及模糊融合值如圖4所示.

由圖4可知，后90個測試樣本相對于建模樣本的變化高于前90個測試樣本，主要原因是后90個樣本代表的新的概念漂移未能被初始建模樣本所覆蓋；以閾值0為界限，由位于閾值線上方的樣本分布可知，所提更新樣本識別算法可有效地融合RALD值和RPE值.由上可知，進行集成模型的在線更新非常必要.

圖3　離線模型學(xué)習參數(shù)與預(yù)測誤差Fig.3　Learning parameters and prediction errors of the off-line model

3.2在線模型結(jié)果

模糊融合閾值θcom的大小決定了模型更新次數(shù)的多少，較大的閾值代表更多的樣本參與更新.本文將閾值的取值范圍定為-3～+3之間.當θcom= -1.5時，測試樣本相對于在線更新模型建模樣本的RALD值、在線更新模型的RPE值、對兩者融合的模糊融合值及在線更新模型的測試曲線，如圖5所示.表3給出了離線模型，基于RALD值、RPE值和模糊融合值的在線更新模型重復(fù)20次的統(tǒng)計結(jié)果.

圖5和表3表明：

1）從更新最多的樣本編號上看，本文方法選擇的樣本基本上覆蓋了RALD和RPE方法選擇的樣本，如依據(jù)RALD方法未選擇的第93和97個樣本、依據(jù)RPE方法未選擇的第99和106個樣本在本文所提模糊融合方法中均進行了選擇，表明該方法可以有效地融合RALD和RPE方法中獨立存在的片面信息.

2）在模型預(yù)測性能上，不同更新閾值時的不同更新方法的最大、最小和平均預(yù)測誤差如圖6所示.

圖4 測試樣本相對于離線模型（建模樣本）的RALD值、RPE值及模糊融合值Fig.4　RALD，RPE and fuzzy fusion values of the testing samples relative to off-line model（modeling samples）

表3　仿真數(shù)據(jù)在線更新模型重復(fù)20次的統(tǒng)計結(jié)果Table 3　Statistical results of the online updating model with repeated 20 times for the simulation data

圖6表明，未更新時軟測量模型具有最差的泛化性能，主要是因為離線模型不能適應(yīng)C4區(qū)域所表征的新工況；對于基于RALD、基于RPE和本文所提方法更新的軟測量模型的預(yù)測性能均有一定程度的提高.在閾值取-1.5時，基于RPE的方法具有最佳的最大預(yù)測誤差，本文方法具有最佳的最小和平均預(yù)測誤差.如，基于本文、RPE和RALD方法的平均RMSRE分別為0.0429、0.0469和0.0892，方差分別為0.0078、0.0008和0.0044.

圖6還表明，從曲線形狀的角度觀察，本文所提方法的預(yù)測誤差說明存在最佳的閾值能夠使軟測量模型具有最佳預(yù)測性能.

3）在更新樣本數(shù)量上，本文方法與基于RALD和RPE方法相當，如在樣本更新閾值為-1.5時，基于本文方法、RPE方法和RALD方法的重復(fù)20次的平均更新樣本數(shù)量分別3.4、2.05和2，表明三種方法均只需采用較少數(shù)量的更新樣本即可得到較佳預(yù)測性能，原因之一在于每次樣本更新后均是重新建立集成子模型，對集成模型的結(jié)構(gòu)、權(quán)重系數(shù)等均進行了更新；不足之處是未對集成子模型的超參數(shù)（如核半徑）進行更新.如何在線更新模型超參數(shù)將進一步研究，以便提高模型的泛化性能.

圖5　θcom=-1.5時的在線集成模型預(yù)測輸出Fig.5　Prediction output of the online ensemble model with θcom=-1.5

圖6　基于不同更新樣本識別方法軟測量模型的預(yù)測誤差Fig.6　Prediction errors of the soft sensor models based on different updating sample identification methods

4）從不同閾值的影響上看，理論上閾值越小，模型的預(yù)測性能越好，即參與更新的樣本越多模型預(yù)測誤差越??；當更新樣本數(shù)量累計過多時模型的預(yù)測性能提高較小，甚至反而下降，這是因為過多與臨近工作點無關(guān)的樣本惡化了模型預(yù)測性能.下步研究中將考慮如何識別和刪減惡化模型性能的多余樣本.

5）本文方法與文獻［9］提出的在線KPLS方法相比，模型更新次數(shù)明顯減少，主要原因在于本文所提方法更新了模型結(jié)構(gòu)，進一步表明集成模型結(jié)構(gòu)在線更新的必要性和有效性.

綜上，本文方法對具有明確時變特性的建模過程數(shù)據(jù)是有效的.需提出的是，模糊規(guī)則的調(diào)整需要領(lǐng)域?qū)＜乙罁?jù)具體建模對象特性、軟測量模型性能及其他難以量化的因素等綜合確定.在后續(xù)研究中，需要結(jié)合真實的時變工業(yè)過程數(shù)據(jù)進行進一步的細化研究.

4　結(jié)論

本文提出的在線更新學(xué)習中，模型更新次數(shù)是通過模糊規(guī)則融合新樣本的相對近似線性依靠值和相對預(yù)測誤差值確定的.智能識別模型的模糊規(guī)則主要是依靠領(lǐng)域?qū)＜医?jīng)驗確定，在實際應(yīng)用中需要結(jié)合具體的工業(yè)過程應(yīng)用對象進行提取，并提供可供調(diào)整的人機交互界面.另外，主要關(guān)注更新樣本近似線性依靠條件，還是預(yù)測誤差所表征的概念漂移可通過調(diào)整隸屬度函數(shù)進一步細劃.因此，該方法能夠有效地實現(xiàn)更新樣本的智能識別，通過合理設(shè)定模糊推理規(guī)則能夠在集成模型預(yù)測性能與更新效率之間進行均衡，結(jié)合具體工程應(yīng)用將具有廣闊前景.

本文方法進行近似線性依靠條件計算需要記錄全部訓(xùn)練樣本，更新集成模型也需要存儲建立核矩陣的潛在特征，導(dǎo)致集成模型存儲的數(shù)量逐漸遞增.集成模型的快速遞推更新、模型超參數(shù)的快速優(yōu)化選擇等問題將在后續(xù)研究中逐步解決.

References

1 Tsymbal A.The Problem of Concept Drift：Definitions and Related Work，Technical Report，The University of Dublin，Trinity College，Department of Computer Science，Dublin，Ireland，2004.

2 Soares S G，Ara′ujo R.An on-line weighted ensemble of regressor models to handle concept drifts.Engineering Applications of Artificial Intelligence，2015，37：392-406

3 Tang Jian，Tian Fu-Qing，Jia Mei-Ying，Li Dong.Load Soft Sensor of Rotating Mechanical Device based on Frequency Spectral Data-driven.Beijing：National Defense Industrial Press，2015.167-173（湯健，田福慶，賈美英，李東.基于頻譜數(shù)據(jù)驅(qū)動的旋轉(zhuǎn)機械設(shè)備負荷軟測量.北京：國防工業(yè)出版社，2015.167-173）

4 Liu J L.On-line soft sensor for polyethylene process with multiple production grades.Control Engineering Practice，2007，15（7）：769-778

5 Engel Y，Mannor S，Meir R.The kernel recursive leastsquares algorithm.IEEE Transactions on Signal Processing，2004，52（8）：2275-2285

6 Yu W.Fuzzy modelling via on-line support vector machines. International Journal of Systems Science，2010，41（11）：1325-1335

7 Liu Y，Wang H Q，Yu J，Li P.Selective recursive kernel learning for online identification of nonlinear systems with NARX form.Journal of Process Control，2001，20（2）：181-194

8 Tang J，Yu W，Chai T Y，Zhao L J.On-line principal component analysis with application to process modeling.Neurocomputing，2012，82：167-168

9 Tang Jian，Chai Tian-You，Yu Wen，Zhao Li-Jie.On-line KPLS algorithm with application to ensemble modeling parameters of mill load.Acta Automatica Sinica，2013，39（5）：471-486（湯健，柴天佑，余文，趙立杰.在線KPLS建模方法及在磨機負荷參數(shù)集成建模中的應(yīng)用.自動化學(xué)報，2013，39（5）：471-486）

10 Kadlec P，Grbi′c R，Gabrys B.Review of adaptation mechanisms for data-driven soft sensors.Computers and Chemical Engineering，2011，35（1）：1-24

11 Tang K，Lin M L，Minku F，Yao X.Selective negative correlation learning approach to incremental learning.Neurocomputing，2009，72（13-15）：2796-2805

12 van Heeswijk M，Miche Y，Lindh-Knuutila T，Hilbers P A，Honkela T，Oja E，Lendasse A.Adaptive ensemble models of extreme learning machines for time series prediction.In：Proceedings of the 19th International Conference on Artificial Neural Networks.Limassol，Cyprus：Springer-Verlag，2009.305-314

13 Tian H X，Mao Z Z.An ensemble ELM based on modified AdaBoost.RT algorithm for predicting the temperature of molten steel in ladle furnace.IEEE Transactions on Automation Science and Engineering，2010，7（1）：73-80

14 Hao Hong-Wei，Wang Zhi-Bin，Yin Xu-Cheng，Chen Zhi-Qiang.Dynamic selection and circulating combination for multiple classifier systems.Acta Automatica Sinica，2011，37（11）：1290-1295（郝紅衛(wèi)，王志彬，殷緒成，陳志強.分類器的動態(tài)選擇與循環(huán)集成方法.自動化學(xué)報，2011，37（11）：1290-1295）

15 Soares S G，Ara′ujo R.A dynamic and on-line ensemble regression for changing environments.Expert Systems with Applications，2015，42（6）：2935-2948

16 Pao Y H，Takefuji Y.Functional-link net computing：theory，system architecture，and functionalities.Computer，1992，25（5）：76-79

17 Igelnik B，Pao Y H.Stochastic choice of basis functions in adaptive function approximation and the functional-link net.IEEE Transactions on Neural Network，1995，6（6）：1320-1329

18 Comminiello D，Scarpiniti M，Azpicueta-Ruiz L A，Arenas-Garc′?a J，Uncini A.Functional link adaptive filters for nonlinear acoustic echo cancellation.IEEE Transactions on Audio，Speech，and Language Processing，2013，21（7）：1502-1512

19 Alhamdoosh M，Wang D H.Fast decorrelated neural network ensembles with random weights.Information Sciences，2014，264（6）：104-117

20 Cao F L，Wang D H，Zhu H Y，Wang Y G.An iterative learning algorithm for feedforward neural networks with random weights.Information Sciences，2016，328：546-557

21 Tang J，Jia M Y，Li D.Selective ensemble simulate metamodeling approach based on latent features extraction and kernel learning.In：Proceedings of the 27th Chinese Control and Decision Conference（2015 CCDC）.Qingdao，China：IEEE，2015.6503-6508

22 Fukunaga K，Hayes R R.Effects of sample size in classifier design.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11（8）：873-885

23 Tang Jian，Chai Tian-You，Cong Qiu-Mei，Yuan Ming-Zhe，Zhao Li-Jie，Liu Zhuo，Yu Wen.Soft sensor approach for modeling mill load parameters based on EMD and selective ensemble learning algorithm.Acta Automatica Sinica，2014，40（9）：1853-1866（湯健，柴天佑，叢秋梅，苑明哲，趙立杰，劉卓，余文.基于EMD和選擇性集成學(xué)習算法的磨機負荷參數(shù)軟測量.自動化學(xué)報，2014，40（9）：1853-1866）

24 Tang J，Yu W，Chai T Y，Liu Z，Zhou X J.Selective ensemble modeling load parameters of ball mill based on multiscale frequency spectral features and sphere criterion.Mechanical Systems and Signal Processing，2016，66-67：485 -504

25 Tang J，Chai T Y，Liu Z，Yu W.Selective ensemble modeling based on nonlinear frequency spectral feature extraction for predicting load parameter in ball mills.Chinese Journal of Chemical Engineering，2015，23（12）：2020-2028

26 Yu Jian-Bo，Lu Xiao-Lei，Zong Wei-Zhou.Wafer defect detection and recognition based on local and nonlocal linear discriminant analysis and dynamic ensemble of Gaussian mixture models.Acta Automatica Sinica，2016，42（1）：47-59（余建波，盧笑蕾，宗衛(wèi)周.基于局部與非局部線性判別分析和高斯混合模型動態(tài)集成的晶圓表面缺陷探測與識別.自動化學(xué)報，2016，42（1）：47-59）

27 Dhanjal C，Gunn S R，Shawe-Taylor J.Efficient sparse kernel feature extraction based on partial least squares.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（8）：1347-1361

28 Qin S J.Recursive PLS algorithms for adaptive data modeling.Computers and Chemical Engineering，1998，22（4-5）：503-514

29 Yue H H，Qin S J.Reconstruction-based fault identification using a combined index.Industrial and Engineering Chemistry Research，2001，40（20）：4403-4414

湯 健北方交通大學(xué)計算技術(shù)研究所博士后.1998年在海軍工程學(xué)院獲工學(xué)學(xué)士學(xué)位，2006年和2012年在東北大學(xué)分別獲得控制理論與控制工程專業(yè)碩士和博士學(xué)位.主要研究方向為工業(yè)過程綜合自動化系統(tǒng)，基于數(shù)據(jù)驅(qū)動的軟測量，復(fù)雜系統(tǒng)建模與仿真.

E-mail:tjian001@126.com

（TANG JianPostdoctor at the Research Institute of Computing Technology，Beifang Jiaotong University.He received his bachelor degree from Naval College of Engineering in 1998，master degree and Ph.D.degree in control theory and control engineering from Northeastern University in 2006 and 2012，respectively.His research interest covers integrated automation of industrial processes，soft sensor based on data-driven，modeling and simulation of complex system.）

柴天佑中國工程院院士，東北大學(xué)教授，IEEE Fellow，IFAC Fellow，歐亞科學(xué)院院士.主要研究方向為自適應(yīng)控制，智能解耦控制，流程工業(yè)綜合自動化理論、方法與技術(shù).本文通信作者.

E-mail:tychai@mail.neu.edu.cn

（CHAITian-YouAcademician of Chinese Engineering Academy，professor at Northeastern University，IEEE Fellow，IFAC Fellow，and academician of the International Eurasian Academy of Sciences.His research interest covers adaptive control，intelligent control，and integrated automation of industrial process.Corresponding author of this paper.）

劉卓東北大學(xué)博士研究生.主要研究方向為復(fù)雜工業(yè)過程建模.

E-mail:liuzhuo@ise.neu.edu.cn

（LIUZhuoPh.D.candidateat Northeastern University.Her main research interest is soft sensor modeling for complex industries.）

余文墨西哥國立理工大學(xué)高級研究中心自動化部教授.1990年在清華大學(xué)獲學(xué)士學(xué)位，1992年和1995年在東北大學(xué)分別獲得電子工程專業(yè)的碩士和博士學(xué)位.自2006年至今一直擔任東北大學(xué)的訪問教授.主要研究方向為復(fù)雜工業(yè)過程建模與控制，機器學(xué)習.

E-mail:yuw@ctrl.cinvestav.mx

（YU WenProfessor in the Departamento de Control Automatico of the Centro de Investigation de Estudios Avanzados，National Polytechnic Institute M′exico.He received his bachelor degree from Tsinghua University in 1990，the master and Ph.D.degrees，both in electrical engineering from Northeastern University in 1992 and 1995，respectively.He holds a visiting professorship at Northeastern University from 2006.His research interest covers modeling and control of the complex industrial process，and machine learning.）

周曉杰東北大學(xué)流程工業(yè)綜合自動化國家重點實驗室副教授.主要研究方向為復(fù)雜工業(yè)過程建模與機器學(xué)習.

E-mail:xjzhou@mail.neu.edu.cn

（ZHOU Xiao-JieAssociate professor at the State Key Laboratory of Synthetical Automation for Process Industries，Northeastern University.Her research interest covers dynamic system modeling for complex industrial processes and machine learning.）

Adaptive Ensemble Modelling Approach Based on Updating Sample Intelligent Identification

TANG Jian1，2CHAI Tian-You2LIU Zhuo2YU Wen3ZHOU Xiao-Jie2

Some new samples can represent concept drift of the modeling plant.Adaptive updating soft sensor model with these new samples can reduce model complexity and running consumption，improve model interpretation and prediction performance.Concept drift embodies on both approximate linear dependence（ALD）and prediction error（PE）.In industrial practice，whether to update the old soft measuring models should be decided by the domain experts.Aimmed at these problems，a new online ensemble modeling approach based on updating sample intelligent identification is proposed in this paper.At first，the offline ensemble model based on improved random vector functional-link networks（IRVFL）algorithm is used for online prediction using the new sample.Then，relative ALD（RALD）and relative PE（RPE）values of the new sample are fed into the fuzzy inference model based on domain expert′s knowledge，whose output is used to identify whether this new sample is taken to updating the model.At last，the ensemble model is updated with the re-training strategy.Simulation results based on synthetic data show that the proposed method is valid and effective.

Ensemble learning，updating sample identification，fuzzy inference，approximate linear dependence，prediction error

10.16383/j.aas.2016.c150766

Tang Jian，Chai Tian-You，Liu Zhuo，Yu Wen，Zhou Xiao-Jie.Adaptive ensemble modelling approach based on updating sample intelligent identification.Acta Automatica Sinica，2016，42（7）:1040-1052

2015-11-20錄用日期2016-03-10
Manuscript received November 20，2015；accepted March 10，2016
國家高技術(shù)研究發(fā)展計劃（863計劃）（2015AA043802），國家自然科學(xué)基金（61573364，61273177，61305029，61503066，61573249），中國博士后科學(xué)基金（2013M532118，2015T81082，2015M581355），流程工業(yè)綜合自動化國家重點實驗室開放課題基金資助項目（PAL-N2015 04），江蘇高校優(yōu)勢學(xué)科建設(shè)工程資助項目，江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心資助
Supported by National High Technology Research and Development Program of China（863 Program）（2015AA043802），National Natural Science Foundation of China（61573364，612731 77，61305029，61503066，61573249），Postdoctoral Science Foundation of China（2013M532118，2015T81082，2015M581355），Open Project Fund of the State Key Laboratory of Synthetical Automation of Process Industry（PAL-N201504），the Priority Academic Program Development of Jiangsu Higher Education Institutions，and Collaborative Innovation Center of At-

mospheric Environment and Equipment Technology of Jiangsu Province
本文責任編委吳立剛
Recommended by Associate Editor WU Li-Gang
1.北方交通大學(xué)計算所北京 100029中國2.東北大學(xué)流程工業(yè)綜合自動化國家重點實驗室沈陽 110004中國3.墨西哥國立理工大學(xué)高級研究中心（CINVESTAV-IPN）墨西哥07360墨西哥
1.Research Institute of Computing Technology，Beifang Jiaotong University，Beijing 100029，China2.State Key Laboratory of Synthetical Automation for Process Industries，Northeastern University，Shenyang 110004，China3.Departamento de Control Automatico，CINVESTAV-IPN，M′exico D.F.07360，M′exico