王萬召，王杰

（鄭州大學(xué)電氣工程學(xué)院，450001，鄭州）

自適應(yīng)逆控制是由美國斯坦福大學(xué)Widrow教授于1986年首次提出來的，現(xiàn)已成為解決參數(shù)時變、非線性的熱工對象控制問題的一個研究熱點(diǎn)［1-3］。如何利用生產(chǎn)現(xiàn)場采樣數(shù)據(jù)來實(shí)時在線辨識被控?zé)峁ο蟮哪婺Ｐ?，成為?shí)現(xiàn)自適應(yīng)逆控制方案的關(guān)鍵問題［4-7］。

針對神經(jīng)網(wǎng)絡(luò)傳統(tǒng)梯度學(xué)習(xí)算法存在的訓(xùn)練速度慢，容易陷入局部極小點(diǎn)等問題，Huang等提出了一種新學(xué)習(xí)算法——極限學(xué)習(xí)機(jī) （Extreme Learning Machine，ELM）［8-9］，憑借其卓越的學(xué)習(xí)能力，受到國內(nèi)外研究者的廣泛重視，并已在模式識別和函數(shù)估計(jì)領(lǐng)域得到了廣泛應(yīng)用［10-12］。近年來一些學(xué)者又提出了極限學(xué)習(xí)機(jī)在線學(xué)習(xí)算法［13-14］，但隨著學(xué)習(xí)時間的推移，這些在線算法的增益矩陣將漸漸趨于零，導(dǎo)致在線學(xué)習(xí)算法慢慢失去權(quán)值修正能力，并最終出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象。

本文提出一種新的極限學(xué)習(xí)機(jī)在線學(xué)習(xí)算法，該算法中神經(jīng)網(wǎng)絡(luò)權(quán)值僅依賴于有限個新采樣數(shù)據(jù)，每增加一個新采樣數(shù)據(jù)，就去掉一個舊采樣數(shù)據(jù)，學(xué)習(xí)數(shù)據(jù)長度始終保持不變，因此該算法可稱為限定記憶法在線學(xué)習(xí)算法。隨后，將該算法應(yīng)用于參數(shù)時變的過熱汽溫對象的逆模型建模過程，仿真結(jié)果表明，該算法能有效地克服 “數(shù)據(jù)飽和”現(xiàn)象，提高學(xué)習(xí)精度，是一種先進(jìn)的過熱汽溫對象在線逆建模方法。

1 極限學(xué)習(xí)機(jī)批量式學(xué)習(xí)算法

典型的具有N個隱含層節(jié)點(diǎn)的單隱層前饋神經(jīng)網(wǎng)絡(luò)的輸出可以表示為

式中：ai為輸入層對隱含層第i個神經(jīng)元的連接權(quán)值；bi為隱含層第i個神經(jīng)元的閾值；βi為隱含層第i個神經(jīng)元到輸出的連接權(quán)值；G（ai，bi，x）為隱含層的激活函數(shù)；x為輸入向量。

假設(shè)從k時刻到k+L-1時刻的時間段內(nèi)具有L個樣本的訓(xùn)練集輸入矩陣X0和輸出向量Y0分別為

當(dāng)激活函數(shù)G（ai，bi，x）無限可微時，SFLN 的參數(shù)不需要全部進(jìn)行調(diào)整，ai和bi可以在學(xué)習(xí)前隨機(jī)選擇，且在訓(xùn)練過程中保持恒定，而隱含層與輸出的連接權(quán)值β（0）可通過求解以下方程的最小二乘解［12］得到

式中：H0是包含k至k+L-1時刻間共L個采樣數(shù)據(jù)的隱含層數(shù)據(jù)矩陣

其解為

其中

顯然，批量式學(xué)習(xí)算法的特點(diǎn)是一次注入所有的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，因此只能離線應(yīng)用，如果學(xué)習(xí)樣本是在線采集的話，就必須使用在線學(xué)習(xí)算法。

2 極限學(xué)習(xí)機(jī)限定記憶學(xué)習(xí)算法

2.1 增長記憶極限學(xué)習(xí)機(jī)算法

假設(shè)隨著采樣過程的進(jìn)行，增加一組新的采樣數(shù)據(jù)（xk+L，yk+L），這時包含k至k+L時刻共L+1個采樣數(shù)據(jù)的隱含層數(shù)據(jù)矩陣為

采用批量學(xué)習(xí)算法，則包含k至k+L時刻共L+1個采樣數(shù)據(jù)信息的隱含層與輸出連接權(quán)值向量β（1）可通過求解以下方程的最小化獲得

由式（12），利用矩陣反演公式得

由式（13）、（14），基于第一步的辨識結(jié)果β（0）、加上第k+L+1時刻的采樣信息（xk+L，yk+L），可以通過遞推運(yùn)算，獲得包含k至k+L時刻共k+L+1個采樣數(shù)據(jù)信息的隱含層與輸出連接權(quán)值向量β（1）。這樣能夠充分利用以前的辨識結(jié)果，避免重復(fù)計(jì)算［15］。但是，如果僅采用上述增加新采樣數(shù)據(jù)信息的方法進(jìn)行迭代運(yùn)算，就會帶來“數(shù)據(jù)飽和”問題。

由式 （7）、（12）可知，K0、K1均是正定的，則

可見，增量記憶極限學(xué)習(xí)機(jī)中的增益矩陣是隨著采樣時間k的增加而遞減的正定陣。令K-1表示增量記憶極限學(xué)習(xí)機(jī)的增益矩陣，則當(dāng)k→∞時，K-1→0。當(dāng)增益矩陣K-1趨近于零矩陣，由式（13）可知修正項(xiàng)不再起作用，遞推算法失去修正能力，并最終出現(xiàn)“數(shù)據(jù)飽和”問題。

2.2 限定記憶極限學(xué)習(xí)機(jī)算法

產(chǎn)生“數(shù)據(jù)飽和”的原因是學(xué)習(xí)算法對新、老采樣數(shù)據(jù)給予相同的信任度，這樣隨著從新采樣數(shù)據(jù)中獲得的信息量相對下降，學(xué)習(xí)算法就會漸漸失去修正能力。克服“數(shù)據(jù)飽和”最有效的方法是確保權(quán)值β始終只依賴于有限個最新采樣數(shù)據(jù)所提供的信息，每增加一個新采樣數(shù)據(jù)，就去掉一個最舊的采樣數(shù)據(jù)，學(xué)習(xí)數(shù)據(jù)長度始終保持不變。因此，每當(dāng)增加一組新的k+L時刻采樣數(shù)據(jù)（xk+L，yk+L），為保持辨識信息數(shù)據(jù)長度L不變，就需要去掉k時刻信息（xk，yk）的影響。僅考慮包含k+1至k+L時刻共L個采樣數(shù)據(jù)信息，與此對應(yīng)的隱含層數(shù)據(jù)矩陣為

采用批量學(xué)習(xí)算法，則包含k+1至k+L時刻共L個采樣數(shù)據(jù)信息的隱含層與輸出連接權(quán)值向量

式中

由式（18），利用矩陣反演公式可得由式（21），基于第二步的辨識結(jié)果β（1）、消去第k時刻的采樣信息（xk，yk），可以通過遞推運(yùn)算獲得包含k+1至k+L時刻共L個采樣數(shù)據(jù)信息的隱含層與輸出連接權(quán)值向量β（2）。

根據(jù)以上的推導(dǎo)過程，限定記憶極限學(xué)習(xí)機(jī)算法主要包括以下幾個具體學(xué)習(xí)步驟。

步驟1 確定隱含層神經(jīng)元的數(shù)目，隨機(jī)選擇輸入層與隱含層的連接權(quán)值ai和隱含層神經(jīng)元的閾值bi。

步驟2 選擇一個無限可微的函數(shù)作為隱含層神經(jīng)元的激活函數(shù)G（ai，bi，x），并計(jì)算隱含層輸出矩陣。

步驟3 根據(jù)一批采樣數(shù)據(jù)，利用極限學(xué)習(xí)機(jī)批量算法，預(yù)先求得β（0）、，為了減少計(jì)算量，數(shù)據(jù)長度L不宜取太大。

步驟4 每獲得一組新的采樣數(shù)據(jù)（ak+L，yk+L），先利用式（13）、（14）計(jì)算β（1）、，增加新數(shù)據(jù)的信息；再利用式（20）、（21）計(jì)算β（2）、，去掉老數(shù)據(jù)的信息。

不斷迭代，始終保持著固定不變的數(shù)據(jù)長度，可以防止出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象，最終獲得隱含層與輸出層連接權(quán)值的理想值。

3 仿真實(shí)驗(yàn)及分析

為比較驗(yàn)證本文所提限定記憶極限學(xué)習(xí)機(jī)算法與文獻(xiàn)［15］中的數(shù)據(jù)長度隨采樣進(jìn)行不斷增長的增長記憶極限學(xué)習(xí)機(jī)算法的性能，將這兩種算法同時應(yīng)用于參數(shù)時變的過熱汽溫對象逆模型的學(xué)習(xí)過程。文獻(xiàn)［2，16］給出了某臺超臨界壓力鍋爐在不同負(fù)荷時的傳遞函數(shù)，如表1所示。

過熱汽溫對象的輸入u為減溫水流量的變化，單位為kg／s，輸出y為鍋爐過熱汽溫的變化，單位為℃。取逆動力學(xué)模型的輸入向量為

表1 過熱汽溫的動態(tài)特性（傳遞函數(shù)）

為了檢驗(yàn)所提算法對于時變對象逆模型的學(xué)習(xí)能力，這里以輸入函數(shù)

在大負(fù)荷變化范圍內(nèi)驅(qū)動過熱汽溫對象，對象在0～500s位于100%負(fù)荷，500～1 000s位于75%負(fù)荷，1 000～1 500s位于50%負(fù)荷。采樣時間取1s，獲得1 500組采樣數(shù)據(jù)［u（k），y（k）］。利用這些采樣數(shù)據(jù)，根據(jù)式（22）獲得辨識逆模型所需的輸入向量。采用單隱含層前饋神經(jīng)網(wǎng)絡(luò)來逼近逆模型，網(wǎng)絡(luò)結(jié)構(gòu)為4-5-1，隱含層的激活函數(shù)選用Sigmoid函數(shù)，輸出層為純線性函數(shù)，網(wǎng)絡(luò)的輸入為x（k），輸出為u（k）。在仿真中比較本文所提出的限定記憶ELM學(xué)習(xí)算法與文獻(xiàn)［15］所提到的增長記憶ELM學(xué)習(xí)算法，初始值β（0）、K-10使用批量極限學(xué)習(xí)機(jī)離線事先求得，增長記憶ELM學(xué)習(xí)算法的仿真結(jié)果分別如圖1、圖2所示，限定記憶ELM學(xué)習(xí)算法的仿真結(jié)果分別如圖3、圖4所示。

圖1、圖3上面子圖中的虛線表示過熱汽溫對象的輸入u（k）（逆模型學(xué)習(xí)網(wǎng)絡(luò)的期望輸出），實(shí)線表示逆模型學(xué)習(xí)網(wǎng)絡(luò)的實(shí)際輸出um（k）；下面的子圖表示逆模型實(shí)際輸出與期望輸出的誤差曲線。圖2、圖4中曲線表示神經(jīng)網(wǎng)絡(luò)隱含層與輸出連接權(quán)值向量β的5個分量（隱含層有5個節(jié)點(diǎn)）的學(xué)習(xí)過程。

為比較精度，本文采用式（24）的性能指標(biāo)來衡量所建逆模型的精度

式中：l為總的采樣點(diǎn)數(shù)；u（k）為過熱汽溫對象的實(shí)際輸入；um（k）為過熱汽溫對象逆模型的輸出；e（k）為過熱汽溫對象逆模型的輸出與對象實(shí)際輸入的差值，即逆模型建模誤差。

圖1 增長記憶在線極限學(xué)習(xí)機(jī)的仿真結(jié)果（RMSE=0.001 0）

圖2 增長記憶在線極限學(xué)習(xí)機(jī)權(quán)值學(xué)習(xí)過程

圖3 限定記憶在線極限學(xué)習(xí)機(jī)的仿真結(jié)果（RMSE=4.176×10-6）

由圖1、圖3比較可以看出，相比于增長記憶學(xué)習(xí)算法，限定記憶學(xué)習(xí)算法的學(xué)習(xí)精度有了很大的提高。由圖2、圖4比較可以看出，當(dāng)時間t＞500s以后，常規(guī)增長記憶學(xué)習(xí)算法就喪失了權(quán)值修正能力，繼續(xù)遞推下去也不會改善學(xué)習(xí)結(jié)果，即出現(xiàn)了“數(shù)據(jù)飽和”現(xiàn)象。而限定記憶極限學(xué)習(xí)機(jī)隨著時間的增長權(quán)值會不斷改善，說明它具有克服“數(shù)據(jù)飽和”的能力，這也說明了為何限定記憶極限學(xué)習(xí)機(jī)具有更高的學(xué)習(xí)精度。

圖4 限定記憶在線極限學(xué)習(xí)機(jī)權(quán)值學(xué)習(xí)過程

4 結(jié) 論

本文提出的限定記憶極限學(xué)習(xí)機(jī)在線學(xué)習(xí)算法能有效克服“數(shù)據(jù)飽和”現(xiàn)象，可以在遞推計(jì)算中不斷改善權(quán)值學(xué)習(xí)結(jié)果。尤其對于時變對象逆建模來說，可以保證權(quán)值學(xué)習(xí)，及時跟蹤對象特性參數(shù)的變化，相對于常規(guī)的增量記憶學(xué)習(xí)算法具有更高的學(xué)習(xí)精度。利用本文所提出的學(xué)習(xí)算法對過熱汽溫對象在線逆建模，結(jié)果顯示了該方法的有效性和優(yōu)越性，是一種實(shí)用的參數(shù)時變對象在線逆建模技術(shù)。

［1］ 韓璞，張海琳，張麗靜.神經(jīng)網(wǎng)絡(luò)自適應(yīng)逆控制的仿真研究 ［J］.華北電力大學(xué)學(xué)報(bào)，2001，28（3）：26-30.HAN Pu，ZHANG Hailin，ZHANG Lijing.Simulation study of neural network based adaptive inverse control［J］.Journal of North China Electric Power University，2001，28（3）：26-30.

［2］ 黨映農(nóng)，韓崇昭.基于Volterra基函數(shù)網(wǎng)絡(luò)的自適應(yīng)逆控制方法 ［J］.西安交通大學(xué)學(xué)報(bào)，2000，34（9）：8-12.DANG Yingnong，HAN Chongzhao.Adaptive inverse control based on Volterra polynomial basis function neural networks［J］.Journal of Xi’an Jiaotong University，2000，34（9）：8-12.

［3］ 王廣軍，鄧良才，陳紅.鍋爐汽溫對象逆動力學(xué)過程模糊辨識 ［J］.中國電機(jī)工程學(xué)報(bào)，2007，27（20）：76-80.WANG Guangjun，DENG Liangcai，CHEN Hong.Fuzzy identification on inverse dynamic process of steam temperature object of boiler［J］.Proceedings of the Chinese Society for Electrical Engineering，2007，27（20）：76-80.

［4］ GELFAND S B，GMEIER J V.The stability of varia-ble step-size LMS algorithms ［J］.IEEE Transactions on Signal Processing，1999，47（12）：3277-3288.

［5］ 羅小東，賈振紅，王強(qiáng).一種新的變步長LMS自適應(yīng)濾波算法 ［J］.電子學(xué)報(bào)，2006，6（6）：1123-1126.LUO Xiaodong，JIA Zhenhong，WANG Qiang.A new variable step size LMS adaptive filtering algorithm［J］.Acta Electronica Sinica，2006，6（6）：1123-1126.

［6］ 劉亞秋，馬廣富，石忠.NARX網(wǎng)絡(luò)在自適應(yīng)逆控制動態(tài)系統(tǒng)辨識中的應(yīng)用 ［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2005，37（2）：173-176.LIU Yaqiu，MA Guangfu，SHI Zhong.NARX network for dynamic system identification in adaptive inverse control［J］.Journal of Harbin Institute of Technology，2005，37（2）：173-176.

［7］ 鐘偉民，皮道映，孫優(yōu)賢.基于支持向量機(jī)的直接逆模型辨識 ［J］.控制理論與應(yīng)用，2005，22（2）：307-310.ZHONG Weimin，PI Daoying，SUN Youxian.Support vector machine based direct inverse-model identification［J］.Control Theory and Application，2005，22（2）：307-310.

［8］ HUANG Guangbin，SIEW C K.Extreme learning machine：RBF network case［C］∥Proceedings of the 8th International Conference on Control，Automation，Robotics and Vision.Piscataway，NJ，USA：IEEE，2004：1029-1036.

［9］ HUANG Guangbin，SIEW C K.Extreme learning machine with randomly assigned RBF kernels［J］.International Journal of Information Technology，2005，11（1）：16-25.

［10］HANDOKO S D，KEONG K C，SOON O Y，et al.Extreme learning machine for predicting HLA-peptide binding［C］∥Proceedings of the Advances in Neural Networks.Berlin，Germany：Springer-Verlag，2006：716-721.

［11］LIANG Nanying，SARATCHANDRAN P，HUANG Guangbin.Classification of mental tasks from EEG signals using extreme learning machine ［J］.International Journal of Neural Systems，2006，16（1）：29-38.

［12］HUANG Guangbin，ZHU Qinyu，SIEW C K.Extreme learning machine：theory and applications ［J］.Neurocomputing，2006，70（1）：489-501.

［13］LIANG Nanying，HUANG Guangbin，SARATCHANDRAN P，et al.A fast and accurate online sequential learning algorithms for feedforward networks ［J］.IEEE Transactions on Neural Networks，2006，17（6）：1411-1423.

［14］HUANG Guangbin，SARATCHANDRAN P，SUN-DARAAJAN N.An efficient sequential learning algorithm for growing and pruning RBF （GAP-RBF）networks［J］.IEEE Transactions on System，Man，and Cybernetics，2004，34（6）：2284-2292.

［15］FENG Guorui，HUANG Guangbin，LIN Qingping，et al.Error minimized extreme learning machine with growth of hidden nodes and incremental learning ［J］.IEEE Transactions on Neural Networks，2009，20（8）：1352-1357.

［16］范永勝，徐治皋，陳來久.基于動態(tài)特性機(jī)理分析的鍋爐過熱汽溫自適應(yīng)模糊控制系統(tǒng)研究 ［J］.中國電機(jī)工程學(xué)報(bào)，1997，7（1）：23-28.FAN Yongsheng，XU Zhigao，CHEN Laijiu.Study of adaptive fuzzy control of boiler superheated steam temperature based on dynamic mechanism analysis ［J］.Proceedings of the Chinese Society for Electrical Engineering，1997，7（1）：23-28.