唐賢倫，周家林，張 娜，劉 慶(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點(diǎn)實(shí)驗(yàn)室 重慶 南岸區(qū) 400065)

?

基于極限學(xué)習(xí)機(jī)的非線性內(nèi)模控制

唐賢倫，周家林，張 娜，劉 慶
(重慶郵電大學(xué)工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點(diǎn)實(shí)驗(yàn)室 重慶 南岸區(qū) 400065)

【摘要】針對(duì)非線性的內(nèi)模控制的逆模難以求解的問題，該文提出一種基于改進(jìn)極限學(xué)習(xí)機(jī)(MELM)的非線性內(nèi)?？刂品椒?。在基本的極限學(xué)習(xí)機(jī)模型中加入L1和L2范數(shù)罰函數(shù)，然后將改進(jìn)極限學(xué)習(xí)機(jī)算法用于建立非線性系統(tǒng)的內(nèi)模型和逆模型。仿真實(shí)驗(yàn)中，選取4種典型信號(hào)進(jìn)行跟蹤，并檢驗(yàn)了系統(tǒng)的抗干擾能力和系統(tǒng)參數(shù)發(fā)生變化時(shí)的魯棒性，通過將MELM和最小二乘支持向量機(jī)(SVM)以及極限學(xué)習(xí)機(jī)算法進(jìn)行對(duì)比，表明基于MELM的內(nèi)模控制方法對(duì)非線性系統(tǒng)具有更好的控制性能、較強(qiáng)的抗干擾能力和魯棒性能。

關(guān) 鍵 詞極限學(xué)習(xí)機(jī); 內(nèi)?？刂? L1范數(shù)罰函數(shù); L2范數(shù)罰函數(shù)

Nonlinear Internal Model Control System Based on Weighted Regularized Extreme Learning Machine

TANG Xian-lun, ZHOU Jia-lin, ZHANG Na, and LIU Qing
(Key Laboratory of Industrial Wireless Network and Networked Control of the Ministry of Education, Chongqing University of Posts and Telecommunications Nan’an Chongqing 400065)

Abstract A nonlinear internal model control system based on the modified extreme learning machine algorithm is proposed. L1norm penalty and L2norm penalty are used to modify the model of ordinary extreme learning machine, then the modified extreme learning machine (MELM) is employed to establish the internal model and inverse model of nonlinear systems. In the simulation experiment, four typical signals are selected for tracking, and then the system’s anti-interference ability and the robustness when the system parameters change are verified. The results show that, compared with least-squared support vector machine and extreme learning machine algorithm, the proposed internal model control has better control performance, anti-interference ability and robustness for nonlinear system.

Key words exteme learning machine; internal model control; L1norm penalty ; L2norm penalty

內(nèi)?？刂剖怯晌墨I(xiàn)[1]提出的一種性能優(yōu)越的控制方法，它具有設(shè)計(jì)簡單、調(diào)節(jié)性能好、魯棒性強(qiáng)以及消除不可測干擾的影響等優(yōu)點(diǎn)[2-3]。由于實(shí)際系統(tǒng)大多是非線性的，需要設(shè)計(jì)非線性的內(nèi)?？刂品椒ǎ壳皯?yīng)用最廣泛的是神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)兩種方法?；谏窠?jīng)網(wǎng)絡(luò)[2,4]的內(nèi)模控制系統(tǒng)，利用輸入輸出數(shù)據(jù)可以獲得未知非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型，但是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練一般采用梯度算法，收斂慢且容易陷入局部最小，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)難以選擇?；诮Y(jié)構(gòu)風(fēng)險(xiǎn)最小化的支持向量機(jī)[5-6]，在一定程度上克服了傳統(tǒng)非線性建模的近似線性，能有效克服局部極小點(diǎn)、過學(xué)習(xí)等缺陷，但是對(duì)大規(guī)模訓(xùn)練樣本難以實(shí)施，訓(xùn)練速度也較慢。ELM[7-8]是一種網(wǎng)絡(luò)結(jié)構(gòu)簡單、學(xué)習(xí)速度快的前饋神經(jīng)網(wǎng)絡(luò)。利用Moore-Penrose廣義逆求解網(wǎng)絡(luò)輸出層權(quán)重，可獲得較小的權(quán)重范數(shù)和泛化性能。但是基本的極限學(xué)習(xí)機(jī)卻存在模型參數(shù)不穩(wěn)定的缺點(diǎn)，輸入權(quán)值和閾值的隨機(jī)設(shè)定容易造成過擬合或訓(xùn)練不充分的問題。

本文將L1和L2范數(shù)罰函數(shù)引入極限學(xué)習(xí)機(jī)模型，并提出MELM算法。將這種改進(jìn)的極限學(xué)習(xí)機(jī)用于構(gòu)造內(nèi)?？刂葡到y(tǒng)，并用于典型的非線性系統(tǒng)中。通過與極限學(xué)習(xí)機(jī)和最小二乘支持向量機(jī)兩種方法的對(duì)比，分析基于改進(jìn)極限學(xué)習(xí)機(jī)的內(nèi)?？刂葡到y(tǒng)在控制性能、抗干擾能力和魯棒性能方面的優(yōu)勢。

1 極限學(xué)習(xí)機(jī)的算法描述

1.1 極限學(xué)習(xí)機(jī)的基本原理

ELM是由文獻(xiàn)[9]提出的一種新型單隱含層前饋神經(jīng)網(wǎng)絡(luò)，由于其具有全局逼近能力，參數(shù)學(xué)習(xí)不需迭代以及速度明顯快于現(xiàn)有的神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等特點(diǎn)，其改進(jìn)算法和實(shí)際應(yīng)用引起了廣泛的關(guān)注[10]。極限學(xué)習(xí)機(jī)的模型可以描述為：

式中，y為輸出；x為輸入向量；wi為連接輸入節(jié)點(diǎn)和隱層節(jié)點(diǎn)的輸入權(quán)值；bi為隱含層偏置；βi為連接隱含層與輸出層的輸出權(quán)值；g為隱含層的激活函數(shù)；L為隱層節(jié)點(diǎn)數(shù)。每一個(gè)隱層節(jié)點(diǎn)的激活函數(shù)模型為：

若采用RBF形式的隱層節(jié)點(diǎn)，那么激活函數(shù)模型可描述為：

ELM中除了βi其他參數(shù)都是隨機(jī)產(chǎn)生的。對(duì)于給定的N個(gè)樣本代入式(1)有：

式中，H表示隱層節(jié)點(diǎn)的輸出矩陣；Y表示極限學(xué)習(xí)機(jī)的輸出矩陣。且有：

ELM的最小二乘模型可以描述為：

故極限學(xué)習(xí)機(jī)的訓(xùn)練過程等價(jià)于式(7)的最小二乘解：

1.2 正則極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)具有強(qiáng)大的回歸性能，能夠獲得全局最優(yōu)解，且模型訓(xùn)練時(shí)間很短。然而在ELM求解的過程中，存在由于特征矩陣奇異化造成模型參數(shù)不穩(wěn)定的問題。因此，為了增強(qiáng)ELM的穩(wěn)定性，可以在ELM中加入L2范數(shù)的罰函數(shù)，構(gòu)成正則極限學(xué)習(xí)機(jī)[11]。其模型為：

式中，2λ表示正則化參數(shù)。輸出權(quán)值為：

式中，I為單位矩陣。

正則極限學(xué)習(xí)機(jī)本質(zhì)上是一種結(jié)構(gòu)風(fēng)險(xiǎn)最小化模型，能夠較好的權(quán)衡經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)，因而相比基本的極限學(xué)習(xí)機(jī)，具有更好的泛化性能。

2 改進(jìn)的極限學(xué)習(xí)機(jī)

基本的ELM算法的隱層節(jié)點(diǎn)數(shù)、輸入權(quán)值和閾值都是隨機(jī)生成的，這樣使得矩陣H中產(chǎn)生冗余特征和無關(guān)特征。隱層節(jié)點(diǎn)數(shù)設(shè)置過多，容易造成過擬合，設(shè)置過少，又會(huì)使得ELM的訓(xùn)練不充分。這些問題都使得ELM對(duì)數(shù)據(jù)的回歸效果欠佳。本文MELM算法在正則極限學(xué)習(xí)機(jī)的模型中加入L1范數(shù)的罰函數(shù)，形式為：

式(11)稱為na?ve elastic net模型[12]。在特征矩陣的初始化過程中，先隨機(jī)生成充分多的隱藏節(jié)點(diǎn)，并利用L1范數(shù)的罰函數(shù)對(duì)重要的隱藏節(jié)點(diǎn)進(jìn)行篩選。同時(shí)，利用L2范數(shù)的罰函數(shù)解決特征矩陣的奇異化問題。該模型使得選出的隱藏節(jié)點(diǎn)的信息量相對(duì)充分且干擾小，相當(dāng)于從多次隨機(jī)初始化的含有較少的隱藏節(jié)點(diǎn)的特征矩陣中選出了一個(gè)最優(yōu)特征矩陣，因而使ELM算法的性能得到提高。

式(11)的模型可以改寫成：

它是一個(gè)典型的Lasso模型，其中：

式(11)等價(jià)于式(12)求得參數(shù)β的稀疏解，從而實(shí)現(xiàn)了隱藏節(jié)點(diǎn)的篩選功能。式(12)的解可以采用最小角回歸(LARS)算法[15]求得，且解為：

na?ve elastic net模型通過引入兩個(gè)罰函數(shù)，減少了模型的方差，但同時(shí)對(duì)回歸系數(shù)造成了過多收縮，引入過多的偏倚。為了修正偏倚，需要對(duì)回歸系數(shù)進(jìn)行調(diào)整，即將na?ve elastic net模型修正為elastic net模型[13]：

elastic net模型中的非零參數(shù)βi對(duì)應(yīng)的隱藏節(jié)點(diǎn)就是關(guān)鍵節(jié)點(diǎn)。

3 基于極限學(xué)習(xí)機(jī)的內(nèi)?？刂?/h2>

3.1 內(nèi)?？刂频南到y(tǒng)結(jié)構(gòu)

在本文采用的內(nèi)模控制設(shè)計(jì)方案中需要建立兩個(gè)極限學(xué)習(xí)機(jī)模型，一個(gè)用于構(gòu)造內(nèi)部模型，另一個(gè)用來構(gòu)造逆模型?；诟倪M(jìn)極限學(xué)習(xí)機(jī)的內(nèi)部模型如圖1所示，圖中GP表示被控對(duì)象，GM為改進(jìn)極限學(xué)習(xí)機(jī)的內(nèi)部模型，GIMC是改進(jìn)極限學(xué)習(xí)機(jī)的內(nèi)?？刂破?，d為干擾，1F是濾波器，yr是系統(tǒng)的輸入，yk是系統(tǒng)的輸出。

圖1　改進(jìn)極限學(xué)習(xí)機(jī)內(nèi)?？刂瓶驁D

內(nèi)?？刂葡到y(tǒng)的輸出為：

3.2 極限學(xué)習(xí)機(jī)建立的內(nèi)部模型

假如有如下單輸入單輸出非線性系統(tǒng)模型：

式中，y為系統(tǒng)輸出；u為系統(tǒng)輸入；n為系統(tǒng)階次；m為輸入延遲；f為一非線性函數(shù)。設(shè)：

3.3 極限學(xué)習(xí)機(jī)建立的逆模型

極限學(xué)習(xí)機(jī)建立起的被控對(duì)象的逆模型被用作內(nèi)模控制器，并且要考慮到過程的可逆性問題。式(15)所描述的非線性系統(tǒng)，如果存在一個(gè)集合的子集A，當(dāng)時(shí)，對(duì)于任意兩個(gè)不同輸入u1( k )和都有：

假設(shè)系統(tǒng)是可逆的，則用極限學(xué)習(xí)機(jī)方法建立的內(nèi)部模型的逆模型就是所設(shè)計(jì)的控制器，即：

對(duì)于非線性控制，過程的逆模型往往很難得到，由于過程是可逆的，因此模型一定存在。本文采用極限學(xué)習(xí)機(jī)方法估計(jì)過程的逆模型。設(shè)：

3.4 極限學(xué)習(xí)機(jī)模型參數(shù)的作用及設(shè)置方法

內(nèi)?？刂葡到y(tǒng)中，兩個(gè)基于改進(jìn)極限學(xué)習(xí)機(jī)的模型(即內(nèi)部模型和外部模型)均是回歸模型。改進(jìn)的極限學(xué)習(xí)機(jī)模型，在訓(xùn)練前有兩個(gè)參數(shù)需要提前設(shè)定，分別是懲罰系數(shù)1λ和2λ。系數(shù)1λ的作用是通過控制所選擇的隱藏層節(jié)點(diǎn)的數(shù)目，實(shí)現(xiàn)特征的自動(dòng)選擇；系數(shù)2λ的作用是防止系統(tǒng)過擬合，提升系統(tǒng)模型的泛化能力。參數(shù)1λ和2λ通過交叉驗(yàn)證法確定。

4 內(nèi)模控制器仿真分析

4.1 信號(hào)跟蹤研究

采用如下的非線性系統(tǒng)：

容易證得該系統(tǒng)是單調(diào)的，故而該系統(tǒng)可逆。辨識(shí)信號(hào)采用幅值為2的隨機(jī)信號(hào)，得到200組非線性系統(tǒng)的輸入輸出數(shù)據(jù)對(duì)。用極限學(xué)習(xí)機(jī)離線辨識(shí)該非線性系統(tǒng)的內(nèi)部模型和逆模型。

將訓(xùn)練好的改進(jìn)極限學(xué)習(xí)機(jī)的內(nèi)部模型和逆模型與原系統(tǒng)復(fù)合構(gòu)成內(nèi)?？刂葡到y(tǒng)，對(duì)復(fù)合系統(tǒng)的輸入段分別施加各典型信號(hào)，檢驗(yàn)其跟蹤效果。

圖2　正弦波信號(hào)跟蹤結(jié)果

圖3　方波信號(hào)跟蹤結(jié)果

從圖2和圖3可以看出，改進(jìn)極限學(xué)習(xí)機(jī)對(duì)給定輸入信號(hào)的跟蹤精度高，響應(yīng)速度快，動(dòng)態(tài)性能好。表1表明改進(jìn)極限學(xué)習(xí)機(jī)的跟蹤誤差小于最小二乘支持向量機(jī)和基本的極限學(xué)習(xí)機(jī)，穩(wěn)態(tài)性能更優(yōu)。MELM的響應(yīng)時(shí)間慢于ELM，略小于LS-SVM，但總的來說響應(yīng)時(shí)間較快。

表1　典型信號(hào)跟蹤誤差(響應(yīng)時(shí)間)

4.2 控制系統(tǒng)對(duì)外部不確定干擾的抑制能力

非線性系統(tǒng)不可避免的存在測量噪聲和外部干擾，為了檢驗(yàn)內(nèi)?？刂频目垢蓴_特性，對(duì)輸入信號(hào)施加干擾。假設(shè)在0.8s(k=80)時(shí)施加幅值為0.2的階躍擾動(dòng)，在1.3s(k=130)時(shí)施加幅值為?0.2的階躍擾動(dòng)，即：

依然采用4種典型信號(hào)作為輸入信號(hào)。本文實(shí)驗(yàn)選取均方根誤差(RMSE)和系統(tǒng)響應(yīng)時(shí)間作為衡量指標(biāo)，其多次試驗(yàn)結(jié)果如表2所示。跟蹤結(jié)果選取兩種如圖4和圖5所示。

表2　典型信號(hào)抗干擾均方根誤差(響應(yīng)時(shí)間)

圖4　正弦波信號(hào)抗擾跟蹤結(jié)果

圖5　方波信號(hào)抗擾跟蹤結(jié)果

從圖4和圖5可以看出，在0.8 s(k=80) 和1.3 s(k=130)時(shí)，系統(tǒng)輸出的誤差增大。從表2可以看出，所提出的基于改進(jìn)極限學(xué)習(xí)機(jī)的內(nèi)?？刂葡到y(tǒng)，在有干擾信號(hào)情況下的均方根誤差是最小的，LS-SVM其次，而ELM最大。但是在響應(yīng)時(shí)間上，ELM最短，MELM其次，LS-SVM最長。表明改進(jìn)極限學(xué)習(xí)機(jī)的內(nèi)?？刂葡到y(tǒng)有良好的魯棒性，系統(tǒng)響應(yīng)較快，對(duì)測量噪聲和外部干擾等擾動(dòng)有較強(qiáng)的抑制作用，使得控制系統(tǒng)能夠較好地跟蹤輸入信號(hào)。

4.3 非線性系統(tǒng)參數(shù)發(fā)生變化時(shí)的魯棒性

為研究非線性系統(tǒng)的參數(shù)發(fā)生變化時(shí)，內(nèi)?？刂破鞯聂敯粜?，假設(shè)時(shí)，原系統(tǒng)的參數(shù)發(fā)生變化，原系統(tǒng)變?yōu)椋?/p>

選取4種信號(hào)中跟蹤難度最大的方波信號(hào)作為系統(tǒng)的輸入信號(hào)，其跟蹤結(jié)果和跟蹤誤差如圖6和圖7所示。

圖6　方波信號(hào)參數(shù)變化的跟蹤結(jié)果

從圖6和圖7可以看出，基于MELM的內(nèi)?？刂葡到y(tǒng)對(duì)系統(tǒng)參數(shù)的擾動(dòng)具有較強(qiáng)的魯棒性，跟蹤精度優(yōu)于極限學(xué)習(xí)機(jī)算法和最小二乘支持向量機(jī)。

圖7　方波信號(hào)參數(shù)變化的跟蹤誤差

5 結(jié) 束 語

本文利用一種極限學(xué)習(xí)機(jī)算法用于逼近非線性系統(tǒng)的內(nèi)部模型和逆模型，將內(nèi)?？刂坪湍婵刂品椒ㄏ嘟Y(jié)合，提出一種基于改進(jìn)極限學(xué)習(xí)機(jī)算法的內(nèi)?？刂葡到y(tǒng)。在該系統(tǒng)中，不需要依賴控制對(duì)象太多的先驗(yàn)知識(shí)，只需要知道被控對(duì)象的輸入輸出數(shù)據(jù)就可以對(duì)非線性系統(tǒng)進(jìn)行控制。通過一個(gè)典型的非線性系統(tǒng)進(jìn)行控制仿真，對(duì)四種典型信號(hào)進(jìn)行跟蹤。在正常情況、系統(tǒng)存在干擾和系統(tǒng)參數(shù)發(fā)生變化3種情況下，基于改進(jìn)極限學(xué)習(xí)機(jī)算法的內(nèi)?？刂葡到y(tǒng)具有更高的跟蹤精度，系統(tǒng)的跟蹤性能和魯棒性能明顯優(yōu)于極限學(xué)習(xí)機(jī)算法和最小二乘支持向量機(jī)算法。因此，基于改進(jìn)極限學(xué)習(xí)機(jī)的內(nèi)?？刂剖且环N有效的非線性系統(tǒng)的控制方法。

參 考 文 獻(xiàn)

[1] ECONOMOU C G, MORARI E, PALSSON B O. Internal model control: Extension to nonlinear systems[J]. Industrial & Engineering Chemistry Process Design and Development, 1986, 25(25): 403-411.

[2] ISABELLE R, LEON P. Nonlinear internal model control using neural networks: Application to processes with delay and design issues[J]. IEEE Transactions on Neural Networks, 2000, 11(1): 80-90.

[3] DENG H, XU Z, LI H. A novel neural internal model control for multi-input multi-output nonlinear discrete-time processes[J]. Journal of Process Control, 2009, 19(8): 1392-1400.

[4] LI H, DENG H. An Approximate internal model-based neural control for unknown nonlinear discrete processes[J]. IEEE Transactions on Neural Networks, 2006, 17(3): 659-670.

[5] LIU G, CHEN L, ZHAO Wen-xiang, et al. Internal model control of permanent magnet synchronous motor using support vector machine generalized inverse[J]. IEEE Transactions on Industrial Informatics, 2013, 9(2): 890-898.

[6] WANG Y, YUAN X. SVM approximate-based internal model control strategy[J]. ACTA Automatic Sinica, 2008, 34(2): 172-179.

[7] HUANG G, ZHU Q, SIEW C K. Extreme learning machine: a new learning scheme of feed forward neural networks[C]// IEEE International Joint Conference on Neural Networks. [S.L.]: IEEE, 2004.

[8] HONG J, WANG X. Training extreme learning machine via regularized correntropy criterion[J]. Neural Computing and Applications, 2013, 23(1): 1977-1986.

[9] HUANG G, CHEN L, SIEW C K. Universal approximation using incremental constructive feed forward networks with random hidden nodes[J]. IEEE Transactions on Neural networks, 2006, 17(4): 879-892.

[10] HUANG G, ZHU Q, SIEW C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1): 489-501.

[11] HUANG G, WANG D, LAN Y. Extreme learning machine: a survey[J]. International Journal of Machine Learning and Cybernetics, 2011(2): 107-122.

[12] ZOU H, HASTIE T. Regularization and variable selection via the elastic net[J]. Journal of Computational and Graphical Statistics, 2006(15): 265-286.

[13] SHI L, LU L. EEG-based vigilance estimation using extreme learning machines[J]. Neurocomputing, 2013(102): 135-143.

[14] ZHANG W，MAO J. Internal model control for nonlinear system based on fuzzy-free method[J]. Control Theory & Applications, 2013, 30(4): 463-468.

[15] EFRON B, HASTIE T, JOHNSTONE I, et al. Least angle regression[J]. Annals of Statistics, 2004, 32(2): 407-499.

編 輯 葉 芳

作者簡介：唐賢倫(1977 ? )，男，博士，教授，主要從事計(jì)算機(jī)智能方面的研究.

基金項(xiàng)目：國家自然科學(xué)基金(60905066)

收稿日期：2014 ? 06 ? 17；修回日期：2015 ? 10 ? 02

中圖分類號(hào)TP273

文獻(xiàn)標(biāo)志碼A

doi:10.3969/j.issn.1001-0548.2016.01.016