張立炎，向　馗，龍　容，2，馬龍華

(1.武漢理工大學(xué)自動(dòng)化學(xué)院，湖北武漢430070; 2.華中農(nóng)業(yè)大學(xué)理學(xué)院，湖北武漢430070; 3.浙江大學(xué)寧波理工學(xué)院，浙江寧波315100)

?

基于ESN的非線性系統(tǒng)未建模動(dòng)態(tài)補(bǔ)償及控制

張立炎1，向馗1，龍容1，2，馬龍華3

(1.武漢理工大學(xué)自動(dòng)化學(xué)院，湖北武漢430070; 2.華中農(nóng)業(yè)大學(xué)理學(xué)院，湖北武漢430070; 3.浙江大學(xué)寧波理工學(xué)院，浙江寧波315100)

摘要：神經(jīng)網(wǎng)絡(luò)模型經(jīng)線性化后可構(gòu)建神經(jīng)預(yù)測控制框架，但是，對高階項(xiàng)的忽略會(huì)產(chǎn)生大量未建模動(dòng)態(tài).本文以回聲狀態(tài)網(wǎng)絡(luò)(Echo State Network，ESN)為代表，提出基于嶺回歸的未建模動(dòng)態(tài)補(bǔ)償方法.以線性化前后ESN內(nèi)部狀態(tài)觀測的偏差作為表征未建模動(dòng)態(tài)的樣本，通過嶺回歸估計(jì)未建模動(dòng)態(tài)與ESN狀態(tài)變量之間的線性依存關(guān)系.將回歸得到的補(bǔ)償項(xiàng)內(nèi)化為ESN儲(chǔ)備池吸引子的平移和旋轉(zhuǎn)，體現(xiàn)了吸引子的吸引力對激活函數(shù)邊界約束作用的有效補(bǔ)充.兩個(gè)實(shí)例驗(yàn)證了補(bǔ)償方法對提高控制精度具有積極作用.

關(guān)鍵詞：回聲狀態(tài)網(wǎng)絡(luò);嶺回歸;未建模動(dòng)態(tài);預(yù)測控制;內(nèi)化

1　引言

ESN作為一種新的遞歸神經(jīng)網(wǎng)絡(luò)，訓(xùn)練過程簡單，逼近性能良好，相關(guān)研究在過去10年十分活躍［1，2］.早期，ESN常作為預(yù)測工具［3］或識(shí)別工具［4］使用，或是與其他方法結(jié)合形成更強(qiáng)有力的工具［5～7］.最近，基于ESN的非線性控制建模受到了更多關(guān)注.

袁等人［8］提出了基于逆系統(tǒng)方法和ESN的魯棒控制器，用于多體航天器姿態(tài)快速跟蹤控制.喬等人［9］提出了一種多評(píng)價(jià)指標(biāo)的雙啟發(fā)式動(dòng)態(tài)規(guī)劃控制策略，采用ESN實(shí)現(xiàn)評(píng)價(jià)函數(shù)和控制策略的逼近.杜和張［10］提出基于增廣ESN的動(dòng)態(tài)控制器，用ESN辨識(shí)機(jī)械手不確定部分的逆模型，實(shí)現(xiàn)機(jī)械手軌跡跟蹤控制.Pan 和Wang［11］提出了一種基于ESN的預(yù)測控制，通過Taylor展開將ESN模型轉(zhuǎn)化成線性狀態(tài)空間模型，然后用對偶網(wǎng)絡(luò)優(yōu)化求解預(yù)測控制的二次規(guī)劃問題.Waegeman等人［12］提出基于雙ESN的在線學(xué)習(xí)模塊，一個(gè)ESN負(fù)責(zé)控制，另一個(gè)則專注于實(shí)時(shí)學(xué)習(xí)反模型，并更新控制模塊的參數(shù).

采用神經(jīng)網(wǎng)絡(luò)對象模型構(gòu)建控制系統(tǒng)由來已久，主要包括兩種途徑［13］:將離線訓(xùn)練獲得的神經(jīng)網(wǎng)絡(luò)模型線性化，構(gòu)造線性控制系統(tǒng);直接基于神經(jīng)網(wǎng)絡(luò)模型，構(gòu)造非線性控制系統(tǒng).考慮到計(jì)算負(fù)擔(dān)和使用便利，本文主要關(guān)注第一種途徑，并重點(diǎn)討論線性化處理帶來的問題.在神經(jīng)網(wǎng)絡(luò)模型線性化過程中，高階殘余項(xiàng)被迫舍棄，導(dǎo)致部分動(dòng)態(tài)未準(zhǔn)確建模，削弱了后續(xù)控制系統(tǒng)的效果.針對線性化導(dǎo)致的未建模動(dòng)態(tài)問題，已有一些研究提出了應(yīng)對方法.

Tong等人［14］針對一類具有未建模動(dòng)態(tài)的非線性系統(tǒng)，利用模糊邏輯系統(tǒng)來逼近未建模動(dòng)態(tài)，并提出了魯棒自適應(yīng)控制方法.柴和張［15］采用自適應(yīng)神經(jīng)模糊推理系統(tǒng)和一一映射相結(jié)合的方法估計(jì)未建模動(dòng)態(tài)，提出了由線性自適應(yīng)控制器、非線性自適應(yīng)控制器以及切換機(jī)制組成的自適應(yīng)切換控制方法.Yan和Wang［16］采用一個(gè)單獨(dú)的前饋神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)和估計(jì)未建模動(dòng)態(tài)，以便在控制系統(tǒng)設(shè)計(jì)中做出補(bǔ)償.Gil等人［17］采用雙無跡Kalman濾波遞歸更新神經(jīng)網(wǎng)絡(luò)的權(quán)值，應(yīng)對仿射線性化過程中出現(xiàn)的未建模動(dòng)態(tài).

綜合來看，未建模動(dòng)態(tài)的處理方法主要有兩類:設(shè)計(jì)更加魯棒的控制器;對未建模動(dòng)態(tài)單獨(dú)建模.方法一具有任務(wù)依賴性，難以推廣.對于方法二，無論是獨(dú)立的神經(jīng)網(wǎng)絡(luò)還是Kalman濾波，都受制于參數(shù)設(shè)置技巧和觀測數(shù)據(jù)長度.本文提出了一種推移吸引子的內(nèi)化補(bǔ)償方法.補(bǔ)償集中在建模階段，降低了控制器設(shè)計(jì)難度.補(bǔ)償方法的核心是嶺回歸，可在數(shù)據(jù)長度很小的情況下，通過一個(gè)嶺參數(shù)的設(shè)置，實(shí)現(xiàn)補(bǔ)償.為行文方便，本文沿用了文獻(xiàn)［16］給出的線性神經(jīng)預(yù)測控制框架，但不妨礙本文的方法在其他類似框架下運(yùn)用.

2　神經(jīng)預(yù)測控制框架

傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)存在訓(xùn)練困難的問題，2004年，Jaeger［18］首次提出ESN，顯著提高了混沌時(shí)間序列的預(yù)測精度.ESN的基本結(jié)構(gòu)如圖1所示，核心是一個(gè)高維隨機(jī)矩陣，常被稱為儲(chǔ)備池，意為儲(chǔ)備豐富的非線性動(dòng)態(tài).儲(chǔ)備池內(nèi)部狀態(tài)的線性組合構(gòu)成系統(tǒng)輸出，一般的回歸方法即可獲得輸出權(quán)值矩陣的估計(jì)，實(shí)現(xiàn)對ESN的訓(xùn)練.

ESN可以表述成簡單的離散形式:

其中，K維外部輸入向量u(t)，N維儲(chǔ)備池狀態(tài)x(t)和L維輸出向量y(t)，對應(yīng)的連接矩陣分別為:輸入矩陣Win，內(nèi)部矩陣W，輸出矩陣Wout.輸出反饋矩陣Wfb屬于可選項(xiàng).f(·)代表激活函數(shù)，通常取tanh函數(shù).輸入u包括系統(tǒng)的實(shí)際輸入和一個(gè)偏置量，處理時(shí)間序列問題時(shí)，u僅包括偏置量.所有矩陣W*的內(nèi)部元素都是0～1的隨機(jī)數(shù)，除了Wout以外，其余矩陣權(quán)值一經(jīng)生成，無需修改.v是歸一化的噪聲向量，用來提高ESN模型的穩(wěn)定性.sin、sfb、sv和ρ均為待設(shè)置的比例系數(shù)，其中ρ的設(shè)置非常重要.假設(shè)W的有效譜半徑|λmax|，當(dāng)ρ|λmax|≤1時(shí)ESN容易穩(wěn)定.當(dāng)ρ|λmax|接近1時(shí)，ESN被認(rèn)為工作在混沌邊緣，此時(shí)預(yù)測能力最強(qiáng)，但穩(wěn)定性較差.

式(1)中f是非線性函數(shù)，采用Taylor展開可實(shí)現(xiàn)線性化.假設(shè)系統(tǒng)的工作點(diǎn)為s0，則ESN的狀態(tài)函數(shù)可以寫成:

其中s(k)=ρWx(k)+ sinWinu(k + 1)+ sfbsoutWfby(k)，e(·)為高階項(xiàng)，▽f(s0)是在工作點(diǎn)s0的Jacobian矩陣.如果定義A =ρ▽f(s0)W，B = sin▽f(s0)Win，C = sfbsout▽f(s0)Wfb和D = 1/soutWout，則式(1)可進(jìn)一步寫成線性狀態(tài)空間的形式:

其中常數(shù)項(xiàng)c = f(s0)-▽f(s0)s0，高階項(xiàng)e已忽略.為了去除c，將式(3)進(jìn)一步改寫成增量方式:

至此，可將預(yù)測控制轉(zhuǎn)化為受約束的二次規(guī)劃問題:

其中H、G(k + 1)、Ψ、b等系數(shù)矩陣的定義見附錄.基于ESN的預(yù)測控制算法步驟如下:

①使用ESN離線辨識(shí)非線性系統(tǒng)，得到W、Win、Wfb和Wout;

②將此ESN線性化，得到A、B、C、D;

③設(shè)置預(yù)測時(shí)域Np、控制時(shí)域Nc、期望輸出yr、權(quán)矩陣P和Q，初始化Δx(0)、Δy(0)、u(0)、x(0)和y(0)，計(jì)算H、Ψ和b;

④令k =0;

⑤計(jì)算G(k +1);

⑥求解二次規(guī)劃問題(5)，得到ΔU;

⑦在ΔU中抽取Δu(k +1)，計(jì)算u(k +1)= u(k)+ Δu(k + 1)，獲取新的系統(tǒng)輸出y(k + 1)和ESN的狀態(tài)x(k +1);

⑧計(jì)算Δx(k +1)和Δy(k +1);

⑨令k = k +1，返回⑤.

3　未建模動(dòng)態(tài)補(bǔ)償

3.1殘余項(xiàng)的累積與補(bǔ)償

如果考慮線性化帶來的高階殘余項(xiàng)e，式(4)可重寫為以下形式:

給定預(yù)測時(shí)域Np，通過簡單迭代容易得到Δx(Np)的值

盡管單個(gè)高階項(xiàng)殘余項(xiàng)e相對較小，但是隨著向前預(yù)測步數(shù)增加，誤差的累積不容忽視.分析發(fā)現(xiàn)，原因有二:一是舊的殘余項(xiàng)會(huì)被放大，二是新的殘余項(xiàng)不斷加入.就預(yù)測控制而言，選擇較大的Np有利于系統(tǒng)穩(wěn)定，可殘余項(xiàng)e的存在與演進(jìn)使得式(4)嚴(yán)重偏離實(shí)際系統(tǒng)，控制輸出會(huì)在工作點(diǎn)附近振蕩，無法穩(wěn)定.

神經(jīng)網(wǎng)絡(luò)的激活函數(shù)輸出有上界，線性展開后，上界約束極大削弱，因此神經(jīng)網(wǎng)絡(luò)內(nèi)部狀態(tài)容易發(fā)散.通過簡單的回歸處理，可部分恢復(fù)上界約束，起到補(bǔ)償未建模動(dòng)態(tài)的效果.下面通過一個(gè)簡單的實(shí)證來說明補(bǔ)償原理.以常用的激活函數(shù)tanh為例，定義:

其中，s0表示工作點(diǎn)，polyfit是Matlab提供的一個(gè)通用回歸函數(shù).取x =［0，5］，得到圖2的結(jié)果.不難看出，經(jīng)過回歸處理的f3從很大程度上恢復(fù)了tanh的上限約束作用.

3.2嶺回歸與內(nèi)化

假設(shè)一定數(shù)量的系統(tǒng)觀測，代入式(1)，獲得狀態(tài)x的序列，記為矩陣XESN.同理，將觀測代入式(3)，獲得另一組序列，記為矩陣XTaylor.顯然，XTaylor和XESN存在一定偏差，這個(gè)偏差是因?yàn)楹雎愿唠A項(xiàng)e導(dǎo)致的.按照3.1節(jié)提供的思路，可對偏差直接做回歸處理.不同的是，ESN的內(nèi)部狀態(tài)x是一個(gè)高維向量，通常為數(shù)百維甚至更高.要想獲得穩(wěn)定的回歸估計(jì)，要求有關(guān)偏差的觀測樣本集非常大，確保獲得一個(gè)滿秩的信息矩陣估計(jì)，這是多元線性回歸和一元線性回歸最大的不同.通常情況下，樣本集容量達(dá)不到要求，有必要采取特殊的回歸方法，比如嶺回歸［19］.

嶺回歸是一個(gè)類似最小二乘的估計(jì)方法，以犧牲無偏性為代價(jià)，獲得低方差的估計(jì)結(jié)果:

其中Wcps是補(bǔ)償項(xiàng)系數(shù)，I是單位矩陣，α是一個(gè)極小的常數(shù).當(dāng)α= 0，式(9)退化成一般的最小二乘估計(jì).當(dāng)維數(shù)過大而觀測樣本相對不足時(shí)，自變量信息矩陣容易出現(xiàn)奇異.細(xì)小的樣本值變化，可能導(dǎo)致Wcps的估計(jì)劇烈波動(dòng).添加αI有效緩解信息矩陣奇異的情況，降低了^Wcps的方差，但它是一個(gè)有偏估計(jì).

按照式(9)的方法，雖然可以起到補(bǔ)償效果，但是需要在式(3)中增加一個(gè)獨(dú)立的補(bǔ)償項(xiàng)WcpsX.不僅增加了計(jì)算量，而且補(bǔ)償項(xiàng)的物理意義并不明晰.另一種更加簡潔的方法是對矩陣Win做適當(dāng)修正，使XTaylor接近XESN，實(shí)現(xiàn)對未建模動(dòng)態(tài)的補(bǔ)償.對于Win的修正，相當(dāng)于把XTaylor對應(yīng)的吸引子做平移和旋轉(zhuǎn)，使之接近XESN構(gòu)成的吸引子，外部偏差的作用直接體現(xiàn)到內(nèi)部吸引子中，這種方法又稱之為內(nèi)化(internalize)［20］.內(nèi)化處理過程可以表述成如下數(shù)學(xué)形式:

其中Wint表示修正過后的權(quán)值矩陣.Wint的估計(jì)仍舊依賴于嶺回歸:

修正完成后，式(3)中的矩陣A重新定義為▽f(s0)· Wint，其余矩陣B、C、D保持不變.

4　仿真實(shí)例

4.1實(shí)例1

選擇一個(gè)延時(shí)差分的非線性系統(tǒng)［11］:

輸入u是一個(gè)白噪聲序列，按照式(12)生成數(shù)據(jù)序列，按照式(1)建立ESN模型，N = 300，sin=［0.1，0.1］，sfb=0.05，sv=10-6，譜半徑0.8.訓(xùn)練ESN并進(jìn)行展開和內(nèi)化處理，連續(xù)預(yù)測2000個(gè)數(shù)據(jù)點(diǎn).計(jì)算預(yù)測的均方根誤差:原始ESN的預(yù)測誤差0.031，Taylor展開后的預(yù)測誤差1.142，內(nèi)化處理后的預(yù)測誤差0.722.內(nèi)化過后預(yù)測誤差明顯變小.

將內(nèi)化前后的線性模型分別用作預(yù)測控制模型，控制系統(tǒng)輸出數(shù)個(gè)階躍響應(yīng)，結(jié)果如圖3所示.內(nèi)化過后，預(yù)測控制曲線的階躍響應(yīng)速度更快，能夠快速穩(wěn)定.相比之下，未經(jīng)內(nèi)化處理的預(yù)測控制曲線存在比較明顯的長時(shí)間震蕩.

4.2實(shí)例2

選取Duffing方程作為實(shí)例［21］:

采樣時(shí)間Ts=0.05s.將輸入量u設(shè)定為白噪聲序列，按式(13)生成數(shù)據(jù)序列.依據(jù)式(1)建立ESN模型，N =100，sin=［0.06，0.03］，sfb=［0.005，0.005］，sv=10-6，譜半徑0.9.訓(xùn)練ESN并進(jìn)行展開和內(nèi)化處理，連續(xù)預(yù)測1500個(gè)數(shù)據(jù)點(diǎn).計(jì)算y1、y2預(yù)測的均方根誤差:原始ESN的預(yù)測誤差(0.070，0.063); Taylor展開后的預(yù)測誤差(2.663，0.796);內(nèi)化處理后的預(yù)測誤差(0.380，0.400).不難看出，內(nèi)化過后預(yù)測誤差明顯降低.

將內(nèi)化前后的線性模型分別用作預(yù)測控制模型，進(jìn)行仿真比較，結(jié)果如圖4所示.圖4(a)中，內(nèi)化后的控制曲線比較光滑，能夠到達(dá)指定的yr，而未內(nèi)化的控制曲線基本可以收斂，但上下波動(dòng)明顯.由于y2的非線性比較強(qiáng)，圖4(b)中，內(nèi)化后的控制曲線在yr附近微幅波動(dòng)，但未內(nèi)化的控制曲線波動(dòng)非常大，幅度接近±0.2.結(jié)果表明:采用內(nèi)化后的ESN線性化模型構(gòu)建預(yù)測控制，可以有效補(bǔ)償未建模動(dòng)態(tài)，提高控制精度.

5　討論

5.1嶺參數(shù)選擇

前文3.2提到的嶺回歸方法中，嶺參數(shù)α的選擇比較重要，直接影響回歸效果.關(guān)于α的選擇，廣泛使用的是交叉驗(yàn)證方法，或者通過觀察嶺跡的方法人工設(shè)置.本文基于嶺回歸的統(tǒng)計(jì)學(xué)原理，提供一種簡潔的方法.

嶺回歸可以看作帶有罰函數(shù)的多元線性回歸.式(11)的估計(jì)結(jié)果可以認(rèn)為是下式優(yōu)化的結(jié)果:

以上方法主要適用于離線操作，要想實(shí)現(xiàn)在線補(bǔ)償，則需要兩方面改進(jìn)［22］:一是將式(11)的最小二乘改成遞歸形式;二是采用逐步衰減的α.統(tǒng)計(jì)學(xué)上，嶺回歸主要針對樣本容量相對不足(相對隨機(jī)變量個(gè)數(shù)而言)帶來的一致性問題.在線補(bǔ)償初期，樣本容量小，采用較大的α.隨著樣本容量逐步增加，α逐步衰減，最終為0.當(dāng)然，衰減的速度也是任務(wù)依賴的，需要根據(jù)經(jīng)驗(yàn)設(shè)置.

5.2吸引子推移

結(jié)合實(shí)例2，從同一初始狀態(tài)開始，取u(k)= 0，分別運(yùn)行內(nèi)化前后的模型，記錄ESN狀態(tài)矩陣x.從x中任意選擇3個(gè)變量x1、x2和x3，繪制三維曲線，如圖6所示.可以看出，內(nèi)化導(dǎo)致狀態(tài)吸引子發(fā)生了明顯的偏移.

前已述及，激活函數(shù)線性化以后邊界約束作用減弱，ESN內(nèi)部狀態(tài)值在本該飽和的區(qū)域仍舊不斷增大，系統(tǒng)極易發(fā)散.補(bǔ)償?shù)谋举|(zhì)在于增加一個(gè)狀態(tài)依賴的變量，彌補(bǔ)這種邊界約束作用.補(bǔ)償項(xiàng)內(nèi)化與否，從數(shù)學(xué)上并無不同，但物理意義上有所差別.忽略式(1)中的外部輸入u和輸出反饋y，使之構(gòu)成一個(gè)自治系統(tǒng)，系統(tǒng)特性取決于狀態(tài)變換矩陣W.內(nèi)化過程通過修改矩陣W來體現(xiàn)補(bǔ)償項(xiàng)，同時(shí)也改變了式(1)對應(yīng)的自治系統(tǒng)特性，使其吸引子發(fā)生了線性變化(平移和旋轉(zhuǎn)).內(nèi)化結(jié)果提醒我們注意到:激活函數(shù)的邊界約束力，可以被自治系統(tǒng)吸引子的吸引力部分替代.

6　結(jié)論

非線性神經(jīng)網(wǎng)絡(luò)的線性展開，在建模和控制之間搭建了一座橋梁，使非線性動(dòng)態(tài)建模能夠直接服務(wù)于控制系統(tǒng)設(shè)計(jì)，意義深遠(yuǎn).但高階誤差項(xiàng)代表的未建模動(dòng)態(tài)，使后端控制效果大打折扣，甚至失效.本文從廣泛用于動(dòng)態(tài)建模的ESN模型出發(fā)，將其Taylor展開成一個(gè)典型的線性狀態(tài)空間形式，重點(diǎn)討論高階誤差項(xiàng)導(dǎo)致的問題和初步解決方法.實(shí)例研究表明，基于內(nèi)化處理方法，對于降低控制系統(tǒng)的平衡點(diǎn)振蕩具有一定效果.

面向未建模動(dòng)態(tài)的嶺回歸補(bǔ)償和內(nèi)化處理，只是一種數(shù)值方法，其補(bǔ)償效果的顯著性，一定程度上依賴于任務(wù)本身.為了讓神經(jīng)網(wǎng)絡(luò)強(qiáng)大的建模能力更好地服務(wù)于控制系統(tǒng)設(shè)計(jì)，有必要在未來研究更加有效的線性神經(jīng)預(yù)測控制框架.

附錄

(1)定義常系數(shù)矩陣

(2)定義變系數(shù)矩陣

其中

(3)定義一個(gè)二次規(guī)劃函數(shù)

其中

是優(yōu)化變量.

(4)設(shè)置umax、umin、Δumax、Δumin、ymax和ymin，定義約束條件

其中

參考文獻(xiàn)

［2］彭宇，王建民，彭喜元.儲(chǔ)備池計(jì)算概述［J］.電子學(xué)報(bào)，2011，39(10): 2387 -2396.Y Peng，J M Wang，X Y Peng.Survey on reservoir computing［J］.Acta Electronica Sinica，2011，39(10): 2387 -2396.(in Chinese)

［3］彭宇，王建民，彭喜元.基于回聲狀態(tài)網(wǎng)絡(luò)的時(shí)間序列預(yù)測方法研究［J］.電子學(xué)報(bào)，2010，38(2A): 148 -154.Y Peng，J M Wang，X Y Peng.Researches on time series prediction with echo state networks［J］.Acta Electronica Sinica，2010，38(2A): 148 -154.(in Chinese)

［4］郭嘉，雷苗，彭喜元.基于相應(yīng)簇回聲狀態(tài)網(wǎng)絡(luò)靜態(tài)分類方法［J］.電子學(xué)報(bào)，2011，39(3A): 14 -18.J Guo，M Lei，X Y Peng.Echo state networks for static classification with corresponding clusters［J］.Acta Electronica Sinica，2011，39(3A): 14 -18.(in Chinese)

［5］彭宇，王建民，彭喜元.模糊回聲狀態(tài)網(wǎng)絡(luò)［J］.電子學(xué)報(bào)，2011，39(7): 1538 -1544.Y Peng，J M Wang，X Y Peng.Fuzzy echo state networks ［J］.Acta Electronica Sinica，2011，39(7): 1538 - 1544.(in Chinese)

［6］張學(xué)清，梁軍.基于EEMD-近似熵和儲(chǔ)備池的風(fēng)電功率混沌時(shí)間序列預(yù)測模型［J］.物理學(xué)報(bào)，2013，62(5): 050505.X Q Zhang，J Liang.Chaotic time series prediction model of wind power based on ensemble empirical mode decomposition-approximate entropy and reservoir［J］.Acta Physica Sinica，2013，62(5): 050505.(in Chinese)

［7］H Cui，C Feng，Y Chai，et al.Effect of hybrid circle reservoir injected with wavelet-neurons on performance of echo state network［J］.Neural Networks，2014，57: 141 -151.

［8］袁長清，李俊峰，鄧志東.基于ESN網(wǎng)絡(luò)的航天器姿態(tài)跟蹤魯棒控制［J］.清華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2008，48(8): 1362 -1367.C Q Yuan，J F Li，Z D Deng.ESN neural networks robust attitude tracking control for multi-body spacecraft［J］.Journal of Tsinghua University(Science and Technology)，2008，48(8): 1362 -1367.(in Chinese)

［9］喬俊飛，薄迎春，韓廣.基于ESN的多指標(biāo)DHP控制策略在污水處理過程中的應(yīng)用［J］.自動(dòng)化學(xué)報(bào)，2013，39(7): 1146 -1151.J F Qiao，Y C Bo，G Han.Application of ESN-based multi indices dual heuristic dynamic programming on wastewater treatment process［J］.Acta Automatica Sinica，2013，39(7): 1146 -1151.(in Chinese)

［10］杜佩君，張瑞鋒.基于增廣ESN的機(jī)器人軌跡跟蹤控制［J］.信息與控制，2013，42(4): 007.P J Du，R F Zhang.Trajectory tracking control for robots based on augmented ESN［J］.Information and Control，2013，42(4): 007.(in Chinese)

［11］Y Pan，J Wang.Model predictive control of unknown nonlinear dynamical systems based on recurrent neural networks［J］.IEEE Transactions on Industrial Electronics，2012，59(8): 3089 -3101.

［12］T Waegeman，F(xiàn) Wyffels，B Schrauwen.Feedback control by online learning an inverse model［J］.IEEE Transactions on Neural Networks and Learning Systems，2012，23(10): 1637 -1648.

［13］M T Hagan，H B Demuth，O D Jesús.An introduction to the use of neural networks in control systems［J］.International Journal of Robust and Nonlinear Control，2002，12(11): 959 -985.

［14］S C Tong，X L He，H G Zhang.A combined backstepping and small-gain approach to robust adaptive fuzzy output feedback control［J］.IEEE Transactions on Fuzzy Systems，2009，17(5): 1059 -1069.

［15］柴天佑，張亞軍.基于未建模動(dòng)態(tài)補(bǔ)償?shù)姆蔷€性自適應(yīng)切換控制方法［J］.自動(dòng)化學(xué)報(bào)，2011，37(7): 773 -786.T Y Chai，Y J Zhang.Nonlinear adaptive switching control method based on unmodeled dynamics compensation［J］.Acta Automatica Sinica，2011，37(7):773 -786.(in Chinese)

［16］Z Yan，J Wang.Robust model predictive control of nonlinear systems with unmodeled dynamics and bounded uncertainties based on neural networks［J］.2014，25(3): 457 -469.

［17］P Gil，J Henriques，A Cardoso，et al.Affine neural network-based predictive control applied to a distributed solar collector field［J］.2014，22(2): 585 -596.

［18］H Jaeger，H Haas.Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication［J］.Science，2004，304(5667): 78 -80.

［19］T Hastie，R Tibshirani，J Friedman.The Elements of Statistical Learning Data Mining，Inference，and Prediction［M］.New York: Springer-Verlag，2002.

［20］J Li，T Waegeman，B Schrauwen，et al.Frequency modulation of large oscillatory neural networks［J］.Biological Cybernetics，2014，108(2): 145 -157.

［21］M Canale，L Fagiano，M Milanese.Efficient model predictive control for nonlinear systems via function approximation techniques［J］.IEEE Transactions on Automatic Control，2010，55(8): 1911 -1916.

［22］D Sussillo，L F Abbott.Transferring learning from external to internal weights in echo-state networks with sparse connectivity［J］.PLoS ONE，2012，7(5): e37372.

張立炎男，1971年10月出生，湖北黃梅人.現(xiàn)為武漢理工大學(xué)自動(dòng)化學(xué)院教授.研究方向?yàn)閺?fù)雜系統(tǒng)建模與優(yōu)化、預(yù)測控制、神經(jīng)網(wǎng)絡(luò).E-mail: zlywhut@ szu.edu.cn

向馗(通訊作者)男，1976年10月出生，湖北秭歸人.現(xiàn)為武漢理工大學(xué)自動(dòng)化學(xué)院教授，研究方向?yàn)樯硇盘?hào)處理、人機(jī)協(xié)作.

E-mail: xkarcher@126.com

龍容女，1979年4月出生，湖北武漢人.現(xiàn)為華中農(nóng)業(yè)大學(xué)理學(xué)院講師，研究方向?yàn)閮?yōu)化控制.

E-mail: ll@ mail.hzau.edu.cn

馬龍華男，1965年1月出生，浙江東陽人.現(xiàn)為浙江大學(xué)寧波理工學(xué)院教授、博士生導(dǎo)師.研究方向?yàn)檫\(yùn)動(dòng)體導(dǎo)航與控制、機(jī)器學(xué)習(xí)與魯棒優(yōu)化.

E-mail: lhma@ iipc.zju.edu.cn

Unmodeled Dynamics Compensation and Control of Nonlinear System Based on ESN

ZHANG Li-yan1，XIANG Kui1，LONG Rong1，2，MA Long-hua3
(1.School of Automation，Wuhan University of Technology，Wuhan，Hubei 430070，China; 2.College of Science，Huazhong Agricultural University，Wuhan，Hubei 430070，China; 3.Ningbo Institute of Technology，Zhejiang University，Ningbo，Zhejiang 315100，China)

Abstract:Neural networks are often linearized to construct a framework of neural predictive control，but a challenging issue remains that lots of dynamics caused by omitting high-order terms are unmodeled.We took ESNs(Echo State Networks)as a paradigm，and proposed a ridge regression method to compensate unmodeled dynamics.The unmodeled dynamics were observed by collecting the difference of ESN internal states before-and-after linearization，and they were represented by a linear function of ESN states estimated with ridge regressions.The compensation terms for the unmodeled dynamics were then internalized as movements and rotations of attractors in ESN reservoirs.The internalization provided a new possibility: The loss of boundary constraint because of linearization of activation functions can be partially remedied by the attraction effect of attractors.Two examples demonstrated that our compensation method could actively improve the control.

Key words:echo state networks; ridge regression; unmodeled dynamics; predictive control; internalize

作者簡介

基金項(xiàng)目:國家自然科學(xué)基金(No.61101022，No.61272020);武漢理工大學(xué)自主創(chuàng)新研究基金(No.2012-II-017)

收稿日期:2014-03-28;修回日期: 2014-10-06;責(zé)任編輯:孫瑤

DOI:電子學(xué)報(bào)URL：http: / /www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.01.010

中圖分類號(hào)：TP14

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0372-2112(2016)01-0060-07