嚴求真　孫明軒　李鶴

任意初值非線性不確定系統(tǒng)的迭代學習控制

嚴求真1，2孫明軒1李鶴1

為解決任意初態(tài)下的軌跡跟蹤問題，針對一類含參數(shù)和非參數(shù)不確定性的非線性系統(tǒng)，提出基于濾波誤差初始修正的自適應迭代學習控制方法.利用修正濾波誤差信號設計學習控制器，并以Lyapunov方法進行收斂性能分析.依據(jù)類Lipschitz條件處理非參數(shù)不確定性，對于處理過程中出現(xiàn)的未知時變參數(shù)向量，利用自適應迭代學習機制進行估計.經(jīng)過足夠多次迭代后，藉由修正濾波誤差在整個作業(yè)區(qū)間收斂于零，實現(xiàn)濾波誤差本身在預設的作業(yè)區(qū)間也收斂于零.仿真結(jié)果表明了本文所提控制方法的有效性.

迭代學習控制，初值問題，參數(shù)不確定性，非參數(shù)不確定性，Lyapunov方法

引用格式嚴求真，孫明軒，李鶴.任意初值非線性不確定系統(tǒng)的迭代學習控制.自動化學報，2016，42（4）:545?555

迭代學習控制技術(shù)問世于上世紀80年代初，適用于重復作業(yè)對象的控制器設計，可實現(xiàn)在整個作業(yè)區(qū)間上的零誤差跟蹤［1］.當系統(tǒng)在固定區(qū)間內(nèi)重復運行時，可學習的不確定性雖然隨著時間的變化而變化，但在各次運行中呈現(xiàn)相同的變化規(guī)律，沿迭代軸來看，同一時刻對應的不確定性為一常值.由此，可通過學習方法對其進行估計，并根據(jù)誤差不斷修正控制輸入.這樣，經(jīng)過足夠多次迭代運行后，可將閉環(huán)系統(tǒng)中可學習的不確定性予以完全補償，實現(xiàn)系統(tǒng)狀態(tài)對參考信號在整個作業(yè)區(qū)間上的完全跟蹤［2?7］.至今，這種控制技術(shù)已應用于機械臂、磁盤驅(qū)動器和逆變電路等.

目前，基于Lyapunov方法設計學習控制系統(tǒng)引起了人們的關注［2?3］.在設計學習控制系統(tǒng)過程中，需要處理各種不確定性，常見的有線性參數(shù)不確定、非線性參數(shù)不確定性［8］和非參數(shù)不確定性［9］等.線性參數(shù)不確定性又可分為固定常數(shù)［10?11］、不隨迭代次數(shù)變化的時變參數(shù)［12］，以及隨迭代次數(shù)變化的時變參數(shù)［13］.從已經(jīng)發(fā)表的文獻數(shù)量來看，非線性參數(shù)不確定性和非參數(shù)不確定性方面的結(jié)果較少.文獻［14］利用界函數(shù)設計反饋項補償非參數(shù)不確定性.文獻［15?16］結(jié)合使用魯棒方法與學習方法處理非參數(shù)不確定性.傅里葉級數(shù)等逼近工具也可用于估計該類不確定［17］.文獻［18］針對控制增益時變的非參數(shù)不確定系統(tǒng)，基于Backstepping方法設計迭代學習控制系統(tǒng).文獻［19］針對一類同含參數(shù)不確定性和非參數(shù)不確定性的非線性系統(tǒng)，分別提出準最優(yōu)迭代學習控制算法和準最優(yōu)重復學習控制算法.

在應用常規(guī)迭代學習控制算法時，需要在每次迭代開始前進行嚴格初始定位，以使系統(tǒng)初態(tài)與期望軌跡的起始點完全一致［3］.但在實際中，受復位條件的限制，系統(tǒng)存在非零誤差初值.因此，研究適用于任意誤差初值的迭代學習控制算法，不僅具有理論意義，還可拓寬迭代學習控制技術(shù)的應用范圍.針對連續(xù)系統(tǒng)的Lyapunov方法初值問題解決方案見文獻［20?22］.文獻［20］提出了時變邊界層解決方案.其控制策略是：經(jīng)過足夠多次迭代后，閉環(huán)系統(tǒng)的濾波誤差可以收斂到與迭代初值相關的時變死區(qū)中.文獻［21］給出誤差跟蹤設計方法，并將其與參考信號初始修正方法進行對比.文獻［22］研究非參數(shù)不確定系統(tǒng)的誤差跟蹤學習控制算法.另外，在參考信號光滑閉合場合，可采用重復學習控制方法設計控制器，該法在運行過程中勿需停頓及復位［2，23?24］.

設計自適應或自適應學習控制器時，為了處理有界的不確定性，常采用魯棒方法予以處理.根據(jù)界函數(shù)與符號函數(shù)設計反饋項可完全補償不確定性，但據(jù)此設計的控制器在實現(xiàn)時容易發(fā)生顫振現(xiàn)象.為了克服這一不足，可以采用飽和函數(shù)代替符號函數(shù)，實現(xiàn)邊界層外的切換控制和邊界層內(nèi)的線性反饋控制.類似的方法還有單位向量連續(xù)化［25］.在一些場合，例如根據(jù)反演方法設計控制器時，為了設計上的方便，可以采用雙曲正切函數(shù)代替符號函數(shù)［26］.文獻［27］利用雙曲正切函數(shù)為嚴格反饋時變系統(tǒng)設計學習控制器.

為解決參數(shù)/非參數(shù)混合不確定系統(tǒng)的軌跡跟蹤問題，針對任意初態(tài)的非嚴格復位系統(tǒng)，本文提出基于濾波誤差初始修正的自適應迭代學習控制方法.在構(gòu)造修正濾波誤差后，采用Lyapunov方法設計迭代學習控制器并進行性能分析，利用魯棒手段確保系統(tǒng)變量有界，處理非參數(shù)不確定性后，將所得的各未知時變參數(shù)合并為兩個未知時變參數(shù)向量，并通過學習方法分別予以估計.經(jīng)過足夠多次迭代后，閉環(huán)系統(tǒng)的修正濾波誤差在整個作業(yè)區(qū)間收斂于零，濾波誤差在預設的部分作業(yè)區(qū)間上收斂于零.文中所給出的修正濾波誤差構(gòu)造方案，具有構(gòu)造簡單實現(xiàn)方便的特點.

1　問題描述

考慮有限時間區(qū)間［0，T］上重復運行的非線性不確定系統(tǒng)

假設1.函數(shù)

其中， θ（t）∈Rm為未知時變常數(shù)，為與θ（t）同維的連續(xù)向量，滿足

此處，αf（·，·，·）為非負連續(xù)函數(shù).

假設2.函數(shù)g（·，·）滿足

其中，αg（·，·，·）為非負連續(xù)函數(shù)，且存在連續(xù)函數(shù)

參數(shù)不確定性和非參數(shù)不確定性是系統(tǒng)中常見的不確定性，本文在假設性方面的要求較文獻［28］低.為敘述簡便，下文記分別為在不引起歧義時，函數(shù)的自變量t常被略去.

2　濾波誤差初始修正下的控制器設計

記

選取合適的參數(shù)c1，···，cn?1，使得多項式?（p）=pn?1+cn?1pn?2+···+c2p+c1為Hurwitz多項式.

定義1.

其中，φ（t）為一類連續(xù)可導的單調(diào)遞減函數(shù)，滿足φ（0）=1，φ（t）=0（?t∈［t1，T］）.一種可選的φ（t）構(gòu)造方案為

本文稱sφk為修正濾波誤差，其與誤差的關系滿足引理1.

證明.由式（4）知，

兩邊取范數(shù)

利用Bellman引理

在式（8）的兩邊同乘以e?λtμ|sφk|后取定積分，根據(jù)柯西不等式可以推得

上文給出了修正濾波誤差與系統(tǒng)誤差之間的不等式關系，在下文的控制器設計和收斂性分析中，將利用該不等式關系處理不確定性.

根據(jù)假設1和假設2，可以推出

結(jié)合以上三式，有

其中，β1與β2的含義見引理1，為設計參數(shù).

將上式的結(jié)果應用于式（9），有

由此，設計控制律

3　收斂性分析

閉環(huán)系統(tǒng)具有的穩(wěn)定性與收斂性方面的性質(zhì)可總結(jié)為定理1.

并保證閉環(huán)系統(tǒng)所有信號有界.

證明.1）系統(tǒng)變量的有界性

結(jié)合以上兩式，可以推出滿足條件（22）時

由此可以得到sφk的有界性，在此基礎上，結(jié)合飽和函數(shù)的性質(zhì)，易得其他變量也為有界.

2）誤差的收斂性

選擇Lyapunov泛函

前文已證閉環(huán)系統(tǒng)變量均為有界，結(jié)合假設3，可知取足夠大的λ，由式（10）和式（11），可得

成立.據(jù)此，可以推出

由式（26）及式（24），知

利用學習律（12）和（13），分別可以推出

將式（28）和式（29）的結(jié)果應用于式（27）

進一步地

由于L0為非負有界量，且

是有界的，故根據(jù)數(shù)列收斂的必要性，可知

至此，根據(jù)sφk的定義，可得

上文給出了基于濾波誤差初始修正的自適應迭代學習控制方法，適用于系統(tǒng)初態(tài)任意情形.經(jīng)過足夠多次迭代后，籍由sφk在整個作業(yè)區(qū)間收斂于零，實現(xiàn)了sk在預設的部分作業(yè)區(qū)間收斂于零.

并保證閉環(huán)系統(tǒng)中的所有信號有界.

容易看出，修正濾波誤差的構(gòu)造方法簡單.由上文的設計和分析過程可以看出，采用濾波誤差初始修正方法設計控制器，勿需進行分類討論，由此具有使用上的便捷性.經(jīng)過足夠多次迭代后，可實現(xiàn)濾波誤差在預設的部分作業(yè)區(qū)間收斂于零.

4　仿真算例

考慮如下倒立擺系統(tǒng)

這里，x1k和 x2k分別是倒立擺的角位移與角速度，x1k（0）=1.2+0.1（r1?0.5），x2k（0）=?0.2+0.05r2，r1和r2均為0～1之間的隨機數(shù).g=9.8m/s2為重力加速度，mc=1kg是小車的質(zhì)量，m=0.1kg為擺的質(zhì)量，l=0.5m為擺長的一半，uk為小車的推力.參考信號是視和分別為?fk和gk.考慮到實際系統(tǒng)存在的多種不確定性和擾動，設各參數(shù)與標稱值存在±40%的偏差，取

采用控制律（11）及相應學習律進行仿真.仿真參數(shù)取γ1=1，γ2=5，γ3=0.01，ε=100，=20，=80，c1=10，T=2，t1=0.3，β5=10，β1，β2，β3，β4的含義見前文.采用第2節(jié)給出的方案構(gòu)造φ（t）.迭代30次后，仿真結(jié)果如圖1～6所示.圖1和圖2是第30次迭代時的系統(tǒng)狀態(tài)情況.圖3和圖4分別是第30次迭代過程中的狀態(tài)誤差和控制輸入情況.圖5是在k=1，5，10，20，30等次迭代過程中的濾波誤差情況，可以看出，經(jīng)過足夠多次迭代后，可實現(xiàn)濾波誤差sk在［t1，T］上的取值為零.圖6是Jk的收斂過程，在該圖中，Jk=maxt∈［0，T］|sφk（t）|.

圖1　x1及其期望軌跡x1dFig.1　x1and its desired trajectory x1d

圖2　x2及其期望軌跡x2dFig.2　x2and its desired trajectory x2d

圖3　誤差e1和e2Fig.3　The errors e1and e2

本文與文獻［22］采用仿真模型相同，在上文的仿真中，參數(shù)學習律的增益取值為5，而在文獻［22］的仿真中，學習律的增益取值為30.對比之下，本文所提方法在學習增益較小的情況下，仍具有較快的誤差收斂速度.

為了進一步說明本文所提設計方法的有效性，下面采用文獻［20］所提的時變邊界層方案解決相同問題，迭代學習模糊控制器取

圖4　控制輸入Fig.4　Control input

圖5　濾波誤差skFig.5　Filtering-error sk

圖6　Jk收斂過程Fig.6　The convergence performance of Jk

其中，

i=1，2.具體構(gòu)造方法見文獻［20］的第2節(jié).不難看出與均為36維的向量.

仿真參數(shù)取γ4=γ5=γ6=γ7=γ8=γ9=5，的取值同前.迭代30次后，仿真結(jié)果如圖7～11所示.圖7和圖8是第30次迭代時的系統(tǒng)狀態(tài)情況.圖9和圖10分別是第30次迭代過程中的狀態(tài)誤差和控制輸入情況.圖11是Jk的收斂過程，在該圖中，Jk=maxt∈［0，T］|svk（t）|.

對比圖1和圖2與圖7和圖8，可以看出本文提出的基于濾波誤差初始修正學習控制方法和文獻［20］所提的基于時變邊界層的模糊學習控制方法，均可用于解決迭代學習控制的初值問題，實現(xiàn)系統(tǒng)狀態(tài)對參考信號在部分作業(yè)區(qū)間上的精確跟蹤.在作業(yè)周期的后半段，本文所提方法具有較好的誤差收斂性能，由圖3可見，誤差曲線在作業(yè)周期后半段幾乎完全為零，且曲線幾乎沒有波動；而在圖9中，誤差曲線在作業(yè)區(qū)間后半段存在一定幅度的波動.該現(xiàn)象產(chǎn)生的原因與修正濾波誤差/時變邊界層的構(gòu)造方式有關.sφk（t）=0，t∈［0，T］蘊含

圖7　x1及其期望軌跡x1dFig.7　x1and its desired trajectory x1d

圖8　x2及其期望軌跡x2dFig.8　x2and its desired trajectory x2d

圖9　誤差e1和e2Fig.9　The errors e1and e2

圖10　控制輸入Fig.10　Control input

圖11　Jk收斂過程Fig.11　The convergence performance of Jk

但 svk（t）=0，t∈ ［0，T］則意味著 sk（t）≤|sk（0）|e?σt，t∈［0，T］.對比圖7和圖11可以看出，本文所提方法在不使用高增益反饋的情況下，仍然具有較快的誤差收斂速度和較好的控制精度.

仿真結(jié)果表明，利用本文給出的濾波誤差初始修正方法設計學習控制器，可用于解決參數(shù)/非參數(shù)不確定學習控制系統(tǒng)的初值問題.使用這種方法進行控制器設計時，可以比較方便地構(gòu)造出修正濾波誤差，由其設計的控制器具有較快的誤差收斂速度，能夠獲得較好的控制精度.修正濾波誤差的使用較為方便.上述結(jié)果說明了本文所提控制方法的有效性.

5　結(jié)論

本文提出基于濾波誤差初始修正的自適應迭代學習控制方法，解決參數(shù)/非參數(shù)混合不確定系統(tǒng)在任意初態(tài)情形下的軌跡跟蹤問題.這種設計方法處理非參數(shù)不確定性后，將系統(tǒng)中原有的非參數(shù)不確定性補償問題轉(zhuǎn)化為線性時變參數(shù)估計問題，達到簡化設計的目的.文中所構(gòu)造的修正濾波誤差兼具構(gòu)造和使用方面的便捷性.仿真結(jié)果表明，對比已有主流方法，本文所提方案可獲得較快的誤差收斂速度和較好的控制精度.

References

1 Arimoto S，Kawamura S，Miyazaki F.Bettering operation of robots by learning.Journal of Robotic Systems，1984，1（2）: 123?140

2 Dixon W E，Zergeroglu E，Dawson D M，Costic B T.Repetitive learning control:a Lyapunov-based approach.IEEE Transactions on Systems，Man，and Cybernetics，Part B，2002，32（4）:538?545

3 Xu J X，Tan Y.A composite energy function-based learning control approach for nonlinear systems with time-varying parametric uncertainties.IEEE Transactions on Automatic Control，2002，47（11）:1940?1945

4 Zhang Yu-Dong，F(xiàn)ang Yong-Chun.Learning control for systems with saturated output.Acta Automatica Sinica，2011，37（1）:92?98（張玉東，方勇純.一類輸出飽和系統(tǒng)的學習控制算法研究.自動化學報，2011，37（1）:92?98）

5 Xu Xin，Shen Dong，Gao Yan-Qing，Wang Kai.Learning control of dynamical systems based on Markov decision processes:research frontiers and outlooks.Acta Automatica Sinica，2012，38（5）:673?687（徐昕，沈棟，高巖青，王凱.基于馬氏決策過程模型的動態(tài)系統(tǒng)學習控制:研究前沿與展望.自動化學報，2012，38（5）:673?687）

6 Zhang Li，Liu Shan.Basis function based adaptive iterative learning control for non-minimum phase systems.Acta Automatica Sinica，2014，40（12）:2716?2725（張黎，劉山.非最小相位系統(tǒng)的基函數(shù)型自適應迭代學習控制.自動化學報，2014，40（12）:2716?2725）

7 Bu Xu-Hui，Hou Zhong-Sheng，Yu Fa-Shan，F(xiàn)u Zi-Yi.Iterative learning control for trajectory tracking of farm vehicles. Acta Automatica Sinica，2014，40（2）:368?372（卜旭輝，侯忠生，余發(fā)山，付子義.基于迭代學習的農(nóng)業(yè)車輛路徑跟蹤控制.自動化學報，2014，40（2）:368?372）

8 Chen Wei-Sheng，Wang Yuan-Liang，Li Jun-Min.Adaptive learning control for nonlinearly parameterized systems with periodically time-varying delays.Acta Automatica Sinica，2008，34（12）:1556?1560（陳為勝，王元亮，李俊民.周期時變時滯非線性參數(shù)化系統(tǒng)的自適應學習控制.自動化學報，2008，34（12）:1556?1560）

9 Marino R，Tomei P，Verrelli C M.Robust adaptive learning control for nonlinear systems with extended matching unstructured uncertainties.International Journal of Robust and Nonlinear Control，2012，22（6）:645?675

10 French M，Rogers E.Nonlinear iterative learning by an adaptive Lyapunov technique.International Journal of Control，2000，73（10）:840?850

11 Ye X D.Nonlinear adaptive learning control with disturbance of unknown periods.IEEE Transactions on Automatic Control，2012，57（5）:1269?1273

12 Tayebi A.Adaptive iterative learning control for robot manipulators.Automatica，2004，40（7）:1195?1203

13 Yin C K，Xu J X，Hou Z S.A high-order internal model based iterative learning control scheme for nonlinear systems with time-iteration-varying parameters.IEEE Transactions on Automatic Control，2010，55（11）:2665?2670

14 Ham C，Qu Z H.A new learning control based on the Lyapunov direct method.In:Proceedings of the Conference Record Southcon/94.Orlando，F(xiàn)L:IEEE，1994.121?125

15 Xu J X，Yan R.On repetitive learning control for periodic tracking tasks.IEEE Transactions on Automatic Control，2006，51（11）:1842?1848

16 Jin X，Xu J X.Iterative learning control for outputconstrained systems with both parametric and nonparametric uncertainties.Automatica，2013，49（8）:2508?2516

17 Liuzzo S，Marino R，Tomei P.Adaptive learning control of nonlinear systems by output error feedback.IEEE Transactions on Automatic Control，2007，52（7）:1232?1248

18 Chen Peng-Nian，Qin Hua-Shu，F(xiàn)ang Xue-Yi.Iterative learning control for uncertain nonlinear systems with timevarying control gain.Journal of Systems Science and Mathematical Sciences，2012，32（6）:693?704（陳彭年，秦化淑，方學毅.控制增益時變的非線性系統(tǒng)的迭代學習控制.系統(tǒng)科學與數(shù)學，2012，32（6）:693?704）

19 Yan Qiu-Zhen，Sun Ming-Xuan.Suboptimal learning control for nonlinear systems with both parametric and nonparametric uncertainties.Acta Automatica Sinica，2015，41（9）:1659?1668（嚴求真，孫明軒.非線性不確定系統(tǒng)準最優(yōu)學習控制.自動化學報，2015，41（9）:1659?1668）

20 Chien C J，Hsu C T，Yao C Y.Fuzzy system-based adaptive iterative learning control for nonlinear plants with initial state errors.IEEE Transactions on Fuzzy Systems，2004，12（5）:724?732

21 Sun M X，Yan Q Z.Error tracking of iterative learning control systems.Acta Automatica Sinica，2013，39（3）:251?262

22 Yan Qiu-Zhen，Sun Ming-Xuan.Error trajectory tracking by robust learning control for nonlinear systems.Control Theory and Applications，2013，30（1）:23?30（嚴求真，孫明軒.一類非線性系統(tǒng)的誤差軌跡跟蹤魯棒學習控制算法.控制理論與應用，2013，30（1）:23?30）

23 Sun M X，Ge S S，Mareels I M Y.Adaptive repetitive learning control of robotic manipulators without the requirement for initial repositioning.IEEE Transactions on Robotics，2006，22（3）:563?568

24 Li X D，Chow T W S，Ho J K L，Tan H Z.Repetitive learning control of nonlinear continuous-time systems using quasi-sliding mode.IEEE Transactions on Control Systems Technology，2007，15（2）:369?374

25 Qu Z H，Dorsey J F，Dawson D M.Model reference robust control of a class of SISO systems.IEEE Transactions on Automatic Control，1994，39（11）:2219?2234

26 Ge S S，Hong F，Lee T H.Robust adaptive control of nonlinear systems with unknown time delays.Automatica，2005，41（7）:1181?1190

27 Zhu Sheng，Sun Ming-Xuan，He Xiong-Xiong.Iterative learning control of strict-feedback nonlinear time-varying systems.Acta Automatica Sinica，2010，36（3）:454?458（朱勝，孫明軒，何熊熊.嚴格反饋非線性時變系統(tǒng)的迭代學習控制.自動化學報，2010，36（3）:454?458）

28 Xu J X，Qu Z H.Robust iterative learning control for a class of nonlinear systems.Automatica，1998，34（8）:983?988

嚴求真浙江工業(yè)大學信息工程學院博士研究生.主要研究方向為學習控制.E-mail:zjyqz@126.com

（YANQiu-ZhenPh.D.candidate at the College of Information Engineering，Zhejiang University of Technology. His main research interest is learning control.）

孫明軒浙江工業(yè)大學信息工程學院教授.主要研究方向為學習控制.本文通信作者.E-mail:mxsun@zjut.edu.cn

（SUNMing-XuanProfessorat the College of Information Engineering，Zhejiang University of Technology.His main research interest is learning control.Corresponding author of this paper.）

李 鶴浙江工業(yè)大學信息工程學院博士研究生.主要研究方向為學習控制.E-mail:lihuoo@126.com

（LI HePh.D.candidate at the College of Information Engineering，Zhejiang University of Technology.Her main research interest is learning control.）

Iterative Learning Control for Nonlinear Uncertain Systems with Arbitrary Initial State

YAN Qiu-Zhen1，2SUN Ming-Xuan1LI He1

This paper presents a filtering-error rectified adaptive iterative learning control method to tackle the trajectory-tracking problem for a class of both parametric and nonparametric uncertain systems in the presence of arbitrary initial states.A novel rectification is made to modify the filtering-error error signal such that the learning control design and performance analysis could be simplified and easy for implementation.The proposed learning control design is a Lyapunov synthesis-based adaptive iterative learning control scheme.The Lipschitz-like assumption is used for handling nonparametric uncertainties，where the estimation for unknown time-varying parameters is given by learning mechanisms. As iteration increases，the rectified filtering-error converges to zero over the entire time interval，and the filtering-error itself converges to zero on the specified interval.Numerical results are presented to demonstrate effectiveness of the proposed learning control scheme.

Iterative learning control，initial condition problem，parametric uncertainties，nonparametric uncertainties，Lyapunov approach

Manuscript July 27，2015；accepted November 17，2015

10.16383/j.aas.2016.c150480

Yan Qiu-Zhen，Sun Ming-Xuan，Li He.Iterative learning control for nonlinear uncertain systems with arbitrary initial state.Acta Automatica Sinica，2016，42（4）:545?555

2015-07-27錄用日期2015-11-17

國家自然科學基金（61174034，61374103，61573320），浙江省高等學校訪問學者專業(yè)發(fā)展項目（FX2013206）資助

Supported by National Natural Science Foundation of China（61174034，61374103，61573320）and University Visiting Scholars Developing Project of Zhejiang Province（FX2013206）

本文責任編委王聰

Recommended by Associate Editor WANG Cong

1.浙江工業(yè)大學信息工程學院杭州3100232.浙江水利水電學院信息工程學院杭州310018

1.College of Information Engineering，Zhejiang University of Technology，Hangzhou 3100232.College of Information Engineering，Zhejiang University of Water Resources and Electric Power，Hangzhou 310018