嚴(yán)家政，專祥濤,2

（1.武漢大學(xué) 電氣與自動(dòng)化學(xué)院，湖北 武漢 430072;2.武漢大學(xué) 深圳研究院，廣東 深圳 518057）

在現(xiàn)代工業(yè)控制系統(tǒng)研究中，對(duì)控制性能指標(biāo)進(jìn)行優(yōu)化是研究控制算法的首要任務(wù)之一。常見的工業(yè)控制系統(tǒng)一般具有非線性、含時(shí)滯、多變量等復(fù)雜特性，研究人員提出了模糊PID 控制[1]、分?jǐn)?shù)階PID 控制[2-3]、自抗擾控制[4-5]等算法，提升控制算法的性能。工程實(shí)踐中，此類控制算法和控制器的參數(shù)整定及優(yōu)化過程需要工程師大量的實(shí)踐經(jīng)驗(yàn)，或通過觀察被控對(duì)象的響應(yīng)逐步調(diào)整，或通過辨識(shí)模型推理計(jì)算。參數(shù)優(yōu)化過程繁瑣耗時(shí)、常有重復(fù)性工作。隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)[6-7]、強(qiáng)化學(xué)習(xí)[8]等人工智能理論及技術(shù)被廣泛應(yīng)用于圖像識(shí)別[9]、智能推薦[10]、機(jī)器人控制[11]等領(lǐng)域。由于控制理論的反饋概念與強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)概念的相似性，為了增強(qiáng)控制算法性能、減少人工成本，許多學(xué)者也嘗試在控制理論與控制工程領(lǐng)域引入強(qiáng)化學(xué)習(xí)[12-14]。但目前這類研究大多處于理論證明和仿真實(shí)驗(yàn)階段[15]，少有工程實(shí)踐的驗(yàn)證。

本文針對(duì)上述問題，首先提出了一種基于強(qiáng)化學(xué)習(xí)的控制參數(shù)優(yōu)化算法，將參數(shù)整定問題近似為求解約束優(yōu)化問題，通過結(jié)合強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)、經(jīng)驗(yàn)回放機(jī)制和控制系統(tǒng)的動(dòng)態(tài)性能指標(biāo)評(píng)價(jià)模塊對(duì)控制器參數(shù)進(jìn)行在線自整定及優(yōu)化。然后，以水箱液位控制系統(tǒng)為實(shí)驗(yàn)對(duì)象，對(duì)上述算法進(jìn)行實(shí)物對(duì)比測(cè)試。最后，設(shè)計(jì)了一種動(dòng)態(tài)變參數(shù)PID 控制算法，驗(yàn)證基于強(qiáng)化學(xué)習(xí)的參數(shù)自整定及優(yōu)化算法的可行性、有效性和普適性。

1 強(qiáng)化學(xué)習(xí)

作為一種重要的機(jī)器學(xué)習(xí)方法，強(qiáng)化學(xué)習(xí)(reinforcement learning,RL)采用了人類和動(dòng)物學(xué)習(xí)中的“嘗試與失敗”機(jī)制，強(qiáng)調(diào)智能體在與環(huán)境的交互過程中學(xué)習(xí)，利用評(píng)價(jià)性的反饋信號(hào)實(shí)現(xiàn)決策的優(yōu)化。由于強(qiáng)化學(xué)習(xí)在學(xué)習(xí)過程中不需要給定各種狀態(tài)的監(jiān)督信號(hào)，因此其在求解復(fù)雜的優(yōu)化決策問題方面有廣泛的應(yīng)用前景。強(qiáng)化學(xué)習(xí)的基本框架[16]如圖1 所示。

圖1 強(qiáng)化學(xué)習(xí)的基本框架Fig.1 Basic framework of reinforcement learning

與環(huán)境Environment 交互過程中，智能體Agent 根據(jù)當(dāng)前狀態(tài)，選擇并執(zhí)行一個(gè)動(dòng)作，環(huán)境接受動(dòng)作后變?yōu)樾碌臓顟B(tài)，并把獎(jiǎng)賞信號(hào)反饋給智能體，根據(jù)獎(jiǎng)賞信號(hào)智能體更新決策單元，選擇后續(xù)動(dòng)作，直至獲得期望的最大獎(jiǎng)勵(lì)值。

智能體與環(huán)境的交互過程中,在每個(gè)周期T會(huì)經(jīng)歷如下步驟[17]：

1)智能體Agent 獲取環(huán)境Environment 在當(dāng)前周期T的狀態(tài)ST；

2)智能體Agent 依據(jù)狀態(tài)ST和策略PT，選擇并執(zhí)行動(dòng)作aT，作用于當(dāng)前環(huán)境；

3)環(huán)境由狀態(tài)ST變?yōu)樾碌臓顟B(tài)ST+1，并反饋當(dāng)前策略的評(píng)價(jià)函數(shù)rT；

4)智能體Agent 根據(jù)評(píng)價(jià)函數(shù)rT更新策略，即PT→PT+1，T→T+1；

5)返回步驟1)，重復(fù)上述步驟，直至滿足目標(biāo)要求。

算法流程中，評(píng)價(jià)函數(shù)r是關(guān)于環(huán)境的狀態(tài)S和智能體的執(zhí)行動(dòng)作a的函數(shù)，是決定強(qiáng)化學(xué)習(xí)訓(xùn)練結(jié)果策略P性能好壞的關(guān)鍵性因素。

2 算法設(shè)計(jì)

在控制系統(tǒng)控制器性能分析中，系統(tǒng)階躍響應(yīng)對(duì)應(yīng)的超調(diào)量 δ、上升時(shí)間tr、調(diào)節(jié)時(shí)間ts等動(dòng)態(tài)性能指標(biāo)是關(guān)于控制器參數(shù)矢量X的非線性函數(shù)，評(píng)價(jià)控制器設(shè)計(jì)優(yōu)劣的關(guān)鍵性因素。(本文研究中，以穩(wěn)態(tài)值的±2% 作為平衡狀態(tài)誤差范圍)

結(jié)合強(qiáng)化學(xué)習(xí)理論和控制理論知識(shí)，本文提出一種基于強(qiáng)化學(xué)習(xí)(reinforcement learning,RL)的控制器參數(shù)自整定及優(yōu)化算法。算法將控制參數(shù)矢量X作為智能體的動(dòng)作，控制系統(tǒng)的響應(yīng)結(jié)果作為狀態(tài)，引入動(dòng)態(tài)性能指標(biāo)計(jì)算獎(jiǎng)勵(lì)函數(shù)，通過在線學(xué)習(xí)周期性階躍響應(yīng)數(shù)據(jù)、梯度更新控制器參數(shù)的方式改變控制器的控制策略，直至滿足優(yōu)化目標(biāo)，實(shí)現(xiàn)參數(shù)的自整定及優(yōu)化。算法原理如圖2 所示。

圖2 基于強(qiáng)化學(xué)習(xí)的控制器參數(shù)優(yōu)化算法原理圖Fig.2 Schematic diagram of controller parameter optimization algorithm based on reinforcement learning

根據(jù)原理圖2，本文提出的參數(shù)自整定及優(yōu)化算法將控制器參數(shù)整定問題定義為，求解滿足下列不等式約束條件的可行解：

式中：Z為待優(yōu)化的參數(shù)矢量X的取值范圍；Ωi(i=1,2,3)為優(yōu)化目標(biāo)的約束值。基于控制系統(tǒng)動(dòng)態(tài)性能指標(biāo)超調(diào)量 δ、上升時(shí)間tr、調(diào)節(jié)時(shí)間ts，算法定義獎(jiǎng)勵(lì)函數(shù)R為

本文算法的參數(shù)整定及優(yōu)化流程如下（算法1）：

1)根據(jù)實(shí)際條件和需求設(shè)定優(yōu)化目標(biāo) Ωi和參數(shù)X的搜索范圍Z，隨機(jī)初始化參數(shù)X；

2)獲得系統(tǒng)在參數(shù)X下的周期階躍響應(yīng)數(shù)據(jù)，計(jì)算動(dòng)態(tài)性能指標(biāo) δ、tr、ts和獎(jiǎng)勵(lì)函數(shù)R；若滿足優(yōu)化目標(biāo)，則終止迭代，輸出參數(shù)X；

3)從經(jīng)驗(yàn)回放集S中隨機(jī)批量抽取m個(gè)經(jīng)驗(yàn)樣本，將2)中數(shù)據(jù) {X,δ,tr,ts,R} 存入經(jīng)驗(yàn)回放集S；

4)計(jì)算m個(gè)樣本的參數(shù)平均梯度 ?X；

5) σ為高斯白噪聲，α 為自適應(yīng)學(xué)習(xí)率，利用梯度下降法更新參數(shù)：X=X+α·?X+σ

6)返回步驟2)，重復(fù)上述步驟。

為了盡可能獲得全局最優(yōu)的參數(shù)，本文的參數(shù)自整定及優(yōu)化算法在更新參數(shù)的過程中引入高斯白噪聲，增加參數(shù)的探索度。同時(shí)，算法利用經(jīng)驗(yàn)回放技術(shù)，對(duì)過去的經(jīng)驗(yàn)樣本進(jìn)行隨機(jī)批量抽樣，減弱經(jīng)驗(yàn)數(shù)據(jù)的相關(guān)性和不平穩(wěn)分布的影響，增加優(yōu)化過程的準(zhǔn)確性和收斂速度。實(shí)踐試驗(yàn)中，為避免算法陷入局部死循環(huán)，當(dāng)可行解的變異系數(shù)小于一定閾值時(shí)，即認(rèn)為算法已獲得局部收斂(近似全局)的相對(duì)最優(yōu)解，保留當(dāng)前結(jié)果并重新搜索。

3 算法實(shí)驗(yàn)與對(duì)比分析

為了驗(yàn)證上述基于強(qiáng)化學(xué)習(xí)的參數(shù)自整定及優(yōu)化算法的可行性和有效性，本文選擇常見的水箱控制系統(tǒng)作為實(shí)物實(shí)驗(yàn)對(duì)象，對(duì)水箱液位控制器進(jìn)行算法驗(yàn)證實(shí)驗(yàn)。實(shí)驗(yàn)設(shè)備如圖3 所示。

圖3 水箱控制系統(tǒng)實(shí)驗(yàn)設(shè)備Fig.3 Experimental equipment of water tank control system

3.1 控制系統(tǒng)模型定性分析

工程實(shí)際中的控制系統(tǒng)具有非線性，精準(zhǔn)辨識(shí)其模型及參數(shù)較為困難，而本文所設(shè)計(jì)的控制器參數(shù)整定及優(yōu)化算法是無需具體分析被控對(duì)象模型的無模型算法。因此，為了貼合工程實(shí)際條件，本文只對(duì)控制系統(tǒng)模型作定性分析，而不對(duì)其參數(shù)進(jìn)行詳細(xì)辨識(shí)。

由控制器、變頻器(磁力泵)、水箱組成的水箱液位控制系統(tǒng)原理圖如圖4 所示。其中，變頻器模塊的輸出(流量Q)與控制器模塊的輸出(占空比U)的傳遞函數(shù)可近似為

考慮對(duì)象的滯后時(shí)間，根據(jù)物料平衡方程，水箱液位H與流量Q的傳遞函數(shù)為

綜上，本文實(shí)驗(yàn)中的水箱液位被控對(duì)象為具有二階傳遞函數(shù)的時(shí)滯系統(tǒng)。其傳遞函數(shù)為

實(shí)物實(shí)驗(yàn)中，因?qū)嶒?yàn)裝置部件設(shè)置的不同，部分模型參數(shù)范圍為：T1∈[5,12],T2∈[30,56]。

3.2 增量式PID 控制器的參數(shù)優(yōu)化

工業(yè)過程控制系統(tǒng)通常使用PID 控制作為控制器，增量式PID 算法表達(dá)式為

式中:e(k)、u(k)、u(k)分別為采樣k時(shí)刻的誤差信號(hào)、輸出增量和輸出；Kp、Ki、Kd為PID 控制器待整定的比例系數(shù)、積分系數(shù)和微分系數(shù)。

使用本文提出的基于強(qiáng)化學(xué)習(xí)的參數(shù)自整定及優(yōu)化算法對(duì)水箱實(shí)驗(yàn)設(shè)備的增量式PID 控制器進(jìn)行參數(shù)優(yōu)化實(shí)驗(yàn)，算法參數(shù)設(shè)定如下：隨機(jī)樣本數(shù)m=10，學(xué)習(xí)率 α=0.02。考慮系統(tǒng)性能實(shí)際可行性，設(shè)定優(yōu)化約束如下：系數(shù)范圍Kp∈[6,15]，Ki∈[0,0.4]，Kd∈[0,4]；超調(diào)量閾值 Ω1=2%，上升時(shí)間閾值 Ω2=20 s，調(diào)節(jié)時(shí)間閾值 Ω3=38 s。

算法訓(xùn)練過程中，PID 控制器的系數(shù)隨迭代輪次的變化曲線如圖5 所示。由圖5 可以看出，算法在學(xué)習(xí)過程的前期，利用較大范圍的參數(shù)變化增加了參數(shù)的探索度，然后通過在線學(xué)習(xí)經(jīng)驗(yàn)數(shù)據(jù)，使得控制器參數(shù)逐漸收斂至優(yōu)化目標(biāo)。

圖5 PID 控制器參數(shù)的變化曲線Fig.5 Change curves of PID controller parameters

為了測(cè)試所得參數(shù)的實(shí)際控制性能，將上述參數(shù)與傳統(tǒng)的Ziegler-Nichols(Z-N)法[18]、基于遺傳算法的參數(shù)優(yōu)化方法[19-20]所得參數(shù)進(jìn)行實(shí)物實(shí)驗(yàn)對(duì)比。即在相同輸入條件下，對(duì)比不同方法所得控制器參數(shù)的階躍響應(yīng)性能，對(duì)比數(shù)據(jù)如表1和圖6 所示。由對(duì)比數(shù)據(jù)可以看出，本文提出的基于強(qiáng)化學(xué)習(xí)的參數(shù)自整定及優(yōu)化算法可以有效地優(yōu)化常規(guī)PID 控制器的參數(shù)，其實(shí)驗(yàn)結(jié)果在超調(diào)量、調(diào)節(jié)時(shí)間性能指標(biāo)上明顯優(yōu)于傳統(tǒng)的Z-N參數(shù)整定法，且省去人工整定參數(shù)的繁瑣過程。此外，相比于基于遺傳算法的參數(shù)優(yōu)化算法，基于強(qiáng)化學(xué)習(xí)的參數(shù)優(yōu)化算法使用更少的計(jì)算機(jī)資源，獲得了性能相近的結(jié)果。

圖6 不同方法所得參數(shù)對(duì)應(yīng)的PID 控制器階躍響應(yīng)曲線Fig.6 PID controllers dynamic input response tracking curve of parameters obtained by different methods

表1 不同方法所得控制器參數(shù)在相同階躍輸入下的對(duì)比數(shù)據(jù)Table1 Comparison data of controller parameters obtained by different methods with the same step input

3.3 變參數(shù)PID 控制器的參數(shù)優(yōu)化

為了進(jìn)一步驗(yàn)證基于強(qiáng)化學(xué)習(xí)的參數(shù)自整定及優(yōu)化算法的普適性，提升控制器的動(dòng)態(tài)性能。結(jié)合模糊控制理論[21]，本文設(shè)計(jì)了一種動(dòng)態(tài)變參數(shù)的PID 控制算法，動(dòng)態(tài)PID 系數(shù)的計(jì)算公式為

式中：e為經(jīng)過處理的誤差信號(hào)；de為誤差信號(hào)e的變化率；K0、I0、D0是PID 系數(shù)的偏置量；Pi、Ii、Di(i=1,2,3)是待確定的參數(shù)。此時(shí)，傳統(tǒng)的經(jīng)驗(yàn)方法難以整定這類改進(jìn)PID 控制器的參數(shù)；使用遺傳算法等最優(yōu)化方法優(yōu)化參數(shù)所需的計(jì)算機(jī)資源過多，實(shí)際應(yīng)用較為困難。

使用本文算法對(duì)上述控制器待確定的參數(shù)進(jìn)行整定和優(yōu)化。算法參數(shù)設(shè)定如下：隨機(jī)樣本數(shù)m=15，學(xué)習(xí)率 α=0.001?；诒? 的結(jié)果，令系數(shù)偏置量K0=8.7，I0=0.14，D0=2.2。優(yōu)化約束設(shè)定如下：Pi,Ii,Di∈[?1,1],(i=1,2,3)，超調(diào)量閾值Ω1=2%，上升時(shí)間閾值 Ω2=19 s，調(diào)節(jié)時(shí)間閾值Ω3=33 s。變參數(shù)PID 控制器的各項(xiàng)參數(shù)隨迭代輪次的變化曲線如圖7 所示。本文算法的參數(shù)優(yōu)化結(jié)果如表2 所示，對(duì)應(yīng)控制系統(tǒng)的階躍響應(yīng)動(dòng)態(tài)性能指標(biāo)如下：超調(diào)量為0.896%、上升時(shí)間為17.9 s、調(diào)節(jié)時(shí)間為31 s。

圖7 優(yōu)化過程的參數(shù)變化曲線Fig.7 Data curves of parameter optimization process

3.4 對(duì)比實(shí)驗(yàn)及結(jié)果分析

為了進(jìn)一步測(cè)試本文參數(shù)優(yōu)化算法所得控制參數(shù)的動(dòng)態(tài)性能，將表1 中的Z-N 法和基于強(qiáng)化學(xué)習(xí)(RL)的算法獲得的固定參數(shù)PID 控制器與表2 的動(dòng)態(tài)變參數(shù)PID 控制器進(jìn)行性能對(duì)比。對(duì)比測(cè)試分為兩個(gè)部分：動(dòng)態(tài)輸入下的響應(yīng)性能對(duì)比和穩(wěn)定狀態(tài)下的抗干擾性能對(duì)比。

表2 變參數(shù)PID 控制器的參數(shù)優(yōu)化結(jié)果Table2 Parameter optimization results of variable parameter PID controller

1)動(dòng)態(tài)輸入下的響應(yīng)性能對(duì)比?？刂葡到y(tǒng)在給定相同的動(dòng)態(tài)階躍輸入條件下，3 種控制器的響應(yīng)性能對(duì)比如圖8 所示。由圖8 可以看出，相比Z-N 法的參數(shù)，本文算法所得參數(shù)具有更小的超調(diào)量、更好的響應(yīng)跟蹤性能。同時(shí)，本文算法優(yōu)化后的動(dòng)態(tài)變參數(shù)PID 控制器具有最小的超調(diào)量、最優(yōu)的響應(yīng)跟蹤性能，驗(yàn)證了本文算法應(yīng)用于不同類型控制器的有效性和普適性。

圖8 不同控制器的動(dòng)態(tài)輸入跟蹤曲線Fig.8 Dynamic input tracking curves for different controllers

2)穩(wěn)定狀態(tài)下的抗干擾性能對(duì)比?？刂葡到y(tǒng)進(jìn)入穩(wěn)定狀態(tài)后，在t=10 s 時(shí)刻，對(duì)被控系統(tǒng)施加一定的干擾，3 種控制器在相同擾動(dòng)條件下的對(duì)比曲線如圖9 所示。

圖9 不同控制器的抗擾動(dòng)曲線Fig.9 Anti-disturbance curves of different controllers

由圖9 可以看出，3 種控制器受到擾動(dòng)影響后，被控量恢復(fù)至穩(wěn)定狀態(tài)所用的時(shí)間相近，ZN 法整定的PID 控制器恢復(fù)時(shí)間相對(duì)最短，但其恢復(fù)過程中的超調(diào)量最大，變參數(shù)PID 控制器的抗干擾綜合性能最優(yōu)。

4 結(jié)束語

本文針對(duì)傳統(tǒng)PID 算法在含時(shí)延、非線性的控制系統(tǒng)應(yīng)用過程中，參數(shù)整定繁瑣、控制效果較差等問題[22]，提出了一種基于強(qiáng)化學(xué)習(xí)的參數(shù)自整定及優(yōu)化算法，可以實(shí)現(xiàn)在線整定和優(yōu)化控制器參數(shù)。水箱液位控制系統(tǒng)實(shí)驗(yàn)的結(jié)果表明，基于強(qiáng)化學(xué)習(xí)的參數(shù)自整定及優(yōu)化算法省去了依賴經(jīng)驗(yàn)且耗時(shí)較長(zhǎng)的人工調(diào)參過程，比遺傳算法等最優(yōu)化方法使用了更少的計(jì)算機(jī)資源，獲得近似最優(yōu)的控制器參數(shù)，提升控制系統(tǒng)的動(dòng)態(tài)性能。與固定參數(shù)的PID 控制器相比，經(jīng)本文算法優(yōu)化的變參數(shù)PID 控制器具有超調(diào)量小、響應(yīng)跟蹤性能好的優(yōu)點(diǎn)。本文所提出的算法有望應(yīng)用于工業(yè)過程控制系統(tǒng)的控制器參數(shù)整定及控制優(yōu)化等相關(guān)問題。

本文提出的算法是基于PID 控制算法進(jìn)行優(yōu)化和改進(jìn)，雖能在一定程度上保證控制系統(tǒng)的控制穩(wěn)定性，但其控制效果也因此受限于傳統(tǒng)的PID 算法。在非PID 原理的控制器參數(shù)優(yōu)化應(yīng)用過程，算法無法確定控制器輸出的安全性。同時(shí)，本文未在優(yōu)化算法的評(píng)價(jià)函數(shù)中考慮擾動(dòng)恢復(fù)性能等指標(biāo)，無法從理論上確保優(yōu)化所得參數(shù)的整體性能最優(yōu)性。

因此，增加獎(jiǎng)勵(lì)函數(shù)的評(píng)估因素，或改變控制算法的底層策略結(jié)構(gòu)，是今后的研究方向。例如，結(jié)合預(yù)測(cè)控制算法[23-24]或由深度神經(jīng)網(wǎng)絡(luò)[25]組成的“黑盒”模型，取代PID 算法框架，使用基于深度強(qiáng)化學(xué)習(xí)[26-27]的優(yōu)化算法進(jìn)一步優(yōu)化控制系統(tǒng)的性能等。