李國(guó)棟，劉興高

?

一種求解最優(yōu)控制問(wèn)題的變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化方法

李國(guó)棟，劉興高

（浙江大學(xué)控制系，工業(yè)控制技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，浙江杭州 310027）

控制向量參數(shù)化方法是求解最優(yōu)控制問(wèn)題的一種常用數(shù)值方法。它通過(guò)離散化控制時(shí)域，將控制向量近似地表示成一組參數(shù)化的函數(shù)。離散化后的時(shí)間網(wǎng)格通常是固定的，其劃分會(huì)影響到最優(yōu)控制問(wèn)題數(shù)值求解的精度和效率。為了同時(shí)優(yōu)化控制參數(shù)和時(shí)間網(wǎng)格節(jié)點(diǎn)，提出了一種時(shí)間節(jié)點(diǎn)可變的控制向量參數(shù)化方法。推導(dǎo)出了最優(yōu)控制性能指標(biāo)對(duì)時(shí)間參數(shù)的導(dǎo)數(shù)與對(duì)時(shí)間分段長(zhǎng)度導(dǎo)數(shù)之間的關(guān)系，得到了性能指標(biāo)的梯度表達(dá)式。用兩個(gè)經(jīng)典最優(yōu)控制實(shí)例對(duì)所提出的方法進(jìn)行了測(cè)試，結(jié)果表明所提出方法能夠更好地逼近最優(yōu)控制軌跡。

過(guò)程控制；控制向量參數(shù)化；變時(shí)間節(jié)點(diǎn)；優(yōu)化；算法

引 言

最優(yōu)控制問(wèn)題又稱(chēng)為動(dòng)態(tài)優(yōu)化問(wèn)題，在化工領(lǐng)域廣泛存在[1-4]。目前，最優(yōu)控制問(wèn)題的數(shù)值求解算法可分為兩大類(lèi)：間接法[5-6]和直接法[7-8]。間接法通過(guò)求解原問(wèn)題的最優(yōu)性條件（即必要條件），間接地獲得原問(wèn)題的最優(yōu)解，而直接法則是通過(guò)離散化，將無(wú)限維的最優(yōu)控制問(wèn)題轉(zhuǎn)化為有限維的非線性規(guī)劃（nonlinear programming, NLP）問(wèn)題進(jìn)行求解。僅離散化控制向量而保持狀態(tài)向量不變的直接法又稱(chēng)為控制向量參數(shù)化（control vector parameterization，CVP）方法，它是當(dāng)前求解最優(yōu)控制問(wèn)題的一種主流數(shù)值方法。

在CVP方法中，時(shí)間網(wǎng)格的劃分通常是事先確定的，并且在優(yōu)化過(guò)程中不會(huì)改變。網(wǎng)格的劃分直接關(guān)系到求解結(jié)果對(duì)最優(yōu)控制軌跡的逼近程度。有時(shí)為了較好地逼近最優(yōu)控制軌跡，需要將時(shí)間網(wǎng)格劃分得很細(xì)，但這樣會(huì)增加NLP問(wèn)題的維數(shù)和計(jì)算時(shí)間。而且，如果時(shí)間網(wǎng)格劃分不當(dāng)還會(huì)導(dǎo)致病態(tài)的NLP問(wèn)題，影響收斂速度。針對(duì)固定時(shí)間網(wǎng)格CVP方法的缺點(diǎn)，國(guó)際上許多學(xué)者對(duì)時(shí)間網(wǎng)格的劃分和優(yōu)化展開(kāi)了研究。

Marquardt等[9-11]提出了自適應(yīng)網(wǎng)格劃分的CVP方法，在迭代過(guò)程中通過(guò)對(duì)上一步解的小波分析來(lái)調(diào)整時(shí)間網(wǎng)格的劃分，對(duì)某些時(shí)間網(wǎng)格進(jìn)行細(xì)化或合并，從而獲得比均勻劃分網(wǎng)格的CVP方法更高的優(yōu)化效率。Srinivasan等[12]基于最優(yōu)控制的必要條件研究了最優(yōu)控制的各段軌跡與必要條件的對(duì)應(yīng)情況，將必要條件劃分為約束和靈敏度兩部分，提出了一種具自適應(yīng)控制向量參數(shù)化方法。Szymkat等[13]給出了控制和狀態(tài)約束最優(yōu)控制問(wèn)題的結(jié)構(gòu)估計(jì)方法，通過(guò)不斷增減網(wǎng)格節(jié)點(diǎn)和弧段來(lái)實(shí)現(xiàn)結(jié)構(gòu)調(diào)整。這些是屬于時(shí)間網(wǎng)格精細(xì)化調(diào)整的方法。另一類(lèi)方法則是對(duì)時(shí)間節(jié)點(diǎn)的位置進(jìn)行優(yōu)化。如Teo等[14-16]提出的一種控制參數(shù)化增強(qiáng)轉(zhuǎn)換（control parameterization enhancing transform，CPET）方法，把原時(shí)間節(jié)點(diǎn)映射到一個(gè)新的時(shí)間尺度上，并將原有網(wǎng)格的寬度作為優(yōu)化變量，在求解得到最優(yōu)控制參數(shù)的同時(shí)獲得最佳的網(wǎng)格劃分。該方法有效實(shí)現(xiàn)了可變時(shí)間節(jié)點(diǎn)問(wèn)題到固定時(shí)間節(jié)點(diǎn)問(wèn)題的轉(zhuǎn)換，但這種轉(zhuǎn)換僅具有一種時(shí)間網(wǎng)格劃分，使得所有的控制變量均基于同一時(shí)間網(wǎng)格進(jìn)行參數(shù)化[17]。

對(duì)于含有多個(gè)控制變量的最優(yōu)控制問(wèn)題，各控制分量的最優(yōu)軌跡往往是不同的，每個(gè)控制分量在參數(shù)化時(shí)應(yīng)當(dāng)對(duì)應(yīng)各自的網(wǎng)格劃分。本文針對(duì)這一情況提出了一種變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化（variable time nodes CVP, VTNCVP）方法，該方法為每個(gè)控制分量分配獨(dú)立的參數(shù)化網(wǎng)格，不同于Teo等將時(shí)間分段長(zhǎng)度作為優(yōu)化變量，在參數(shù)化時(shí)直接將時(shí)間節(jié)點(diǎn)作為優(yōu)化變量，并且在求解最佳控制參數(shù)的同時(shí)完成對(duì)各控制分量時(shí)間網(wǎng)格節(jié)點(diǎn)的優(yōu)化。

1 問(wèn)題描述

本文考慮的最優(yōu)控制問(wèn)題P1的數(shù)學(xué)描述如下

設(shè)是()的可行控制集，則最優(yōu)控制問(wèn)題[式(1)～式(7)]可以簡(jiǎn)單描述為：在可行初始條件[式(5)]下，從可行控制集中求得針對(duì)系統(tǒng)[式(2)～式(4)]的最優(yōu)控制策略，使得目標(biāo)函數(shù)[式(1)]的值最小。

2 理論推導(dǎo)及算法描述

2.1 CVP

圖1 分段常量參數(shù)化

對(duì)問(wèn)題P1采用分段常量參數(shù)化，記第個(gè)控制分量的表征參數(shù)依次為，并記向量，則在時(shí)間段上，可近似地表示為

這樣控制向量()的邊界約束可以直接轉(zhuǎn)換為控制參數(shù)的邊界約束。通過(guò)分段常量參數(shù)化，原始的求解最優(yōu)控制軌跡的最優(yōu)控制問(wèn)題P1就轉(zhuǎn)化為如下所示的確定控制參數(shù)的NLP問(wèn)題P2

2.2 VTNCVP

當(dāng)最優(yōu)控制問(wèn)題中存在多個(gè)控制時(shí)，各控制分量所適合的網(wǎng)格劃分往往是不同的。因此，在進(jìn)行分段常量參數(shù)化時(shí)，各控制分量可在不同的時(shí)間網(wǎng)格上進(jìn)行。設(shè)第個(gè)控制分量的控制時(shí)域被時(shí)間節(jié)點(diǎn)分為了個(gè)階段，其中，為可變時(shí)間節(jié)點(diǎn)參數(shù)。記各控制分量的時(shí)間節(jié)點(diǎn)參數(shù)共有個(gè)，并將它們記作向量，則參數(shù)化后的控制向量由控制參數(shù)和時(shí)間節(jié)點(diǎn)參數(shù)共同確定（圖2）。

圖2 變時(shí)間節(jié)點(diǎn)分段常量參數(shù)化

因此，問(wèn)題P1在經(jīng)過(guò)變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化后就轉(zhuǎn)化為求解控制參數(shù)和時(shí)間節(jié)點(diǎn)參數(shù)的NLP問(wèn)題P3

2.3 梯度計(jì)算

為了求解參數(shù)化后的NLP問(wèn)題P3，需要獲得目標(biāo)與約束函數(shù)對(duì)控制參數(shù)和時(shí)間節(jié)點(diǎn)參數(shù)的梯度信息。

其伴隨方程可表示為

利用Teo等[14-16]給出的CPET方法中目標(biāo)與約束函數(shù)對(duì)時(shí)間分段長(zhǎng)度的梯度計(jì)算公式，可推導(dǎo)得到對(duì)時(shí)間節(jié)點(diǎn)參數(shù)的梯度。將時(shí)間節(jié)點(diǎn)參數(shù)由小到大進(jìn)行排序并依次記為，其中時(shí)間節(jié)點(diǎn)的序號(hào)為。通過(guò)這些時(shí)間節(jié)點(diǎn)可將整個(gè)控制時(shí)域劃分成個(gè)階段，記各階段的區(qū)間長(zhǎng)度依次為，并令和，那么時(shí)間節(jié)點(diǎn)和區(qū)間長(zhǎng)度之間可通過(guò)式(24)、式(25)相互表示

其中，函數(shù)對(duì)時(shí)間節(jié)點(diǎn)參數(shù)的梯度和對(duì)時(shí)間分段長(zhǎng)度的梯度之間的關(guān)系，用如下定理來(lái)表示。

證明：如式(25)所示，各階段的區(qū)間長(zhǎng)度可由時(shí)間節(jié)點(diǎn)進(jìn)行表示，因此有

基于定理1和Teo等[14-16]給出的對(duì)時(shí)間分段長(zhǎng)度的梯度公式，可得到函數(shù)對(duì)時(shí)間節(jié)點(diǎn)參數(shù)的梯度表達(dá)式，如定理2所示。

具體的推導(dǎo)過(guò)程見(jiàn)文獻(xiàn)[14]。將式(31)代入式(26)中，即可得到函數(shù)對(duì)時(shí)間節(jié)點(diǎn)的梯度表達(dá)式(30)。

2.4 算法描述與分析

基于以上推導(dǎo)，變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化方法的算法實(shí)現(xiàn)步驟如下。

②計(jì)算微分方程組的初值問(wèn)題式(2)和式(5)，得到狀態(tài)()的值。

⑤基于獲得的函數(shù)和梯度信息解非線性規(guī)劃問(wèn)題P3，直至得到優(yōu)化后的參數(shù)和。

與CPET方法相比，所提出的VTNCVP方法具有以下幾點(diǎn)優(yōu)勢(shì)。

① 時(shí)間網(wǎng)格的劃分更加自由、靈活。CPET方法中，時(shí)間節(jié)點(diǎn)被映射并固定在新的時(shí)間尺度上，迫使不同的控制分量均在同一時(shí)間網(wǎng)格上參數(shù)化；而本文所提出的方法，對(duì)各個(gè)控制分量采用不同的時(shí)間網(wǎng)格劃分，各分量之間的網(wǎng)格劃分不會(huì)相互限制和干擾（圖3）。

圖3 VTNCVP與CPET時(shí)間網(wǎng)格對(duì)比

②對(duì)最優(yōu)控制軌跡的逼近能力更強(qiáng)。由于VTNCVP方法的時(shí)間網(wǎng)格劃分更加靈活，各控制分量的參數(shù)化表示能夠更好地逼近最優(yōu)控制軌跡，因此，在同等分段數(shù)下，VTNCVP方法所得到的最優(yōu)值優(yōu)于或等于CPET方法所得到的最優(yōu)值；在取得相同最優(yōu)值的條件下，VTNCVP方法所必需的參數(shù)數(shù)目要少于或等于CPET方法。

③具有更好的收斂能力和數(shù)值表現(xiàn)。由于在設(shè)置初始參數(shù)時(shí)，最優(yōu)控制問(wèn)題解的結(jié)構(gòu)通常是未知的，因此，在優(yōu)化計(jì)算的過(guò)程中，難免會(huì)對(duì)控制分量間的時(shí)間節(jié)點(diǎn)順序進(jìn)行調(diào)整。因?yàn)镃PET方法將時(shí)間節(jié)點(diǎn)映射并固定在新的時(shí)間尺度上，各節(jié)點(diǎn)的順序是固定的，所以，當(dāng)節(jié)點(diǎn)順序需要調(diào)整時(shí)，待調(diào)整的節(jié)點(diǎn)只能相互靠近而不能交換位置（圖4），容易導(dǎo)致求解過(guò)程陷入局部最優(yōu)。而VTNCVP方法則能克服此種缺陷，各控制分量間的節(jié)點(diǎn)順序可以自由調(diào)整，從而能夠更好地收斂到最優(yōu)解。

圖4 VTNCVP與CPET時(shí)間節(jié)點(diǎn)優(yōu)化對(duì)比

3 算例測(cè)試

3.1 集裝箱起重機(jī)問(wèn)題

這是一個(gè)經(jīng)典的復(fù)雜機(jī)械工程最優(yōu)控制問(wèn)題：用起重機(jī)將集裝箱從貨輪轉(zhuǎn)運(yùn)到卡車(chē)上，如何操作使得性能指標(biāo)最優(yōu)[19]，含有6個(gè)狀態(tài)變量、2個(gè)控制變量、6個(gè)微分方程、2個(gè)初值/終值等式約束、8個(gè)控制變量/狀態(tài)變量不等式路徑約束。該問(wèn)題的數(shù)學(xué)模型為

表1 集裝箱起重機(jī)問(wèn)題的求解結(jié)果

圖5 集裝箱起重機(jī)問(wèn)題的最優(yōu)控制軌跡

3.2 復(fù)合Nishida問(wèn)題

這是一個(gè)經(jīng)典的化工過(guò)程最優(yōu)控制問(wèn)題[21]，其數(shù)學(xué)模型為

表2 復(fù)合Nishida問(wèn)題求解結(jié)果

圖6 復(fù)合Nishida問(wèn)題的最優(yōu)控制軌跡

4 結(jié) 論

本文著重考慮控制向量參數(shù)化方法求解最優(yōu)控制問(wèn)題時(shí)，時(shí)間網(wǎng)格的劃分對(duì)非線性規(guī)劃問(wèn)題的維數(shù)和求解效果的影響。所提出的變時(shí)間節(jié)點(diǎn)控制向量參數(shù)化方法的優(yōu)點(diǎn)在于可以通過(guò)優(yōu)化時(shí)間節(jié)點(diǎn)使不同的控制具有不同的網(wǎng)格劃分，該方法能夠在較少的時(shí)間分段下獲得更好的結(jié)果，比傳統(tǒng)方法具有更大的靈活性和更好的控制軌跡逼近效果。

符 號(hào) 說(shuō) 明

Gi，gi——分別為參數(shù)化后、參數(shù)化前的第i個(gè)目標(biāo)或約束函數(shù) Hi——第i個(gè)目標(biāo)或約束函數(shù)的哈密爾頓函數(shù) J——性能指標(biāo) Li——第i個(gè)目標(biāo)或約束函數(shù)的積分項(xiàng) N，Nj——分別為控制向量的分段數(shù)、第j個(gè)控制分量的分段數(shù) nu，nx——分別為控制向量、狀態(tài)向量的維數(shù) p——時(shí)間節(jié)點(diǎn)參數(shù)數(shù)目 t——時(shí)間節(jié)點(diǎn)參數(shù)向量 U——可行控制集 u，，，——分別為控制向量，最優(yōu)控制向量，控制向量上界、下界 x，x0——分別為狀態(tài)向量及其初值 ——控制參數(shù)向量 ——伴隨狀態(tài)向量 ——排序后的時(shí)間節(jié)點(diǎn)參數(shù)向量 下角標(biāo) f——終端 i——目標(biāo)或約束函數(shù)的序號(hào) j——控制分量的序號(hào) k——時(shí)間分段的序號(hào) 0——起始

References

[1] Zhou You (周游), Zhao Chengye (趙成業(yè)), Liu Xinggao (劉興高). An iteratively adaptive particle swarm optimization approach for solving chemical dynamic optimization problems [J].(化工學(xué)報(bào)), 2014, 65 (4): 1296-1302

[2] Peng Xin (彭鑫), Qi Rongbin (祁榮賓), Du Wenli (杜文莉), Qian Feng (錢(qián)鋒). An improved knowledge evolution algorithm and its application to chemical process dynamic optimization [J].(化工學(xué)報(bào)), 2012, 63 (3): 841-850

[3] Zhou Y, Liu X. Control parameterization-based adaptive particle swarm approach for solving chemical dynamic optimization problems [J]., 2014, 37 (4): 692-702

[4] Liu X, Chen L, Hu Y. Solution of chemical dynamic optimization using the simultaneous strategies [J]., 2013, 21 (1): 55-63

[5] Kirk D E. Optimal Control Theory: An Introduction[M]. New York: Dover Publications, 2004

[6] Peng Haijun (彭海軍), Gao Qiang (高強(qiáng)), Wu Zhigang (吳志剛), Zhong Wanxie (鐘萬(wàn)勰). A mixed variable variational method for optimal control problems with applications in aerospace control [J].(自動(dòng)化學(xué)報(bào)), 2011, 37 (10): 1248-1255

[7] Qi Rongbin (祁榮賓), Liu Chenxia (劉趁霞), Zhong Weimin (鐘偉民), Qian Feng (錢(qián)鋒). A multi-objective optimization algorithm based on gradient information [J].(化工學(xué)報(bào)), 2013, 64 (12): 4401-4409

[8] Sun Yong (孫勇), Zhang Maorui (張卯瑞), Liang Xiaoling (梁曉玲). Improved Gauss pseudospectral method for solving nonlinear optimal control problem with complex constraints [J].(自動(dòng)化學(xué)報(bào)), 2013, 39 (5): 672-678

[9] Binder T, Cruse A, Cruz Villar C A, Marquardt W. Dynamic optimization using a wavelet based adaptive control vector parameterization strategy [J]., 2000, 24 (2-7): 1201-1207

[10] Schlegel M, Stockmann K, Binder T, Marquardt W. Dynamic optimization using adaptive control vector parameterization [J]., 2005, 29 (8): 1731-1751

[11] Assassa F, Marquardt W. Dynamic optimization using adaptive direct multiple shooting [J]., 2014, 60: 242-259

[12] Srinivasan B, Palanki S, Bonvin D. Dynamic optimization of batch processes (Ⅰ): Characterization of the nominal solution [J]., 2003, 27 (1): 1-26

[13] Szymkat M, Korytowski A. Method of monotone structural evolution for control and state constrained optimal control problems//Proceedings of the European Control Conference [C]. University of Cambridge, UK, 2003

[14] Teo K L, Jennings L S, Lee H W J, Rehbock V. The control parameterization enhancing transform for constrained optimal control problems [J].,,, 1999, 40 (3): 314-335

[15] Loxton R C, Teo K L, Rehbock V. Optimal control problems with multiple characteristic time points in the objective and constraints [J]., 2008, 44 (11): 2923-2929

[16] Loxton R C, Teo K L, Rehbock V, Yiu K F C. Optimal control problems with a continuous inequality constraint on the state and the control [J]., 2009, 45 (10): 2250-2257

[17] Zhang Xiaodong (張曉東), Li Shurong (李樹(shù)榮), Lei Yang (雷陽(yáng)), Zhang Qiang (張強(qiáng)). Control vector parameterization approach with variable time nodes [J].(化工學(xué)報(bào)), 2012, 63 (9): 2805-2811

[18] Biegler L T. Nonlinear Programming: Concepts, Algorithms, and Applications to Chemical Processes[M]. Philadelphia: Society for Industrial & Applied Mathematics,U.S., 2010

[19] Sakawa Y, Shindo Y. Optimal control of container cranes [J]., 1982, 18 (3): 257-266

[20] Hu Yunqing (胡云卿), Liu Xinggao (劉興高), Xue Anke (薛安克). A penalty method for solving inequality path constrained optimal control problems [J].(自動(dòng)化學(xué)報(bào)), 2013, 39 (12): 1996-2001

[21] Nishida N, Liu Y, Lapidus L, Hiratsuka S. An effective computational algorithm for suboptimal singular and/or bang-bang control (Ⅱ): Applications to nonlinear lumped and distributed systems [J]., 1976, 22 (3): 513-523

A variable time nodes control vector parameterization approach for solving optimal control problems

LI Guodong, LIU Xinggao

(State Key Laboratory of Industry Control Technology, Department of Control, Zhejiang University, Hangzhou 310027, Zhejiang, China)

Control vector parameterization (CVP) is a frequently used numerical method for solving optimal control problems, where the control vector is approximated by a group of parametric functions through time discretization. Usually, the discretized time grid is fixed, and its partition will affect accuracy and performance of the numerical solution of optimal control problem. To optimize both the control parameters and the time grid nodes, a CVP method with variable time nodes was proposed. Based on the derived relationship between the gradients of time nodes and the ones of interval lengths, the gradient equations for parameters were presented. The proposed method was demonstrated to have better approximation ability for the optimal control trajectories on two classic optimal control problems.

process control; control vector parameterization; variable time nodes; optimization; algorithm

2014-07-28.

Prof.LIU Xinggao, lxg@zju.edu.cn

10.11949/j.issn.0438-1157.20141128

TQ 021.8

A

0438—1157（2015）02—0640—07

國(guó)家自然科學(xué)基金項(xiàng)目（U1162130）。

2014-07-28收到初稿，2014-11-13收到修改稿。

聯(lián)系人：劉興高。第一作者：李國(guó)棟（1988—），男，博士研究生。

supported by the National Natural Science Foundation of China (U1162130).