趙建國(guó) 楊春雨

冶金、化工、電力等現(xiàn)代工業(yè)一般由多個(gè)環(huán)節(jié)串聯(lián)、并聯(lián)或耦合而成,往往呈現(xiàn)模型維數(shù)高、多時(shí)間尺度耦合、動(dòng)態(tài)不確定性等綜合復(fù)雜性.傳統(tǒng)設(shè)計(jì)只考慮設(shè)備層過程控制的控制方法,無法實(shí)現(xiàn)運(yùn)行過程的優(yōu)化,容易導(dǎo)致產(chǎn)品質(zhì)量低下和能源浪費(fèi)[1-2].因此,綜合考慮設(shè)備單元過程控制和運(yùn)行過程優(yōu)化控制的復(fù)雜工業(yè)控制問題引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注[3-5].運(yùn)行優(yōu)化控制(Operational optimal control,OOC)的內(nèi)涵是在保證過程控制安全運(yùn)行的條件下,優(yōu)化運(yùn)行指標(biāo),從而提高產(chǎn)品質(zhì)效并降低生產(chǎn)消耗[6].

工業(yè)過程運(yùn)行優(yōu)化控制目前普遍采用如圖1 所示的串級(jí)控制結(jié)構(gòu),外環(huán)利用設(shè)定值優(yōu)化器,根據(jù)期望運(yùn)行指標(biāo)r*,確定設(shè)備層過程控制回路設(shè)定值內(nèi)環(huán)控制器用于實(shí)現(xiàn)設(shè)定值跟蹤,進(jìn)而使實(shí)際運(yùn)行指標(biāo)r(t) 控制在目標(biāo)值r*附近[7].得益于上層優(yōu)化與底層控制的獨(dú)立處理,以及能逐步設(shè)計(jì)內(nèi)外環(huán)控制器的優(yōu)勢(shì),工程師和學(xué)者們已提出很多串級(jí)控制結(jié)構(gòu)下的研究成果,如實(shí)時(shí)優(yōu)化、模型預(yù)測(cè)控制、自優(yōu)化等基于數(shù)學(xué)模型的方法,以及迭代學(xué)習(xí)、模糊邏輯、神經(jīng)網(wǎng)絡(luò)等基于數(shù)據(jù)驅(qū)動(dòng)的智能控制方法.

圖1 工業(yè)過程串級(jí)運(yùn)行優(yōu)化控制結(jié)構(gòu)Fig.1 The cascade structure of operational optimal control in industrial process

在串級(jí)控制框架下,文獻(xiàn)[8]面向設(shè)備層輸出是運(yùn)行層輸入且運(yùn)行過程含有未建模動(dòng)態(tài)的串聯(lián)工業(yè)過程,提出了基于多模態(tài)切換和神經(jīng)網(wǎng)絡(luò)補(bǔ)償?shù)聂敯糇赃m應(yīng)運(yùn)行控制方法.文獻(xiàn)[9]進(jìn)一步將該方法拓展到雙速率控制中.文獻(xiàn)[10]利用參考調(diào)節(jié)器,處理了具有不可行設(shè)定值且輸入受限的運(yùn)行優(yōu)化問題.受生物學(xué)習(xí)機(jī)制啟發(fā),增強(qiáng)學(xué)習(xí)(Reinforcement learning,RL)能在未知環(huán)境下不斷反饋更新尋找系統(tǒng)最優(yōu)控制策略[11-12].因其具有突出的自學(xué)習(xí)能力,促使很多學(xué)者探索基于RL 的復(fù)雜工業(yè)過程控制方法.為處理運(yùn)行過程模型難以獲取情況下的運(yùn)行優(yōu)化控制問題,文獻(xiàn)[4]結(jié)合模型預(yù)測(cè)控制和Q-學(xué)習(xí)算法[13],提出了多速率運(yùn)行優(yōu)化控制方法.文獻(xiàn)[14]借助史密斯預(yù)估器,提出了雙Q-學(xué)習(xí)算法,解決在無線網(wǎng)絡(luò)環(huán)境中外環(huán)回路傳輸存在丟包情況下的混合選別濃密過程控制問題.文獻(xiàn)[15-17]研究了非線性工業(yè)過程的RL 運(yùn)行控制方案.串級(jí)控制結(jié)構(gòu)是一種典型的分層模式,首先設(shè)計(jì)內(nèi)環(huán)反饋回路,然后基于設(shè)備層過程控制回路與運(yùn)行層運(yùn)行過程構(gòu)建的增廣系統(tǒng)設(shè)計(jì)外環(huán)反饋回路.然而內(nèi)環(huán)過程控制回路的跟蹤誤差或者外環(huán)設(shè)定值優(yōu)化誤差對(duì)整個(gè)運(yùn)行優(yōu)化和控制有顯著的負(fù)面影響[8].此外,隨著現(xiàn)代工業(yè)朝著復(fù)雜化與大型化方向發(fā)展,基于內(nèi)環(huán)穩(wěn)定的全階增廣模型的外環(huán)設(shè)定值優(yōu)化設(shè)計(jì)具有較大計(jì)算量,容易發(fā)生 “維數(shù)災(zāi)”和 “病態(tài)數(shù)值問題”[18].

為實(shí)現(xiàn)同時(shí)調(diào)節(jié)設(shè)備單元與運(yùn)行過程,提高運(yùn)行指標(biāo)跟蹤性能,進(jìn)而提質(zhì)增效,已有學(xué)者研究了工業(yè)過程的非串級(jí)控制模式[5,18].如圖2 所示,在非串級(jí)運(yùn)行優(yōu)化控制中,過程控制設(shè)備與運(yùn)行過程組成的工業(yè)過程被建模成一個(gè)整體大規(guī)模系統(tǒng),并通過直接優(yōu)化控制輸入u1(t),···,um(t) 驅(qū)動(dòng)實(shí)際運(yùn)行指標(biāo)r(t) 跟蹤目標(biāo)值r*[18].

圖2 工業(yè)過程非串級(jí)運(yùn)行優(yōu)化控制結(jié)構(gòu)Fig.2 The non-cascade structure of operational optimal control in industrial process

工業(yè)過程不同層級(jí)之間具有不同時(shí)間尺度,面向過程控制的設(shè)備層具有快時(shí)間尺度動(dòng)態(tài),面向運(yùn)行過程的運(yùn)行層具有慢時(shí)間尺度動(dòng)態(tài)[3-4].奇異攝動(dòng)系統(tǒng)是建模多時(shí)間尺度系統(tǒng)的有效工具,其中奇異攝動(dòng)參數(shù)表示慢快動(dòng)態(tài)分離的程度[19-20].通過奇異攝動(dòng)理論,全階模型控制問題可簡(jiǎn)化為降階慢快子系統(tǒng)控制問題,從而有效避免了控制器設(shè)計(jì)時(shí)存在的 “維數(shù)災(zāi)”和 “病態(tài)數(shù)值問題”,而且對(duì)于充分小的奇異攝動(dòng)參數(shù),獨(dú)立子系統(tǒng)的穩(wěn)定性蘊(yùn)涵了整體系統(tǒng)穩(wěn)定性[21-22].文獻(xiàn)[5]利用奇異攝動(dòng)理論將復(fù)雜工業(yè)過程運(yùn)行優(yōu)化問題刻畫成慢快子系統(tǒng)的最優(yōu)控制問題,并提出了雙Q-學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)控制算法,不僅實(shí)現(xiàn)了運(yùn)行指標(biāo)的跟蹤,還解決了設(shè)備層高頻振動(dòng)抑制問題.文獻(xiàn)[18]針對(duì)具有多個(gè)設(shè)備單元的工業(yè)過程,提出了數(shù)據(jù)和模型混合驅(qū)動(dòng)的非串級(jí)組合分散控制方法,有效降低了控制器的通訊量與計(jì)算量.非串級(jí)運(yùn)行優(yōu)化控制的研究目前處于起步階段,還有許多亟待解決的科學(xué)難題.一方面,工業(yè)過程廣泛存在慢快時(shí)間尺度耦合現(xiàn)象,應(yīng)用在串級(jí)雙速率控制中的提升技術(shù)很難借鑒到非串級(jí)控制框架中;另一方面,不同設(shè)備單元間的互聯(lián)對(duì)整體系統(tǒng)穩(wěn)定性分析和優(yōu)化控制提出新的挑戰(zhàn).

本文充分考慮復(fù)雜工業(yè)過程特點(diǎn),整合奇異攝動(dòng)理論[19]與RL 技術(shù)[11],針對(duì)一類由多個(gè)快變且互聯(lián)的設(shè)備單元與慢變且模型未知的運(yùn)行過程串聯(lián)組成的工業(yè)過程,提出一種數(shù)據(jù)和模型混合驅(qū)動(dòng)的非串級(jí)雙速率組合分散運(yùn)行優(yōu)化控制方法.主要貢獻(xiàn)概括如下:

1)區(qū)別于已有非串級(jí)控制工作,相比文獻(xiàn)[5],本文對(duì)解耦后的慢快子系統(tǒng)進(jìn)行異步采樣,設(shè)計(jì)雙速率組合控制器,解決了因各層級(jí)間采樣周期不同而難以統(tǒng)一控制的問題,同時(shí)還處理了設(shè)備層存在互聯(lián)時(shí)的分散控制問題,給出了具有穩(wěn)定性保證的快子系統(tǒng)分散次優(yōu)控制設(shè)計(jì)方法;相比文獻(xiàn)[18],本文不僅設(shè)計(jì)了雙速率控制器,還進(jìn)一步考慮了多設(shè)備互聯(lián)時(shí)的分散控制問題.

2)現(xiàn)有基于RL 的工作[3-5,14,16-18,23-24]使用折扣代價(jià)的最優(yōu)設(shè)定值跟蹤控制表達(dá),然而在運(yùn)行過程模型未知時(shí)難以確定折扣因子的下界[25],致使閉環(huán)系統(tǒng)穩(wěn)定性無法保證.本文通過定義增量式的最優(yōu)設(shè)定值跟蹤控制表達(dá)[26],移除了代價(jià)函數(shù)中的折扣因子,避免了折扣因子帶來的弊端.

本文的組織結(jié)構(gòu)如下:第1 節(jié)描述基于奇異攝動(dòng)的工業(yè)過程非串級(jí)雙速率組合分散運(yùn)行優(yōu)化控制問題;第2 節(jié)設(shè)計(jì)慢快子系統(tǒng)優(yōu)化控制問題的解,同時(shí)給出慢子系統(tǒng)問題的解存在條件以及保證快子系統(tǒng)穩(wěn)定的充分條件;第3 節(jié)設(shè)計(jì)運(yùn)行優(yōu)化控制策略,提出數(shù)據(jù)和模型混合驅(qū)動(dòng)的組合控制方法,并進(jìn)行性能分析;第4 節(jié)利用浮選過程進(jìn)行仿真實(shí)驗(yàn),驗(yàn)證所提方法對(duì)運(yùn)行指標(biāo)的跟蹤能力;第5 節(jié)對(duì)本文工作進(jìn)行全面總結(jié).

1 基于奇異攝動(dòng)的工業(yè)過程非串級(jí)雙速率組合分散運(yùn)行優(yōu)化控制問題描述

本部分首先將工業(yè)過程建模成一類快動(dòng)態(tài)互聯(lián)且慢動(dòng)態(tài)未知的奇異攝動(dòng)系統(tǒng);然后依據(jù)奇異攝動(dòng)理論對(duì)全階模型進(jìn)行降階處理,分離為慢采樣的慢子系統(tǒng)和快采樣的快子系統(tǒng);最后分別刻畫慢快子系統(tǒng)的最優(yōu)控制問題.

1.1 工業(yè)過程建模

考慮圖3 所示的工業(yè)過程,其動(dòng)態(tài)模型由設(shè)備層過程控制對(duì)象的動(dòng)態(tài)模型和運(yùn)行層運(yùn)行過程的動(dòng)態(tài)模型兩部分構(gòu)成[3-5,8,15,18].設(shè)備層對(duì)象的執(zhí)行器裝置,如閥門、電振機(jī)、水泵等變化速率比較快,而與質(zhì)量、效率和消耗等運(yùn)行指標(biāo)相關(guān)的運(yùn)行層動(dòng)態(tài)變化緩慢,同時(shí)設(shè)備層輸出為運(yùn)行層輸入,因此工業(yè)過程具有顯著的慢快時(shí)間尺度耦合特性[3,5].因運(yùn)行指標(biāo)的束縛,不同設(shè)備單元之間往往存在互聯(lián)影響[3],而運(yùn)行過程中復(fù)雜的物理、化學(xué)、相變等反應(yīng)或變化[27],導(dǎo)致其數(shù)學(xué)模型很難獲取.基于以上分析,本文將工業(yè)過程建模為一類由多個(gè)快變且互聯(lián)的設(shè)備單元與慢變且模型未知的運(yùn)行過程串聯(lián)組成的奇異攝動(dòng)系統(tǒng).

圖3 多設(shè)備單元互聯(lián)的工業(yè)過程Fig.3 Industrial process with multiple and interconnected unit devices

設(shè)備層動(dòng)態(tài)模型為

1.2 異步采樣的慢快子系統(tǒng)

為避免基于工業(yè)過程整體模型控制設(shè)計(jì)時(shí)存在的 “維數(shù)災(zāi)”和 “病態(tài)數(shù)值問題”,并滿足設(shè)備層與運(yùn)行層的雙速率采樣要求,本節(jié)將全階系統(tǒng)(3)解耦為兩個(gè)異步采樣的離散化慢、快子系統(tǒng).

將式(3)改寫為緊湊形式

為了準(zhǔn)確獲取設(shè)備層的快動(dòng)態(tài)信息,參照文獻(xiàn)[21],把系統(tǒng)(4)離散化為

因?yàn)槁兞吭谒矔r(shí)可認(rèn)為是常值,把式(6)代入式(5b),可得快采樣的快子系統(tǒng)模型為

1.3 運(yùn)行優(yōu)化控制問題

本文中非串級(jí)雙速率組合分散運(yùn)行優(yōu)化控制任務(wù)為在假設(shè)1 下,設(shè)計(jì)基于設(shè)備層數(shù)據(jù)快采樣與運(yùn)行層數(shù)據(jù)慢采樣的分散組合控制器,使實(shí)際的運(yùn)行指標(biāo)r跟蹤期望的設(shè)定值r*.為了達(dá)到這一目標(biāo),分別對(duì)降階系統(tǒng)(9)和(10)定義優(yōu)化控制問題.

問題 1.尋找慢子系統(tǒng)(9) 的最優(yōu)控制us(k),相對(duì)如下代價(jià)函數(shù)

注 2.快子系統(tǒng)(10)的控制問題是設(shè)計(jì)分散形式的uif(n),進(jìn)而實(shí)現(xiàn)設(shè)備單元控制器之間的獨(dú)立運(yùn)行.由于不同設(shè)備單元間的互聯(lián)項(xiàng),無法設(shè)計(jì)最優(yōu)的控制策略.因此本文考慮次優(yōu)的分散控制器,并受文獻(xiàn)[28]和文獻(xiàn)[29]啟發(fā),將借助收斂因子γ來保證快子系統(tǒng)的整體穩(wěn)定性.

2 工業(yè)過程慢快子系統(tǒng)優(yōu)化控制問題求解

2.1 慢子系統(tǒng)優(yōu)化控制

結(jié)合式(14)和式(15)可知,問題1 中的優(yōu)化問題能轉(zhuǎn)化為最優(yōu)調(diào)節(jié)器.受文獻(xiàn)[26]啟發(fā),引理2 給出了問題1 的可穩(wěn)解存在且唯一的條件.

引理 2.在假設(shè)3 下,如果

通過初等變換,可觀性秩條件判據(jù)滿足

注 3.由文獻(xiàn)[30]可知,式(16)也是漸近跟蹤控制問題可解的充分條件.雖然在假設(shè)1 下無法直接判斷式(16)是否成立,但是對(duì)于具體的復(fù)雜工業(yè)過程來說,往往可知其運(yùn)行層的名義模型(也可用輸入輸出數(shù)據(jù)進(jìn)行辨識(shí)獲得),進(jìn)而判斷引理2 中式(16)的條件是否滿足.

根據(jù)最優(yōu)控制理論[31],在引理2 的條件下,系統(tǒng)(14)相對(duì)代價(jià)函數(shù)(15)的最優(yōu)控制輸入為

考慮到下文無模型控制器設(shè)計(jì)需要,設(shè)慢子系統(tǒng)初始控制序列為us(0)=Ks,1zs(0),把上式等號(hào)兩端分別相加,可得

定理 1.在控制輸入(19)的作用下,閉環(huán)慢子系統(tǒng)(9)漸近穩(wěn)定,并且跟蹤誤差es(k)=rs(k)-r*漸近收斂到零.

證明.把式(19)代入式(14),有

2.2 快子系統(tǒng)優(yōu)化控制

忽略互聯(lián)項(xiàng),快子系統(tǒng)(10)變?yōu)?/p>

根據(jù)最優(yōu)控制理論[31],系統(tǒng)(20)相對(duì)代價(jià)函數(shù)(13)的最優(yōu)控制輸入為

本文設(shè)計(jì)控制輸入(21)為優(yōu)化問題2 的次優(yōu)解,下面將對(duì)快子系統(tǒng)(10)的穩(wěn)定性進(jìn)行分析.為此,重寫式(10)為緊湊形式

定理 2.設(shè)互聯(lián)快子系統(tǒng)(23)的控制輸入為式(24),如果

則其閉環(huán)系統(tǒng)是漸近穩(wěn)定的.

證明.對(duì)互聯(lián)快子系統(tǒng)(23)選取Lyapunov 函數(shù)

3 非串級(jí)雙速率組合分散運(yùn)行優(yōu)化控制設(shè)計(jì)

3.1 運(yùn)行優(yōu)化控制策略

由前兩節(jié)的分析可知,依據(jù)非串級(jí)運(yùn)行優(yōu)化控制路線,工業(yè)過程動(dòng)態(tài)模型(1)和動(dòng)態(tài)模型(2)能建模為一類快動(dòng)態(tài)互聯(lián)且慢動(dòng)態(tài)未知的奇異攝動(dòng)系統(tǒng)(3),其運(yùn)行指標(biāo)設(shè)定值跟蹤控制描述為慢動(dòng)態(tài)的輸出跟蹤問題.參照奇異攝動(dòng)理論,離散化的工業(yè)過程模型(5) 能被分解為異步采樣的慢子系統(tǒng)(9)與快子系統(tǒng)(10),通過定義兩個(gè)獨(dú)立的優(yōu)化問題1和問題2,可直接設(shè)計(jì)設(shè)備層的雙速率組合分散控制輸入.因此根據(jù)子系統(tǒng)采樣周期,設(shè)置設(shè)備層采樣周期為h,運(yùn)行層采樣周期為T,h與T之間滿足關(guān)系式T=Nh.由于運(yùn)行層運(yùn)行過程模型參數(shù)未知,使慢子系統(tǒng)問題的解(19)無法直接獲取,故本文采用Q-學(xué)習(xí)算法,利用工業(yè)運(yùn)行數(shù)據(jù)在線學(xué)習(xí)慢子系統(tǒng)最優(yōu)輸入的控制增益,實(shí)現(xiàn)慢動(dòng)態(tài)輸出跟蹤設(shè)定值的目的,同時(shí)利用設(shè)備層模型信息計(jì)算快子系統(tǒng)優(yōu)化問題的解(21),并判斷定理2 中的收斂因子條件,進(jìn)而完成非串級(jí)雙速率組合分散控制器的設(shè)計(jì).

3.2 基于Q-學(xué)習(xí)的組合控制器

為了解決運(yùn)行過程模型難以獲取的難題,下面設(shè)計(jì)基于Q-學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)算法求解慢子系統(tǒng)的控制輸入.定義代價(jià)函數(shù)(15)的值函數(shù)為

對(duì)于輔助系統(tǒng)(14)的一個(gè)固定增量形式的控制輸入 Δus(k)=KsZs(k),其閉環(huán)系統(tǒng)可遞推為

根據(jù)式(27)和式(29),表達(dá)如下Bellman 方程

參照文獻(xiàn)[12]和Bellman 方程(30),定義Q-函數(shù)

慢子系統(tǒng)(9)是虛擬系統(tǒng),基于其構(gòu)造的輔助系統(tǒng)(14)的狀態(tài)Xs(k) 與輸入 Δus(k) 的數(shù)據(jù)信息無法直接獲取,受文獻(xiàn)[5,18,22,32]的啟發(fā),本文將借助引理1 中的近似性進(jìn)行數(shù)據(jù)替換.為此,定義

通過式(33)和式(35),針對(duì)運(yùn)行過程模型未知問題,利用算法1 來設(shè)計(jì)慢子系統(tǒng)的最優(yōu)控制增益.

算法 1.基于Q-學(xué)習(xí)的策略迭代算法

注 5.算法1 的具體求解過程類似文獻(xiàn)[12-13],這里不再贅述.使用基于值迭代的Q-學(xué)習(xí)算法能放寬初始穩(wěn)定控制增益條件,詳見文獻(xiàn)[33].最近,自適應(yīng)動(dòng)態(tài)規(guī)劃(Adaptive dynamic programming,ADP)[34]方法已經(jīng)廣泛應(yīng)用于最優(yōu)輸出調(diào)節(jié)領(lǐng)域設(shè)計(jì)無模型控制器,解決系統(tǒng)輸出跟蹤控制問題,如文獻(xiàn)[29]和文獻(xiàn)[35].相比存在的ADP 方法,本文只需求解一個(gè)最優(yōu)控制問題,而文獻(xiàn)[29]和文獻(xiàn)[35]還要額外求解一個(gè)靜態(tài)的優(yōu)化問題,因此本文方法降低了設(shè)計(jì)復(fù)雜度;此外,本文基于Q-學(xué)習(xí)的跟蹤方法所學(xué)未知變量較少,還具有計(jì)算方面的優(yōu)勢(shì).

實(shí)際上,算法1 中的數(shù)據(jù)替換會(huì)導(dǎo)致計(jì)算誤差,故算法1 學(xué)習(xí)得到的控制增益可寫為=Ks+ΔKs,其中,ΔKs是關(guān)于ε的攝動(dòng)[22,32].在執(zhí)行完算法1后,基于式(19)和式(24),構(gòu)造如下雙速率組合控制器

進(jìn)一步,表達(dá)顯示的設(shè)備層控制輸入的分散形式,即

3.3 性能分析

由式(41)可知算法1 收斂時(shí)慢子系統(tǒng)的反饋增益為

定理 3.設(shè)離散化的工業(yè)過程(5)的控制輸入為(39),則存在某個(gè)ε* ＞0 ,使對(duì)所有ε∈(0,ε*],閉環(huán)系統(tǒng)(5)是漸近穩(wěn)定的.

證明.首先根據(jù)文獻(xiàn)[21]可知,如果慢快子系統(tǒng)(9)與(10)是漸近穩(wěn)定的,那么存在某個(gè)ε* ＞0,使對(duì)所有ε∈(0,ε*],快采樣離散時(shí)間奇異攝動(dòng)系統(tǒng)(5)是漸近穩(wěn)定的.對(duì)于快子系統(tǒng),由定理2 可知,當(dāng)設(shè)計(jì)的收斂因子滿足條件(26)時(shí),快子系統(tǒng)(10)是漸近穩(wěn)定的;對(duì)于慢子系統(tǒng)(9),由矩陣的連續(xù)性可知,當(dāng)奇異攝動(dòng)參數(shù)ε充分小時(shí),通過算法1 學(xué)習(xí)到的反饋增益(42)的攝動(dòng)誤差 O (ε) 不會(huì)影響閉環(huán)矩陣=(As-BsKs)+O(ε) 的特征值在單位圓內(nèi)的特性,借鑒定理1 的路線可證閉環(huán)慢子系統(tǒng)也是漸近穩(wěn)定的. □

注 6.文獻(xiàn)[3-4,9,14-17]提出的雙速率運(yùn)行優(yōu)化控制方案都是基于提升技術(shù),將設(shè)備層過程控制回路與運(yùn)行層運(yùn)行過程的采樣周期提升至相同框架下,然后對(duì)增維的廣義工業(yè)過程模型進(jìn)行控制設(shè)計(jì),若設(shè)備層與運(yùn)行層之間的時(shí)間尺度相差較大,使用提升技術(shù)會(huì)導(dǎo)致系統(tǒng)階數(shù)過高且計(jì)算量顯著增加,容易發(fā)生 “維數(shù)災(zāi)”和 “病態(tài)數(shù)值問題”.相比之下,本文方法利用奇異攝動(dòng)降維有效避免了這些缺陷.

注 7.非串級(jí)雙速率控制器(39)含有運(yùn)行指標(biāo)跟蹤誤差的積分,因積分器的作用,使其可抑制常值或分段常值的干擾,保持運(yùn)行指標(biāo)的無靜差跟蹤.在實(shí)際中這些干擾可能來自模型線性化誤差、外界環(huán)境變化、原材料波動(dòng)以及生產(chǎn)設(shè)備老化等環(huán)節(jié).因此,本文方法對(duì)于非串級(jí)控制具有工程應(yīng)用價(jià)值.

注 8.本文所提非串級(jí)雙速率控制方法具有一般性,能推廣到更復(fù)雜的奇異攝動(dòng)系統(tǒng).如文獻(xiàn)[22]中的多參數(shù)奇異攝動(dòng)系統(tǒng),只需在慢子系統(tǒng)設(shè)計(jì)時(shí)進(jìn)行相似的坐標(biāo)變換,即可按照本文路線進(jìn)行非串級(jí)雙速率分散控制器設(shè)計(jì).對(duì)于非線性奇異攝動(dòng)系統(tǒng),可參照文獻(xiàn)[36]在解決快子系統(tǒng)含有慢時(shí)變參數(shù)的影響下,設(shè)計(jì)非串級(jí)雙速率控制器.

4 仿真實(shí)驗(yàn)

本節(jié)以浮選過程為例驗(yàn)證所提非串級(jí)雙速率組合分散運(yùn)行優(yōu)化控制方法的有效性.

4.1 浮選過程工藝流程

浮選過程是借助礦物的親水或疏氣性質(zhì)進(jìn)行礦物分離的[3].本文選取圖4 所示的黃銅礦單浮選過程,其由槽體、給礦泵、攪拌機(jī)、空氣集流器、閥門等裝置組成.在浮選過程中,來自磨礦過程的礦粒首先與一定比例的水和浮選藥劑被給礦泵輸送至浮選槽,被選礦物在藥劑的作用下產(chǎn)生親水性,通過空氣集流器在槽體內(nèi)會(huì)產(chǎn)生大量氣泡,從而將被選礦物帶入泡沫尾,達(dá)到分層的效果.之后被選礦物在泡沫尾中經(jīng)精礦閥門流出,雜質(zhì)等在礦漿中經(jīng)尾礦閥門流出,實(shí)現(xiàn)分離被選礦物與雜質(zhì)的目的.浮選過程優(yōu)化目標(biāo)是將精礦品位r1與尾礦品位r2兩個(gè)運(yùn)行指標(biāo)控制在目標(biāo)值附近.

圖4 單浮選槽示意圖Fig.4 Configuration of single flotation cell

浮選過程運(yùn)行控制可描述為設(shè)備層與運(yùn)行層兩層結(jié)構(gòu)[3].設(shè)備層通過改變尾礦閥門開度u1與給礦泵轉(zhuǎn)速u2來改變泥漿液位高度y1和給礦礦漿流量y2. 運(yùn)行層通過改變液位高度y1和礦漿流量y2來控制精礦品位r1和尾礦品位r2.

設(shè)備層的數(shù)學(xué)模型為[3]

其中,A為浮選槽底面積,g為重力加速度,k1,k0為與閥門和給礦泵相關(guān)的系數(shù),τ為時(shí)間常數(shù).

運(yùn)行過程的數(shù)學(xué)模型為[16]

4.2 仿真結(jié)果

設(shè)置精礦品位r1和尾礦品位r2的期望設(shè)定值為17.35和0.75[3],設(shè)備層泥漿液位高度和礦漿流量變化是快過程,其采樣周期為h=0.05 s,運(yùn)行層泥漿質(zhì)量和泡沫質(zhì)量變化是慢過程,其采樣周期為T=1s,分別選取代價(jià)函數(shù)(12)和代價(jià)函數(shù)(13)的加權(quán)矩陣Qs=1 000 12,Rs=12,Q1f=100,Q2f=1,R1f=R2f=1.

本文所提Q-學(xué)習(xí)方法僅使用運(yùn)行過程動(dòng)態(tài)模型來生成數(shù)據(jù),實(shí)際設(shè)計(jì)時(shí)無需其模型參數(shù).選擇不同頻率的正弦信號(hào)為探測(cè)噪聲,并執(zhí)行算法1 學(xué)習(xí)慢子系統(tǒng)最優(yōu)控制增益,由圖5和圖6 可知,,在迭代過程中與其最優(yōu)值H,Ks差的2 范數(shù)逐漸減小且趨于零.從圖7和圖8 的仿真結(jié)果可以看出,系統(tǒng)運(yùn)行65 s 后,所提非串級(jí)雙速率組合控制器能很好地驅(qū)使浮選過程運(yùn)行指標(biāo)r1和r2跟蹤設(shè)定值和.而且,通過圖9 能清晰觀察到礦物品位的跟蹤誤差e1=r1,e2=r2都漸近收斂到零.

圖5 內(nèi)核矩陣的收斂性Fig.5 Convergence of to its ideal value H

圖6 控制增益 的收斂性Fig.6 Convergence of to its ideal value Ks

圖7 精礦品位跟蹤曲線Fig.7 The tracking performance of the concentrate grade to its set-point

圖8 尾礦品位跟蹤曲線Fig.8 The tracking performance of the tail grade to its set-point

圖9 浮選過程礦物品位跟蹤誤差曲線Fig.9 Evolution of the ore grade tracking error

此外,為驗(yàn)證在復(fù)雜環(huán)境下所提方法的抗干擾能力,在設(shè)備層輸入通道中加入如圖10 所示的擾動(dòng)來模擬實(shí)際工況變化.從圖11、圖12 中可看出,盡管浮選過程受到干擾的影響,但在非串級(jí)雙速率控制器作用下每次精礦品位r1和尾礦品位r2依然能穩(wěn)定在其設(shè)定值.該仿真結(jié)果表明,本文所提具有誤差積分類型的非串級(jí)雙速率運(yùn)行優(yōu)化控制方法具有良好的魯棒性和抗干擾能力.

圖10 擾動(dòng)曲線Fig.10 Evolution of the disturbance

圖11 擾動(dòng)下精礦品位跟蹤曲線Fig.11 The tracking performance of the concentrate grade to its set-point under disturbance

圖12 擾動(dòng)下尾礦品位跟蹤曲線Fig.12 The tracking performance of the tail grade to its set-point under disturbance

4.3 對(duì)比仿真

首先,將本文方法與文獻(xiàn)[18]的非串級(jí)分散控制方法在相同實(shí)驗(yàn)條件下進(jìn)行對(duì)比.由于文獻(xiàn)[18]沒有考慮設(shè)備層間的互聯(lián),因此為實(shí)現(xiàn)分散控制器設(shè)計(jì),這里直接忽略設(shè)備層互聯(lián)項(xiàng),然后將文獻(xiàn)[18]的控制策略作用于浮選過程中.所得文獻(xiàn)[18]的慢快子系統(tǒng)控制器參數(shù)為

為評(píng)價(jià)兩種方法的控制性能,引入絕對(duì)誤差積分(Integral absolute error,IAE)與誤差均方差(Mean square error,MSE)[3,5,14],即

從表1 中可見本文方法的評(píng)價(jià)性能均優(yōu)于文獻(xiàn)[18]的結(jié)果,主要原因是文獻(xiàn)[18]使用了帶有折扣因子的代價(jià)函數(shù),而這種折扣的跟蹤控制方法往往無法實(shí)現(xiàn)零穩(wěn)態(tài)誤差跟蹤[13].

表1 對(duì)比仿真評(píng)價(jià)指標(biāo)Table 1 Performance index of comparison simulation

其次,將本文方法與文獻(xiàn)[5]的非串級(jí)控制方法在相同實(shí)驗(yàn)條件下進(jìn)行對(duì)比.由于文獻(xiàn)[5]沒有考慮多設(shè)備單元情況,因此這里將設(shè)備層模型當(dāng)成一個(gè)整體情況來處理.從圖13、圖14 可以看出基于文獻(xiàn)[5]的方法浮選過程精礦品位和尾礦品位也能近似跟蹤上其設(shè)定值,可是對(duì)比圖7、圖8 發(fā)現(xiàn)其達(dá)到穩(wěn)態(tài)時(shí)間較長(zhǎng)且存在穩(wěn)態(tài)誤差.主要原因也是其使用了基于折扣代價(jià)函數(shù)的最優(yōu)跟蹤方法.

圖13 基于文獻(xiàn)[5]的精礦品位跟蹤曲線Fig.13 The tracking performance of the concentrate grade to its set-point using the method in references [5]

圖14 基于文獻(xiàn)[5]的尾礦品位跟蹤曲線Fig.14 The tracking performance of the tail grade to its set-point using the method in references [5]

5 結(jié)論

本文針對(duì)多設(shè)備單元互聯(lián)、多時(shí)間尺度耦合以及運(yùn)行層模型未知的一類工業(yè)過程,研究了非串級(jí)雙速率組合分散運(yùn)行優(yōu)化控制問題.將奇異攝動(dòng)理論與RL 技術(shù)相結(jié)合,提出了一種工業(yè)過程雙速率組合分散控制方法.利用奇異攝動(dòng)理論將工業(yè)過程解耦為異步采樣的慢快子系統(tǒng),采用數(shù)據(jù)驅(qū)動(dòng)的Q-學(xué)習(xí)算法求解慢子系統(tǒng)問題,實(shí)現(xiàn)了運(yùn)行指標(biāo)的跟蹤控制,同時(shí)求解基于模型的快子系統(tǒng)優(yōu)化問題,實(shí)現(xiàn)了多設(shè)備單元之間的分散控制.相較串級(jí)控制結(jié)構(gòu),本文方法能同時(shí)調(diào)節(jié)設(shè)備單元與運(yùn)行過程,設(shè)計(jì)過程不受設(shè)備層與運(yùn)行層間時(shí)間尺度分離程度的影響,避免了 “維數(shù)災(zāi)”和 “病態(tài)數(shù)值問題”.對(duì)浮選過程進(jìn)行的仿真實(shí)驗(yàn)驗(yàn)證了所提方法的有效性.