羅錦彬

(龍巖學(xué)院 物理與機(jī)電工程學(xué)院，福建 龍巖364000)

工業(yè)多智能體系統(tǒng)因其在多機(jī)器人協(xié)作、編隊(duì)飛行、車聯(lián)網(wǎng)等領(lǐng)域的廣泛應(yīng)用而受到越來越多的關(guān)注[1-2]．工業(yè)多智能體系統(tǒng)通過網(wǎng)絡(luò)進(jìn)行協(xié)作，以完成諸如協(xié)作跟蹤控制的復(fù)雜任務(wù)．然而，由于系統(tǒng)規(guī)模的擴(kuò)大，故障的發(fā)生概率大大增加．任意節(jié)點(diǎn)的故障都可能通過通信網(wǎng)絡(luò)蔓延到整個(gè)系統(tǒng)．因此，多智能體的容錯(cuò)控制問題已成為越來越重要的焦點(diǎn)[3]．本文引入人工智能模型中的強(qiáng)化學(xué)習(xí)算法，提出了一種新穎的分布式中間估計(jì)器，提高實(shí)時(shí)容錯(cuò)跟蹤性能．

1 控制問題描述

用Q=(v,ε,A)表示無向圖，其中v={1,2,…,N}表示圖中的節(jié)點(diǎn)集合，ε表示圖中的邊集合，A是Q的鄰接矩陣．連通無向圖Q的生成樹T包含了所有節(jié)點(diǎn)．用D表示度矩陣，與圖Q相關(guān)的拉普拉斯矩陣可以表示為L=D-A．如果存在領(lǐng)導(dǎo)者，則涉及的釘扎矩陣表示為J=diag{ji}，其中，ji=1表示節(jié)點(diǎn)i觀察到領(lǐng)導(dǎo)者．

假設(shè)系統(tǒng)中有N個(gè)代理節(jié)點(diǎn)，第i個(gè)代理節(jié)點(diǎn)的狀態(tài)可以采用以下的方程描述：

(1)

yi(t)=Cxi(t)+Dsfsi(t)+Rdi(t)

(2)

其中，xi(t)是系統(tǒng)狀態(tài)，ui(t)是控制輸入，wi(t)是外部擾動，yi(t)是系統(tǒng)輸出，di(t)是測量到的擾動．fi和fsi分別是處理故障和傳感器故障．

領(lǐng)導(dǎo)者的動態(tài)方程為：

(3)

y0(t)=Cx0(t)

(4)

其中，x0(t)、y0(t)、r0(t)分別表示領(lǐng)導(dǎo)者的狀態(tài)、輸出和輸入．令δi(t)=xi(t)-x0(t)為節(jié)點(diǎn)i的追蹤誤差，追蹤誤差的動態(tài)性可以由式(5)、(6)進(jìn)行刻畫．

(5)

(6)

本目標(biāo)是針對所考慮的多智能體系統(tǒng)處理自動容錯(cuò)跟蹤控制問題，提出一種新穎的基于在線強(qiáng)化學(xué)習(xí)的分布式中間估計(jì)器，并基于此設(shè)計(jì)了一種容錯(cuò)跟蹤協(xié)議來保證協(xié)同跟蹤控制性能．

2 基于強(qiáng)化學(xué)習(xí)的估計(jì)器設(shè)計(jì)

在構(gòu)造分布式中間估計(jì)器前，首先定義以下中間變量：

(7)

(8)

ζτ(t)和ζs(t)均為時(shí)變參數(shù)，因此節(jié)點(diǎn)i的分布式中間估計(jì)其構(gòu)造如下：

(9)

(10)

(11)

(12)

(13)

(14)

其中μ和η是待確定的常數(shù)．

參數(shù)θ(t)的導(dǎo)數(shù)被用作在線估計(jì)性能的調(diào)節(jié)動作的指標(biāo)，在指定時(shí)間間隔內(nèi)θ(t)的變化量來確定源故障模式．同時(shí)，自適應(yīng)切換機(jī)制可以評估和改進(jìn)在線估計(jì)性能，切換的邏輯為：

(15)

其中t0表示異常事件觸發(fā)的時(shí)刻．實(shí)際上，在激活參數(shù)選擇過程之前，會進(jìn)行確定調(diào)整參數(shù)的測試．節(jié)點(diǎn)i的CFTTC如下所示：

(16)

其中，K是使A-BK為赫爾維茨矩陣的矩陣．令H1=[I,0,0,0]，H2=[0,I,0]．全局閉環(huán)容錯(cuò)跟蹤的動態(tài)性可以刻畫為：

(17)

(18)

接下來提出了一種基于在線強(qiáng)化學(xué)習(xí)估計(jì)策略的自動容錯(cuò)跟蹤控制算法(如算法1所示)．為了實(shí)現(xiàn)觀察者增益的更新，需要預(yù)先從追隨者中選擇具有較強(qiáng)計(jì)算能力的匯入節(jié)點(diǎn)．引入了一種廣播機(jī)制：通過生成樹實(shí)現(xiàn)匯入節(jié)點(diǎn)與其他節(jié)點(diǎn)之間的數(shù)據(jù)傳輸．匯入節(jié)點(diǎn)作為數(shù)據(jù)處理中心，具有以下兩個(gè)基本功能：首先，通過廣播機(jī)制收集各節(jié)點(diǎn)相對輸出的估計(jì)誤差信息，檢查自適應(yīng)切換機(jī)制的觸發(fā)條件；其次，更新ζs、ζτ和觀察者增益Ta．在廣播機(jī)制的幫助下，更新后的觀察者增益可以通過生成樹有效地傳輸?shù)秸麄€(gè)網(wǎng)絡(luò)．

算法1的調(diào)節(jié)功能通過三個(gè)主要步驟來實(shí)現(xiàn)．首先，應(yīng)用性能評估步驟來監(jiān)控實(shí)時(shí)評估性能是否下降．然后，在估計(jì)性能惡化的情況下，將激活下一步的源故障模式定位，以確定主要的調(diào)整參數(shù)，并且將執(zhí)行關(guān)鍵參數(shù)和觀測器增益的更新過程，直到估計(jì)性能恢復(fù)．源故障模式定位的決策邏輯是關(guān)鍵調(diào)整參數(shù)ζτ和ζs分別對應(yīng)于過程故障和傳感器故障．如果確定了正確的對應(yīng)參數(shù)，估計(jì)性能就會恢復(fù)．最后，通過準(zhǔn)確的估計(jì)來實(shí)現(xiàn)可靠的容錯(cuò)控制．

算法1中所選擇的參數(shù)可以根據(jù)其功能分為兩組．其中一組參數(shù)ζτ和ζs是用來確保閉環(huán)系統(tǒng)穩(wěn)定條件的可行性．另一組參數(shù)στ、σs、tu、?和gt是用來改善算法1的瞬態(tài)和穩(wěn)態(tài)性能．

算法1 基于強(qiáng)化學(xué)習(xí)的自動容錯(cuò)跟蹤控制算法1: 計(jì)算觀察者增益Ta;2: 估計(jì)參數(shù)δ′i(t)、ξ′τi(t)、ξ′fsi(t)、τ′i(t)和f·′si(t);3: 計(jì)算CFTTCui(t);4: 通過廣播機(jī)制收集||eφi(t)||信息;5: 匯入節(jié)點(diǎn)計(jì)算eφ(t);6: Ifeφ(t) >= ε then7: 記錄時(shí)間t0;8: Ifeφ(t)-ε >= gt then9: 計(jì)算θavd1=1tu∫tu1t0θ·(t)dt;10: 更新ζτ(t)=ζτ(t0)+qθ;11: 計(jì)算θavd2=1tu∫tu2tu1θ·(t)dt;12: 更新ζs(t)=ζs(t0)+qθ;13: 計(jì)算θavd3=1tu∫tu3tu2θ·(t)dt;14: If |θavd2-θavd1|>|θavd3-θavd2| then15: 發(fā)生處理故障;16: ζτ(t)=ζτ(t0)+qθ,ζs(t)=ζs(t0)+σ1qθ;17: If |θavd2-θavd1|<|θavd3-θavd2| then18: 發(fā)生傳感器故障;19: ζτ(t)=ζτ(t0)+qθ,ζs(t)=ζs(t0)+σ2qθ;20: If |θavd2-θavd1|-|θavd3-θavd2|

3 實(shí)驗(yàn)評估

圖1 估計(jì)對比結(jié)果

相對輸出估計(jì)性能指標(biāo)θ(t)的曲線見圖2．由于在0到15秒期間未觸發(fā)自適應(yīng)切換機(jī)制，因此θ(t)始終為0．在15到55秒期間，估計(jì)性能多次惡化，此時(shí)可以看出θ(t)可以驅(qū)動參數(shù)ζτ和ζs的更新．在55秒后，由于在當(dāng)前參數(shù)下估計(jì)性能令人滿意，θ(t)的更新停止．

圖2 相對輸出估計(jì)性能指標(biāo)

4 結(jié)論

本研究利用強(qiáng)化學(xué)習(xí)這一強(qiáng)大的人工智能模型來實(shí)現(xiàn)多軸運(yùn)動控制系統(tǒng)的故障跟蹤控制．通過觀測器結(jié)構(gòu)設(shè)計(jì)和在線實(shí)現(xiàn)階段的改進(jìn)，展示了所提出的分布式中間估計(jì)器具有較高的可行性和可靠性，提出的CFTTC能夠獲得令人滿意的協(xié)同控制性能．