羅 琦，施力力，李鎮(zhèn)東

(1.南京信息工程大學信息與控制學院，江蘇 南京，210044；2.江蘇省氣象能源利用與控制工程技術研究中心，江蘇 南京，210044；3.大氣環(huán)境與裝備技術協(xié)同創(chuàng)新中心，江蘇 南京，210044)

多智能體一致性的隨機鎮(zhèn)定研究

羅 琦，施力力，李鎮(zhèn)東

(1.南京信息工程大學信息與控制學院，江蘇 南京，210044；2.江蘇省氣象能源利用與控制工程技術研究中心，江蘇 南京，210044；3.大氣環(huán)境與裝備技術協(xié)同創(chuàng)新中心，江蘇 南京，210044)

本文給出多智能體隨機一致性的數(shù)學描述，模擬了環(huán)境噪聲對多智能體系統(tǒng)一致性的影響，并提出一種運用隨機噪聲控制多智能體系統(tǒng)的方法。仿真結(jié)果表明，添加滿足一定條件的隨機噪聲控制可以令在沒有噪聲干擾情況下非一致性的多智能體系統(tǒng)達到隨機一致性鎮(zhèn)定。最后對多智能體的隨機一致性鎮(zhèn)定進行理論分析，并得到滿足控制要求的隨機噪聲強度的大致下界。所提出的多智能體協(xié)調(diào)控制方法具有系統(tǒng)能耗小、控制性能更佳的特點。

多智能體；多智能體系統(tǒng)；一致性；隨機噪聲；隨機鎮(zhèn)定；協(xié)調(diào)控制

一致性問題是多智能體協(xié)調(diào)控制領域一個基礎而又重要的研究課題。早在1995年，Vicsek等[1]就提出一個能模擬一群粒子產(chǎn)生方向一致性現(xiàn)象的模型。2004年，Olfati-Saber等[2]提出了多智能體動態(tài)網(wǎng)絡系統(tǒng)的一致性問題和一致性協(xié)議的理論框架。目前，對于多智能體一致性問題的研究已有很多成果[3-8]，但其中大多數(shù)研究都是基于理想情況，而較少考慮環(huán)境噪聲或者機械設備自身的熱噪聲等對系統(tǒng)的干擾。在少數(shù)考慮了噪聲對多智能體系統(tǒng)影響的研究中，所采取的對策一般是通過人為控制來增強系統(tǒng)自身的魯棒性和增加能量以消除噪聲影響，使得系統(tǒng)達到一致，但這些方法都增加了系統(tǒng)的能耗。

為此，本文首先給出多智能體隨機一致性的數(shù)學描述，然后通過仿真實驗來分析環(huán)境噪聲對多智能體一致性的影響，并提出一種添加滿足一定條件的隨機噪聲的多智能體控制方法，最后給出多智能體系統(tǒng)隨機一致性鎮(zhèn)定的理論證明，同時得到滿足多智能體一致性控制要求的隨機噪聲的大致條件。

1 多智能體隨機一致性的數(shù)學描述

在理想情況下，多智能體跟隨領導節(jié)點的一致性算法如下：

ki(xi(t)-rd(t))

(1)

式中：N為跟隨領導節(jié)點的智能體數(shù)量；xi(t)∈Rn(i∈[1,N])為智能體i的狀態(tài)量；aij為鄰接矩陣A的元素，表示各個智能體之間的通信拓撲關系；ki為智能體i趨向領導節(jié)點的速度；rd(t)∈Rn為領導節(jié)點的狀態(tài)量。

在實際生活中，外界環(huán)境噪聲干擾隨處可見，因此有必要考慮含有隨機噪聲的多智能體工作環(huán)境。假設智能體i接收到相鄰智能體j的狀態(tài)信息yij(t)以及接收到領導節(jié)點的狀態(tài)信息ri(t)分別為：

yij(t)dt=xj(t)dt+αij(t)dωij(t)，j∈Ni

(2)

ri(t)dt=rd(t)dt+βi(t)dvi(t)

(3)

式中：Ni為智能體i的相鄰智能體集合；αij(t)和βi(t)分別為智能體i接收智能體j和領導節(jié)點狀態(tài)信息時的噪聲干擾密度函數(shù)；ωij(t)和vi(t)均表示一維布朗運動。此處所加噪聲與智能體的位移狀態(tài)無關。

結(jié)合式(1)～式(3)可以得到一階多智能體跟隨領導節(jié)點的隨機一致性算法：

ckiβi(t)dvi(t)

(4)

式中：系數(shù)c為耦合強度,且c>1。令ei=xi-rd為位移狀態(tài)誤差，有

(5)

參照文獻[12]給出多智能體隨機一致性的定義。

定義1 如果xi(t)滿足式(4)的隨機一致算法，且有

i=1,2,…,N；γ為正常數(shù),

則稱多智能體系統(tǒng)實現(xiàn)隨機一致性。

2 環(huán)境噪聲對多智能體一致性的 影響

首先通過仿真實驗來分析環(huán)境噪聲對多智能體一致性的影響。設多智能體系統(tǒng)中有一個領導者，跟隨者個數(shù)N=4。4個智能體之間的拓撲關系如圖1所示，則鄰接矩陣A=[0 1 1 0，1 0 0 1，1 0 0 1，0 1 1 0]。領導者起始位置rd(0)=0，并沿直線rd(t)=10t運動，4個跟隨者起始位置為[102，98，103，97]。4個跟隨者中智能體1、2和3能夠接受到領導者的位置信息，且智能體趨向領導者的速度k1=k2=k3=2、k4=0，耦合強度c=3。

在沒有噪聲的理想情況下，多智能體系統(tǒng)仿真結(jié)果如圖2所示。從圖2可以看出，4個智能體都能很好地跟隨領導者的運動軌跡，故此多智能體系統(tǒng)可實現(xiàn)一致性。

下面在控制函數(shù)中加入環(huán)境噪聲(此處為通信噪聲)。當環(huán)境噪聲強度較低(αij(t)=15，βi(t)=10)時，多智能體系統(tǒng)仿真結(jié)果如圖3所示；當環(huán)境噪聲強度較高(αij(t)=30，βi(t)=20)時，多智能體系統(tǒng)仿真結(jié)果如圖4所示。

Fig.2 Simulation results of multi-agent system without noise interference(1)

Fig.3 Simulation results of multi-agent system in the environment of lower intensity noise

Fig.4 Simulation results of multi-agent system in the environment of higher intensity noise

比較圖2與圖3可以發(fā)現(xiàn)，當環(huán)境噪聲強度較低時，4個智能體的運動軌跡都出現(xiàn)了較小幅度的振蕩，但它們能夠跟隨領導者，不會出現(xiàn)脫群現(xiàn)象，系統(tǒng)可實現(xiàn)隨機一致性。環(huán)境噪聲對多智能體的一致性起著阻礙作用，由于其強度較低，只是使智能體在跟隨領導者的過程中位移出現(xiàn)些許偏差，位移誤差并不會發(fā)散以至于智能體完全偏離領導者。在實際工程中，通常需要消耗一部分能源來抵消環(huán)境噪聲對多智能體一致性的阻礙作用，這樣就造成系統(tǒng)能耗增加。

比較圖2與圖4可以發(fā)現(xiàn)，當環(huán)境噪聲強度較高時，4個智能體的運動軌跡都出現(xiàn)了較大幅度的振蕩，但總的來說它們?nèi)匀荒軌蚋S領導者，沒有出現(xiàn)脫群現(xiàn)象，系統(tǒng)最終還是能夠?qū)崿F(xiàn)隨機一致性。只不過在這種情況下，智能體與領導者的距離時近時遠，這也使得在某些時間段里，多智能體對領導者的跟隨效果要好于原系統(tǒng)。在實際工程中，如果能有效利用這部分環(huán)境噪聲對多智能體一致性的有利影響，再使用一部分能源來抵消環(huán)境噪聲對多智能體一致性的阻礙作用，這樣就可以有效利用環(huán)境噪聲，在一定程度上減少系統(tǒng)能耗。

3 運用隨機噪聲控制多智能體的一致性

如上所述，環(huán)境噪聲對多智能體的一致性同時存在著有利和不利的影響。由于產(chǎn)生隨機噪聲較一般的人為控制所消耗的能源要少，因此可以在控制函數(shù)中添加一定的隨機噪聲控制，以較少的能耗使多智能體達到更好的一致性效果。

在多智能體系統(tǒng)中加入一定的隨機噪聲控制后，式(4)變化為：

(6)

式中：[W1(t),…,Wm(t)]T為m維的單位布朗運動；Bki(1≤k≤m)為噪聲強度，Bki∈R。式(5)變化為：

(7)

參照文獻[12]給出多智能體隨機一致性鎮(zhèn)定的定義。

定義2 如果xi(t)滿足式(6)的隨機一致性算法，且有

i=1,2,…,N；γ為正常數(shù),

則稱多智能體系統(tǒng)達到隨機一致性鎮(zhèn)定。

仍然通過仿真實驗來分析添加的隨機噪聲控制對多智能體一致性的影響。設多智能體系統(tǒng)中有一個領導者，跟隨者個數(shù)N=4。4個智能體之間的拓撲關系如圖5所示，則鄰接矩陣A=[0001，0011，0101，1110]。領導者起始位置為rd(0)=0，并沿直線rd(t)=10t運動，4個跟隨者起始位置為[102，98，103，97]。4個跟隨者中只有智能體1能夠接受到領導者的位置信息，即k2=k3=k4=0，設智能體1趨向領導者的速度k1=2。系統(tǒng)環(huán)境噪聲參數(shù)αij(t)=1、βi(t)=1，耦合強度c=3。

在不加噪聲控制的情況下，多智能體系統(tǒng)仿真結(jié)果如圖6所示，其中智能體2和智能體3的曲線基本重疊。由圖6可以看出，4個智能體的位移狀態(tài)誤差隨著時間的推移越來越大，即智能體會遠離領導者，故這種情況下該多智能體系統(tǒng)無法實現(xiàn)隨機一致性。

Fig.6 Simulation result of multi-agent system without noise control(2)

通過大量的仿真實驗發(fā)現(xiàn)，當添加的隨機噪聲控制的噪聲強度與智能體的位移狀態(tài)誤差相關時，其起到的控制作用非常明顯。這也是所加隨機噪聲與環(huán)境噪聲的一個區(qū)別。根據(jù)這一特點，式(6)和式(7)可改寫成：

ki(xi(t)-rd(t))]dt+

rd(t))dWk(t)

(8)

(9)

為了進一步分析隨機噪聲強度對多智能體一致性的影響，在多智能體系統(tǒng)控制函數(shù)中分別添加噪聲強度Bki為智能體位移狀態(tài)誤差ei(t)的2、10、15倍的隨機噪聲，得到多智能體系統(tǒng)仿真結(jié)果如圖7所示。

圖7 加入不同強度隨機噪聲控制的多智能體系統(tǒng)仿真結(jié)果

Fig.7 Simulation results of multi-agent system controlled by stochastic noises with different intensities

由圖7(a)可以看出，4個智能體的位移狀態(tài)誤差曲線出現(xiàn)小的振蕩，但它們的運動軌跡大致不變，最終仍是偏離領導者，多智能體系統(tǒng)無法達到隨機一致性鎮(zhèn)定。由此可見，當添加的隨機噪聲強度較低時，多智能體的狀態(tài)不會發(fā)生大的改變，原來不能實現(xiàn)一致性的多智能體系統(tǒng)仍然無法達到隨機一致性鎮(zhèn)定。

由圖7(b)和圖7(c)可以看出，4個智能體的位移狀態(tài)誤差曲線振蕩幅度較大，但它們都能在一定程度上跟隨領導者，不會出現(xiàn)完全偏離領導者的現(xiàn)象，而且隨著時間的推移，多智能體會慢慢地靠近領導者。因此，當控制函數(shù)中添加的隨機噪聲強度較高時，原來不能實現(xiàn)一致性的多智能體系統(tǒng)可以達到隨機一致性鎮(zhèn)定，這里就體現(xiàn)出了隨機噪聲控制的價值。

4 多智能體隨機一致性鎮(zhèn)定的理論分析

仿真實驗表明，在多智能體系統(tǒng)的控制器中加入一定強度的隨機噪聲后，可以使系統(tǒng)達到隨機一致性鎮(zhèn)定。那么，確定所添加的隨機噪聲需要滿足的條件就顯得十分重要，如果能夠求出其大致的條件范圍，才會產(chǎn)生實際應用價值。

4.1 定理及證明

定理 設fi:R×R+→R、αij:R×R+→R、βij:R×R+→R是局部Lipschitz連續(xù)函數(shù)，滿足:

(10)

式中：K1>0,K2>0,K3>0。設對于任意的ei(t)∈R，有

(11)

則有

證明[12]：使用It公式，取Lyapunov函數(shù)為V(t)=|ei(t)|2，則有

d(|ei(t)|2)=[2ei(t)fi(ei,t)+

故

log(|ei(t)|2)=log(|ei(0)|2)+M(t)+

2|ei(s)caijαij(s)|2]ds+

2|ei(s)ckiβi(s)|2]ds+

2|ei(s)Bkiei(s)|2]ds

根據(jù)式(10)和式(11)，可以得到：

log(|ei(t)|2)≤log(|ei(0)|2)+M(t)+

N(t)+P(t)+(2K1+λ-2ρ)t

(12)

參照文獻 [13-14]可知，當t→∞時，M(t)/t→0、N(t)/t→0、P(t)/t→0幾乎必然成立。故有

即

證畢。

因此，當滿足下式時，

(13)

多智能體系統(tǒng)能夠達到隨機一致性鎮(zhèn)定。

接下來通過前面的3個仿真實例來驗證所得到的隨機噪聲強度條件的正確性。

4.2 推論

當不考慮環(huán)境噪聲時，式(1)為理想狀態(tài)下的多智能體系統(tǒng)模型，在式(1)中添加隨機噪聲控制，有

(14)

(15)

將針對系統(tǒng)模型式(8)的主要結(jié)論應用到式(14)，得到如下推論。

推論 設fi∶R×R+→R、αij∶R×R+→R、βij∶R×R+→R是局部Lipschitz連續(xù)函數(shù)，滿足:

(16)

(17)

則有

4.3 可行性分析

要使本文提出的隨機噪聲控制方法具有可行性，必須能夠求出滿足式(13)的隨機噪聲的噪聲強度Bki。

將式(10)和式(11)代入式(13)，得：

(18)

則有：

(19)

式(19)即給出所添加的隨機噪聲控制強度的大致下界。只要隨機噪聲強度大于該下界，就能使多智能體系統(tǒng)達到隨機一致性鎮(zhèn)定，但由于產(chǎn)生隨機噪聲也是要消耗能源的，故其強度應盡可能取滿足條件下的最小值。

5 結(jié)語

本文研究了環(huán)境噪聲對多智能體系統(tǒng)一致性的影響，并提出一種運用隨機噪聲控制多智能體一致性的方法。通過仿真實驗發(fā)現(xiàn)，添加滿足一定條件的隨機噪聲控制甚至可以令在沒有環(huán)境噪聲干擾的理想情況下非一致性的多智能體系統(tǒng)達到隨機一致性鎮(zhèn)定。最后，本文給出多智能體系統(tǒng)隨機一致性鎮(zhèn)定的理論證明，同時得到了滿足控制要求的隨機噪聲強度的大致下界。文中提出的多智能體控制方法具有系統(tǒng)能耗小、控制性能更佳的特點。

[1]VicsekT,CzirókA,Ben-JacobE,etal.Noveltypeofphasetransitioninasystemofself-drivenparticles[J].PhysicalReviewLetters,1995,75(6):1226-1229.

[2]Olfati-SaberR,MurrayRM.Consensusproblemsinnetworksofagentswithswitchingtopologyandtime-delays[J].IEEETransactionsonAutomaticControl, 2004,49(9):1520-1533.

[3]HongYiguang,HuJiangping,GaoLinxin.Trackingcontrolformulti-agentconsensuswithanactiveleaderandvariabletopology[J].Automatica,2006,42(7): 1177-1182.

[4]TopazCM,BertozziAL.Swarmingpatternsinatwo-dimensionalkinematicmodelforbiologicalgroups[J].SIAMJournalonAppliedMathematics,2004,65(1):152-174.

[5]LuXiaoqing,AustinF,ChenShihua.Flockinginmulti-agentsystemswithactivevirtualleaderandtime-varyingdelayscoupling[J].CommunicationsinNonlinearScienceandNumericalSimulation,2011, 16(2): 1014-1026.

[6] 李韜.不確定環(huán)境下多自主體系統(tǒng)的分布式趨同控制與博弈[D].北京: 中國科學院數(shù)學與系統(tǒng)科學研究院,2009.

[7] 苗國英.線性多智能體系統(tǒng)一致性問題研究[D].南京:南京理工大學，2013.

[8] 呂淑玲,侍紅軍,劉峰.主從多智能體網(wǎng)絡快速隨機一致性[J].山東大學學報：理學版, 2014,49(1):65-70.

[9]KhasminskiiRZ.Stochasticstabilityofdifferentialequations[M].AlphenaandenRijn，Netherlands:SijthoffandNoordhoff,1980:134-141.

[10]ArnoldL,CrauelH,WihstutzV.Stabilizationoflinearsystemsbynoise[J].SIAMJournalonControlandOptimization，1983, 21(3):451-461.

[11]MaoXuerong.Stochasticstabilizationanddestabilization[J].SystemsandControlLetters, 1994,23(4): 279-290.

[12]胡適耕,黃乘明,吳付科.隨機微分方程[M].北京:科學出版社,2008:62-64.

[13]LiptserR.Astronglawoflargenumbersforlocalmartingales[J].Stochastics， 1980，3：217-228.

[14]MétivierM.Semimartingales[M].Amsterdam:WalterdeGruyter,1982:78-83.

[責任編輯 尚 晶]

Stochastic stabilization of multi-agent consensus

LuoQi,ShiLili,LiZhendong

(1.School of Information and Control, Nanjing University of Information Science and Technology，Nanjing 210044，China；2.Jiangsu Engineering Research Center on Meteorological Energy Using and Control，Nanjing 210044，China；3.Collaborative Innovation Center on Atmospheric Environment and Equipment Technology, Nanjing 210044，China)

This paper provides the mathematical description of multi-agent stochastic consensus, simulates the effect of environmental noise on the consensus of multi-agent system, and puts forward a control method for multi-agent by using stochastic noise. The simulation results show that the multi-agent system which has no concerted actions in the environment without noise interference can reach stochastic stabilization by adding proper stochastic noise control. Finally, theoretical analysis of stochastic stabilization of multi-agent consensus is carried out and the general minimum of noise intensity meeting the control requirement is achieved. The proposed coordination control methodfor multi-agent uses less system energy and has better control performance.

multi-agent; multi-agent system; consensus; stochastic noise; stochastic stabilization; coordination control

2015-09-29

國家自然科學基金資助項目(61174077，61573193).

羅 琦(1958-)，男，南京信息工程大學教授，博士生導師.E-mail: hgy2-503@163.com

TP273

A

1674-3644(2015)06-0469-06