摘 要：利用深度強(qiáng)化學(xué)習(xí)方法對(duì)威脅區(qū)域環(huán)境下多無人機(jī)（ＵＡＶ） 自主路徑規(guī)劃問題進(jìn)行研究。為了解決強(qiáng)化學(xué)習(xí)算法中普遍存在難以收斂的問題，提出了一種改進(jìn)的Ａｃｔｏｒ-Ａｔｔｅｎｔｉｏｎ-Ｃｒｉｔｉｃ ｆｏｒ Ｍｕｌｔｉ-Ａｇｅｎｔ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ （ＭＡＡＣ） 算法用于多ＵＡＶ 的自主路徑規(guī)劃。通過建立多ＵＡＶ 勢(shì)場環(huán)境模型定義強(qiáng)化學(xué)習(xí)的馬爾科夫決策過程（Ｍａｒｋｏｖ ＭｏｄｕｌａｔｅｄＰｒｏｃｅｓｓ，ＭＤＰ），在動(dòng)態(tài)環(huán)境中規(guī)劃出合理的無碰撞路徑。仿真實(shí)驗(yàn)驗(yàn)證了所設(shè)計(jì)的多ＵＡＶ 自主路徑規(guī)劃控制算法的有效性，并通過對(duì)比仿真驗(yàn)證了該算法在收斂速度和避免碰撞方面具有更優(yōu)越的性能。

關(guān)鍵詞：無人機(jī)；多智能體深度強(qiáng)化學(xué)習(xí)；自主路徑規(guī)劃；ＭＡＡＣ 算法

中圖分類號(hào)：Ｖ２７９ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（ＯＳＩＤ）：

文章編號(hào)：１００３－３１０６（２０２４）０７－１８１６－０８

０ 引言

無人機(jī)（ＵＡＶ）作為人類完成復(fù)雜危險(xiǎn)任務(wù)的重要工具，在近幾十年得到了迅速發(fā)展［１］。與單架ＵＡＶ 相比，多ＵＡＶ 協(xié)同作業(yè)具有魯棒性好、效率高等優(yōu)勢(shì)［２］。路徑規(guī)劃技術(shù)是ＵＡＶ 執(zhí)行任務(wù)的關(guān)鍵技術(shù)之一，多ＵＡＶ 路徑規(guī)劃在軍事、消防等領(lǐng)域得到了廣泛的應(yīng)用，如協(xié)同搜救［３］、運(yùn)輸［４］ 與監(jiān)測［５－７］等。

多ＵＡＶ 自主路徑規(guī)劃的研究重點(diǎn)在于考慮環(huán)境因素的同時(shí)為所有ＵＡＶ 尋找從起點(diǎn)到終點(diǎn)的無碰撞的最優(yōu)路徑?？偨Y(jié)近年來的ＵＡＶ 路徑規(guī)劃算法，可以大致分為傳統(tǒng)算法與智能仿生學(xué)算法。其中傳統(tǒng)算法發(fā)現(xiàn)時(shí)間較早，且需要建立準(zhǔn)確的模型。典型的傳統(tǒng)路徑規(guī)劃算法包括Ａ* 算法［８］和人工勢(shì)場法［９］等。由于處理實(shí)際的路徑規(guī)劃問題時(shí)，傳統(tǒng)算法往往存在建模難的問題，因此人們開始傾向于研究基于智能仿生學(xué)的算法來解決路徑規(guī)劃問題。較為突出的有遺傳算法［１０］、蟻群算法［１１］和粒子群算法［１２］等。

上述文獻(xiàn)的方法基本都需要環(huán)境的全局信息且計(jì)算量巨大，因此在動(dòng)態(tài)環(huán)境以及復(fù)雜的任務(wù)下這些方法難以高效地得到最優(yōu)的結(jié)果。這些年，基于深度強(qiáng)化學(xué)習(xí)解決ＵＡＶ 路徑規(guī)劃問題受到廣泛關(guān)注，其優(yōu)勢(shì)為可以避免復(fù)雜的動(dòng)力學(xué)建模，通過端到端的自學(xué)習(xí)能力良好應(yīng)對(duì)未知環(huán)境的變化。如文獻(xiàn)［１３］對(duì)Ｍｕｌｔｉ-Ａｇｅｎｔ Ｐｒｏｘｉｍａｌ Ｐｏｌｉｃｙ Ｏｐｔｉｍｉｚａｔｉｏｎ（ＭＡＰＰＯ）算法進(jìn)行了改進(jìn)，提出了一種基于網(wǎng)絡(luò)剪枝的ＮＰ-ＭＡＰＰＯ 算法用于多ＵＡＶ 的路徑規(guī)劃，該算法通過去除神經(jīng)網(wǎng)絡(luò)多余的神經(jīng)元以及不重要的權(quán)重從而減少訓(xùn)練時(shí)間，同時(shí)提高算法效率。文獻(xiàn)［１４］使用Ｍｕｌｔｉ-Ａｇｅｎｔ Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ ＰｏｌｉｃｙＧｒａｄｉｅｎｔ （ＭＡＤＤＰＧ）算法實(shí)現(xiàn)多ＵＡＶ 的自主避障與導(dǎo)航，同時(shí)引入了優(yōu)先經(jīng)驗(yàn)回放機(jī)制，使優(yōu)先級(jí)較高的樣本選擇參數(shù)更新的概率更高，從而加快了算法的收斂速度。文獻(xiàn)［１５］將ＭＡＤＤＰＧ 算法與多ＵＡＶ 任務(wù)決策問題相結(jié)合，分別從網(wǎng)絡(luò)結(jié)構(gòu)和馬爾科夫決策過程（Ｍａｒｋｏｖ Ｍｏｄｕｌａｔｅｄ Ｐｒｏｃｅｓｓ，ＭＤＰ）設(shè)計(jì)算法模型，提高了收斂速度以及學(xué)習(xí)效率。

上述文獻(xiàn)均利用強(qiáng)化學(xué)習(xí)算法對(duì)各自場景下的ＵＡＶ 路徑規(guī)劃任務(wù)進(jìn)行了研究和改進(jìn)。然而大多數(shù)文獻(xiàn)僅針對(duì)靜態(tài)環(huán)境任務(wù)，沒有考慮環(huán)境中存在動(dòng)態(tài)威脅區(qū)域的情況。另一方面，使用強(qiáng)化學(xué)習(xí)方法解決路徑規(guī)劃問題時(shí)，由于獎(jiǎng)勵(lì)稀疏性的存在，通常會(huì)出現(xiàn)算法模型難以收斂的情況。基于上述問題，本文將傳統(tǒng)人工勢(shì)場方法引入深度強(qiáng)化學(xué)習(xí)，建立基于勢(shì)場的多ＵＡＶ 路徑規(guī)劃系統(tǒng)模型。同時(shí)提出了一種多ＵＡＶ 強(qiáng)化學(xué)習(xí)路徑規(guī)劃框架，該框架基于Ａｃｔｏｒ-Ａｔｔｅｎｔｉｏｎ-Ｃｒｉｔｉｃ ｆｏｒ Ｍｕｌｔｉ-Ａｇｅｎｔ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ（ＭＡＡＣ）算法。訓(xùn)練開始時(shí)，算法將勢(shì)場環(huán)境中ＵＡＶ 所受到的斥力以及引力作為狀態(tài)值，同時(shí)利用獎(jiǎng)勵(lì)函數(shù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)在動(dòng)態(tài)環(huán)境中的多ＵＡＶ 自主導(dǎo)航與避障。仿真結(jié)果表明，本文所提出的方法可以很好地完成威脅區(qū)域環(huán)境下的多ＵＡＶ自主路徑規(guī)劃任務(wù)。

１ 問題描述與建模

多ＵＡＶ 自主路徑規(guī)劃場景如圖１ 所示。為了簡化問題，本文將ＵＡＶ 運(yùn)動(dòng)環(huán)境設(shè)置在二維空間中。多ＵＡＶ 自主路徑規(guī)劃的目標(biāo)是制定合理的運(yùn)動(dòng)策略，使所有ＵＡＶ 能夠快速到達(dá)目標(biāo)位置，同時(shí)避免與環(huán)境中的威脅區(qū)域以及其他ＵＡＶ 發(fā)生碰撞。

在人工勢(shì)場法的基礎(chǔ)上，首先對(duì)ＵＡＶ 運(yùn)動(dòng)空間中的勢(shì)場環(huán)境進(jìn)行建模，隨后定義基于勢(shì)場的深度強(qiáng)化學(xué)習(xí)框架。多ＵＡＶ 環(huán)境建模如圖２ 所示，環(huán)境中存在Ｎ 組ＵＡＶ 與目標(biāo)位置，存在Ｍ 個(gè)威脅區(qū)域，（ｐｘｕｉ，ｐｙｕｉ）和（ｐｘｔｉ，ｐｙｔｉ ）分別表示第ｉ 個(gè)ＵＡＶ 和目標(biāo)區(qū)域的位置，（ｐｘｏｌ，ｐｙｏｌ ）表示第ｌ 個(gè)威脅區(qū)域的位置。第ｉ 個(gè)目標(biāo)位置的引力勢(shì)場如下：

在多ＵＡＶ 環(huán)境中，目標(biāo)位置的斥力勢(shì)場值最小，ＵＡＶ 距離目標(biāo)位置越遠(yuǎn)，其引力勢(shì)場值越大。在威脅區(qū)域附近的勢(shì)場中，距離威脅區(qū)域越近，斥力勢(shì)場值越大。

２ 基于深度強(qiáng)化學(xué)習(xí)的多ＵＡＶ 路徑規(guī)劃

２． １ 多智能體深度強(qiáng)化學(xué)習(xí)

在單智能體強(qiáng)化學(xué)習(xí)中，對(duì)于智能體來說，環(huán)境是穩(wěn)定的，但在多智能體系統(tǒng)中，每個(gè)智能體都會(huì)與環(huán)境進(jìn)行交互，會(huì)導(dǎo)致環(huán)境對(duì)于每個(gè)智能體來說都變得不穩(wěn)定，針對(duì)這個(gè)問題，在研究中通常使用中心化訓(xùn)練和去中心化執(zhí)行框架（Ｃｅｎｔｒａｌｉｚｅｄ ＴｒａｉｎｉｎｇＤｅｃｅｎｔｒａｌｉｚｅｄ Ｅｘｅｃｕｔｉｏｎ，ＴＤＥ）［１６］來解決。在開始時(shí)，所有智能體同時(shí)參與訓(xùn)練，共同改進(jìn)策略網(wǎng)絡(luò)參數(shù)和價(jià)值網(wǎng)絡(luò)參數(shù)，完成訓(xùn)練后，智能體根據(jù)各自的策略網(wǎng)絡(luò)進(jìn)行決策，并做出動(dòng)作。

ＭＤＰ 定義為智能體與環(huán)境的交互過程［１７］。多ＵＡＶ 自主路徑規(guī)劃的ＭＤＰ 可以具體由一個(gè)多元組｛Ｓ，Ａ，Ｒ，Ｏ，Ｐ｝來表示，其中Ｓ 表示環(huán)境狀態(tài)空間，ｓｔ∈Ｓ 表示ｔ 時(shí)刻的狀態(tài)；Ａ ＝ ｛Ａ１ ，Ａ２ ，…，ＡＮ ｝表示所有ＵＡＶ 的聯(lián)合動(dòng)作空間，所有ＵＡＶ 的聯(lián)合動(dòng)作表示為ａ ＝ ｛ａ１ ，ａ２ ，…，ａＮ ｝，其中ａｉ ∈Ａｉ 表示無人機(jī)ｉ 的動(dòng)作；Ｒ ＝ ｛Ｒ１ ，Ｒ２ ，…，ＲＮ ｝表示所有ＵＡＶ 的獎(jiǎng)勵(lì)函數(shù)集合，用ｒｉ ＝ Ｒｉ（ｓｔ，ａｉ）表示無人機(jī)ｉ 在狀態(tài)ｓｔ執(zhí)行動(dòng)作ａｉ 時(shí)的獎(jiǎng)勵(lì)值；所有ＵＡＶ 的觀測空間可以表示為集合Ｏ ＝ ｛Ｏ１ ，Ｏ２ ，…，ＯＮ ｝，用ｏ ＝ ｛ｏ１ ，ｏ２ ，…，ｏＮ ｝表示所有ＵＡＶ 的觀測結(jié)果；狀態(tài)轉(zhuǎn)移概率函數(shù)表示為Ｐ（ｓｔ＋１｜ ｓｔ，ａｉ ），即指定無人機(jī)ｉ 在狀態(tài)ｓｔ 執(zhí)行動(dòng)作ａｉ 時(shí)，環(huán)境狀態(tài)ｓｔ 改變?yōu)橄乱粫r(shí)刻的狀態(tài)ｓｔ＋１ 時(shí)的概率。

２． ２ ＭＡＡＣ 算法

ＭＡＤＤＰＧ 算法［１６］是一種經(jīng)典的ＣＴＤＥ 算法，該算法的每個(gè)智能體均有各自獨(dú)立的Ａｃｔｏｒ 網(wǎng)絡(luò)和Ｃｒｉｔｉｃ 網(wǎng)絡(luò)，可以適用于合作或競爭的多智能體環(huán)境。但當(dāng)環(huán)境中智能體數(shù)量增多時(shí)，集中式訓(xùn)練的Ｃｒｉｔｉｃ 網(wǎng)絡(luò)輸入維度會(huì)爆炸式增長，導(dǎo)致算法難以收斂。

Ｍ ＡＡＣ 算法［１８］在ＭＡＤＤＰＧ 的基礎(chǔ)上進(jìn)行了改進(jìn)，引入了帶有注意力機(jī)制的集中式Ｃｒｉｔｉｃ 網(wǎng)絡(luò)，在每個(gè)時(shí)間步為每個(gè)智能體動(dòng)態(tài)選擇相關(guān)的信息，在一定程度上緩解了難以收斂的問題。基于ＭＡＡＣ算法的多ＵＡＶ 路徑規(guī)劃網(wǎng)絡(luò)框架如圖３ 所示，ＭＡＡＣ 使用了２Ａｃｔｏｒ-Ｃｒｉｔｉｃ 結(jié)構(gòu)，每個(gè)ＵＡＶ 均有各自獨(dú)立的帶有參數(shù)θμｉ的Ａｃｔｏｒ 網(wǎng)絡(luò)μ（ｏｔｉ；θμｉ），其根據(jù)無人機(jī)ｉ 的當(dāng)前觀測值ｏｔｉ計(jì)算動(dòng)作ａｔｉ。集中式Ｃｒｉｔｉｃ 網(wǎng)絡(luò)表示為：

Ｑ（ｏｔ１，ｏｔ２，…，ｏｔＮ ，ａｔ１，ａｔ２，…，ａｔＮ ；θＱｉ） ＝ ｆｉ（ｇｉ（ｏｔｉ，ａｔｉ），ｘｔｉ）， （５）

式中：ｆｉ 為雙層多層感知機(jī)（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ，ＭＬＰ），ｇｉ 為單層ＭＬＰ 編碼器。訓(xùn)練開始時(shí)，將無人機(jī)ｉ 的當(dāng)前觀測值ｏｔｉ以及動(dòng)作ａｔｉ輸入編碼器ｇｉ（ｏｔｉ，ａｔｉ）得到無人機(jī)ｉ 的編碼信息ｅｔｉ。對(duì)其他ＵＡＶ 的編碼信息進(jìn)行多頭自注意力選取得到其他ＵＡＶ 對(duì)環(huán)境的總貢獻(xiàn)ｘｔｉ，具體表示為：

３． ２ 狀態(tài)空間與動(dòng)作空間

使用強(qiáng)化學(xué)習(xí)解決多ＵＡＶ 路徑規(guī)劃問題時(shí)，需要設(shè)計(jì)多ＵＡＶ 路徑規(guī)劃ＭＤＰ。根據(jù)勢(shì)場環(huán)境模型，無人機(jī)ｉ 的狀態(tài)空間包括引力勢(shì)場產(chǎn)生的引力以及所有斥力勢(shì)場產(chǎn)生的斥力，具體定義為：

４ 仿真實(shí)驗(yàn)

４． １ 環(huán)境設(shè)置

本文的實(shí)驗(yàn)硬件環(huán)境為Ｉｎｔｅｌ Ｃｏｒｅ ｉ７-１０７００ＫＣＰＵ 和ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ ３０９０ ＧＰＵ?；冢希穑澹睿粒?平臺(tái)構(gòu)建了多ＵＡＶ 路徑規(guī)劃模擬訓(xùn)練環(huán)境，仿真環(huán)境是一個(gè)邊長為８ ｍ 的正方形二維平面，環(huán)境中存在３ 組ＵＡＶ 和目標(biāo)位置，每個(gè)ＵＡＶ 的半徑和質(zhì)量被設(shè)定為０． １ ｍ 和１ ｋｇ，最大速度限制為０． ８５ ｍ ／ ｓ，目標(biāo)位置的半徑為０． ０５ ｍ；環(huán)境中的威脅區(qū)域設(shè)置為半徑０． ３５ ｍ 的圓形區(qū)域。在訓(xùn)練開始時(shí)，所有ＵＡＶ、目標(biāo)位置與威脅區(qū)域在環(huán)境中隨機(jī)生成。

４． ２ 參數(shù)設(shè)置

本實(shí)驗(yàn)使用了ＭＡＤＤＰＧ 算法、ＭＡＡＣ 算法和改進(jìn)的ＭＡＡＣ 算法進(jìn)行訓(xùn)練。３ 種算法均設(shè)置了相同的參數(shù)，激活函數(shù)使用ＲｅＬＵ，優(yōu)化器為Ａｄａｍ。最大訓(xùn)練回合數(shù)為１０５ ，每個(gè)回合的最大時(shí)間步數(shù)為１００，學(xué)習(xí)率設(shè)置為０． ００１，網(wǎng)絡(luò)參數(shù)每１００ 步更新一次，折扣因子γ 為０． ９５，回放緩存區(qū)大小為１０６ ，訓(xùn)練批量大小為１ ０２４，參數(shù)α、β 分別設(shè)置為０． ５、１０，勢(shì)場閾值ｄｏ 與ｄｕ 均設(shè)置為０． ５。

４． ３ 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法在不同場景下完成多ＵＡＶ自主路徑規(guī)劃任務(wù)的有效性，分別在靜態(tài)威脅區(qū)域和動(dòng)態(tài)威脅區(qū)域的情況下進(jìn)行了實(shí)驗(yàn)。同時(shí)，分別從碰撞率和目標(biāo)到達(dá)率（Ｔａｒｇｅｔ Ａｃｈｉｅｖｅｍｅｎｔ Ｒａｔｅ，ＴＡＲ）兩方面來評(píng)價(jià)本文算法與基線算法的性能。碰撞率包括ＵＡＶ 之間的碰撞率（Ｃｏｌｌｉｓｉｏｎ Ｒａｔｅ Ｂｅ-ｔｗｅｅｎ ＵＡＶｓ，ＣＢＲＳ）和ＵＡＶ 與威脅區(qū)域之間的碰撞率（Ｃｏｌｌｉｓｉｏｎ Ｒａｔｅ Ｂｅｔｗｅｅｎ ＵＡＶｓ ａｎｄ Ｔｈｒｅａｔ Ａｒｅａ，ＣＢＲＯ），ＴＡＲ 則為每回合ＵＡＶ 路徑規(guī)劃的成功率，具體如下：

在靜態(tài)威脅區(qū)域?qū)嶒?yàn)中，環(huán)境中的威脅區(qū)域?yàn)殪o止?fàn)顟B(tài)。強(qiáng)化學(xué)習(xí)的目標(biāo)是使累積折扣獎(jiǎng)勵(lì)最大化，因此累積回合平均獎(jiǎng)勵(lì)通常用于衡量訓(xùn)練結(jié)果是否收斂，使用最后１ ０００ 回合的平均獎(jiǎng)勵(lì)作為最終平均獎(jiǎng)勵(lì)值，如圖４ 所示?？梢钥闯?，算法在３０ ０００ 回合左右能夠?qū)W習(xí)到比較優(yōu)秀的策略，并逐漸達(dá)到收斂。

ＵＡＶ 的碰撞率實(shí)驗(yàn)結(jié)果如圖５（ａ）和圖５（ｂ）所示，顯然改進(jìn)后的ＭＡＡＣ 算法在避免碰撞方面的能力更加出色。ＴＡＲ 是衡量ＵＡＶ 路徑規(guī)劃能力的關(guān)鍵因素之一，實(shí)驗(yàn)結(jié)果如圖５（ｃ）所示。可以看到相比于其他算法，改進(jìn)后的ＭＡＡＣ 算法具有更高的ＴＡＲ。

在動(dòng)態(tài)威脅區(qū)域?qū)嶒?yàn)中，環(huán)境中的威脅區(qū)域?yàn)殡S機(jī)移動(dòng)狀態(tài)，其速度為０ ～ ０． ２ ｍ ／ ｓ。由于動(dòng)態(tài)威脅區(qū)域環(huán)境更加復(fù)雜，使得ＵＡＶ 完成路徑規(guī)劃任務(wù)更加困難。實(shí)驗(yàn)結(jié)果如圖６ 所示，與基線算法模型相比，改進(jìn)的ＭＡＡＣ 算法具有更好的穩(wěn)定性，同時(shí)具有更低的碰撞率。經(jīng)過訓(xùn)練的多ＵＡＶ 軌跡如圖７ 所示，在靜態(tài)環(huán)境中，ＵＡＶ 可以在避免發(fā)生碰撞的同時(shí)，快速地到達(dá)目標(biāo)點(diǎn)。

環(huán)境中存在動(dòng)態(tài)威脅區(qū)域時(shí)不同時(shí)間步長的多ＵＡＶ 軌跡如圖８ 所示，可以看出ＵＡＶ 面對(duì)隨機(jī)移動(dòng)的威脅區(qū)域時(shí)仍具備良好的避障性能與自主導(dǎo)航的能力。

３ 種算法訓(xùn)練數(shù)據(jù)對(duì)比如表１ 所示?？梢钥闯觯倪M(jìn)的ＭＡＡＣ 算法在２ 組實(shí)驗(yàn)中的收斂速度以及收斂后的避障與導(dǎo)航能力具有更優(yōu)越的性能表現(xiàn)。

為了測試不同環(huán)境對(duì)算法模型的影響，本文在不同威脅區(qū)域數(shù)量下的環(huán)境中進(jìn)行了改進(jìn)的ＭＡＡＣ算法多ＵＡＶ 路徑規(guī)劃任務(wù)，結(jié)果如圖９ 所示。訓(xùn)練結(jié)果表明，當(dāng)環(huán)境中威脅區(qū)域數(shù)量上升時(shí)，碰撞率呈緩慢上升趨勢(shì)。當(dāng)靜態(tài)和動(dòng)態(tài)威脅區(qū)域的數(shù)量從２增加至６ 時(shí)，算法模型的平均碰撞率分別從１． ２２％和１． ４２％ 上升到３． ８２％ 和５． ０８％ ，且２ 種環(huán)境的碰撞率相差不大。因此，改進(jìn)的ＭＡＡＣ 算法在復(fù)雜的環(huán)境中仍然具有良好的性能。

５ 結(jié)束語

針對(duì)現(xiàn)有多ＵＡＶ 路徑規(guī)劃問題研究中的不足之處，本文利用深度強(qiáng)化學(xué)習(xí)方法對(duì)多ＵＡＶ 自主路徑規(guī)劃進(jìn)行了研究。通過引入傳統(tǒng)人工勢(shì)場法的概念，提出了一種基于勢(shì)場的ＭＡＡＣ 多ＵＡＶ 自主路徑規(guī)劃方法，分別從狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)算法模型結(jié)構(gòu)。最終仿真實(shí)驗(yàn)結(jié)果表明，本文所提出的多智能體強(qiáng)化學(xué)習(xí)算法能夠使得ＵＡＶ 在自主路徑規(guī)劃任務(wù)中獲得較好的控制策略，同時(shí)相較于基線算法有著更快的收斂速度以及更優(yōu)越的避障性能。

參考文獻(xiàn)

［１］ 閆超，涂良輝，王聿豪，等． 無人機(jī)在我國民用領(lǐng)域應(yīng)用綜述［Ｊ］． 飛行力學(xué)，２０２２，４０（３）：１－６．

［２］ 楊旭，王銳，張濤． 面向無人機(jī)集群路徑規(guī)劃的智能優(yōu)化算法綜述［Ｊ］． 控制理論與應(yīng)用，２０２０，３７ （１１ ）：２２９１－２３０２．

［３］ 楊陽，羅婷，唐偉革，等． 多旋翼無人機(jī)在醫(yī)學(xué)救援領(lǐng)域的應(yīng)用研究［Ｊ］． 醫(yī)療衛(wèi)生裝備，２０１８，３９ （６ ）：９１－９５．

［４］ ＫＩＭ Ｊ，ＫＩＭ Ｓ，ＪＵ Ｃ，ｅｔ ａｌ． Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅｓｉｎ Ａｇｒｉｃｕｌｔｕｒｅ：Ａ Ｒｅｖｉｅｗ ｏｆ Ｐｅｒｓｐｅｃｔｉｖｅ ｏｆ Ｐｌａｔｆｏｒｍ，Ｃｏｎｔｒｏｌ，ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ［Ｊ ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０１９，７：１０５１００－１０５１１５．

［５］ ＹＵ Ｈ Ｙ，ＬＩ Ｇ Ｒ，ＺＨＡＮＧ Ｗ Ｇ，ｅｔ ａｌ． Ｔｈｅ ＵｎｍａｎｎｅｄＡｅｒｉａｌｖｅｈｉｃｌｅ Ｂｅｎｃｈｍａｒｋ：Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ，Ｔｒａｃｋｉｎｇ ａｎｄＢａｓｅｌｉｎｅ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２０２０，１２８（５）：１１４１－１１５９．

［６］ ＢＡＳＩＬＩＣＯ Ｎ，ＣＡＲＰＩＮ Ｓ． Ｄｅｐｌｏｙｉｎｇ Ｔｅａｍｓ ｏｆ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ ＵＡＶｓ ｉｎ Ｃｏｏｐｅｒａｔｉｖｅ Ｔｗｏｌｅｖｅｌ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｍｉｓｓｉｏｎｓ［Ｃ］∥ ２０１５ ＩＥＥＥ ／ ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＲＯＳ）． Ｈａｍｂｕｒｇ：ＩＥＥＥ，２０１５：６１０－６１５．

［７］ ＸＵ Ｘ Ｗ，ＺＨＡＮＧ Ｘ Ｙ，ＹＵ Ｂ，ｅｔ ａｌ． ＤＡＣＳＤＣ ＬｏｗＰｏｗｅｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｃｈａｌｌｅｎｇｅ ｆｏｒ ＵＡＶ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０２１，４３（２）：３９２－４０３．

［８］ 孫淑光，孫濤． 基于融合Ａ* 算法的無人機(jī)路徑規(guī)劃研究［Ｊ］． 電子測量技術(shù)，２０２２，４５（９）：８２－９１．

［９］ 叢玉華，趙宗豪，邢長達(dá)，等． 基于改進(jìn)人工勢(shì)場的無人機(jī)動(dòng)態(tài)避障路徑規(guī)劃［Ｊ］． 兵器裝備工程學(xué)報(bào)，２０２１，４２（９）：１７０－１７６．

［１０］ 吳振，吳紅蘭． 基于改進(jìn)遺傳算法的無人機(jī)航路規(guī)劃［Ｊ］． 電子測量技術(shù)，２０２１，４４（２４）：５２－５８．

［１１］ 蘇梅梅，程詠梅，胡勁文，等． 基于改進(jìn)蟻群算法的無人機(jī)集群任務(wù)分配和路徑規(guī)劃聯(lián)合優(yōu)化［Ｊ］． 無人系統(tǒng)技術(shù)，２０２１，４（４）：４０－５０．

［１２］ 許諾． 基于改進(jìn)ＰＳＯ 算法的ＵＡＶ 三維路徑規(guī)劃研究［Ｊ］． 電子測量技術(shù)，２０２２，４５（２）：７８－８３．

［１３］ 司鵬搏，吳兵，楊睿哲，等． 基于多智能體深度強(qiáng)化學(xué)習(xí)的無人機(jī)路徑規(guī)劃［Ｊ］． 北京工業(yè)大學(xué)學(xué)報(bào)，２０２３，４９（４）：４４９－４５８．

［１４］ ＷＵ Ｄ Ｗ，ＷＡＮ Ｋ Ｆ，ＴＡＮＧ Ｊ Ｑ，ｅｔ ａｌ． Ａｎ ＩｍｐｒｏｖｅｄＭｅｔｈｏｄ Ｔｏｗａｒｄｓ ＭｕｌｔｉＵＡＶ Ａｕｔｏｎｏｍｏｕｓ ＮａｖｉｇａｔｉｏｎＵｓｉｎｇ Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ［Ｃ］∥２０２２ ７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｔｒｏｌ ａｎｄ Ｒｏｂｏｔｉｃｓ Ｅｎｇｉｎｅｅｒｉｎｇ（ＩＣＣＲＥ）． Ｂｅｉｊｉｎｇ：ＩＥＥＥ，２０２２：９６－１０１．

［１５］ 李波，越凱強(qiáng)，甘志剛，等． 基于ＭＡＤＤＰＧ 的多無人機(jī)協(xié)同任務(wù)決策［Ｊ］． 宇航學(xué)報(bào)，２０２１，４２（６）：７５７－７６５．

［１６］ ＬＯＷＥ Ｒ，ＷＵ Ｙ Ｉ，ＴＡＭＡＲ Ａ，ｅｔ ａｌ． Ｍｕｌｔｉａｇｅｎｔ Ａｃｔｏｒｃｒｉｔｉｃ ｆｏｒ Ｍｉｘｅｄ ＣｏｏｐｅｒａｔｉｖｅＣｏｍｐｅｔｉｔｉｖｅ Ｅｎｖｉｒｏｎｍｅｎｔｓ［Ｃ］∥３１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｎｅｗ Ｙｏｒｋ：ＡＣＭ，２０１７：６３８２－６３９３．

［１７］ ＶＡＮ ＯＴＴＥＲＬＯ Ｍ，ＷＩＥＲＩＮＧ Ｍ． Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇａｎｄ Ｍａｒｋｏｖ Ｄｅｃｉｓｉｏｎ Ｐｒｏｃｅｓｓｅｓ ［Ｍ ］∥ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ：Ｓｔａｔｅｏｆｔｈｅａｒｔ． ［Ｓ． ｌ． ：ｓ． ｎ． ］，２０１２：３－４２．

［１８］ ＩＱＢＡＬ Ｓ，ＳＨＡ Ｆ． Ａｃｔｏｒａｔｔｅｎｔｉｏｎｃｒｉｔｉｃ ｆｏｒ ＭｕｌｔｉａｇｅｎｔＲｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ ［ＥＢ ／ ＯＬ ］． （２０１８ － １０ － ０５ ）［２０２３－０７－１０］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １８１０． ０２９１２．

作者簡介

周從航 男，（１９９９—），碩士研究生。主要研究方向：多智能體系統(tǒng)、強(qiáng)化學(xué)習(xí)。

李建興 男，（１９６８—），碩士，教授。主要研究方向：分布式控制、集成自動(dòng)化、智能控制、機(jī)器視覺等。

（*通信作者）石宇靜 女，（１９７８—），博士，副教授。主要研究方向：復(fù)雜網(wǎng)絡(luò)同步控制、非線性系統(tǒng)控制理論、電力系統(tǒng)控制等。

林致睿 男，（１９９８—），碩士研究生。主要研究方向：復(fù)雜網(wǎng)絡(luò)同步控制。

基金項(xiàng)目：福建省自然科學(xué)基金（２０２０Ｊ０１８７６）；福建工程學(xué)院科研啟動(dòng)基金（ＧＹ-Ｚ２１２１５，ＧＹ-Ｚ２１２１６）