鄧麗敏，陳蓓蓓，劉 慧

（南京鐵道職業(yè)技術(shù)學(xué)院，江蘇 南京 210031）

1 通信受限環(huán)境中的多無人機協(xié)同架構(gòu)

通信受限環(huán)境中的多無人機協(xié)同架構(gòu)是指在通信受限的環(huán)境，無人機之間如何進行信息交互和協(xié)同作業(yè)的方式。這種架構(gòu)通常會考慮無人機之間的通信方式、信息傳輸速率和可靠性等因素。常見的通信方式包括Wi-Fi、藍牙、移動數(shù)據(jù)傳輸?shù)?。在通信受限環(huán)境中，無人機需要選擇適合自己的通信方式，并確保信息傳輸?shù)目煽啃?。在信息交互方面，無人機需要通過無線通信網(wǎng)絡(luò)進行信息交互，以實現(xiàn)彼此之間的協(xié)同作業(yè)。這種架構(gòu)通常包括基站、無人機和移動終端等組成部分。在基站之間，無人機需要通過無線通信網(wǎng)絡(luò)將數(shù)據(jù)傳輸?shù)交荆儆苫巨D(zhuǎn)發(fā)給其他無人機?？傮w來說，通信受限環(huán)境中的多無人機協(xié)同架構(gòu)需要考慮各種因素，以確保無人機之間的信息交互和協(xié)同作業(yè)的可靠性和安全性。

2 通信連接需求

多無人機協(xié)同通信是指多架無人機通過通信技術(shù)實現(xiàn)協(xié)同合作，提高通信效率和可靠性的過程。多無人機協(xié)同通信需求主要有以下幾種。①大帶寬：無人機之間需要實現(xiàn)高速的數(shù)據(jù)傳輸和同步，以保證信息的及時傳遞和任務(wù)的順利完成。②高精度：無人機需要具備高精度的定位和路徑規(guī)劃能力，以保證其在執(zhí)行任務(wù)時的安全性和可靠性。③強信號覆蓋：無人機需要在惡劣的環(huán)境中保持一定的信號覆蓋，以保證信息的傳達和接收。④多用戶認證：為了保證用戶之間的通信安全，無人機需要具備多用戶認證功能，以確保只有授權(quán)用戶才能進行通信。⑤自主決策和控制：無人機需要具備自主決策和控制能力，以實現(xiàn)任務(wù)的自主執(zhí)行和任務(wù)的調(diào)整。這些需求都需要通過多無人機協(xié)同通信技術(shù)來實現(xiàn)。

3 基于強化學(xué)習(xí)的通信受限環(huán)境中多無人機協(xié)同策略

3.1 層級通信網(wǎng)絡(luò)

近年來，隨著人工智能技術(shù)的快速發(fā)展，基于智能體的機器學(xué)習(xí)在控制領(lǐng)域中得到了廣泛的應(yīng)用。使用智能體來進行建模，可以解決傳統(tǒng)機器學(xué)習(xí)方法中存在的一些問題。

強化學(xué)習(xí)是一種人工智能方法，其目的是通過訓(xùn)練算法來自主地學(xué)習(xí)最優(yōu)策略?；趶娀瘜W(xué)習(xí)的多無人機協(xié)同策略層級通信網(wǎng)絡(luò)可以通過建立多無人機之間的通信關(guān)系，實現(xiàn)對環(huán)境的感知、任務(wù)分配、通信協(xié)調(diào)等功能[1]。在該網(wǎng)絡(luò)中，每個無人機都有一個狀態(tài)和一個動作。狀態(tài)是指無人機當(dāng)前所處的位置和狀態(tài)之間的關(guān)系，動作是指無人機根據(jù)環(huán)境信息和自身狀態(tài)做出的決策。通信網(wǎng)絡(luò)則是一種將各個無人機連接起來的協(xié)議，它將狀態(tài)和動作傳遞給其他無人機，從而實現(xiàn)多無人機之間的通信。

多無人機協(xié)同層級網(wǎng)絡(luò)通信的關(guān)鍵技術(shù)主要有以下幾種。①數(shù)據(jù)共享：多架無人機之間需要互相傳遞信息，因此需要在彼此之間進行數(shù)據(jù)共享。這種技術(shù)可以通過文本、圖像、語音等方式進行。多架無人機需要互相傳遞信號，因此需要使用合適的通信技術(shù)。②帶寬管理：多架無人機需要在不同的地區(qū)和時間傳輸不同的信息，因此需要選擇合適的帶寬管理技術(shù)。③安全保障：多架無人機之間需要進行安全保障，以確保信息的安全性和可靠性。④數(shù)據(jù)壓縮：多架無人機需要進行數(shù)據(jù)壓縮，以節(jié)省帶寬和時間。⑤智能決策：多架無人機需要進行智能決策，以確定下一步該往哪里傳信息?？傊?，多無人機協(xié)同層級網(wǎng)絡(luò)通信技術(shù)是一種復(fù)雜的技術(shù)，需要考慮到多個方面的因素，包括數(shù)據(jù)共享、帶寬管理、安全保障等。通過優(yōu)化和協(xié)同工作，多架無人機可以提高通信效率和網(wǎng)絡(luò)性能，實現(xiàn)更好的通信效果[2]。

3.2 連續(xù)連接探索

多無人機協(xié)同連續(xù)連接策略（Multi-UAV CONNECTION Connected Connectivity，MUSC）是一種基于多無人機智能協(xié)作的策略，它將多架無人機連接到一起，以實現(xiàn)更高效的任務(wù)執(zhí)行。MUSC通常由一個管理者或指揮官來管理，以確保所有無人機的目標(biāo)一致，同時協(xié)調(diào)無人機之間的連接和協(xié)作。MUSC的優(yōu)勢在于可以提高任務(wù)完成效率，同時降低任務(wù)執(zhí)行成本。MUSC的連接方式通常分為以下幾個步驟。①建立連接：需要建立一個初始連接，以確保所有無人機之間的信息交流和溝通。該連接可以通過無線電或衛(wèi)星通信等方式實現(xiàn)。②分配任務(wù)：根據(jù)不同無人機的任務(wù)需求，將監(jiān)測環(huán)境、監(jiān)視目標(biāo)等任務(wù)分配給它們。③協(xié)作：在完成任務(wù)后，無人機之間需要相互協(xié)作，以更高效地執(zhí)行任務(wù)。這種協(xié)作可以通過連續(xù)連接來實現(xiàn)。④連續(xù)連接：當(dāng)所有無人機完成任務(wù)后，可以通過無線通信或衛(wèi)星通信等方式將任務(wù)結(jié)果返回給管理者或指揮官。管理者或指揮官可以根據(jù)實際情況，選擇合適的連接方式來實現(xiàn)MUSC的連續(xù)連接。

3.3 循環(huán)連接

無人機在執(zhí)行任務(wù)時，往往需要面對通信受限、通信時延、任務(wù)切換等問題。在傳統(tǒng)的多機協(xié)同中，由于每個無人機之間的通信距離較遠，通信時延較大，導(dǎo)致任務(wù)執(zhí)行的效率較低。為了提高協(xié)同效率，研究者們提出了很多基于強化學(xué)習(xí)的網(wǎng)絡(luò)協(xié)同訓(xùn)練方法，但這些方法大多只考慮了單一無人機的局部狀態(tài)和局部動作，缺乏對多機協(xié)同關(guān)系的考慮[3]。

以下是多無人機協(xié)同策略循環(huán)連接分析的一些關(guān)鍵步驟。①確定任務(wù)需求：確定需要實現(xiàn)的任務(wù)需求，這需要根據(jù)具體任務(wù)需求進行分析和建模。②建立通信連接：需要建立多個無人機之間的通信連接，以確保每個無人機都能夠接收到來自其他無人機的信息，并將這些信息傳達給它們。③確定最佳策略：在建立了通信連接后，需要確定最佳的協(xié)同策略。這需要考慮每個無人機的性能、任務(wù)需求和環(huán)境因素等因素，最終確定最佳的協(xié)同策略，確保任務(wù)能夠得到有效完成。④協(xié)調(diào)行動：在完成協(xié)同任務(wù)后，需要協(xié)調(diào)所有無人機的行動，以實現(xiàn)整體任務(wù)目標(biāo)。這需要通過制定決策和規(guī)劃來實現(xiàn)。⑤監(jiān)測任務(wù)進展：需要監(jiān)測所有無人機的任務(wù)進展情況，并根據(jù)需要進行調(diào)整和決策。這需要對無人機之間的通信連接、執(zhí)行任務(wù)過程中的狀態(tài)和結(jié)果等進行實時監(jiān)測和分析。

3.4 場景特征提取

多無人機協(xié)同場景特征提取是指將多個無人機分別拍攝同一地點的圖像，并從圖像中提取出場景的特征，如建筑物、道路、植被等。提取的特征可以用來進行場景建模、三維重建、目標(biāo)檢測等應(yīng)用。以下是一些常見的多無人機協(xié)同場景特征提取方法。①建筑物特征提?。航ㄖ锸嵌酂o人機協(xié)同場景中最常用的特征之一。在圖像中，可以通過提取圖像中建筑物的輪廓、色彩、形狀等信息，為后續(xù)的三維重建和目標(biāo)檢測等應(yīng)用提供支持。②道路特征提?。旱缆肥嵌酂o人機協(xié)同場景中另一個常見的特征。在圖像中，可以將圖像轉(zhuǎn)換為數(shù)字圖像，然后通過邊緣檢測、Canny邊緣檢測等算法提取出圖像中的道路邊緣信息。三維重建是多無人機協(xié)同場景中另一個常用的應(yīng)用。在圖像中，可以將圖像轉(zhuǎn)換為數(shù)字3D模型，然后通過立體匹配、定位與導(dǎo)航等算法實現(xiàn)3D模型到二維平面圖的投影，從而提取出場景的三維信息。

3.5 網(wǎng)絡(luò)訓(xùn)練

基于強化學(xué)習(xí)的多機協(xié)同訓(xùn)練方法，可以在通信受限環(huán)境中，實現(xiàn)對無人機間通信距離、任務(wù)切換等問題的解決。該方法首先利用多智能體系統(tǒng)（Multi-Agent System，MAS）模型對無人機進行建模，然后基于馬爾可夫決策過程（Markov Decision Process，MDP）建立多無人機協(xié)同網(wǎng)絡(luò)模型，最后根據(jù)每個無人機與其他無人機間的通信距離以及任務(wù)切換等情況進行網(wǎng)絡(luò)訓(xùn)練，從而實現(xiàn)多機間協(xié)同。

多無人機協(xié)同網(wǎng)絡(luò)模型包括兩個部分，即無人機之間的通信關(guān)系和任務(wù)切換關(guān)系。對于每架無人機而言，其狀態(tài)包括飛行狀態(tài)和交互狀態(tài)兩個部分。飛行狀態(tài)描述了每架無人機在飛行過程中的飛行動作，而交互狀態(tài)描述了每個無人機與其他無人機的交互動作[4]。其中通信關(guān)系與任務(wù)切換關(guān)系分別用矩陣形式來表示。其中，在多無人機協(xié)同網(wǎng)絡(luò)模型中，通信關(guān)系可以用一個矩陣表示。假設(shè)有N個無人機，通信關(guān)系矩陣C的元素C[i][j]表示第i個無人機與第j個無人機是否能夠進行直接通信。如果能夠進行直接通信，則C[i][j]=1；否則，C[i][j]=0。例如，若某個位置上的無人機A和B可以建立直接通信，則C[AB]=1。

類似地，任務(wù)切換關(guān)系也可以用一個矩陣表示。假設(shè)每個無人機有M個任務(wù)可供切換，任務(wù)切換關(guān)系矩陣T的元素T[i][j]表示第i個無人機是否可以切換到第j個任務(wù)上執(zhí)行。如果可以切換，則T[i][j]=1；否則，T[i][j]=0。例如，在某種情況下，若無人機A和B可以相互切換任務(wù)，則t[AB]=1。

在該部分，可以采用來自AIRS的飛行數(shù)據(jù)，對所提出的算法進行實驗驗證。AIRS是一個用于分析無人機在飛行過程中各種性能指標(biāo)的開源工具，它由美國國家航空航天局（NASA）發(fā)布，是美國宇航局用于飛行測試與評估的重要工具。該數(shù)據(jù)集包括P-8A、P-9A、P-10A和P-8B四個飛機型號，可在不同的訓(xùn)練環(huán)境中對所提出算法進行驗證，包括無人偵察機、固定翼無人機和旋翼無人機。實驗環(huán)境包括大氣湍流、風(fēng)和云、地形起伏以及干擾情況等。本節(jié)中，主要使用了人工數(shù)據(jù)集和真實飛行數(shù)據(jù)集來驗證本文提出算法的性能，并將驗證結(jié)果與其他基于強化學(xué)習(xí)的多機協(xié)同算法進行比較。還可以用三種不同的訓(xùn)練方法來測試算法的性能。最后以平均絕對誤差、平均誤差標(biāo)準差、平均絕對誤差方差和平均絕對誤差百分比四個指標(biāo)來衡量算法的性能。

3.6 控制系統(tǒng)框架

可設(shè)計一個基于馬爾可夫決策過程的多無人機協(xié)同控制系統(tǒng)框架，其中控制器可以對多無人機進行協(xié)調(diào)和管理，包括任務(wù)分配、編隊管理、航跡規(guī)劃等方面。在任務(wù)分配方面，通過對環(huán)境進行建模，將任務(wù)分為簡單任務(wù)和復(fù)雜任務(wù)兩類。在編隊管理方面，通過對無人機之間的協(xié)同行為進行建模，實現(xiàn)對無人機之間的動態(tài)協(xié)作和控制。

基于馬爾可夫決策過程的多無人機協(xié)同控制系統(tǒng)框架是一種用于多無人機協(xié)同控制的技術(shù)，它將無人機看作是一個馬爾可夫決策過程的參與者，通過制定協(xié)同控制策略，實現(xiàn)無人機之間的通信和協(xié)調(diào)，以完成預(yù)定的任務(wù)。該框架主要由以下幾個模塊組成。①狀態(tài)模塊：該模塊用于收集和存儲無人機之間的交互信息，包括無人機的位置、狀態(tài)、速度、加速度等信息。②決策模塊：該模塊使用馬爾可夫決策過程來分析和解決問題，通過對無人機之間的交互行為進行分析，尋找最優(yōu)解[5]。③行動模塊：該模塊根據(jù)決策結(jié)果，選擇最優(yōu)的行動方案，并將行動方案傳遞給無人機。④評價模塊：該模塊使用狀態(tài)轉(zhuǎn)移矩陣和獎勵函數(shù)來評估行動方案的優(yōu)劣，并將結(jié)果反饋給無人機。⑤通信模塊：該模塊使用無線通信技術(shù)將數(shù)據(jù)傳輸給無人機，以保證無人機之間的實時通信。⑥控制模塊：該模塊使用狀態(tài)轉(zhuǎn)移矩陣和獎勵函數(shù)來控制無人機之間的通信和協(xié)同動作，并將行動方案轉(zhuǎn)化為數(shù)字信號傳遞給無人機。⑦輸出模塊：該模塊使用控制指令來控制無人機完成預(yù)定任務(wù)，并將結(jié)果反饋給用戶。以上框架的設(shè)計和實現(xiàn)，實現(xiàn)了多無人機之間的協(xié)同控制，提高系統(tǒng)的效率和精度，同時也為研究多無人機協(xié)同控制提供了一種新的思路和方法。

4 結(jié)束語

基于強化學(xué)習(xí)的通信環(huán)境受限下的多無人機協(xié)同策略通過加強其通信功能，實現(xiàn)通信模塊性能的優(yōu)化。本文同時基于馬爾科夫決策進行協(xié)同策略的設(shè)計，建造出多無人機協(xié)同模型，對其進行網(wǎng)絡(luò)訓(xùn)練，以提高多無人機協(xié)同的精準度，進而在強化學(xué)習(xí)的基礎(chǔ)上實現(xiàn)多無人機的協(xié)同運行。