馮振宇，彭倍，王剛

(電子科技大學(xué) 機械與電氣工程學(xué)院，四川 成都 611731)

0 引 言

圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）是一種流行的圖形數(shù)據(jù)學(xué)習(xí)表示工具，包括但不限于社交網(wǎng)絡(luò)、分子圖和知識圖[1]。GNN 比傳統(tǒng)的決策樹的邏輯推理更具有效性[2-4]?；趫D神經(jīng)網(wǎng)絡(luò)的水下無人系統(tǒng)智能決策，是針對水下無人系統(tǒng)集群實際應(yīng)用的特殊需求，如通信受限、多任務(wù)、復(fù)雜多變環(huán)境等約束，為了滿足水下無人系統(tǒng)集群智能的決策需求，采用認(rèn)知推理理論，運用圖神經(jīng)網(wǎng)絡(luò)方法解決水下無人系統(tǒng)集群智能實現(xiàn)過程中存在的智能決策問題。集群智能決策主要是基于“約束—集群—環(huán)境”的認(rèn)知推理，并在實時交互環(huán)境中實現(xiàn)集群的任務(wù)分配策略、任務(wù)執(zhí)行策略的推理決策。

人工智能強化學(xué)習(xí)（reinforcement learning，RL）領(lǐng)域是基于知識表示、認(rèn)知學(xué)習(xí)實現(xiàn)智能推理決策的，當(dāng)前的強化學(xué)習(xí)方法在關(guān)系型問題推理和約束動態(tài)推理上存在很多不足[5]。所以，根據(jù)領(lǐng)域最新的研究成果，基于圖神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)方法是實現(xiàn)關(guān)系型問題推理和約束動態(tài)推理的研究方向之一[6]。

強化學(xué)習(xí)的基本思想是智能體（Agent）在與環(huán)境交互的過程中根據(jù)環(huán)境反饋得到的獎勵不斷調(diào)整自身的策略以實現(xiàn)最佳決策，主要用來解決決策優(yōu)化類的問題。其基本要素有策略、回報函數(shù)、值函數(shù)、環(huán)境模型，學(xué)習(xí)過程可以描述為如圖1 所示的馬爾科夫決策過程。強化學(xué)習(xí)基本學(xué)習(xí)模型首先智能體感知當(dāng)前狀態(tài) S ，從動作空間A 中選擇動作 at執(zhí)行; 環(huán)境根據(jù)智能體做出的動作來反饋相應(yīng)的獎勵 rt+k，并轉(zhuǎn)移到新的狀態(tài)St+k，智能體根據(jù)得到的獎勵來調(diào)整自身的策略并針對新的狀態(tài)做出新的決策。強化學(xué)習(xí)的目標(biāo)是找到一個最優(yōu)策略 π*，使得智能體在任意狀態(tài)和任意時間步驟下，都能夠獲得最大的長期累積獎賞：

圖 1 強化學(xué)習(xí)基本框架Fig. 1The basic framework of Reinforcement learning

其中π 表示智能體的某個策略，γ∈[0，1]為折扣率，k 為未來時間步驟，S 為狀態(tài)空間。

圖神經(jīng)網(wǎng)絡(luò)算法理論是基于人腦認(rèn)知推理決策的認(rèn)知學(xué)科的推理決策模式[7]?；贕NN 強化學(xué)習(xí)智能決策算法，是運用人工智能GNN 算法來實現(xiàn)集群Agents 的智能決策策略的求解，通過構(gòu)建帶有屬性的圖[頂點，邊]，繼而通過頂點到邊，邊到頂點，邊和頂點到全局圖屬性的迭代計算實現(xiàn)智能決策推理學(xué)習(xí)[3]。

圖2 為針對無人系統(tǒng)集群智能輔助決策系統(tǒng)作戰(zhàn)應(yīng)用的具體場景。首先，進(jìn)行認(rèn)知建模，將決策影響因素抽象成實體與關(guān)系的圖。然后，根據(jù)GNN 算法原理構(gòu)建實體、關(guān)系，進(jìn)行推理決策參數(shù)訓(xùn)練。

圖 2 GNN 理論模型Fig. 2GNN theoretical model

基于圖神經(jīng)網(wǎng)絡(luò)的無人系統(tǒng)集群智能強化學(xué)習(xí)研究，是在傳統(tǒng)集群智能的基礎(chǔ)上，將人工智能-強化學(xué)習(xí)技術(shù)融合進(jìn)去，主要采用的是連結(jié)主義核心思想（見表1），采用最新的圖神經(jīng)網(wǎng)絡(luò)算法理論，實現(xiàn)無人系統(tǒng)集群的智能的推理決策、模型訓(xùn)練、經(jīng)驗學(xué)習(xí)，進(jìn)一步提高無人系統(tǒng)集群智能程度[8]。

表 1 人工智能實現(xiàn)方法主要流派Tab. 1 The main schools of artificial intelligence implementation methods

1 水下無人系統(tǒng)智能決策模型建立

航行器節(jié)點屬性矩陣 Ui,t為描述單個航行器平臺固有屬性和狀態(tài)屬性的矩陣。該矩陣能夠描述航行器性能和當(dāng)前位置等狀態(tài)并實時更新，從而在決策圖中作為頂點來進(jìn)行決策圖全局屬性的迭代計算；任務(wù)節(jié)點屬性矩陣 Ti,t為描述水下無人系統(tǒng)集群在一次任務(wù)中需要完成的一個或者多個特殊任務(wù)屬性的矩陣，該矩陣包含需要執(zhí)行任務(wù)的類型，任務(wù)信息描述（區(qū)域，范圍等）；約束節(jié)點屬性矩陣 Ci,t為描述任務(wù)執(zhí)行過程中的約束條件矩陣，該矩陣包含一次任務(wù)過程中水下無人航行器集群會面臨的時間約束，能量約束，復(fù)雜環(huán)境約束等信息；隊形節(jié)點屬性矩陣Fi,t為描述水下無人航行器集群任務(wù)執(zhí)行、行進(jìn)過程中的隊形的矩陣，包含集群需要保持的隊形信息；全局屬性矩陣Gi,t為描述決策圖所有頂點及其之間對應(yīng)關(guān)系邊所構(gòu)成的決策結(jié)果描述矩陣，包含該次決策結(jié)果的衡量和描述信息。

頂點屬性更新邊的屬性，邊是有方向的，接收頂點矩陣與發(fā)出點矩陣通過對應(yīng)回報計算函數(shù)給當(dāng)前有向邊屬性進(jìn)行賦值，表示當(dāng)前邏輯連接關(guān)系的回報。通過對應(yīng)的預(yù)先設(shè)定的回報計算函數(shù)來進(jìn)行任務(wù)←f(T,U) → 航行器，約束←f(C,U)→航行器回報，隊形←f(F,U)→航行器的對應(yīng)邊關(guān)系進(jìn)行邊屬性回報值計算：

圖3（a）為基于GNN 的水下無人系統(tǒng)智能決策的決策表示，決策圖中頂點分別表示在一次智能決策中所有的任務(wù)、約束、航行器、隊形等需要進(jìn)行決策和影響決策的信息。圖3（b）為在初始化的決策圖的基礎(chǔ)上，通過決策算法1 的強化學(xué)習(xí)迭代求解對決策圖的頂點屬性、邊屬性、全局圖屬性進(jìn)行了一定程度的更新，直至最終算法迭代終止，完成一次基于GNN 的水下無人系統(tǒng)智能決策的強化學(xué)習(xí)，并根據(jù)強化學(xué)習(xí)結(jié)果給出對應(yīng)的最優(yōu)智能決策的策略。

圖 3 決策訓(xùn)練Fig. 3Decision training

2 水下無人系統(tǒng)智能決策仿真

基于GNN 的水下無人系統(tǒng)決策仿真試驗驗證，對1 個任務(wù)、1 個約束、1 個隊形約束、4 臺不同類型的水下無人航行器進(jìn)行智能決策GNN 圖的強化學(xué)習(xí)，目的是從4 臺無人水下航行器中選擇幾臺來執(zhí)行滿足該約束與隊形的任務(wù)。圖4 為MDP 強化學(xué)習(xí)的仿真GNN 決策圖。其中節(jié)點1 表示搜索任務(wù)，節(jié)點2 表示能量約束，節(jié)點3 表示任務(wù)對應(yīng)的隊形約束，節(jié)點4～節(jié)點7 表示可以選擇來完成任務(wù)的航行器，每個航行器的最大速度、續(xù)航能力等都不相同。如果能夠滿足任務(wù)需求該航行器代表的頂點與約束頂點的邊屬性即強化學(xué)習(xí)回報為1，否則回報為0。同理，決策時能夠滿足任務(wù)需求的邊屬性回報值為1，否則為0。

圖 4 MDP 仿真模型GNN 決策圖Fig. 4Simulation GNN Decision Graph of MDP

圖5 為基于圖神經(jīng)網(wǎng)絡(luò)技術(shù)的水下無人系統(tǒng)智能決策M(jìn)atlab 仿真試驗結(jié)果，其中縱坐標(biāo)是決策圖全局屬性的總回報，橫坐標(biāo)是決策圖進(jìn)行強化學(xué)習(xí)訓(xùn)練的迭代步數(shù)。由圖可知，在進(jìn)行100 次訓(xùn)練時就可以通過GNN 決策圖輸出可以滿足任務(wù)執(zhí)行需求的決策結(jié)果。最優(yōu)的決策圖全局策略回報值為4，如果強化學(xué)習(xí)對決策圖的訓(xùn)練結(jié)果總回報為4 時即表示策略成功。

圖 5 智能決策強化學(xué)習(xí)仿真結(jié)果Fig. 5Intelligent decision RL simulation results

最終基于GNN 的水下無人系統(tǒng)智能決策強化學(xué)習(xí)仿真給出的決策策略結(jié)果如圖6 所示。從備選UUV 中選擇航行器02，航行器03，航行器04 即可順利完成節(jié)點2、節(jié)點3 約束下的節(jié)點1 任務(wù)。

圖 6 智能決策策略結(jié)果Fig. 6Intelligent Decision Policy Result

所以，從該決策仿真試驗的結(jié)果來看，水下無人系統(tǒng)能夠基于圖神經(jīng)網(wǎng)絡(luò)技術(shù)與人工智能強化學(xué)習(xí)方法有效結(jié)合，在較短的時間內(nèi)提出智能決策策略，從而為指揮人員提供參考。

3 結(jié) 語

本文的研究表明基于圖神經(jīng)網(wǎng)絡(luò)的智能決策方法能夠滿足水下無人系統(tǒng)智能決策動態(tài)任務(wù)，動態(tài)約束，動態(tài)集群需求的智能決策，并且能夠快速訓(xùn)練出最優(yōu)的決策策略，為指揮人員提供智能決策建議。但是，本文的研究簡化了決策圖頂點屬性及頂點間邊屬性的回報值計算。在后續(xù)的研究中，將結(jié)合實際應(yīng)用場景進(jìn)行決策邊屬性的更新計算，并探索不同決策圖之間共性頂點的經(jīng)驗學(xué)習(xí)。