饒 寧，許 華，蔣 磊，宋佰霖，史蘊豪

（空軍工程大學(xué)信息與導(dǎo)航學(xué)院，陜西西安 710077）

1 引言

電磁空間是繼陸、海、空、天的第五維戰(zhàn)場. 在感知、決策、行動、評估的閉環(huán)電磁頻譜作戰(zhàn)過程中，決策是確保電子對抗效能發(fā)揮的關(guān)鍵環(huán)節(jié)，科學(xué)決策可最優(yōu)化資源的配置利用. 近年，智能決策已經(jīng)成為認知電子戰(zhàn)的一個重要研究方向［1］，遺傳算法、博弈論、分布式優(yōu)化等理論［2～4］被相繼用于干擾參數(shù)優(yōu)化、資源分配等領(lǐng)域，但這些方法都需要較多的先驗參數(shù)信息. 強化學(xué)習(xí)作為不需要先驗信息的機器學(xué)習(xí)方法，能以與未知環(huán)境交互的方式優(yōu)化策略，目前在通信干擾領(lǐng)域已有初步應(yīng)用，如文獻［5，6］通過建立多臂賭博機模型來學(xué)習(xí)最佳干擾樣式，文獻［7］將對無線網(wǎng)絡(luò)的干擾建模為增廣馬爾科夫決策過程，通過實驗表明干擾方可通過與環(huán)境交互的方式學(xué)習(xí)到干擾成本、網(wǎng)絡(luò)吞吐量等重要信息.

隨著計算機運算和存儲能力的大幅提升，深度學(xué)習(xí)在人工智能領(lǐng)域獲得了巨大成功，其與強化學(xué)習(xí)相結(jié)合的深度強化學(xué)習(xí)技術(shù)在無人駕駛、視頻游戲、云邊計算服務(wù)、機器人控制等領(lǐng)域也展現(xiàn)了驚人的自主決策能力［8～13］. 同時，人工智能也不斷驅(qū)動無線通信網(wǎng)絡(luò)的智能化發(fā)展［14］. 當(dāng)前利用深度強化學(xué)習(xí)解決高維空間的資源分配問題成為研究熱點，主要研究成果可分為基于單智能體強化學(xué)習(xí)的方法［15～17］和基于多智能體強化學(xué)習(xí)（Multi-Agent Reinforcement Learning，MARL）的方法［18～22］. 在單智能體強化學(xué)習(xí)的方法中，智能體將所有設(shè)備或用戶的狀態(tài)和動作信息集中在一起，構(gòu)成一個整體的狀態(tài)和動作空間，通過集中式控制完成用戶調(diào)度［15］、信道管理［16］和功率分配［17］等任務(wù)，但這種集中控制的調(diào)度方法不可避免地帶來決策維度高、通信開銷大、系統(tǒng)擴展性差等問題［23］，一般適用于決策維度較低的場景. 在基于MARL 的方法中，每個設(shè)備或用戶均是一個智能體，通過各智能體協(xié)同決策的方式完成任務(wù)，可減小神經(jīng)網(wǎng)絡(luò)的輸入和輸出維度［24］. 為進一步提高決策效率，文獻［18］在頻率切換控制和功率分配的完全協(xié)作多智能體任務(wù)中采用集中式的策略梯度方法，各設(shè)備使用全局狀態(tài)信息進行訓(xùn)練，得到了較好的協(xié)作策略；文獻［19］和文獻［20］采用分布式深度Q網(wǎng)絡(luò)，先通過中心節(jié)點集中訓(xùn)練，而后將模型參數(shù)分發(fā)給各基站，提高了業(yè)務(wù)需求量較大情況下的用戶滿意度和系統(tǒng)穩(wěn)定性；文獻［21］在分布式深度Q 網(wǎng)絡(luò)中采用競爭雙Q 網(wǎng)絡(luò)結(jié)構(gòu)，各用戶設(shè)備依靠信息傳遞獲得的全局狀態(tài)信息進行隨機博弈；文獻［22］假設(shè)不同地區(qū)的通信鏈路屬性大致相同，使每個智能體可共享一個策略網(wǎng)絡(luò)，通過集中決策的方式提高了多用戶無線蜂窩網(wǎng)絡(luò)的總傳輸速率. 綜上所述，現(xiàn)有關(guān)于通信干擾領(lǐng)域的決策研究相對較少且大部分在信號體制層級［5～7］，而未來電子戰(zhàn)的體系對抗模式亟需開展協(xié)同干擾資源分配的相關(guān)研究.

本文面向?qū)菇M網(wǎng)通信場景下多干擾設(shè)備協(xié)同干擾中的干擾功率分配問題，提出了一種基于多智能體深度強化學(xué)習(xí)的分布式干擾功率分配機制（Multi-Agent Distributive Jamming Power Allocation，MADJPA），通過建立多干擾設(shè)備對多通信目標(biāo)協(xié)同干擾的干擾資源分配模型，搭建多干擾設(shè)備集中訓(xùn)練與分布執(zhí)行的決策網(wǎng)絡(luò)訓(xùn)練架構(gòu)，并融合強化學(xué)習(xí)方法和最大策略熵理論設(shè)計干擾功率智能分配算法，在滿足不同干擾壓制系數(shù)的整體干擾壓制條件下，優(yōu)化了干擾資源利用，提高了學(xué)習(xí)最優(yōu)分配策略的收斂速度.

本文的主要貢獻如下.

（1）為了適應(yīng)對多通信鏈路的多干擾設(shè)備協(xié)同干擾任務(wù)，將協(xié)同干擾功率分配問題轉(zhuǎn)化為完全協(xié)作的多智能體任務(wù)，建立了戰(zhàn)場條件下非完全信息決策的部分馬爾科夫決策過程（Partially Observable Markov Decision Processes，POMDP），在所設(shè)計的POMDP 獎勵函數(shù)中，綜合考慮了整體干擾壓制任務(wù)的實現(xiàn)以及干擾功率利用的最優(yōu)化問題，可以在不同干擾壓制系數(shù)條件下自適應(yīng)地調(diào)整合理的干擾功率分配方案.

（2）為了降低多干擾設(shè)備協(xié)同決策的維度，并緩解多干擾設(shè)備條件下決策網(wǎng)絡(luò)訓(xùn)練環(huán)境的不穩(wěn)定性，構(gòu)建了適用于戰(zhàn)場通信對抗場景的集中訓(xùn)練與分布執(zhí)行的決策網(wǎng)絡(luò)架構(gòu). 基于此架構(gòu)，單個干擾設(shè)備在決策時不需要其他干擾設(shè)備的信息，只依靠本地信息即可完成干擾設(shè)備之間的協(xié)同決策，減少了干擾設(shè)備之間由信息交換帶來的通信時延和通信開銷，更契合戰(zhàn)場環(huán)境對決策時效性的要求.

（3）設(shè)計基于多智能體深度強化學(xué)習(xí)的分布式干擾功率分配算法，為了加快各干擾設(shè)備對全局最優(yōu)協(xié)同策略的學(xué)習(xí)，在強化學(xué)習(xí)目標(biāo)函數(shù)中引入干擾策略熵項，使算法在優(yōu)化過程中同時最大化累積干擾獎勵和最大化干擾策略熵，并結(jié)合梯度下降自適應(yīng)調(diào)整干擾策略的熵系數(shù)，適時地控制各智能體在未知環(huán)境中的探索能力，進一步提升算法收斂速度，在干擾壓制系數(shù)較大的情況下可更精細地分配各干擾設(shè)備的干擾功率.

2 對抗模型

本文以戰(zhàn)場對抗環(huán)境下干擾方對敵方前突飛機遂行壓制干擾任務(wù)為例，如圖1 所示. 當(dāng)敵方飛機發(fā)現(xiàn)其所使用的通信鏈路被干擾后，可切換至區(qū)域內(nèi)其他基站的通信鏈路繼續(xù)通信. 干擾方通過指揮控制端對目標(biāo)頻譜進行偵察，指控端內(nèi)部的智能引擎根據(jù)偵察情報完成干擾任務(wù)分配，下發(fā)至各干擾設(shè)備. 假設(shè)干擾方有N臺干擾設(shè)備，干擾設(shè)備的集合為Ns={1,2,…,N}，干擾設(shè)備均采用攔阻干擾樣式. 敵方飛機可根據(jù)實際情況和自身通聯(lián)狀態(tài)與不同基站進行通信，受干擾后可重新選擇通信鏈路，Ms={1,2,…,M}表示所有基站的通信鏈路集合，假設(shè)各鏈路信道為互不干擾、相互獨立的等帶寬正交信道.

圖1 對抗模型示意圖

假設(shè)干擾方通過通信偵察和情報分析綜合掌握了各鏈路的中心頻率，獲得了各鏈路的相對重要性指數(shù)：

為盡可能破壞敵通聯(lián)情況，形成對區(qū)域內(nèi)的完全壓制干擾，干擾方應(yīng)在當(dāng)前干擾資源條件下合理分配各干擾設(shè)備的干擾任務(wù)，通過各設(shè)備協(xié)同合作的方式對偵察到的所有通信鏈路都進行壓制干擾，即達到對整體通信網(wǎng)的完全壓制效果.

假設(shè)每部干擾設(shè)備可同時干擾U個目標(biāo)，對不同目標(biāo)的干擾功率需滿足頻分原則，即

其中，Pmax為干擾設(shè)備的最大輻射功率.

設(shè)t時刻鏈路i的基站發(fā)射信號功率為Pi，信道增益為Gi，用和分別表示干擾設(shè)備j分配至該鏈路的干擾信號功率以及相應(yīng)的干擾信道增益. 考慮到一條鏈路可能受到不同干擾設(shè)備的干擾，鏈路i中飛機接收電臺處的干信比（Jamming Signal Ratio，JSR）可表示為

其中，σ2表示環(huán)境噪聲功率；Li和Lj分別表示地空通信鏈路和干擾鏈路的傳輸損耗. 為便于分析不考慮信號的帶外損失，假設(shè)路徑損耗為自由空間傳播損耗［25］，損耗可表示為

其中，f為鏈路中心頻率；d為信號傳播距離.

為了定量描述通信干擾對通信接收機的影響程度，引入干擾壓制系數(shù). 當(dāng)每條鏈路的干信比均超過干擾壓制系數(shù)K，即滿足式（5）時視為實現(xiàn)整體完全壓制干擾.

其中，Ki為鏈路i所對應(yīng)的干擾壓制系數(shù). 各通信鏈路的干擾壓制系數(shù)對于干擾方而言是未知的.

結(jié)合各鏈路重要性指數(shù)，針對干擾壓制系數(shù)未知時，實現(xiàn)整體完全壓制干擾的干擾功率分配問題可轉(zhuǎn)為求解優(yōu)化問題，如下所示：

3 基于MARL的分布式干擾功率分配算法

3.1 POMDP

式（6）、式（7）是非凸優(yōu)化的NP-Hard 難題，尤其當(dāng)同時存在離散空間和連續(xù)空間的待優(yōu)化參數(shù)時應(yīng)用傳統(tǒng)數(shù)學(xué)優(yōu)化方法難以求解. 本文采用深度強化學(xué)習(xí)（Deep Reinforcement Learning，DRL）方法解決該問題. 不同于一般的監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)，DRL 作為不需要先驗信息的機器學(xué)習(xí)方法，采用試錯方式進行策略優(yōu)化，即控制智能體不斷與環(huán)境交互，根據(jù)環(huán)境給出反饋修正策略，目的是使得累積獎勵期望最大，這種學(xué)習(xí)方法能夠很好地處理本文研究的優(yōu)化問題.

DRL 需要根據(jù)問題模型建立相應(yīng)的馬爾科夫決策過程，本文將多干擾設(shè)備的協(xié)同資源分配問題建模為完全協(xié)作的多智能體任務(wù)［26］，考慮到戰(zhàn)場條件下該任務(wù)的非完全信息決策屬性，將其定義為POMDP，可用Γ=S,A,P,Ζ,O,r,N,γ表示，其中S為全局環(huán)境狀態(tài)空間，A為動作空間，P為狀態(tài)轉(zhuǎn)移概率，Z為局部觀測空間，O為觀測函數(shù)，r為獎勵函數(shù)，N為智能體數(shù)量，γ為折扣因子.POMDP過程可描述如下.

根據(jù)本文所研究的多智能體協(xié)作任務(wù)，將POMDP的元素具體定義如下.

（1）動作

其中，sign（·）為符號函數(shù).

所有干擾設(shè)備的聯(lián)合動作可表示為

其中，S為全局狀態(tài)空間.

（3）獎勵

MARL 中獎勵函數(shù)可引導(dǎo)算法的優(yōu)化方向，將獎勵函數(shù)的設(shè)計與實際優(yōu)化目標(biāo)聯(lián)系起來，算法性能可在獎勵驅(qū)動下得到提高. 本文定義的獎勵函數(shù)包含對整體的完全壓制干擾獎勵和干擾功率利用最優(yōu)化獎勵.

定義對整體的完全壓制干擾獎勵為

在多干擾設(shè)備協(xié)同任務(wù)中，所有設(shè)備共享一個獎勵值，利用該公共獎勵值驅(qū)動MARL 算法實現(xiàn)整體的完全壓制效果和最優(yōu)干擾資源利用之間的平衡.

3.2 集中式訓(xùn)練、分布式執(zhí)行

多智能體協(xié)同任務(wù)中，各智能體的策略與其他智能體的行為和合作關(guān)系相關(guān)聯(lián)，相關(guān)的學(xué)習(xí)算法通?？煞譃橐韵聨追N結(jié)構(gòu).

一是集中式學(xué)習(xí). 將所有智能體的動作和觀測進行聯(lián)合，得到一個擴張的動作空間和觀測空間，利用神經(jīng)網(wǎng)絡(luò)將所有智能體的聯(lián)合觀測動作映射到一個集中策略函數(shù)和集中價值函數(shù)，然后直接使用傳統(tǒng)的單智能體強化學(xué)習(xí)方法，如圖2 所示. 每個設(shè)備將自身狀態(tài)上傳至集中網(wǎng)絡(luò)，由集中策略網(wǎng)絡(luò)統(tǒng)一決策所有設(shè)備的策略. 此種學(xué)習(xí)方式會使得聯(lián)合觀測和狀態(tài)空間隨著智能體數(shù)量的增加而擴大，如本文假設(shè)干擾設(shè)備數(shù)量為N，通信鏈路數(shù)為M，由POMDP 可知集中策略網(wǎng)絡(luò)輸入維度為2MN，輸出維度為MN. 隨著干擾設(shè)備數(shù)量N增多，集中策略網(wǎng)絡(luò)的維度增多，策略探索開銷變大［23］.

圖2 集中式學(xué)習(xí)

二是獨立式學(xué)習(xí). 各智能體獨立維護自身策略函數(shù)和價值函數(shù)，且各函數(shù)的輸入只依賴智能體各自觀測和動作，各智能體基于自身策略網(wǎng)絡(luò)獨立決策并獨立訓(xùn)練自身網(wǎng)絡(luò). 此種學(xué)習(xí)方式中，策略網(wǎng)絡(luò)的輸入維度為2M，輸出維度為M，與智能體數(shù)量無關(guān). 但對于某個特定智能體而言，由于其他智能體學(xué)習(xí)過程中策略不斷變化，容易造成環(huán)境非平穩(wěn)，訓(xùn)練難以收斂.

三是值函數(shù)分解. 在獨立式學(xué)習(xí)的基礎(chǔ)上，將各智能體的值函數(shù)進行加和，以值函數(shù)近似的方式求解全局值函數(shù)，然后站在全局的角度去優(yōu)化更新每個智能體的值函數(shù). 此種學(xué)習(xí)方式能解決環(huán)境非平穩(wěn)性，但只適用于離散動作空間，不適用于本文所研究的問題.

本文將集中式學(xué)習(xí)與獨立式學(xué)習(xí)的優(yōu)勢相融合，采用集中式訓(xùn)練、分布式?jīng)Q策的結(jié)構(gòu)，如圖3所示.

圖3 集中式訓(xùn)練、分布式?jīng)Q策結(jié)構(gòu)

“集中式訓(xùn)練”重點在于每個設(shè)備在訓(xùn)練時需將其他干擾設(shè)備的觀測和動作（可視為全局狀態(tài)信息）輸入其評估網(wǎng)絡(luò)，通過集中式地評估聯(lián)合動作來增強各干擾設(shè)備的協(xié)調(diào)配合. 集中評估的方式可使得其他干擾設(shè)備策略相對已知，克服了策略變化造成的環(huán)境不平穩(wěn)［27］.“分布式?jīng)Q策”意為各設(shè)備在決策干擾動作時只需將各自的觀測輸入至各自的策略網(wǎng)絡(luò)中即可完成協(xié)同決策，不再需要中心控制器集中處理各干擾設(shè)備的聯(lián)合觀測信息. 此時智能體策略網(wǎng)絡(luò)的輸入維度為2M，輸出維度為M，相比于集中式學(xué)習(xí)，決策維度降低了M(N-1)，而由實際經(jīng)驗看，決策維度太大是導(dǎo)致決策失敗的重要原因之一，降低決策維度可提升方法的可行性.

3.3 MADJPA算法

在集中式訓(xùn)練、分布式?jīng)Q策框架下，為了提高每個智能體在未知環(huán)境中的探索效率，本文采用同時最大累積獎勵和策略熵［28］的優(yōu)化路線，在式（8）中加入策略熵項，即

策略熵即策略分布熵，當(dāng)策略熵較大時意味著策略的隨機性較強，在未知環(huán)境中的探索能力較強，而適度的探索可實現(xiàn)對環(huán)境模型的充分學(xué)習(xí)，避免陷入局部最優(yōu).

為平衡智能體在未知環(huán)境中的探索和對現(xiàn)有知識的利用，設(shè)置熵系數(shù)α的優(yōu)化目標(biāo)函數(shù)［24］，以梯度下降方式更新其值，熵系數(shù)優(yōu)化目標(biāo)函數(shù)為

初始階段，α值較大策略隨機性也較大，探索效率較高；隨著智能體對環(huán)境模型的不斷學(xué)習(xí)，α自適應(yīng)減??；當(dāng)α下降至0 時，式（16）中無熵項，此時智能體的優(yōu)化目標(biāo)就變?yōu)閭鹘y(tǒng)的最大化累積獎勵.

在遞歸求解最佳策略π*時采用的Q函數(shù)迭代式可表示為

本文用神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)和策略函數(shù)，并采用Kullback-Leibler（KL）散度約束來更新策略［29］，即

其中，DKL(?)表示KL 散度約束；Qπold(si,·)表示原策略下的Q函數(shù)；Zπold(si)表示原策略的對數(shù)配分函數(shù).

在各個智能體內(nèi)部進行基于最大策略熵深度強化學(xué)習(xí)的策略優(yōu)化，據(jù)此本文提出了基于MARL 的分布式干擾功率分配算法（MADJPA），圖4 所示是MADJPA算法示意圖.

圖4 MADJPA算法示意圖

此外，為了避免評估網(wǎng)絡(luò)對動作Q值的過高估計，本文在評估網(wǎng)絡(luò)中采用孿生網(wǎng)絡(luò)結(jié)構(gòu)［31］，即評估網(wǎng)絡(luò)內(nèi)部有兩個結(jié)構(gòu)相同的神經(jīng)網(wǎng)絡(luò)，每次取兩者輸出較小的結(jié)果計算干擾動作的目標(biāo)價值，故式（18）可改寫為

利用孿生網(wǎng)絡(luò)的輸出計算聯(lián)合干擾動作的目標(biāo)價值為

并更新孿生評估網(wǎng)絡(luò)參數(shù)θi1和θi2，即

緊接著更新策略網(wǎng)絡(luò)的參數(shù)?i，即

當(dāng)訓(xùn)練完成后各干擾設(shè)備獲得分布式干擾策略，執(zhí)行任務(wù)分配時每個干擾設(shè)備僅依靠本地觀測可完成決策. 分布式策略如圖5所示.

圖5 分布式策略

算法偽代碼如算法1所示.

算法1 MADJPA偽代碼輸入:干擾設(shè)備數(shù)量N,設(shè)備編號i ?{1,2,…,N};通信鏈路數(shù)M;干擾壓制系數(shù)Kj輸出:各設(shè)備干擾策略π*i,i ?{1,2,…,N}開始:步驟1:初始化每個干擾設(shè)備的策略網(wǎng)絡(luò)πi(zi,?i),以及孿生評估網(wǎng)絡(luò)Qi1(s,a1t,a2t,…,aN t ,θi1),Qi2(s,a1t,a2t,…,aN t ,θi2),網(wǎng)絡(luò)參數(shù)分別為?i,θi1,θi2;步驟2:初始化每個干擾設(shè)備的目標(biāo)孿生網(wǎng)絡(luò)Qˉi1(s,a1 t,a2 t ,θˉi2),網(wǎng)絡(luò)參數(shù)分別為θˉi1,θˉi2;步驟3:初始化共享經(jīng)驗回放池CRB;步驟4:FOR each episode:初始化環(huán)境和狀態(tài);FOR each step t:t,…,aN t ,θˉi1),Qˉi2(s,a1 t,a2t,…,aN對每個干擾設(shè)備i:根據(jù)當(dāng)前的觀測zi t,利用策略網(wǎng)絡(luò)選擇干擾方案ait～πi(ait|zit,?i);得到各設(shè)備的聯(lián)合干擾方案,執(zhí)行當(dāng)前干擾方案ait得到下一觀測zi t+1和公共獎勵rt;將所有干擾設(shè)備的經(jīng)驗(st,a1t,a2t,…,ait,…,aN t ,st+1,rt)存入公共經(jīng)驗回放池CRB:D ←D ∪{(st,a1t,a2 t,…,ai t,…,aN t ,st+1,rt)}當(dāng)CRB內(nèi)樣本數(shù)量大于τ時,訓(xùn)練網(wǎng)絡(luò):從CRB中采樣小批次樣本B={…,(sk,a1k,a2k,…,aik,…,aNk,sk+1,rk),…}Length=batch_size對每個干擾設(shè)備i:計算干擾方案目標(biāo)價值y(r(a1k,a2k,…,aNk,sk),sk+1)=r(a1k,a2k,…,aNk,sk)+γ ■■■min j=1,2 Qˉij(sk,aˉ′)-α log π?(aˉ′|sk+1)■■■aˉ′～πi=1,2,…,N(·|sk+1,?i)利用梯度下降更新孿生評估網(wǎng)絡(luò)參數(shù)θi1和θi2,即Qθij(sk,a1k,a2k,…,aik,…,aN k )2?θij 1|B∑|(sk,a1k,a2k,…,aik,…,aNk,sk+1,rk)?B()-y()r(a1k,a2k,…,aik,…,aNk,sk),sk+1 for j=1,2 θij ←θij-?θijJQ(θij),for j=1,2利用梯度下降更新策略網(wǎng)絡(luò)參數(shù)?i,即??i 1 min Qθij(sk,aˉ?i(sk))-α log π?i(aˉ?i(sk)|sk)2|B ∑sk ?B()|aˉ?i(sk)～πi=1,2,…,N(·|sk,?i)?i ←?i-??iJπ(?i)柔性更新孿生目標(biāo)網(wǎng)絡(luò)參數(shù)θˉi1和θˉi2,即θˉij ←τ ?θˉij+(1-τ)?θij, for j=1,2 END FOR END For結(jié)束得到各設(shè)備策略網(wǎng)絡(luò)π*i,i ?{1,2,…,N}

4 算法計算復(fù)雜度分析和收斂性證明

4.1 計算復(fù)雜度

4.2 算法收斂性證明

對于本文算法的收斂性分析，給出下述定理.

定理 在聯(lián)合策略集合Π中，當(dāng)動作空間維度有限即|A| <∞，存在策略π?Π，可收斂至最佳聯(lián)合策略π*，且有Qπ*(st,at)≥Qπ(st,at),?π?Π.

證明 將策略迭代優(yōu)化分為策略評估和策略改進兩個階段，在策略評估中，定義帶熵獎勵為

將式（18）重寫為

根據(jù)貝爾曼迭代公式有

令πi表示第i次迭代時的策略，可知序列{Qπ1,Qπ2,…,Qπi}是單調(diào)遞增的，由于獎勵和熵有界，故該序列可收斂于某個最佳策略π*.

在策略改進中，令式（19）中πnew(?|st)為

對所有的π?Π,π≠π*易知Jπold(πnew(?|st)) ≤Jπold(πold(?|s))，同樣利用策略評估中的迭代證明，可得對所有的(st,at)均有Qπ*(st,at)≥Qπ(st,at). 可知Π中其他策略的Qπ低于收斂后的策略，因此π*為Π中最優(yōu).

5 實驗仿真與分析

5.1 仿真參數(shù)設(shè)定

仿真場景中，設(shè)干擾方指揮控制端下屬3個干擾設(shè)備，每個干擾設(shè)備可同時干擾2 個目標(biāo). 在敵任務(wù)區(qū)域內(nèi)有若干地面通信基站，為敵機提供5 條可用的通信鏈路，假設(shè)每條通信鏈路有相同的干擾壓制系數(shù). 表1是經(jīng)過通信偵察情報分析處理后獲得的各鏈路綜合情報信息. 為實現(xiàn)對敵機群任務(wù)空域內(nèi)的整體完全壓制干擾，在計算信號傳播路徑損耗時，均以各基站中與飛機電臺最近的距離為通信信號的傳播距離，以干擾設(shè)備中與飛機電臺的最遠距離作為干擾信號的傳播距離.

表1 各通信鏈路信息

實驗及網(wǎng)絡(luò)模型參數(shù)如表2.

表2 實驗及網(wǎng)絡(luò)模型參數(shù)

智能體的策略網(wǎng)絡(luò)、評估網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)的隱藏層均為3 層全連接網(wǎng)絡(luò)，每層神經(jīng)元分別為256，128，64，網(wǎng)絡(luò)優(yōu)化器均采用Adam，且策略網(wǎng)絡(luò)的學(xué)習(xí)速率為0.000 1，評估網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)的學(xué)習(xí)速率為0.000 3，激活函數(shù)為Relu，策略網(wǎng)絡(luò)輸出層為tanh.

5.2 實驗結(jié)果分析

在相同實驗條件下，將本文所提的分布式算法MADJPA與文獻［22］中的算法進行比較，文獻［22］采用的是基于深度確定性策略梯度的集中式分配策略（Deep Deterministic Policy Gradient Centralized Alloca?tion，DDPGCA）. 此外為定性分析最大策略熵對算法性能的影響，增加本文算法優(yōu)化函數(shù)中不含熵項的MADJPA-No Entropy 算法（記為MADJPA-NE）的消融對比.

首先分析3 種算法對所有通信鏈路的整體完全壓制效果，考察各算法對協(xié)同策略的學(xué)習(xí)能力.

圖6（a）和（b）是壓制系數(shù)為2 時3 種算法對所有通信鏈路的整體完全壓制效果. 從圖6（a）的學(xué)習(xí)曲線可以明顯看出分布式的MADJPA 和MADJPA-NE 算法學(xué)習(xí)速度均相對更快，在300～500回合左右整體完全壓制成功率有較大提升，其中MADJPA 最高整體壓制成功率可達85%以上，MADJPA-NE 由于只追求最大化累積獎勵而未同時最大化策略熵，探索略有不足，容易陷入局部最優(yōu)，最高整體完全壓制成功率不如MADJPA. 而集中式的DDPGCA 初始階段由于各設(shè)備的聯(lián)合干擾動作空間較大，探索的時間較長，學(xué)習(xí)過程波動性較大，加之DDPGCA 采用的深度確定性策略本身對未知干擾動作探索效率不夠，最終整體完全壓制成功率在70%左右. 可見將各干擾設(shè)備的干擾動作空間聯(lián)合起來集中決策，會增加決策的復(fù)雜度，無論是從收斂速度還是收斂后的效果看，都不如分布式策略，并且加入最大策略熵準則后，分布式策略的整體性能可得到一定提升.

圖6 整體完全壓制效果

此外，圖6 中陰影部分表示根據(jù)500 次重復(fù)實驗結(jié)果計算的波動范圍，圖6（a）和（b）均表現(xiàn)出DDPGCA 整體振蕩幅度較大，而MADJPA 和MADJPA-NE 學(xué)習(xí)過程相對穩(wěn)定，波動性較小，其原因在于DDPGCA 作為集中式策略，是在更高維的擴張動作空間進行策略探索和優(yōu)化的，高維空間會增加決策困難度，而MADJPA 是分布式策略，其決策維度取決于單個設(shè)備的動作空間，維度相對更小，學(xué)習(xí)效率更高.

下面對比算法對各鏈路的壓制效果. 圖7是3種算法對各鏈路的壓制成功率曲線. 從圖7 可知，3 種算法均能優(yōu)先干擾重要性指數(shù)相對較高的鏈路5 和鏈路3，然而對于重要性指數(shù)較低的鏈路1 和鏈路2，DDPGCA的壓制率不高，相較而言，其他2 種算法能更好地協(xié)調(diào)各設(shè)備的干擾功率分配，各鏈路的壓制成功率均較DDPGCA 有所提升，表明分布式的MADJPA 算法更有利于協(xié)同策略的學(xué)習(xí). 此外，同樣由陰影部分可知分布式算法的學(xué)習(xí)過程更平穩(wěn).

圖7 3種算法對各鏈路的壓制成功率曲線

為考察各算法在實現(xiàn)整體完全壓制的同時能否盡量減少資源利用，對比了3 種算法對所有鏈路分配的總干擾功率，結(jié)果如圖8 所示. 當(dāng)3 個干擾設(shè)備額定最大功率和為81.2 dBm，3 種算法均能一定程度地減少資源利用，MADJPA 算法最終分配給各鏈路的干擾功率為80 dBm 左右，相比于全功率干擾節(jié)省了一定的干擾資源，同樣也比DDPGCA 算法更節(jié)省干擾功率.戰(zhàn)場環(huán)境下，在壓制敵方的前提下減小自身輻射功率可減輕對己方通信的影響，也可避免功率過大暴露自身位置.

圖8 分配的總干擾功率對比

最后對比了不同干擾壓制系數(shù)條件下各算法能達到的最高整體完全壓制成功率，如圖9 所示. 當(dāng)壓制系數(shù)變大時，對相同目標(biāo)壓制干擾所需的資源更多，在有限資源條件下需要更合理更精細地協(xié)調(diào)各干擾設(shè)備的干擾功率分配. 圖9 中隨著壓制系數(shù)上升，3 種算法的整體完全壓制成功率都呈下降趨勢. 其中壓制系數(shù)為2時，MADJPA 整體完全壓制成功率比DDPGCA 高出12.5%；當(dāng)壓制系數(shù)為4 時，相對地MADJPA 可高出16.8%. 在壓制系數(shù)較大的條件下，集中式算法分配各設(shè)備干擾資源的效率較低，原因在于以單智能體集中決策的形式造成了維度更高的干擾動作空間，難以協(xié)調(diào)各干擾設(shè)備的任務(wù)調(diào)配，而分布式算法通過多智能體協(xié)作的方式降低了各設(shè)備決策維度，通過全局信息訓(xùn)練各設(shè)備策略網(wǎng)絡(luò)的方式可更好地調(diào)度各設(shè)備的干擾功率，分布式算法的協(xié)同資源分配能力相比于集中式算法表現(xiàn)較優(yōu).

圖9 不同壓制系數(shù)的整體完全壓制成功率

6 結(jié)論

針對通信組網(wǎng)對抗中的協(xié)同干擾功率分配問題，本文基于多智能體深度強化學(xué)習(xí)提出了一種新的分布式干擾功率分配算法. 算法通過構(gòu)建完全協(xié)作的多智能體任務(wù)，在集中訓(xùn)練、分布決策的框架中將各干擾設(shè)備分別作為一個智能體，在訓(xùn)練時共享全局信息，并利用最大策略熵準則加速智能體間協(xié)同策略的學(xué)習(xí). 相較于集中式的分配算法，本文提出的分布式算法收斂速度更快，學(xué)習(xí)過程更穩(wěn)定，且干擾效率高于集中式算法.