丁梓航 謝軍偉 齊 鋮

(空軍工程大學(xué)防空反導(dǎo)學(xué)院 西安 710051)

1 引言

雷達系統(tǒng)位于復(fù)雜多變的電磁環(huán)境中，在敵方干擾機和其他干擾源會對雷達正常工作帶來巨大的影響。因此，如何抑制環(huán)境中的干擾，提高雷達接收端的信干噪比(Signal-to-Interference-plus-Noise Ratios, SINR)，對于雷達系統(tǒng)是至關(guān)重要的。

頻控陣(Frequency Diverse Array, FDA)這一概念于2006年被提出[1]。相較于傳統(tǒng)的相控陣?yán)走_，F(xiàn)DA雷達的每個發(fā)射陣元間存在一個遠小于載波頻率的頻率偏移量，這一頻偏量使其能夠獲得角度-距離2維相關(guān)的波束方向圖[2–4]。FDA波束因具有角度-距離相關(guān)這一特性，使其被廣泛應(yīng)用于包括目標(biāo)角度-距離定位[5]，2維波束形成技術(shù)和波束方向圖設(shè)計等領(lǐng)域[6,7]。

多輸入多輸出(Multi-Input and Multi-Output,MIMO)雷達因其與傳統(tǒng)相控陣(Phase Array,PA)雷達相比所具有的獨特優(yōu)勢而得到了廣泛的研究。文獻[8]將FDA與MIMO雷達相結(jié)合，并提出了FDA-MIMO雷達接收處理模型。FDA-MIMO雷達同時具有FDA雷達距離-角度相關(guān)的波束方向圖和MIMO雷達所擁有的多自由度的特點，由此可以被用于欺騙干擾壓制[9–11]、聯(lián)合角度-距離估計[5]和空時自適應(yīng)雜波抑制[12,13]等。

近年來，雷達與干擾的博弈現(xiàn)象受到廣泛關(guān)注。文獻[14]對雷達對抗中的博弈論問題進行了系統(tǒng)的分析與梳理。文獻[15]對博弈論思想在雷達系統(tǒng)設(shè)計中的應(yīng)用進行了綜述，主要集中于雷達對抗、雷達資源管理、雷達波形設(shè)計、雷達射頻隱身等方面。文獻[16]提出基于回波間互信息量(Mutual Information, MI)準(zhǔn)則的Stackelberg博弈波形設(shè)計。文獻[17]對多基地分布式MIMO雷達組網(wǎng)的功率進行了納什均衡分析，提出了一種以SINR為約束的雷達功率分配優(yōu)化方法。上述文獻建立的博弈模型用于雷達與干擾的對抗分析，而針對頻譜式干擾的研究還很少。

在博弈的階段中，實際上是一個動態(tài)優(yōu)化的過程。若干擾信號發(fā)生變化，雷達系統(tǒng)就需要立即調(diào)整發(fā)射功率分配模式，以獲得較高的SINR。傳統(tǒng)的優(yōu)化方法普遍存在計算復(fù)雜度高的問題，而對抗過程是一個高實時性問題，因此亟需一種處理速度快的優(yōu)化方法。近年來，深度學(xué)習(xí)(Deep Learning,DL)成為研究熱點，而強化學(xué)習(xí)可以實現(xiàn)離線學(xué)習(xí)、在線尋優(yōu)。對于已經(jīng)離線訓(xùn)練好的網(wǎng)絡(luò)，將當(dāng)前狀態(tài)輸入到網(wǎng)絡(luò)中，可以實時獲取優(yōu)化的結(jié)果。文獻[18]利用凸優(yōu)化方法對MIMO雷達發(fā)射功率進行優(yōu)化以獲得最優(yōu)的檢測性能。

在此基礎(chǔ)上，本文建立了FDA-MIMO雷達與頻譜干擾機的Stackelberg博弈模型。在兩者動態(tài)博弈的過程中，利用強化學(xué)習(xí)中的DDPG算法對采集的干擾信號狀態(tài)進行離線訓(xùn)練，獲得演員和評論家網(wǎng)絡(luò)的參數(shù)，然后根據(jù)雷達當(dāng)前偵測到的頻譜干擾樣式對發(fā)射功率進行在線動態(tài)優(yōu)化，使雷達在工作時間段內(nèi)獲得最優(yōu)的輸出SINR性能，達到對抗頻譜干擾的效果。

2 數(shù)據(jù)模型

2.1 FDA-MIMO雷達

考慮一個發(fā)射和接收陣列均為均勻線性陣列的FDA-MIMO雷達。其中，雷達發(fā)射陣列含有M個發(fā)射陣元，陣元間隔為d=λ/2(λ為波長)。在接收陣列中，接收陣元數(shù)為Nr，陣元間隔為d=λ/2。假設(shè)該雷達發(fā)射信號類型為脈沖信號，則第m個發(fā)射陣元發(fā)射信號的表達式為

其中，?fm=(m ?1)?f表示第m個發(fā)射陣元的頻偏量，f0表 示發(fā)射信號的載波頻率，Td為發(fā)射脈沖信號的脈沖持續(xù)時間。由于陣元間 ?fm的存在，F(xiàn)DA-MIMO雷達能夠同時工作在多個頻率上，也使其具有精準(zhǔn)頻譜干擾的抗干擾能力。wm,φm(t)分別是第m個發(fā)射陣元的發(fā)射信號功率值和基帶波形且φm(t)滿足關(guān)系式為

假設(shè)空間中一個遠場目標(biāo)位于空間位置(θ,r)，經(jīng)過目標(biāo)反射，第n個接收陣元接收到來自第m個發(fā)射的信號可以表示為

τm,n為信號在空間中傳播的時延，其表達式為

c表示光速。在窄帶信號假設(shè)下，式(3)可以近似改寫為

ψ(t)為信號傳播帶來的相位變化量，且可以表示為

當(dāng)信號被雷達接收系統(tǒng)接收后，會經(jīng)過一系列的信號處理過程。文獻[19]提出了一種多匹配濾波器的FDA-MIMO雷達的接收處理系統(tǒng)，本文也采用該接收處理方法。根據(jù)發(fā)射信號的相互正交性，經(jīng)過匹配濾波器處理后的信號可以表示為

其中，?表示克羅內(nèi)克積，⊙表示哈達瑪積，(·)T表示轉(zhuǎn)置操作。at(θ,r),ar(θ)分別為發(fā)射、接收導(dǎo)向矢量，w為發(fā)射功率向量，γ為目標(biāo)反射系數(shù)。

2.2 干擾模型

考慮雷達系統(tǒng)處于頻譜干擾環(huán)境，該干擾可能來自敵方的干擾機和其他與雷達共享頻段的無線電。假設(shè)干擾信號可以表示為s(t)，為了方便分析，考慮從第1個接收陣元。由2.1節(jié)，F(xiàn)DA-MIMO雷達將接收到的干擾信號s(t)通過信號接收處理過程后，在第m個通道采集到的信號為

其中， (·)?表 示共軛操作，τ表示采樣時延，對應(yīng)目標(biāo)所處的距離單元。

將經(jīng)過M個通道處理后的干擾信號表示為矢量形式s=[s1,s2,...,sM]T。經(jīng)過接收處理的頻譜干擾信號s服從均值為0，協(xié)方差矩陣為P的復(fù)高斯分布，其中

當(dāng)Nr個接收陣元接收到干擾信號，每個陣元中都有M個處理通道，假設(shè)存在K個遠場干擾信號，信號方位角為{θk}Kk=1，接收陣列采集到的干擾加噪聲信號向量為

雷達系統(tǒng)的抗干擾能力可以用接收獲得的信干噪比(SINR)來表征。當(dāng)雷達系統(tǒng)工作時間位于t(t=1,2,...,T)時刻，基于最小方差無失真響應(yīng)(Minimum Variance Distortionless Response,MVDR)的線性檢測器

具有最高的輸出SINR，在該檢測器下獲得的SINR由式(15)給出

其中，(·)H表示共軛轉(zhuǎn)置操作。

從式(15)可以看出，不同的發(fā)射陣元功率分配模式，在MVDR線性檢測器下，可以獲得不同的SINR。因此，通過對發(fā)射陣元的功率分配優(yōu)化，可以獲得最高的SINR。

3 基于強化學(xué)習(xí)的雷達抗干擾博弈的功率分配算法

3.1 博弈的基本模型

一種基于FDA-MIMO雷達的功率分配博弈論框架被建立。在雷達系統(tǒng)工作時，環(huán)境中的頻譜干擾對其產(chǎn)生了極大的影響，且雷達系統(tǒng)與干擾信號之間沒有合作關(guān)系，因此兩者建立非合作博弈關(guān)系，前者控制發(fā)射陣元功率矢量w，后者控制干擾信號的發(fā)射功率矩陣P。雷達和干擾之間是一種零和博弈，即一個參與者的增益是另一個參與者的損失。雷達和干擾的博弈框架可以表示如式(16)的形式

(3) 效用函數(shù)：U={Ur,Ui}， 其中，Ur=max{SINR}為 雷達的效用函數(shù)，雷達通過調(diào)整w獲得輸出的最大SINR，Ui=min{SINR}為干擾機的效用函數(shù)，干擾機通過改變P來獲得輸出的最大SINR。

在實際環(huán)境中，雷達與干擾機間存在一種Stackelberg博弈關(guān)系。Stackelberg博弈是一種完全信息動態(tài)博弈，跟隨者根據(jù)主導(dǎo)者的行為制定自己的行為策略，然后主導(dǎo)者再根據(jù)跟隨者的行為策略調(diào)整更新自己的策略以獲得最大效用。在本文中，考慮我方雷達需要在變化的干擾環(huán)境中保持較好的抗干擾性能，因此雷達是主導(dǎo)者，干擾機是跟隨者。在Stackelberg博弈框架下，該問題轉(zhuǎn)化為兩階段的優(yōu)化問題，該優(yōu)化問題如式(17)所示

其中，Pmin,Pmax分別表示每個發(fā)射陣元的功率最小值和最大值，Ptotal為發(fā)射陣元的總功率。

需要說明的是，在整個博弈時間T中，干擾機對雷達頻譜功率的感知需要一定的時間，即在雷達根據(jù)干擾信號動態(tài)調(diào)整功率分配策略后，干擾機只能在多個時刻后才能對發(fā)射的干擾信號進行調(diào)整，使得雷達獲得最小輸出SINR。雷達系統(tǒng)可通過外部的頻譜感知模塊和輔助傳感器陣列，感知環(huán)境中的干擾噪聲信號，可以實時地估計出干擾信號的頻譜以及協(xié)方差矩陣，便于雷達在博弈過程中獲得最佳的抗干擾性能。

3.2 基于DDPG算法的優(yōu)化求解

當(dāng)雷達接收到干擾機發(fā)射的干擾信號后，需要自適應(yīng)地調(diào)整發(fā)射陣元的功率來避開干擾信號。在整個博弈的過程中，本文采用強化學(xué)習(xí)中的DDPG算法對雷達發(fā)射功率矢量w進行優(yōu)化。將雷達各個陣元設(shè)置為智能體，負責(zé)收集環(huán)境中的干擾信號，并對發(fā)射陣元功率進行控制。

DDPG算法對智能體神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到網(wǎng)絡(luò)參數(shù)。在第t個雷達工作時刻，雷達陣元根據(jù)所接收到的狀態(tài)s?t，利用行為網(wǎng)絡(luò)輸出功率分配行為a?t，并獲得對應(yīng)的獎賞rt?和下一步的狀態(tài)s?t+1，進入第t+1個工作時刻。將每個工作時刻獲得的經(jīng)驗(st,at,rt,st+1)存儲在經(jīng)驗池中。接下來，本文將對強化學(xué)習(xí)網(wǎng)絡(luò)中的狀態(tài)、行為、獎賞和行為-評論家網(wǎng)絡(luò)進行說明。

(1)狀態(tài)。在第t個雷達工作時刻，強化學(xué)習(xí)中的狀態(tài)是一個向量st=[xt,yt,pt]， 其中，xt,yt分別表示目標(biāo)的空間位置，pt是第t個工作時刻下，干擾信號的功率矩陣的對角線元素組成的行向量。

(2)行為。在深度強化學(xué)習(xí)框架中，智能體的行為向量為at=[w1,t,w2,t,...,wNt,t]，其中每一個元素代表在每一個確定的工作時刻下雷達系統(tǒng)發(fā)射陣元的功率分配情況。

經(jīng)過sigmoid函數(shù)輸出的at范 圍為[ 0,1]，為保證行為at中 元素滿足約束條件式(17a)Pmin≤wi ≤Pmax，其作用于環(huán)境時再通過線性變換映射至真實范圍。設(shè)輸出的某一個行為取值為at,i，將其從[ 0,1]映射到[Pmin,Pmax] 范圍上的線性變換為at,i(Pmax?Pmin)+Pmin。

(3)獎賞函數(shù)。根據(jù)式(17)中的目標(biāo)函數(shù)，獎賞函數(shù)被定義為雷達輸出的SINR，即在第t個工作時刻下的獎賞函數(shù)為

由于行為向量存在約束條件，為使強化學(xué)習(xí)網(wǎng)絡(luò)能夠滿足行為的約束條件，本文提出一種新的獎賞函數(shù)來實現(xiàn)對行為的約束。該獎賞函數(shù)更新為

通過重構(gòu)獎賞函數(shù)，可以將行為的約束引入到深度學(xué)習(xí)網(wǎng)絡(luò)中。

3.2.1 功率優(yōu)化方法的整體框架

在雷達偵測到干擾機發(fā)射干擾信號的先驗信息的條件下，DDPG網(wǎng)絡(luò)被用來求解雷達發(fā)射陣元的功率分配問題。在每一雷達工作時刻，雷達偵測到的先驗信息被存儲到記憶回放池并將其作為強化學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的輸入。對于傳統(tǒng)方法，在每一個工作時刻都需要對雷達的發(fā)射功率進行優(yōu)化求解。經(jīng)過記憶回放池中采樣數(shù)據(jù)對DDPG網(wǎng)絡(luò)訓(xùn)練完成后，可以直接獲得雷達當(dāng)前工作時刻優(yōu)化后的功率分配結(jié)果。圖1為雷達-干擾機博弈下的功率優(yōu)化方法的整體框架示意圖。

圖1 發(fā)射功率優(yōu)化方法整體框架

3.2.2 DDPG算法流程

采用DDPG算法對上述雷達-干擾機博弈功率優(yōu)化模型進行離線訓(xùn)練，算法的整體流程如算法1所示。

算法1 DDPG算法

在網(wǎng)絡(luò)更新迭代訓(xùn)練過程中，先積累經(jīng)驗回放到經(jīng)驗池中，根據(jù)經(jīng)驗池中隨機抽取的樣本分別更新評論家和演員網(wǎng)絡(luò)。首先通過損失函數(shù)更新評論家網(wǎng)絡(luò)參數(shù)θQ。接下來通過評論家網(wǎng)絡(luò)得到的Q函數(shù)相對于動作的策略梯度，將梯度傳遞到演員網(wǎng)絡(luò)中對其參數(shù)θμ進 行更新。最后通過得到的θQ，θμ通過參數(shù)τ，按照設(shè)定的比例更新各自所屬的目標(biāo)網(wǎng)絡(luò)中，其目標(biāo)網(wǎng)絡(luò)會在下一步的訓(xùn)練中用來預(yù)測行為和Q值。

4 仿真分析

FDA-MIMO雷達發(fā)射接收陣列均為均勻線性陣列且陣元數(shù)分別為M=6,Nr=5，陣元間距均為d=λ/2 。發(fā)射陣列陣元間頻偏量?f=10 kHz，載波頻率f0=1 GHz。雷達工作時間最小間隔為2 s，雷達工作總時間設(shè)置為20幀(40 s)。每個發(fā)射陣元的功率最小值和最大值分別為Pmin=0和Pmax=Ptotal。

在雷達工作初始時間內(nèi)，空間中的目標(biāo)位于(5 km,5 km)，在整個雷達工作時間內(nèi)，假設(shè)目標(biāo)沿著45°方向，以速度v=100 m/s做勻速直線運動，雷達系統(tǒng)通過跟蹤算法在每個工作時刻對目標(biāo)的位置進行實時更新。

假設(shè)干擾機的干擾頻段數(shù)量小于等于3。在初始工作時刻，干擾信號從方位角為45°進入雷達接收機系統(tǒng)，以30 dB, 25 dB和30 dB的干擾功率，干擾第1、第4和第6個發(fā)射陣元的頻段。根據(jù)所提博弈準(zhǔn)則，雷達作為領(lǐng)導(dǎo)者會根據(jù)干擾機釋放的干擾信號通過自適應(yīng)控制發(fā)射陣元的功率來提高輸出的SINR。在雷達調(diào)整陣元功率后，經(jīng)過一段時間，干擾機偵測到雷達發(fā)射信號的變化，通過調(diào)整干擾信號使得雷達系統(tǒng)接收端獲得的SINR最小。雷達再根據(jù)新的干擾信號調(diào)整發(fā)射陣元的功率，形成博弈態(tài)勢。

干擾信號的功率分布計算公式為

其中，az(θ)=ez ?ar(θ),ez表示第z個元素為1，其余元素都為0的單位向量。z表示干擾頻譜的位置索引。

(4)DDPG中的參數(shù)設(shè)置。智能體的狀態(tài)表示為8維數(shù)組向量，動作表示為6維數(shù)組向量。演員網(wǎng)絡(luò)包含2個隱含層，每個隱含層的神經(jīng)元個數(shù)為32，所有隱含層都采用tanh激活函數(shù)。評論家網(wǎng)絡(luò)包含3個隱含層，每個隱含層的神經(jīng)元個數(shù)為32，所有隱含層都采用tanh激活函數(shù)。演員網(wǎng)絡(luò)和評論家網(wǎng)絡(luò)的學(xué)習(xí)率分別為0.001,0.01。折扣因子為κ=1 ，超參數(shù)ε=0.1。

本文程序是基于keras框架編寫的，計算機硬件條件為Core i5-10210CPU, 3.60 GHz, 8 GB內(nèi)存，設(shè)置回合數(shù)為800，每一個回合中的迭代步數(shù)為20。

在各個回合中，雷達與干擾機智能博弈的完整工作過程的累計獎賞值和平均SINR值如圖2(a)和圖2(b)所示，雷達的目的是通過不斷地學(xué)習(xí)提升獎賞值，來獲得最大的獎賞，即最大SINR值。累計獎賞值和SINR值越大表明雷達的功率分配優(yōu)化結(jié)果越好，網(wǎng)絡(luò)的學(xué)習(xí)效果越好。由仿真結(jié)果可以看出累計獎賞值與平均SINR值整體的變化趨勢是逐步增加的。在回合數(shù)大于400時，累計獎賞值和平均SINR值均達到最大且基本保持穩(wěn)定。

圖2 累計獎賞值和SINR隨回合數(shù)的變化情況

圖3(a)為通過所提算法對FDA-MIMO雷達發(fā)射功率分配結(jié)果。從結(jié)果中可以看出，當(dāng)t= 1時，在當(dāng)前工作時刻，雷達沒有感知到外界的干擾信號，因此保留基本的功率均勻分配策略。當(dāng)2≤t ≤10時，雷達偵測到干擾信號后，使發(fā)射功率集中在第2個發(fā)射陣元上；當(dāng) 1 1≤t ≤15時，由于干擾機調(diào)整了頻譜干擾策略，雷達在偵測到干擾信號后立即對發(fā)射功率進行優(yōu)化，使功率集中到第1個陣元；同樣地，當(dāng)1 6≤t ≤20時，雷達將發(fā)射功率集中到第6個陣元，以獲得最優(yōu)的SINR。圖3(b)為通過內(nèi)點法對雷達發(fā)射功率優(yōu)化分配的結(jié)果。由仿真結(jié)果可以看出，內(nèi)點法得到的功率分配策略與所提算法類似，在雷達工作時間段中，功率都集中在某一個發(fā)射陣元上，且均避開了頻譜干擾信號所在的頻點。由此，驗證了本文所提算法能夠?qū)崿F(xiàn)與傳統(tǒng)優(yōu)化算法相似的優(yōu)化效果，驗證了其有效性。

圖3 發(fā)射功率分配情況

為了直觀地展現(xiàn)出內(nèi)定法和DDPG算法的性能，兩種算法得到的SINR值隨雷達工作時間的變化情況如圖4所示。從該仿真結(jié)果可以看出，當(dāng)t= 1時，雷達采用功率均勻分配策略，此時雷達已經(jīng)受到干擾，因此SINR較低。當(dāng)t>1時，雷達系統(tǒng)開始根據(jù)干擾信號對發(fā)射功率進行優(yōu)化，得到的SINR較高。相較于內(nèi)點法，文中所提算法對發(fā)射功率優(yōu)化后得到的SINR有一定的波動，這是因為所提算法在訓(xùn)練時所用到的目標(biāo)位置信息和干擾信息與仿真中設(shè)置的信息有一定差異。但通過兩種算法得到的SINR基本一致，因此驗證了所提算法的有效性。

圖4 SINR值變化情況

干擾在整個工作時間段的干擾信號參數(shù)變化情況如表1所示。

表1 頻譜干擾信號在工作時間段內(nèi)的參數(shù)變化情況

各個時刻干擾信號在角度-頻率2維平面上的功率分布如圖5所示。

圖5 干擾信號在頻率-角度的功率分布情況

表2 算法復(fù)雜度

圖6 計算復(fù)雜度隨發(fā)射陣元數(shù)目變化情況

5 結(jié)論

本文建立了FDA-MIMO雷達與釋放頻譜干擾信號的干擾機的Stackelberg博弈關(guān)系，并將雷達作為領(lǐng)導(dǎo)者，干擾機作為跟隨者。為了使雷達獲得最大的抗干擾效果，將深度確定策略梯度算法應(yīng)用于雷達發(fā)射陣列的功率優(yōu)化分配中，使得雷達在干擾信號產(chǎn)生變化過程中，能夠動態(tài)調(diào)整陣元功率分配來獲得最優(yōu)SINR。算法中考慮了單個陣元功率約束和陣列總功率約束，并在約束下輸出動作。仿真結(jié)果表明，通過DDPG算法的多個回合的訓(xùn)練，使雷達能夠很好地感知干擾信號的變化并合理地分配發(fā)射陣元的功率，達到最優(yōu)的SINR，實現(xiàn)抗干擾的效果。