陳 濤，張 穎，黃湘松

（1.哈爾濱工程大學(xué)信息與通信工程學(xué)院，黑龍江哈爾濱 150001；2.黑龍江省多學(xué)科協(xié)同認(rèn)知人工智能技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，黑龍江哈爾濱 150001）

0 引言

隨著信息技術(shù)的飛速發(fā)展，在現(xiàn)代戰(zhàn)場中，電磁環(huán)境越來越復(fù)雜，作戰(zhàn)環(huán)境瞬息萬變，充分學(xué)習(xí)和利用各種環(huán)境信息、自適應(yīng)調(diào)整系統(tǒng)狀態(tài)已成為未來電子裝備發(fā)展的主要方向之一［1］。傳統(tǒng)干擾機(jī)往往發(fā)射一種或幾種固定的波形［2］，其干擾波形庫簡單，因此極大地降低了電子干擾的作戰(zhàn)效果。與此同時(shí)，認(rèn)知雷達(dá)的發(fā)展也使得電子對抗向智能方向發(fā)展［3-5］。

目前國內(nèi)外關(guān)于自適應(yīng)干擾波形設(shè)計(jì)的文獻(xiàn)較少［6］。文獻(xiàn)［7］將改進(jìn)遺傳算法應(yīng)用到干擾樣式自適應(yīng)選擇中。文獻(xiàn)［8-9］研究了基于低截獲概率（low probability of intercept，LPI）的與任務(wù)相關(guān)的自適應(yīng)雷達(dá)干擾波形設(shè)計(jì)，首先推導(dǎo)出目標(biāo)檢測和參數(shù)估計(jì)的信干噪比（signal-to-jamming-plus-noise ratio，SJNR）準(zhǔn)則和互信息（mutual information，MI）準(zhǔn)則，針對戰(zhàn)場電磁環(huán)境的復(fù)雜性和不確定性，采用梯形模糊數(shù)來描述系統(tǒng)整體性能的閾值，然后將模糊機(jī)會(huì)約束規(guī)劃模型轉(zhuǎn)化為清晰的等價(jià)形式，使干擾總功率達(dá)到最小。文獻(xiàn)［10］研究了單元平均恒虛警概率（CACFAR）的抗干擾機(jī)制，根據(jù)信號與干擾和參考距離的關(guān)系，將干擾波形的幅值設(shè)計(jì)為服從瑞利分布和有限區(qū)間隨機(jī)。近年來，強(qiáng)化學(xué)習(xí)作為一種智能算法在干擾波形設(shè)計(jì)中也得到廣泛應(yīng)用［11］，文獻(xiàn)［12］研究了認(rèn)知干擾波形設(shè)計(jì)，將強(qiáng)化學(xué)習(xí)算法運(yùn)用到干擾波形設(shè)計(jì)中。

以上文獻(xiàn)主要研究已知長度雷達(dá)信號的干擾波形。隨著戰(zhàn)場環(huán)境日益復(fù)雜化，未知長度的雷達(dá)信號更為普遍。為了進(jìn)一步提高對未知信號的適應(yīng)能力并實(shí)現(xiàn)本脈沖內(nèi)干擾，本文研究了針對未知長度雷達(dá)信號的干擾波形。在干擾樣式選擇中，間歇采樣轉(zhuǎn)發(fā)干擾［13］得到廣泛應(yīng)用。因此，本文在此基礎(chǔ)上充分分析間歇采樣信號的干擾特性，并將強(qiáng)化學(xué)習(xí)算法與“切割”假設(shè)法結(jié)合來設(shè)計(jì)針對變化雷達(dá)信號的自適應(yīng)干擾波形，最后將恒虛警概率作為交互函數(shù)來評估干擾效果。

1 間歇采樣信號參數(shù)對線性調(diào)頻信號脈壓處理的影響

己方干擾的工作過程可以描述為：當(dāng)檢測到對方的雷達(dá)信號s(t)后，對其進(jìn)行間歇采樣轉(zhuǎn)發(fā)干擾得到干擾信號j(t)，對方收到干擾信號后進(jìn)行脈壓處理，得到最終的干擾信號y(t)，具體的工作過程如圖1所示。圖中，p（t）為間歇采樣信號。

圖1 干擾過程示意圖Fig.1 Schematic diagram of interference process

為提高雷達(dá)的作用距離和距離分辨率，現(xiàn)代雷達(dá)普遍采用脈沖壓縮雷達(dá)，其中線性調(diào)頻信號（linear frequency modulation，LFM）是脈沖壓縮雷達(dá)最常用的調(diào)制信號，因此雷達(dá)信號s(t)的表達(dá)式為

信號s(t)匹配濾波器的系統(tǒng)函數(shù)為h(t)=其中：符號“-”代表取共軛；t0是使其為因果可實(shí)現(xiàn)系統(tǒng)的常數(shù)，可令t0=0。故h(t)的表達(dá)式為

線性調(diào)頻信號經(jīng)過匹配濾波器的輸出為

式中：?代表卷積；τ為采樣時(shí)間。

由式（3）可知，線性調(diào)頻信號經(jīng)過脈壓處理后得到一個(gè)固定載頻的信號，且包絡(luò)近似為sinc函數(shù)。

此外，LFM信號具有大的時(shí)寬帶寬積，而間歇采樣轉(zhuǎn)發(fā)是針對大時(shí)寬帶寬積信號的有效干擾技術(shù)，因此本文使用間歇采樣技術(shù)產(chǎn)生干擾信號。其過程為當(dāng)己方截獲到雷達(dá)信號后，對其進(jìn)行采樣然后轉(zhuǎn)發(fā)出去，直至信號結(jié)束，間歇采樣轉(zhuǎn)發(fā)干擾的原理如圖2所示。

圖2 間歇采樣轉(zhuǎn)發(fā)干擾原理圖Fig.2 Schematic diagram of intermittent sampling and forwarding interference

圖中：τ為采樣時(shí)間；η為轉(zhuǎn)發(fā)時(shí)間；Ts為間歇采樣轉(zhuǎn)發(fā)干擾的周期；間歇采樣信號p(t)可表示為

式中：δ(t)為沖激函數(shù)；n為采樣次數(shù)。

干擾信號j(t)為

脈沖壓縮技術(shù)能夠?qū)⒋髸r(shí)寬帶寬的脈沖信號壓縮為窄脈沖，以提高雷達(dá)對目標(biāo)的距離分辨精度和距離分辨力。故不妨假設(shè)對方在收到干擾信號后，對其進(jìn)行了脈壓處理，輸出y(t)為

式（6）第一項(xiàng)中的ys(t)為式（3）的結(jié)果，可以得出，與真實(shí)目標(biāo)脈壓后相比，干擾信號脈壓后可以產(chǎn)生與真實(shí)目標(biāo)具有相同特性的假目標(biāo)，僅在幅度上有所區(qū)別。因此，第一項(xiàng)為主假目標(biāo)，其余均為次假目標(biāo)，次假目標(biāo)相當(dāng)于對主假目標(biāo)進(jìn)行頻移，頻移量為±nfs，位于主假目標(biāo)的兩側(cè)，因此總體上可以對敵方造成欺騙干擾。其中主假目標(biāo)的幅度受占空比的影響，在時(shí)刻，次假目標(biāo)幅度為，幅度同樣受占空比的影響。

由此可知，改變間歇采樣的采樣時(shí)間、轉(zhuǎn)發(fā)時(shí)間，可以得到幅度以及位置都不相同的欺騙干擾。仿真圖形如圖3所示。為方便比較，信號幅度均進(jìn)行歸一化處理。

由圖3可知：采樣時(shí)間的占空比越大，則主次假目標(biāo)的幅度越高。因此采樣時(shí)間、轉(zhuǎn)發(fā)時(shí)間等參數(shù)均是影響干擾效果的因素。

圖3 干擾信號仿真圖Fig.3 Simulation diagram of interference signal

2 基于強(qiáng)化學(xué)習(xí)算法的波形設(shè)計(jì)

2.1 恒虛警概率檢測

改變間歇采樣的參數(shù)，可以影響干擾的性能，因此可以利用這一點(diǎn)設(shè)計(jì)不同的干擾波形。本文主要針對雷達(dá)檢測環(huán)節(jié)進(jìn)行干擾，雷達(dá)信號檢測是基于一定的概率準(zhǔn)則進(jìn)行的。雷達(dá)根據(jù)系統(tǒng)對檢測概率PD和虛警概率PF的要求，在一定信噪比下確定檢測門限，當(dāng)信號的強(qiáng)度超過該門限時(shí)就說明檢測到目標(biāo)。恒虛警概率檢測能夠自適應(yīng)地調(diào)整門限，是一種常用的雷達(dá)信號檢測技術(shù)，因此將CFAR作為環(huán)境交互模型。

常見的CFAR 算法包括單元平均恒虛警概率（CA-CFAR）、單元取大恒虛警概率（GO-CFAR）、單元取小恒虛警概率（SO-CFAR）等。本文選取其中的CA-CFAR 算法進(jìn)行分析，其原理如圖4所示。圖中：x1，x2，…，xN為左側(cè)每個(gè)參考單元信號的幅度值；y1，y2，…，yN為右側(cè)每個(gè)參考單元信號的幅度值；Z為總共2N個(gè)參考單元幅度的平均值。

圖4 CA-CFAR算法檢測原理Fig.4 Principle diagram of CA-CFAR

檢測單元的兩側(cè)設(shè)置保護(hù)單元和參考單元。檢測單元的門限值由左右兩側(cè)參考單元的幅度值來確定。若檢測單元的值大于檢測門限，則判斷存在目標(biāo)信號；如若檢測單元的值小于檢測門限，則判斷目標(biāo)信號不存在。僅有目標(biāo)與噪聲時(shí)，設(shè)置信噪比15 dB，CA-CFAR算法檢測仿真如圖5所示。

圖5 CA-CFAR算法檢測仿真Fig.5 The simulation diagram of CA-CFAR

為了達(dá)到掩蓋目標(biāo)信號的目的，需要將所有參考單元的電平值提高，使敵方發(fā)生嚴(yán)重的虛警。因此需要找到幅度值最低的單元向其填充干擾信號，而填充信號的幅度與間歇采樣信號的參數(shù)有關(guān)。間歇采樣干擾信號經(jīng)過匹配濾波后，波形近似為sinc函數(shù)，每次向目標(biāo)單元填充信號時(shí)，信號也會(huì)落入其他單元，隨著填充次數(shù)的增加，所有參考單元的幅度值均會(huì)提高。

2.2 強(qiáng)化學(xué)習(xí)算法

在實(shí)際戰(zhàn)場中雷達(dá)信號形式多變，無法得到一個(gè)確定的信號模型。而強(qiáng)化學(xué)習(xí)設(shè)置了獎(jiǎng)勵(lì)機(jī)制，它通過試錯(cuò)的方式與環(huán)境進(jìn)行交互，通過多次采樣可以完成免模型條件下的最優(yōu)決策問題。因此考慮將強(qiáng)化學(xué)習(xí)應(yīng)用到干擾波形設(shè)計(jì)中，使得干擾信號能夠自適應(yīng)雷達(dá)信號的變化。

強(qiáng)化學(xué)習(xí)是一個(gè)馬爾科夫過程，一個(gè)主體觀測到環(huán)境的狀態(tài)S后按照一定的策略π選擇動(dòng)作A作用于環(huán)境，并得到此次動(dòng)作的獎(jiǎng)勵(lì)值r強(qiáng)化學(xué)習(xí)Q 表的更新，可以用動(dòng)作值函數(shù)來表示，即

式中：Qt(s,a)為當(dāng)前時(shí)刻的動(dòng)作值函數(shù);Qt(s′,a′)為取當(dāng)前動(dòng)作到下一狀態(tài)的動(dòng)作值函數(shù)；rt為當(dāng)前時(shí)刻的獎(jiǎng)勵(lì)值；Qt+1(s,a)為下一時(shí)刻的動(dòng)作值函數(shù)；α為學(xué)習(xí)率；γ為折扣因子。

為了避免陷入局部最優(yōu)解，策略π的選取采取“探索-利用”折中的方法：ε-greedy（貪心）算法，其中以（1-ε）的概率進(jìn)行利用，以ε的概率進(jìn)行探索，可表示為

根據(jù)馬爾科夫過程的性質(zhì)，選擇異策略對非最優(yōu)解進(jìn)行優(yōu)化，也就是使用強(qiáng)化學(xué)習(xí)中的Q-Learning算法：策略評估時(shí)使用貪心算法，策略改進(jìn)時(shí)使用原始策略。

為了對CFAR 進(jìn)行干擾，強(qiáng)化學(xué)習(xí)的目的是將CFAR 中所有參考單元的幅度值提高，而參考單元幅度值的大小與間歇采樣的參數(shù)有關(guān)，因此不妨令采樣時(shí)間為轉(zhuǎn)發(fā)時(shí)間的a倍，得到強(qiáng)化學(xué)習(xí)的設(shè)計(jì)規(guī)則為：

1）動(dòng)作集A：采樣時(shí)間倍數(shù)ai，A∈[a1，am]，初始動(dòng)作隨機(jī)，下一動(dòng)作按Q-Learning的策略π進(jìn)行選擇；

2）狀態(tài)集S：干擾信號距離單元，S∈[s1，sv]，初始狀態(tài)隨機(jī)選擇，下一狀態(tài)為幅度最小值所在的距離單元；

3）獎(jiǎng)勵(lì)值r：當(dāng)前參考單元與檢測單元幅度的比值，幅度值越高，獎(jiǎng)勵(lì)值越大；

4）循環(huán)次數(shù)設(shè)為j次。

強(qiáng)化學(xué)習(xí)是一個(gè)探索加利用的過程，循環(huán)次數(shù)結(jié)束后得到一個(gè)收斂的動(dòng)作-狀態(tài)值的二維表格。

2.3 “切割”假設(shè)法

實(shí)施干擾前，若能先偵察到對方雷達(dá)信號的長度，強(qiáng)化學(xué)習(xí)中的狀態(tài)值就能夠確定，便可實(shí)現(xiàn)本脈沖內(nèi)干擾，以達(dá)到實(shí)時(shí)性的要求。而在實(shí)際戰(zhàn)場中，由于環(huán)境的復(fù)雜變化，很難得到雷達(dá)信號的確切信息，這種情況下強(qiáng)化學(xué)習(xí)的狀態(tài)值無法確定。為此提出一種“切割”假設(shè)法，將狀態(tài)值這個(gè)未知量化為已知量，再運(yùn)用強(qiáng)化學(xué)習(xí)完成本脈沖內(nèi)干擾，“切割”假設(shè)法示意圖如圖6所示。

圖6 “切割”假設(shè)法示意圖Fig.6 Schematic diagram of‘cutting’method

其過程為：當(dāng)干擾系統(tǒng)偵察到對方雷達(dá)信號后，假設(shè)雷達(dá)信號的長度為Tw=b×w，w∈[1，2，3，…，M]，單位為μs，然后對信號長度進(jìn)行w次切割，切割單位為b?？山忉尀椋寒?dāng)檢測到雷達(dá)信號時(shí)，便假設(shè)截獲到的信號長度為bμs，并對這bμs 的雷達(dá)信號進(jìn)行脈壓處理，再應(yīng)用強(qiáng)化學(xué)習(xí)的規(guī)則設(shè)計(jì)干擾波形，同時(shí)通過Q表得到bμs信號的最佳輸出動(dòng)作值；若bμs后，仍檢測到對方信號，此時(shí)w的值為2，第2 次假設(shè)雷達(dá)信號的總長度為2bμs，并對b～2bμs 間的信號直接利用第1 次得到的最佳動(dòng)作設(shè)計(jì)干擾波形；以此類推，直至信號結(jié)束。若bμs 信號的采樣次數(shù)為n，則信號長度為Tw時(shí)，采樣次數(shù)為w×n。最終將所有切割的信號組合到一起，組合后假設(shè)信號的長度可能會(huì)大于真實(shí)信號的長度，但對于檢測環(huán)節(jié)來說，開頭以及結(jié)尾的一段信號對于恒虛警概率檢測算法影響不大，因此可以近似得到真實(shí)雷達(dá)信號的干擾波形，“切割”假設(shè)法的流程如圖7所示。

圖7 “切割”假設(shè)法流程圖Fig.7 Flow chart of‘cutting’method

3 實(shí)驗(yàn)仿真與分析

3.1 仿真1：強(qiáng)化學(xué)習(xí)算法仿真分析

對于已知形式的雷達(dá)信號可以直接使用強(qiáng)化學(xué)習(xí)算法，仿真參數(shù)設(shè)置為：雷達(dá)信號長度為50 μs，調(diào)頻帶寬10 MHz，距離分辨率為，故每個(gè)距離單元為15 m，信噪比15 dB，學(xué)習(xí)率α為0.001，折扣因子γ為0.8，ε為0.9，迭代次數(shù)為10 000 次，令間歇采樣周期為2 μs，則采取動(dòng)作值為25 次，且取值范圍為1～10。由此可得仿真圖如圖8所示。

圖8 強(qiáng)化學(xué)習(xí)后的干擾效果圖（50 μs）Fig.8 Effect diagram of interference after reinforcement learning

由圖8可知，經(jīng)過強(qiáng)化學(xué)習(xí)后輸出一組動(dòng)作值，根據(jù)這組動(dòng)作值得到圖8（b）所示的干擾信號，干擾信號恒虛警概率檢測單元如圖8（c）（縱坐標(biāo)歸一化處理）所示。

此時(shí)不妨用幅度的均值E(h)與標(biāo)準(zhǔn)差σ(h)的比值d來描述整體的幅度提升效果，即，通過計(jì)算可得d=2.077 1。

當(dāng)雷達(dá)信號長度為80 μs時(shí)，強(qiáng)化學(xué)習(xí)后CFAR檢測單元值如圖9所示。

圖9 強(qiáng)化學(xué)習(xí)后的干擾效果圖（80 μs）Fig.9 Effect diagram of interference after reinforcement learning

此時(shí)，計(jì)算得d=2.786 0。

3.2 仿真2：“切割”假設(shè)法對比分析

對于未知形式的雷達(dá)信號用強(qiáng)化學(xué)習(xí)算法無法確定狀態(tài)值，因此運(yùn)用假設(shè)法。

仿真參數(shù)設(shè)置：隨機(jī)產(chǎn)生一個(gè)50～300 μs 的數(shù)T來表示未知長度的雷達(dá)信號，其他參數(shù)設(shè)置與仿真1相同。第1 個(gè)50 μs屬于強(qiáng)化學(xué)習(xí)中的學(xué)習(xí)過程，輸出的動(dòng)作值并不是最佳動(dòng)作值，但此時(shí)已經(jīng)成功建立Q表，通過Q 表的值可以得到最佳輸出動(dòng)作，因此50 μs后的每一段信號便可直接使用這個(gè)最佳動(dòng)作值。當(dāng)隨機(jī)產(chǎn)生信號長度在50～100 μs 范圍內(nèi)時(shí)，假設(shè)真實(shí)信號的長度便為100 μs，并對100 μs 的信號進(jìn)行強(qiáng)化學(xué)習(xí)，最終仿真圖形如圖10所示。

圖10（b）的仿真結(jié)果給出了運(yùn)用“切割”假設(shè)法得到的針對100 μs 雷達(dá)信號設(shè)計(jì)的干擾波形，其中d=2.952 0。

圖10 100 μs內(nèi)信號的干擾效果圖Fig.10 Effect diagram of signal interference within 100 μs

3.3 仿真3：與傳統(tǒng)算法對比分析

在尋優(yōu)問題中，智能仿生算法也得到廣泛應(yīng)用，其中蟻群算法具有較好的并行性和協(xié)作性，不妨將強(qiáng)化學(xué)習(xí)算法與蟻群算法進(jìn)行對比。其設(shè)計(jì)步驟為：

1）步驟1：將m只螞蟻隨機(jī)放入CFAR 距離單元中，起始信息素為0。

2）步驟2：將間歇采樣信號的采樣時(shí)間倍數(shù)an作為螞蟻的動(dòng)作變量。隨機(jī)選取ai為初始動(dòng)作，進(jìn)行間歇采樣轉(zhuǎn)發(fā)后計(jì)算比值d，并將螞蟻移至幅度最低的單元，每只螞蟻留下的信息素為，且。

3）步驟3：第一次得到m條路徑后對信息素進(jìn)行更新，選擇d最大的路徑為當(dāng)前路徑，然后清空路徑表保留信息素，更新表達(dá)式為

4）步驟4：重新將這組螞蟻隨機(jī)置于不同單元，重復(fù)步驟2 和3，對各代最佳路徑進(jìn)行對比，能使各參考單元內(nèi)d值最大的一條路徑，就是最佳路徑。

仿真參數(shù)設(shè)置：雷達(dá)信號長度為50 μs，其余參數(shù)與仿真1參數(shù)相同，螞蟻數(shù)量m為30，信息數(shù)揮發(fā)因子為0.2，迭代次數(shù)為100次，得到仿真圖如圖11所示。

圖11 蟻群算法仿真圖Fig.11 Ant colony algorithm simulation diagram

由圖11可知，蟻群算法也能完成對雷達(dá)信號的干擾，其中d=1.019 9。強(qiáng)化學(xué)習(xí)算法與蟻群算法均可實(shí)現(xiàn)對確定形式雷達(dá)信號的干擾。而d值在一定程度上反映了干擾效果，因此不妨令雷達(dá)信號長度依次為50 μs，100 μs，150 μs，…，300 μs，其他仿真參數(shù)均不變，分別計(jì)算d值，仿真結(jié)果如圖12所示。

圖12 d值對比圖Fig.12 Contrast figure of‘d’

由圖12 可知強(qiáng)化學(xué)習(xí)d值的變化范圍在2～3 之間，蟻群算法的變化范圍在1～1.5 之間。前者大于后者的原因在于強(qiáng)化學(xué)習(xí)是一個(gè)探索加利用的過程，設(shè)立了獎(jiǎng)勵(lì)機(jī)制，先前學(xué)習(xí)到的結(jié)果可以為后面的學(xué)習(xí)提供參考，而蟻群算法前期搜索時(shí)間長以致收斂速度慢，并且解的質(zhì)量受參數(shù)的影響大。

4 結(jié)束語

本文針對傳統(tǒng)干擾系統(tǒng)干擾樣式單一、作戰(zhàn)效率低等問題，提出將強(qiáng)化學(xué)習(xí)算法與“切割”假設(shè)法相結(jié)合運(yùn)用到干擾波形設(shè)計(jì)中，使干擾信號能夠達(dá)到自適應(yīng)雷達(dá)信號變化的目的，同時(shí)將蟻群算法作為對比算法來驗(yàn)證該方法的可行性和優(yōu)點(diǎn)。該方法從間歇采樣轉(zhuǎn)發(fā)干擾信號經(jīng)過匹配濾波器后的特性出發(fā)，并用此特性來干擾檢測系統(tǒng)中的恒虛警概率。仿真結(jié)果表明，強(qiáng)化學(xué)習(xí)算法與假設(shè)法相結(jié)合能夠自適應(yīng)雷達(dá)信號的變化，實(shí)時(shí)設(shè)計(jì)干擾波形。本文所提的基于強(qiáng)化學(xué)習(xí)算法的自適應(yīng)波形設(shè)計(jì)理論和仿真分析結(jié)果可以為干擾波形的工程化應(yīng)用提供理論參考。