張彬超，金 城，田步寧，呂奇皓，曹凱淇，薛正輝

(北京理工大學(xué) 集成電路與電子學(xué)院，北京 100081)

0 引言

相控陣天線具有增益高、波束掃描快和副瓣水平低等優(yōu)異性能，因此在雷達(dá)和通信系統(tǒng)中受到了廣泛關(guān)注[1-2]。在衛(wèi)星通信和遠(yuǎn)程探測等應(yīng)用中，相控陣天線往往被要求具有寬角域波束掃描特性。但是，隨著波束掃描角的增大，平面相控陣天線的有效輻射孔徑將迅速減小，導(dǎo)致增益急劇下降[3]。因此，共形相控陣天線逐漸受到重視，它不僅能良好地兼容不規(guī)則的載體平臺(tái)，還能拓寬波束掃描范圍，提高輻射靈活性[4]。

對于共形陣列天線，載體曲率的引入導(dǎo)致陣因子失效，無法通過單元因子和陣因子對陣列方向圖進(jìn)行綜合。因此，相比于平面陣列，共形陣列的綜合過程更加復(fù)雜，且隨著載體形狀改變而不斷變化。為了解決該問題，遺傳算法[5-6]、粒子群優(yōu)化算法[7-8]和雜草入侵優(yōu)化算法[9-10]等優(yōu)化算法被用以解決陣列天線的綜合問題，且取得了良好的效果。但是，這些優(yōu)化算法也存在一定的缺陷，例如，在處理多參數(shù)問題時(shí)，存在過早收斂或易陷入局部最優(yōu)解等問題。另外，針對各種具體的共形陣列方向圖優(yōu)化問題，將多種智能優(yōu)化算法互補(bǔ)結(jié)合后的混合型優(yōu)化算法也相繼被提出[11-14]。

近年來，隨著深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning，DRL)的蓬勃發(fā)展，眾多研究者利用DRL算法來解決非線性復(fù)雜問題[15-18]。DRL算法可以從經(jīng)驗(yàn)中進(jìn)行學(xué)習(xí)，以層次化的概念來理解問題，即通過簡單概念來構(gòu)建、學(xué)習(xí)更復(fù)雜的概念。因此，本文將DRL應(yīng)用于復(fù)雜共形陣列天線的綜合優(yōu)化過程中，旨在解決復(fù)雜共形陣列天線的寬角域波束掃描問題。

1 共形載體分析和算法設(shè)計(jì)

首先，本文針對平面陣列天線和共形陣列天線的波束掃描性能進(jìn)行比較和評估，并用陣列有效輻射面積Aeff和總輻射面積Atot的比值來進(jìn)行表征[19]。對于平面陣列天線，其輻射效率為:

(1)

式中，θs為從法線到背向的掃描角度。通過對各個(gè)曲面平臺(tái)輻射效率的分析，選取圓錐體和圓柱體組成的異構(gòu)結(jié)構(gòu)作為陣列天線的共形載體。同時(shí)，該異構(gòu)結(jié)構(gòu)因良好的空氣動(dòng)力性能，也是飛行器的常用結(jié)構(gòu)。因此，以飛行器前錐的應(yīng)用場景為例，比較傳統(tǒng)平面陣列天線和共形陣列天線的性能，共形陣列天線的應(yīng)用場景示意如圖1所示?？梢园l(fā)現(xiàn)，平面陣列天線只能部署在有限的區(qū)域內(nèi)，而共形陣列天線可以安裝在具有較大面積的天線罩甚至機(jī)身周圍，大大增加了陣列天線的設(shè)計(jì)自由度，易于實(shí)現(xiàn)寬角波束掃描性能。

圖1 共形陣列天線的應(yīng)用場景示意Fig.1 Application scenario diagram of conformal array antenna

為使共形陣列天線獲得盡可能大的波束掃描角度，將圓錐體的錐角設(shè)為120°，同時(shí)圓柱體高度等于其半徑。需要注意的是，圓柱體高度越大，大角度下的輻射增益也越大。全面考慮輻射單元的最大輻射視角和圓錐—圓柱異型結(jié)構(gòu)的遮蔽效應(yīng)，對于圖1所示的共形于圓錐—圓柱異型結(jié)構(gòu)上的陣列天線，整個(gè)波束掃描范圍大致可以劃分為3部分：0°≤θs≤30°，30°≤θs≤90°和90°≤θs≤180°。

① 當(dāng)掃描角度θs∈[0°,30°]時(shí)，輻射的波束能量全部由圓錐體表面的輻射單元貢獻(xiàn)，而圓柱體上的輻射單元由于超過了最大輻射視角而未被激活，此時(shí)的有效輻射面積為：

(2)

② 當(dāng)掃描角度θs∈[30°,90°]時(shí)，圓錐體和圓柱體上的輻射單元都參與了陣列方向圖的綜合。此時(shí)，有效輻射面積可以表示為：

(3)

式中，φ0為圓柱體與圓錐體的激活扇區(qū)角，此處設(shè)置為120°。

③ 當(dāng)掃描角度θs∈[90°,180°]時(shí)，圓柱體上的輻射單元為陣列輻射的主體。此時(shí)，有效輻射面積為：

(4)

因此，當(dāng)波束從0°掃描至180°，圓錐—圓柱異型共形陣列天線的歸一化有效輻射效率為其輻射效率為：

(5)

平面陣列天線和共形陣列天線的有效輻射面積對比如圖2所示。對比結(jié)果可以分為3個(gè)部分進(jìn)行分析和討論：

圖2 平面陣列天線和共形陣列天線的有效輻射面積隨掃描角變化趨勢Fig.2 Effective radiation area of planar array antenna and conformal array antenna varying with scanning angle

① 當(dāng)0°≤|θs|≤30°時(shí)，共形陣列天線的輻射效率略低于平面陣列天線。

② 當(dāng)30°<|θs|≤90°時(shí)，共形陣列天線逐漸占據(jù)優(yōu)勢地位，其輻射效率隨掃描角度的增大僅略有下降。這是因?yàn)閳A柱體上的天線單元被激活而參與輻射。

③ 當(dāng)90°<|θs|≤180°時(shí)，平面陣列天線已經(jīng)失能，而共形陣列天線仍保持了良好的輻射性能。

綜上，將天線共形于天線罩和機(jī)身上可以大大提高波束掃描的范圍。接下來將設(shè)計(jì)一種適用于該復(fù)雜共形陣列天線的方向圖綜合方法，克服傳統(tǒng)優(yōu)化算法存在的維度災(zāi)難和局部收斂的問題。

2 DRL算法在共形陣列天線中的應(yīng)用

共形陣列天線的輻射方向圖綜合優(yōu)化問題是一個(gè)非線性、非凸的過程，需要采用隨機(jī)非線性優(yōu)化算法進(jìn)行求解。本文研究了一種基于深度確定性策略梯度(Deep Deterministic Policy Gradient，DDPG)的方向圖綜合算法，實(shí)現(xiàn)了復(fù)雜共形陣列天線的寬角域波束掃描性能。

DDPG算法是一種基于策略驅(qū)動(dòng)算法和確定性策略梯度的無模型、離線策略的算法[20]。DDPG將動(dòng)作策略的探索和動(dòng)作策略的學(xué)習(xí)更新分離，動(dòng)作的探索仍然采用隨機(jī)策略，而學(xué)習(xí)的策略則為確定性策略。同時(shí)，DDPG中引入了Actor-Critic框架，將策略網(wǎng)絡(luò)與價(jià)值網(wǎng)絡(luò)分開，并采用了經(jīng)驗(yàn)復(fù)用池來對網(wǎng)絡(luò)進(jìn)行非策略訓(xùn)練，以最小化樣本之間的相關(guān)性。基于上述的特性優(yōu)勢，DDPG算法可用于高維度的動(dòng)作狀態(tài)空間，能更好地適應(yīng)復(fù)雜的控制任務(wù)。

首先,介紹DDPG應(yīng)用于陣列綜合的過程。DRL算法的核心思想是建立一個(gè)從環(huán)境狀態(tài)到智能體行為的映射關(guān)系，用于解決決策問題。在本文的應(yīng)用場景中，智能體是DDPG算法，環(huán)境是共形陣列天線，DDPG算法應(yīng)用于共形陣列天線過程如圖3所示。二者的交互過程為：環(huán)境接收智能體給出的動(dòng)作at，然后環(huán)境根據(jù)動(dòng)作改變自身的狀態(tài)st，并將狀態(tài)反饋給智能體。另一方面，環(huán)境根據(jù)設(shè)定的獎(jiǎng)勵(lì)函數(shù)，將此時(shí)的動(dòng)作at和狀態(tài)st所對應(yīng)的獎(jiǎng)勵(lì)值rt反饋給智能體。

圖3 DDPG算法應(yīng)用于共形陣列天線過程Fig.3 Application process of DDPG algorithm in conformal array antenna

接下來，針對算法中的關(guān)鍵參數(shù)進(jìn)行設(shè)計(jì)?？紤]到陣列天線被共形于一個(gè)復(fù)雜的曲面結(jié)構(gòu)，以在某種特定的幅度相位分布下實(shí)現(xiàn)寬角域波束掃描性能。假設(shè)陣列天線包含K個(gè)輻射單元，其位置分別為：

P={(x1,y1,z1),…,(xk,yk,zk),…,(xK,yK,zK)}。

(6)

坐標(biāo)系統(tǒng)的原點(diǎn)與圓柱體頂面的中心重合。因此，天線的輻射方向圖為：

(7)

式中，θ,φ分別為俯仰角和方位角；Ak,φk分別為輻射單元pk的激勵(lì)幅度和相位；Δψk為原點(diǎn)和輻射單元pk之間的相位差；fk(θ,φ)為每個(gè)輻射單元的輻射模式。

因此，DDPG算法的目標(biāo)是找到最優(yōu)的幅相控制策略來調(diào)節(jié)輻射波束，以最小化用于計(jì)算實(shí)際輻射性能和期望需求之間差異的目標(biāo)函數(shù)，即智能體必須根據(jù)當(dāng)前的幅相分布和期望的波束性能〈Gs,θs,φs〉來做出最優(yōu)的動(dòng)作策略，確定每個(gè)輻射單元的激勵(lì)幅度和相位，其中Gs是當(dāng)波束掃描角為(θs,φs)時(shí)的目標(biāo)增益。因而，該優(yōu)化問題可以聯(lián)合表示為：

(8)

式中，Gt為t時(shí)刻方向(θs,φs)上的增益。

下一步，對DDPG算法的動(dòng)作空間、狀態(tài)空間和即時(shí)獎(jiǎng)勵(lì)進(jìn)行設(shè)置，具體如下：

① 狀態(tài)空間：將t時(shí)刻的狀態(tài)空間定義為天線的波束性能，即：

st=〈Gt,θt,φt〉，

(9)

式中，Gt,θt,φt分別為t時(shí)刻的增益、俯仰角和方位角。

② 動(dòng)作空間：本問題中t時(shí)刻的動(dòng)作空間是一組重新排列天線幅相分布的隨機(jī)幅相對，可以表示為：

(10)

③ 獎(jiǎng)勵(lì)：一般情況下，天線的增益是最重要的指標(biāo)。因此，獎(jiǎng)勵(lì)rt是由比較t時(shí)刻的實(shí)時(shí)增益和目標(biāo)方向(θs,φs)的期望增益得到，計(jì)算如下：

(11)

基于DDPG算法的共形天線陣列波束掃描算法輸入:Gs,θs,?s|0≤θs≤5π6,0≤?s≤2π{}初始化:策略網(wǎng)絡(luò)學(xué)習(xí)概率αA=0.001,價(jià)值網(wǎng)絡(luò)學(xué)習(xí)效率αC=0.001,軟更新參數(shù)τ=0.001,折扣因子γ=0.9,回放內(nèi)存大小 =500,批量大小N=32,總回合數(shù)M=5 000,每回合總步數(shù)T=10 000以及增益折扣系數(shù) =0.9。價(jià)值網(wǎng)絡(luò)Q(s,a|θQ)和策略網(wǎng)絡(luò)μ(s|θμ)及它們的權(quán)重系數(shù)θQ和θμ,目標(biāo)網(wǎng)絡(luò)Q′和μ′及它們的權(quán)重系數(shù)θQ′←θQ,θμ′←θμ。由式(9)計(jì)算得到隨機(jī)狀態(tài),式(10)計(jì)算得到隨機(jī)動(dòng)作,初始獎(jiǎng)勵(lì)r=0。For回合=1～Mdo 初始化觀測狀態(tài)s0和高斯過程nt進(jìn)行動(dòng)作探索 For步驟t = 1～Tdo 依據(jù)當(dāng)前策略和探索噪聲選擇動(dòng)作at=μ(st)+nt 執(zhí)行動(dòng)作at并計(jì)算獎(jiǎng)勵(lì)值rt,觀察新狀態(tài)st+1 將元組〈st,at,rt,st+1〉存儲(chǔ)至記憶回放池中 從記憶回放池中隨機(jī)選取N個(gè)元組〈si,ai,ri,si+1〉 設(shè)yi=ri+YQ′(si+1,μ′(si+1|θμ′)|θQ′) 通過最小化損失來更新價(jià)值網(wǎng)絡(luò):L=1N∑i(Q(si,ai|θQ)-yi)2 使用抽樣的策略梯度更新策略:?θμJ≈1N∑i?aQ(s,a|θQ)|s=si,a=μ(si)?θμμ(s|θμ)|s=si[] 軟更新目標(biāo)網(wǎng)絡(luò):θQ′←τθQ+(1-τ)θQ′θμ′←τθμ+(1-τ)θμ′ End forEnd for

3 仿真測試與分析

共形陣列天線構(gòu)型如圖4所示。傳統(tǒng)的微帶天線陣列被共形于由泡沫制成的圓錐和圓柱平臺(tái)上。需要注意的是，由于計(jì)算資源有限，天線陣列的規(guī)模設(shè)置為1×17，即式(6)中K=17。另外，圓錐的頂部被截?cái)?，一個(gè)天線單元被放置在截?cái)嗵幰援a(chǎn)生更好的前向輻射性能，且圓錐的基角θb為30°，圓柱的高度h和半徑rbtm相等，均為300 mm。

圖4 共形陣列天線構(gòu)型Fig.4 Configuration of conformal array antenna

設(shè)置完共形陣列天線的構(gòu)型后，進(jìn)行DDPG算法的訓(xùn)練，回合數(shù)設(shè)置為5 000，最終的評價(jià)函數(shù)性能如圖5所示，證明了DDPG算法是逐漸收斂和穩(wěn)定的。由于算法前期還處于戰(zhàn)略探索和學(xué)習(xí)階段，所以在前2 000個(gè)回合，算法的初始獎(jiǎng)勵(lì)較低，但呈現(xiàn)逐步增加的過程。在2 000個(gè)回合之后，算法的獎(jiǎng)勵(lì)值趨于穩(wěn)定，徘徊在最大值1附近，如圖5(a)所示，說明DDPG已經(jīng)得到了充分的訓(xùn)練。

(a) 平均獎(jiǎng)勵(lì)

在完成算法的訓(xùn)練后，對算法進(jìn)行了400個(gè)回合的測試。在每個(gè)測試回合中，波束掃描的角度從固定的0°到掃描到某個(gè)隨機(jī)的角度。圖5(b)顯示了DDPG算法驅(qū)動(dòng)的每個(gè)回合波束切換的時(shí)間?？梢钥闯?，波束的切換時(shí)間大多在0.06～0.25 s，平均時(shí)間約為0.098 s。這說明DDPG算法可以在非常短的時(shí)間內(nèi)求出目標(biāo)方向(θs,φs)所需增益Gs對應(yīng)的陣列天線幅度和相位分布，實(shí)現(xiàn)高性能波束掃描。

具體地，基于DDPG算法的共形陣列天線在θs∈{0°,30°,60°,90°,120°,150°}和φs=0°方向上的輻射方向圖，如圖6所示?？梢园l(fā)現(xiàn)，設(shè)計(jì)的共形陣列天線實(shí)現(xiàn)了幾乎覆蓋整個(gè)視覺空間的波束掃描性能。圖6還給出了平面相控陣天線在θs∈{0°,30°,60°}上的輻射方向圖，并和共形相控陣天線的輻射性能進(jìn)行比較。結(jié)果表明，當(dāng)波束掃描角為0°和30°時(shí)，共形陣列天線的增益略低于平面陣列天線。然而，當(dāng)波束掃描角為60°時(shí)，共形陣列天線的增益超過了平面陣列天線的增益，與圖2中的理論預(yù)測一致。此外，當(dāng)波束掃描角超過90°時(shí)，平面陣列天線已經(jīng)失去有效的輻射性能，而共形陣列天線的輻射性能仍然良好，表明所提出的共形陣列天線在大角度波束掃描方面具有很大優(yōu)勢。

圖6 共形陣列天線和平面陣列天線在不同波束掃描角下的輻射方向圖對比Fig.6 Comparison of radiation patterns of conformal array antenna and planar array antenna at different beam scanning angles

將所設(shè)計(jì)的共形陣列天線進(jìn)行加工、裝配和測試來驗(yàn)證基于DDPG算法的共形陣列天線寬角域波束掃描的有效性，共形陣列天線測試環(huán)境和加工原型如圖7所示。整個(gè)陣列天線通過1個(gè)1分8和5個(gè)1分4功分器進(jìn)行饋電，其中冗余的支路通過匹配負(fù)載進(jìn)行匹配。另外，還使用了8 bit數(shù)字移相器來實(shí)現(xiàn)覆蓋360°的精度為1.4°的精確移相性能，并預(yù)置了功率放大器來彌補(bǔ)每路通道的損耗。每個(gè)移相器可以由一個(gè)帶有8個(gè)開關(guān)的手動(dòng)控制器進(jìn)行精確控制，而輻射單元的激活與否可以通過對應(yīng)支路的通斷進(jìn)行控制。

圖7 共形陣列天線測試環(huán)境和加工原型Fig.7 Test environment and fabrication prototype of conformal array antenna

接著，在暗室中對設(shè)計(jì)的共形陣列天線進(jìn)行測試。選取了一組目標(biāo)波束掃描角θs={0°,30°,60°,90°,120°,150°}和φs=0°作為仿真和實(shí)測對比，結(jié)果如圖8所示。仿真結(jié)果與實(shí)測結(jié)果吻合較好，說明基于DDPG算法的共形陣列天線波束掃描算法是有效且準(zhǔn)確的。

圖8 基于DDPG算法的共形陣列天線在不同波束掃描角度下的仿真和測試輻射方向圖Fig.8 Simulated and measured radiation patterns of the conformal array antenna at different beam scanning angles based on DDPG algorithm

4 結(jié)論

本文提出了一種基于DDPG算法的共形陣列天線寬角域波束掃描算法，實(shí)現(xiàn)了幾乎全視野空間的波束掃描性能。利用DDPG算法強(qiáng)大的學(xué)習(xí)能力和非線性擬合能力，有效解決了復(fù)雜曲面平臺(tái)上共形陣列天線的方向圖綜合難度大的問題。在此基礎(chǔ)上，實(shí)現(xiàn)了具備寬角域波束掃描和快速波束切換能力的圓錐—圓柱異型共形陣列天線。