孔景娜

摘 要：隨著科技的進(jìn)步，通信方式越來越發(fā)達(dá)。衛(wèi)星能夠?qū)⑿l(wèi)星作為中轉(zhuǎn)站，在其電波覆蓋范圍以內(nèi)，可以直接完成通信傳輸，而且通信過程中并不會受到各類地質(zhì)災(zāi)害的影響。文章通過對衛(wèi)星通信進(jìn)行分析，并結(jié)合實(shí)際對基于強(qiáng)化學(xué)習(xí)的衛(wèi)星通信智能抗干擾決策提出個人觀點(diǎn)，希望為關(guān)注衛(wèi)星通信智能抗干擾的人群帶來參考。

關(guān)鍵詞：強(qiáng)化學(xué)習(xí);衛(wèi)星通信;智能抗干擾技術(shù)

0 引言

衛(wèi)星通信的覆蓋范圍非常大，而且衛(wèi)星通信還能夠在不受地理環(huán)境限制的同時保證通信質(zhì)量，所以衛(wèi)星通信在很多領(lǐng)域中都得到了廣泛的應(yīng)用。在使用衛(wèi)星通信時，只有避免受到干擾，才能夠使衛(wèi)星通信效果持續(xù)保持穩(wěn)定。因此，有必要對基于強(qiáng)化學(xué)習(xí)的衛(wèi)星通信智能抗干擾決策展開研究。

1? ? 衛(wèi)星通信綜述

衛(wèi)星通信作為現(xiàn)代通信的主要手段，其在各個領(lǐng)域都有著良好的發(fā)展前景。不同于其他通信方式，衛(wèi)星通信在實(shí)際應(yīng)用過程中不僅覆蓋范圍更廣，而且還可以有效保證通信傳輸質(zhì)量。將人造衛(wèi)星作為通信中轉(zhuǎn)站的想法來自于英國，如今地球之外的衛(wèi)星中繼站已經(jīng)成了現(xiàn)實(shí)?，F(xiàn)如今，地面通信網(wǎng)絡(luò)的構(gòu)建已經(jīng)逐漸變得完善，但是因為每個區(qū)域的地理條件以及經(jīng)濟(jì)條件各不相同，所以地面蜂窩系統(tǒng)很難真正意義上的完成全球覆蓋。所以衛(wèi)星通信才會因為不受地域影響成為一種主要的通信手段。

2 衛(wèi)星通信系統(tǒng)面對的干擾種類

根據(jù)鏈路不同，衛(wèi)星通信系統(tǒng)通常需要面對上行、星間、下行干擾三種不同的干擾類別。因為衛(wèi)星運(yùn)行軌跡以及高度不容易發(fā)生改變，所以上行鏈路容易實(shí)施干擾。而地面站則因為分布范圍更加廣泛且部分可以移動，所以下行鏈路不容易實(shí)施干擾。而星間干擾則是對空間段衛(wèi)星實(shí)施干擾，各類反衛(wèi)星武器都會對衛(wèi)星通信系統(tǒng)帶來威脅[1]。

在衛(wèi)星通信系統(tǒng)中，電磁干擾通?？梢苑譃閴褐?、靈巧、欺騙干擾3種。其中壓制干擾是通過對衛(wèi)星接收機(jī)發(fā)出同頻率大功率信號使衛(wèi)星誤碼率上升，影響衛(wèi)星通信?；蚴峭ㄟ^使接收機(jī)飽和令其無法正常開展通信工作。通常情況下，常見的干擾信號可以分為單音、噪聲調(diào)制等形式。欺騙干擾指的是掌握衛(wèi)星信息數(shù)據(jù)格式之后通過接收、生成等方式產(chǎn)生相近的信號來干擾衛(wèi)星的信號接收。若衛(wèi)星信號格式被完全破解，還有可能對衛(wèi)星發(fā)送指令完成衛(wèi)星控制。

3 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)指的是一種智能學(xué)習(xí)算法，這種學(xué)習(xí)算法與人類的學(xué)習(xí)過程非常接近，通過與環(huán)境之間進(jìn)行交互來掌握所需知識。強(qiáng)化學(xué)習(xí)的最終目標(biāo)就是通過最優(yōu)方案完成目標(biāo)。在與環(huán)境交互期間，智能體需要對實(shí)時狀態(tài)進(jìn)行合理評估，通過值函數(shù)進(jìn)行評估時能夠判斷當(dāng)前狀態(tài)的好與壞。某一方案下的值函數(shù)如式（1）：

通過強(qiáng)化學(xué)習(xí)能夠找到最優(yōu)方案，即回報函數(shù)期望最大的方案策略，最優(yōu)方案有可能并不唯一。在強(qiáng)化學(xué)過程中如果找到了最優(yōu)狀態(tài)值函數(shù)，則在此函數(shù)的基礎(chǔ)之上，所有狀態(tài)都選定為最優(yōu)動作，則可以獲得最優(yōu)方案，這種方法為值迭代。

4 智能抗干擾模型

強(qiáng)化學(xué)習(xí)作為無須大量數(shù)據(jù)信息支持的機(jī)器學(xué)習(xí)算法，機(jī)器在與環(huán)境進(jìn)行交互的同時能夠獲得所需的數(shù)據(jù)信息并對現(xiàn)有的算法進(jìn)行優(yōu)化、更新，所以強(qiáng)化學(xué)習(xí)非常適合在通信期間應(yīng)用。系統(tǒng)由通信、智能決策兩部分組成，在干擾出現(xiàn)時便會隨之做出決策，對通信系統(tǒng)中的各種通信參數(shù)進(jìn)行調(diào)整，通過這種方式能夠使通信狀態(tài)得到改善。當(dāng)通信系統(tǒng)將通信效果反饋至智能決策系統(tǒng)時，就可以完成相應(yīng)的訓(xùn)練與學(xué)習(xí)，從而使學(xué)習(xí)在面對更加復(fù)雜的情況時能夠發(fā)揮出應(yīng)有的作用。

4.1 通信模型

WGS采用了Ka頻段以及X頻段來進(jìn)行通信，X、Ka頻段中分別有9個、10個波束。X頻段中的可用頻譜為500 MHz而Ka頻段則為1 GHz。在衛(wèi)星通信系統(tǒng)中，通信部分融合了蜂窩小區(qū)頻率復(fù)用方案，其中每一個小區(qū)都會占用1 MHz的子信道。在通信無干擾時，采用頻分復(fù)用方案進(jìn)行正常通信，而在受到衛(wèi)星信號受到干擾之后，就可以令相鄰的7個蜂窩小區(qū)形成大區(qū)，在組成整體之后交由智能決策系統(tǒng)進(jìn)行調(diào)配使用，為了避免因個別小區(qū)通信需求而忽略其他小區(qū)，特定小區(qū)的頻譜可以調(diào)整為正常通信期間的7倍，以此來提升整體抗干擾能力[2]。

4.2 強(qiáng)化學(xué)習(xí)模型

誤比特率是評價通信系統(tǒng)的重要指標(biāo)之一。能夠?qū)νㄐ胚^程中傳輸數(shù)據(jù)準(zhǔn)確度進(jìn)行衡量，而在通信期間還存在通信速率指標(biāo)。通信系統(tǒng)需要在誤比特率相對較低的情況下增加通信速率，而通信速率則會受到信道容量帶來的限制。在通信系統(tǒng)中，通過增加信號功率能夠增加信噪比，此時誤比特率將會降低。只有協(xié)調(diào)好誤比特率、發(fā)射功率與通信速率間的關(guān)系，才能夠使抗干擾能力進(jìn)一步增加。

4.3 強(qiáng)化學(xué)習(xí)動作選擇

在衛(wèi)星通信系統(tǒng)中，干擾信號能夠?qū)Ω鞣N有用信號帶來影響。通常情況下，干擾信號會通過以下幾點(diǎn)來影響到通信信號：第一，相同的信號頻率。相同頻率的信號會在信道中出現(xiàn)疊加的情況，疊加后的信號將會對信號波形帶來影響，這種干擾無法利用濾波器來消除。第二，干擾信號存在的頻帶范圍較寬。能夠使用降低信噪比的方式來對通信信號造成影響。強(qiáng)化學(xué)習(xí)動作能夠從調(diào)制方式、功率、頻域多種角度來合理選擇抗干擾方式。

4.4 強(qiáng)化學(xué)習(xí)狀態(tài)定義

在通信系統(tǒng)中，智能體就是為了增加智能抗干擾能力而添加的，所以智能體能夠?qū)⑼ㄐ畔到y(tǒng)看作環(huán)境，以此來考慮強(qiáng)化學(xué)習(xí)動作。強(qiáng)化學(xué)習(xí)則通過改變頻段、功率、調(diào)制方式來做出相應(yīng)動作，整個過程能夠滿足馬爾科夫決策的定義。

5 仿真、結(jié)果

通常情況下，干擾一般可以分為單一干擾與復(fù)合干擾兩種，兩種干擾類型的仿真參數(shù)各有不同，復(fù)合干擾便是由兩種不同干擾相互疊加之后形成的。在強(qiáng)化學(xué)習(xí)過程中，累計回報作為短期、長期回報二者之和，是一個非常重要的概念。其中短期回報指的是強(qiáng)化學(xué)習(xí)由當(dāng)前動作產(chǎn)生的回報，而長期回報則是當(dāng)前動作在未來有可能得到的回報。在擁有終止態(tài)的模型中，長期回報便是自當(dāng)前動作開始直到終止之前所有動作共同的短期回報之和。如果模型并沒有終止態(tài)，則在計算長期回報時，就無法將每一次短期回報進(jìn)行疊加，因為這種疊加方式得到的累計回報是屬于發(fā)散性質(zhì)的，所以在這種模型中應(yīng)該盡量考慮短期回報。誤比特率與速率、功率進(jìn)行加權(quán)后能夠得到目標(biāo)函數(shù)，所以對于衛(wèi)星通信而言，應(yīng)該在降低誤比特率的同時盡量增加速率、降低功率，因此在選取權(quán)重時可以考慮將誤比特率權(quán)重設(shè)置為0.8，而速率、功率權(quán)重則為0.1。強(qiáng)化學(xué)習(xí)在使用過程中需要通過動態(tài)規(guī)劃進(jìn)行迭代處理，所以在使用期間應(yīng)該優(yōu)先判斷決策是否收斂，當(dāng)收斂結(jié)果得到之后再對仿真結(jié)果進(jìn)行驗證。

在單一干擾中，若通信系統(tǒng)受到了音頻干擾，則值函數(shù)大約可以在經(jīng)過30迭代之后逐漸趨于穩(wěn)定并進(jìn)入收斂狀態(tài)。通過強(qiáng)化學(xué)習(xí)完成交互、收斂之后，在函數(shù)便可以計算出最佳解決方案。除了音頻干擾以后，面對窄帶、掃頻等干擾時，將強(qiáng)化學(xué)習(xí)作為核心的抗干擾決策系統(tǒng)同樣能夠發(fā)揮出相對較好的抗干擾效果。而在面對符合干擾時，無論是音頻+窄帶還是其他種類的符合干擾，都能夠通過強(qiáng)化學(xué)習(xí)來解決干擾問題。決策系統(tǒng)同樣會通過交互學(xué)習(xí)來找出最優(yōu)解，運(yùn)算過程中同樣在30次迭代左右便能夠進(jìn)入到收斂狀態(tài)中，所以智能決策系統(tǒng)能夠在實(shí)際應(yīng)用過程中有效降低衛(wèi)星通信期間的誤碼率[3]。

6 結(jié)語

總而言之，在衛(wèi)星通信過程中，抗干擾技術(shù)的效果非常重要。通過高質(zhì)量的抗干擾決策，能夠使衛(wèi)星通信在變得更加穩(wěn)定的同時提升傳輸效率?；趶?qiáng)化學(xué)習(xí)的智能抗干擾決策便擁有非常優(yōu)秀的抗干擾效果。相信隨著更多人了解到衛(wèi)星通信抗干擾的重要性，衛(wèi)星通信抗干擾能力一定會變得更好。

[參考文獻(xiàn)]

[1]張越，韓志鋼，張頌.衛(wèi)星通信中的抗干擾技術(shù)分析[J].集成電路應(yīng)用，2020（10）：180-181.

[2]張任楠，王志濤.衛(wèi)星通信抗干擾技術(shù)及其發(fā)展趨勢分析[J].數(shù)字通信世界，2020（9）：79-80.

[3]李新科，朱英軍.基于星上處理的衛(wèi)星通信抗干擾技術(shù)探究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2020（8）：87-88.

（編輯 傅金睿）