景臘梅

（中鐵二十一局集團電務電化工程有限公司，甘肅 蘭州 730030）

0 引言

隨著鐵路運輸業(yè)的快速發(fā)展，人們對于高效、可靠的鐵路通信系統(tǒng)的需求日益增加，鐵路通信基站承載著保障列車安全行駛和有效調(diào)度的重要任務，其通信天線覆蓋的優(yōu)化成為確保信息傳遞無縫銜接的關鍵，而自優(yōu)化網(wǎng)絡作為一種解決方案，旨在通過自動化過程減少人工干預，提升網(wǎng)絡性能與管理效率，近年來隨著機器學習技術發(fā)展，使得強化學習技術得到興起，在眾多領域顯示出了巨大的潛力，強化學習適合處理具有明顯回饋且環(huán)境不斷演變的問題，使之成為優(yōu)化鐵路通信基站天線覆蓋的理想選擇，借助強化學習的模型，在沒有先驗知識的情況下，基站可以通過與環(huán)境的交互學習到最優(yōu)的天線配置策略。

1 鐵路通信基站天線覆蓋現(xiàn)狀及問題

鐵路通信基站的天線覆蓋對于保障列車運行的安全性和時效性至關重要，目前這一領域面臨著多重挑戰(zhàn)，首先鐵路沿線地形多變，從平坦的農(nóng)田到崎嶇的山地，都極大影響了信號的傳播，其次由于鐵路線路延伸數(shù)百甚至數(shù)千公里，確保端到端的無縫覆蓋需要大量的基站，不僅增加了建設成本，同時也帶來了維護的復雜性，再者高速移動的列車對通信信號的穩(wěn)定性提出了更高要求，特別是在隧道、橋梁等特殊區(qū)域，信號衰減和多徑干擾更為顯著[1]。另外現(xiàn)有鐵路通信系統(tǒng)大多采用固定配置的天線系統(tǒng)，其覆蓋范圍和信號強度往往無法自適應環(huán)境變化，例如在惡劣天氣或特殊地理條件下信號可能會突然變?nèi)?，導致通信中斷，或者鐵路沿線的城鎮(zhèn)發(fā)展和新的障礙物出現(xiàn)，也會對原有天線布局造成影響，進而需要調(diào)整天線配置以保持服務質(zhì)量，然而現(xiàn)行體系下的調(diào)整通常需人工介入，效率低下且反應遲緩，因此高效智能的天線覆蓋優(yōu)化策略已成為鐵路通信領域亟待解決的問題[2]。

2 基于強化學習的鐵路通信基站天線覆蓋自優(yōu)化模型

2.1 基站天線輻射模型搭建

2.1.1 天線輻射模式選擇

首先選擇一個方向性輻射模式，并且是能夠調(diào)整主瓣寬度的天線設計，以八木天線（Yagi-Uda）為主，這種天線相較于全向天線有更好的方向性，并且可以通過改變陣元數(shù)量、間距和饋電方式來調(diào)節(jié)其輻射模式，基站天線輻射模式示意圖如圖1 所示。

圖1 基站天線輻射模式示意圖

選定完模式后需要進行參數(shù)設定，可以設置一個具體的Yagi-Uda 天線模型，例如，使用8 個陣元，其中一個為激活饋電元，其余7 個作為被動反射或?qū)蛟兀僭O天線設計工作在900MHz GSM 鐵路通信頻段，天線增益定為12dBi，同時利用3D 電磁場仿真軟件進行輻射模式仿真，通過調(diào)整各陣元間的間隔和驅(qū)動電流的分布獲取天線的方向圖，陣元間距可設為0.3λ，其中λ 為工作波長，即大約33.3cm，且不同角度下的理論與實測信號強度存在一定差異性，具體內(nèi)容如表1 所示。

表1 不同角度下理論與實測信號強度

在仿真后，技術人員需在實驗環(huán)境中測量天線的實際輻射模式，可在鐵路旁設置測量裝置，記錄不同角度下的信號強度，以天線為中心，每10°測量一次，在水平方向上獲得180°的輻射模式數(shù)據(jù)，而在數(shù)據(jù)應用方面，將采集到的實驗數(shù)據(jù)反饋給強化學習算法，使其能夠基于實際環(huán)境中天線的輻射表現(xiàn)進行學習和優(yōu)化。

2.1.2 模型傳播

在鐵路通信中考慮到特定的地理和環(huán)境因素，傳播模型對于準確預測信號覆蓋至關重要，而計算移動通信中信號傳播距離的模型（Hata 模型）及其衍生版本是廣泛應用于城市、郊區(qū)和農(nóng)村環(huán)境的經(jīng)典傳播損耗模型，對于鐵路環(huán)境，由于其獨特的線性結構以及可能的地形變化，需要進一步調(diào)整和優(yōu)化這些模型[3]。

而在應用擴展Hata 模型以適應鐵路環(huán)境的過程中，首先需考慮多個方面因素，第一軌道高度與周圍地形：由于鐵路線路往往沿著特定地形建設，會比周圍地面高出或低入，影響信號傳播，第二直線距離：鐵路通信中天線與移動接收器之間的相對位置較為固定且多沿直線移動，對傳播模型參數(shù)化有特別影響，第三鐵路兩側環(huán)境：鐵路兩側一般是開闊地帶、森林、居民區(qū)或其他基礎設施，這些環(huán)境的不同對信號損耗有顯著影響。

考慮完相關因素，在調(diào)整Hata 模型時可以引入特定的修正項來考慮這些獨特的環(huán)境因素，可根據(jù)鐵路相對于周圍地形的高度差引入一個修正項，如果鐵路位于高地，則需要降低損耗預測值，反之若處于低地，則需要繼續(xù)增加損耗，而針對鐵路通信的直線特性，需要調(diào)整模型中距離的算法，同時通過實地測試獲取準確的系數(shù)[4]。

2.2 基站天線覆蓋問題描述

在進行問題描述的過程中，需要定義一個明確的環(huán)境狀態(tài)空間，在鐵路通信場景中，將基站的每個可調(diào)參數(shù)（發(fā)射功率、下傾角、方位角等）和環(huán)境因素（列車位置、周邊建筑物高度、天氣狀況等）組合定義為狀態(tài)，然后在此基礎上設計動作空間，動作即基站可以進行的調(diào)整，如增加或減少發(fā)射功率、調(diào)整下傾角和方位角等，假設動作集合包含的操作有5 種，每種操作都能微調(diào)當前的參數(shù)，如增加發(fā)射功率5%，減少發(fā)射功率5%等，接下來構建獎勵函數(shù)，獎勵函數(shù)能夠反映當前動作導致的狀態(tài)變化對通信質(zhì)量的影響。

最后通過強化學習算法進行訓練，使用強化學習交易（Q-learning）算法，可以迭代更新Q 值Q（St，At），根據(jù)Q（S，A）來選擇最優(yōu)動作，并調(diào)整天線參數(shù)以最大化長期收益，在仿真實驗中設定初始參數(shù)，其發(fā)射功率為20W，下傾角為6°，方位角為30°，在100 個不同的列車位置和環(huán)境設置下進行測試，使用狀態(tài)價值函數(shù)（DQN）作為優(yōu)化算法，將過去的經(jīng)驗存入一個回放緩沖區(qū)，通過mini-batch 方式進行網(wǎng)絡訓練，以此來模擬出更加精確的動作價值函數(shù)[5]。

2.3 天線覆蓋自優(yōu)化模型搭建

在鐵路通信基站天線覆蓋自優(yōu)化領域，強化學習提供了一套有效的解決方案，具體方法原理如圖2 所示。

圖2 天線覆蓋自優(yōu)化模型原理

首先需要定義強化學習環(huán)境中的狀態(tài)空間、動作空間和獎勵函數(shù)，狀態(tài)空間包括天線的功率水平、傾角、方位角以及當前網(wǎng)絡用戶分布和流量需求等，動作空間由天線參數(shù)調(diào)整組成，如增加或減少功率輸出、調(diào)整傾角和方位角等，獎勵函數(shù)以覆蓋范圍和信號質(zhì)量為依據(jù)，設計為對應于每一步動作后網(wǎng)絡性能的評價，例如，覆蓋范圍提升和用戶滿意度增加會帶來正獎勵，而覆蓋區(qū)域內(nèi)的信號強度低于閾值或者用戶服務中斷則會引發(fā)負獎勵。

在模型構建階段，采用深度Q 網(wǎng)絡結合卷積神經(jīng)網(wǎng)絡，使得模型能夠處理高維輸入數(shù)據(jù)，并有效地學習到從原始狀態(tài)到最優(yōu)動作的映射策略，DQN 通過使用經(jīng)驗回放（Experience Replay）和目標網(wǎng)絡（Target Network）來解決訓練過程中的穩(wěn)定性和收斂問題，具體仿真數(shù)據(jù)設定如下：①考慮一個5km×5km 的鐵路區(qū)段，其中部署了4 個基站天線。②每個天線的初始功率設為500W，傾角范圍為0°～15°，方位角范圍為0°～360°。③用戶分布和需求根據(jù)實際鐵路客運量數(shù)據(jù)生成，峰值時段每平方公里約50 名用戶，非峰值時段約20 名用戶。

通過連續(xù)多輪的訓練，在每一輪結束時模型都會使用當前的網(wǎng)絡狀態(tài)信息來更新其權重，逐漸學會如何改變天線參數(shù)以提高覆蓋率和滿足通信需求，假設在訓練初期，當天線功率減小5%、傾角增加0.5°和方位角順時針旋轉5°的動作被執(zhí)行時，模型觀察到覆蓋范圍從初始的3.8km 增加到了3.9km，因此這一系列動作獲得正獎勵，在經(jīng)過10000 個訓練周期后，模型表現(xiàn)出明顯的學習成果，對于相同的用戶分布情況，天線參數(shù)的調(diào)整可以在不超過10s 內(nèi)完成，提高覆蓋率至95%以上，并保持了99.5%的通信成功率，這表明該模型在實際鐵路環(huán)境下具有很高的應用潛力。

3 基于強化學習的鐵路通信基站天線覆蓋自優(yōu)化實驗論證

3.1 實驗過程

實驗過程分為兩個部分，分別為仿真實驗設計和現(xiàn)場測試設計，仿真實驗設計中仿真環(huán)境使用MATLAB/Simulink 構建，模擬具有不同地形、障礙物和鐵路軌道布局的場景，每個場景中部署多個基站，其天線參數(shù)可以通過強化學習算法調(diào)整。定義狀態(tài)空間為鐵路通信網(wǎng)絡的當前覆蓋效率、用戶分布和通信需求，動作空間為天線參數(shù)的調(diào)整選項，獎勵函數(shù)基于覆蓋效率的提升和用戶滿意度評價，要求每個仿真場景運行10次以獲取平均結果，強化學習算法的超參數(shù)，如學習率和折扣因子，根據(jù)預實驗結果設定，然后記錄每次實驗前后的網(wǎng)絡覆蓋率、服務質(zhì)量（QoS）指標（延遲、吞吐量）和算法收斂速度并與傳統(tǒng)的非自優(yōu)化天線配置相比較，以及與其他最新的自優(yōu)化方法進行對比分析。

而現(xiàn)場測試設計中，一般在實際鐵路沿線選擇具有代表性的區(qū)域進行現(xiàn)場測試，使用具備可調(diào)節(jié)天線參數(shù)的通信基站，搭載預先訓練好的強化學習模型進行實時優(yōu)化，在確保安全的條件下，調(diào)整天線參數(shù)以開始測試，記錄測試過程中的天線參數(shù)調(diào)整情況、網(wǎng)絡覆蓋范圍變化和通信質(zhì)量變化數(shù)據(jù)，主要關注天線覆蓋范圍的變化、通信鏈路的穩(wěn)定性以及響應時間等指標。

3.2 實驗結果

本此研究通過實驗驗證了基于強化學習的鐵路通信基站天線覆蓋自優(yōu)化方法的有效性，分別采用改進后的強化學習算法（RL-Improved）和傳統(tǒng)的靜態(tài)天線調(diào)整方法（Static）進行實驗對比，實驗在模擬的鐵路通信環(huán)境下進行，主要評估指標包括覆蓋率、平均通信延遲和能耗。具體實驗結果內(nèi)容如表2 所示。

表2 強化學習算法與靜態(tài)天線調(diào)整方法的性能對比

從表2 可以看出，強化學習算法在各項評估指標上均優(yōu)于靜態(tài)天線調(diào)整方法，特別是在覆蓋率方面，強化學習算法達到了95%的高覆蓋率，而靜態(tài)天線調(diào)整方法方法的覆蓋率僅為85%，這說明強化學習算法能更有效地適應環(huán)境變化，提高天線的覆蓋能力，在平均通信延遲方面，強化學習算法將延遲降低了20%，顯示出更高的通信效率，而在能耗方面，盡管強化學習算法相較于靜態(tài)天線調(diào)整方法有輕微增加，但鑒于其在其他兩項指標上的顯著提升，該部分增加的能耗可以視為對性能優(yōu)化的合理投資，由此可見通過持續(xù)學習和自我調(diào)整，強化學習算法方法能夠有效應對復雜多變的通信環(huán)境，進而提高鐵路通信網(wǎng)絡的整體性能，值得注意的是，盡管能耗略有增加，但考慮到覆蓋率和通信效率的顯著提升，該方法仍然是鐵路通信基站優(yōu)化的有力候選方案。

4 結語

綜上所述，本文針對鐵路通信基站天線覆蓋現(xiàn)狀及問題的闡述，提出關于強化學習算法的具體基站天線輻射模型搭建以及天線覆蓋自優(yōu)化模型搭建過程，同時通過實驗驗證模型的有效性，可以看出強化學習算法與傳統(tǒng)靜態(tài)天然調(diào)整方法具有一定的優(yōu)勢性，能夠更好的適應環(huán)境變化，降低網(wǎng)絡延遲，最終提高鐵路通信網(wǎng)絡的整體性能。