馬 楠 許 魁 夏曉晨 謝 威 徐鍵卉 申麥英

(陸軍工程大學(xué) 南京 210007)

1 引言

隨著第5代移動(dòng)通信技術(shù)(5th Generation Mobile Communication Technology, 5G)的大規(guī)模商用，關(guān)于第6代移動(dòng)通信技術(shù)(6th Generation Mobile Communication Technology, 6G)的總體愿景與潛在關(guān)鍵技術(shù)成為全球?qū)W術(shù)界和工業(yè)界新的研究熱點(diǎn)。6G的設(shè)計(jì)目標(biāo)之一是實(shí)現(xiàn)全球范圍內(nèi)的無(wú)縫覆蓋，但通過(guò)現(xiàn)有的建設(shè)地面基礎(chǔ)設(shè)施的方式無(wú)法實(shí)現(xiàn)對(duì)海洋、無(wú)人區(qū)等偏遠(yuǎn)地區(qū)的有效覆蓋。因此，構(gòu)建包括高中低軌衛(wèi)星網(wǎng)絡(luò)、高空平臺(tái)與地面現(xiàn)有蜂窩網(wǎng)為一體的空天地一體化網(wǎng)絡(luò)，成為實(shí)現(xiàn)全域全維度可靠覆蓋的新型組網(wǎng)方式。無(wú)人機(jī)由于具有部署靈活、地形適應(yīng)性強(qiáng)、成本低廉等優(yōu)點(diǎn)，在通信領(lǐng)域的應(yīng)用日趨廣泛。一種典型的應(yīng)用是將無(wú)人機(jī)作為無(wú)線(xiàn)接入節(jié)點(diǎn)(空中基站)，利用其對(duì)地面可靠的視距(Line Of Sight, LOS)鏈路保障地面用戶(hù)的通信需求[1]。同時(shí)，由于低軌衛(wèi)星傳輸損耗和時(shí)延較小，且可以組成星座以實(shí)現(xiàn)全球無(wú)縫覆蓋[2]，其作為回傳鏈路在實(shí)際系統(tǒng)中已有應(yīng)用。無(wú)人機(jī)、衛(wèi)星和地面網(wǎng)絡(luò)相結(jié)合形成的空天地一體化網(wǎng)絡(luò)不僅可以在地面基站被損毀時(shí)提供應(yīng)急覆蓋[3]，同時(shí)可以為偏遠(yuǎn)山區(qū)、遠(yuǎn)洋海域等地區(qū)提供補(bǔ)充覆蓋以及分流熱點(diǎn)地區(qū)的業(yè)務(wù)流量，已成為6G的典型組網(wǎng)方式。

現(xiàn)有針對(duì)無(wú)人機(jī)空地通信的研究主要集中于無(wú)人機(jī)部署、飛行路徑規(guī)劃和任務(wù)分配等。在無(wú)人機(jī)位置部署方面，文獻(xiàn)[4]將下行覆蓋能力表示為無(wú)人機(jī)高度和波束寬度的函數(shù)，基于圓堆圖理論求解無(wú)人機(jī)最優(yōu)3維部署。文獻(xiàn)[5]研究了在覆蓋給定數(shù)量用戶(hù)的需求下最小化所需無(wú)人機(jī)的數(shù)量及其位置。但是以上文獻(xiàn)僅研究無(wú)人機(jī)的靜態(tài)部署問(wèn)題，在實(shí)際場(chǎng)景中還需要結(jié)合運(yùn)動(dòng)控制及飛行路徑規(guī)劃。在無(wú)人機(jī)動(dòng)態(tài)部署方面，文獻(xiàn)[6]研究了多無(wú)人機(jī)多用戶(hù)場(chǎng)景下通過(guò)優(yōu)化無(wú)人機(jī)位置及飛行控制最大化最小用戶(hù)速率，其將無(wú)人機(jī)與用戶(hù)的運(yùn)動(dòng)過(guò)程離散化，在每個(gè)時(shí)刻內(nèi)分別優(yōu)化無(wú)人機(jī)的運(yùn)動(dòng)路徑。文獻(xiàn)[7]提出了一種在線(xiàn)學(xué)習(xí)算法，在帶寬受限和服務(wù)質(zhì)量(Quality of Service, QoS)約束前提下通過(guò)優(yōu)化無(wú)人機(jī)3維位置及用戶(hù)接入控制最大化網(wǎng)絡(luò)上行和速率，文獻(xiàn)[8]考慮無(wú)人機(jī)與地面基站通信場(chǎng)景，在滿(mǎn)足最大中斷間隔條件下通過(guò)優(yōu)化飛行路徑最小化完成任務(wù)所需時(shí)間，給出了路徑規(guī)劃的最優(yōu)解及低復(fù)雜度的次優(yōu)解，并利用圖論和凸優(yōu)化技術(shù)驗(yàn)證了解的可行性。文獻(xiàn)[9]利用強(qiáng)化學(xué)習(xí)中的蒙特卡羅和Q學(xué)習(xí)(Q-Learning)算法在線(xiàn)優(yōu)化無(wú)人機(jī)的飛行路徑實(shí)現(xiàn)最小化與地面用戶(hù)的平均通信時(shí)延?？紤]無(wú)人機(jī)能量受限場(chǎng)景，文獻(xiàn)[10]研究了通過(guò)無(wú)人機(jī)部署優(yōu)化實(shí)現(xiàn)服務(wù)用戶(hù)數(shù)量的最大化及能量消耗最小化問(wèn)題，文獻(xiàn)[11]證明了在無(wú)約束的軌跡優(yōu)化問(wèn)題中，單獨(dú)考慮最大化速率和最小化能耗均會(huì)使得能效趨于零，因此其綜合考慮系統(tǒng)吞吐量和無(wú)人機(jī)能耗，在圓形飛行路徑約束下通過(guò)聯(lián)合優(yōu)化無(wú)人機(jī)飛行速度和高度實(shí)現(xiàn)高能效的通信網(wǎng)絡(luò)。

另一個(gè)重要的研究領(lǐng)域是通過(guò)優(yōu)化資源分配策略如用戶(hù)調(diào)度、子信道和功率分配等提升通信質(zhì)量和能效。文獻(xiàn)[12]提出一種基于塊坐標(biāo)下降和連續(xù)凸逼近理論的聯(lián)合優(yōu)化用戶(hù)調(diào)度、飛行路徑設(shè)計(jì)和功率分配方法，實(shí)現(xiàn)最小用戶(hù)速率的最大化。文獻(xiàn)[13]在不同用戶(hù)的統(tǒng)計(jì)時(shí)延和QoS約束下通過(guò)聯(lián)合優(yōu)化無(wú)人機(jī)3維位置、帶寬和功率分配最大化系統(tǒng)的有效容量。

然而，現(xiàn)有的資源分配優(yōu)化方法大多采用基于傳統(tǒng)優(yōu)化理論的啟發(fā)式算法，需要進(jìn)行多次迭代求解，大大增加了系統(tǒng)的運(yùn)算復(fù)雜度，且難以適應(yīng)無(wú)線(xiàn)環(huán)境的動(dòng)態(tài)變化。因此，將機(jī)器學(xué)習(xí)應(yīng)用于求解資源分配問(wèn)題成為新的研究趨勢(shì)。文獻(xiàn)[14]通過(guò)期望最大化算法預(yù)測(cè)用戶(hù)需求從而最小化無(wú)人機(jī)發(fā)送功率，文獻(xiàn)[15]提出了一種基于液體狀態(tài)機(jī)的資源分配算法。這些方法均需要大量的有標(biāo)記的訓(xùn)練數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，需要額外的開(kāi)銷(xiāo)且無(wú)法完成在線(xiàn)學(xué)習(xí)，而不依賴(lài)訓(xùn)練數(shù)據(jù)的強(qiáng)化學(xué)習(xí)則能在執(zhí)行任務(wù)過(guò)程中在線(xiàn)更新自己的動(dòng)作策略以取得更優(yōu)的性能。文獻(xiàn)[16]提出基于Q-Learning的動(dòng)態(tài)資源分配算法實(shí)現(xiàn)最小化無(wú)人機(jī)中繼系統(tǒng)的中斷概率。文獻(xiàn)[17]討論了在空天地一體化網(wǎng)絡(luò)中通過(guò)強(qiáng)化學(xué)習(xí)聯(lián)合優(yōu)化無(wú)人機(jī)3維飛行路徑、地面基站和衛(wèi)星、用戶(hù)和地面基站之間連接與資源管理確保用戶(hù)公平性。文獻(xiàn)[18]利用隨機(jī)博弈理論將無(wú)人機(jī)動(dòng)態(tài)資源分配問(wèn)題建模為馬爾可夫決策過(guò)程，并采用Q-learning算法求解用戶(hù)選擇、子載波和功率分配的聯(lián)合優(yōu)化問(wèn)題，從而實(shí)現(xiàn)網(wǎng)絡(luò)容量的最大化。文獻(xiàn)[19]研究了無(wú)人機(jī)輔助的物聯(lián)網(wǎng)數(shù)據(jù)采集，無(wú)人機(jī)配置多天線(xiàn)與地面多個(gè)單天線(xiàn)物聯(lián)網(wǎng)終端形成虛擬的多輸入多輸出(Multiple-Input Multiple-Output, MIMO)鏈路，并通過(guò)設(shè)計(jì)數(shù)據(jù)發(fā)送間隔和發(fā)送功率優(yōu)化系統(tǒng)性能。

現(xiàn)有的無(wú)人機(jī)網(wǎng)絡(luò)中資源分配場(chǎng)景以單天線(xiàn)無(wú)人機(jī)空地網(wǎng)絡(luò)為主，對(duì)于配置有大規(guī)模MIMO的無(wú)人機(jī)空地網(wǎng)絡(luò)的資源分配方案研究較少。文獻(xiàn)[20]研究了在兩跳的放大轉(zhuǎn)發(fā)MIMO中繼系統(tǒng)中通過(guò)聯(lián)合優(yōu)化源節(jié)點(diǎn)與中繼節(jié)點(diǎn)的功率分配實(shí)現(xiàn)最大化能量效率的問(wèn)題，并推導(dǎo)出了最優(yōu)功率分配系數(shù)的閉合表達(dá)式。但其僅考慮單個(gè)源節(jié)點(diǎn)、中繼節(jié)點(diǎn)及目的節(jié)點(diǎn)的情況，無(wú)法直接應(yīng)用于多用戶(hù)場(chǎng)景中。文獻(xiàn)[21]考慮了在一跳直傳與兩跳中繼共存的蜂窩通信網(wǎng)絡(luò)中，通過(guò)基站疊加編碼、中繼節(jié)點(diǎn)最優(yōu)預(yù)編碼與移動(dòng)終端處的自適應(yīng)最小均方誤差預(yù)編碼的聯(lián)合設(shè)計(jì)，最小化多用戶(hù)數(shù)據(jù)流之間的干擾，但其未考慮多基站情況下的小區(qū)間干擾問(wèn)題。本文主要研究以配置有大規(guī)模MIMO天線(xiàn)的多架無(wú)人機(jī)作為移動(dòng)空中基站聯(lián)合為指定區(qū)域提供通信網(wǎng)絡(luò)覆蓋，同時(shí)利用低軌衛(wèi)星星座系統(tǒng)作為回傳中繼的空天地一體化通信網(wǎng)絡(luò)。從最大化用戶(hù)和速率及減小無(wú)人機(jī)飛行能耗的角度出發(fā)，合理設(shè)計(jì)無(wú)人機(jī)飛行路徑，聯(lián)合優(yōu)化飛行過(guò)程中用戶(hù)選擇和功率分配，利用強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)無(wú)人機(jī)在飛行過(guò)程中根據(jù)環(huán)境變化動(dòng)態(tài)調(diào)整資源分配策略，從而實(shí)現(xiàn)無(wú)人機(jī)自主智能化完成預(yù)定任務(wù)。具體來(lái)說(shuō)，論文首先根據(jù)服務(wù)區(qū)域用戶(hù)位置分布，提出基于k-means++的用戶(hù)分簇算法，從而根據(jù)用戶(hù)位置離線(xiàn)設(shè)計(jì)無(wú)人機(jī)飛行路徑；其次，將無(wú)人機(jī)的位置進(jìn)行離散化，在每個(gè)位置獨(dú)立進(jìn)行用戶(hù)選擇與功率分配，并利用基于K-臂賭博機(jī)的算法進(jìn)行求解；最后，通過(guò)計(jì)算機(jī)仿真驗(yàn)證了本文提出算法的有效性。

文中使用的符號(hào)定義如下：分別用大寫(xiě)和小寫(xiě)的粗體字母表示矩陣和向量，如X,x。(·)-1,(·)T和 (·)H代表矩陣的逆、轉(zhuǎn)置和共軛轉(zhuǎn)置運(yùn)算，X ∈CM×N表示M×N的復(fù)數(shù)矩陣，CN(μ,σ2)代表均值為μ、 方差為σ2的復(fù)高斯分布。

2 系統(tǒng)模型

如圖1所示，本文考慮由低軌衛(wèi)星、無(wú)人機(jī)及地面用戶(hù)構(gòu)成的空天地一體化通信系統(tǒng)。其中，多架無(wú)人機(jī)作為空中基站聯(lián)合為任務(wù)區(qū)域的地面用戶(hù)提供服務(wù)，同時(shí)利用低軌衛(wèi)星星座系統(tǒng)作為回傳鏈路，完成與任務(wù)區(qū)域外地面核心網(wǎng)的數(shù)據(jù)交互。假設(shè)半徑為rd的 圓形任務(wù)區(qū)域，采用M架無(wú)人機(jī)基站同時(shí)為地面K個(gè)用戶(hù)提供服務(wù)，每架無(wú)人機(jī)配置有L根天線(xiàn)，用戶(hù)均為單天線(xiàn)。定義無(wú)人機(jī)的集合為U={1,2,...,M}，用戶(hù)集合為I={1,2,...,K}。假設(shè)地面用戶(hù)位置已知且在任務(wù)持續(xù)時(shí)間內(nèi)保持不變，設(shè)第k個(gè)用戶(hù)的位置為vk=[xk,yk]，無(wú)人機(jī)的飛行高度為Ha，t時(shí)刻第m架無(wú)人機(jī)的水平位置為wm(t)=[xm(t),ym(t)]。為了便于求解，將無(wú)人機(jī)位置離散化為wm(n)=[xm(n),ym(n)],n∈{1,2,...,N}。

圖1 空天地一體化應(yīng)用場(chǎng)景

2.1 無(wú)人機(jī)—地面用戶(hù)信道模型

由于地面環(huán)境的復(fù)雜性，將空地信道建模為簡(jiǎn)單的自由空間損耗模型并不符合實(shí)際情況，因此，根據(jù)文獻(xiàn)[18]，本文將無(wú)人機(jī)-地面用戶(hù)信道的大

2.2 信號(hào)傳輸模型

3 基于k-means++的無(wú)人機(jī)離線(xiàn)路徑優(yōu)化算法

文獻(xiàn)[18]研究了無(wú)人機(jī)用戶(hù)選擇、子載波分配和功率分配的聯(lián)合優(yōu)化問(wèn)題，其無(wú)人機(jī)的飛行路徑初始化為沿圓形任務(wù)區(qū)域的直徑方向飛行。由于徑向路徑可能導(dǎo)致無(wú)人機(jī)對(duì)地面用戶(hù)覆蓋不均勻，同時(shí)考慮到目前多采用大型固定翼無(wú)人機(jī)作為空中基站，因此飛行路徑設(shè)計(jì)不宜過(guò)于復(fù)雜。文獻(xiàn)[22]提出將k-means算法用于用戶(hù)分簇，利用3個(gè)簇中心確定圓形飛行路徑。但是，文獻(xiàn)[23]指出k-means算法分簇結(jié)果受初始中心點(diǎn)的選取影響較大，如圖2所示，如果初始中心點(diǎn)選取距離較近，則會(huì)生成非理想的聚類(lèi)結(jié)果，從而導(dǎo)致根據(jù)簇中心確定的路徑與預(yù)期目標(biāo)相差較遠(yuǎn)。為避免此問(wèn)題，文獻(xiàn)[23]提出k-means++算法，該算法在聚類(lèi)中心初始化過(guò)程中的基本原則是使得初始的聚類(lèi)中心之間的相互距離盡可能遠(yuǎn)。因此，本文從增強(qiáng)用戶(hù)公平性、降低飛行時(shí)間和簡(jiǎn)化無(wú)人機(jī)控制角度，將k-means++算法用于無(wú)人機(jī)離線(xiàn)路徑優(yōu)化，可避免由于初始點(diǎn)選取不當(dāng)造成路徑偏差較大。算法具體描述如表1。

圖2 k-means 與 k-means++聚類(lèi)結(jié)果對(duì)比

表1 基于k-means++的簇中心選擇算法

當(dāng)無(wú)人機(jī)個(gè)數(shù)為M時(shí)，在路徑上等間隔取M個(gè)點(diǎn)作為無(wú)人機(jī)的初始位置，本文假設(shè)所有無(wú)人機(jī)沿相同方向運(yùn)動(dòng)。

4 用戶(hù)選擇與功率分配聯(lián)合優(yōu)化算法

4.1 問(wèn)題描述

4.2 分幕式多智能體多狀態(tài)K-臂賭博機(jī)用戶(hù)選擇和功率分配算法

本文考慮無(wú)人機(jī)之間沒(méi)有通信鏈路的情況，即每個(gè)時(shí)刻每架無(wú)人機(jī)獨(dú)立做出決策并獲得環(huán)境反饋的回報(bào)。由于每個(gè)用戶(hù)只能選擇1架無(wú)人機(jī)為自己服務(wù)，因此，當(dāng)兩架或兩架以上無(wú)人機(jī)選擇同一個(gè)用戶(hù)時(shí)，用戶(hù)需要根據(jù)一定的策略反向選擇無(wú)人機(jī)。因此，每個(gè)智能體所獲得獎(jiǎng)賞不僅與自己當(dāng)前時(shí)刻動(dòng)作有關(guān)，同時(shí)也受其他智能體的動(dòng)作影響。傳統(tǒng)的K-臂賭博機(jī)模型與狀態(tài)無(wú)關(guān)，僅由動(dòng)作和回報(bào)2元組即Φ={A,R}構(gòu)成。本節(jié)在傳統(tǒng)K-臂賭博機(jī)模型的基礎(chǔ)上引入狀態(tài)空間，將此問(wèn)題建模為馬爾可夫過(guò)程進(jìn)行求解。此模型可以由一個(gè)4元組Φ={M,S,A,R}表示，其中M表示智能體的個(gè)數(shù)，S表示系統(tǒng)狀態(tài)，A表示多智能體的聯(lián)合動(dòng)作，R={R1(s(t),a(t)),...,RM(s(t),a(t))}，其中Rm(s(t),a(t))表 示第m個(gè)智能體在狀態(tài)sm(t)下選擇a(t)的回報(bào)函數(shù)。各智能體的狀態(tài)空間、動(dòng)作空間、回報(bào)函數(shù)如下所述：

(1)狀態(tài)空間：將無(wú)人機(jī)運(yùn)動(dòng)路徑離散化，將每個(gè)時(shí)刻的位置索引定義為狀態(tài)空間，即Sm={1,2,...,T}， 則狀態(tài)為t時(shí)智能體m的位置為wm(t)。

(2)動(dòng)作空間Am定 義為無(wú)人機(jī)m可選的用戶(hù)與功率分配方案，時(shí)刻t時(shí)智能體m的動(dòng)作為am(t)={u1,...,uZ,p1(t),...,pZ(t)}， 其中ui表示用戶(hù)索引，pi(t) 表 示分配給第i個(gè)用戶(hù)的功率。

(3)回報(bào)函數(shù)Rm定義為無(wú)人機(jī)m所服務(wù)的用戶(hù)的和速率，時(shí)刻t時(shí)智能體m的瞬時(shí)回報(bào)定義為

5 仿真結(jié)果

本節(jié)利用計(jì)算機(jī)仿真驗(yàn)證本文所提路徑優(yōu)化與第4節(jié)所提算法的有效性，并與文獻(xiàn)[18]所采用的徑向飛行路徑與Q-learning資源分配算法進(jìn)行分析對(duì)比。仿真中采用的系統(tǒng)參數(shù)為：無(wú)人機(jī)個(gè)數(shù)M=2，用戶(hù)數(shù)K=20 ，每架無(wú)人機(jī)天線(xiàn)數(shù)L=16，每個(gè)時(shí)刻可服務(wù)用戶(hù)數(shù)N=4 ，服務(wù)區(qū)域半徑rd=500 m，無(wú)人機(jī)固定飛行高度Ha=100 m。信道相關(guān)參數(shù)為α=9.61，β=0.16， 萊斯因子G=8， 噪聲功率σ2=-80 dBm，載波頻率f=2 GHz，信道帶寬為B=75 kHz。每架無(wú)人機(jī)滿(mǎn)足總功率約束psum=27dBm，將總功率離散化為4個(gè)功率等級(jí)，分別分配給不同的用戶(hù)。

圖3為仿真場(chǎng)景示意圖。其中，用戶(hù)均勻分布于半徑為rd的圓形區(qū)域內(nèi)，徑向運(yùn)動(dòng)路徑如圖中黑色實(shí)線(xiàn)所示，經(jīng)過(guò)k-means++聚類(lèi)優(yōu)化后的路徑如圖中橙黃色實(shí)線(xiàn)所示，采用徑向路徑時(shí)，無(wú)人機(jī)所處位置分別為45°和135°，并分別沿直徑方向飛行，采用圓形路徑時(shí)，兩架無(wú)人機(jī)初始位置分別為90°和270°，并假設(shè)均沿順時(shí)針?lè)较蛞酝瑯拥乃俣葎蛩亠w行。

圖3 仿真場(chǎng)景

圖4 不同探索率下平均最大吞吐量

圖7對(duì)比了4種方案下無(wú)人機(jī)飛行1周過(guò)程中不同時(shí)刻系統(tǒng)最大吞吐量的累積分布函數(shù)。可以看出，采用徑向運(yùn)動(dòng)路徑的方案3和方案4總吞吐量均比圓形運(yùn)動(dòng)路徑差，且約50%的時(shí)刻系統(tǒng)總吞吐量均低于平均水平。同時(shí)由方案1和方案2對(duì)比可以看出采用本文所提算法相比可以使得所有時(shí)刻系統(tǒng)總吞吐量得到提升。

圖5 不同探索率下訓(xùn)練中實(shí)際吞吐量

圖6 4 種方案下平均最大吞吐量

圖7 4 種方案下平均最大吞吐量分布

圖8對(duì)比了圓形路徑與徑向路徑下不同用戶(hù)所能獲得的平均吞吐量。其中圓形路徑對(duì)應(yīng)方案1，徑向路徑對(duì)應(yīng)方案3。從圖中可以看出，圓形飛行路徑用戶(hù)所能獲得的平均吞吐量較為集中，而采用徑向飛行路徑時(shí)，除個(gè)別用戶(hù)能獲得較好性能外，其余用戶(hù)所能獲得性能均比采用圓形路徑時(shí)差，且最大值與最小值之間差距更大。

圖8 兩種路徑下用戶(hù)平均吞吐量分布

6 結(jié)束語(yǔ)

本文針對(duì)配置有大規(guī)模MIMO的無(wú)人機(jī)作為空中基站的空地通信網(wǎng)絡(luò)，首先根據(jù)用戶(hù)位置采用k-means++算法進(jìn)行分簇，根據(jù)簇中心確定無(wú)人機(jī)圓形飛行路徑；其次提出了一種分幕式多智能體多狀態(tài)K-臂賭博機(jī)算法，聯(lián)合優(yōu)化無(wú)人機(jī)每個(gè)時(shí)刻的用戶(hù)選擇與功率分配策略；最后通過(guò)計(jì)算機(jī)仿真與文獻(xiàn)[18]所提基于Q-learning的資源分配算法對(duì)比，驗(yàn)證了所提算法可以有效提升系統(tǒng)容量。在實(shí)際場(chǎng)景中，可以通過(guò)調(diào)節(jié)探索率參數(shù)實(shí)現(xiàn)在尋求更優(yōu)方案與最大化當(dāng)前平均吞吐量的折中。