亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        無(wú)人機(jī)輔助無(wú)蜂窩大規(guī)模MIMO中的空地協(xié)同調(diào)度

        2022-09-03 03:23:20鄧丹昊王朝煒江帆王衛(wèi)東
        電信科學(xué) 2022年8期
        關(guān)鍵詞:蜂窩軌跡狀態(tài)

        鄧丹昊,王朝煒,江帆,王衛(wèi)東

        (1.北京郵電大學(xué)電子工程學(xué)院,北京 100876;2.西安郵電大學(xué)通信與信息工程學(xué)院,陜西 西安 710121)

        0 引言

        大規(guī)模多輸入多輸出(multiple-input multiple-output,MIMO)是 6G 的核心技術(shù)之一,具有大量天線的基站為占用相同時(shí)頻資源的多個(gè)用戶提供服務(wù),進(jìn)一步提高了頻譜效率、能量效率以及可靠性[1-3]。根據(jù)天線陣列的部署情況,可以將大規(guī)模 MIMO系統(tǒng)定義為集中式或分布式。在分布式大規(guī)模 MIMO系統(tǒng)中,天線陣列被多個(gè)不同位置的接入點(diǎn)(access point,AP)所取代,這些接入點(diǎn)自由分布在整個(gè)通信區(qū)域內(nèi)。因此,分布式系統(tǒng)可以利用空間多樣性對(duì)抗陰影衰落,與集中式系統(tǒng)相比具有更高的覆蓋率。最近,文獻(xiàn)[4]提出了一種新的分布式系統(tǒng):無(wú)蜂窩大規(guī)模MIMO。該系統(tǒng)沒(méi)有小區(qū)和小區(qū)邊緣的概念,而是由一組分布式AP通過(guò)時(shí)分雙工模式,協(xié)同地服務(wù)于覆蓋范圍內(nèi)的所有活動(dòng)用戶。AP接收和傳輸?shù)男盘?hào)由中央處理器(central processing unit,CPU)采集、轉(zhuǎn)發(fā)與處理。無(wú)蜂窩系統(tǒng)可以緩解小區(qū)間干擾對(duì)傳統(tǒng)架構(gòu)中用戶的影響[5],從而提高系統(tǒng)性能。但是無(wú)蜂窩大規(guī)模MIMO也帶來(lái)了嚴(yán)重的多用戶干擾[6-7]、不完美全局信道狀態(tài)信息[8]、復(fù)雜的資源分配[8]等挑戰(zhàn)。例如,針對(duì)地面高速移動(dòng)的用戶,無(wú)蜂窩大規(guī)模 MIMO需要頻繁地分配導(dǎo)頻資源檢測(cè)當(dāng)前的信道狀態(tài)信息,因此會(huì)造成大量的資源消耗以及信息時(shí)延。

        不需要部署固定基礎(chǔ)設(shè)施就可以為地面用戶提供通信服務(wù),無(wú)人機(jī)輔助通信技術(shù)被認(rèn)為是一種很有發(fā)展前景的技術(shù)[9-11],從而廣泛應(yīng)用于覆蓋增強(qiáng)、無(wú)線中繼和信息傳播等方面[12-15]。盡管學(xué)術(shù)界對(duì)此高度重視,但無(wú)人機(jī)輔助通信仍有許多問(wèn)題亟待解決,如無(wú)人機(jī)在高動(dòng)態(tài)環(huán)境下的軌跡部署等。針對(duì)用戶高速移動(dòng)場(chǎng)景,基于用戶軌跡預(yù)測(cè),提前設(shè)計(jì)無(wú)人機(jī)軌跡,可以減少無(wú)人機(jī)的響應(yīng)時(shí)間,從而為用戶提供更高質(zhì)量的服務(wù)[16]。文獻(xiàn)[16]采用回聲狀態(tài)網(wǎng)絡(luò)(echo state network,ESN)預(yù)測(cè)用戶位置,提出了一種多智能體Q-learning算法設(shè)計(jì)無(wú)人機(jī)軌跡。文獻(xiàn)[17]提出了一種基于異步并行計(jì)算的深度確定性策略梯度(deep deterministic policy gradient,DDPG)算法對(duì)無(wú)人機(jī)軌跡進(jìn)行優(yōu)化。文獻(xiàn)[18]構(gòu)建了短期精確預(yù)測(cè)與長(zhǎng)期粗預(yù)測(cè)相結(jié)合的框架,并采用滾動(dòng)優(yōu)化方法獲取無(wú)人機(jī)航跡。

        本文針對(duì)無(wú)蜂窩大規(guī)模MIMO網(wǎng)絡(luò),首先區(qū)分網(wǎng)絡(luò)中的低速和高速用戶,分別構(gòu)建無(wú)蜂窩通信架構(gòu)和無(wú)人機(jī)輔助通信架構(gòu),兩種架構(gòu)以時(shí)分復(fù)用的方式交替進(jìn)行通信服務(wù)。在無(wú)人機(jī)輔助通信架構(gòu)中,本文將無(wú)人機(jī)軌跡設(shè)計(jì)建模為序列決策問(wèn)題,并進(jìn)一步轉(zhuǎn)化為馬爾可夫決策過(guò)程(Markov decision process,MDP),基于深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning,DRL)算法,提出一種無(wú)人機(jī)軌跡預(yù)測(cè)及資源管理方案。

        1 系統(tǒng)模型

        本文討論的無(wú)人機(jī)輔助無(wú)蜂窩大規(guī)模 MIMO網(wǎng)絡(luò)如圖1所示,系統(tǒng)包含M個(gè)AP、K個(gè)用戶、N架無(wú)人機(jī),以及一個(gè)CPU。每個(gè)AP配置L根天線,而用戶和無(wú)人機(jī)則配置單根天線。CPU通過(guò)不斷發(fā)送導(dǎo)頻信號(hào)檢測(cè)用戶的信道狀態(tài)信息,據(jù)此進(jìn)行各類(lèi)資源分配。由于地面用戶的高速移動(dòng)會(huì)改變用戶與AP間的路徑損失,從而影響信道狀態(tài)信息,CPU需要頻繁地為高速用戶分配導(dǎo)頻資源。因此,K個(gè)用戶根據(jù)移動(dòng)速率劃分為Kl個(gè)低速用戶和Kh個(gè)高速用戶,其中K=Kl+Kh。本文提出一種雙系統(tǒng)架構(gòu),其中由M個(gè)AP和CPU組成的無(wú)蜂窩系統(tǒng)服務(wù)Kl個(gè)低速用戶,由N架無(wú)人機(jī)組成的無(wú)人機(jī)輔助通信系統(tǒng)則服務(wù)Kh個(gè)高速用戶。兩系統(tǒng)通過(guò)時(shí)分復(fù)用模式交替進(jìn)行通信服務(wù),同時(shí) AP與無(wú)人機(jī)占用不同的頻段避免系統(tǒng)間干擾。

        圖1 無(wú)人機(jī)輔助無(wú)蜂窩大規(guī)模MIMO網(wǎng)絡(luò)

        1.1 無(wú)蜂窩大規(guī)模MIMO系統(tǒng)

        首先,CPU計(jì)算針對(duì)Kl個(gè)低速用戶的波束成形信號(hào),并通過(guò)量化前傳鏈路進(jìn)行信號(hào)壓縮。之后,CPU將壓縮后的信號(hào)轉(zhuǎn)發(fā)到每個(gè)AP。AP端的接收信號(hào)可以表示為:

        其中,wm,kl(t) ∈ CL×1表示用戶kl與APm間的波束成形矩陣,skl(t)表示用戶kl的下行期望信號(hào),該信號(hào)滿足為APm受到的壓縮噪聲。各個(gè) AP將所接收的信號(hào)通過(guò)無(wú)線鏈路轉(zhuǎn)發(fā)給所有的低速用戶,因此,用戶kl的接收信號(hào)可以表示為:

        其中,hm,kl(t)表示用戶kl與 APm間的信道狀態(tài)信息矩陣,nkl表示用戶kl受到的加性白高斯噪聲(additive white Gaussian noise,AWGN)。用戶kl的可達(dá)速率為:

        所有低速用戶的總和速率可以表示為:

        1.2 無(wú)人機(jī)輔助通信系統(tǒng)

        假設(shè)每個(gè)無(wú)人機(jī)通過(guò)時(shí)分復(fù)用服務(wù)不同的用戶,同時(shí)所有無(wú)人機(jī)共享相同的頻段。為簡(jiǎn)單起見(jiàn),無(wú)人機(jī)飛行時(shí)長(zhǎng)T被劃分為I個(gè)時(shí)長(zhǎng)相等的時(shí)隙點(diǎn)。在實(shí)際應(yīng)用中,空對(duì)地信道主要以視距(line of sight,LoS)鏈路為主。因此,無(wú)人機(jī)n與高速用戶kh之間的信道增益遵循自由空間路徑損失模型,可以表示為:

        其中,β0表示表示參考距離d=1 m時(shí)的信道功率增益,qn[i]表示無(wú)人機(jī)n在時(shí)隙i的笛卡爾坐標(biāo),ukh[i]則表示用戶kh在時(shí)隙i的笛卡爾坐標(biāo)。當(dāng)無(wú)人機(jī)n服務(wù)用戶kh時(shí),該用戶的信干噪比(signal to interference plus noise ratio,SINR)為:

        其中,pn[i]為無(wú)人機(jī)n在時(shí)隙i的發(fā)送功率,為高速用戶kh受到的AWGN功率。因此,用戶kh在時(shí)隙i的可達(dá)速率為:

        為了有效地提升系統(tǒng)內(nèi) AP和無(wú)人機(jī)的協(xié)作性能,本文的目標(biāo)是構(gòu)建一個(gè)基于無(wú)人機(jī)軌跡設(shè)計(jì)和用戶調(diào)度的總和速率最大化問(wèn)題,該問(wèn)題的數(shù)學(xué)表達(dá)式為:

        2 基于 DRQN的無(wú)人機(jī)軌跡設(shè)計(jì)和用戶調(diào)度方案

        無(wú)人機(jī)軌跡設(shè)計(jì)問(wèn)題屬于序列決策問(wèn)題,該類(lèi)問(wèn)題通常需要聯(lián)合求解數(shù)千個(gè)優(yōu)化變量,且變量間存在極強(qiáng)的相關(guān)性[19]。因此,本文將問(wèn)題(10)建模為MDP并利用DRL算法進(jìn)行求解。

        2.1 MDP模型

        MDP由4個(gè)部分組成,分別為狀態(tài)s、動(dòng)作a、獎(jiǎng)勵(lì)r和動(dòng)作選擇策略π。具體來(lái)說(shuō),智能體從系統(tǒng)中獲得當(dāng)前的狀態(tài)s,并根據(jù)動(dòng)作選擇策略π決定當(dāng)前動(dòng)作a。在智能體執(zhí)行動(dòng)作a后,系統(tǒng)會(huì)轉(zhuǎn)變?yōu)橄乱粻顟B(tài)s′,并通過(guò)反饋獎(jiǎng)勵(lì)r體現(xiàn)該狀態(tài)-動(dòng)作對(duì)的可行性和最優(yōu)性。本文將地面CPU作為智能體來(lái)確定無(wú)人機(jī)的軌跡和用戶調(diào)度。式(10)中的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)分別如下。

        ? 狀態(tài):系統(tǒng)狀態(tài)包含所有影響高速用戶軌跡預(yù)測(cè)和優(yōu)化問(wèn)題式(10)的變量。用戶軌跡預(yù)測(cè)與用戶當(dāng)前位置、速度和加速度有關(guān),分別表示為、和,其中,速度和加速度可以由過(guò)去3個(gè)時(shí)隙的位置推導(dǎo)。此外,優(yōu)化問(wèn)題式(10)還與無(wú)人機(jī)的當(dāng)前位置qn[i]以及當(dāng)前的時(shí)隙i相關(guān)。

        ? 動(dòng)作:無(wú)人機(jī)軌跡設(shè)計(jì)和用戶調(diào)度方案的動(dòng)作包括兩個(gè)部分。假設(shè)無(wú)人機(jī)在每個(gè)時(shí)隙內(nèi)以固定的速度飛行,其下一時(shí)刻位置僅取決于當(dāng)前的飛行方向dkl(i);同時(shí),用戶調(diào)度可以用αn,kh[i]表示。

        ? 獎(jiǎng)勵(lì):獎(jiǎng)勵(lì)函數(shù)的目標(biāo)是在滿足約束(8)和約束(9)的前提下,最大化系統(tǒng)總和速率。因此,獎(jiǎng)勵(lì)函數(shù)被定義為:

        其中,ξr(i)和ξc(i)為0-1指示器,一方面,本文設(shè)置負(fù)獎(jiǎng)勵(lì)懲罰違反式(8)、式(9)的任何動(dòng)作,并利用ξc(i)=1輔助判別;另一方面,當(dāng)且僅當(dāng)所有無(wú)人機(jī)到達(dá)目的地時(shí),即ξr(i)=1時(shí),當(dāng)前動(dòng)作被賦予正向獎(jiǎng)勵(lì)。值得注意的是,無(wú)人機(jī)的軌跡設(shè)計(jì)需要在下一時(shí)刻得到反饋,因此狀態(tài)-動(dòng)作對(duì)與獎(jiǎng)勵(lì)值存在時(shí)間上的不對(duì)應(yīng)性。同時(shí),由于用戶處于高速移動(dòng)狀態(tài),當(dāng)前時(shí)刻的用戶位置與下一時(shí)刻存在較大差異,需要根據(jù)下一時(shí)刻的用戶位置與無(wú)人機(jī)位置進(jìn)行計(jì)算。

        2.2 DRQN算法

        DRL的核心目標(biāo)是通過(guò)不斷與環(huán)境交互,學(xué)習(xí)到最優(yōu)的動(dòng)作選擇策略π*。深度Q網(wǎng)絡(luò)(deepQ-network,DQN)算法采用Q函數(shù)Qπ(s,a)表示在狀態(tài)s處采取動(dòng)作a的潛在價(jià)值:

        其中,γ∈ ( 0,1]為折扣因子,R(s,a)是在狀態(tài)s處采取動(dòng)作a的即時(shí)獎(jiǎng)勵(lì),s′和a′分別為下一時(shí)刻的狀態(tài)和動(dòng)作。理論上,最優(yōu)的動(dòng)作a*應(yīng)該具有最大的潛在價(jià)值。因此,可以根據(jù)Q函數(shù)尋找當(dāng)前的最優(yōu)動(dòng)作:

        DQN通常采用兩個(gè)深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)搭建Q函數(shù)。其中,第一個(gè)DNN承擔(dān)Q函數(shù)的作用,被稱(chēng)為主網(wǎng)絡(luò),網(wǎng)絡(luò)輸入為當(dāng)前的狀態(tài)s,輸出為所有動(dòng)作的Q值Q(s,a;θ)。第二個(gè)DNN用于更新主網(wǎng)絡(luò)權(quán)重θ,被稱(chēng)為目標(biāo)網(wǎng)絡(luò),且目標(biāo)網(wǎng)絡(luò)的架構(gòu)與主網(wǎng)絡(luò)相同。DQN采用經(jīng)驗(yàn)回放機(jī)制更新權(quán)重。具體來(lái)說(shuō),智能體將所經(jīng)歷的樣本(s,a,r,s′)存儲(chǔ)到經(jīng)驗(yàn)池中,當(dāng)存儲(chǔ)樣本達(dá)到最小容量時(shí),智能體隨機(jī)采樣小批量的樣本計(jì)算目標(biāo)Q值:

        其中,(sj,aj,rj,sj+1)為第j個(gè)采樣樣本,θ′表示目標(biāo)網(wǎng)絡(luò)的權(quán)重,Q′(s,a;θ′)為目標(biāo)網(wǎng)絡(luò)的輸出Q值。本文利用隨機(jī)梯度下降(stochastic gradient descent,SGD)法更新主網(wǎng)絡(luò)的權(quán)重θ。更新的目標(biāo)是使主網(wǎng)絡(luò)輸出Q值與目標(biāo)Q值之間的時(shí)序差分誤差(temporal-difference error,TD error)最小,因此損失函數(shù)被定義為:

        其中,B為采樣的樣本總數(shù)。損失函數(shù)式(15)相對(duì)于權(quán)重θ的梯度為:

        對(duì)于目標(biāo)網(wǎng)絡(luò),其權(quán)重更新不需要獨(dú)立的損失函數(shù)與梯度,而是每Nt步更新為主網(wǎng)絡(luò)的權(quán)重θ→θ′。

        為了同步實(shí)現(xiàn)高速用戶的軌跡預(yù)測(cè)和資源優(yōu)化,本文在DQN的輸入層和全連接層之間插入了一個(gè)長(zhǎng)短期記憶(long short-term memory,LSTM)層,將DQN發(fā)展為深度循環(huán)Q網(wǎng)絡(luò)(deep recurrentQ-network,DRQN)。其中,LSTM 層負(fù)責(zé)用戶軌跡預(yù)測(cè),而全連接層根據(jù)輸入狀態(tài)和預(yù)測(cè)結(jié)果決定當(dāng)前最優(yōu)動(dòng)作。

        具體的算法流程如下。

        步驟1初始化主網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)、記憶池、高速用戶位置和移動(dòng)方式、低速用戶位置和移動(dòng)方式。

        步驟2初始化無(wú)人機(jī)的起始位置并生成初始狀態(tài)s(0)。

        步驟3根據(jù)ε-greedy策略選擇當(dāng)前動(dòng)作a(i)。

        步驟4執(zhí)行動(dòng)作a(i),獲得當(dāng)前獎(jiǎng)勵(lì)r(i)和下一狀態(tài)s(i+1)。

        步驟5計(jì)算目標(biāo)Q值,更新主網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)。

        步驟6重復(fù)步驟3~步驟5,直到無(wú)人機(jī)抵達(dá)目的地。

        步驟7重復(fù)步驟2~步驟6,直到訓(xùn)練步數(shù)滿足要求。

        3 仿真結(jié)果與分析

        3.1 仿真參數(shù)

        在仿真中,系統(tǒng)為1 km×1 km的正方形區(qū)域,包含100個(gè)AP、80個(gè)低速用戶、5~10個(gè)高速用戶、2架無(wú)人機(jī)和一個(gè)CPU。無(wú)人機(jī)的飛行高度為100 m,最大飛行速度為20 m/s,最大發(fā)送功率為30 dBm。高速用戶的最大移動(dòng)速度為10 m/s。AP的最大發(fā)送功率為30 dBm。無(wú)蜂窩大規(guī)模MIMO系統(tǒng)進(jìn)行通信服務(wù)時(shí),AP為其覆蓋范圍內(nèi)的所有用戶平均分配、發(fā)送功率。AP與低速用戶之間的信道狀態(tài)信息綜合考慮路徑損失、陰影衰落等因素,具體的參數(shù)參考文獻(xiàn)[20]。無(wú)人機(jī)輔助通信系統(tǒng)與無(wú)蜂窩大規(guī)模 MIMO的通信時(shí)間占比為1:1。DRQN算法采用4層網(wǎng)絡(luò)結(jié)構(gòu),學(xué)習(xí)率為0.000 5,折扣因子設(shè)定為0.9,經(jīng)過(guò)600個(gè)周期的訓(xùn)練獲得最終的動(dòng)作選擇策略。

        3.2 仿真結(jié)果

        本文所提基于DRQN的無(wú)人機(jī)軌跡設(shè)計(jì)和用戶調(diào)度方案的收斂性能如圖2所示。具體而言,DQRN的收斂性由損失函數(shù)和系統(tǒng)性能兩方面決定。損失函數(shù)可以表示DRQN內(nèi)部神經(jīng)網(wǎng)絡(luò)的訓(xùn)練程度。理論上,損失函數(shù)會(huì)隨著訓(xùn)練的不斷進(jìn)行而下降,最終趨于平穩(wěn);然而僅利用損失函數(shù)表征方案的收斂性是不充分的,這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)的收斂并不能保證所提方案收斂到最優(yōu)策略,依舊存在方案收斂到局部最優(yōu)的可能性。系統(tǒng)性能則表示DRQN方案是否有穩(wěn)定的輸出結(jié)果。隨著訓(xùn)練的進(jìn)行,系統(tǒng)性能會(huì)不斷上升直至穩(wěn)定。同樣,由于無(wú)法確定是否有更優(yōu)性能,方案的收斂性不能僅利用系統(tǒng)性能曲線表征,因此,本文同時(shí)考慮損失函數(shù)和系統(tǒng)性能,利用兩者的訓(xùn)練曲線說(shuō)明方案的收斂性??梢钥闯觯瑑蓷l曲線在經(jīng)歷400個(gè)周期訓(xùn)練后基本穩(wěn)定,可以認(rèn)為方案已經(jīng)收斂。

        圖2 基于DRQN的無(wú)人機(jī)軌跡設(shè)計(jì)和用戶調(diào)度方案的收斂性能

        不同的高速移動(dòng)用戶數(shù)量下,不同方案的復(fù)雜度對(duì)比如圖3所示。本文采用平均運(yùn)行時(shí)間表征方案復(fù)雜度。仿真結(jié)果顯示,所提出的 DRQN方案與其他方案相比,復(fù)雜度顯著降低。這是因?yàn)镈RQN中的神經(jīng)網(wǎng)絡(luò)能夠有效地處理狀態(tài)-動(dòng)作空間。對(duì)于Q-learning方案和貪婪方案,隨著用戶數(shù)的提升,兩種方案需要面對(duì)的狀態(tài)、動(dòng)作數(shù)均呈指數(shù)增長(zhǎng)。相應(yīng)地,兩種方案需要更多的時(shí)間遍歷所有可能的動(dòng)作,因此方案復(fù)雜度以較快的速度上升。為了得到與DRQN方案相似的性能,DQN方案的算法主體采用4層網(wǎng)絡(luò),且網(wǎng)絡(luò)各層均為全連接層;然而,全連接層數(shù)的增加以及神經(jīng)元數(shù)的增長(zhǎng)不僅會(huì)帶來(lái)性能的提升,也會(huì)使得方案的復(fù)雜度升高。

        圖3 不同的高速移動(dòng)用戶數(shù)量下,不同方案的復(fù)雜度對(duì)比

        不同高速用戶數(shù)下的系統(tǒng)總和頻譜利用率對(duì)比如圖4所示,所提DRQN方案的性能略高于貪婪方案,且明顯優(yōu)于其他3種方案。隨著用戶數(shù)的增長(zhǎng),DRQN方案的優(yōu)勢(shì)也隨之增加。對(duì)于高速移動(dòng)用戶,計(jì)算系統(tǒng)總和速率R所需要的用戶位置信息并不在系統(tǒng)狀態(tài)中,而是需要根據(jù)系統(tǒng)狀態(tài)進(jìn)行預(yù)測(cè)。DRQN中的LSTM層能夠準(zhǔn)確預(yù)測(cè)當(dāng)前狀態(tài)s和下一狀態(tài)s′對(duì)應(yīng)的用戶位置,并將完整信息傳遞給相鄰的全連接層,從而促使方案獲得更佳的動(dòng)作選擇策略。循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)+DRL方案雖然能夠有效預(yù)測(cè)當(dāng)前狀態(tài)s對(duì)應(yīng)的用戶位置,但是序列決策問(wèn)題不僅需要當(dāng)前的完整狀態(tài),還需要下一時(shí)刻的完整狀態(tài);也就是說(shuō),僅提供當(dāng)前時(shí)刻的預(yù)測(cè)信息不足以支撐后續(xù)的DRL網(wǎng)絡(luò)進(jìn)行準(zhǔn)確預(yù)測(cè),因此,該對(duì)比方案的性能相較所提方案有所降低。此外,DQN算法僅由全連接層構(gòu)成,無(wú)法預(yù)測(cè)高速用戶的移動(dòng)軌跡,只能根據(jù)當(dāng)前時(shí)刻的用戶位置信息進(jìn)行動(dòng)作選擇,因此會(huì)造成一定的性能降低。與圖3中的原因相同,Q-learning方案無(wú)法處理巨大的狀態(tài)-動(dòng)作空間,有限的學(xué)習(xí)經(jīng)驗(yàn)使得其性能顯著降低。

        圖4 不同高速用戶數(shù)下的系統(tǒng)總和頻譜利用率對(duì)比

        不同高速用戶軌跡數(shù)下的系統(tǒng)總和頻譜利用率如圖5所示。假設(shè)高速用戶沿著固定的軌跡移動(dòng),但每隔一段時(shí)間會(huì)更換移動(dòng)軌跡。與圖4相似,所提DRQN方案性能略優(yōu)于貪婪方案。同時(shí),隨著可選軌跡的增多,高速用戶的軌跡預(yù)測(cè)難度也不斷提升,使得RNN+DRL方案、DQN方案和Q-learning方案逐步失去自身的算法優(yōu)勢(shì)。

        4 結(jié)束語(yǔ)

        本文針對(duì)無(wú)人機(jī)輔助無(wú)蜂窩大規(guī)模MIMO網(wǎng)絡(luò),提出了一種雙系統(tǒng)架構(gòu),將用戶劃分為低速用戶和高速用戶,無(wú)蜂窩大規(guī)模MIMO系統(tǒng)服務(wù)低速用戶,無(wú)人機(jī)輔助通信系統(tǒng)服務(wù)高速用戶,針對(duì)系統(tǒng)總和速率最大化目標(biāo),構(gòu)建了基于高速用戶軌跡預(yù)測(cè)的無(wú)人機(jī)軌跡設(shè)計(jì)和用戶調(diào)度問(wèn)題。本文進(jìn)一步將問(wèn)題轉(zhuǎn)化為MDP,并提出一種DRQN方案解決序列決策優(yōu)化問(wèn)題,其中的 LSTM 層預(yù)測(cè)高速用戶移動(dòng)軌跡,全連接層學(xué)習(xí)最優(yōu)動(dòng)作選擇策略。仿真結(jié)果表明,所提DRQN方案相較于傳統(tǒng)的RNN+DRL方案、DQN方案、Q-learning方案和貪婪方案,具有顯著的性能提升。在今后的工作中,筆者將研究無(wú)人機(jī)在三維坐標(biāo)下的飛行模式,通過(guò)精準(zhǔn)的軌跡設(shè)計(jì)提升系統(tǒng)的通信能力。

        猜你喜歡
        蜂窩軌跡狀態(tài)
        蜂窩住宅
        軌跡
        軌跡
        蓄熱式爐用蜂窩體有了先進(jìn)適用的標(biāo)準(zhǔn)
        四川冶金(2019年5期)2019-12-23 09:04:50
        狀態(tài)聯(lián)想
        軌跡
        生命的另一種狀態(tài)
        “蜂窩”住進(jìn)輪胎里
        進(jìn)化的軌跡(一)——進(jìn)化,無(wú)盡的適應(yīng)
        熱圖
        家庭百事通(2016年3期)2016-03-14 08:07:17
        精品人妻va一区二区三区| 日韩精品永久免费播放平台| 另类内射国产在线| 精品十八禁免费观看| 亚洲国产日韩精品综合| 国产亚洲熟妇在线视频| 国内最真实的xxxx人伦| 日韩人妻无码精品-专区| 久久狠狠第一麻豆婷婷天天| 久久精品国产亚洲一级二级| 自拍偷拍 视频一区二区| 久久不见久久见中文字幕免费| 精品人无码一区二区三区 | 性生大片免费观看性少妇| 亚洲av无码国产精品永久一区| 亚洲中久无码永久在线观看软件| 中文字幕亚洲区第一页| 中文字幕色偷偷人妻久久一区 | 国产乱子伦在线观看| 亚洲熟女av中文字幕网站| 日韩亚洲在线观看视频| 国产国语亲子伦亲子| 天天做天天爱天天综合网2021| 亚洲色图在线观看视频| 久久九九av久精品日产一区免费 | 国产美女自拍国语对白| 偷拍视频网址一区二区| 特级a欧美做爰片第一次| 国产免费AV片在线看| 久久精品国产亚洲av麻豆四虎| 婷婷色精品一区二区激情| 亚洲av永久无码精品三区在线| 亲子乱aⅴ一区二区三区下载| 国产精品久久这里只有精品| 可以直接在线看国产在线片网址| 国产肉体xxxx裸体137大胆| 亚洲综合婷婷久久| 激情在线视频一区二区三区| 人妻中文字幕在线网站| 国产成熟人妻换╳╳╳╳| 久久久久久久妓女精品免费影院 |