柴新新劉 建

(中國(guó)船舶集團(tuán)有限公司第八研究院,江蘇 揚(yáng)州 225101)

0 引言

以用戶為中心的大規(guī)模多輸入多輸出(UCMMIMO)系統(tǒng)被視為能夠應(yīng)對(duì)5G 時(shí)代移動(dòng)通信的龐大移動(dòng)流量、低延時(shí)、高能效和高成本效率需求的關(guān)鍵技術(shù)。由于接入點(diǎn)天線數(shù)量大幅增加,傳統(tǒng)天線選擇算法不再能夠應(yīng)對(duì)。由此,研究人員對(duì)天線選擇問(wèn)題展開(kāi)了廣泛研究。

針對(duì)天線選擇問(wèn)題,實(shí)驗(yàn)證明,信號(hào)強(qiáng)度隨著信號(hào)傳播距離的增大而減小。所以根據(jù)用戶分布的時(shí)間特性、不平衡性,對(duì)通信質(zhì)量的需求不同等原因,系統(tǒng)內(nèi)的天線不需要全部都處于工作狀態(tài),而僅是選擇出部分天線執(zhí)行信號(hào)收發(fā)任務(wù)即可。對(duì)于多輸入多輸出(MIMO)系統(tǒng),基于窮搜的天線選擇方法被廣泛使用,但是在Massive MIMO 中,窮搜方法的計(jì)算復(fù)雜度就會(huì)達(dá)到不可忍受的地步。

基于凸優(yōu)化和優(yōu)勢(shì)子矩陣搜索的方法計(jì)算復(fù)雜度也會(huì)隨著天線數(shù)量的增多而增大。為了降低計(jì)算復(fù)雜度,一個(gè)貪婪搜索算法被提出,雖然計(jì)算復(fù)雜度較低,但此方法只能獲得次優(yōu)解。

對(duì)于Massive MIMO系統(tǒng),基于信道矩陣的范數(shù)和相關(guān)性的兩步選擇方法也被提出,取得了較好的效果,但是這個(gè)方法是基于完備信道狀態(tài)信息(CSI)的。不依賴于完備CSI的天線選擇方法會(huì)造成較大的容量損失。研究人員也嘗試使用機(jī)器學(xué)習(xí)算法解決天線選擇問(wèn)題,他們將天線選擇問(wèn)題建模為一個(gè)分類(lèi)問(wèn)題,但此做法不適用于UC-MMIMO。

綜上,大多數(shù)傳統(tǒng)天線選擇算法都依賴完備CSI的獲取,不依賴完備CSI的算法會(huì)導(dǎo)致較大的容量損失。而現(xiàn)實(shí)問(wèn)題是,超大型天線陣列的完備CSI通常是不可得的。所以,如何在非完備CSI情況下進(jìn)行天線選擇成為了亟待解決的問(wèn)題。

近年來(lái),機(jī)器學(xué)習(xí)技術(shù)蓬勃發(fā)展,強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)技術(shù)的一部分,對(duì)解決通信系統(tǒng)的自動(dòng)探索、自決策、自組織、自優(yōu)化問(wèn)題都有著極大的幫助。本文率先將強(qiáng)化學(xué)習(xí)引入到天線選擇問(wèn)題中,與基于常規(guī)機(jī)器學(xué)習(xí)方法的工作不同的是,本文將天線選擇問(wèn)題建立了一個(gè)新的問(wèn)題模型,仿真結(jié)果表明所提算法在非完備CSI情況下依然表現(xiàn)良好,并且在復(fù)雜度上也優(yōu)于傳統(tǒng)算法。

1 系統(tǒng)模型

本文考慮一個(gè)UC-MMIMO 場(chǎng)景如圖1所示,其中天線數(shù)量為,用戶數(shù)量為。?,則接入點(diǎn)天線和用戶的信道系數(shù)g ,可以表示為:

圖1 UC-MMIMO 系統(tǒng)拓?fù)鋱D

式中:,為接入點(diǎn)天線和用戶的大尺度衰落系數(shù),考慮了路徑損耗和陰影效應(yīng),而且變化緩慢;h 為接入點(diǎn)天線和用戶的小尺度衰落系數(shù)。

本文采用COST Hata模型,對(duì)大尺度衰落系數(shù)可以被表示為:

式中:σ=8 d B,表示陰影衰減偏差;z ～N(0,1);d 表示第個(gè)接入點(diǎn)天線與第個(gè)用戶之間的距離;常有,是固定值,會(huì)在參數(shù)中提到;為子載波頻率,單位表示為MHz;h 表示接入點(diǎn)天線高度,單位為m;h 表示用戶天線高度,單位為m。

經(jīng)分析,分布式Massive MIMO 系統(tǒng)中收發(fā)天線之間有直射路徑,是萊斯信道。第個(gè)用戶與第個(gè)接入點(diǎn)天線之間的小尺度衰落信道元素可以表示為:

式中:K 表示第個(gè)用戶與第個(gè)接入點(diǎn)天線之間的萊斯因子;h～CN(0,)表示信道的非直射徑分量;h表示直射徑分量,可以表示為:

式中:表示接入點(diǎn)天線間距;表示波長(zhǎng);θ∈(-π/2,π/2),表示第個(gè)用戶與第個(gè)接入點(diǎn)天線之間的到達(dá)角。

為了便于分析且不失一般性,天線間距假設(shè)為波長(zhǎng)的一半,即/2。為了方便起見(jiàn),本文將萊斯因子設(shè)定為6。

本文使用共軛波束成形技術(shù)將信號(hào)發(fā)送給用戶,可知第個(gè)接入點(diǎn)天線傳輸?shù)男盘?hào)可以表示為:

式中:φ,1,…,為發(fā)射信號(hào),{|φ|}1;為每個(gè)傳輸信號(hào)的正則化后的信噪比(SNR);η為能量分配系數(shù)。

則第個(gè)用戶接收到的信號(hào)被表述為:

式中:z 代表第個(gè)用戶的高斯白噪聲。

而第個(gè)用戶的可到達(dá)率可被表示為:

式中:h 為與第個(gè)用戶相連的所有天線信道系數(shù)組成的向量;g 為第個(gè)用戶和所有個(gè)接入點(diǎn)天線的信道系數(shù)組成的信道向量;a 為第個(gè)用戶和所有個(gè)接入點(diǎn)天線的連接狀態(tài),元素為1表示兩者處于連接狀態(tài),為0表示兩者處于斷開(kāi)狀態(tài)。

第個(gè)用戶的信干噪比(SINR)為:

2 天線選擇問(wèn)題建模

在移動(dòng)通信系統(tǒng)中,當(dāng)用戶設(shè)備在通信過(guò)程中從一個(gè)基站覆蓋區(qū)移動(dòng)到另一個(gè)基站覆蓋區(qū),或者由于外界干擾而造成通信質(zhì)量下降時(shí),必須改變?cè)行诺蓝D(zhuǎn)接到空閑信道上去,以繼續(xù)保持通信的過(guò)程。但是由于分布式Massive MIMO 系統(tǒng)特點(diǎn)導(dǎo)致移動(dòng)中的用戶頻繁切換接入點(diǎn)天線。在切換過(guò)程中,系統(tǒng)中海量數(shù)據(jù)的傳輸與處理工作以及信令開(kāi)銷(xiāo)均大幅增加,導(dǎo)致較大的傳輸能耗和計(jì)算能耗。但是假如當(dāng)前接入點(diǎn)天線能夠滿足新位置的通信需求,則沒(méi)必要被重新分配接入點(diǎn)天線的。

為此,本文設(shè)定了用戶容量閾值。只有當(dāng)前連接的接入點(diǎn)天線帶來(lái)的容量γ小于時(shí),系統(tǒng)才會(huì)為用戶重新選擇接入點(diǎn)天線,適當(dāng)增大或減小容量閾值γ可以調(diào)整容量和能耗之間的tradeoff關(guān)系。為了不失一般性,規(guī)定了每個(gè)用戶最多只能連接個(gè)接入點(diǎn)天線。

由于接入點(diǎn)天線能量的有限性,設(shè)置了每個(gè)接入點(diǎn)天線的最大用戶連接數(shù)為,當(dāng)天線服務(wù)用戶人數(shù)等于時(shí)就不能為額外用戶服務(wù)了,此類(lèi)接入點(diǎn)天線被稱為“滿載天線”。則整個(gè)優(yōu)化問(wèn)題可被整理為:

式中:第1個(gè)約束表示當(dāng)前容量和容量閾值之間的大小關(guān)系,第2個(gè)約束表示為每個(gè)接入點(diǎn)天線用戶連接數(shù)目限制,第3個(gè)約束表示每個(gè)用戶的接入點(diǎn)天線連接數(shù)限制,第4個(gè)約束表示每個(gè)接入點(diǎn)天線的用戶連接數(shù),第5個(gè)約束表示每個(gè)用戶的接入點(diǎn)天線連接數(shù),第6個(gè)約束表示第個(gè)接入點(diǎn)天線和第個(gè)用戶之間的連接狀態(tài)。

由于優(yōu)化問(wèn)題是個(gè)NP-hard問(wèn)題,強(qiáng)化學(xué)習(xí)方法作為求解NP-hard問(wèn)題的有力工具,被很多研究人員廣泛采用,本文也采用此方法求解NP-hard問(wèn)題。

3 基于A3C的天線選擇算法

強(qiáng)化學(xué)習(xí)方法是以馬爾可夫決策過(guò)程為基礎(chǔ)的。在本文中,使用A3C算法解決UC-MMIMO 系統(tǒng)中的天線選擇問(wèn)題。A3C(multi-threaded asynchronous advantage actor-critic)被稱為策略-評(píng)論家算法中的一種,可以有效地利用計(jì)算機(jī)資源,提升訓(xùn)練效用,成倍提高運(yùn)行速度,并且有利于減少數(shù)據(jù)之間的相關(guān)性,有利于程序收斂。首先需要將其轉(zhuǎn)化為馬爾科夫決策過(guò)程,需要定義狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)機(jī)制。

狀態(tài)空間:為了降低對(duì)CSI的依賴,本文采用用戶位置作為輸入,為了避免產(chǎn)生過(guò)大的狀態(tài)空間,本文將區(qū)域進(jìn)行柵格化劃分,將每個(gè)柵格的坐標(biāo)視為其重心坐標(biāo),用戶的坐標(biāo)被視為柵格坐標(biāo)。則狀態(tài)空間元素可被表示如下:

式中:l []為此用戶在第個(gè)時(shí)間節(jié)點(diǎn)的軸坐標(biāo);l []為此用戶在第個(gè)時(shí)間節(jié)點(diǎn)的軸坐標(biāo)。

動(dòng)作空間:因?yàn)榻鉀Q的是天線選擇問(wèn)題,所以本文定義的動(dòng)作空間的每個(gè)元素都是一個(gè)天線組合。根據(jù)用戶連接接入點(diǎn)天線數(shù)量限制,系統(tǒng)需要為每個(gè)用戶選擇個(gè)天線,則本文將動(dòng)作空間設(shè)定為一個(gè)列的行向量,向量元素由0或者1組成,元素為1的數(shù)量等于。元素等于1表示此用戶與該天線連接,否則表示斷開(kāi)。則動(dòng)作空間的每個(gè)元素可被表示如下:

獎(jiǎng)勵(lì)機(jī)制:本文的優(yōu)化目標(biāo)是最大化一段時(shí)間內(nèi)用戶總?cè)萘?因此獎(jiǎng)勵(lì)機(jī)制應(yīng)被設(shè)置為所選天線為用戶帶來(lái)的瞬時(shí)容量。但瞬時(shí)容量的計(jì)算和被選擇天線組合中的滿載天線相關(guān)。當(dāng)被選擇的接入點(diǎn)天線都不滿載時(shí),將此時(shí)的容量設(shè)定為即時(shí)獎(jiǎng)勵(lì),即時(shí)獎(jiǎng)勵(lì)可被表示為:

式中:[]表示用戶在第個(gè)時(shí)間節(jié)點(diǎn)的即時(shí)獎(jiǎng)勵(lì);σ表示用戶在第個(gè)時(shí)間節(jié)點(diǎn)的信干噪比。

當(dāng)選擇到滿載天線時(shí),將給予懲罰,懲罰被設(shè)定為一個(gè)負(fù)值。因?yàn)楸疚脑O(shè)定的目標(biāo)函數(shù)是長(zhǎng)期時(shí)間內(nèi)的容量最大化,則長(zhǎng)期獎(jiǎng)勵(lì)被表示為:

式中:為折扣因子,表示對(duì)未來(lái)獎(jiǎng)勵(lì)的重視程度。

根據(jù)定義的狀態(tài)空間、動(dòng)作空間和獎(jiǎng)勵(lì)機(jī)制,優(yōu)化問(wèn)題被轉(zhuǎn)化為了馬爾可夫決策問(wèn)題,它可以被強(qiáng)化學(xué)習(xí)算法求解。被轉(zhuǎn)化后的問(wèn)題可以表示為:

然而,在某些情形下,模型不可避免地會(huì)選擇到滿載天線,滿載天線并不能為用戶提供通信服務(wù),需要對(duì)選擇的天線進(jìn)行調(diào)整。為此,本文基于最近距離原則設(shè)計(jì)了天線調(diào)整機(jī)制。其設(shè)計(jì)思想是當(dāng)滿載天線被選擇后,系統(tǒng)根據(jù)用戶的位置選擇距其最近的幾條非滿載天線替換掉滿載天線,替換天線的數(shù)目等于為此用戶分配的滿載天線數(shù)量。

本文采用最大歐幾里得范數(shù)天線選擇算法和兩步選擇算法作為對(duì)照算法。為了公平性,所提算法和對(duì)照算法均采用相同的系統(tǒng)模型、環(huán)境配置和參數(shù)設(shè)置,并且也將其改成以用戶為中心的形式。下面對(duì)對(duì)照算法進(jìn)行簡(jiǎn)要概述。

(1) 兩步選擇算法:顧名思義,此算法是根據(jù)其原理經(jīng)過(guò)兩次篩選才最終選定服務(wù)天線的天線選擇算法。在第1步選擇中,此算法根據(jù)空間相關(guān)性從全體天線中選出N 個(gè)備選天線;在第2步中,通過(guò)最大化奇異值從N 個(gè)備選天線中選擇出N 個(gè)天線作為最終選定的天線。

(2) 最大歐幾里得范數(shù)選擇算法:對(duì)于每個(gè)用戶,此算法通過(guò)對(duì)所有天線對(duì)此用戶的信道系數(shù)求解歐幾里得范數(shù)并排序,選擇最大的幾根天線。的配置如表1所示。

表1 仿真參數(shù)表

首先,本文對(duì)比了所提算法和2個(gè)對(duì)照算法的算法復(fù)雜度。所提算法由選擇階段和調(diào)整階段組成,則算法復(fù)雜度也由兩部分構(gòu)成。選擇階段的復(fù)雜度可被表示為(),第二階段的復(fù)雜度為(),因此所提算法的總算法復(fù)雜度為((1))。最大歐幾里得范數(shù)選擇方法的復(fù)雜度為()。所提算法和最大歐幾里得范數(shù)選擇算法的復(fù)雜度大小僅與用戶數(shù)和天線數(shù)量相關(guān),當(dāng)用戶數(shù)量和接入點(diǎn)天線數(shù)量都確定后,其復(fù)雜度也隨之確定。

4 仿真分析

本文考慮了一個(gè)1 km×1 km 的正方形區(qū)域,個(gè)用戶和個(gè)接入點(diǎn)天線隨機(jī)分布,區(qū)域被劃分為多個(gè)20 m×20 m 的子區(qū)域。本文仿真時(shí)各參數(shù)因此,隨著N 的增長(zhǎng),兩步選擇算法的復(fù)雜度會(huì)急劇增長(zhǎng),當(dāng)N 增加時(shí),算法復(fù)雜度緩慢增加,達(dá)到最高點(diǎn)時(shí),如果N 繼續(xù)增加,算法復(fù)雜度會(huì)以同樣的速度緩慢下降。而N 才是影響兩步選擇算法復(fù)雜度的主要因素,因?yàn)樵诘?步選擇中,算法需要遍歷所有天線組合的奇異值。當(dāng)N 增大時(shí),天線組合數(shù)量會(huì)急劇增加,導(dǎo)致算法復(fù)雜度同樣急劇增加。

值得一提的是,因?yàn)閮刹竭x擇算法有2個(gè)自變量,分別是第1步選擇天線數(shù)量和第2步選擇天線數(shù)量。對(duì)算法復(fù)雜度產(chǎn)生最大影響的是第1步選擇的天線數(shù)量,所以不能將3個(gè)算法的復(fù)雜度用1 張圖表示,而是需要用2 張圖進(jìn)行表示。對(duì)比圖如圖2所示,本文設(shè)定用戶人數(shù)=6,接入點(diǎn)天線數(shù)目=105,第1步選擇出的備選接入點(diǎn)天線數(shù)目N =10,第2 步選擇出的接入點(diǎn)天線數(shù)目N =5。

圖2中,最大歐幾里得范數(shù)算法的復(fù)雜度略微小于兩步選擇算法,兩步選擇算法的復(fù)雜度隨著第1步選擇數(shù)目的增加而呈指數(shù)增長(zhǎng),并且其單位的數(shù)量級(jí)遠(yuǎn)遠(yuǎn)大于所提算法和最大歐幾里得范數(shù)算法的復(fù)雜度的數(shù)量級(jí)?？芍?所提算法在計(jì)算復(fù)雜度上相較于傳統(tǒng)算法占有優(yōu)勢(shì)。

圖2 算法復(fù)雜度對(duì)比圖

在表2中,本文給出了3 種算法的運(yùn)行時(shí)間。兩步選擇算法運(yùn)行時(shí)間是最長(zhǎng)的,且遠(yuǎn)高于其他2個(gè)算法。兩步選擇算法和最大歐幾里得范數(shù)天線選擇算法均不需要事先訓(xùn)練,而所提算法需要事先進(jìn)行30 min的訓(xùn)練,但這個(gè)訓(xùn)練時(shí)長(zhǎng)是可接受的。

表2 算法運(yùn)行時(shí)間表

當(dāng)完備的CSI可以獲得時(shí),設(shè)定第1次選擇出的備選接入點(diǎn)天線N 數(shù)量為10,變化最后選擇出的接入點(diǎn)天線數(shù)量、系統(tǒng)容量對(duì)比圖如圖3 所示。兩步選擇算法取得了最高的系統(tǒng)容量,最大歐幾里得范數(shù)算法的取得效果總體弱于兩步選擇算法,但是相差無(wú)幾,所提算法略低于2個(gè)對(duì)照算法。

圖3 系統(tǒng)容量在完備CSI下的影響圖

一個(gè)可信的解釋是本文提出的基于強(qiáng)化學(xué)習(xí)的天線選擇算法不能利用CSI信息,從環(huán)境中獲得的信息最少,所以性能差于2種對(duì)照方案;3種算法隨著選擇的接入點(diǎn)天線數(shù)量的增大而先增大后減小,這可以解釋為干擾信號(hào)的增長(zhǎng)速度超過(guò)了有用信號(hào)的增長(zhǎng)速度。

在傳輸端僅可知大尺度CSI,一個(gè)天線選擇和波束成形算法被提出用以最小化能量損耗。受此論文啟發(fā),本文采用類(lèi)似方法,探索小尺度衰落信息不能獲取時(shí)的系統(tǒng)容量變化,如圖4所示。

圖4 系統(tǒng)容量在非完備CSI下的影響圖

同樣,設(shè)置N =10,可以看出,依賴于CSI信息的兩步選擇算法和最大歐幾里得算法的容量下降劇烈。當(dāng)CSI信息不完備時(shí),此算法已經(jīng)不能有效地解決天線選擇問(wèn)題了。而本文所提出的算法由于不依賴于CSI,所以性能沒(méi)有變化?？梢缘贸鼋Y(jié)論,本文所提算法在CSI不可得時(shí),依然表現(xiàn)良好。

5 結(jié)束語(yǔ)

本文提出了一種基于A3C 算法的天線選擇算法,為了進(jìn)一步提高算法性能,提出了基于最近距離算法的天線調(diào)整機(jī)制。為了證明所提算法在性能方面的優(yōu)勢(shì),選擇了2個(gè)傳統(tǒng)天線選擇算法作為對(duì)照方案。

通過(guò)此3種算法仿真結(jié)果表明:在完備CSI情況下,所提算法性能劣于傳統(tǒng)算法,但性能差距不大;在非完備CSI情況下,傳統(tǒng)算法的性能大幅下降,而所提算法性能變化不大,且遠(yuǎn)優(yōu)于傳統(tǒng)算法。除此之外,所提算法在算法復(fù)雜度上也有較大優(yōu)勢(shì)。證明所提算法可以在UC-MMIMO 系統(tǒng)中有效解決天線選擇問(wèn)題。