谷 靜,鄧逸飛,張 新

(西安郵電大學(xué) 電子工程學(xué)院,西安 710121)

0 概述

第五代移動通信技術(shù)(5G)具有超高的頻譜利用率和能效,和第四代移動通信技術(shù)(4G)相比,其傳輸速率和資源利用率提高了至少一個數(shù)量級,并且在無線覆蓋、傳輸時延、系統(tǒng)安全和用戶體驗等方面也有顯著提高[1]。異構(gòu)網(wǎng)絡(luò)作為第三代合作伙伴計劃(3GPP)組織在長期演進(jìn)(Long Term Evolution,LTE)系統(tǒng)中所提出的網(wǎng)絡(luò)種類,在4G網(wǎng)絡(luò)中解決了業(yè)務(wù)多樣性的問題。但是,在異構(gòu)網(wǎng)絡(luò)中位于低功率基站附近和宏小區(qū)邊緣的宏用戶設(shè)備(Macro User Equipment,MUE)會受到低功率基站較強(qiáng)的信號干擾,因此,3GPP組織在長期演進(jìn)擴(kuò)展(Long Term Evolution-Advanced,LTE-A)通信系統(tǒng)中引用了小區(qū)范圍擴(kuò)展(Cell Rang Expansion,CRE)技術(shù)[2],以均衡宏基站與微基站之間的負(fù)載。由于引入CRE后宏小區(qū)邊緣的用戶設(shè)備依然受到較強(qiáng)的信號干擾,因此擴(kuò)展區(qū)域中的小區(qū)間干擾協(xié)調(diào)(Inter Cell Interference Coordination,ICIC)成為研究人員關(guān)注的熱點。

文獻(xiàn)[3]提出家庭基站(Femtocell)合作模型CRE框架,提高了家庭基站接入點范圍擴(kuò)展系統(tǒng)的靈活性,但未提高宏小區(qū)邊緣用戶的通信質(zhì)量。文獻(xiàn)[4]提出一種分布式自適應(yīng)CRE偏置方法,其基站間信息交互不足,CRE偏置不能達(dá)到全局最優(yōu)。文獻(xiàn)[5-7]有效提高了宏小區(qū)用戶的整體吞吐量并實現(xiàn)了基站負(fù)載均衡,但所用算法過程過于復(fù)雜。文獻(xiàn)[8]針對上行鏈路干擾提出一種虛擬軟切換方法,該方法對邊緣用戶信干噪比的提升效果較差。文獻(xiàn)[9]提出一種基于大數(shù)據(jù)驅(qū)動框架和多臂Bandit算法的在線學(xué)習(xí)機(jī)制,但其樣本數(shù)量過少,不符合實際要求。

本文提出一種基于啟發(fā)函數(shù)的HSARSA(λ)算法,以動態(tài)設(shè)置Femto基站(Femto-Base Station,FBS)的CRE偏置值。每個FBS獨立地從經(jīng)驗中學(xué)習(xí)CRE偏置值,從而最大限度地提高宏小區(qū)邊緣用戶的整體通信速率,實現(xiàn)較好的負(fù)載均衡效果。

1 系統(tǒng)模型與偏置方法

1.1 系統(tǒng)模型

本文系統(tǒng)由雙層異構(gòu)網(wǎng)絡(luò)構(gòu)成,可供選擇的低功率基站有微基站(Pico-Base Station,PBS)、FBS以及中繼基站(Relay-BS,RBS),如圖1所示。該系統(tǒng)選擇FBS作為低功耗基站,這是因為近年來超過80%的無線數(shù)據(jù)吞吐量發(fā)生在室內(nèi),在上述低功率基站中,FBS體積最小,部署最靈活且成本最低,網(wǎng)絡(luò)安全性能較高,研究FBS的性能可以更好地解決室內(nèi)通信問題[10]。在系統(tǒng)中隨機(jī)分布n個用戶設(shè)備,其中包括m個MUE以及k個微用戶設(shè)備(Femto User Equipment,FUE)。所有用戶設(shè)備采用開放式接入(Open Access,OA)方式,和封閉式接入(Closed Access,CA)相比,OA在用戶設(shè)備密度較大時優(yōu)勢更加明顯[11]。

圖1 雙層異構(gòu)網(wǎng)絡(luò)示意圖

FBS的傳輸功率一般為23 dB～30 dB,在存在宏基站(Macro Base Station,MBS)的情況下,FBS的傳輸速率范圍將變小。MBS的發(fā)射功率約為45 dB,與FBS的傳輸功率最少相差16 dB,這使得有過多用戶接入MBS,從而造成MBS過載和能效降低的現(xiàn)象,進(jìn)而導(dǎo)致FBS功率資源浪費。系統(tǒng)中的上行鏈路并非如此,上行鏈路中不同基站(Base Station,BS)的信號強(qiáng)度主要取決于其在上行鏈路的傳輸功率[12],因此,本文系統(tǒng)只考慮下行鏈路的傳輸功率。

圖1中的實線為小區(qū)當(dāng)前的范圍,虛線為小區(qū)應(yīng)調(diào)整的范圍。將分布在不同小區(qū)的FBS、MUE、FUE分別編號為FBS1、FBS2、FBS3、MUE1、MUE2、MUE3、FUE1、FUE2、FUE3等。系統(tǒng)主要存在以下3種干擾情況:

1)FBS1距MBS較近,FUE1位于FBS1小區(qū)邊緣且距MBS也較近,這時FUE1將受到MBS較強(qiáng)的信號干擾,應(yīng)降低FBS1的CRE偏置值使FUE1接入MBS。

2)MUE1位于MBS小區(qū)邊緣處且距MBS較遠(yuǎn),MUE1距FBS2很近但位于FBS2小區(qū)邊緣外。MUE1經(jīng)過長距離路徑損耗與陰影衰落后接收到的MBS信號質(zhì)量大幅降低,同時還會受到來自FBS2與FBS3下行鏈路的信號干擾,應(yīng)增大FBS2的CRE值使MUE1接入FBS2。

3)MUE2到FBS3的距離與MUE2到MBS的距離相差不大,但MUE2位于建筑物后,導(dǎo)致其接收MBS信號受阻。因此,在MBS信號覆蓋較弱的建筑密集區(qū),應(yīng)增大FBS3的CRE偏置值使MUE2接入FBS3。

總結(jié)以上3種情況,本文將針對同層與跨層干擾使各種類型基站邊緣用戶的通信質(zhì)量與通信速率下降等問題進(jìn)行分析。在下行鏈路中,根據(jù)系統(tǒng)模型,第i個MUE的信干噪比為:

(1)

由文獻(xiàn)[3]得到路徑損耗公式為:

PLm=c(dM)n

(2)

其中,c為常數(shù),dM為用戶到基站的距離,n為介質(zhì)指數(shù)。

將式(2)代入式(1)中得到式(3):

(3)

同理可得到第i個FUE的信干噪比為:

(4)

由香農(nóng)公式可得第i個MUE到MBS的通信速率為:

(5)

同理可得第i個FUE到第k個PBS的通信速率為:

(6)

所有用戶的總通信速率為:

(7)

總用戶功耗[13]為:

PMD=N[PW·Rt+Ps(1-Rt)]

(8)

其中,PW為用戶活躍時的總功耗,PS為用戶非活躍時的總功耗。系統(tǒng)最終能效為:

(9)

其中,PMA為系統(tǒng)總功耗,PBS為MBS的發(fā)射功率,S為宏小區(qū)的面積。

1.2 CRE偏置方法

本文在考慮參考信號接收功率(Reference Signal Received Power,RSRP)大小的基礎(chǔ)上,通過評估導(dǎo)頻信號(參考信號)的強(qiáng)度來觸發(fā)移交程序。用戶在比較來自各基站參考信號的功率大小后,會連接到信干噪比相對較高的基站。此外,使用CRE將偏壓值加到FBS發(fā)射信號上可使更多的用戶連接到FBS,相當(dāng)于將FBS小區(qū)范圍人為擴(kuò)大。若MBS和PBS的發(fā)射功率滿足以下關(guān)系:

此時,用戶會連接到MBS。若MBS和PBS的發(fā)射功率滿足以下關(guān)系:

此時,用戶會連接到FBS。MBS和PBS的發(fā)射功率差會使得邊緣用戶受到相鄰小區(qū)基站信號的干擾[12],因此,需要通過調(diào)整CRE偏置值(Δbias)來降低邊緣用戶受到的干擾。

傳統(tǒng)經(jīng)驗將CRE偏置值設(shè)定為6 dB,華為公司提供的GRE偏置值為9 dB。下文以邊緣用戶的平均吞吐量為參考來尋求合理的GRE偏置值。

2 基于HSARSA(λ)算法的CRE偏置選擇

通過調(diào)整GRE偏置值來降低邊緣用戶受到的干擾,既要考慮各基站間的信息交互,又要根據(jù)時延與用戶分布的變化來動態(tài)調(diào)整偏置值。經(jīng)驗偏置值與其他算法基本無法簡單有效地解決最佳偏置值的選擇問題。為此,本文在強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)的基礎(chǔ)上提出一種基于啟發(fā)函數(shù)的改進(jìn)SARSA(λ)算法,即HSARSA(λ)算法。和SARSA(λ)算法相比,HSARSA(λ)算法的獎賞反饋更快,其學(xué)習(xí)性能顯著提高。

2.1 強(qiáng)化學(xué)習(xí)與SARSA(λ)算法

RL是人工智能體實現(xiàn)自主行為的理論基礎(chǔ),其對策略和狀態(tài)具有強(qiáng)大的表征能力,能夠模擬復(fù)雜的決策過程。RL還賦予人工智能體自監(jiān)督學(xué)習(xí)能力,使其能夠自主與環(huán)境交互,在試錯(Trial and Error)中不斷進(jìn)步[14]。RL作為人工智能領(lǐng)域的一個重要分支,被認(rèn)為是實現(xiàn)類人工智能的關(guān)鍵,受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。RL主要以馬爾科夫決策過程為基礎(chǔ),該過程用狀態(tài)(State)、動作(Action)、狀態(tài)轉(zhuǎn)移率(Possibility)和獎賞(Reward)構(gòu)成的四元組{s,a,p,r}表示[15]。其中,動作與狀態(tài)構(gòu)成動作狀態(tài)表,用以表示在某種狀態(tài)下對根據(jù)策略π執(zhí)行的動作進(jìn)行的價值評估,也稱為狀態(tài)-動作對值函數(shù),具體如下:

Qπ(s,a)=E(R|st=s,at=a)

(10)

式(10)表示狀態(tài)-動作對值函數(shù)是在反饋獎賞R下狀態(tài)值St等于某一狀態(tài)S、動作值at取某一動作a時的數(shù)學(xué)期望。

最佳Q表值為:

(11)

人工智能體在每種狀態(tài)下能獲得最佳動作的策略為:

(12)

目前,諸如Q-Learning、TD(λ)、SARSA等強(qiáng)化學(xué)習(xí)算法已經(jīng)在理論和應(yīng)用方面取得較多成果[16]。SARSA算法借鑒Q-Learning算法的思想并利用TD算法的核心理論,使得行為決策與值函數(shù)迭代的一致性得到保障[17],這表明在學(xué)習(xí)控制方面SARSA算法優(yōu)于Q-Learning算法。SARSA(λ)算法在SARSA算法的動作-狀態(tài)對值函數(shù)更新過程中加入了資格跡,如下:

(13)

其中,γ與λ均為折扣因子。

資格跡是基于有效跟蹤原理形成的多步在線學(xué)習(xí)理論,其能有效地使原算法在獲得獎賞時更貼近目標(biāo)值。但是,SARSA(λ)算法在新環(huán)境中學(xué)習(xí)速率較慢,忽略了很多有價值的信息。由于缺乏有效的策略選擇機(jī)制,SARSA(λ)算法在狀態(tài)空間需要多次遍歷才能收斂。引入啟發(fā)函數(shù)對SARSA(λ)算法在貪婪選擇與狀態(tài)動作對更新時進(jìn)行改進(jìn),可使其在策略選擇與匯報獎賞中取得更快的學(xué)習(xí)速率和更多的有效信息。

2.2 HSARSA(λ)算法

2.2.1 啟發(fā)函數(shù)

啟發(fā)式強(qiáng)化學(xué)習(xí)(HARL)采用啟發(fā)函數(shù)來影響人工智能體在學(xué)習(xí)中的動作選擇。文獻(xiàn)[18]較早提出啟發(fā)加速的Q-Learning算法,啟發(fā)函數(shù)Ht(st,at)表示在當(dāng)前狀態(tài)下執(zhí)行此動作的重要性。該方法將經(jīng)驗值作為啟發(fā)信息,給特定行動加以獎賞,并可作為約束條件來縮小搜索范圍使算法更快達(dá)到收斂效果。

對于某一狀態(tài)st,啟發(fā)值Ht(st,at)只有普遍高于值函數(shù)Qt(st,at)的變化值時才能影響動作選擇,且要盡量減小誤差。啟發(fā)函數(shù)與策略緊密相關(guān),選擇動作的策略是決定整個過程是否更接近最優(yōu)狀態(tài)的重要因素。策略從形式上可定義為:

π(s)=argmax[Qt(st,at)+μHt(st,at)β]

(14)

其中,μ∈R,β∈R均為評定啟發(fā)函數(shù)重要性的參數(shù),數(shù)值越大其影響越大。在式(14)的基礎(chǔ)定義下,啟發(fā)函數(shù)可定義為:

(15)

2.2.2 更新公式

SARSA(λ)算法在選擇動作時使用ε-貪婪策略,HSARSA(λ)算法將ε-貪婪策略改進(jìn)為:

(16)

上述改進(jìn)可以使人工智能體在根據(jù)策略選擇動作時通過Ht(st,at)來分析動作的優(yōu)劣,不斷保留優(yōu)勢摒棄劣勢,有效減少了無用搜索,最終使算法加速收斂。

2.2.3 算法流程

HSARSA(λ)算法將系統(tǒng)模型中的偏置值bi={CRE1,CRE2,…,CREi,…,CREn}和用戶的SINR分布值與HSARSA(λ)算法中的狀態(tài)表和動作表相結(jié)合。動作是決定最終結(jié)果的因素,因此將偏置值CREi的分布設(shè)定為動作分布表。狀態(tài)是在執(zhí)行動作后所造成的影響效果。將CRE偏置值代入路徑損耗公式可求出偏置范圍ΔL,根據(jù)ΔL可求出邊緣用戶的信干噪比。將調(diào)整CRE偏置值后會受影響的用戶信干噪比分布列為狀態(tài)表,再根據(jù)動作和狀態(tài)建立值函數(shù)表Qπ(SINRi,bi),HSARSA(λ)算法流程如圖2所示。

圖2 HSARSA(λ)算法流程

HSARSA(λ)算法的偽代碼為:

Begin:

建立動作表bi

建立狀態(tài)表SINRi

初始化Qπ(SINRi,bi),et(SINRi,bi)

For each episode:

Ⅰ.在當(dāng)前狀態(tài)下,用Hε-貪婪策略選取Ht(SINRi,bi)動作bi

Ⅱ.若當(dāng)前動作不為最優(yōu),則重復(fù)以下步驟:

B.在當(dāng)前新狀態(tài)SINR′i下,利用Hε-貪婪策略在SINR′i中選擇新的偏置值b′i

Ⅲ.更新Ht(SINR′i,b′i)與Qπ(SINR′i,b′i)

δ=R+γQπ(SINR′i,b′i)-Qπ(SINRi,bi)

et(SINR′i,b′i)=et(SINRi,bi)+1

Ⅳ.更新狀態(tài)動作對表

Q′π(SINRi,bi)=Qπ(SINRi,bi)+αδet(SINR′i,b′i)

et(SINR′i,b′i)=γλet(SINR′i,b′i)

直到SINRi=SINR′i,bi=b′i,算法終止

其中,α為學(xué)習(xí)率

在本文系統(tǒng)中,當(dāng)人工智能體發(fā)現(xiàn)新的狀態(tài)時,如果一直將狀態(tài)添加到Q表中,Q表值就會增加,這違背了內(nèi)存約束條件,且會延長學(xué)習(xí)時間。為解決該問題,使用經(jīng)驗偏置值以實現(xiàn)更快的收斂。由于經(jīng)驗偏置值較易得知,在開始學(xué)習(xí)和發(fā)送數(shù)據(jù)前,可用試錯法檢查所有的經(jīng)驗偏置值以縮短學(xué)習(xí)時間。

所有用戶的共同偏置值雖然不是每個用戶的最優(yōu)偏置值[19],但其通常較接近最優(yōu)偏置值。引入共同偏置值可減小內(nèi)存并加快收斂速度。當(dāng)用戶移動到另一個FBS信號覆蓋區(qū)域時,Q表數(shù)據(jù)即使發(fā)生變化也仍具有相似性,在一種情況下獲得的數(shù)據(jù)也有助于在另一種情況下的學(xué)習(xí)[20]。使用這些數(shù)據(jù)作為下一次學(xué)習(xí)的初始值,即使情況不同,用戶也會學(xué)習(xí)環(huán)境以進(jìn)行Q表的更新。

3 實驗結(jié)果與分析

本文采用蒙特卡羅仿真方法,在Matlab2014R環(huán)境下進(jìn)行實驗。實驗參數(shù)如表1所示[10,18],設(shè)置1個MBS和6個FBS,結(jié)果取20次實驗的平均值。

表1 實驗參數(shù)設(shè)置

根據(jù)服務(wù)質(zhì)量(Quality of Service,QoS)評判標(biāo)準(zhǔn),本文對系統(tǒng)邊緣用戶的通信速率、能效以及吞吐量進(jìn)行分析。

從圖3可以看出,通信較差與通信較好的用戶已進(jìn)行均衡化處理,兩類用戶的通信質(zhì)量趨于一致,即采用HSARSA(λ)算法得到的CRE偏置值能有效均衡邊緣負(fù)載,使整個系統(tǒng)的通信質(zhì)量得到提高。

圖3 MUE與FUE的SINR累積分布

從圖4可以看出,隨著用戶分布量的增加,應(yīng)用Origin、Q-Learning、SARSA(λ)和HSARSA(λ) 4種算法得到的系統(tǒng)用戶平均吞吐量逐漸上升。當(dāng)用戶分布量超過0.3時,系統(tǒng)用戶的平均吞吐量均顯著上升,當(dāng)用戶分布量為0.5～0.7時,應(yīng)用HSARSA(λ)算法得到的系統(tǒng)用戶平均吞吐量比SARSA(λ)算法高約7%,比Q-Learning算法高約15%。

圖4 不同算法的系統(tǒng)用戶平均吞吐量分布

Fig.4 Average throughput distribution of system users of different algorithms

從圖5可以看出,隨著邊緣用戶分布量的增加,應(yīng)用Origin、Q-Learning、SARSA(λ)和HSARSA(λ) 4種算法得到的系統(tǒng)邊緣用戶的平均吞吐量逐漸提升。當(dāng)邊緣用戶分布量為0.6～0.8時,應(yīng)用HSARSA(λ)算法得到的系統(tǒng)邊緣用戶平均吞吐量比SARSA(λ)算法高約6%,比Q-Learning算法高約12%。由此可知,HSARSA(λ)算法可使系統(tǒng)邊緣用戶的吞吐量得到較大提升。

圖5 不同算法的系統(tǒng)邊緣用戶平均吞吐量分布

Fig.5 Average throughput distribution of system edge users of different algorithms

從圖6可以看出,HSARSA(λ)算法的平均能效最高,該算法在保證宏小區(qū)基本通信質(zhì)量的前提下可大幅提高小區(qū)邊緣用戶的通信速率。HSARSA(λ)算法的平均能效比SARSA(λ)算法高11%,比Q-Learning算法高13%。

圖6 不同算法的平均能效對比

Fig.6 Comparison of average energy efficiency of different algorithms

從圖7可以看出,隨著學(xué)習(xí)幕數(shù)的增加,Q-Learning、SARSA(λ)和HSARSA(λ)算法尋找最優(yōu)CRE偏置值的步數(shù)逐漸減少。當(dāng)學(xué)習(xí)幕數(shù)為15節(jié)時,HSARSA(λ)算法已收斂,SARSA(λ)、Q-Learning算法的收斂速率分別為40和60。HSARSA(λ)算法收斂時步數(shù)小于Q-Learning、SARSA(λ)算法,這表明HSARSA(λ)算法的收斂速率和搜索效率比其他2種算法更優(yōu)。從圖8可以看出,隨著學(xué)習(xí)幕數(shù)的增加,Q-Learning、SARSA(λ)和HSARSA(λ)算法獲得獎賞的數(shù)量均呈現(xiàn)出先降后增的趨勢。當(dāng)學(xué)習(xí)幕數(shù)為0～15節(jié)時,3種算法獲得獎賞的數(shù)量均逐漸降低,其中,HSARSA(λ)算法的降幅最小。當(dāng)學(xué)習(xí)幕數(shù)超過15節(jié)時,HSARSA(λ)算法獲得的獎賞數(shù)量逐步上升。在學(xué)習(xí)幕數(shù)增加的過程中,當(dāng)學(xué)習(xí)幕數(shù)相同時,HSARSA(λ)算法得到的獎賞更多,這表明HSARSA(λ)算法每步搜索的結(jié)果均比其他2種算法更接近最佳值。

圖7 不同算法的收斂性能對比

Fig.7 Comparison of convergence performance of different algorithms

圖8 不同算法獲得獎賞的能力對比

Fig.8 Comparison of ability of different algorithms to obtain rewards

4 結(jié)束語

本文采用啟發(fā)函數(shù)對強(qiáng)化學(xué)習(xí)中的SARSA(λ)算法進(jìn)行改進(jìn),提出一種HSARSA(λ)算法,以動態(tài)設(shè)置FBS的小區(qū)范圍擴(kuò)展偏置值。該算法使宏基站功率資源卸載分流的同時使得微基站功率資源得到充分利用,從而實現(xiàn)系統(tǒng)的負(fù)載均衡。仿真結(jié)果表明,相比Q-Learning、SARSA(λ)算法,HSARSA(λ)算法的收斂速率和用戶通信速率較高,其能同時保證宏用戶與邊緣用戶的通信質(zhì)量。下一步將在本文算法的基礎(chǔ)上研究頻譜資源的有效利用問題,以提升系統(tǒng)的通信質(zhì)量。