林粵偉

(1.青島科技大學(xué)信息科學(xué)技術(shù)學(xué)院 山東青島266061；2.海爾集團(tuán)博士后工作站 山東青島266000)

隨著無(wú)線通信技術(shù)的發(fā)展，LTE、5G、WiFi等技術(shù)方興未艾，8K視頻、VR、AR等新穎的高吞吐率、低時(shí)延業(yè)務(wù)需要更大的頻譜帶寬支持?，F(xiàn)有頻譜資源分為授權(quán)和非授權(quán)頻帶，僅僅依靠授權(quán)頻帶已無(wú)法充分保證未來(lái)4.5G、5G高吞吐量業(yè)務(wù)的帶寬QoS要求[1]。載波聚合(carrier aggregation,CA)或頻譜聚合是LTE-Advanced標(biāo)準(zhǔn)R10的一個(gè)重要特性，通過(guò)將多個(gè)連續(xù)或非連續(xù)的載波(頻譜)聚合成更大的帶寬(最大100 MHz)，能夠?qū)崿F(xiàn)在100 MHz的帶寬內(nèi)，提供下行1 Gbit/s、上行500 Mbit/s的速率[2]。LTE早期只專注于授權(quán)頻段的聚合，在4.5G、5G研究領(lǐng)域，聚焦于授權(quán)與非授權(quán)頻段的頻譜聚合技術(shù)也被提出并得到廣泛研究，其中將LTE部署在非授權(quán)頻段的技術(shù)稱為L(zhǎng)TE-U(unlicensed)[3-4]，使用的是低于6 GHz的非授權(quán)頻段。毫米波頻段(如60 GHz)不在LTE-U的研究范圍內(nèi)，有專門的技術(shù)對(duì)LTE在毫米波頻段部署進(jìn)行研究[5]。

LTE-U使用的6 GHz以內(nèi)的非授權(quán)頻段主要指2.4 GHz和5.8 GHz兩個(gè)頻段，在這兩個(gè)頻段已經(jīng)部署有WiFi、藍(lán)牙、雷達(dá)等無(wú)線通信系統(tǒng)，LTE-U作為后來(lái)者，需要解決好LTE與現(xiàn)有無(wú)線通信網(wǎng)絡(luò)(尤其是WiFi網(wǎng)絡(luò))之間的共存與干擾問(wèn)題。主要有兩種技術(shù)來(lái)解決非授權(quán)頻段中的已有無(wú)線通信系統(tǒng)與LTE-U的共存干擾問(wèn)題，分別是：基于listen-before-talk(LBT)[6?7]和不基于LBT(non-LBT)[8]的兩類技術(shù)。LBT類似于WiFi的(carrier sense multiple access)CSMA/CA(載波偵聽多址接入/沖突回避)多址接入?yún)f(xié)議，采用基于競(jìng)爭(zhēng)的接入策略。LTE-U在發(fā)送數(shù)據(jù)前需要先探測(cè)信道是否空閑以決定是否接入，以降低LTE-U與WiFi的沖突概率。文獻(xiàn)[9]使用基于LBT的方法處理多個(gè)RAT之間和RAT內(nèi)部由于LTE-U與WiFi共存帶來(lái)的干擾問(wèn)題。在美國(guó)、中國(guó)、韓國(guó)、印度等國(guó)家，并沒(méi)有強(qiáng)制要求LTE-U必須實(shí)現(xiàn)LBT機(jī)制，并且在LBT機(jī)制下兩種無(wú)線通信系統(tǒng)都要檢測(cè)信道，頻譜利用率降低。non-LBT機(jī)制中，LTE-U會(huì)周期性地靜默一段時(shí)間，在該段時(shí)間內(nèi)不發(fā)送或幾乎不發(fā)送數(shù)據(jù)，從而使WiFi有更多機(jī)會(huì)發(fā)送數(shù)據(jù)。

文獻(xiàn)[10-11]基于non-LBT方法處理了LTE-U和WiFi系統(tǒng)間的共存與干擾問(wèn)題。文獻(xiàn)[10-12]分別使用了基于空白子幀、duty-cycle、上行鏈路功率控制的方法，都沒(méi)有觸及ABS空白子幀的比例問(wèn)題?；趲缀蹩瞻鬃訋?almost blank subframe,ABS)(下面簡(jiǎn)稱空白子幀)的方法是一種典型的non-LBT的LTE-U與WiFi在非授權(quán)頻段的共存機(jī)制，該機(jī)制最為重要的是如何確定空白子幀所占無(wú)線幀的比例，以確保系統(tǒng)的公平性和性能。文獻(xiàn)[13]使用頻譜偵聽的方法對(duì)一定區(qū)域內(nèi)WiFi AP的數(shù)目進(jìn)行估算，進(jìn)而提出了一種根據(jù)LTE基站周圍WiFi熱點(diǎn)的強(qiáng)度調(diào)整空白子幀數(shù)目的方法。文獻(xiàn)[14]基于排隊(duì)論模型研究了數(shù)據(jù)包的到達(dá)對(duì)LTE-U和WiFi的平均數(shù)據(jù)包時(shí)延的影響，但沒(méi)有提出具體的異構(gòu)網(wǎng)絡(luò)共存機(jī)制，只是為WiFi和LTE-U的共存提供了一個(gè)指導(dǎo)準(zhǔn)則。文獻(xiàn)[15-16]研究了如何決定ABS空白子幀的比例以確保公平性，但是沒(méi)有考慮無(wú)線網(wǎng)絡(luò)的業(yè)務(wù)量負(fù)載情況。文獻(xiàn)[17]考慮了業(yè)務(wù)量負(fù)載情況，但只研究了單一的業(yè)務(wù)(FTP)和吞吐量QoS指標(biāo)，沒(méi)有考慮多業(yè)務(wù)場(chǎng)景和時(shí)延等技術(shù)指標(biāo)。

本文針對(duì)基于ABS空白子幀的LTE-U小基站(small BS/SBS)與WiFi AP共存的場(chǎng)景，提出了基于強(qiáng)化學(xué)習(xí)算法的智能化LTE-U與WiFi的共存機(jī)制，考慮了無(wú)線網(wǎng)絡(luò)的業(yè)務(wù)量負(fù)載情況，能夠提高不同無(wú)線網(wǎng)絡(luò)的時(shí)延性能，進(jìn)而提高系統(tǒng)的用戶滿意度。較已有的動(dòng)態(tài)配置ABS空白子幀的算法，提出的基于強(qiáng)化學(xué)習(xí)的QL-ABS算法能夠較好地利用以往學(xué)習(xí)經(jīng)驗(yàn)(具有更好的在線性能)，后續(xù)決策可以利用先前學(xué)到的經(jīng)驗(yàn)，從而做出更為合理的配置決策，提升系統(tǒng)的時(shí)延、在線性能及用戶滿意度。

1 系統(tǒng)模型

考慮由一個(gè)宏基站(macro BS)、一個(gè)LTEU小基站(small BS/SBS)、一個(gè)WiFi AP組成的網(wǎng)絡(luò)模型，如圖1所示。分別有Nl個(gè)SBS用戶設(shè)備(user equipment, UE)和Nw個(gè)WiFi終端(STA)，LTE基站可與WiFi AP進(jìn)行協(xié)作式信息交互。在較低的授權(quán)頻帶，UE的控制數(shù)據(jù)由宏基站發(fā)送，UE的業(yè)務(wù)數(shù)據(jù)由小基站發(fā)送。小基站和AP共享公共的非授權(quán)頻帶，由小基站配置空白子幀。LTE幀長(zhǎng)10 ms，包括10個(gè)1 ms的子幀，不允許小基站在空白子幀期間發(fā)送數(shù)據(jù)。此時(shí)，相應(yīng)信道將為空閑狀態(tài)，并且可以被WiFi AP訪問(wèn)。本機(jī)制專注于確定空白子幀的數(shù)量，當(dāng)多個(gè)空白子幀為時(shí)間連續(xù)時(shí)，WiFi可以獲得更多的傳輸時(shí)間，一旦確定了空白子幀的數(shù)量，n幀的連續(xù)子幀就被指定為空白子幀。

圖1 網(wǎng)絡(luò)模型

對(duì)于非授權(quán)共享頻帶(信道)，在時(shí)間域WiFi AP基于CSMA/CA的講前先聽(LBT)的接入方式進(jìn)行訪問(wèn)，LTE-U小基站則使用ABS空白子幀的方式降低與WiFi的沖突概率。使用排隊(duì)論對(duì)上述WiFi AP和LTE-U小基站的共享非授權(quán)無(wú)線頻率的行為進(jìn)行建模[14,18]。WiFi AP和LTE-U小基站可以被看做兩個(gè)互相獨(dú)立的M/G/1隊(duì)列，接收到的數(shù)據(jù)包被放入隊(duì)列。如圖2所示，數(shù)據(jù)包的到達(dá)率服從強(qiáng)度為λi(i∈{w,l})的泊松分布，其中λi表示LTE-U或WiFi無(wú)線網(wǎng)絡(luò)的業(yè)務(wù)負(fù)載強(qiáng)度。每個(gè)節(jié)點(diǎn)S的數(shù)據(jù)包服務(wù)時(shí)間互相獨(dú)立，服從一般分布。以Si,o表示進(jìn)行包傳輸?shù)男诺勒加脮r(shí)間，Si,o服從強(qiáng)度為μi的指數(shù)分布，E[Si,o]=1/μi。以Si,v表示占用業(yè)務(wù)信道之前數(shù)據(jù)包在隊(duì)列中的等待時(shí)間。Si,o和Si,v這兩個(gè)時(shí)間之和即為數(shù)據(jù)包服務(wù)時(shí)間(以Si表示)，即：

使用平均包時(shí)延Di作為衡量系統(tǒng)性能的指示參數(shù)。參數(shù)Di與包到達(dá)率λi和LTE幀中空白子幀的數(shù)量n有關(guān)。

圖2 LTE-U與WiFi共存系統(tǒng)的M/G/1排隊(duì)模型

2 基于強(qiáng)化學(xué)習(xí)的LTE-U與WiFi共存機(jī)制

前文排隊(duì)論中的時(shí)間參數(shù)可以映射為無(wú)線通信系統(tǒng)的數(shù)據(jù)包從到達(dá)基站(或AP)到被UE(或STA)終端接收兩個(gè)時(shí)間點(diǎn)之間的總時(shí)間，即數(shù)據(jù)包傳輸時(shí)延?？疾閃iFi和LTE-U無(wú)線通信網(wǎng)絡(luò)的時(shí)延，并將其作為定量評(píng)估不同無(wú)線通信網(wǎng)絡(luò)性能的指標(biāo)參數(shù)。對(duì)于LTE-U所采取的基于ABS空白子幀的非授權(quán)頻帶的共享訪問(wèn)方式，如果一個(gè)LTE無(wú)線幀總共含有N個(gè)子幀，其中空白子幀的數(shù)量為n。考慮第一種情況，LTE-U在信道空閑狀態(tài)下可隨時(shí)接入信道，那么LTE接入信道的概率為1?n/N。此時(shí)，LTE-U系統(tǒng)的數(shù)據(jù)包服務(wù)時(shí)間Sl,case1=Sl,o?？紤]第二種情況，在系統(tǒng)恰好處于ABS空白子幀時(shí)間段的時(shí)候，LTE-U不能訪問(wèn)共享非授權(quán)頻率，產(chǎn)生該情形的概率是n/N，LTE-U只有等待剩余的空白子幀時(shí)間段結(jié)束，才能馬上接入無(wú)線共享信道并發(fā)送數(shù)據(jù)包，此時(shí)，LTE-U的數(shù)據(jù)包服務(wù)時(shí)間：

式中，Rw服從均勻分布，該參數(shù)是除去已經(jīng)在時(shí)間上流逝掉的，剩余的需要LTE-U小基站等待的空白子幀的時(shí)間。綜合考慮前文描述的兩種情形，得出LTE-U系統(tǒng)的數(shù)據(jù)包服務(wù)對(duì)應(yīng)的平均時(shí)間：

式中，Rw和Sl,o彼此獨(dú)立，得出Sl的數(shù)學(xué)期望和方差分別為：

然后，由Pollaczek-Khinchin (P-K)公式計(jì)算得出LTE-U系統(tǒng)的平均包時(shí)延的算式：

WiFi AP的MAC層使用CSMA/CA協(xié)議接入無(wú)線信道。AP發(fā)送數(shù)據(jù)包前先對(duì)信道進(jìn)行監(jiān)聽，如果監(jiān)聽到信道在一段時(shí)間間隔(分布式幀間間隔(DIFS))內(nèi)處于空閑狀態(tài)，則AP將產(chǎn)生一個(gè)隨機(jī)退避(back-off)間隔，該退避間隔服從0～CWmax的均勻分布，其中CWmax表示競(jìng)爭(zhēng)窗口最大值。只要信道空閑就開始倒計(jì)時(shí)，每流逝1個(gè)WiFi時(shí)隙的時(shí)間倒計(jì)時(shí)計(jì)數(shù)器減1。當(dāng)計(jì)數(shù)器達(dá)到零時(shí)，AP發(fā)起一次數(shù)據(jù)傳輸。否則，如果在倒計(jì)時(shí)過(guò)程中信道被其他設(shè)備占用，AP必須重新啟動(dòng)DIFS并繼承先前剩余的退避計(jì)數(shù)。對(duì)于WiFi系統(tǒng)而言，WiFi AP對(duì)于共享非授權(quán)無(wú)線信道的占用受到LTE-U小基站的影響。當(dāng)LTE-U小基站沒(méi)有接入無(wú)線信道時(shí)，AP基于前文描述的偵聽協(xié)議發(fā)起接入信道的操作，只有在計(jì)數(shù)器的值減少到0時(shí)才可接入信道，這時(shí)WiFi數(shù)據(jù)包服務(wù)時(shí)間：

此外，對(duì)WiFi系統(tǒng)來(lái)說(shuō)，如果其數(shù)據(jù)包在非空白子幀時(shí)刻到達(dá)，那么AP只有等到LTE-U的非空白子幀時(shí)間，即數(shù)據(jù)傳輸時(shí)間結(jié)束后才被允許訪問(wèn)占用信道。此時(shí)AP的數(shù)據(jù)包服務(wù)時(shí)間：

式中，Rl服從均勻分布，該參數(shù)表示剩余的非空白子幀時(shí)間段，式中各項(xiàng)彼此獨(dú)立。根據(jù)前文分析，得到AP的數(shù)據(jù)包服務(wù)時(shí)間：

式中，Sback服從0～CWmax的均勻分布；常數(shù)SDIFS是分布式幀間間隔(DIFS)。進(jìn)而分別得到AP的數(shù)據(jù)包服務(wù)時(shí)間的均值與方差：

根據(jù)式(11)～(12)可以得到：

由P-K公式，得到WiFi系統(tǒng)的平均包時(shí)延的算式：

下面介紹基于強(qiáng)化學(xué)習(xí)中的Q學(xué)習(xí)的智能空白子幀配置算法(QL-ABS)，該算法可以提升異構(gòu)無(wú)線網(wǎng)絡(luò)在非注冊(cè)頻帶的時(shí)延性能。對(duì)于動(dòng)作的選擇，探索策略采用ε貪婪算法。為L(zhǎng)TE-U預(yù)先定義一個(gè)時(shí)延性能目標(biāo)Ptar。LTE-U的SBS小基站可以自主地動(dòng)態(tài)調(diào)整空白子幀的數(shù)量，這里多個(gè)空白子幀時(shí)間上連續(xù)挨在一起而不是離散分隔開，使得性能盡可能地接近Ptar。SBS的動(dòng)作集合為A={a1,a2,···,am}，狀態(tài)集合為S={s1,s2,···,sn}，ak和sj分別代表SBS可能的動(dòng)作和狀態(tài)。在Q學(xué)習(xí)中，SBS小基站(agent)會(huì)維護(hù)一個(gè)Q值表，該表存有每一對(duì)狀態(tài)sj∈S(1≤j≤n)和動(dòng)作ak∈A(1≤k≤m)對(duì)應(yīng)的Q值Q(sj,ak)，該值表示當(dāng)SBS在狀態(tài)sj選擇執(zhí)行動(dòng)作ak時(shí)對(duì)未來(lái)代價(jià)的預(yù)測(cè)。

SBS小基站在某一狀態(tài)sj選擇并執(zhí)行動(dòng)作ak，基于來(lái)自環(huán)境的反饋，用代價(jià)值c表示該反饋，該代價(jià)值定義為在前一空白子幀配置周期中的LTE數(shù)據(jù)發(fā)送時(shí)間里得到的LTE-U的性能P與目標(biāo)性能Ptar差值的絕對(duì)值。進(jìn)而得到SBS小基站的下一狀態(tài)sj′∈S(1≤j′≤n)。然后，基于得到的下一狀態(tài)sj′和計(jì)算出的代價(jià)值c，更新當(dāng)前狀態(tài)動(dòng)作對(duì)sj和ak對(duì)應(yīng)的Q值：

式中，α,γ分別為學(xué)習(xí)率和折扣因子(仿真中取值為0.5)。學(xué)習(xí)率 α(0≤α≤1)決定學(xué)習(xí)的速度，如果α過(guò)小，學(xué)習(xí)過(guò)程的時(shí)間會(huì)很長(zhǎng)；如果α過(guò)大，算法可能會(huì)不收斂；折扣因子 γ(0≤γ≤1)控制未來(lái)代價(jià)的價(jià)值，體現(xiàn)了未來(lái)代價(jià)相對(duì)當(dāng)前代價(jià)的重要性。γ越小，學(xué)習(xí)將越依賴于當(dāng)前代價(jià)；γ越大，學(xué)習(xí)將越依賴于未來(lái)代價(jià)。合理的選擇這兩個(gè)參數(shù)的值，可以有效控制Q學(xué)習(xí)算法的學(xué)習(xí)過(guò)程。

選擇動(dòng)作時(shí)，需要考慮“探索?利用”的折中問(wèn)題，即在給定狀態(tài)條件下，是嘗試新的動(dòng)作以獲得更多的經(jīng)驗(yàn)，還是根據(jù)已有的學(xué)習(xí)經(jīng)驗(yàn)來(lái)選擇動(dòng)作。嘗試更多新的動(dòng)作將獲得更為全面、豐富的經(jīng)驗(yàn)，進(jìn)而達(dá)到更好的優(yōu)化目標(biāo)，但相應(yīng)消耗的學(xué)習(xí)時(shí)間也更多；更多依賴以往經(jīng)驗(yàn)可以令算法的學(xué)習(xí)過(guò)程收斂并較快穩(wěn)定，但也可能陷入局部最優(yōu)解。一旦當(dāng)前狀態(tài)動(dòng)作對(duì)sj和ak的Q值得到更新，為下一狀態(tài)sj′選擇一個(gè)動(dòng)作ak′∈A(1≤k′≤m)。采用ε?貪婪算法，首先生成隨機(jī)數(shù)r∈U(0,1)，并與ε貪婪參數(shù)比較，該參數(shù)通常取值很小(如0 .01≤ε≤0.05)。如果r值小于ε貪婪參數(shù)的值，則隨機(jī)選擇一個(gè)動(dòng)作。否則，在得到的下一狀態(tài)sj′中選擇使Q值最小的動(dòng)作，即：

將LTE-U SBS小基站的動(dòng)作、狀態(tài)、代價(jià)定義如下。

動(dòng)作：

式中，ak∈A(0≤ak≤1)表示一個(gè)LTE幀(含10個(gè)子幀)內(nèi)所有空白子幀所占的時(shí)間比例。比如0.1表示每10個(gè)子幀中有1個(gè)LTE空白子幀，9個(gè)LTE數(shù)據(jù)發(fā)送子幀。

狀態(tài)：

式中，P為系統(tǒng)總體實(shí)驗(yàn)性能(反映了用戶對(duì)時(shí)延性能的滿意度)；Pi為第i個(gè)用戶的用戶滿意度；Dj為前文推導(dǎo)過(guò)的LTE-U SBS小基站或WiFi AP的平均包時(shí)延；di為每一用戶對(duì)應(yīng)業(yè)務(wù)(假定每一用戶在任一時(shí)刻只有一種業(yè)務(wù))的時(shí)延QoS要求。VoIP業(yè)務(wù)的時(shí)延要求為di=2 ms，Video Streaming業(yè)務(wù)的時(shí)延要求為di=5 ms，F(xiàn)TP業(yè)務(wù)的時(shí)延要求為di=20 ms[19]，設(shè)置Ptar=0.9。

QL-ABS算法流程的偽代碼如下所示，LTEU與WiFi以協(xié)作模式共存，可以彼此進(jìn)行信息交互。LTE-U的SBS小基站在每次數(shù)據(jù)傳輸階段開始前，先獲取WiFi與LTE-U網(wǎng)絡(luò)接下來(lái)的業(yè)務(wù)負(fù)載強(qiáng)度λw與λl。

3 仿真結(jié)果

仿真考慮在非授權(quán)頻段競(jìng)爭(zhēng)頻譜資源的場(chǎng)景，WiFi與LTE-U都只對(duì)非授權(quán)頻段的頻譜資源使用。用戶終端的移動(dòng)速率為3 km/h，分布服從均勻分布。其他的相關(guān)仿真參數(shù)如表1所示。兩類系統(tǒng)的信道占用服務(wù)時(shí)間都是0.9163 ms。為了計(jì)算前文提到的系統(tǒng)總體實(shí)驗(yàn)性能P，基于服務(wù)類型得到每一用戶的數(shù)據(jù)包時(shí)延要求，假定每一用戶在任一時(shí)刻只有一種業(yè)務(wù)。

表1 仿真參數(shù)配置

對(duì)不采用共享接入算法(without-ABS)、傳統(tǒng)的空白子幀數(shù)量固定的共享接入算法(ABS)、以及本文提出的基于強(qiáng)化學(xué)習(xí)的空白子幀數(shù)量動(dòng)態(tài)配置的共享接入算法(QL-ABS)的性能進(jìn)行了仿真對(duì)比，如圖3所示。其中LTE-U的包到達(dá)率為λl=150 packets/s。在WiFi系統(tǒng)的包到達(dá)率λw增大時(shí)，不使用任何共享接入算法時(shí)，等待隊(duì)列中積聚的被阻塞的WiFi數(shù)據(jù)包逐步增多，進(jìn)而使平均包時(shí)延增加。使用空白子幀共享接入算法可以有效的減少系統(tǒng)時(shí)延。在高負(fù)載時(shí)，QL-ABS算法的WiFi系統(tǒng)的時(shí)延性能較ABS算法可以提升50%左右；在低負(fù)載時(shí)，WiFi時(shí)延性能可以提升20%左右。這是由于相比于空白子幀數(shù)量固定算法，基于Q學(xué)習(xí)的空白子幀數(shù)量配置算法可以根據(jù)系統(tǒng)業(yè)務(wù)強(qiáng)度智能的動(dòng)態(tài)調(diào)整空白子幀數(shù)目，可以更好的保證WiFi與LTE-U兩種系統(tǒng)在非授權(quán)頻段共享接入的公平性。另一方面，使用QLABS算法后，LTE-U的時(shí)延只有微小的增大。相比空白子幀數(shù)量固定算法LTE-U時(shí)延大約增加了0.2 ms，相比不使用空白子幀的算法LTE-U時(shí)延增加了0.7 ms左右。如圖4所示，λl=150 packets/s時(shí)，在不同的用戶數(shù)情況下，QL-ABS算法都具有較好的平均包時(shí)延性能。用戶數(shù)較多時(shí)，LTEU和WiFi的平均包時(shí)延都有一定程度的增加。低負(fù)載時(shí)，WiFi的時(shí)延性能增加5%左右；高負(fù)載時(shí)，WiFi的時(shí)延性能增加2%左右。

圖3 平均包時(shí)延性能分析

圖4 不同用戶數(shù)的平均包時(shí)延性能分析

圖5展示了在不同的空白子幀數(shù)量配置條件下，在采用QL-ABS動(dòng)態(tài)空白子幀配置算法時(shí)，WiFi和LTE-U的時(shí)延性能變化，其中λl=150 packets/s，λw=100 packets/s。與空白子幀數(shù)量固定配置算法相比，QL-ABS在提供了較好的WiFi時(shí)延性能(低于5 ms，能夠滿足VideoStreaming業(yè)務(wù)的時(shí)延QoS要求)的同時(shí)，能夠保證LTE-U的時(shí)延性能只有微小的下降(低于2 ms，可以滿足時(shí)延QoS苛刻的VoIP語(yǔ)音業(yè)務(wù)要求)。QL-ABS更適合WiFi和LTE-U異構(gòu)網(wǎng)絡(luò)的整體時(shí)延性能優(yōu)化，在高負(fù)載情況下QL-ABS的這種優(yōu)勢(shì)會(huì)更加明顯。WiFi時(shí)延性能增加的原因是當(dāng)SBS小基站考慮性能目標(biāo)Ptar，基于突發(fā)的業(yè)務(wù)強(qiáng)度動(dòng)態(tài)調(diào)整空白子幀數(shù)量時(shí)，WiFi獲得了更為公平的接入共享非授權(quán)頻譜的機(jī)會(huì)。

圖5 ABS配置與時(shí)延

圖6顯示了動(dòng)態(tài)的WiFi和LTE-U數(shù)據(jù)包總到達(dá)率，圖7顯示了對(duì)應(yīng)系統(tǒng)總體時(shí)延性能P(用戶滿意度)的結(jié)果，并對(duì)比了QL-ABS和基于效用函數(shù)的動(dòng)態(tài)自適應(yīng)ABS配置算法(A-ABS)[17]的在線性能。可以看出系統(tǒng)第二天的性能明顯好于第一天，且QL-ABS較A-ABS算法具有更好的在線性能，這是因?yàn)镼L-ABS算法第二天的決策可以利用第一天學(xué)到的經(jīng)驗(yàn)，從而做出更合理的動(dòng)作。隨著在線性能的提高，用戶滿意度也會(huì)相應(yīng)得到提升。

圖6 連續(xù)兩天動(dòng)態(tài)變化業(yè)務(wù)量

圖7 QL-ABS算法在線性能

4 結(jié)束語(yǔ)

本文提出基于Q學(xué)習(xí)的LTE-U的空白子幀配置機(jī)制，使用排隊(duì)論對(duì)LTE-U與WiFi共存的5G異構(gòu)網(wǎng)絡(luò)進(jìn)行建模。仿真結(jié)果表明，通過(guò)自主學(xué)習(xí)過(guò)程，本算法可在不同的負(fù)載條件下為L(zhǎng)TE-U產(chǎn)生較為合理的空白子幀配置策略，具有較好的在線學(xué)習(xí)性能。較傳統(tǒng)方法，本機(jī)制更好地解決了5G異構(gòu)網(wǎng)絡(luò)中LTE-U與現(xiàn)有WiFi網(wǎng)絡(luò)在非授權(quán)頻帶的共存問(wèn)題，提升了網(wǎng)絡(luò)的總體時(shí)延性能和用戶滿意度，具有更好的在線性能。在未來(lái)的工作中，將把所提出的方案擴(kuò)展到更為復(fù)雜的多個(gè)LTE-U SBS和WiFi AP共存的場(chǎng)景。

本文研究工作得到泛網(wǎng)無(wú)線通信教育部重點(diǎn)實(shí)驗(yàn)室(北京郵電大學(xué))開放課題(KFKT-2018107)的資助，在此表示感謝！