胡錚，袁浩，朱新寧，倪萬里

（北京郵電大學(xué)網(wǎng)絡(luò)與交換技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，北京 100876）

1 引言

隨著移動網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，用戶對網(wǎng)絡(luò)的使用和需求無時無處不在，且數(shù)據(jù)業(yè)務(wù)量急劇增長，這一需求促進(jìn)了5G技術(shù)的發(fā)展和5G網(wǎng)絡(luò)的商業(yè)化進(jìn)程。

通過對小型蜂窩網(wǎng)絡(luò)的密集部署及移動邊緣計算的應(yīng)用，可以大大增強(qiáng)移動網(wǎng)絡(luò)的帶寬和服務(wù)質(zhì)量。然而如何真正提高大量小基站的效率，充分發(fā)揮邊緣計算的能力，是提升5G網(wǎng)絡(luò)服務(wù)質(zhì)量的關(guān)鍵問題之一。

由于用戶數(shù)量和用戶的業(yè)務(wù)需求是影響基站緩存部署、資源分配和能耗管理的重要因素，通過準(zhǔn)確預(yù)測基站覆蓋范圍內(nèi)的用戶數(shù)量，對提高5G網(wǎng)絡(luò)性能具有重要意義，尤其是針對某些基站所覆蓋的特定的功能區(qū)域，如景區(qū)、辦公區(qū)、住宅區(qū)等，由于不同區(qū)域具有其特定的業(yè)務(wù)需求模式，對區(qū)域內(nèi)人群數(shù)量的預(yù)測，將有利于區(qū)域內(nèi)網(wǎng)絡(luò)資源的部署和分配。

首先，區(qū)域內(nèi)人群流量預(yù)測有利于5G基站緩存部署及資源分配決策?？拷脩艚尤雮?cè)的5G小基站主要包括計算、存儲和通信等資源，但由于硬件資源受限，小基站可能無法為所有用戶提供足夠的計算和緩存服務(wù)[1]。由于網(wǎng)絡(luò)接入的用戶流量將直接影響基站的緩存決策及計算和通信資源的分配方式，因此，基于不同基站下的人群流量差異，利用呼叫詳單數(shù)據(jù)預(yù)測用戶下一時刻的地理位置[2]，再從全局角度研究5G網(wǎng)絡(luò)中小基站和宏基站的最優(yōu)緩存與資源分配策略，有望減小網(wǎng)絡(luò)端到端時延，有效提高網(wǎng)絡(luò)通信能力。

其次，人群流量預(yù)測有利于制訂5G基站活躍/休眠切換方案。雖然為支持高速率移動通信服務(wù)和提供無縫覆蓋的大量 5G基站功率較低，但總的 5G基礎(chǔ)設(shè)施所消耗的能量將是顯著的[3]。在維持移動用戶服務(wù)質(zhì)量的同時，關(guān)閉或休眠5G網(wǎng)絡(luò)中未充分利用的小基站將是一種高效的節(jié)能方法。因此，從環(huán)保和經(jīng)濟(jì)效益的角度出發(fā)，準(zhǔn)確的人群流量預(yù)測結(jié)果將為5G基站的活躍/休眠切換機(jī)制提供有力的參考依據(jù)和行動準(zhǔn)則。

人群流量預(yù)測還有利于 5G基站密集部署規(guī)劃。在5G時代，面對急劇增長的移動流量，小型蜂窩網(wǎng)絡(luò)的部署可以提供巨大的網(wǎng)絡(luò)容量，但 5G基礎(chǔ)設(shè)施的大面積高密度部署將會帶來高昂的建設(shè)成本和運(yùn)營成本[4]，因此，在保障用戶流量需求的前提下，為最小化移動網(wǎng)絡(luò)運(yùn)營商的資本支出，需要通過對人群流量的預(yù)測來有效規(guī)劃5G基站的部署位置與數(shù)量。

此外，區(qū)域人群流量預(yù)測本身還可以作為改進(jìn)城市規(guī)劃、實(shí)現(xiàn)特定區(qū)域如景區(qū)的監(jiān)控和管理、進(jìn)行交通流量管理、防范人群聚集的突發(fā)事件的重要依據(jù)。

隨著位置信息獲取技術(shù)的發(fā)展，大量標(biāo)識用戶時空位置的數(shù)據(jù)可以被用來實(shí)現(xiàn)區(qū)域的流量預(yù)測?；谝苿泳W(wǎng)絡(luò)的呼叫詳單記錄數(shù)據(jù)可以獲取以基站位置標(biāo)注的用戶時空位置信息，因而可以作為表征全域覆蓋范圍內(nèi)的區(qū)域人群流量的數(shù)據(jù)。基于該時空位置信息進(jìn)行各種尺度的區(qū)域人群流量預(yù)測可以為5G基站的緩存部署及資源分配等應(yīng)用提供重要的決策支撐。

基于用戶位置信息的人群流量預(yù)測已有不少研究[5-16]，文獻(xiàn)[13-16]提出了基于深度時空學(xué)習(xí)的模型來實(shí)現(xiàn)對區(qū)域間依賴關(guān)系的自動提取，然而，人群移動使不同區(qū)域之間的流量存在一定的空間相關(guān)性，而流量在時間上存在連續(xù)性和周期性，且與短時流量密切相關(guān)，因此如何準(zhǔn)確地對復(fù)雜的時空依賴關(guān)系進(jìn)行建模是流量預(yù)測過程中的巨大挑戰(zhàn)。其次，各種外部特征，如下雨、空氣污染等的異常變化會給流量帶來影響，其影響方式、程度和時間可能不同，因此如何將多維度的外部特征添加到預(yù)測模型中也是流量預(yù)測過程中需要解決的問題。此外，為了實(shí)現(xiàn)對短時間內(nèi)流量的準(zhǔn)確預(yù)測，需要利用臨近時間的流量信息。為了降低對全局流量數(shù)據(jù)實(shí)時傳輸?shù)男枨?，如何只利用局部?shí)時數(shù)據(jù)，再結(jié)合較長期全局?jǐn)?shù)據(jù)完成區(qū)域流量預(yù)測 也是流量預(yù)測面臨的挑戰(zhàn)。

基于上述分析，本文提出了一種基于時空殘差網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)（LSTM, long short term memory）建模流量時空依賴關(guān)系，并融合各種外部影響因素，對短時流量信息僅依賴局部實(shí)時信息進(jìn)行建模的深度時空網(wǎng)絡(luò)流量預(yù)測模型。該模型在降低全局實(shí)時信息傳輸?shù)耐瑫r，提高了預(yù)測精度，為后期基站資源部署和分配提供依據(jù)。

2 相關(guān)工作

2.1 5G網(wǎng)絡(luò)部署與資源分配需求

5G具有基站大面積密集部署、微基站覆蓋范圍小等典型特征，這在給網(wǎng)絡(luò)帶來如提升數(shù)據(jù)速率、支持泛在接入等好處的同時，也給網(wǎng)絡(luò)帶來了新的挑戰(zhàn)和要求，如小基站的部署選址問題、能效問題以及資源管理問題。為支持下一代移動服務(wù)的需求，5G網(wǎng)絡(luò)的部署必然會涉及新基站設(shè)備的安裝問題，因此，為最小化目標(biāo)資本支出，5G網(wǎng)絡(luò)規(guī)劃本身就是一個復(fù)雜的問題，尤其是在人口密集的城市地區(qū)，這一問題更加凸顯。Oughton等[4]提供了一個基于場景和移動流量增長的5G網(wǎng)絡(luò)基礎(chǔ)設(shè)施供需評估，而移動流量的直接生產(chǎn)者就是基站的接入用戶，因此預(yù)測基站的人群流量密度能有效地降低運(yùn)營商的部署成本。

為了滿足熱點(diǎn)場景下大規(guī)模聚合數(shù)據(jù)速率的需求，密集部署的5G基站具有一定的冗余，因此，在低功耗基站較多的情況下，需要關(guān)閉/休眠大量空閑基站來實(shí)現(xiàn)節(jié)能，但關(guān)閉/休眠基站會增加附近多個基站的流量負(fù)載，即不同基站之間的開關(guān)狀態(tài)和用戶服務(wù)質(zhì)量存在高度依賴關(guān)系。Feng等[3]研究了5G網(wǎng)絡(luò)中開關(guān)基站的有效方法與所面臨的挑戰(zhàn)，如根據(jù)用戶的流量類型調(diào)整基站的運(yùn)行模式，進(jìn)而提高系統(tǒng)性能。

近年來，在移動設(shè)備上部署計算密集型的應(yīng)用日益增多，超低時延已成為實(shí)現(xiàn)高用戶體驗(yàn)的重要需求保障。為解決這個問題，能有效節(jié)省網(wǎng)絡(luò)帶寬和降低端到端時延的最優(yōu)緩存與網(wǎng)絡(luò)資源分配策略受到了廣泛關(guān)注。Chen等[1]提出了一種高效收集全局可用資源信息的移動網(wǎng)絡(luò)架構(gòu)，并設(shè)計了一個由小基站和宏基站組成的最優(yōu)緩存策略以最小化網(wǎng)絡(luò)時延。不同的人群流量將會帶來文件流行度與計算任務(wù)卸載的差異，在網(wǎng)絡(luò)邊緣考慮人群流量密度可以為進(jìn)一步提高緩存命中率與制定卸載決策提供有效依據(jù)。

2.2 人群流量預(yù)測

近年來，城市范圍的人群流量預(yù)測受到了研究人員的廣泛關(guān)注，無論是傳統(tǒng)的時間序列模型，還是近來廣為流行的深度學(xué)習(xí)框架，都在人群流量預(yù)測領(lǐng)域有所建樹。

基于時間序列模型進(jìn)行流量預(yù)測，主要考慮的是流量數(shù)據(jù)的時間依賴關(guān)系，比如Kumar等[5]提出了一種基于卡爾曼濾波技術(shù)的預(yù)測方案，可以僅使用較少的歷史數(shù)據(jù)來實(shí)現(xiàn)流量預(yù)測；而Li等[6]則提出了一種改進(jìn)的自回歸移動平均模型（ARIMA,autoregressive integrated moving average）來預(yù)測熱點(diǎn)地區(qū)的流量變化；類似地，Matias等[7]同樣提出了一種出租車乘客短期空間分布預(yù)測方案，將數(shù)據(jù)聚合成直方圖時間序列并結(jié)合3種時間序列預(yù)測技術(shù)進(jìn)行預(yù)測。近年來，在時間序列預(yù)測模型的基礎(chǔ)上，研究人員也開始進(jìn)一步探究空間依賴關(guān)系以及相關(guān)外部影響特征的建模，比如Tong等[8]提出了一種具有2億多個特征維度的線性回歸模型，結(jié)合了時間、空間、外部特征等多個維度的大量特征，實(shí)現(xiàn)了出租車需求預(yù)測；Wu等[9]結(jié)合了興趣點(diǎn)（POI,point of interest）、天氣、地理標(biāo)記等多域數(shù)據(jù)，從不同視角對出租車需求進(jìn)行了分析與預(yù)測。然而，即便充分結(jié)合了各種附加因素，預(yù)測結(jié)果仍難很好地反映復(fù)雜的非線性時空相關(guān)性[10]。

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展和完善，并考慮到流量預(yù)測的時空建模的復(fù)雜性，利用深度學(xué)習(xí)的模型進(jìn)行流量預(yù)測受到了更多研究人員的青睞。Liu等[11]提出了一種新的端到端深度學(xué)習(xí)體系結(jié)構(gòu)，基于 Conv-LSTM（convolutional long short-term memory）模塊提取流量的時空特征，從而實(shí)現(xiàn)了良好的流量預(yù)測性能；Polson等[12]針對由異常特征導(dǎo)致的急劇的異常流量變化問題，提出了一種深度學(xué)習(xí)的框架，證明深度學(xué)習(xí)架構(gòu)可以捕捉這些非線性時空效應(yīng)，此外，Zhang等[13-14]充分考慮不同歷史時間層的影響分別建模，并結(jié)合天氣、元數(shù)據(jù)等外部特征，搭建了復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò) DeepST和ST-ResNet（spatio-temporal residual network），得到了明顯的性能優(yōu)化和提升；最近，Huang等[15]提出了一種新的犯罪預(yù)測框架——DeepCrime，該框架可以揭示犯罪數(shù)目的動態(tài)的變化模式，探索其隨時間的演變模式以及與其他信息的動態(tài)關(guān)聯(lián)，在犯罪預(yù)測上取得突出的效果。

上述研究工作為區(qū)域人群流量預(yù)測提供了基礎(chǔ)，本文將主要針對復(fù)雜的時空依賴關(guān)系、外部因素的影響以及為5G網(wǎng)絡(luò)資源分配提供決策依據(jù)時所需的短時流量預(yù)測等問題進(jìn)行人群流量預(yù)測的建模。

3 區(qū)域人群流量預(yù)測模型

3.1 系統(tǒng)模型

考慮到同一類功能區(qū)如景區(qū)、住宅、商業(yè)區(qū)等具有相似的人群流量模式和業(yè)務(wù)需求模式，本文在進(jìn)行整個城市范圍的流量預(yù)測時，首先對城市進(jìn)行基于興趣點(diǎn)（POI，point of interest）分布的分區(qū)。目前的城市分區(qū)方案[10,12-14]更多考慮的是城市的規(guī)模、范圍等，但缺少對分區(qū)過程的約束，可能導(dǎo)致不同功能區(qū)之間的混疊。以景區(qū)為例，景區(qū)覆蓋范圍內(nèi)一般包括多個基站，如果隸屬于不同景區(qū)的基站被劃分至同一網(wǎng)格，由于基于移動網(wǎng)呼叫詳單數(shù)據(jù)的用戶位置信息是由其連接的基站所定位，這種混疊自然會影響景區(qū)間空間依賴關(guān)系的建模與景區(qū)流量的計算和預(yù)測。因此，在本文中，為了避免這種混疊的出現(xiàn)并盡可能減少后續(xù)預(yù)測的復(fù)雜度，在分區(qū)過程中加入以下約束：1）避免將不同功能區(qū)的基站映射到同一個網(wǎng)格；2）盡可能減少城市分區(qū)的數(shù)目。基于此，可以將城市劃分為I×J的網(wǎng)格圖。而要預(yù)測的區(qū)域（功能區(qū)）可以視為相鄰網(wǎng)格的聚合。如圖1所示，該模型可運(yùn)行在區(qū)域中的宏基站或具有相應(yīng)計算和存儲資源的基站上。

圖1 面向5G需求的基站接入人群流量預(yù)測系統(tǒng)模型

本文涉及的符號及其含義如表1所示。

表1 符號標(biāo)記及其含義

定義1 流量。在第t個時間段，網(wǎng)格（i, j）內(nèi)的流量定義如式（1）所示。

其中，|?|表示集合內(nèi)元素的數(shù)目，trau（t）表示用戶 u在時間段 t內(nèi)通信的基站集合。B（i,j）表示區(qū)域（i, j）內(nèi)的基站集合。在第t個時間段，所有I×J個區(qū)域的流量可以表示為矩陣 Ft∈RI×J，也可用時間段 t的流量圖表示。類似地，在第t個時間段，第i個區(qū)域的流量可以定義為其中，Mi表示第i個區(qū)域內(nèi)的基站集合。在第t個時間段，所有p個區(qū)域的流量可以表示為區(qū)域流量向量。

3.2 基于深度時空網(wǎng)絡(luò)的人群流量預(yù)測模型

基于區(qū)域流量預(yù)測問題，本文提出的流量預(yù)測模型的整體框架如圖2所示，主要包括3個模塊，分別是外部特征模塊、時空模塊和圖嵌入模塊，圖中分別用虛線框標(biāo)識的a、b、c指出這3個模塊。該模型從3個不同的角度對區(qū)域流量預(yù)測問題進(jìn)行建模。

外部特征模塊提取預(yù)測所需的所有歷史時段的各類外部特征，包括天氣、空氣質(zhì)量、節(jié)假日、時間等元數(shù)據(jù)特征，并將這些外部特征按照時間順序拼接為矩陣的形式，送入全連接層1中，進(jìn)行特征的提取與優(yōu)化。

時空模塊將時間軸劃分為3個層次，即臨近層、周期層和趨勢層，分別表示臨近時間、較近和較遠(yuǎn)的歷史時間，在不同時間層內(nèi)，按照一定周期取相應(yīng)時間長度的歷史流量數(shù)據(jù)作為輸入。由于臨近層輸入為短時間內(nèi)的流量數(shù)據(jù)，為降低實(shí)時數(shù)據(jù)傳輸需求，本模型中僅需要局部流量數(shù)據(jù)，即通過當(dāng)前預(yù)測區(qū)域的宏基站提供的區(qū)域內(nèi)短時的流量向量。而周期層和趨勢層的輸入為長時間的流量，這部分?jǐn)?shù)據(jù)不需要實(shí)時的數(shù)據(jù)傳送，故取對應(yīng)時段的全局流量圖。

圖2 基于深度時空網(wǎng)絡(luò)的區(qū)域流量預(yù)測模型

3個層次的流量輸入分別送入相互獨(dú)立的3組神經(jīng)網(wǎng)絡(luò)，對不同時間層的影響進(jìn)行建模，其中，針對臨近時間層，利用LSTM模塊捕捉其時間上的相關(guān)性；周期層與趨勢層則構(gòu)建殘差神經(jīng)網(wǎng)絡(luò)來對時空依賴關(guān)系協(xié)同建模。最后，針對圖嵌入模塊，為要預(yù)測的區(qū)域之間構(gòu)建區(qū)域距離圖，并利用node2vec將其抽取為向量，通過全連接層3進(jìn)行特征提取，作為另一視角的流量預(yù)測結(jié)果。

在預(yù)測輸出部分，將3個時間層的輸出進(jìn)行基于參數(shù)矩陣的融合，并通過全連接層2優(yōu)化預(yù)測結(jié)果，作為時空模塊的預(yù)測輸出SST。然后，將其與圖嵌入模塊的輸出進(jìn)行拼接，并將拼接的結(jié)果送入全連接層 4，進(jìn)行特征的提取與優(yōu)化。最后，將輸出結(jié)果與外部特征模塊的輸出疊加，并通過tanh函數(shù)將結(jié)果映射到[-1,1]，以便在訓(xùn)練過程中得到更快的收斂速度。

3.2.1 外部特征模塊

外部特征（如天氣、空氣質(zhì)量、節(jié)假日信息等）對相關(guān)區(qū)域的流量可能產(chǎn)生巨大的影響，例如，在下雨天或空氣質(zhì)量差的情況下，前往景區(qū)的人數(shù)一般都會明顯下降，如何衡量這種由于外部特征所帶來的流量波動，如何準(zhǔn)確地對多維外部影響特征建模，是進(jìn)行區(qū)域流量預(yù)測時需要重點(diǎn)考慮的問題。本文針對時空模塊預(yù)測中涉及的所有歷史時段，對每個時段t分別提取一組特征向量Et，具體如表 2所示。將不同時段的特征向量拼接為矩陣的形式，送入全連接層1進(jìn)行特征提取，得到p維的區(qū)域預(yù)測向量，即為外部特征模塊的預(yù)測輸出，記為SEX。

表2 外部特征描述

3.2.2 時空模塊

時空模塊主要包括3個相互獨(dú)立的處理單元以及融合輸出部分。在3個時間層中，以一定的周期c, pr, tr選取一定長度（lc,lpr,ltr）的歷史流量數(shù)據(jù)作為輸入，分別表示臨近時間、較近和較遠(yuǎn)的歷史時間，其中，臨近層的輸入為對應(yīng)時間區(qū)域流量向量，而周期層以及趨勢層都是以多組流量圖作為輸入。

對于臨近層，可以通過宏基站獲取實(shí)時的預(yù)測區(qū)域的流量數(shù)據(jù)。然而僅依據(jù)局部區(qū)域的流量數(shù)據(jù)難以對流量的空間依賴關(guān)系準(zhǔn)確建模，因此臨近層采用如圖3所示結(jié)構(gòu)的時間序列模型LSTM建模，充分考慮臨近時間段內(nèi)區(qū)域流量數(shù)據(jù)的時間依賴特性。

圖3 LSTM模塊的基本結(jié)構(gòu)

LSTM 模塊共包括lc個時間單元，每個單元的輸入為對應(yīng)該時段的區(qū)域流量向量，該模塊的最終輸出即為下一時段的p維區(qū)域流量向量，記為Xc。

而在周期層和趨勢層中，利用較遠(yuǎn)的歷史時間的全局流量信息（即整個城市范圍的流量數(shù)據(jù)）挖掘更為豐富的時空依賴關(guān)系。對每個時間層，將多個歷史時段的流量圖組合為類似視頻形式的多通道輸入信息，并通過結(jié)構(gòu)完全一致的2個并行的殘差網(wǎng)絡(luò)1和殘差網(wǎng)絡(luò)2進(jìn)行后續(xù)的時空依賴關(guān)系的建模，其結(jié)構(gòu)如圖4（a）所示。

多通道的輸入信息通過卷積層1進(jìn)行初步的特征提取。輸出的特征映射被送入2個連續(xù)的殘差單元（殘差單元1和殘差單元2），殘差的基本結(jié)構(gòu)如圖4（b）所示，即用卷積層來擬合的不是直接的映射關(guān)系，而是殘差映射。相比于卷積層的堆疊，殘差學(xué)習(xí)的優(yōu)勢在于隨著網(wǎng)絡(luò)深度的加深，模型至少可以保證性能不會變差，這樣就通過殘差單元的堆疊實(shí)現(xiàn)了對遠(yuǎn)距離的空間依賴關(guān)系的建模。

最后，殘差單元2的輸出被送至全連接層，將其映射到p維的輸出向量，從而得到該時間層的預(yù)測輸出。周期層和趨勢層的輸出分別記為Xpr和Xtr。

通過LSTM模塊、殘差網(wǎng)絡(luò)1和殘差網(wǎng)絡(luò)2，可以實(shí)現(xiàn)從3個不同的時間尺度上挖掘豐富的時空信息。但不同時間層的影響程度很難直觀給出判斷，因此參考論文文獻(xiàn)[16]，為了將 3個時間層的輸出以更為恰當(dāng)?shù)臋?quán)重進(jìn)行融合，本文采用基于參數(shù)矩陣的融合方式，如式（3）所示。

圖4 殘差網(wǎng)絡(luò)1和殘差網(wǎng)絡(luò)2的結(jié)構(gòu)

其中，?表示哈達(dá)瑪積，即2個矩陣的元素對應(yīng)位置相乘，最終可以得到同維度的輸出矩陣。Xc、Xpr、Xtr分別表示3個時間層的輸出，而Xc、Wpr、Wtr則表示不同時間層的權(quán)重矩陣，即在網(wǎng)絡(luò)訓(xùn)練中要學(xué)習(xí)的參數(shù)，來調(diào)整不同部分對結(jié)果預(yù)測的重要程度。

得到融合向量后，經(jīng)由全連接層2進(jìn)一步優(yōu)化預(yù)測結(jié)果，最終得到時空模塊的預(yù)測向量輸出SST，如式（4）所示。

其中，WST和bST分別表示模型需要學(xué)習(xí)的參數(shù)，f（?）表示該全連接層的激活函數(shù)，在本文中，除特殊說明外，激活函數(shù)均選用relu函數(shù)。

3.2.3 圖嵌入模塊

除了歷史流量數(shù)據(jù)的影響，人群移動模式信息也可能反映出區(qū)域之間的某種內(nèi)在相關(guān)性，例如人們更傾向于在相距較近的區(qū)域之間轉(zhuǎn)移，尤其是在一段較短的時間內(nèi)，這種普遍的人群移動規(guī)律就會使得近距離的區(qū)域之間會有較強(qiáng)的流量相關(guān)性。捕捉這種人類移動模式視角上的空間依賴關(guān)系，可以從另一個角度對區(qū)域間的相關(guān)性進(jìn)行建模，從而為流量預(yù)測提供有價值的信息。因此，本文提出的模型添加了區(qū)域距離圖的嵌入模塊，從而更為直觀地構(gòu)建區(qū)域之間與空間距離相關(guān)的流量相關(guān)性。

具體來說，即為要預(yù)測的p個區(qū)域之間構(gòu)建轉(zhuǎn)移距離圖G=（V,E,D），其中，V表示待預(yù)測的區(qū)域，E∈（V×V）表示邊的集合，wij表示邊的權(quán)重，即區(qū)域i和區(qū)域j之間的距離量度?？紤]到距離越近的區(qū)域之間可能有更大的流量相關(guān)性，以負(fù)指數(shù)距離來表示邊的權(quán)重，如式（5）所示，以保證更大的邊權(quán)重對應(yīng)于更強(qiáng)的流量相關(guān)性。

其中，λ表示距離的衰減系數(shù)，本文中取λ=-0.1；dis（i,j）表示區(qū)域i和區(qū)域j之間的地理距離（單位為km），通過計算兩區(qū)域中心點(diǎn)之間的距離而得到。

為了將圖中的信息與深度神經(jīng)網(wǎng)絡(luò)協(xié)同訓(xùn)練，本文考慮了一種圖嵌入方案，即在不破壞圖結(jié)構(gòu)的前提下，以向量的形式提取出每個節(jié)點(diǎn)的信息。本文選擇 node2vec模型[17]，通過一個二階的隨機(jī)游走來平衡廣度優(yōu)先搜索和深度優(yōu)先搜索，從而更好地保留圖的結(jié)構(gòu)和連通性。通過node2vec得到不同節(jié)點(diǎn)的嵌入向量輸入全連接層3進(jìn)行特征提取與優(yōu)化，輸出一個包含p列的矩陣，記為SSE，作為圖嵌入模塊的輸出。

3.2.4 模型訓(xùn)練與預(yù)測輸出

為了將外部特征模塊、時空模塊以及圖嵌入模塊進(jìn)行協(xié)同訓(xùn)練，首先將得到的p維行向量SST和包含p列的矩陣SSE進(jìn)行按行拼接，即

然后將XET送入全連接層4，如式（7）所示。

其中，WET和bET表示需要學(xué)習(xí)的參數(shù)，f（?）表示全連接層4的激活函數(shù)。

最后將SET與外部特征模塊的輸出SEX疊加后，送至tanh層，如式（8）所示。

其中，tanh函數(shù)用于將預(yù)測結(jié)果映射至[-1,1]。最終得到的是維度為p的向量，對應(yīng)下一時段p個區(qū)域的流量預(yù)測結(jié)果。完整的算法流程如算法1所示。

算法1模型訓(xùn)練過程

輸入臨近層、周期層、趨勢層的周期c、pr、tr，

臨近層、周期層、趨勢層的序列長度lc、lpr、ltr

景區(qū)距離圖G

歷史流量圖{Ft|t=0,1,2,…,n-1}

歷史外部特征向量{Et|t=0,1,2,…,n-1}

景區(qū)歷史流量向量{St|t=0,1,2,…,n-1}

輸出訓(xùn)練得到的景區(qū)流量預(yù)測模型

1） begin

2） D=（/）

3） 在圖G 上，基于node2vec 計算得到矩陣ZSE

4） for all available t （1≤t≤n-1） do

5） ZE=[（Et-c,… ,Et-lec）,（Et-pr,… ,Et-lprpr）,（Et-tr,… ,Et-ltrtr）]

6） ZC=[St-c,… ,St-lec,St-pr,… ,St-lprprSt-tr,… ,St-ltrtr]

7） ZPR=[Ft-pr,Ft-2pr,… ,Ft-lprpr]

8） ZTR=[Ft-tr,Ft-2tr,… ,Ft-ltrtr]

9） （（ZC,ZPR,ZTR,ZE,ZSE）,St）→D

10） end

11）//模型訓(xùn)練

12）初始化模型中的所有參數(shù)θ

13）repeat

14）從D中隨機(jī)選取batchDb

15）基于Db，通過最小化損失函數(shù)來找到最優(yōu)化的θ

16）until 滿足停止條件

17）end

模型訓(xùn)練首先遍歷所有可能的時間段，生成基于每個時間段的訓(xùn)練樣本（即步驟2）～步驟10）），然后對訓(xùn)練集提取batch，并運(yùn)用反向傳播算法優(yōu)化模型參數(shù)（即步驟12）～步驟16））。其中，損失函數(shù)定義如式（9）所示。

其中，θ表示所有需要訓(xùn)練參數(shù)的集合。模型訓(xùn)練的過程即最小化L的過程。

4 實(shí)驗(yàn)結(jié)果與性能分析

4.1 實(shí)驗(yàn)設(shè)計

本文應(yīng)用某旅游城市的移動網(wǎng)絡(luò)運(yùn)營商提供的一個月的呼叫詳單數(shù)據(jù)來驗(yàn)證人群流量預(yù)測模型的效果和性能?？紤]到景區(qū)作為該城市重要的網(wǎng)絡(luò)服務(wù)區(qū)域，景區(qū)人群流量預(yù)測的準(zhǔn)確性將會影響到部署在景區(qū)的基站的服務(wù)質(zhì)量，因此本文選擇景區(qū)人群流量預(yù)測作為實(shí)驗(yàn)對象。數(shù)據(jù)包括超過百萬個匿名用戶的上億條呼叫詳單記錄，每條數(shù)據(jù)包含匿名的用戶ID、時間戳、接入基站編號及經(jīng)緯度信息。為了應(yīng)對大規(guī)模的數(shù)據(jù)處理，采用了 Apache Spark集群計算框架。此外，還從氣象網(wǎng)站上爬取了該數(shù)據(jù)對應(yīng)的時間段的天氣、空氣質(zhì)量等數(shù)據(jù)，用于外部特征的建模。

首先對呼叫詳單數(shù)據(jù)進(jìn)行預(yù)處理，剔除無效數(shù)據(jù)、異常和漂移數(shù)據(jù)，并處理了基站間反復(fù)切換的乒乓效應(yīng)[18-19]。此外，考慮到在輸出端利用tanh函數(shù)作為最終的激活函數(shù)，為了將輸出數(shù)據(jù)與標(biāo)簽數(shù)據(jù)匹配，在輸入端基于最小最大歸一化對流量數(shù)據(jù)進(jìn)行了歸一化處理，將輸入數(shù)據(jù)均映射到[-1, 1]，用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。在后續(xù)的模型評估中，再將預(yù)測值重新調(diào)整回正常值，與真實(shí)值進(jìn)行對比，從而得到準(zhǔn)確的預(yù)測誤差。

模型基于TensorFlow實(shí)現(xiàn)。實(shí)驗(yàn)共選取了25個景區(qū)作為預(yù)測區(qū)域（功能區(qū)），并將全市劃分為85×110的網(wǎng)格圖。首先對臨近層、周期層和趨勢層的周期分別選定為30 min、1 d和1 w，而每個時間層中的時間序列長度，分別選擇lc=6、lpr=2、ltr=1。實(shí)驗(yàn)預(yù)測的是未來30 min各景區(qū)的人群流量。

在神經(jīng)網(wǎng)絡(luò)參數(shù)的設(shè)置方面，臨近層的LSTM單元選擇6個時間單元，分別對應(yīng)過去的6個臨近時間段周期層和趨勢層共享同樣的網(wǎng)絡(luò)結(jié)構(gòu)，其中，卷積層1選擇5×5大小的32個卷積核，殘差單元中的所有卷積層均選擇3×3大小的32個卷積核。最終3個時間層均輸出25維的向量，經(jīng)過融合和全連接層的特征優(yōu)化，時空模塊的最終輸出同樣為25維行向量。

在圖嵌入模塊，經(jīng)過node2vec，每個景區(qū)節(jié)點(diǎn)生成10維向量，將其拼接為10×25的矩陣，經(jīng)過全連接層處理得到4×25的輸出矩陣。

在外部特征模塊，每個時間層構(gòu)造一組如表 2所示的 10維外部特征向量，將所有時空模塊涉及的歷史時段的外部特征向量送入全連接層，輸出為25維的景區(qū)預(yù)測向量。具體訓(xùn)練過程中，選取的batch數(shù)目為64，選擇數(shù)據(jù)集80%的樣本作為訓(xùn)練集，剩余的20%作為測試集。實(shí)驗(yàn)中應(yīng)用早停法來選擇最優(yōu)的模型參數(shù)。

本文選用均方根誤差（RMSE, root mean sguard error）作為模型的評價指標(biāo)，其定義如式（10）所示。

4.2 對比算法

為了驗(yàn)證模型的預(yù)測效果，將本文提出的預(yù)測模型與以下8組模型進(jìn)行了對比，其中涉及的實(shí)驗(yàn)數(shù)據(jù)、損失函數(shù)、評價指標(biāo)等都與本文模型相同。

HA模型即直接平均算法，根據(jù)歷史同一時段的流量數(shù)據(jù)進(jìn)行預(yù)測。比如要預(yù)測周二上午10:00的流量數(shù)據(jù)，即選擇歷史數(shù)據(jù)中所有的周二上午10:00的流量平均值作為預(yù)測值。

ARIMA模型簡單的線性模型，根據(jù)周期性關(guān)系，建立預(yù)測數(shù)據(jù)與歷史數(shù)據(jù)之間的線性關(guān)系，可以在一定程度上進(jìn)行擬合。

VAR模型是一種高級的時空預(yù)測模型，可以捕捉不同輸入流量之間的相關(guān)性，由于參數(shù)量的龐大，計算復(fù)雜度非常高。

卡爾曼濾波模型[5]借鑒卡爾曼濾波的基本思想且只需要短時間的歷史數(shù)據(jù)，利用歷史數(shù)據(jù)生成連續(xù)時間之間的流量轉(zhuǎn)移比，并應(yīng)用到要預(yù)測的時間上。

ST-image模型[20]一個基于深度學(xué)習(xí)的短時交通速度預(yù)測模型。該模型以圖片的2個維度分別表示空間和時間，以時空圖片作為輸入。

LSTM模型一種特殊的RNN模型，能夠?qū)W習(xí)長距離的時間依賴關(guān)系。這里在2組不同的參數(shù)上進(jìn)行了實(shí)驗(yàn)，即LSTM-12和LSTM-48。

DeepST模型[14]一個基于DNN的時空流量數(shù)據(jù)預(yù)測模型，對時間、空間和外部特征進(jìn)行了協(xié)同建模，在城市范圍內(nèi)的流量預(yù)測上取得了較好的性能。

ST-ResNet模型[13]相比于DeepST，在網(wǎng)絡(luò)中應(yīng)用了殘差學(xué)習(xí)的思想，取得了相比于DeepST更好的預(yù)測效果。

與此同時，本文還研究了本文模型的各類變種的性能，具體如下。

本文模型變種1將臨近層的LSTM單元修改為一個全連接層，其余結(jié)構(gòu)不變。

本文模型變種2將臨近層的輸入調(diào)整為多時間段的具有全局信息的流量圖，并將LSTM單元修改為同殘差網(wǎng)絡(luò)1和殘差網(wǎng)絡(luò)2同樣的結(jié)構(gòu)，其余不變。

本文模型變種 3將景區(qū)距離圖嵌入模塊移除，最終的流量預(yù)測結(jié)果僅取決于時空模塊以及外部特征模塊的預(yù)測結(jié)果，來探究景區(qū)距離圖嵌入模塊的作用。

4.3 結(jié)果對比與分析

本節(jié)將通過與多組對比算法以及模型自身變種的性能比較，評估了本文提出的模型性能?？紤]到景區(qū)在工作日和周末可能有明顯的流量差異，實(shí)驗(yàn)分為工作日和周末兩部分進(jìn)行，對比結(jié)果如表3所示。

表3 不同模型的預(yù)測誤差（RMSE）的對比

本文將對比模型劃分為3類，即時間序列模型、時空深度學(xué)習(xí)模型、本文提出的模型及其變種。針對工作日的模式，從結(jié)果可以看出，本文提出的模型優(yōu)于全部的時間序列預(yù)測模型，即使是相比于基于深度學(xué)習(xí)的LSTM模型，本文的模型也取得了28%～30%的性能提升，這充分說明了空間依賴關(guān)系在人群流量預(yù)測問題上的重要性；而相比于時空深度學(xué)習(xí)的對比模型，本文的模型依舊表現(xiàn)最佳，相比于 ST-image模型有接近34%的性能提升，即便是相比于利用所有時段的全局流量信息的DeepST模型和ST-ResNet模型，本文的模型也能得到 1%～10%的預(yù)測效果的提升，這說明在臨近層通過LSTM建模并結(jié)合景區(qū)距離圖的信息，可以實(shí)現(xiàn)對臨近時間全局信息的近似建模。也就是說，在不需要全局實(shí)時流量信息的情況下，依然可以取得良好的預(yù)測性能。

通過對本文模型得3個變種的分析可以看出，變種1性能相比于本文的模型下降約6%，證明了LSTM模型在臨近時間建模上的明顯優(yōu)勢，因?yàn)槠淇梢詫^長間隔的時間依賴進(jìn)行建模；變種2中將全局流量圖應(yīng)用于臨近時間時，可以獲得4.6%的性能提升，證明了全局流量信息的價值；變種3則由于景區(qū)距離圖的移除，性能有所下降，說明景區(qū)距離圖的嵌入為景區(qū)流量預(yù)測提供了一定的支持。圖5直觀給出了各模型的性能排序結(jié)果。

針對周末的模式，從結(jié)果可以看出，其在預(yù)測誤差上都明顯大于工作日模式。對于結(jié)合了外部特征的模型，如本文模型、ST-ResNet模型、DeepST模型等，相比于工作日模式的誤差增加幅度較小，且在性能上明顯優(yōu)于其他模型，證明了外部特征在流量預(yù)測問題中的巨大作用。而本文模型依舊在所有對比模型的表現(xiàn)最優(yōu)。圖6直觀給出了各模型在周末模式的性能對比結(jié)果。

圖5 各模型測試結(jié)果對比（工作日）

圖6 各模型測試結(jié)果對比（周末）

4.4 參數(shù)分析

本文提出的模型在時間建模中選擇了 3組參數(shù)，分別是lc、lpr、ltr，表示不同時間層的取樣長度，即利用過去多長的時間來對未來的景區(qū)流量進(jìn)行預(yù)測。下面分別調(diào)整3組參數(shù)的大小，來測試不同參數(shù)取值下的測試誤差RMSE。

首先測試lc的取值，將另外 2組參數(shù)固定為lpr=2、ltr=2，將lc的取值從2變化至8，RMSE的變化如圖7所示。從圖7可以看出，當(dāng)lc=6時，預(yù)測性能最好，這說明預(yù)測的性能并不是隨著歷史數(shù)據(jù)的增多而不斷變好的，當(dāng)增加到一定程度時，預(yù)測性能可能會變差。

圖7 臨近參數(shù)lc的取值測試

然后測試lpr的取值，將另外 2組參數(shù)固定為lc=6，ltr=2，將lpr的取值從0變化至4，其中0表示不添加周期。RMSE變化如圖8所示。從圖8可以看出，當(dāng)不添加周期層時，預(yù)測誤差明顯增大，證明了周期層數(shù)據(jù)的作用。而當(dāng)lpr=2時，預(yù)測性能最優(yōu)。

圖8 周期參數(shù)lpr的取值測試

最后，測試ltr的取值，將另外2組參數(shù)固定為lc=6、lpr=2，將ltr的取值從0變化至3，其中0表示不添加趨勢層。RMSE的變化如圖9所示。同樣地，不添加趨勢層時網(wǎng)絡(luò)性能最差，說明較長間隔的歷史時間也會給流量預(yù)測提供有價值的信息。對于參數(shù)ltr，當(dāng)其取值為1時，預(yù)測誤差最小。綜合以上分析，選擇3組的取值為lc=6、lpr=2、ltr=2。

圖9 趨勢參數(shù)ltr的取值測試

5 結(jié)束語

5G網(wǎng)絡(luò)服務(wù)質(zhì)量的保證，要基于其資源分配、緩存策略、能耗管理等諸多策略執(zhí)行的優(yōu)劣。而準(zhǔn)確預(yù)測各區(qū)域用戶數(shù)量對提高 5G網(wǎng)絡(luò)這方面的性能具有重要意義。本文提出了一種移動網(wǎng)絡(luò)覆蓋范圍內(nèi)的區(qū)域人群流量預(yù)測的深度時空網(wǎng)絡(luò)模型，通過融合各種外部特征信息，對不同尺度的時空依賴關(guān)系建模，對短時流量信息僅依賴于區(qū)域內(nèi)局部實(shí)時信息，在降低對實(shí)時信息傳送需求的同時，也保障了預(yù)測的準(zhǔn)確性。通過基于呼叫詳單數(shù)據(jù)進(jìn)行的景區(qū)人群流量預(yù)測，驗(yàn)證了本文提出的模型對工作日和周末的流量預(yù)測精度都比已有流量預(yù)測模型有顯著提升。在下一步工作中，可以將基站的人群流量預(yù)測應(yīng)用于 5G網(wǎng)絡(luò)資源配置與流量分析的應(yīng)用中。同時，隨著5G網(wǎng)絡(luò)基站大規(guī)模部署的開展，基于本文研究工作進(jìn)行基站活躍/休眠的集群策略研究也將具有重要意義。