林尚靜，馬 冀，李月穎，莊 琲，李 鐵，李子怡，田 錦

(1. 北京郵電大學安全生產(chǎn)智能監(jiān)控北京市重點實驗室 北京 海淀區(qū) 100876；2. 金陵科技學院網(wǎng)絡與通信工程學院 南京 211169)

精準預測城市全域尺度通信網(wǎng)絡流量能夠輔助運營商進行精細化運營、高效配備與部署基站資源，從而滿足涌現(xiàn)的各種業(yè)務需求。

然而，城市全域尺度的通信流量預測面臨3 方面困難。1) 預測模型的復雜性?，F(xiàn)有的單個或局部范圍的流量預測模型，由于數(shù)據(jù)體量不大，通常是集中式算法模型。如果直接擴展到城市全域范圍，必然導致在模型訓練過程中的復雜度急劇擴張。2) 預測模型的時效性。在模型持續(xù)運行過程中，分散在城市全域范圍的各個基站的實時流量數(shù)據(jù)需要全部匯聚到部署了全域流量預測模型的中心節(jié)點上進行演算，這不僅導致通信負載的增加，還導致預測模型的時效性較低。3) 預測模型的準確性。城市尺度的流量特征是高度差異化，與城市的規(guī)劃、城市居民生活習慣、通信設施部署息息相關(guān)。城市尺度的流量預測模型需要準確性以刻畫本城市的流量特征。

本文的主要貢獻體現(xiàn)在以下兩個方面。

1) 提出了基于聯(lián)邦學習的城市全域流量預測框架。首先，各個邊緣計算服務器采集相應區(qū)域內(nèi)的流量數(shù)據(jù)，并在本地流量預測模型訓練；其次，各個邊緣計算服務器將本地流量預測模型的模型參數(shù)上傳給中心云服務器，由中心云服務器對模型參數(shù)進行融合，并將融合后的模型參數(shù)下發(fā)給各個邊緣計算服務器；最后，各個邊緣計算服務器在融合后的模型參數(shù)基礎上繼續(xù)進行本地模型訓練，直至訓練結(jié)束，形成通用流量預測模型?，F(xiàn)有流量預測方案普遍采用集中式訓練框架，需要將城域級流量數(shù)據(jù)匯聚到一臺中心服務器上進行模型訓練，通信開銷大，模型復雜度高。本文所提的模型是一種分布式訓練框架，各邊緣計算服務器只需采集區(qū)域級的流量數(shù)據(jù)進行模型訓練，因此，通信開銷較小，模型復雜度較低。此外，聯(lián)邦訓練預測框架通過融合各區(qū)域的模型參數(shù)，間接地擴大了各個邊緣計算服務器上的流量訓練集，從而提高了區(qū)域級流量預測的準確性。

2) 提出了基于合作博弈的個性化聯(lián)邦流量預測模型。各個邊緣計算服務器在執(zhí)行完上述聯(lián)邦訓練過程形成通用流量預測模型之后，各自獨立訓練出反應本地區(qū)特征的個性化的流量預測模型。具體地，各個邊緣計算服務器將本地區(qū)的各個區(qū)域性特征作為合作博弈的參與者，通過合作博弈的超可加性準則，比較不同特征組合對流量預測產(chǎn)生的收益，根據(jù)收益進行本地區(qū)特征的篩選。對比現(xiàn)有多源流量預測模型，通常將流量數(shù)據(jù)和所有的多源特征數(shù)據(jù)直接融合在一起，以提升模型預測準確度。但是，融合的多源特征過多會加深模型訓練的復雜度，導致預測效果變差。而本文所提的基于合作博弈的區(qū)域個性化特征篩選方法，能夠為每個區(qū)域引入合適的多源特征數(shù)據(jù)，從而達到提升模型預測效果的目的。

1 相關(guān)研究

針對蜂窩流量預測問題，國內(nèi)外已涌現(xiàn)大量的相關(guān)研究。傳統(tǒng)算法普遍采用統(tǒng)計概率模型或者時間序列預測模型進行流量預測[1-2]。預測算法都是針對每個小區(qū)進行單獨建模，無法直接適用于所有小區(qū)。在實際應用中，對千萬數(shù)量級別小區(qū)流量進行并行化建模非常困難。

隨著深度學習算法在各領(lǐng)域取得突破進展的同時，能夠捕獲空間相關(guān)性的卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)以及能夠捕獲時間相關(guān)性的長短時記憶(long short-term memory,LSTM)網(wǎng)絡被逐步應用到通信流量預測領(lǐng)域。深度學習模型由于具有擬合復雜非線性的特點，通常將多個小區(qū)的流量數(shù)據(jù)整體作為訓練集進行訓練并產(chǎn)生統(tǒng)一模型用于多個小區(qū)的預測。然而，隨著流量預測范圍擴大到城市全域尺度，導致預測模型的復雜度提高，實際預測效果不理想。

為了解決以上問題，本文在模型中引入聯(lián)邦學習的思想。聯(lián)邦學習是一種具有隱私保護的分布式機器學習訓練框架，多個客戶端在一個中心服務器的協(xié)同之下共同訓練一個模型[3-4]。分布式算法模型可以大范圍地進行流量預測，數(shù)據(jù)集增多可提高模型預測精度，同時也不會出現(xiàn)復雜度高、實時性低的問題。

但在聯(lián)邦學習的研究過程中，還面臨著一個問題，常見數(shù)據(jù)集大多都是獨立同分布(independent identically distribution, IID)，但在現(xiàn)實場景中，不同邊緣計算服務器面對的數(shù)據(jù)質(zhì)和量都不盡相同，很難滿足IID 的假設，而在模型訓練時non-IID 數(shù)據(jù)往往比IID 數(shù)據(jù)表現(xiàn)差。為了解決這一問題，文獻[5]針對non-IID 數(shù)據(jù)根據(jù)每個客戶機的貢獻確定其參與訓練的權(quán)重，模型性能有很大提升。其中對貢獻的定義分為兩類：一是根據(jù)每個客戶機上不同類別數(shù)據(jù)的數(shù)量；另一類是根據(jù)本地模型在驗證集上的準確性。文獻[6]根據(jù)客戶機的數(shù)據(jù)分布的相似性確定客戶機集群，改進了模型的個性化與泛化性能。

通信流量數(shù)據(jù)大多為non-IID 數(shù)據(jù)，也同樣面臨上述問題。為了解決該問題，本文在挑選出流量分布相似的區(qū)域中引入聯(lián)邦平均算法，提高模型的泛化性能，引入合作博弈對各區(qū)域的本地特征進行篩選，提高模型的個性化。

2 蜂窩流量特征分析

結(jié)合“意大利電信大數(shù)據(jù)挑戰(zhàn)賽”中所提供的開源數(shù)據(jù)集，分析蜂窩流量的在時空范圍的相關(guān)性和分布特性。該數(shù)據(jù)集將整個米蘭市以235 m×235 m 的地理粒度劃分為100×100 個柵格(柵格標號從左下角開始到右上角結(jié)束，從左至右、從下至上，依次為1～10000，且定義左下角柵格(編號為1)的中心坐標是(0, 0) km，右上角柵格(編號為10000 的中心坐標是(23.265, 23.265) km)，并且統(tǒng)計了柵格內(nèi)用戶的語音、短信以及上網(wǎng)流量。統(tǒng)一以柵格內(nèi)每小時短消息業(yè)務流量為例進行數(shù)據(jù)分析。

2.1 蜂窩流量的相關(guān)性

蜂窩流量在時間和空間兩個維度都具有相關(guān)性。蜂窩流量是人群活動的反映。人群活動相似性決定了蜂窩流量具有相似性。人群的自然屬性(每天的活動規(guī)律：早起晚睡)決定了蜂窩流量在時間維度具有相關(guān)性，人群的社會屬性(工作日往返于家和辦公地點，每周末往返于家和公共娛樂場所)導致了流量都具有空間相關(guān)性。

隨機選擇3 個不同地區(qū)的柵格，處于米蘭市中心的柵格(ID=5051)、處于市區(qū)的柵格(ID=3439)以及郊區(qū)柵格(ID=444)。首先，通過自相關(guān)系數(shù)衡量蜂窩流量的時間相關(guān)性，如圖1a 所示。3 個柵格的負載時間序列的業(yè)務流量，與1 階滯后和2 階滯后流量的相關(guān)性均較高。這表明相鄰時刻業(yè)務流量有極大相關(guān)性。其次，3 個柵格的負載時間序列均存在以天為單位的周期性，并且時間間隔越短，周期性規(guī)律越顯著。通過皮爾遜相關(guān)系數(shù)(pearson correlation coefficient, PCC)衡量蜂窩流量的空間相關(guān)性，如圖1b 所示。以3 個柵格(ID=5051、ID=3439、ID=444)為目標柵格，以空間范圍(2.115×2.115) km來計算其與臨近柵格流量的PCC 相關(guān)系數(shù)?？梢钥闯?，蜂窩流量具有一定的空間相關(guān)性，且相關(guān)性依賴于與目標小區(qū)的空間距離。

圖1 短消息業(yè)務流量在時空維度上的相關(guān)性

2.2 蜂窩流量的分布性

大量個體的社會化活動聚集起來形成群體的社會化活動導致在地理空間上形成功能區(qū)域(商業(yè)區(qū)、大學、辦公區(qū)、公交樞紐)。功能區(qū)域反向影響了人群的活動特性，導致不同功能區(qū)域的蜂窩流量又呈現(xiàn)出差異性。

本文統(tǒng)計了中心柵格(ID=5051)、市區(qū)柵格(ID=3439)以及郊區(qū)柵格(ID=444)每小時短消息業(yè)務的分布，如圖2 所示?？梢钥闯?，中心柵格業(yè)務量最大，市區(qū)柵格業(yè)務量次之且拖尾較長，而郊區(qū)柵格業(yè)務量最低。此外，不同柵格的短消息業(yè)務分布也不盡相同。

圖2 短消息業(yè)務流量的分布

2.3 蜂窩流量特征對流量預測模型的影響

一方面，蜂窩流量在全市范圍內(nèi)都存在時間、空間兩個維度，且都具有相關(guān)性。因此，各區(qū)域可采用相同的流量預測模型以捕獲共同的時空相關(guān)性。另一方面，全市不同區(qū)域的蜂窩流量具有相關(guān)性(非獨立)且具有不同的分布，即non-IID。因此，流量預測模型又需要體現(xiàn)出地區(qū)的差異性。

3 基于個性化聯(lián)邦學習的城市全域尺度流量預測模型

本文提出了基于個性化聯(lián)邦學習的城市全域通信流量預測模型(personalized-Fed-DenseNet, p-Fed-DenseNet)。首先，各個移動邊緣計算服務器采集本地的流量數(shù)據(jù)，在本地訓練DenseNet 模型，然后在中心服務器的協(xié)同下，基于聯(lián)邦平均算法將多個移動邊緣計算服務器本地訓練的DenseNet 模型融合一個通用的流量預測模型Fed-DenseNet，如圖3a 所示；其次，在Fed-DenseNet 的全局模型上，結(jié)合本地區(qū)的區(qū)域性數(shù)據(jù)(天氣氣候、基站分布密度、地理功能區(qū)域、社交節(jié)日活動等)，將本地區(qū)的各個區(qū)域性數(shù)據(jù)特征作為合作博弈的參與者，通過合作博弈的超可加性準則，篩選區(qū)域數(shù)據(jù)，如圖3b 所示。最終每個區(qū)域結(jié)合篩選出的區(qū)域數(shù)據(jù)訓練出p-Fed-DenseNet 模型，如圖3c 所示。

圖3 基于個性化聯(lián)邦學習的全域流量預測模型p-Fed-DenseNet 形成過程

本章詳細介紹了部署在邊緣計算服務器端的時空流量預測DenseNet 模型、云服務器端聯(lián)邦平均算法形成Fed-DenseNet 以及邊緣端的個性化聯(lián)邦模型p-Fed-DenseNet 訓練過程，分析了模型的復雜度和預測的時效性。

3.1 時空流量預測模型

另一方面，在空間維度上，地理上相鄰的地區(qū)業(yè)務流量也具有相關(guān)性。因此，采用密集卷積操作以充分捕獲區(qū)域之間的空間依賴性。具體地，采用密集連接神經(jīng)網(wǎng)絡訓練參數(shù)，將輸入送入相互獨立的神經(jīng)網(wǎng)絡單元DenseUnit，進行時空維度特征的提取。DenseUnit 依次包含3×3 卷積層、DenseBlock 架構(gòu)和1×1 卷積層，其中，第一層3×3 卷積層能夠遍歷并融合所覆蓋區(qū)域的流量數(shù)據(jù)，提取出該區(qū)域的抽象特征；DenseBlock 架構(gòu)以L層全連接層構(gòu)成，對特征進行非線性函數(shù)的復合計算；1×1 卷積層對DenseBlock 的輸出再次提取特征與降低維度，得到每個DenseUnit 的輸出結(jié)果。

最后，將臨近層和以天為單位的周期層所提取到的時間相關(guān)性特征結(jié)果分別定義為Fc和Fp，以不同的權(quán)重 αc和 αp(αc,αp∈ [0,1])對兩個時間層的結(jié)果進行基于參數(shù)矩陣的融合，得到融合結(jié)果為：

式中， ?表示哈達瑪乘積，權(quán)重矩陣與特征輸出矩陣相同位置分別相乘。

通過Sigmoid 激活函數(shù)，將Yg映 射到[0,1]，從而保證與真實流量標簽范圍一致，得到時空流量預測模型在t時刻的輸出，定義為：

3.2 個性化聯(lián)邦學習算法

通過2.2 節(jié)分析可知，不同區(qū)域的蜂窩流量具有相關(guān)性(非獨立)且具有不同的分布，即non-IID。城市全域范圍內(nèi)蜂窩流量non-IID 問題會導致本地訓練的流量預測模型之間出現(xiàn)較大差異性，如果直接采用聯(lián)邦平均融合算法，融合后的全局模型性能并不佳。針對移動邊緣計算服務器上區(qū)域流量預測模型差異性導致融合模型性能變差的問題，提出了基于合作博弈的個性化聯(lián)邦學習算法。

1) 全局模型統(tǒng)一訓練過程

① 初始化。在中心云服務器，隨機生成一個初始化全局模型參數(shù) ω，并將該全局模型推送至各個參與聯(lián)邦訓練的區(qū)域。

② 中心融合過程。區(qū)域r接收到 ω后，根據(jù)本地流量數(shù)據(jù)訓練全局模型并更新參數(shù)，得到更新后的本地模型參數(shù) ωrt。所有區(qū)域同步訓練，將模型參數(shù)上傳至中心云服務器后，中心云服務器根據(jù)聯(lián)邦平均算法對全局模型進行一次融合更新：

式中， ωt表示更新后的全局模型。

③ 本地迭代過程。將本地模型的一次參數(shù)更新稱為一次迭代，設定聯(lián)邦訓練迭代次數(shù)，達到次數(shù)后停止參數(shù)更新。從訓練樣本中選取b表示一個批量，本地模型根據(jù)梯度下降法進行參數(shù)更新，以使得損失函數(shù)最小化，即：

式中，Yt表示流量真實值。

2) 本地模型個性化訓練過程

為了捕捉特定區(qū)域的通信流量需求，每個移動邊緣計算服務器都基于全局模型和本地個性化數(shù)據(jù)(基站分布、工作日、節(jié)假日、天氣等)進行訓練，根據(jù)訓練的結(jié)果選擇合適的本地特征，建立一個最優(yōu)的本地化流量預測模型。本地模型的訓練過程如下。

將臨近層和周期層融合后的輸出矩陣與本地化特征輸出矩陣做一個拼接操作，得出模型t時刻的預測輸出：

式中， ⊕表示拼接操作； σ(·)表示Sigmoid 激活函數(shù)。輸入數(shù)據(jù)已經(jīng)過Min-Max 歸一化處理為[0,1]，但在通過模型的復雜運算后，輸出預測數(shù)據(jù)的范圍產(chǎn)生了變化，而真實流量標簽的范圍為[0,1]，為方便利用預測數(shù)據(jù)與真實數(shù)據(jù)進行誤差計算，需要選取Sigmoid 激活函數(shù)將預測結(jié)果對應映射到[0,1]。

根據(jù)預測結(jié)果與真實結(jié)果，可利用L2范數(shù)來表示損失函數(shù)，對整個模型進行訓練過程中的參數(shù)更新：

式中， θ指模型所訓練的使得損失函數(shù)最小的參數(shù)集合；Yt表示真實值。

3) 個性化特征選擇過程

為了對每個邊緣服務器建立最優(yōu)的本地化流量預測模型，在全局模型基礎上，結(jié)合本地進行個性化特征的選擇，進一步訓練本地化模型。原因有如下兩方面：一方面，不同的區(qū)域之間存在各種差異，如基站數(shù)量、興趣點(points of interest, POI)數(shù)量、天氣等，不同的區(qū)域特征對各個區(qū)域流量的影響不同。另一方面，同時引入多個特征會增加模型處理的復雜度，不能提高預測精度。因此，為每個邊緣服務器選擇合適的本地特征就顯得尤為重要。

合作博弈[7-8]研究多個個體如何達成合作，以及達成合作后的收益分配問題。本文所提的個性化特征選擇過程，同樣可以看成是各個特征的合作問題。將各個本地特征(基站數(shù)量、POI 數(shù)量、天氣等)視為合作博弈的參與人，這些本地特征相互合作共同完成流量預測的目標，并以預測誤差作為評價這些本地特征共同合作的收益。

本文定義本地個性化特征的合作博弈如下：G=[F,V]是N個本地特征合作博弈，其中，F(xiàn)={f1,f2,···,fN}表 示N個本地特征的全集，S={f1,f2,···,fn} (n≤N)是 隸屬于F的 子集S?F，表示一個聯(lián)盟。V(S)是 聯(lián)盟S的特征函數(shù)，表示n個本地特征合作所獲得的收益。在流量預測問題中，收益為預測的均方根誤差(root mean squared error, RMSE)。

本地個性化特征合作博弈G要 解決的首要問題是合作的參與者(本地特征)如何結(jié)成穩(wěn)定的合作聯(lián)盟。本文引入合作博弈中超可加性以解決合作博弈G的穩(wěn)定性問題。超可加性表示兩個互不相交的聯(lián)盟合作之后獲得的收益要大于這兩個聯(lián)盟各自收益之和，即對于任意聯(lián)盟S和T，S、T?F且S∩T=?， 有V(S∪T)≥V(S)+V(T)。由于本文是以預測誤差表示多個特征的合作收益，即RMSE(S∪T)≤RMSE(S)+RMSE(T)。因此，在本地個性化特征篩選中，多個本地特征只有滿足超可加性，其結(jié)成的合作聯(lián)盟才是穩(wěn)定的。

對n個本地特征所結(jié)成的合作聯(lián)盟的滿足超可加性的判斷過程如算法1 所示。

在所有穩(wěn)定聯(lián)盟的集合S中選擇RMSE 最小的聯(lián)盟，該聯(lián)盟中的本地特征即是每個區(qū)域的最優(yōu)特征。

3.3 模型復雜度與時效性分析

本文所提模型訓練過程包括3 個階段。

1)各個邊緣計算服務器收集區(qū)域內(nèi)流量數(shù)據(jù)進行本地模型訓練。在該階段，各個服務器只需采集本區(qū)域的流量數(shù)據(jù)，相較集中式算法，通信開銷少，時效性高。

2)各個邊緣計算服務器在中心云服務器的協(xié)同下進行聯(lián)邦訓練。聯(lián)邦訓練框架采用的基模型為DenseNet。基于聯(lián)邦訓練，各個邊緣計算服務器形成通用流量預測模型Fed-DenseNet。分布式Fed-DenseNet 模型僅需要負責區(qū)域級流量特征捕獲，集中式DenseNet 模型需要負責城域級流量特征捕獲。流量特征越復雜多變，就要求DenseNet 模型的網(wǎng)絡深度越深。因此，分布式Fed-DenseNet模型比集中式DenseNet 模型復雜度低。

3)各個邊緣計算服務器在通用流量預測模型的基礎上，基于合作博弈的超可加性，對本區(qū)域多源特征進行篩選，形成個性化流量預測模型?；诤献鞑┺闹械某杉有詫^(qū)域級的多源特征進行篩選，算法復雜度為O(N2) ，N為區(qū)域級的多源特征總數(shù)。由于區(qū)域級的多源特征數(shù)量有限，所以，基于合作博弈搜索穩(wěn)定的特征聯(lián)盟過程的時間復雜度在可接受的范圍之內(nèi)。

綜上分析，相比集中式模型，本文提出的模型復雜度更低，通信開銷更低。

4 模型性能分析

從4 個方面展開實驗對比。1) 在個性化聯(lián)邦學習中選擇不同本地特征進行訓練的結(jié)果對比，驗證了本地特征對流量預測的影響以及進行特征選擇的必要性。2) 將本文所提p-Fed-DenseNet 與傳統(tǒng)Fed-DenseNet、DenseNet 進行對比，驗證了個性化聯(lián)邦學習性能優(yōu)于傳統(tǒng)聯(lián)邦學習。3) 將p-Fed-DenseNet 與現(xiàn)有流量預測模型進行對比，驗證了聯(lián)邦所代表的分布式學習優(yōu)于傳統(tǒng)集中式學習。4) 選取一個區(qū)域?qū)Ρ炔煌惴ń^對預測誤差的分布函數(shù)圖，具體展現(xiàn)了本文所提的p-Fed-DenseNet 模型的預測性能。

4.1 數(shù)據(jù)集描述

在原數(shù)據(jù)集將米蘭市劃分成100×100 個柵格的基礎上，再進一步將米蘭市按郊區(qū)、市區(qū)和市中心劃分為25 個區(qū)域，每個區(qū)域由20×20 個柵格組成，區(qū)域編號信息如圖4 所示。

圖4 米蘭市區(qū)域信息

基于上述劃分，整個米蘭市被劃分為3 個行政區(qū)：市中心(區(qū)域13)、市區(qū)(區(qū)域7、8、9、12、14、17、18、19)以及郊區(qū)(剩余的16 個區(qū)域)。各個行政區(qū)中區(qū)域流量比較接近，使用聯(lián)邦平均算法訓練全局模型。

4.2 參數(shù)設置和實驗環(huán)境

在訓練模型過程中，先從訓練集中取出 10%作為驗證集，剩下的 90%用以初次訓練模型。在訓練過程中逐步調(diào)整參數(shù)達到最優(yōu)模型，最終參數(shù)設置為：以小時和天為單位的歷史數(shù)據(jù)序列長度取3，訓練過程中學習率取0.001，Batch size 設為32，Epoch size 設為300。

實驗環(huán)境的硬件配置為：Intel(R)Core(TM) i5-8250U CPU @ 1.60 (8 CPUs)～1.8 GHz，128 G 內(nèi)存，Intel(R) UHD Graphics 620，GPU 數(shù)量為2。軟件配置為：Python3.7.1，Pytorch1.8.1，CUDA11.3，cuDNN8.1.1。

4.3 個性化聯(lián)邦學習中本地特征選擇

挑選米蘭市區(qū)中流量分布相近的7、8、9、12、17 這5 個區(qū)域，對這5 個區(qū)域進行全局模型訓練，在形成的全局模型基礎上，在不同的本地特征組合下進行訓練，依據(jù)合作博弈的超可加性進行特征篩選。訓練結(jié)果如表1 所示。

表1 不同本地化特征組合下個性化聯(lián)邦學習模型預測誤差(RMSE)

觀察表1，大多數(shù)區(qū)域在全局預測模型的基礎上融合本地特征(節(jié)假日、天氣(氣溫和降雨)和基站密度)后，流量預測的精度都得到提高。但是，不同的本地特征對不同區(qū)域流量的影響程度各不相同，如區(qū)域7 的流量僅受天氣和基站密度的影響，區(qū)域8 的流量不受任何本地特征的影響。

通過3.2 和3.3 節(jié)超可加性的判定方法，就可確定：區(qū)域7 選擇融合天氣和基站密度特征，區(qū)域8 不融合任何特征，區(qū)域9 和區(qū)域12 融合基站密度特征，對于區(qū)域17，“天氣＋基站密度”和“工作日/節(jié)假日＋基站密度”均滿足超可加性，但“工作日/節(jié)假日＋基站密度”的誤差更小，故選擇融合工作日/節(jié)假日和基站密度特征。由此可建立最優(yōu)的個性化流量預測模型，達到最佳的流量預測精度。

4.4 集中式學習、聯(lián)邦學習與個性化聯(lián)邦學習對比

為驗證本文個性化聯(lián)邦學習的有效性，分別對集中式學習、普通聯(lián)邦學習與個性化聯(lián)邦學習在相同的區(qū)域上(米蘭市區(qū)中流量分布相近的7、8、9、12、17 這5 個區(qū)域)進行預測性能對比。其中，集中式學習為5 個區(qū)域的流量匯聚起來，采用一個全局的DenseNet 模型進行整體流量預測；普通聯(lián)邦學習為5 個區(qū)域各自訓練自己的DenseNet，并通過聯(lián)邦平均學習框架進行模型參數(shù)融合，形成Fed-DenseNet；個性化聯(lián)邦學習為在Fed-DenseNet 的全局模型上，進一步結(jié)合本地特征，訓練出p-Fed-DenseNet。

如圖5 所示，可以看出p-Fed-DenseNet 預測效果最好，F(xiàn)ed-DenseNet 其次，DenseNet 最差。相比集中式DenseNet 學習，個性化聯(lián)邦學習后，5 個區(qū)域的RMSE 都呈下降趨勢，區(qū)域7 下降了9.1%，區(qū)域8 下降了3.8%，區(qū)域9 下降了4%，市區(qū)12 下降了9.5%，市區(qū)17 下降了9.1%。原因是，多區(qū)域聯(lián)邦學習的訓練樣本數(shù)據(jù)量增加，能夠更準確地捕獲各區(qū)域共有流量的時空特性，在聯(lián)邦學習的基礎上進行個性化學習，能夠更準確地為每個區(qū)域引入與流量相關(guān)的外部特征。

圖5 預測效果對比

另外，市區(qū)區(qū)域12 相比其他區(qū)域，誤差較高，由于RMSE 描述的是一種離散程度，因此可能是因為市區(qū)12 的流量還受到除基站密度、氣象條件以外的其他未知因素影響，導致個別預測值與真實值有較大出入，RMSE 也會更高，而其他區(qū)域預測結(jié)果則比較穩(wěn)定，RMSE 較低。

4.5 聯(lián)邦學習與集中式學習算法對比

本文對比了個性化聯(lián)邦學習算法與其他常用集中式學習算法的性能。將LSTM[9]、ConvLSTM[10]、DenseNet[11]模型在相同數(shù)據(jù)集下的預測效果與本文提出的Fed-DenseNet 和p-Fed-DenseNet 的預測誤差進行對比，對所有個性化模型的均方誤差取平均值，再利用均方根誤差與均方誤差的關(guān)系，得到p-Fed-DenseNet 的預測誤差，如圖6 所示。

圖6 不同模型短消息業(yè)務流量誤差對比

在短消息業(yè)務流量數(shù)據(jù)集上，F(xiàn)ed-DenseNet 的性能相較于ConvLSTM 模型提升了17.1%，比LSTM模型提升10.7%，比DenseNet 模型提升了1.7%。相對于已有模型，本文提出的p-Fed-DenseNet 性能最好。首先，DenseNet 是時空流量預測模型，有利于捕捉各區(qū)域中流量的共性時空特征，預測性能優(yōu)于現(xiàn)有集中式模型。其次，F(xiàn)ed-DenseNet 是分布式模型，通過提升訓練樣本數(shù)據(jù)，性能優(yōu)于集中式DenseNet 算法。最后，本文所提p-Fed-DenseNet在Fed-DenseNet 基礎上，又引入了本地化特征，因此，預測性能進一步得到提升。

4.6 真實值與預測值對比

圖7 展現(xiàn)了隨機挑選的一個區(qū)域在不同算法的絕對預測誤差的累積分布函數(shù)圖。本文的個性化聯(lián)邦學習模型在短消息流量數(shù)據(jù)集上的預測性能最好，預測誤差較小。

圖7 短消息業(yè)務流量真實值和預測值對比

5 結(jié) 束 語

本文提出了基于聯(lián)邦學習的城市全域流量預測模型Fed-DenseNet 和基于合作博弈的個性化聯(lián)邦流量預測模型p-Fed-DenseNet。前者將各個邊緣服務器端時空流量預測的結(jié)果上傳至中心服務器，在中心服務器的協(xié)同下訓練出能夠反映各區(qū)域流量共性特征的全局模型，解決了“城市全域尺度”的通信流量預測復雜性、時效性問題。后者在前者的全局模型上，引入符合條件的本地區(qū)域性數(shù)據(jù)，在全局模型泛化性的基礎上保留各區(qū)域模型差異性，解決了“城市全域尺度”的通信流量預測準確性問題。