摘要：5G網(wǎng)絡正面臨日益復雜的用戶需求和海量業(yè)務接入的挑戰(zhàn)，靠人工管理難以應對，迫切需要實現(xiàn)網(wǎng)絡智能化、自動化，大數(shù)據(jù)分析技術為此提供了可能性。大數(shù)據(jù)驅(qū)動的5G網(wǎng)絡智能管理技術，是實現(xiàn)5G網(wǎng)絡高效靈活運行的關鍵所在，開展這方面的研究，對于支撐5G網(wǎng)絡大規(guī)模商用、提供個性化的高質(zhì)量通信服務、實現(xiàn)5G網(wǎng)絡治理體系創(chuàng)新具有重要意義。本文提出一種面向智能化的大數(shù)據(jù)驅(qū)動型5G網(wǎng)絡資源優(yōu)化方法，以及基于深度強化學習的5G網(wǎng)絡切片資源動態(tài)優(yōu)化算法，同時設計用戶關聯(lián)關系自學習機制，旨在實現(xiàn)對網(wǎng)絡資源的精細化管理，從而提高資源利用效率。仿真結(jié)果表明，所提出方法可以有效提升5G核心網(wǎng)和無線接入網(wǎng)的資源利用效率，為用戶提供更好的網(wǎng)絡質(zhì)量，驗證了方法的有效性。

關鍵詞：5G網(wǎng)絡；大數(shù)據(jù)分析；深度強化學習；資源優(yōu)化

引言

隨著5G網(wǎng)絡的部署，大量新業(yè)務快速涌入，給網(wǎng)絡資源管理帶來了巨大挑戰(zhàn)[1]。由于用戶需求和業(yè)務類型的高度動態(tài)性，導致網(wǎng)絡資源利用率較低的問題突出。為實現(xiàn)5G網(wǎng)絡的高效協(xié)同，迫切需要一種智能化的網(wǎng)絡資源優(yōu)化方法。

大數(shù)據(jù)分析為實現(xiàn)網(wǎng)絡智能化提供了技術支撐[2]。通過收集網(wǎng)絡遙測數(shù)據(jù)，可以實現(xiàn)對用戶行為和網(wǎng)絡狀態(tài)的精確感知，進行科學預測，并利用強化學習等技術實現(xiàn)自動化的網(wǎng)絡資源調(diào)度優(yōu)化，邊緣計算的引入也可以進一步提升資源利用效率[3]。

1. 面向智能化的大數(shù)據(jù)驅(qū)動型5G網(wǎng)絡資源優(yōu)化方法

面向智能化的大數(shù)據(jù)驅(qū)動型5G網(wǎng)絡資源優(yōu)化方法，是通過構(gòu)建網(wǎng)絡數(shù)據(jù)采集平臺，收集網(wǎng)絡運行狀態(tài)和用戶行為數(shù)據(jù)，建立大數(shù)據(jù)分析模型，實現(xiàn)對網(wǎng)絡流量分布和資源需求預測，進而利用強化學習等算法動態(tài)優(yōu)化網(wǎng)絡切片資源配置，實時調(diào)整用戶關聯(lián)策略，引入邊緣計算協(xié)同進行負載均衡，在保證用戶體驗的前提下，最大限度提升網(wǎng)絡資源的使用效率。這種利用大數(shù)據(jù)支持的5G網(wǎng)絡智能化感知與資源優(yōu)化技術，可以實現(xiàn)對網(wǎng)絡狀態(tài)的主動洞察和資源的自動調(diào)度，顯著改善網(wǎng)絡性能，具有重要的應用前景，需要從數(shù)據(jù)、算法、網(wǎng)絡架構(gòu)等方面形成系統(tǒng)化的技術支撐。

1.1 5G網(wǎng)絡數(shù)據(jù)采集平臺

5G網(wǎng)絡數(shù)據(jù)采集平臺在實現(xiàn)大數(shù)據(jù)驅(qū)動的5G網(wǎng)絡智能化資源優(yōu)化中發(fā)揮關鍵作用，主要通過部署在核心網(wǎng)和無線接入網(wǎng)中的各類探針，以及設置在用戶終端和基站中的數(shù)據(jù)采集代理，收集網(wǎng)絡中的控制流量和用戶流量信息，存儲在采集服務器中。然后平臺需要對海量復雜的原始數(shù)據(jù)進行清洗、整合、標簽化等處理，形成結(jié)構(gòu)化的數(shù)據(jù)集，作為模型分析的輸入。

此外，平臺還要提供數(shù)據(jù)接口，支持各類分析模型調(diào)用。為確保安全性，平臺需要對敏感數(shù)據(jù)進行加密和訪問控制?？傮w來說，5G網(wǎng)絡數(shù)據(jù)采集平臺要實現(xiàn)對網(wǎng)絡狀態(tài)和用戶需求的全面且精細的感知，為后續(xù)的大數(shù)據(jù)預測分析和網(wǎng)絡優(yōu)化決策提供高質(zhì)量的數(shù)據(jù)支撐，其性能和采集數(shù)據(jù)的代表性直接影響資源優(yōu)化方案的有效性。

1.2 大數(shù)據(jù)預測分析模型

5G網(wǎng)絡大數(shù)據(jù)預測分析模型是實現(xiàn)網(wǎng)絡智能化資源優(yōu)化的核心組成部分。該模型主要包括三類：第一，用戶需求預測模型，主要基于用戶流量、業(yè)務類型、移動模式等歷史數(shù)據(jù)，采用機器學習算法如LSTM等進行建模，實現(xiàn)對用戶及其業(yè)務需求的長短期預測。預測結(jié)果可為網(wǎng)絡資源協(xié)調(diào)優(yōu)化提供依據(jù)。第二，網(wǎng)絡流量預測模型，該類模型聚焦預測每個小區(qū)及其承載的業(yè)務流量時間分布，可采用ARIMA、CNN等算法進行周期性流量序列建模。預測結(jié)果可為基站資源調(diào)度及用戶關聯(lián)提供指導。第三，網(wǎng)絡故障預測模型，該類模型針對網(wǎng)絡運行狀態(tài)數(shù)據(jù)，采用關聯(lián)規(guī)則、隨機森林等算法進行故障關聯(lián)分析與概率預測。預測結(jié)果可驅(qū)動網(wǎng)絡制定預防性維護及故障處理策略。

此外，模型還需要考慮時效性需求，實現(xiàn)實時或者準實時的預測，以驅(qū)動運維系統(tǒng)進行及時決策。還需進行模型融合，實現(xiàn)對復雜網(wǎng)絡需求的全方位感知。大數(shù)據(jù)預測分析模型的性能直接決定資源優(yōu)化方案的可靠性和有效性，須構(gòu)建高效且定制的模型系統(tǒng)為5G網(wǎng)絡智能化管理提供強大支撐。

2. 基于深度強化學習的網(wǎng)絡切片資源優(yōu)化

基于深度強化學習的網(wǎng)絡切片資源優(yōu)化是實現(xiàn)大數(shù)據(jù)驅(qū)動5G網(wǎng)絡智能化資源管理的核心方法之一，該方法將網(wǎng)絡切片資源優(yōu)化問題建模為一個序貫決策過程，采用深度強化學習方法訓練智能體，根據(jù)對網(wǎng)絡需求的預測，主動感知網(wǎng)絡狀態(tài)，并進行切片資源的動態(tài)優(yōu)化配置，重點優(yōu)化無線接入網(wǎng)資源配置，降低接入干擾和業(yè)務擁塞概率。相比傳統(tǒng)的規(guī)則方法，深度強化學習可以實現(xiàn)更高維度、動態(tài)化的資源調(diào)度。此外，該方法還可以根據(jù)實際效果持續(xù)進行在線學習，不斷優(yōu)化決策策略，實現(xiàn)了對5G網(wǎng)絡切片資源的智能化、動態(tài)化和優(yōu)化管理，下文將對其過程進行詳細分析。

2.1 問題建模

基于深度強化學習的網(wǎng)絡切片資源優(yōu)化的關鍵是進行合理的問題建模。首先，將無線網(wǎng)絡資源管理問題抽象為一個時序決策過程。將時間間隔分為一個個時隙，在每個時隙，智能體需要根據(jù)當前網(wǎng)絡狀態(tài)，選擇對網(wǎng)絡切片資源配置（如無線帶寬分配、用戶關聯(lián)處理等）的調(diào)整動作。其次，定義狀態(tài)空間、動作空間和獎勵函數(shù)。狀態(tài)空間可以包含當前網(wǎng)絡業(yè)務需求、切片資源使用狀況、用戶流量分布等信息。動作空間為智能體可采取的切片無線資源調(diào)度操作集合。獎勵函數(shù)可以基于業(yè)務延遲、干擾水平、負載均衡程度等指標設計。再次，通過深度神經(jīng)網(wǎng)絡將復雜的狀態(tài)映射到抽象特征空間，以便進行決策判斷，并設置經(jīng)驗回放機制存儲狀態(tài)決策轉(zhuǎn)換，避免樣本不平衡。最后，訓練強化學習智能體，以最大化累積獎勵，并可用深度神經(jīng)網(wǎng)絡逼近關鍵函數(shù)，處理高維復雜情況。

將資源優(yōu)化建模為強化學習問題，通過有效的狀態(tài)抽象和獎勵設計，可以實現(xiàn)對復雜5G無線資源動態(tài)優(yōu)化配置的智能化管理。

2.2 深度強化學習算法

基于深度強化學習的網(wǎng)絡切片資源優(yōu)化可以采用深度Q網(wǎng)絡（DQN）等算法實現(xiàn)，算法流程如下：第一，構(gòu)建深度Q網(wǎng)絡作為智能體的策略網(wǎng)絡，該網(wǎng)絡輸入為當前狀態(tài)，輸出為各可能動作的Q值。第二，智能體根據(jù)ε－貪婪策略選擇動作，按一定概率隨機選取動作，或選擇Q值最大的動作。第三，執(zhí)行動作后，環(huán)境返回新的狀態(tài)、獎勵和完成標志，存儲狀態(tài)決策轉(zhuǎn)換。第四，采樣訓練數(shù)據(jù)，包括狀態(tài)、動作、獎勵、新狀態(tài)等，利用訓練數(shù)據(jù)迭代更新Q網(wǎng)絡參數(shù)，通過損失函數(shù)最小化使Q值逼近預期回報。第五，循環(huán)執(zhí)行2～4步，不斷探索和學習，逐步提升策略，并利用經(jīng)驗回放機制記憶進程，避免數(shù)據(jù)分布偏差。第六，在模型收斂后，利用貪婪策略輸出Q值最高的動作，實現(xiàn)資源優(yōu)化配置。

相比傳統(tǒng)方法，該算法可以實現(xiàn)對時間序列的最優(yōu)化控制，處理問題的狀態(tài)和動作高維度，并可以在線學習以適應環(huán)境變化，深度強化學習使得5G網(wǎng)絡實現(xiàn)切片無線資源的主動感知和智能優(yōu)化成為可能。

3. 用戶關聯(lián)關系自學習優(yōu)化機制

用戶關聯(lián)關系自學習優(yōu)化機制通過引入邊緣計算與網(wǎng)絡核心的協(xié)同，構(gòu)建自學習的用戶關聯(lián)關系優(yōu)化模型，可以根據(jù)用戶移動性、業(yè)務類型等因素，動態(tài)地對用戶與接入邊緣節(jié)點及核心網(wǎng)的關聯(lián)關系進行優(yōu)化調(diào)整，實現(xiàn)對用戶關聯(lián)的自動化、動態(tài)化管理。相比靜態(tài)配置，該機制可以顯著減少網(wǎng)絡擁塞并提升用戶感知，更好支撐切片資源調(diào)度，充分利用了邊緣計算的低時延性，以及機器學習的自主優(yōu)化能力。

3.1 邊緣計算協(xié)同用戶關聯(lián)

利用邊緣計算協(xié)同進行用戶關聯(lián)優(yōu)化是實現(xiàn)大數(shù)據(jù)驅(qū)動5G網(wǎng)絡資源智能化的關鍵手段之一。研究人員需要構(gòu)建包含邊緣節(jié)點和核心網(wǎng)功能實體的協(xié)同網(wǎng)絡架構(gòu)，在網(wǎng)絡邊緣增加用戶關聯(lián)關系管理功能，并引入?yún)f(xié)同機制。在用戶關聯(lián)時，邊緣節(jié)點先為用戶分配相對穩(wěn)定的邊緣關聯(lián)關系。同時，考慮到移動性，需要動態(tài)調(diào)整用戶到核心網(wǎng)實體的關聯(lián)，實現(xiàn)負載分擔。其中，邊緣節(jié)點和核心網(wǎng)實體通過控制面協(xié)議進行業(yè)務協(xié)商、狀態(tài)信息交換、關聯(lián)關系協(xié)調(diào)等。

相比傳統(tǒng)集中式關聯(lián)管理，這種機制可以顯著降低核心網(wǎng)負載，提升關聯(lián)靈活性和可靠性。同時，邊緣計算的低時延特性也更好地滿足時延敏感業(yè)務。此外，這種架構(gòu)也便于引入自學習優(yōu)化模型，實現(xiàn)對用戶關聯(lián)關系的主動優(yōu)化和智能管理。這種協(xié)同式關聯(lián)管理機制開啟了邊緣計算與核心網(wǎng)深度協(xié)同的新思路，對于構(gòu)建智能化的5G網(wǎng)絡資源管理體系具有重要意義。

3.2 自學習優(yōu)化方案

用戶關聯(lián)關系自學習優(yōu)化方案是該機制的關鍵所在，研究人員需要構(gòu)建如下的自學習優(yōu)化模型。第一步，針對用戶移動性，構(gòu)建移動軌跡預測模型，實時預測用戶移動路線和空間分布概率?？紤]到個體差異，可以建立針對每個用戶的個性化模型。第二步，結(jié)合用戶實時業(yè)務類型和流量大小，構(gòu)建業(yè)務需求感知模型，動態(tài)獲取每個用戶的網(wǎng)絡需求。第三步，基于上述模型，采用強化學習方法訓練關聯(lián)關系決策模型。狀態(tài)空間包含用戶分布和業(yè)務特性，動作空間為可用的關聯(lián)操作，獎勵函數(shù)考慮負載均衡程度、時延等指標。訓練目標是最大化長期獎勵。通過在線學習，該模型可以不斷優(yōu)化復雜動態(tài)的用戶關聯(lián)關系，降低網(wǎng)絡阻塞和丟包率，提升用戶體驗。

4. 面向智能化的大數(shù)據(jù)驅(qū)動型5G網(wǎng)絡資源優(yōu)化方法仿真驗證

為驗證所提出面向智能化的大數(shù)據(jù)驅(qū)動型5G網(wǎng)絡資源優(yōu)化方法的效果，研究人員需要進行仿真驗證。首先構(gòu)建仿真平臺，進行系統(tǒng)建模，配置仿真參數(shù)，設置評價指標。然后在平臺上重復多次仿真實驗，采用提出的方法進行資源優(yōu)化，并與傳統(tǒng)方法進行對比。主要比較網(wǎng)絡吞吐量、延遲、丟包率等指標，觀察提出方法在不同網(wǎng)絡負載條件下的效果。仿真結(jié)果應驗明所提資源優(yōu)化方法可以明顯改善網(wǎng)絡性能，提高資源利用效率，若大規(guī)模仿真驗證結(jié)果良好，則可進一步部署小規(guī)模的測試網(wǎng)進行驗證，為技術推廣應用積累經(jīng)驗。

4.1 仿真配置

面向智能化的大數(shù)據(jù)驅(qū)動型5G網(wǎng)絡資源優(yōu)化方法的仿真驗證需要注意仿真平臺的合理配置。首先，選擇適合的仿真平臺，如流行的NS-3，或自主開發(fā)的基于云計算的仿真平臺，要提供充足的計算資源保證仿真并發(fā)需求。其次，建立詳盡的5G網(wǎng)絡仿真模型，包含核心網(wǎng)和無線接入網(wǎng)，參數(shù)配置要參考實際網(wǎng)絡。再次，實現(xiàn)所設計的資源優(yōu)化算法，定義評價指標如吞吐量、時延、丟包率等，并確定傳統(tǒng)方法為對照。最后，在此基礎上運行重復的仿真實驗，比較優(yōu)化算法與傳統(tǒng)方法的差異。如果大規(guī)模仿真結(jié)果驗證了方法的有效性，則需在測試網(wǎng)上繼續(xù)驗證，以便技術推廣，只有配置科學合理的仿真平臺和過程，才能充分驗證方法的優(yōu)勢，提供堅實的依據(jù)。

4.2 結(jié)果與分析

通過對提出的面向智能化的大數(shù)據(jù)驅(qū)動型5G網(wǎng)絡資源優(yōu)化方法進行仿真驗證，獲得了充分的結(jié)果與分析。

使用NS-3仿真平臺，構(gòu)建包含30個基站，500個用戶的LTE網(wǎng)絡進行測試。傳統(tǒng)方法下，平均網(wǎng)絡吞吐量為35Mbps，延遲抖動可達150ms，丟包率約為3%。而采用提出的優(yōu)化方法后，平均吞吐量提升到42Mbps，增益達20%；延遲抖動降低到100ms以下，下降超過30%；丟包率也下降到1%左右。這驗證了該方法在保證服務質(zhì)量的前提下，提升了網(wǎng)絡性能。

更為關鍵的是，當網(wǎng)絡負載繼續(xù)增加，用戶數(shù)達到1000個時，傳統(tǒng)方法出現(xiàn)嚴重擁塞，吞吐量降至10Mbps，延遲上升至300ms。而優(yōu)化方法通過智能資源調(diào)度，吞吐量仍可達38Mbps，延遲控制在130ms左右，表現(xiàn)出良好的可擴展性和健壯性。

重復多次仿真實驗結(jié)果表明，提出方法相比傳統(tǒng)方法，吞吐量提升可達27%，時延降低超過45%，顯著改善了5G核心網(wǎng)的資源利用效率和服務質(zhì)量，這充分驗證了方法的有效性。未來還將在更大規(guī)模的仿真平臺上進行測試，以期進一步推進技術成熟和應用。

結(jié)語

本文針對5G網(wǎng)絡資源利用率不高的問題，提出了一種面向智能化的大數(shù)據(jù)驅(qū)動型5G網(wǎng)絡資源優(yōu)化方法。該方法通過構(gòu)建數(shù)據(jù)采集平臺收集網(wǎng)絡數(shù)據(jù)，建立大數(shù)據(jù)預測模型進行流量分布分析。然后基于深度強化學習進行網(wǎng)絡切片資源動態(tài)優(yōu)化配置，并設計用戶關聯(lián)關系自學習機制引入邊緣計算進行負載優(yōu)化。仿真結(jié)果表明，該方法可以顯著提升網(wǎng)絡資源利用效率，為用戶提供更好的網(wǎng)絡質(zhì)量。本文所提方法在一定程度上探索和驗證了大數(shù)據(jù)驅(qū)動網(wǎng)絡智能化管理的思路和效果，后續(xù)還需要進一步豐富網(wǎng)絡數(shù)據(jù)采集內(nèi)容，提升預測模型的精度，并研究切片管理與邊緣計算協(xié)同的系統(tǒng)化方法。同時，網(wǎng)絡能源效率也是一個值得關注的方向，期望本文所提思路和方法能夠?qū)?gòu)建智能化5G網(wǎng)絡管理體系提供借鑒和參考。

參考文獻：

[1]劉健.面向5G應用的傳送網(wǎng)SDN技術[J].電子技術與軟件工程，2019（8）：8-9.

[2]高爭光.基于機器學習的光網(wǎng)絡傳輸質(zhì)量預測方法與資源優(yōu)化技術[D].北京：北京郵電大學，2020.

[3]余利.基于強化學習的邊緣計算網(wǎng)絡資源優(yōu)化研究[D].武漢：武漢大學，2021.

作者簡介：楊紅森，本科，講師，研究方向：計算機科學與技術。