鄭青碧，鄧 娟，劉奕彤，田開聰，高月紅，邵澤才，劉光毅

(1.中國移動通信有限公司研究院 未來研究院，北京 100053；2.北京郵電大學 信息與通信工程學院，北京 100032)

0 引言

隨著科技革命和產(chǎn)業(yè)變革的深入發(fā)展，算力已成為社會數(shù)智化轉(zhuǎn)型的基石，將直接決定社會智能的發(fā)展高度[1]。隨著云計算的快速發(fā)展，企業(yè)或個人所需的計算能力可以通過云計算快速地獲得[2]。在技術(shù)不斷發(fā)展的推動下，通信技術(shù)也在以驚人的速度發(fā)展和迭代，網(wǎng)絡(luò)作為連接用戶、數(shù)據(jù)、算力的主動脈，與算力的融合共生不斷深入，在5G網(wǎng)絡(luò)的設(shè)計中，計算與通信融合的趨勢已經(jīng)出現(xiàn)。

傳統(tǒng)通信網(wǎng)絡(luò)中的算力資源主要服務(wù)于通信業(yè)務(wù)，算力資源集成在設(shè)備處理板卡內(nèi)，按照通信業(yè)務(wù)的處理流程進行算力資源的部署和分配[3]。在5G中，MEC通過邊緣計算嘗試將算力引入通信中，無論是SaaS、PaaS、IaaS，還是連接服務(wù)等，都是外掛式的引入算力，算力沒有真正地與通信協(xié)議體系融合。僅在管理面引入算力，試圖提供較低時延的計算服務(wù)，其網(wǎng)絡(luò)和計算部分是松耦合設(shè)計，在效率、部署成本、安全和隱私保護等方面存在進一步提升的空間[4-5]。未來6G將具有“網(wǎng)絡(luò)無所不達，算力無處不在，智能無所不及”的特點[6]，6G網(wǎng)絡(luò)將具有大規(guī)模的計算資源，算力將呈現(xiàn)出泛在化特征，云、邊和端側(cè)部署的算力資源將呈現(xiàn)出異構(gòu)和分布式的特征[6]，其協(xié)同調(diào)度需要實時適配網(wǎng)絡(luò)動態(tài)復雜的通信環(huán)境，需要深入到控制面和用戶面進行實時支持，6G網(wǎng)絡(luò)需要通信與計算在網(wǎng)絡(luò)架構(gòu)和協(xié)議層面實現(xiàn)更深度的融合。對于6G無線網(wǎng)絡(luò)而言，一種可能的模式是基站設(shè)備內(nèi)部具有計算資源，并通過資源協(xié)同調(diào)配算法高效控制通信和計算資源的調(diào)配[3]。

在上述模式下，算力的引入給無線通信網(wǎng)絡(luò)節(jié)能帶來了潛在的挑戰(zhàn)。比如，在GPU上運行一個大型Transformer模型的碳排放量是626115bs，相當于56個人1年的碳排放量，大型模型訓練的算力需求為PetaFLOPS/s-day(即每天進行約10的20次方運算)[7]，計算開銷很高。假設(shè)基站規(guī)模為10 000站點，在該區(qū)域內(nèi)的計算業(yè)務(wù)忙時，用戶同時發(fā)起1 000項1 080 P視頻圖像的識別業(yè)務(wù)(8路幀率為30 FPS)。若采用ResNet-152模型，由此產(chǎn)生的算力消耗為265 000 TeraOPS(Tera Operations Per Second)，則平均每個基站需消耗3塊GPU。按照NVIDIA RTX系列顯卡功耗指標(每塊GPU的滿負載能耗為0.3 kW)計算，則該區(qū)域平均每站點的計算能耗約為0.9 kW，與當前5G網(wǎng)絡(luò)基站的忙時典型能耗(3 kW/站)相比，能耗增加了30%。因此6G無線網(wǎng)絡(luò)的節(jié)能需要同時考慮數(shù)據(jù)傳輸?shù)哪芎暮蛿?shù)據(jù)計算的能耗，在設(shè)計通算融合機制時需要將能效作為一項重要的優(yōu)化目標。

1 無線網(wǎng)絡(luò)節(jié)能研究

當前，移動網(wǎng)絡(luò)節(jié)能方案可以劃分為基站節(jié)能方案和網(wǎng)絡(luò)級節(jié)能方案?；灸芎脑谝苿油ㄐ啪W(wǎng)絡(luò)能耗中占比較大，蜂窩系統(tǒng)約60%的能耗由基站產(chǎn)生，基站的能耗大部分由射頻產(chǎn)生?；竟?jié)能又分為硬件能效提升和軟件節(jié)能，硬件能效提升降低基站設(shè)備的基礎(chǔ)功耗，軟件節(jié)能從業(yè)務(wù)運營方面對資源進行合理調(diào)配，并通過軟關(guān)斷技術(shù)(包括符號關(guān)斷、通道關(guān)斷、載波關(guān)斷以及小區(qū)閉鎖和深度睡眠)實現(xiàn)無線網(wǎng)設(shè)備的節(jié)能。

基站軟件節(jié)能的研究主要集中在提高網(wǎng)絡(luò)能效、保障用戶服務(wù)質(zhì)量(Quality of Service,QoS)、降低算法復雜度三方面。文獻[8]為了降低基站頻繁的模式轉(zhuǎn)換導致的能耗，從信道狀態(tài)信息中提取時間相關(guān)特征決定基站開關(guān)，可以在較大的時間尺度下減小網(wǎng)絡(luò)能耗。文獻[9]提出的節(jié)能模型使用過去的移動痕跡確定未來網(wǎng)絡(luò)負載，進而確定基站狀態(tài)，在接入過程中利用小區(qū)偏置均衡小區(qū)間的負載保障QoS。文獻[10]在異構(gòu)M-MIMO網(wǎng)絡(luò)中提出了將強化學習與無線通信服務(wù)地圖數(shù)據(jù)結(jié)合確定基站關(guān)斷策略的方法，并進行了評估。

文獻[11]針對基站功率和無線回傳帶寬，提出了低復雜度資源調(diào)配方法，提高了網(wǎng)絡(luò)的能效。文獻[12]在宏基站、微基站和D2D異構(gòu)網(wǎng)絡(luò)場景中，設(shè)計了動態(tài)規(guī)劃的資源調(diào)度方案，降低網(wǎng)絡(luò)能耗的同時提升了系統(tǒng)吞吐量。文獻[13]在異構(gòu)云無線接入網(wǎng)絡(luò)場景下，設(shè)計了基于在線學習的功率分配方法，保證用戶服務(wù)質(zhì)量的同時最大化網(wǎng)絡(luò)能效。隨著業(yè)務(wù)場景的復雜化和多樣化，網(wǎng)絡(luò)對算力需求的不斷增加，計算資源成為無線網(wǎng)絡(luò)的重要資源之一，對計算資源的節(jié)能研究也成為了業(yè)界的重要研究方向。文獻[14]對通信、緩存資源、計算決策進行聯(lián)合優(yōu)化，保證一定傳輸速率的同時最大化平均容忍時延。文獻[15]是在異構(gòu)無線蜂窩網(wǎng)絡(luò)場景中，對計算卸載決策、頻譜資源分配、內(nèi)容緩存進行優(yōu)化，提出了一個分布式解決方案。文獻[16]是在移動邊緣計算網(wǎng)絡(luò)中，綜合考慮計算卸載、頻譜、內(nèi)容緩存，最小化計算任務(wù)的總時延。文獻[17-18]是在物聯(lián)網(wǎng)中聯(lián)合設(shè)計通信資源和計算資源，分別實現(xiàn)最小化平均端到端時延和最小化總能量消耗。以上對計算能耗的優(yōu)化主要通過優(yōu)化計算卸載決策實現(xiàn)對計算資源的調(diào)配，降低計算卸載時延和系統(tǒng)能耗，在衡量計算資源方面也只是對計算任務(wù)進行了簡單的數(shù)值建模。這些方案缺乏對算力資源的精準建模。除此之外，上述文獻研究中很少涉及有關(guān)機器學習的計算任務(wù)，任務(wù)建模沒有考慮到GPU的算力消耗浮點數(shù)，在優(yōu)化目標中沒有將具體單個用戶的業(yè)務(wù)性能需求考慮在內(nèi)。

2 6G無線網(wǎng)絡(luò)通算資源分配場景

在信息產(chǎn)業(yè)、制造業(yè)與社會治理等領(lǐng)域的智能化趨勢下，面對未來海量泛在的計算和通信業(yè)務(wù)，6G網(wǎng)絡(luò)須具備云邊協(xié)同的強大算力和廣泛覆蓋的網(wǎng)絡(luò)連接能力；而終端用戶密度、新興業(yè)務(wù)流量需求的物理分布不均則對網(wǎng)絡(luò)的差異化和精細化管理提出更高要求。為了滿足更加豐富的應(yīng)用場景需求，6G將是一個低、中、高多頻段協(xié)同的全頻譜接入系統(tǒng)。覆蓋仍將以10 GHz以下為主，毫米波(70 GHz以下)將發(fā)揮更重要的作用，可見光和太赫茲(100 GHz以上)將在特定場景下提供超高速率和感知探測等能力。

為了降低高頻站點密集部署導致的網(wǎng)絡(luò)功耗和成本問題，同時保證網(wǎng)絡(luò)廣域覆蓋性能，6G網(wǎng)絡(luò)將引入控制信令與業(yè)務(wù)數(shù)據(jù)解耦機制，如圖1所示。具體而言，由低頻段(如700 MHz)控制基站提供廣域的統(tǒng)一信令覆蓋，負責RRC消息、物理層信令等控制信令的播發(fā)，降低高頻段導致的路徑損耗等影響，保證連續(xù)與可靠的連接性與移動性；由高容量、按需開啟的高頻段(如62.5 GHz及以上)數(shù)據(jù)基站提供數(shù)據(jù)和少量必要信令的傳輸，降低小區(qū)間的干擾及整網(wǎng)能耗。

圖1 控制信令與業(yè)務(wù)數(shù)據(jù)解耦機制

在控制信令與業(yè)務(wù)數(shù)據(jù)解耦機制中，控制基站具有計算資源和傳輸控制信令的通信資源，控制信令包括對連接(通信連接和計算連接)的控制和對資源(通信資源和計算資源)的控制信令；數(shù)據(jù)基站具有計算資源和傳輸業(yè)務(wù)數(shù)據(jù)的通信資源，業(yè)務(wù)數(shù)據(jù)包括通信業(yè)務(wù)數(shù)據(jù)和計算業(yè)務(wù)數(shù)據(jù)。控制基站與業(yè)務(wù)基站高效協(xié)作進行通信與計算資源的協(xié)同調(diào)配，從而實現(xiàn)通信資源與計算資源在控制面的深度融合。針對流量潮汐、業(yè)務(wù)需求差異、用戶移動行為等造成的通信和計算請求忙閑不均現(xiàn)象，考慮計算資源的高耗能特性，基站需實施精細化、智能化的資源分配策略，以利用有限的邊緣資源有效應(yīng)對用戶對通信時延、計算任務(wù)精度等方面的要求，同時通過基站休眠、載波關(guān)斷等技術(shù)動態(tài)調(diào)整基站運行狀態(tài)，提升網(wǎng)絡(luò)能效。

現(xiàn)有節(jié)能方案均沒有考慮基站的計算資源消耗，不適用于上述6G無線網(wǎng)絡(luò)中計算與通信資源的深度融合場景。6G基站需要在保障業(yè)務(wù)性能的同時，合理分配通信和計算資源，達到提升系統(tǒng)能效的目的。

面向6G無線網(wǎng)絡(luò)通算融合場景，本文提出了一種基站通算資源協(xié)同分配技術(shù)方案，以用戶業(yè)務(wù)質(zhì)量和能耗為優(yōu)化目標統(tǒng)籌分配多基站通信和計算資源。

3 技術(shù)方案

本文提出的技術(shù)方案如圖2所示，控制基站接收每個數(shù)據(jù)基站下轄的用戶數(shù)目與用戶計算任務(wù)的特征參數(shù)(比如對于圖片識別任務(wù)，特征參數(shù)包括圖片大小、機器學習模型類型等)，綜合考慮用戶業(yè)務(wù)部署在數(shù)據(jù)基站、控制基站的業(yè)務(wù)性能與系統(tǒng)能耗，通過AI模型生成的資源分配決策確定用戶業(yè)務(wù)部署的基站和資源的分配量，對于不承載任何業(yè)務(wù)的數(shù)據(jù)基站，可將其休眠，從而達到降低能耗的效果。為了降低系統(tǒng)總能耗，當該用戶業(yè)務(wù)由其他數(shù)據(jù)基站或控制基站執(zhí)行的業(yè)務(wù)性能滿足需求時，可將該用戶接入其他數(shù)據(jù)基站或控制基站，因此用戶業(yè)務(wù)并不總是由距離其最近的數(shù)據(jù)基站承載，以休眠不承載業(yè)務(wù)的數(shù)據(jù)基站。數(shù)據(jù)基站接收休眠決策，不休眠的基站執(zhí)行用戶業(yè)務(wù)。

圖2 6G基站通算資源協(xié)同分配方案示意圖

資源協(xié)同分配模型位于控制基站中，模型包含各類用戶業(yè)務(wù)性能模型與基站的計算能耗模型，能夠在考慮用戶業(yè)務(wù)性能與系統(tǒng)能耗的基礎(chǔ)上，根據(jù)用戶計算任務(wù)的特征參數(shù)、基站接入用戶數(shù)判斷用戶接入的基站；并能夠不斷優(yōu)化，根據(jù)基站反饋的業(yè)務(wù)性能與系統(tǒng)能耗不斷調(diào)整分配決策。

由于本文所設(shè)計的方案動作空間較大，且動作輸出均為離散確定值。針對這種情況，選用DDPG算法，可以有效緩解動作空間大對于訓練結(jié)果收斂慢的問題，并且充分利用DDPG算法中經(jīng)驗回放和深度神經(jīng)網(wǎng)絡(luò)等架構(gòu)優(yōu)勢，保證了輸出結(jié)果的穩(wěn)定性和有效性。

資源協(xié)同分配AI模型如圖3所示，DDPG的輸入狀態(tài)包括環(huán)境狀態(tài)和業(yè)務(wù)狀態(tài)，其中環(huán)境狀態(tài)s1=[x0,x1,…,xn],x代表基站接入用戶數(shù)，n為數(shù)據(jù)基站的總數(shù)。業(yè)務(wù)狀態(tài)s2=[ci,ui,di,bi](i∈(0,m))，其中，ci表示當前時刻的計算業(yè)務(wù)量(計算任務(wù)數(shù) × 平均每項計算任務(wù)的計算量需求)，ui表示當前用戶的上下行傳輸速率，di代表當前用戶通信的業(yè)務(wù)量，bi代表當前時刻的上下行子信道帶寬，m為用戶總數(shù)。優(yōu)化目標為業(yè)務(wù)性能與系統(tǒng)能耗，即算法的獎勵r，r=-(k1×UT+k2×BT+k3×UC+k4×CC+k5×HC+k6×SC)，其中k1～k6表示歸一化系數(shù)，UT、BT、UC、CC、HC和SC分別表示用戶傳輸時延、數(shù)據(jù)基站執(zhí)行時延、用戶傳輸能耗、計算能耗、切換損耗和數(shù)據(jù)基站固有能耗，計算方法如下所示：

圖3 DDPG資源協(xié)同分配模型原理與流程

(1)

(2)

UC=用戶發(fā)射功率×用戶傳輸時延，

(3)

CC=單次計算能耗×所服務(wù)用戶的業(yè)務(wù)數(shù)量，

(4)

HC=|接入控制基站的RSRP-接入數(shù)據(jù)基站的RSRP| ，

(5)

SC=接入數(shù)據(jù)基站的基礎(chǔ)能耗×接入數(shù)據(jù)基站的數(shù)目+

休眠數(shù)據(jù)基站基礎(chǔ)能耗×休眠數(shù)據(jù)基站的數(shù)目。

(6)

在滿足優(yōu)化目標后，確定用戶接入的數(shù)據(jù)基站或控制基站，即消耗通信與計算資源的基站，進而確定基站的狀態(tài)，即動作空間a=[y1,y2,…,yn]，其中y表示基站的狀態(tài)，0表示執(zhí)行業(yè)務(wù)，1表示休眠。

DDPG的訓練算法和應(yīng)用階段的算法流程如算法1和算法2所示。

算法1 訓練階段-通算資源分配算法1.Actor根據(jù)策略選擇一個動作at,下發(fā)給環(huán)境執(zhí)行;2.環(huán)境執(zhí)行策略,返回獎勵函數(shù)和新狀態(tài);3.Actor將(st,at,rt,st+1)存放于經(jīng)驗回放池;4.從經(jīng)驗回放池中隨機采樣N個數(shù)據(jù);5.計算在線Q網(wǎng)絡(luò)的梯度并更新;6.計算策略網(wǎng)絡(luò)的策略梯度并更新在線策略網(wǎng)絡(luò);7.軟更新目標網(wǎng)絡(luò)的梯度參數(shù)。

算法2 DDPG應(yīng)用階段-通算資源分配算法1.控制基站接收用戶計算任務(wù)的特征參數(shù)和每個用戶屬于的數(shù)據(jù)基站,計算每個數(shù)據(jù)基站所轄的用戶數(shù)目,即DDPG算法樣本;2.控制基站的DDPG根據(jù)系統(tǒng)能耗和用戶業(yè)務(wù)優(yōu)化目標計算數(shù)據(jù)基站的關(guān)斷動作a,下發(fā)至數(shù)據(jù)基站;3.數(shù)據(jù)基站執(zhí)行關(guān)斷動作a,執(zhí)行用戶業(yè)務(wù)的計算任務(wù),部分用戶業(yè)務(wù)由控制基站執(zhí)行;4.控制基站計算系統(tǒng)能耗和用戶業(yè)務(wù)性能,評估DDPG性能;5.DDPG依據(jù)新樣本迭代優(yōu)化;6.重復步驟1^6。

4 仿真驗證

本節(jié)將詳細介紹針對多基站通算資源協(xié)同分配方案，仿真平臺的搭建和實驗測試流程，驗證方案的合理性和有效性。

4.1 仿真環(huán)境

仿真平臺在Linux環(huán)境下實現(xiàn)，模擬了多小區(qū)通信環(huán)境，包含2個控制基站和8個數(shù)據(jù)基站，以及20個用戶，地圖面積為1 km×1 km，用戶在仿真區(qū)域內(nèi)運動，用戶移動過程中采集視頻流業(yè)務(wù)，上傳至基站執(zhí)行計算任務(wù)，用戶計算任務(wù)可由數(shù)據(jù)基站或控制基站執(zhí)行，用戶可接入數(shù)據(jù)基站或者控制基站。用戶移動時間為500 s，分為50個時間切片，時間粒度為10 s。具體仿真參數(shù)如表1所示。

表1 多維度資源協(xié)同分配仿真參數(shù)

4.2 解決方案

首先，對比本文所提技術(shù)方案與傳統(tǒng)方案的性能。

方案一(傳統(tǒng)方案)：用戶在場景二中以某種規(guī)律移動，數(shù)據(jù)基站負責下轄用戶的計算任務(wù)，當數(shù)據(jù)基站沒有用戶接入時，該數(shù)據(jù)基站休眠。

方案二：強化學習算法生成資源分配方案，運行過程中不迭代優(yōu)化。在具有某種用戶移動規(guī)律的場景一中訓練出強化學習模型A，場景二具有與場景一完全不同的用戶移動規(guī)律，將模型A用于場景二，不對模型A重訓練優(yōu)化。

其次，為探索強化學習模型迭代優(yōu)化頻次對系統(tǒng)性能的影響，選擇具有代表性的兩種方案，設(shè)計對比方案如下：

方案三(周期性迭代優(yōu)化)：強化學習算法生成資源分配方案，運行過程中周期性接收訓練樣本并迭代優(yōu)化。模型A用于場景二后，在用戶移動過程中，每2 min收集一次該段時間的用戶樣本，作為訓練樣本優(yōu)化模型A得到模型B，模型B替換模型A作為策略生成模型產(chǎn)生資源調(diào)配策略，不斷迭代優(yōu)化策略模型；

方案四(實時迭代優(yōu)化)：強化學習算法生成資源分配方案，運行過程中實時接收訓練樣本并迭代優(yōu)化。模型A用于場景二后，在用戶移動過程中，每生成一組用戶樣本即作為訓練樣本更新模型A，新模型替換舊模型作為策略生成模型產(chǎn)生資源調(diào)配策略，不斷迭代優(yōu)化策略模型。

4.3 仿真結(jié)果分析

模擬了兩種用戶移動場景，如圖4所示，場景一中的用戶從左向右進行布朗運動，場景二中的用戶從外圍向中間聚攏。

DDPG算法在用戶移動場景一中訓練得到模型A，如圖5所示。經(jīng)過500次的學習，模型A學習到了場景一中的用戶移動與業(yè)務(wù)規(guī)律。

(a) Scenario 1 T=0

圖5 模型A在用戶移動場景一中的收斂曲線

模型A并未學習到場景二中的用戶規(guī)律，將模型A用于用戶移動場景二，在用戶移動過程中，模型A不迭代，即方案二。方案一和方案二的性能結(jié)果如表2所示，每種方案進行了50組測試，每組測試中，用戶移動的趨勢不變，但軌跡有所變化，表中性能均為50次測試的均值?？梢钥闯觯桨敢坏挠脩魝鬏敃r延與能耗較高，固有能耗較低，這是由于方案一中用戶接入控制基站的情況更多。雖然所設(shè)計方案的基站執(zhí)行時延較高，但總系統(tǒng)能耗低于傳統(tǒng)方案，節(jié)約了46.98%。

其次，觀察強化學習模型迭代優(yōu)化頻次對系統(tǒng)性能的影響。分別對方案二～方案四進行了50組測試，性能結(jié)果如表2所示。

表2 業(yè)務(wù)性能與能耗對比

可以看出，方案四的用戶業(yè)務(wù)性能最優(yōu)。方案四綜合優(yōu)化了業(yè)務(wù)性能與系統(tǒng)能耗，智能模型周期優(yōu)化的方案三次之。方案四的總系統(tǒng)能耗相較于方案三節(jié)約了74.65%，相較于方案二節(jié)約了44.64%。

綜上所述，所設(shè)計技術(shù)方案的用戶傳輸速率等與傳統(tǒng)方案各有優(yōu)劣，但是用戶傳輸時延等業(yè)務(wù)性能優(yōu)于傳統(tǒng)方案，系統(tǒng)能耗更低。隨著所設(shè)計方案迭代優(yōu)化頻次的升高，業(yè)務(wù)性能有所提升，總系統(tǒng)能耗更低。

5 結(jié)論

本文給出了基站通算資源協(xié)同分配場景，詳細闡述了基站的控制信令與業(yè)務(wù)數(shù)據(jù)解耦機制，提出了一種6G基站通算資源協(xié)同分配方案，并對該方案的性能進行了評估。仿真實驗表明，所設(shè)計方案能大大降低系統(tǒng)能耗，相較于傳統(tǒng)方案，節(jié)約了46.98%的能耗。同時驗證了所設(shè)計方案的迭代優(yōu)化頻次越高，系統(tǒng)能耗越低。