王 東，管婉青，張海君,2*，隆克平

(1.北京科技大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，北京 100083；2．北京科技大學(xué) 人工智能研究院，北京 100083)

0 引言

在最近的幾十年中，移動(dòng)通信網(wǎng)絡(luò)從1G發(fā)展到6G，通信關(guān)鍵技術(shù)層出不窮、迅速發(fā)展，廣泛應(yīng)用在人類社會(huì)的各行各業(yè)，成為社會(huì)信息化變革的重要支撐。為了滿足未來(lái)6G網(wǎng)絡(luò)更加豐富的業(yè)務(wù)應(yīng)用以及極致的性能需求[1]，需要在現(xiàn)有的新型無(wú)線網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上，實(shí)現(xiàn)關(guān)鍵技術(shù)上的重要突破。而隨著人工智能(Artificial Intelligence，AI)的深入應(yīng)用，如何實(shí)現(xiàn)AI賦能新型無(wú)線網(wǎng)絡(luò)架構(gòu)，也是一個(gè)研究熱點(diǎn)?，F(xiàn)有的無(wú)線網(wǎng)絡(luò)架構(gòu)不具備支持AI原生的能力，缺少原生AI算法的運(yùn)行環(huán)境和基礎(chǔ)插件[2]。此外，隨著新型垂直行業(yè)應(yīng)用的井噴式涌現(xiàn)，無(wú)線網(wǎng)絡(luò)資源利用率低、業(yè)務(wù)匹配性差，差異化實(shí)時(shí)性業(yè)務(wù)需求引起資源管控復(fù)雜度的急劇提升。未來(lái)，AI技術(shù)將賦能移動(dòng)通信系統(tǒng)，通過(guò)與無(wú)線架構(gòu)、無(wú)線數(shù)據(jù)、無(wú)線算法和無(wú)線應(yīng)用結(jié)合，構(gòu)建新型智能網(wǎng)絡(luò)架構(gòu)體系。AI原生的6G網(wǎng)絡(luò)不僅僅是將AI技術(shù)作為一種優(yōu)化工具，而是實(shí)現(xiàn)AI原生的新型無(wú)線網(wǎng)絡(luò)架構(gòu)和空口技術(shù)。AI原生的6G網(wǎng)絡(luò)通過(guò)賦能網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)接入網(wǎng)和核心網(wǎng)網(wǎng)元的智能化管理和部署實(shí)現(xiàn)，支持智能的多類型資源跨域管理。而AI原生的新空口技術(shù)能夠通過(guò)調(diào)用AI算法支持無(wú)線資源的智能調(diào)度，實(shí)現(xiàn)實(shí)時(shí)的業(yè)務(wù)需求匹配，將AI需求考慮在接口協(xié)議棧的設(shè)計(jì)中[3]。

1 AI原生的新型無(wú)線網(wǎng)絡(luò)架構(gòu)

AI原生的新型無(wú)線網(wǎng)絡(luò)架構(gòu)，要充分利用網(wǎng)絡(luò)節(jié)點(diǎn)之間的通信、計(jì)算和感知能力，通過(guò)分布式學(xué)習(xí)、群智式協(xié)同以及云邊端一體化算法部署，使得6G網(wǎng)絡(luò)原生支持各類AI應(yīng)用，構(gòu)建新的網(wǎng)絡(luò)生態(tài)，并實(shí)現(xiàn)以新型網(wǎng)絡(luò)使用者為中心的業(yè)務(wù)體驗(yàn)。利用原生的AI能力，6G可以更好地對(duì)無(wú)處不在的具有智慧感知、通信和計(jì)算能力的網(wǎng)絡(luò)、基站和終端進(jìn)行統(tǒng)籌管理，利用大規(guī)模的智能分布式協(xié)同服務(wù)，使網(wǎng)絡(luò)中的通信和算力效用最大化[4]。這將會(huì)帶來(lái)三點(diǎn)趨勢(shì)的轉(zhuǎn)變：① AI將會(huì)融入到6G網(wǎng)絡(luò)中，并對(duì)外提供服務(wù)，將創(chuàng)造新的市場(chǎng)價(jià)值，即AI引擎，利用AI引擎的智能化能力，可以對(duì)外提供智能管控等服務(wù)；② AI將在端-霧-云間協(xié)同實(shí)現(xiàn)包括通信能力、計(jì)算、存儲(chǔ)等多種類型、多種維度資源的智能調(diào)度，并使網(wǎng)絡(luò)總體效能得到提升；③ AI能夠?qū)崿F(xiàn)對(duì)6G中廣域的數(shù)據(jù)測(cè)量與監(jiān)控，實(shí)現(xiàn)網(wǎng)絡(luò)的快速自動(dòng)化運(yùn)維、快速檢測(cè)和快速自修復(fù)，即AI原生的網(wǎng)絡(luò)維護(hù)。

1.1 支持AI引擎的無(wú)線智能管控組件架構(gòu)設(shè)計(jì)

1.1.1 AI引擎

AI引擎主要由數(shù)據(jù)采集、數(shù)據(jù)清洗、預(yù)訓(xùn)練模型和機(jī)器學(xué)習(xí)算法4部分組成。在 AI 引擎中嵌入了多種預(yù)訓(xùn)練模型和機(jī)器學(xué)習(xí)算法，能夠依據(jù)智能管控方式提供元數(shù)據(jù)匹配多種類型的管控目標(biāo)，實(shí)現(xiàn)AI使能的智能管控。將數(shù)據(jù)清洗、機(jī)器學(xué)習(xí)算法以及神經(jīng)網(wǎng)絡(luò)模型等AI組成元素嵌入引擎中，以開放接口形式為協(xié)同管控體系提供構(gòu)建神經(jīng)網(wǎng)絡(luò)及獲取元數(shù)據(jù)的能力，為實(shí)現(xiàn)AI原生智能管控提供架構(gòu)基礎(chǔ)。將AI算法和預(yù)訓(xùn)練模型引入智能管控架構(gòu)，為動(dòng)態(tài)匹配差異化實(shí)時(shí)業(yè)務(wù)需求、快速適配網(wǎng)絡(luò)行為的未來(lái)網(wǎng)絡(luò)資源管控新模式提供技術(shù)支撐和保障，同時(shí)提升AI在無(wú)線網(wǎng)絡(luò)架構(gòu)領(lǐng)域的應(yīng)用與發(fā)展。

同時(shí)，AI 引擎為智能管控方式端霧云協(xié)同管控提供互操作接口，以這種開放接口形式提供神經(jīng)網(wǎng)絡(luò)構(gòu)建及元數(shù)據(jù)獲取能力，最大程度地提升端-霧-云多層次多維度資源管控效率，依據(jù)業(yè)務(wù)需求實(shí)時(shí)調(diào)整管控結(jié)果，提供匹配業(yè)務(wù)實(shí)時(shí)性需求的動(dòng)態(tài)智能管控策略，最終實(shí)現(xiàn)管控性能優(yōu)化。廣域測(cè)量模塊為AI引擎提供了海量的6G網(wǎng)絡(luò)中的數(shù)據(jù)和狀態(tài)信息。AI引擎使用這些數(shù)據(jù)進(jìn)行學(xué)習(xí)，將管控的結(jié)果運(yùn)用于6G網(wǎng)絡(luò)中。AI引擎部署在邊-端-云-網(wǎng)多層次系統(tǒng)體系下的計(jì)算平臺(tái)上，為其他需要智能化需求的6G網(wǎng)絡(luò)組件提供AI服務(wù)。支持AI引擎的無(wú)線智能管控組件架構(gòu)如圖1所示。

圖1 支持AI引擎的無(wú)線智能管控組件架構(gòu)Fig.1 Wireless intelligent control component architecture supporting AI engine

1.1.2 全局化細(xì)粒度網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)測(cè)量機(jī)制

在測(cè)量模塊中，基于未來(lái)無(wú)線網(wǎng)絡(luò)的可編程控制能力，建立統(tǒng)一高效的測(cè)量體系架構(gòu)，該體系架構(gòu)向上層應(yīng)用提供抽象和簡(jiǎn)單的編程接口，統(tǒng)一管理測(cè)量任務(wù)、分配資源和收集狀態(tài)信息，同時(shí)數(shù)據(jù)平面能夠?qū)崿F(xiàn)功能完備的細(xì)粒度狀態(tài)測(cè)量。建立統(tǒng)一高效的測(cè)量體系架構(gòu)可以在網(wǎng)絡(luò)構(gòu)架層面為實(shí)施精細(xì)化的網(wǎng)絡(luò)測(cè)量功能提供保證。開發(fā)支持AI引擎的智能業(yè)務(wù)使能組件和智能無(wú)線管控組件，使無(wú)線網(wǎng)絡(luò)能夠快速自適應(yīng)于環(huán)境變化，且具備面向未來(lái)的可擴(kuò)展性。構(gòu)建全局化的細(xì)粒度網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)測(cè)量機(jī)制，主要由狀態(tài)測(cè)量和測(cè)量控制模塊組成，準(zhǔn)確及時(shí)地精細(xì)化測(cè)量網(wǎng)絡(luò)流量和性能指標(biāo)，統(tǒng)一管理測(cè)量任務(wù)、分配資源和收集狀態(tài)信息。在流量測(cè)量方面，使用基于概要結(jié)構(gòu)的細(xì)粒度流量測(cè)量方法；而在網(wǎng)絡(luò)性能指標(biāo)測(cè)量方面，使用基于IN-Band Telemetry技術(shù)[5]的精準(zhǔn)測(cè)量?？紤]到6G無(wú)線通信網(wǎng)絡(luò)的差異化實(shí)時(shí)性業(yè)務(wù)需求[6]，建立統(tǒng)一的網(wǎng)絡(luò)狀態(tài)測(cè)量體系架構(gòu)，設(shè)計(jì)全局化的細(xì)粒度網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)測(cè)量機(jī)制，支持高效、可擴(kuò)展的網(wǎng)絡(luò)流量和網(wǎng)絡(luò)性能指標(biāo)測(cè)量。綜上所述，可以為實(shí)現(xiàn)AI原生智能管控提供架構(gòu)基礎(chǔ)。

1.1.3 AI原生的新型端霧云多層次協(xié)同管控體系

AI原生的新型端霧云多層次協(xié)同管控體系，其核心組成為：移動(dòng)微集群、霧計(jì)算節(jié)點(diǎn)、網(wǎng)絡(luò)遠(yuǎn)端公有云和霧控制節(jié)點(diǎn)。研制端霧云資源協(xié)同管控的霧計(jì)算平臺(tái)，包括智能霧計(jì)算節(jié)點(diǎn)、支持端霧云資源協(xié)同管理的基礎(chǔ)開源組件。霧計(jì)算節(jié)點(diǎn)之間采用高速光纖低時(shí)延通信組網(wǎng)，支持深度學(xué)習(xí)功能和流數(shù)據(jù)實(shí)時(shí)處理?；陟F計(jì)算節(jié)點(diǎn)通過(guò)高速預(yù)處理的方式提升大型計(jì)算任務(wù)的實(shí)時(shí)響應(yīng)性能，基于霧控制節(jié)點(diǎn)構(gòu)建協(xié)同控制智能霧中心實(shí)現(xiàn)海量數(shù)據(jù)驅(qū)動(dòng)的高效資源管理與全局性能優(yōu)化?？紤]端-霧-云三者之間的協(xié)同工作，云端的中心控制策略會(huì)對(duì)霧端的計(jì)算與存儲(chǔ)進(jìn)行有效的管理，使得霧端的分布式計(jì)算處理模式發(fā)揮最好的效果。

新型端-霧-云多層次協(xié)同體系中，利用統(tǒng)一資源模型數(shù)據(jù)庫(kù)和服務(wù)化機(jī)制的分布式通信機(jī)制，結(jié)合AI的智能管控，實(shí)現(xiàn)了端-霧-云三端協(xié)同管控、融合多層次計(jì)算、通信和存儲(chǔ)資源，形成異構(gòu)資源差異性優(yōu)勢(shì)互補(bǔ)，克服云、邊緣和終端等單一模式的固有缺陷，從而以更好的性能、更低的成本和更高的能效實(shí)現(xiàn)智能管控[7]。

支持AI引擎的無(wú)線智能管控組件運(yùn)行流程如圖2所示，當(dāng)AI引擎開始工作時(shí)，需要從6G網(wǎng)絡(luò)獲取需要的相應(yīng)數(shù)據(jù)，進(jìn)行數(shù)據(jù)采集。而全局化的細(xì)粒度網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)測(cè)量機(jī)制，即測(cè)量模塊為數(shù)據(jù)采集提供了基礎(chǔ)。完成采集后，AI引擎通過(guò)其開放接口將集成在其中的AI算法所需要的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。然后將數(shù)據(jù)交由集成的人工智能算法進(jìn)行處理，新型端-霧-云多層次協(xié)同體系將為AI引擎的部署以及算法的訓(xùn)練提供計(jì)算、存儲(chǔ)、通信的基礎(chǔ)能力。

在AI引擎中集成了多種智能算法，可以對(duì)無(wú)線資源進(jìn)行管控，包括雙重深度Q網(wǎng)絡(luò)(Double Deep Q-Network,DDQN)、決斗深度Q網(wǎng)絡(luò)(Dueling Deep Q-Network,Dueling DQN)以及異步優(yōu)勢(shì)演員評(píng)論家(Asynchronous Advantage Actor-critic,A3C)等算法。DDQN算法通過(guò)解耦目標(biāo)Q值動(dòng)作的選擇和目標(biāo)Q的計(jì)算，達(dá)到消除過(guò)度估計(jì)的問(wèn)題。Dueling DQN算法改變了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，Q網(wǎng)絡(luò)輸出由價(jià)值函數(shù)網(wǎng)絡(luò)輸出與優(yōu)勢(shì)函數(shù)網(wǎng)絡(luò)輸出線性組合，以解決數(shù)據(jù)樣本和網(wǎng)絡(luò)訓(xùn)練之前的相關(guān)性問(wèn)題。A3C算法是一種分布式深度強(qiáng)化學(xué)習(xí)算法，是一種基于策略的算法，結(jié)合Actor-Critic網(wǎng)絡(luò)機(jī)制，采用多線程方法和異步學(xué)習(xí)框架，能夠解決DDQN算法的回放經(jīng)驗(yàn)池?cái)?shù)據(jù)相關(guān)性強(qiáng)、訓(xùn)練不佳的問(wèn)題，并且不需要存儲(chǔ)樣本，所需內(nèi)存極少。

圖2 支持AI引擎的無(wú)線智能管控組件運(yùn)行流程Fig.2 Workflow of wireless intelligent control component supporting AI engine

1.2 AI賦能的網(wǎng)絡(luò)智能維護(hù)

支撐6G網(wǎng)絡(luò)建設(shè)的設(shè)備種類和數(shù)量都會(huì)激增，對(duì)網(wǎng)絡(luò)運(yùn)維提出了嚴(yán)峻的考驗(yàn)。同時(shí)，隨著網(wǎng)絡(luò)智能化演進(jìn)，網(wǎng)絡(luò)自動(dòng)化維護(hù)作業(yè)能力大幅提升，現(xiàn)有人員仍按照傳統(tǒng)的維護(hù)作業(yè)計(jì)劃配置，人員配置過(guò)剩、維護(hù)效率低的情況日益突出，急需一套適應(yīng)網(wǎng)絡(luò)技術(shù)發(fā)展需要的維護(hù)模型[8]，6G網(wǎng)絡(luò)需要高效、極簡(jiǎn)的運(yùn)維，最終達(dá)到零觸碰的運(yùn)維方式。在此過(guò)程中，需要借助AI能力來(lái)挖掘網(wǎng)絡(luò)中運(yùn)維數(shù)據(jù)的潛力，最終做到運(yùn)維成本的最低化，同時(shí)做到盡可能地提升網(wǎng)絡(luò)效用。采用大數(shù)據(jù)分析和AI智能算法等創(chuàng)新手段，構(gòu)建基于網(wǎng)絡(luò)資源、業(yè)務(wù)收入、用戶規(guī)模及地理分布等多維度立體網(wǎng)絡(luò)維護(hù)效能標(biāo)桿模型，建立科學(xué)的網(wǎng)絡(luò)維護(hù)效能量化評(píng)價(jià)體系，重構(gòu)和增強(qiáng)網(wǎng)絡(luò)線隊(duì)伍能力[9]。

利用AI引擎以及新型端-霧-云多層次協(xié)同體系中海量數(shù)據(jù)的支撐，大數(shù)據(jù)和AI可以更好地助力6G網(wǎng)絡(luò)中智能化運(yùn)維，實(shí)現(xiàn)AI賦能的網(wǎng)絡(luò)智能維護(hù)。AI將海量的維護(hù)信息轉(zhuǎn)化為信息，不斷從實(shí)際維護(hù)中學(xué)習(xí)并積累經(jīng)驗(yàn)知識(shí)，最終提供數(shù)據(jù)分析和運(yùn)維決策的建議，支撐起海量數(shù)據(jù)處理。

AI與大數(shù)據(jù)技術(shù)可以從3個(gè)緯度對(duì)網(wǎng)絡(luò)中的海量數(shù)據(jù)進(jìn)行學(xué)習(xí)，從而產(chǎn)生對(duì)6G網(wǎng)絡(luò)智能化維護(hù)的能力。① 從空間角度來(lái)說(shuō)，AI可以進(jìn)行拓?fù)鋵W(xué)習(xí)，其學(xué)習(xí)的數(shù)據(jù)來(lái)源就是協(xié)同體系中收集到的海量運(yùn)維數(shù)據(jù)，包括6G網(wǎng)絡(luò)運(yùn)維中各個(gè)網(wǎng)元的監(jiān)控?cái)?shù)據(jù)、報(bào)警數(shù)據(jù)以及各個(gè)網(wǎng)元的配置信息等。根據(jù)這些信息，AI進(jìn)行拓?fù)鋵W(xué)習(xí)之后可以認(rèn)知到6G網(wǎng)絡(luò)中各個(gè)網(wǎng)元的拓?fù)浣Y(jié)構(gòu)。在故障發(fā)生后，AI將能準(zhǔn)確定位故障發(fā)生的位置，從而實(shí)現(xiàn)快速精簡(jiǎn)的故障定位。② 從時(shí)間角度來(lái)看，AI可以進(jìn)行歷史學(xué)習(xí)。在歷史數(shù)據(jù)中，利用機(jī)器學(xué)習(xí)等AI技術(shù)，可以得出正常的性能指標(biāo)波動(dòng)范圍，當(dāng)在運(yùn)行時(shí)各項(xiàng)指標(biāo)超出利用歷史學(xué)習(xí)產(chǎn)生的波動(dòng)范圍，AI賦能的網(wǎng)絡(luò)智能維護(hù)就會(huì)上報(bào)警告。③ 從邏輯的角度來(lái)看，AI可以進(jìn)行邏輯學(xué)習(xí)，根據(jù)歷史告警指標(biāo)和最終故障的嚴(yán)重程度之間的相關(guān)程度進(jìn)行學(xué)習(xí)。利用AI的網(wǎng)絡(luò)智能運(yùn)維可以更早、更準(zhǔn)確地發(fā)現(xiàn)6G網(wǎng)絡(luò)中發(fā)生的故障。

2 支持AI引擎的無(wú)線智能管控

長(zhǎng)期以來(lái)，基于數(shù)值迭代優(yōu)化的解決方案在無(wú)線通信、信號(hào)處理任務(wù)中發(fā)揮了重要作用。在迭代算法中，需要優(yōu)化的問(wèn)題參數(shù)作為迭代算法的輸入，多次迭代后的結(jié)果是迭代算法的輸出結(jié)果。在6G中，需要優(yōu)化的問(wèn)題規(guī)模通常比較大，使用迭代優(yōu)化算法往往會(huì)使計(jì)算復(fù)雜度非常高，無(wú)法滿足資源調(diào)度的實(shí)時(shí)性要求。而深度神經(jīng)網(wǎng)絡(luò)具有黑箱式強(qiáng)大的函數(shù)逼近能力，其能夠在接近迭代優(yōu)化算法性能的同時(shí)，不會(huì)造成過(guò)高的計(jì)算復(fù)雜度。

如何利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)智能化的無(wú)線網(wǎng)絡(luò)資源管理是一個(gè)值得研究的問(wèn)題。首先，需要設(shè)計(jì)出一種針對(duì)某一類無(wú)線資源管理問(wèn)題的迭代資源優(yōu)化算法；對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)，設(shè)計(jì)時(shí)可以巧妙利用迭代優(yōu)化算法的特點(diǎn)對(duì)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的參數(shù)進(jìn)行設(shè)置，具體來(lái)說(shuō)，就是可以將迭代優(yōu)化算法的輸入?yún)?shù)作為神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)，而迭代優(yōu)化算法的輸出結(jié)果將作為神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果；對(duì)于單獨(dú)不同的問(wèn)題實(shí)例，可以使用迭代資源優(yōu)化算法計(jì)算得到最優(yōu)的資源管理策略作為參考結(jié)果，從而形成訓(xùn)練樣本集；選擇損失函數(shù)，利用訓(xùn)練樣本集進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)可以得到網(wǎng)絡(luò)模型；當(dāng)遇到新的問(wèn)題實(shí)例時(shí)，可以利用神經(jīng)網(wǎng)絡(luò)模型計(jì)算資源管理策略。

利用上述設(shè)計(jì)思路[10]，可以求解幾乎所有無(wú)線資源優(yōu)化問(wèn)題，同時(shí)可以較為有效地提升資源分配策略的計(jì)算速度并節(jié)省計(jì)算開銷。當(dāng)在進(jìn)行神經(jīng)網(wǎng)絡(luò)類型選擇時(shí)，除了一般的前饋神經(jīng)網(wǎng)絡(luò)，也可以考慮諸如卷積神經(jīng)網(wǎng)絡(luò)或圖神經(jīng)網(wǎng)絡(luò)等，后者已被證明能夠有效求解整數(shù)規(guī)劃問(wèn)題。而在進(jìn)行神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)時(shí)，一般無(wú)線資源優(yōu)化問(wèn)題的目標(biāo)函數(shù)通常是系統(tǒng)效用，如系統(tǒng)頻效、能效等。因此，對(duì)于面向無(wú)線資源智能管理所使用的神經(jīng)網(wǎng)絡(luò)，除了可以選均方誤差函數(shù)作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，也可以直接使用系統(tǒng)效用函數(shù)作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)；還可以利用無(wú)線資源優(yōu)化問(wèn)題的最優(yōu)解結(jié)構(gòu)，將算法的先驗(yàn)信息融入到神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中，從而達(dá)到簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)的輸入輸出設(shè)計(jì)，這樣不僅可以加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度，而且同時(shí)能夠極大提高神經(jīng)網(wǎng)絡(luò)逼近迭代算法的能力。

2.1支持AI引擎的接入網(wǎng)側(cè)智能切片管控原理

在無(wú)線傳輸領(lǐng)域，現(xiàn)有的無(wú)線通信系統(tǒng)在下行控制資源的交互傳輸過(guò)程中，不同用戶設(shè)備會(huì)共享接入的同一基站的下行資源，并對(duì)其他用戶產(chǎn)生干擾。為了基于通用基礎(chǔ)設(shè)施網(wǎng)絡(luò)平臺(tái)滿足垂直行業(yè)多種類型業(yè)務(wù)的差異化資源需求，5G網(wǎng)絡(luò)引入網(wǎng)絡(luò)切片的概念按需構(gòu)建多個(gè)虛擬化的、相互隔離的邏輯網(wǎng)絡(luò)。網(wǎng)絡(luò)切片作為5G關(guān)鍵技術(shù)，將會(huì)在6G網(wǎng)絡(luò)中進(jìn)一步繼承和改進(jìn)，在接入網(wǎng)中會(huì)有定制的接入網(wǎng)切片,對(duì)切片的智能化管控有助于實(shí)現(xiàn)更高效的資源管理，圖3展示了接入網(wǎng)切片實(shí)現(xiàn)的一種原理，在基站中的MAC層實(shí)現(xiàn)了切片間調(diào)度，即在此輪調(diào)度過(guò)程中將原本需要分配給不同用戶設(shè)備的無(wú)線資源先分配給接入網(wǎng)切片，然后在切片內(nèi)部對(duì)其所屬的用戶設(shè)備進(jìn)行切片內(nèi)部調(diào)度。

圖3 接入網(wǎng)切片實(shí)現(xiàn)示意圖Fig.3 Schematic diagram of radio access network slicing

AI引擎將有能力對(duì)接入網(wǎng)切片進(jìn)行智能管控，實(shí)現(xiàn)更為快捷且合理的資源分配[11]。

接入網(wǎng)切片的智能管控利用AI引擎的智能化能力來(lái)實(shí)現(xiàn)智能管控，在未接入AI引擎智能管控時(shí)，需要手動(dòng)在管理系統(tǒng)中對(duì)切片參數(shù)進(jìn)行修改以滿足不同用戶的SLA以及優(yōu)化基站資源利用率。為了減少嵌入在接收的服務(wù)水平協(xié)議(SLA)、滿意率(SSR)以及頻譜效率(SE)中的隨機(jī)性和噪聲的影響，提高運(yùn)行多種接入網(wǎng)絡(luò)切片時(shí)的資源利用效率。通過(guò)利用AI引擎對(duì)不同用戶的流量進(jìn)行細(xì)粒度測(cè)量，并識(shí)別與分類。然后再在接入網(wǎng)內(nèi)創(chuàng)建和編排出一系列合適的接入網(wǎng)切片，并將用戶分配到合適的接入網(wǎng)切片內(nèi)。當(dāng)用戶數(shù)據(jù)流量類型發(fā)生變動(dòng)時(shí)，AI引擎也會(huì)改變其所屬的接入網(wǎng)切片。

AI引擎能夠基于DDQN、Dueling DQN以及A3C等DRL算法進(jìn)行學(xué)習(xí)，智能體通過(guò)在動(dòng)作空間中選取特定動(dòng)作，為不同切片進(jìn)行無(wú)線資源的預(yù)分配。通過(guò)觀測(cè)系統(tǒng)回報(bào)、系統(tǒng)狀態(tài)轉(zhuǎn)換以及更新其有關(guān)環(huán)境的信息來(lái)與環(huán)境進(jìn)行交互，最大化長(zhǎng)期累積回報(bào)，如圖4所示。利用智能體穩(wěn)定收斂后輸出的動(dòng)作結(jié)果對(duì)多個(gè)接入網(wǎng)網(wǎng)絡(luò)切片進(jìn)行無(wú)線資源的分配。在訓(xùn)練AI引擎中流量識(shí)別與分類算法時(shí)，使用移動(dòng)流量數(shù)據(jù)圖像集(IMTD17)，將公共網(wǎng)絡(luò)收集到的網(wǎng)絡(luò)流量可視化為計(jì)算機(jī)的數(shù)字圖像，使用此數(shù)據(jù)集對(duì)CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖4 深度強(qiáng)化學(xué)習(xí)示意圖Fig.4 Schematic diagram of deep reinforcement learning

AI引擎對(duì)不同網(wǎng)絡(luò)切片進(jìn)行資源分配的過(guò)程可以轉(zhuǎn)化為MDP過(guò)程，將基站作為智能體，狀態(tài)空間為：

(1)

式中，rates為多個(gè)不同的網(wǎng)絡(luò)切片的當(dāng)前數(shù)據(jù)吞吐速率。

動(dòng)作空間為：

(2)

即時(shí)獎(jiǎng)勵(lì)與不同的網(wǎng)絡(luò)切片是否達(dá)到目標(biāo)速率以及總分配的資源塊(ResourceBlock，RB)數(shù)量rb有關(guān)，即：

(3)

式中，RATES為不同的網(wǎng)絡(luò)切片的速率需求。算法的優(yōu)化目標(biāo)是在滿足速率需求的同時(shí)，使得每個(gè)不同的網(wǎng)絡(luò)切片與其目標(biāo)數(shù)據(jù)吞吐速率之差的絕對(duì)值和最小。

2.2 3種下行智能網(wǎng)絡(luò)切片調(diào)度算法

算法1：基于DDQN的下行智能網(wǎng)絡(luò)切片調(diào)度算法步驟如下。

步驟②：根據(jù)當(dāng)前所處狀態(tài)，進(jìn)行動(dòng)作的選取，動(dòng)作包括不同網(wǎng)絡(luò)切片資源塊數(shù)量的選擇。動(dòng)作的選取依據(jù)當(dāng)前狀態(tài)所采取的資源分配策略導(dǎo)致的Q值大小，選取最大Q值對(duì)應(yīng)的動(dòng)作作為當(dāng)前狀態(tài)下輸出的動(dòng)作決策。

步驟③：與環(huán)境進(jìn)行交互，獲得即時(shí)獎(jiǎng)勵(lì)，依據(jù)狀態(tài)轉(zhuǎn)移概率獲得系統(tǒng)的下一狀態(tài)，將其存儲(chǔ)到經(jīng)驗(yàn)池中。在之后學(xué)習(xí)的過(guò)程中，采取小批量樣本進(jìn)行學(xué)習(xí)，目的是減小數(shù)據(jù)之間的相關(guān)性。

步驟④：判斷存儲(chǔ)的經(jīng)驗(yàn)數(shù)量是否達(dá)到要求，若滿足則開始進(jìn)行訓(xùn)練。

步驟⑤：采用DDQN算法，根據(jù)貝爾曼方程可獲得即時(shí)獎(jiǎng)勵(lì)，進(jìn)行學(xué)習(xí)，消除DQN中的過(guò)估計(jì)問(wèn)題。

步驟⑥：在學(xué)習(xí)和訓(xùn)練的過(guò)程中，系統(tǒng)的獎(jiǎng)勵(lì)會(huì)不斷減少，當(dāng)算法趨于收斂，即長(zhǎng)期獎(jiǎng)勵(lì)函數(shù)在一定范圍內(nèi)不再發(fā)生變化后，表明系統(tǒng)已獲得最優(yōu)資源分配，終止該下行網(wǎng)絡(luò)切片資源分配的優(yōu)化過(guò)程。

算法1中引入了兩個(gè)神經(jīng)網(wǎng)絡(luò)，以解決數(shù)據(jù)樣本和網(wǎng)絡(luò)訓(xùn)練之前的相關(guān)性，通過(guò)解耦目標(biāo)Q值動(dòng)作的選擇和目標(biāo)Q的計(jì)算這兩步，來(lái)達(dá)到消除過(guò)度估計(jì)的問(wèn)題。DDQN算法不是直接在目標(biāo)Q網(wǎng)絡(luò)中找各個(gè)動(dòng)作中最大Q值，而是先在當(dāng)前Q網(wǎng)絡(luò)中找出最大Q值對(duì)應(yīng)的動(dòng)作；然后利用這個(gè)選擇出來(lái)的動(dòng)作，在目標(biāo)網(wǎng)絡(luò)中計(jì)算目標(biāo)Q值，以最大限度減少估計(jì)的動(dòng)作價(jià)值與目標(biāo)動(dòng)作值之間的差異來(lái)學(xué)習(xí)；最后，通過(guò)將智能算法輸出的對(duì)不同網(wǎng)絡(luò)切片的無(wú)線資源分配結(jié)果，通過(guò)API接口進(jìn)行實(shí)施。

算法2：基于Dueling DQN的下行網(wǎng)絡(luò)切片智能調(diào)度算法步驟如下。

算法3：基于A3C的下行智能網(wǎng)絡(luò)切片調(diào)度算法步驟如下。

步驟②：根據(jù)當(dāng)前所處狀態(tài)，將全局神經(jīng)網(wǎng)絡(luò)參數(shù)同步到本線程神經(jīng)網(wǎng)絡(luò)中。

步驟③：基于策略π(a(t)|s(t);θ′p)進(jìn)行動(dòng)作的選取，動(dòng)作包括不同的UE資源塊數(shù)量的選擇。

步驟④：與環(huán)境進(jìn)行交互，獲得即時(shí)獎(jiǎng)勵(lì)，依據(jù)狀態(tài)轉(zhuǎn)移概率獲得系統(tǒng)的下一狀態(tài)。在之后學(xué)習(xí)的過(guò)程中，采取小批量樣本進(jìn)行學(xué)習(xí)，目的是減小數(shù)據(jù)之間的相關(guān)性，計(jì)算累積回報(bào)并更新策略。

步驟⑤：更新線程參數(shù)θ′p、θ′v，再異步更新全局參數(shù)θp、θv。

步驟⑥：在學(xué)習(xí)和訓(xùn)練的過(guò)程中，系統(tǒng)的獎(jiǎng)勵(lì)會(huì)不斷減少，當(dāng)算法趨于收斂，即長(zhǎng)期獎(jiǎng)勵(lì)函數(shù)在一定的范圍內(nèi)不再發(fā)生變化后，表明系統(tǒng)已獲得最優(yōu)資源分配，終止該P(yáng)RB資源分配的優(yōu)化過(guò)程。

3 AI 原生的新型空口

3.1 AI賦能的新型協(xié)議棧

AI賦能的新型協(xié)議棧，即深度融合AI、機(jī)器學(xué)習(xí)技術(shù)，突破了現(xiàn)有空口的模塊化設(shè)計(jì)框架，實(shí)現(xiàn)無(wú)線環(huán)境、資源、干擾以及業(yè)務(wù)等多維特性的深度挖掘和利用，將會(huì)顯著提高6G無(wú)線網(wǎng)絡(luò)的效率、可靠性、實(shí)時(shí)性和安全性[12]。

圖5展示了AI引擎在對(duì)6G接入網(wǎng)中新型空口協(xié)議棧進(jìn)行AI賦能的具體示意圖。AI引擎中集成了一系列包括針對(duì)MAC、RLC以及物理層等資源的智能調(diào)度算法，為6G新型空口協(xié)議棧提供了智能化的基礎(chǔ)。在6G中，一系列基于AI引擎的應(yīng)用將不斷地對(duì)無(wú)線網(wǎng)絡(luò)進(jìn)行智能優(yōu)化。如針對(duì)MAC層的智能資源調(diào)度、針對(duì)物理層的編解碼進(jìn)行AI加速等。

圖5 AI賦能的新型空口協(xié)議棧Fig.5 AI enabled new air interface protocol stack

新型空口技術(shù)可以通過(guò)端到端的學(xué)習(xí)來(lái)增強(qiáng)數(shù)據(jù)平面和控制信令的連通性、效率和可靠性，允許針對(duì)特定場(chǎng)景在深度感知和預(yù)測(cè)的基礎(chǔ)上進(jìn)行定制，且空口技術(shù)的組成模塊可以靈活地進(jìn)行拼接，以滿足各種應(yīng)用場(chǎng)景的不同要求。借助多智能體等AI方法，可以使通信的參與者之間高效協(xié)同[13]，提高通信傳輸能效。利用數(shù)據(jù)和深度神經(jīng)網(wǎng)絡(luò)的黑盒建模能力可以從無(wú)線數(shù)據(jù)中挖掘并重構(gòu)未知的物理信道[14]，從而設(shè)計(jì)最優(yōu)的傳輸方式，提高頻譜利用率。

AI賦能的通信系統(tǒng)能夠根據(jù)流量和用戶行為主動(dòng)調(diào)整無(wú)線傳輸格式和通信動(dòng)作，可以優(yōu)化并降低通信收發(fā)兩端的功耗，對(duì)6G網(wǎng)絡(luò)中功率進(jìn)行智能管控[15]。在多用戶系統(tǒng)中，通過(guò)強(qiáng)化學(xué)習(xí)等AI技術(shù)，基站與用戶之間可自動(dòng)協(xié)調(diào)并調(diào)度資源。每個(gè)節(jié)點(diǎn)可計(jì)算每次傳輸?shù)姆答?，以調(diào)整其信號(hào)的波束方向，進(jìn)行AI使能的波束賦形等[16]。

盡管在未來(lái)，通過(guò)空天地一體化、太赫茲等關(guān)鍵技術(shù)的應(yīng)用，6G新型空口的無(wú)線資源會(huì)得到極大的拓展，但在實(shí)際移動(dòng)通信系統(tǒng)中，可用的無(wú)線資源相對(duì)于6G網(wǎng)絡(luò)的需求是極其有限的[17]。6G中應(yīng)用場(chǎng)景和應(yīng)用的復(fù)雜化、多樣化，帶來(lái)了新的無(wú)線資源的管理和調(diào)度問(wèn)題[18]，所以在6G移動(dòng)網(wǎng)絡(luò)中亟需較為適應(yīng)這些問(wèn)題的智能無(wú)線資源調(diào)度方案。

而在進(jìn)行資源調(diào)度時(shí)，需考慮的KPI性能指標(biāo)主要有4個(gè)：頻譜利用效率、能量利用效率、服務(wù)質(zhì)量(Quality of Service，QoS)和公平性需求。從整個(gè)6G新型空口系統(tǒng)來(lái)看，頻譜效率和能量效率是較為重要的，而從使用者的角度來(lái)說(shuō)，QoS以及公平性需求的滿足更加重要。一個(gè)合格的調(diào)度分配優(yōu)化算法需要對(duì)所有的關(guān)鍵性KPI指標(biāo)進(jìn)行綜合考量。隨著AI技術(shù)，包括無(wú)監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)的發(fā)展，AI在6G新型空口中大規(guī)模應(yīng)用已成必然趨勢(shì)。

3.2 AI賦能的物理層技術(shù)

雖然AI技術(shù)在早期就被廣泛用于物理層信號(hào)識(shí)別或者調(diào)制中，但在6G中使用到的超大規(guī)模MIMO技術(shù)也需要用到很多基于機(jī)器學(xué)習(xí)的優(yōu)化方案，包括但不限于無(wú)線信號(hào)檢測(cè)、無(wú)線信道估計(jì)、波束功率分配以及預(yù)編碼等技術(shù)來(lái)降低超大規(guī)模天線導(dǎo)致的計(jì)算難度急劇提升問(wèn)題。在6G超大規(guī)模MIMO系統(tǒng)中，當(dāng)用戶數(shù)量規(guī)模很大時(shí)，預(yù)編碼和功率控制的計(jì)算難度也會(huì)急劇上升。使用基于深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法的調(diào)度結(jié)果也能夠較為接近使用迭代資源優(yōu)化算法的調(diào)度結(jié)果[19]，而使用基于深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法可以使在進(jìn)行功率分配時(shí)所需的計(jì)算資源在較大程度上有所降低[20]。

在6G超大規(guī)模MIMO系統(tǒng)中，傳統(tǒng)的對(duì)信道建模的方法產(chǎn)生的信道模型將不再適用，需要設(shè)計(jì)新的信道建模方式。該系統(tǒng)需要解決的另一個(gè)問(wèn)題是如何對(duì)信道的狀態(tài)進(jìn)行可靠、快速、高效率的估計(jì)，而在文獻(xiàn)[21]中，作者提出了一種基于學(xué)習(xí)去噪的信道估計(jì)方法，可以將信道矩陣看作二維自然圖像，使卷積神經(jīng)網(wǎng)絡(luò)得以在通信領(lǐng)域引入。隨后，經(jīng)過(guò)對(duì)感知壓縮算法的大量研究，文獻(xiàn)[22]提出了一種新型的被稱為信道狀態(tài)信息網(wǎng)絡(luò)(ChannelStateInformation-Net，CsiNet)的神經(jīng)網(wǎng)絡(luò)[23]，其能夠在基于其他神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的基礎(chǔ)上減少大規(guī)模MIMO系統(tǒng)中進(jìn)行信道反饋的開銷，信道狀態(tài)信息網(wǎng)絡(luò)的結(jié)構(gòu)，是通過(guò)對(duì)壓縮感知的結(jié)構(gòu)進(jìn)行模擬得到信道狀態(tài)信息網(wǎng)絡(luò)的結(jié)構(gòu)。

3.3 AI賦能的MAC層技術(shù)

未來(lái)，面對(duì)日趨復(fù)雜的6G網(wǎng)絡(luò)環(huán)境，如果MAC協(xié)議不能很好地適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境，就無(wú)法支持6G網(wǎng)絡(luò)極致的性能需求，所以需要設(shè)計(jì)一個(gè)能夠?qū)Σ煌W(wǎng)絡(luò)環(huán)境和各種應(yīng)用需求都能兼顧的靈活的MAC協(xié)議。6G網(wǎng)絡(luò)環(huán)境的相關(guān)特征和變化的大致趨勢(shì)可以通過(guò)機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等AI技術(shù)從海量的環(huán)境數(shù)據(jù)學(xué)習(xí)得到[24]。因此，AI與接入層相關(guān)技術(shù)的結(jié)合就顯得很有必要。

在6G時(shí)代，無(wú)線終端數(shù)量將會(huì)極速增長(zhǎng)，對(duì)空口頻譜資源的需求也將迅速增加，動(dòng)態(tài)頻譜共享就可以解決這個(gè)問(wèn)題。而經(jīng)典的使用有監(jiān)督學(xué)習(xí)方法的基于頻譜預(yù)測(cè)的頻譜共享策略，需要在算法部署前進(jìn)行大量標(biāo)記數(shù)據(jù)的收集來(lái)進(jìn)行有效的模型訓(xùn)練，并且無(wú)法適應(yīng)快速變換的環(huán)境，很難對(duì)各個(gè)場(chǎng)景都收集大量的數(shù)據(jù)來(lái)保證訓(xùn)練出模型的有效性。深度強(qiáng)化學(xué)習(xí)的出現(xiàn)，解決了這個(gè)難題。深度強(qiáng)化學(xué)習(xí)不需要通過(guò)對(duì)標(biāo)記數(shù)據(jù)進(jìn)行學(xué)習(xí)，而是通過(guò)深度強(qiáng)化學(xué)習(xí)中的智能體在環(huán)境中不斷進(jìn)行嘗試、執(zhí)行調(diào)度、獲取調(diào)度結(jié)果以及計(jì)算反饋收益等不斷的交互來(lái)獲取環(huán)境變化的規(guī)律從而學(xué)習(xí)出較優(yōu)的解決策略。

例如，在動(dòng)態(tài)頻譜檢測(cè)和MAC協(xié)議的選擇上就有相關(guān)使用到深度強(qiáng)化學(xué)習(xí)獲得較優(yōu)解的案例，有一種使得整個(gè)網(wǎng)絡(luò)吞吐量最大化的解決方案是基于ResNets網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)優(yōu)化算法來(lái)實(shí)現(xiàn)的[25]，通過(guò)較長(zhǎng)時(shí)間對(duì)頻譜空閑時(shí)段的觀察和預(yù)測(cè)行動(dòng)，逐漸學(xué)習(xí)并掌握其變化規(guī)律，從而生成最優(yōu)的時(shí)隙共享方案。

4 結(jié)論

未來(lái)，AI將與6G進(jìn)行更為全面的原生的結(jié)合。6G網(wǎng)絡(luò)從設(shè)計(jì)之初就考慮了對(duì)AI的支持，而AI也將作為一項(xiàng)關(guān)鍵技術(shù)，對(duì)6G網(wǎng)絡(luò)更加豐富的業(yè)務(wù)應(yīng)用以及極致的性能需求作出支撐。AI應(yīng)用的本質(zhì)就是通過(guò)不斷增強(qiáng)的算力對(duì)大數(shù)據(jù)中蘊(yùn)含的價(jià)值進(jìn)行充分挖掘與持續(xù)學(xué)習(xí)的過(guò)程。