索士強　王映民

【摘? 要】將機器學習技術(shù)應(yīng)用到未來6G網(wǎng)絡(luò)使其具備內(nèi)生智能，是未來移動通信系統(tǒng)發(fā)展的重要趨勢之一。對將機器學習技術(shù)引入到6G網(wǎng)絡(luò)的必要性、可行性進行分析，并給出了一種網(wǎng)絡(luò)內(nèi)生智能的方式。同時對網(wǎng)絡(luò)內(nèi)生智能所引發(fā)的機器學習建模問題、模型部署/更新問題、如何應(yīng)用強化學習的問題、以及標準化問題進行了探討。這些問題需要在無線網(wǎng)絡(luò)內(nèi)生智能化進程中被關(guān)注和進一步研究。

【關(guān)鍵詞】人工智能;機器學習;6G;神經(jīng)網(wǎng)絡(luò)

0? ?引言

作為人工智能的關(guān)鍵方法之一，機器學習技術(shù)在上個世紀50年代被提出，到目前為止經(jīng)歷了早期發(fā)展階段和以數(shù)據(jù)挖掘為代表的中期發(fā)展階段，目前處于以深度機器學習為代表的第三個發(fā)展階段。機器學習技術(shù)影響的行業(yè)范圍廣，涉及金融、家居、教育、交通、醫(yī)療、物流、安防、客服、制造等行業(yè)，特別是在語音識別、圖像識別等領(lǐng)域取得突破。機器學習技術(shù)平臺開源化，使得開發(fā)者可以直接使用已經(jīng)研發(fā)成功的深度學習工具，也加速了機器學習技術(shù)的發(fā)展與應(yīng)用。

近年來，如何將機器學習技術(shù)應(yīng)用到無線移動通信系統(tǒng)在學術(shù)界、產(chǎn)業(yè)界被廣泛研究與探討。3GPP SA2于2017年啟動了面向5G網(wǎng)絡(luò)的自動化使能技術(shù)研究工作，其對核心網(wǎng)中的NWDAF（Network Data Analytics Function，網(wǎng)絡(luò)數(shù)據(jù)分析功能）進行了增強[1-2];3GPP SA5于2019年啟動了面向MDAS（Management Data Analytics Service，管理數(shù)據(jù)分析服務(wù)）增強的研究工作[3]。對網(wǎng)絡(luò)數(shù)據(jù)分析功能和管理數(shù)據(jù)分析服務(wù)的增強，使其可應(yīng)用人工智能和機器學習技術(shù)進行數(shù)據(jù)分析，可形成影響核心網(wǎng)和接入網(wǎng)的智能化決策。在接入網(wǎng)部分，3GPP RAN3于2018年啟動了以RAN為中心的面向NR的數(shù)據(jù)收集與應(yīng)用研究工作，為在接入網(wǎng)中應(yīng)用人工智能和機器學習技術(shù)提供數(shù)據(jù)層面的支撐[4]?；旧吓c3GPP同期，ITU-T SG13于2017年成立面向5G的機器學習焦點小組FG-ML5G，給出了一種在5G以及未來網(wǎng)絡(luò)中應(yīng)用機器學習的統(tǒng)一邏輯架構(gòu)，其需要對現(xiàn)有域之間的接口（比如核心網(wǎng)和接入網(wǎng)之間的接口）進行增強，以便于機器學習使用[5]。CCSA的TC1WG1、TC5WG6以及TC5WG10均開展了面向人工智能的研究工作，涉及移動通信網(wǎng)絡(luò)智能化能力分級研究、人工智能和大數(shù)據(jù)在無線通信中的應(yīng)用研究等諸多課題[6-7]。2018年成立的O-RAN聯(lián)盟將RAN智能化作為其主要的研究目標之一，其通過在RAN側(cè)引入RAN智能控制器（RIC， RAN Intelligent Controller）來增強RAN的智能化[8]。上述這些組織所討論的機器學習在無線移動通信系統(tǒng)中的應(yīng)用，主要面向解決無線移動通信網(wǎng)絡(luò)中的業(yè)務(wù)及應(yīng)用的部署、運行、拓展、安全等問題，解決網(wǎng)絡(luò)及平臺的規(guī)劃、優(yōu)化、維護、節(jié)能等問題，以及解決無線資源管理層面的問題，較少涉及解決信號處理層面的問題。在無線移動通信系統(tǒng)中如何利用機器學習技術(shù)解決信號處理層面的問題，目前在學術(shù)界被廣泛關(guān)注，并有進一步被應(yīng)用到實際系統(tǒng)中的趨勢[9-12]。

當前無線網(wǎng)絡(luò)智能化主要考慮的是對包括5G在內(nèi)的現(xiàn)存網(wǎng)絡(luò)的智能化，滯后于對應(yīng)無線移動系統(tǒng)的標準化階段，所以主要采用的是擴展其對外的數(shù)據(jù)接口，以便被機器學習所使用的方式。這種方式由于其可擴展的數(shù)據(jù)接口有限、數(shù)據(jù)傳輸時延大，限制了機器學習的應(yīng)用場景，同時還可能引發(fā)數(shù)據(jù)安全問題。因此，在面向6G的無線移動通信網(wǎng)絡(luò)研究的初期，將機器學習技術(shù)與未來6G網(wǎng)絡(luò)深度融合，形成內(nèi)生智能的新一代移動通信系統(tǒng)的期望很高。本文也將對無線移動通信網(wǎng)絡(luò)內(nèi)生智能的相關(guān)問題進行探討與分析。

1? ? 無線網(wǎng)絡(luò)智能化的必要性與可行性

在無線移動通信技術(shù)發(fā)展的歷史中，為了解決其所面臨的問題和挑戰(zhàn)，已經(jīng)積累了大量的經(jīng)典的模型和解決方法，這些經(jīng)典的模型的構(gòu)成是清晰可見、可解釋的。這種解決問題的方法被稱為模型驅(qū)動的方法。隨著無線移動通信系統(tǒng)的發(fā)展，其網(wǎng)絡(luò)變得越來越復雜：比如存在3G、4G、5G等多網(wǎng)共存的情況，存在eMBB、URLLC、eMTC等多種差異性業(yè)務(wù)共存的情況，存在基站-終端、基站-中繼-終端、終端-終端等多種無線連接共存的情況，這導致無論在業(yè)務(wù)層面、無線資源管理層面，還是信號處理層面，都面臨著越來越大的挑戰(zhàn)。引入機器學習的初衷，就是借鑒深度學習可以解決大型、復雜的非線性系統(tǒng)問題的能力，來應(yīng)對未來這些挑戰(zhàn)。

簡單地說，機器學習主要用來解決模型驅(qū)動的方法中模型無法獲得或者不精確的問題。與模型驅(qū)動的方法相對應(yīng)，應(yīng)用機器學習來解決問題的方法，通常稱為數(shù)據(jù)驅(qū)動的方法。

在傳統(tǒng)的模型驅(qū)動方法中，模型的建立主要經(jīng)歷了三個階段：理論推導、仿真驗證以及實際應(yīng)用。采用數(shù)據(jù)驅(qū)動的方法時，模型的建立也經(jīng)歷了類似的三個階段：模型訓練、仿真驗證以及實際應(yīng)用?？梢钥闯鰞煞N方法的主要差別在于第一個階段。假設(shè)為了解決同一個問題，其所采用的仿真驗證方法及其假設(shè)都是一致，如果數(shù)據(jù)驅(qū)動方法所獲得效果與模型驅(qū)動方法所獲得的效果相當或更好，那么應(yīng)該可以說明數(shù)據(jù)驅(qū)動方法所獲得的模型及其對應(yīng)的方法是有效的。在文獻[9-10]中指出，即使通過仿真數(shù)據(jù)來進行DNN模型的訓練，其在實際應(yīng)用時所獲得的信號檢測性能下降都不明顯。而數(shù)據(jù)驅(qū)動方法所獲得的模型，受益于深度神經(jīng)網(wǎng)絡(luò)所包含的海量參數(shù)，相對于人工理論推導所獲得的模型，有更為精確的可能，從而最終提高其效果，這也是引入機器學習的必要性之一。

機器學習模型的訓練包括離線訓練和在線訓練兩種模式。離線訓練階段的數(shù)據(jù)可以通過實際系統(tǒng)采集獲得，也可以通過仿真建模獲得。而對于待研究的新系統(tǒng)（比如6G）來說，因無實際可提供數(shù)據(jù)采集的新系統(tǒng)，利用仿真平臺提供的數(shù)據(jù)進行訓練更為可行。

在線訓練包括兩種情況：直接利用系統(tǒng)實時獲得的數(shù)據(jù)進行訓練;或者在離線訓練所獲得的模型基礎(chǔ)上，利用系統(tǒng)運行中所獲得的新數(shù)據(jù)對模型的參數(shù)進行調(diào)整。在線訓練會額外增加系統(tǒng)的計算復雜度，但可以通過控制其訓練周期來平衡性能與復雜度之間的關(guān)系。特別地，基于導頻設(shè)計的無線通信系統(tǒng)天然具備可以應(yīng)用強化學習的基礎(chǔ)，其在發(fā)射端、接收端已知的導頻信號，可以看作系統(tǒng)實時提供的訓練數(shù)據(jù)，可以用于對現(xiàn)有機器學習模型進行在線訓練。

在應(yīng)用階段，由于深度學習可以采用通用的深度神經(jīng)網(wǎng)絡(luò)，在其具體應(yīng)用時可以獲得較低的計算復雜度，這是因為通用的神經(jīng)網(wǎng)絡(luò)僅僅涉及一些簡單的矩陣乘法操作。進一步，借助GPU或更專用的機器學習芯片可以獲得更高效率或更低的成本。

因此，從可行性角度來看，引入機器學習在其工作原理上、訓練數(shù)據(jù)可獲得上、以及計算復雜度方面均具有可行性。從必要性來看，其可以解決復雜問題、提高性能和降低成本。

2? ?未來無線網(wǎng)絡(luò)需要內(nèi)生智能

當前，將機器學習應(yīng)用到無線移動通信網(wǎng)絡(luò)中主要采用：固化推演方式和系統(tǒng)外推演方式。固化推演方式即通過離線訓練獲得推演階段所使用的機器學習模型后，將其固化到系統(tǒng)中，系統(tǒng)在運行時，應(yīng)用固化在系統(tǒng)中的機器學習模型進行推演，獲得相應(yīng)的功能。系統(tǒng)外推演方式即機器學習的訓練和推演均在無線移動通信系統(tǒng)之外進行，機器學習推演機構(gòu)利用系統(tǒng)提供的數(shù)據(jù)進行推演，并將推演的結(jié)果應(yīng)用到目標系統(tǒng)之中，如圖1所示。目前在業(yè)務(wù)層面、網(wǎng)絡(luò)與平臺管理、無線資源管理等層面的機器學習研究主要考慮是這種方式，其對當前標準架構(gòu)影響較小，僅涉及測量、統(tǒng)計量層面的豐富化。

采用系統(tǒng)外推演的方式，需要無線移動通信系統(tǒng)向機器學習訓練機構(gòu)提供大量用于訓練和推演的數(shù)據(jù)，隨著所需要解決的問題復雜化，特別是將機器學習用于無線信號處理時，大量的訓練和推演數(shù)據(jù)向系統(tǒng)外提供將成為一種負擔。同時，系統(tǒng)內(nèi)外的數(shù)據(jù)交互會增加處理問題的時延，限制了機器學習技術(shù)的應(yīng)用場景。將無線移動通信系統(tǒng)內(nèi)部的數(shù)據(jù)提供給系統(tǒng)外的機器學習機構(gòu)使用，還可能引發(fā)數(shù)據(jù)安全的問題。因此，有必要將機器學習的訓練和推演引入到無線網(wǎng)絡(luò)內(nèi)部，構(gòu)造具備內(nèi)生智能的新一代無線移動通信系統(tǒng)。

具體地，本文給出一種系統(tǒng)內(nèi)與系統(tǒng)外推演相結(jié)合的方式，如圖2所示。其中，離線訓練以及所需數(shù)據(jù)量較少的在線訓練和推演在系統(tǒng)外進行，所需要數(shù)據(jù)量較大的在線訓練和推演在系統(tǒng)內(nèi)進行。特別地，系統(tǒng)內(nèi)的機器學習推演模型可以由系統(tǒng)外的機器學習訓練機構(gòu)提供，也可以由系統(tǒng)內(nèi)的機器學習在線訓練機構(gòu)提供。

這種網(wǎng)絡(luò)內(nèi)生智的推演的方式，可以更有利于采用機器學習技術(shù)解決無線移動通信系統(tǒng)自身的問題，比如應(yīng)用深度神經(jīng)網(wǎng)絡(luò)模型提升信道估計和信號檢測的性能、應(yīng)用深度強化學習提升鏈路自適應(yīng)的準確性等。目前，正處于6G無線移動網(wǎng)絡(luò)研究的起始階段，也正是研究網(wǎng)絡(luò)內(nèi)生智能的關(guān)鍵階段，因此有必要對網(wǎng)絡(luò)內(nèi)生智能所引發(fā)的相關(guān)問題進行討論，并作為無線網(wǎng)絡(luò)智能化進程中的關(guān)鍵問題持續(xù)展開研究。

3? ?網(wǎng)絡(luò)內(nèi)生智能所引發(fā)的關(guān)鍵問題

3.1? 機器學習模型建模問題

機器學習的發(fā)展主要體現(xiàn)在語音識別、圖像識別等領(lǐng)域，在其中沉淀了大量經(jīng)典的模型與算法。將機器學習引入到無線移動通信系統(tǒng)中，用來解決無線移動通信系統(tǒng)的問題，在最近幾年才凸顯出來。這其中包括兩類機器學習模型建設(shè)方法：黑盒方法和展開方法。黑盒方法可以理解為將現(xiàn)存的、其他非通信領(lǐng)域使用的經(jīng)典機器學習模型直接應(yīng)用到無線移動通信系統(tǒng)的方法，由于機器學習模型中參數(shù)眾多、具體物理意義不清晰，故稱為黑盒方法。展開方法則是依據(jù)對無線移動通信系統(tǒng)的理解，針對現(xiàn)存的無線移動通信系統(tǒng)經(jīng)典模型進行展開，重新構(gòu)建出機器學習模型的方法。

下面以經(jīng)典的ZF和MMSE檢測方法為例，對展開方法進行簡單的說明。ZF和MMSE其檢測矩陣分別表述為：

ZF：（HHH）-1HH ? （1）

MMSE：（HHH+βI ）-1HH? （2）

從經(jīng)典的模型驅(qū)動方法的角度來看，β是噪聲方差與信號方差的比值，在應(yīng)用時需要分別估計噪聲方差和信號方差，或者等效為信噪比估計。而從基于模型展開的數(shù)據(jù)驅(qū)動方法的角度來看，β是一個將ZF和MMSE算法綜合到一起的參數(shù)。ZF和MMSE檢測算法在不同信道環(huán)境以及信噪比情況，其性能表現(xiàn)也不盡相同，通過實際系統(tǒng)所提供的數(shù)據(jù)訓練生成該系數(shù)β，可以使得檢測算法更好地匹配無線信道環(huán)境。文獻[12]給出了一種采用展開方法、構(gòu)建基于深度神經(jīng)網(wǎng)絡(luò)的MIMO檢測器的方法，其將經(jīng)典的迭代檢測方法，通過深度神經(jīng)網(wǎng)絡(luò)進行展開，其中每一次迭代對應(yīng)神經(jīng)網(wǎng)絡(luò)中的一層，由于在每一層中引入了待訓練的參數(shù)，其獲得的模型更精確。

通過展開的方法，獲得新的機器學習模型是目前學術(shù)界進行研究的趨勢之一，但需要注意的是，這種展開方法導致機器學習模型的結(jié)構(gòu)會千變?nèi)f化，而且依舊存在大量的矩陣求逆的操作，雖然性能獲得了提升，但相對于通用的神經(jīng)網(wǎng)絡(luò)模型，其較高的實現(xiàn)復雜度將限制其應(yīng)用場景。

3.2? 機器學習模型部署/更新問題

當機器學習推演機構(gòu)在無線移動通信系統(tǒng)內(nèi)部時，如何進行機器學習模型的部署/更新是一個待研究的問題。

依托深度神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，其發(fā)展出多種經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型，比如DNN、RNN、CNN等。神經(jīng)網(wǎng)絡(luò)主要由神經(jīng)元以及描述神經(jīng)元之間的關(guān)系的參數(shù)構(gòu)成，這為采用參數(shù)傳遞的方式進行機器學習模型部署/更新提供了可能。以DNN為例，描述其模型的主要參數(shù)包括：層數(shù)、每層（包括隱藏層）的神經(jīng)元個數(shù)以及每一個神經(jīng)元的權(quán)重、偏差、激活函數(shù)。

另外一種部署/更新機器學習模型的方法是采用內(nèi)生業(yè)務(wù)部署的方式。簡單地說，可以把機器學習推演模型看作一種應(yīng)用（APP），其模型的部署/更新即APP的下載、安裝過程。相對于前述參數(shù)傳遞方式，采用系統(tǒng)內(nèi)生業(yè)務(wù)的方式可以部署/更新更復雜的模型，并且也有利于模型本身的內(nèi)部結(jié)構(gòu)的保護。

3.3? 如何應(yīng)用強化學習

強化學習是利用與環(huán)境的交互提升決策準確度的方法。在無線移動通信系統(tǒng)中，不同網(wǎng)元（基站、終端等）因其所處的位置不同，從而導致其所面對的環(huán)境千差萬別，并且其所處的環(huán)境也會因為信道的變化、用戶的移動等因素而實時變化。因此，有必要將強化學習引入到無線移動通信系統(tǒng)中，使其更智能、更精確地匹配環(huán)境的變化。

當所要決策的問題是系統(tǒng)中某一局部的問題時，可以直接將強化學習構(gòu)建在其內(nèi)部的解決方案中，但是當所要決策的問題是系統(tǒng)性的問題時，需要系統(tǒng)中的不同網(wǎng)元提供有關(guān)環(huán)境狀態(tài)、回報的信息。具體地，針對某一個系統(tǒng)性的問題，在應(yīng)用強化學習時，至少需要考慮下述相關(guān)內(nèi)容：

◆代理：即決策的主體，它可能位于系統(tǒng)環(huán)境中某一網(wǎng)元。

◆狀態(tài)：系統(tǒng)環(huán)境中所有相關(guān)網(wǎng)元需要向代理提供的用于計算環(huán)境狀態(tài)的信息集合。

◆回報：系統(tǒng)環(huán)境中所有相關(guān)網(wǎng)元需要向代理提供的用于計算回報的信息集合。

◆行動：針對系統(tǒng)環(huán)境中的目標網(wǎng)元或其某具體功能單元，代理可能做出的行動集合。

進一步，借助強化學習的決策機制可以對離線訓練獲得的模型進行在線訓練的控制和更新。

3.4? 網(wǎng)絡(luò)內(nèi)生智能相關(guān)的標準化問題

在采用系統(tǒng)外推演方式時，僅僅要求無線移動通信系統(tǒng)提供可以被機器學習相關(guān)機構(gòu)調(diào)用的接口。而采用系統(tǒng)內(nèi)推演時，結(jié)合前述問題的探討，需要考慮系統(tǒng)內(nèi)不同網(wǎng)元、層之間的標準化問題。比如，當機器學習在線訓練機構(gòu)部署在基站側(cè)，機器學習模型推演單元部署在終端側(cè)時，經(jīng)過空口至少需要傳輸如下信息：

◆機器學習模型描述信息：可以采用參數(shù)傳遞或內(nèi)生業(yè)務(wù)的方式進行傳輸。

◆強化學習相關(guān)的狀態(tài)、回報、行動信息：可以依托現(xiàn)有標準化接口所能提供的信息，但必要時需要進行增加或優(yōu)化。

◆訓練/推演數(shù)據(jù)：應(yīng)盡量使用目前空口所能提供的數(shù)據(jù)進行訓練/推演，但必要時需要進行增加或優(yōu)化。

4? ?結(jié)論

本文針對將機器學習技術(shù)應(yīng)用到無線移動通信系統(tǒng)的必要性與可行性進行了分析。從可行性角度來看，引入機器學習在其工作原理上、訓練數(shù)據(jù)可獲得上以及計算復雜度方面均具有可行性。從必要性來看，其可以解決復雜問題、提高性能和降低成本。進一步，由于采用系統(tǒng)內(nèi)推演的方式，可以降低系統(tǒng)內(nèi)外傳遞的數(shù)據(jù)需求，降低處理時延，從而更有利于采用機器學習技術(shù)解決無線移動通信系統(tǒng)內(nèi)部的問題，因此建議在未來的6G網(wǎng)絡(luò)中構(gòu)建內(nèi)生的智能。

本文對內(nèi)生智能所引發(fā)的關(guān)鍵問題進行了探討，包括機器學習模型建模問題、機器學習模型部署/更新問題、如何應(yīng)用強化學習問題以及標準化問題等。這些問題需要在無線網(wǎng)絡(luò)智能化進程中被持續(xù)關(guān)注和研究。特別地，在標準化方面，由于網(wǎng)絡(luò)內(nèi)生智能將影響不同網(wǎng)元、單元的功能與接口的變化，這將導致無線網(wǎng)絡(luò)架構(gòu)的變革，需重點研究。

參考文獻：

[1] 3GPP. 3GPP TR23.791 V16.2.0： Study of Enablers for Network Automation for 5G （Release 16）[R]. 2019.

[2] 3GPP. 3GPP TS23.288 V16.3.0： Architecture enhancements for 5G System （5GS） to support network data analytics services （Release 16）[S]. 2020.

[3] 3GPP. 3GPP TR28.809 V0.3.0： Study on enhancement of Management Data Analytics （MDA） （Release 17）[R]. 2020.

[4] 3GPP. 3GPP TR37.816. V16.0.0： Study on RAN-centric data collection and utilization for LTE and NR （Release 16）[R]. 2019.

[5] ITU. ITU-T FG-ML5G-ARC5G： Unified architecture for machine learning in 5G and future networks[S]. 2019.

[6] CCSA. CCSA TC5-WG6-2019-045： 人工智能和大數(shù)據(jù)在無線通信中的應(yīng)用研究報告[R]. 2019.

[7] CCSA. CCSA TC5-WG6-2019-025： 移動通信網(wǎng)絡(luò)智能化能力分級研究（送審稿）[R]. 2019.

[8] O-RAN Alliance White Paper. O-RAN Use Cases and Deployment Scenarios towards Open and Smart RAN[R]. 2020.

[9] Y H P， J C X， Q Y. Developing Networks using Artificial Intelligence[M]. Switzerland： Springer Nature Switzerland AG， 2019.

[10] L F L. Machine Learning for Future Wireless Communications[M]. New Jersey： John Wiley & Sons Ltd， 2020.

[11] H R S， D Z G. Applications of Machine Learning?in Wireless Communications （IET TELECOMMUNI?CATIONS SERIES 81）[M]. London： The Institution of Engineering and Technology， 2019.

[12] H H T， W C K， J S. Model-Driven Deep Learning for Joint MIMO Channel Estimation and Signal Detection[EB/OL]. （2019-07-22）[2020-04-18]. https：//arxiv.org/abs/1907.09439v1.

作者簡介

索士強（orcid.org/0000-0002-9869-5466）：高級工程師，碩士畢業(yè)于電信科學技術(shù)研究院，現(xiàn)任職于大唐移動通信設(shè)備有限公司，長期從事無線移動通信系統(tǒng)的新技術(shù)研究、驗證與標準化工作，研究方向為6G及未來新技術(shù)。

王映民：教授級高級工程師，北京郵電大學博士生導師，博士畢業(yè)于西安電子科技大學，現(xiàn)任職于大唐移動通信設(shè)備有限公司，研究方向為移動通信信號處理與無線組網(wǎng)、車聯(lián)網(wǎng)等。