牛煜霞，趙嵩

（中國電信股份有限公司研究院，北京 102209）

0 引言

伴隨著5G 在全球范圍內(nèi)的廣泛部署，業(yè)界已開啟了下一代移動通信技術(shù)（6G）的研究和探索。2019 年3 月，在芬蘭舉行的全球首屆6G 峰會上，70 位來自各國的通信專家共同商議擬訂了全球首份6G 白皮書[1]，明確了6G 發(fā)展的基本方向。在此之后，圍繞6G 概念與愿景、需求與挑戰(zhàn)以及潛在關(guān)鍵技術(shù)等，陸續(xù)發(fā)布了6G 相關(guān)白皮書[2-5]。研究者們普遍認(rèn)為，智能化將是6G 網(wǎng)絡(luò)發(fā)展的重要方向，人工智能（AI）技術(shù)將是6G 網(wǎng)絡(luò)的重要組成部分[5]。

6G 網(wǎng)絡(luò)向智能化方向發(fā)展的關(guān)鍵在于對數(shù)據(jù)的合理采集、處理和應(yīng)用。近年來，大數(shù)據(jù)的出現(xiàn)、AI 技術(shù)的演進以及算力的巨大提升，為6G 的智能化發(fā)展提供了新的驅(qū)動力，與此同時，重視數(shù)據(jù)隱私和數(shù)據(jù)安全也已經(jīng)成為世界性趨勢。傳統(tǒng)的AI 技術(shù)需要中央服務(wù)器進行集中的數(shù)據(jù)收集和處理，但在大多數(shù)場景中由于行業(yè)競爭、數(shù)據(jù)隱私安全等，數(shù)據(jù)以孤島的形式存在，不同數(shù)據(jù)源之間存在著難以打破的壁壘，實現(xiàn)數(shù)據(jù)整合幾乎是不可能的，這也成為6G 網(wǎng)絡(luò)向智能化方向發(fā)展的瓶頸之一。因此，在6G 網(wǎng)絡(luò)智能化演進中如何引入分布式技術(shù)以及可信的AI 技術(shù)，在保證數(shù)據(jù)隱私安全的前提下解決數(shù)據(jù)孤島是一個至關(guān)重要的問題。

近年來，業(yè)界專家將目光聚焦在“聯(lián)邦學(xué)習(xí)”（FL,Federated Learning）這一新興技術(shù)上。它的提出可以很好地解決數(shù)據(jù)孤島問題，使各個參與方借助其他方的數(shù)據(jù)進行聯(lián)合建模，而各參與方之間無需共享原始數(shù)據(jù)資源，從而保護數(shù)據(jù)隱私和數(shù)據(jù)安全[6]。本文以聯(lián)邦學(xué)習(xí)在6G中的部署與應(yīng)用為著眼點，具體分析了聯(lián)邦學(xué)習(xí)在部署與應(yīng)用時所面臨的問題以及挑戰(zhàn)，探討了聯(lián)邦學(xué)習(xí)技術(shù)在面向6G 部署時需要著重關(guān)注的問題和潛在研究方向。下面通過對聯(lián)邦學(xué)習(xí)的原理進行介紹，闡述了在6G 中聯(lián)邦學(xué)習(xí)的標(biāo)準(zhǔn)研究進展，并提出了6G 中聯(lián)邦學(xué)習(xí)的主要研究內(nèi)容和潛在研究方向。

1 聯(lián)邦學(xué)習(xí)概述

聯(lián)邦學(xué)習(xí)的核心是各個參與方可借助其他方的數(shù)據(jù)進行聯(lián)合建模，各參與方無需共享原始數(shù)據(jù)資源，即在數(shù)據(jù)不離開本地的情況下進行數(shù)據(jù)聯(lián)合訓(xùn)練，建立共享的機器學(xué)習(xí)模型，從而可以在滿足數(shù)據(jù)隱私、安全和監(jiān)管要求的前提下解決數(shù)據(jù)孤島問題[6]。

根據(jù)數(shù)據(jù)分布特點的不同，可采取以下不同的聯(lián)邦學(xué)習(xí)方法進行訓(xùn)練[7]：

（1）當(dāng)兩個數(shù)據(jù)集的用戶特征重疊較多而用戶重疊較少時，可以采用橫向聯(lián)邦學(xué)習(xí)方法（見圖1），根據(jù)用戶維度劃分?jǐn)?shù)據(jù)集，并取出雙方用戶特征相同而用戶不完全相同的那部分?jǐn)?shù)據(jù)進行訓(xùn)練；

（2）當(dāng)兩個數(shù)據(jù)集的用戶重疊較多而用戶特征重疊較少時，可以采用縱向聯(lián)邦學(xué)習(xí)方法（見圖2），根據(jù)特征維度劃分?jǐn)?shù)據(jù)集，并取出雙方用戶相同而用戶特征不完全相同的那部分?jǐn)?shù)據(jù)進行訓(xùn)練；

圖2 縱向聯(lián)邦學(xué)習(xí)系統(tǒng)架構(gòu)

（3）當(dāng)兩個數(shù)據(jù)集的用戶與用戶特征重疊都較少時，可以采用聯(lián)邦遷移學(xué)習(xí)方法，不對數(shù)據(jù)進行切分，而是利用遷移學(xué)習(xí)來克服數(shù)據(jù)或標(biāo)簽不足的問題。

聯(lián)邦學(xué)習(xí)是一種分布式人工智能方法。聯(lián)邦學(xué)習(xí)的參與方也是聯(lián)邦學(xué)習(xí)模型訓(xùn)練的數(shù)據(jù)擁有方，各個參與方對其本地數(shù)據(jù)擁有完全的自治權(quán)限，可以自主決定是否加入、何時加入聯(lián)邦學(xué)習(xí)進行建模，并且聯(lián)邦學(xué)習(xí)不會對數(shù)據(jù)和模型本身進行傳輸，而是在加密機制下對參數(shù)進行傳輸。因此，聯(lián)邦學(xué)習(xí)在解決數(shù)據(jù)量大、數(shù)據(jù)匯聚成本高的問題的同時，可以在保證數(shù)據(jù)隱私和數(shù)據(jù)安全的前提下高效地進行聯(lián)合建模。

2 聯(lián)邦學(xué)習(xí)的標(biāo)準(zhǔn)研究進展

6G 智能化發(fā)展的關(guān)鍵在于對數(shù)據(jù)的合理采集、處理和應(yīng)用。但是，由于行業(yè)競爭、數(shù)據(jù)隱私安全等，異廠家、跨地域、跨運營商的數(shù)據(jù)往往以孤島形式存在，難以實現(xiàn)不同數(shù)據(jù)源之間的數(shù)據(jù)整合。為了解決這一問題，業(yè)界專家將目光聚焦在聯(lián)邦學(xué)習(xí)這一新興技術(shù)上，希望能夠在6G 中應(yīng)用聯(lián)邦學(xué)習(xí)技術(shù)，實現(xiàn)移動通信網(wǎng)絡(luò)向智能化方向演進。

目前，在移動通信網(wǎng)領(lǐng)域，3GPP、CCSA 等國內(nèi)外標(biāo)準(zhǔn)組織已經(jīng)開始了對聯(lián)邦學(xué)習(xí)的討論和研究，具體如下[8]：

（1）3GPP SA1 Rel-18 的“人工智能/ 機器學(xué)習(xí)模型傳輸（AMMT,AI/ML Model Transfer）”項目研究了“分布式/聯(lián)邦學(xué)習(xí)”對5GS 的功能需求及KPI 需求，如AI/ML 模型的監(jiān)控需求、傳輸時延需求等[9]；

（2）3GPP SA2 的“網(wǎng)絡(luò)自動化和智能化使能（eNA_Ph2,enabler of Network Automation Phase 2）”項目研究了支持聯(lián)邦學(xué)習(xí)的分布式智能網(wǎng)絡(luò)架構(gòu)，并提出了應(yīng)用場景及解決方案[10]；

（3）CCSA TC5 WG12 的“基于分布式聯(lián)合學(xué)習(xí)的5G 及演進移動通信網(wǎng)關(guān)鍵技術(shù)研究”項目旨在研究面向未來網(wǎng)絡(luò)的聯(lián)邦學(xué)習(xí)技術(shù)體系及架構(gòu)，并提出了應(yīng)用場景及解決方案；

（4）從2021 年第四季度開始，聯(lián)邦學(xué)習(xí)相關(guān)的Rel-18 課題也陸續(xù)在3GPP SA2 和3GPP SA5 中開始討論立項[11-12]。

3 聯(lián)邦學(xué)習(xí)的部署與應(yīng)用

目前，業(yè)界和學(xué)術(shù)界關(guān)于6G 中聯(lián)邦學(xué)習(xí)的研究主要聚焦在兩個方面：一是針對網(wǎng)絡(luò)智能化對移動網(wǎng)架構(gòu)的影響，研究支持聯(lián)邦學(xué)習(xí)的分布式智能化網(wǎng)絡(luò)架構(gòu)；二是針對智能化網(wǎng)絡(luò)架構(gòu)在應(yīng)用和部署方面所面臨的挑戰(zhàn)，研究參與聯(lián)邦學(xué)習(xí)的客戶端選擇和調(diào)度、資源管理和調(diào)度、安全防御和隱私保護等使能技術(shù)，實現(xiàn)聯(lián)邦學(xué)習(xí)技術(shù)在6G 中的應(yīng)用。

3.1 支持聯(lián)邦學(xué)習(xí)的分布式智能化網(wǎng)絡(luò)架構(gòu)

在移動網(wǎng)絡(luò)應(yīng)用場景中，多個網(wǎng)絡(luò)數(shù)據(jù)分析功能（NWDAF,Network Data Analytics Function）可 以 部署在同一個大型公共陸地移動網(wǎng)（PLMN,Public Land Mobile Network）中。從運營商的角度來看，由于行業(yè)競爭、數(shù)據(jù)隱私安全等，異廠家、跨地域、跨運營商的數(shù)據(jù)往往以孤島形式存在，分布在不同區(qū)域的NWDAF 之間數(shù)據(jù)互通開銷巨大，因此負(fù)責(zé)模型訓(xùn)練和數(shù)據(jù)分析的NWDAF 可能只依靠單一區(qū)域的數(shù)據(jù)來進行模型訓(xùn)練和數(shù)據(jù)分析，影響其模型訓(xùn)練和數(shù)據(jù)分析的準(zhǔn)確性[10]。

3GPP SA2 工作組Rel-17 的eNA_Ph2 項目提出了基于聯(lián)邦學(xué)習(xí)的分布式智能網(wǎng)絡(luò)架構(gòu)，試圖將聯(lián)合學(xué)習(xí)融入NWDAF 的分層體系結(jié)構(gòu)中，同一個PLMN 中分層NWDAF 的部署架構(gòu)如圖3 所示[10]。

圖3 同一個PLMN中分層NWDAF的部署架構(gòu)

位于不同區(qū)域的NWDAF 使用自己收集處理的數(shù)據(jù)在本地訓(xùn)練ML 模型，并將模型訓(xùn)練的中間結(jié)果共享給中心NWDAF，然后中心NWDAF 對收到的中間結(jié)果進行聚合，再將聚合的結(jié)果發(fā)送給各個區(qū)域的NWDAF 用于分析推理。其主要思想是基于分布在不同區(qū)域的NWDAF數(shù)據(jù)建立機器學(xué)習(xí)模型，多個NWDAF 之間不需要共享原始數(shù)據(jù)，只需要共享模型訓(xùn)練的中間結(jié)果（如梯度、模型參數(shù)等），使分布在某一地區(qū)的NWDAF 可以與其他NWDAF 共享其模型或數(shù)據(jù)分析結(jié)果，從而解決了不同區(qū)域的NWDAF 數(shù)據(jù)無法集中的問題，在滿足數(shù)據(jù)隱私和數(shù)據(jù)安全的情況下提高了NWDAF 分析的精準(zhǔn)度。

3.2 聯(lián)邦學(xué)習(xí)的使能技術(shù)

下面將列出一些在6G 中應(yīng)用聯(lián)邦學(xué)習(xí)時需要研究的使能技術(shù)，主要包括：參與聯(lián)邦學(xué)習(xí)的客戶端選擇和調(diào)度、資源管理和調(diào)度、安全防御和隱私保護等[13-16]。

（1）客戶端選擇和調(diào)度

聯(lián)邦學(xué)習(xí)的參與方可以是具備不同通信資源、不同計算資源以及不同數(shù)據(jù)分布的異構(gòu)設(shè)備，參與聯(lián)邦學(xué)習(xí)的客戶端設(shè)備上可用的資源量決定了客戶端可以完成的任務(wù)量。因此，為了盡可能地提高聯(lián)邦學(xué)習(xí)的性能，需要設(shè)計合理的客戶端選擇和調(diào)度方法以選擇合適的客戶端，并能夠在客戶端之間合理地分配學(xué)習(xí)任務(wù)，實現(xiàn)最大限度地提高聯(lián)邦學(xué)習(xí)的性能，并盡可能縮短收斂時間為目標(biāo)。

在客戶端選擇和調(diào)度過程中，需要確定參與客戶端的最佳數(shù)量、管理客戶端設(shè)備上有限的資源以及合理地分配任務(wù)的方法。在文獻[14] 中，針對客戶端選擇和資源分配來構(gòu)造優(yōu)化問題，并采用匈牙利算法來解決；而在文獻[15]中，針對信道選擇和資源消耗來構(gòu)造優(yōu)化問題，并采用強化學(xué)習(xí)來解決。以上方法均可以在不顯著降低聯(lián)邦學(xué)習(xí)性能和收斂時間的情況下，盡可能地減少客戶端設(shè)備上的能量和帶寬等方面的資源消耗。其中，能量消耗在模型訓(xùn)練和模型更新上，而帶寬消耗在模型上傳和模型下載上。

（2）資源管理和調(diào)度

在聯(lián)邦學(xué)習(xí)中，模型更新對于優(yōu)化全局模型很重要。為了使聯(lián)邦學(xué)習(xí)得到的模型具有更好的學(xué)習(xí)性能，各個參與方在聯(lián)合建模的過程中，需要進行足夠多輪次的模型訓(xùn)練和模型聚合，尤其是當(dāng)各個參與方的數(shù)據(jù)為非獨立同分布時，需要的模型訓(xùn)練和模型聚合的次數(shù)會更多。

然而，受限于不同的帶寬資源和計算資源等異構(gòu)特性，聯(lián)邦學(xué)習(xí)的參與方之間可能難以進行高效的通信。因此，為了提高聯(lián)邦學(xué)習(xí)參與方之間的通信效率，需要考慮帶寬資源、計算資源、能量狀態(tài)等的資源管理和任務(wù)調(diào)度方法。文獻[16] 提出了基于隨機梯度下降算法來減少模型訓(xùn)練和模型聚合的輪次，而文獻[17] 提出了一種梯度壓縮方法來壓縮模型上傳和模型下載的通信內(nèi)容，這些方法都可以在一定程度上提升通信效率。

（3）安全防御和隱私保護

聯(lián)邦學(xué)習(xí)的參與方使用本地數(shù)據(jù)來訓(xùn)練機器學(xué)習(xí)模型，每一個參與方擁有的數(shù)據(jù)都不會離開該參與方，只將訓(xùn)練的中間結(jié)果（如模型權(quán)重、梯度等）以加密方式與其他參與方共享，以保護數(shù)據(jù)隱私和數(shù)據(jù)安全。

但是，傳遞的中間結(jié)果仍然可能遭到攻擊，即根據(jù)獲得的中間結(jié)果推測出其他參與方的原始數(shù)據(jù)。在文獻[18] 中，采用輕量級加法同態(tài)加密技術(shù)和差分隱私技術(shù)相結(jié)合的方式避免了原始數(shù)據(jù)的泄露，同時提高了聯(lián)邦學(xué)習(xí)的效率和準(zhǔn)確性。

4 聯(lián)邦學(xué)習(xí)的部署與應(yīng)用思考

6G 對網(wǎng)絡(luò)智能化、隱私保護以及數(shù)據(jù)安全具有更高的要求，聯(lián)邦學(xué)習(xí)得益于其隱私保護等特性，成為了6G潛在的關(guān)鍵技術(shù)之一。它允許各參與方在進行機器學(xué)習(xí)的過程中借助其他參與方數(shù)據(jù)進行聯(lián)合建模，而各參與方之間無需共享原始數(shù)據(jù)資源，從而可以保護數(shù)據(jù)隱私和數(shù)據(jù)安全。

4.1 聯(lián)邦學(xué)習(xí)在6G領(lǐng)域中的挑戰(zhàn)

與5G 相比，6G 具有更高的傳輸速率、更低的傳輸延遲以及更高的連接密度，可以為用戶提供更高質(zhì)量的服務(wù)。在6G 領(lǐng)域中部署應(yīng)用聯(lián)邦學(xué)習(xí)時，需要滿足6G網(wǎng)絡(luò)高傳輸速率、低傳輸時延以及大規(guī)模連接的要求。

為了滿足上述要求，當(dāng)聯(lián)邦學(xué)習(xí)在6G 中廣泛部署應(yīng)用時，高效的模型訓(xùn)練和模型傳輸是必要的。然而，由于數(shù)據(jù)分布、設(shè)備分布、計算方法、通信機制的不同會對訓(xùn)練效率和通信效率有不同的影響，因此對于聯(lián)邦學(xué)習(xí)系統(tǒng)來說，6G 的大規(guī)模異構(gòu)特性會給聯(lián)邦學(xué)習(xí)實現(xiàn)高效的模型訓(xùn)練和模型傳輸帶來一定的挑戰(zhàn)，比如：如何解決聯(lián)邦學(xué)習(xí)各個參與方之間的非同步問題、如何提高聯(lián)邦學(xué)習(xí)各個參與方之間的通信效率以及如何降低聯(lián)邦學(xué)習(xí)各個參與方之間的通信成本等。

此外，在實際應(yīng)用中，聯(lián)邦學(xué)習(xí)系統(tǒng)的眾多參與者中可能存在不可靠的設(shè)備，這些設(shè)備可能會因為自身計算資源和通信資源的消耗而選擇退出聯(lián)邦學(xué)習(xí)任務(wù)，也可能會因為數(shù)據(jù)安全和隱私保護問題而選擇退出聯(lián)邦學(xué)習(xí)任務(wù)，因此如何鼓勵它們參與到聯(lián)邦學(xué)習(xí)任務(wù)中并分享它們的模型也是一大挑戰(zhàn)。

4.2 聯(lián)邦學(xué)習(xí)在6G領(lǐng)域應(yīng)用的其他思考

為了應(yīng)對上述挑戰(zhàn)，在6G 移動通信網(wǎng)中支持聯(lián)邦學(xué)習(xí)，下面將列出一些用來實現(xiàn)通信高效、數(shù)據(jù)安全和隱私增強的聯(lián)邦學(xué)習(xí)方法，主要包括分層聯(lián)邦學(xué)習(xí)框架和聯(lián)邦學(xué)習(xí)激勵機制。

（1）分層聯(lián)邦學(xué)習(xí)框架

在聯(lián)邦學(xué)習(xí)的實際應(yīng)用過程中，由于各個參與方之間的非同步特性，聯(lián)邦學(xué)習(xí)系統(tǒng)需要等待各個參與方都完成訓(xùn)練之后才能進行模型融合，等待時間過長會造成時間資源和計算資源的浪費。此外，在聯(lián)邦學(xué)習(xí)中，為了使得到的模型具有更好的性能，需要進行足夠多輪次的模型訓(xùn)練和模型聚合，頻繁的模型訓(xùn)練和模型聚合會給網(wǎng)絡(luò)帶來巨大的開銷及沉重的負(fù)擔(dān)。因此，如何提高通信效率以及降低通信成本是聯(lián)邦學(xué)習(xí)在6G 中應(yīng)用的一項重要挑戰(zhàn)。

在文獻[16] 和[17] 中，通過減少模型聚合輪次或者壓縮每輪模型聚合的通信內(nèi)容，可以在一定程度上提升通信效率，但模型精度和收斂速度等學(xué)習(xí)性能可能會受到影響。為了提升聯(lián)邦學(xué)習(xí)系統(tǒng)的通信效率，文獻[19]提出了一種分層聯(lián)邦學(xué)習(xí)框架，此框架分為上下兩層，由數(shù)據(jù)擁有方（參與方）、分簇簇頭和中央控制節(jié)點構(gòu)成。其中，下層由參與方和分簇簇頭構(gòu)成，參與方可以自由選擇加入哪一個分簇，簇頭用來支持對參與方中間結(jié)果進行聚合；上層由分簇簇頭和中央控制節(jié)點構(gòu)成，分簇簇頭可以選擇為一個中央控制節(jié)點服務(wù)。

分層聯(lián)邦學(xué)習(xí)框架減少了對中央控制節(jié)點的依賴，但仍有一些問題需要做進一步研究，如分簇簇頭選擇方法的影響因素等。

（2）聯(lián)邦學(xué)習(xí)激勵機制

聯(lián)邦學(xué)習(xí)的價值在于打破數(shù)據(jù)孤島，通過鼓勵具有相同數(shù)據(jù)結(jié)構(gòu)或不同數(shù)據(jù)結(jié)構(gòu)的多個客戶端共同參與訓(xùn)練，提高模型的整體效果。然而，在實際應(yīng)用中，客戶端參與聯(lián)邦學(xué)習(xí)任務(wù)時不可避免地會面臨通信、計算等資源消耗的問題，還會面臨數(shù)據(jù)安全和隱私保護的問題，如果沒有足夠的吸引條件，客戶端可能不愿意參與到聯(lián)邦學(xué)習(xí)任務(wù)中分享他們的模型。

在文獻[20] 中，介紹了收益分享博弈方法和反向拍賣方法，這兩種方法均可用于開發(fā)聯(lián)邦學(xué)習(xí)的激勵機制和激勵分配方法，根據(jù)不同參與方的貢獻程度公平公正地分配獎勵給參與方，可以提高參與方的貢獻熱情，其中參與方的貢獻可以依據(jù)數(shù)據(jù)質(zhì)量和數(shù)據(jù)量來評價。在文獻[21] 中，提出了一種公平的聯(lián)邦學(xué)習(xí)激勵方案，最小化各參與方之間的不平等對待，吸引具有高質(zhì)量數(shù)據(jù)的參與方向聯(lián)邦貢獻數(shù)據(jù)；在文獻[22] 中，提出了一種基于博弈論和深度強化學(xué)習(xí)的聯(lián)邦學(xué)習(xí)激勵機制，鼓勵參與方向聯(lián)邦貢獻更多的數(shù)據(jù)。

目前聯(lián)邦學(xué)習(xí)激勵機制的研究尚處于起步階段，如何估計參與方加入聯(lián)邦學(xué)習(xí)任務(wù)的成本以及參與方對聯(lián)邦學(xué)習(xí)任務(wù)的貢獻等問題仍有待研究。

5 結(jié)束語

本文基于聯(lián)邦學(xué)習(xí)的技術(shù)原理，對其在6G 中的部署及應(yīng)用進行分析，探討了基于聯(lián)邦學(xué)習(xí)的分布式智能網(wǎng)絡(luò)架構(gòu)研究以及聯(lián)邦學(xué)習(xí)的使能技術(shù)。除此之外，本文還對聯(lián)邦學(xué)習(xí)在6G 中的標(biāo)準(zhǔn)研究進展、部署及應(yīng)用時可能面臨的問題進行了分析，并闡明了需要關(guān)注的研究重點和潛在研究方向。