周傳鑫，孫奕，汪德剛，葛樺瑋

聯(lián)邦學習研究綜述

周傳鑫，孫奕，汪德剛，葛樺瑋

（信息工程大學，河南 鄭州 450001）

聯(lián)邦學習由于能夠在多方數(shù)據(jù)源聚合的場景下協(xié)同訓練全局最優(yōu)模型，近年來迅速成為安全機器學習領(lǐng)域的研究熱點。首先，歸納了聯(lián)邦學習定義、算法原理和分類；接著，深入分析了其面臨的主要威脅與挑戰(zhàn)；然后，重點對通信效率、隱私安全、信任與激勵機制3個方向的典型研究方案對比分析，指出其優(yōu)缺點；最后，結(jié)合邊緣計算、區(qū)塊鏈、5G等新興技術(shù)對聯(lián)邦學習的應(yīng)用前景及研究熱點進行展望。

聯(lián)邦學習；隱私保護；區(qū)塊鏈；邊緣計算

1 引言

隨著計算機算力的提升，機器學習作為海量數(shù)據(jù)的分析處理技術(shù)，已經(jīng)廣泛服務(wù)于人類社會。然而，機器學習技術(shù)的發(fā)展過程中面臨兩大挑戰(zhàn)：一是數(shù)據(jù)安全難以得到保障，隱私數(shù)據(jù)泄露問題亟待解決；二是網(wǎng)絡(luò)安全隔離和行業(yè)隱私，不同行業(yè)、部門之間存在數(shù)據(jù)壁壘，導致數(shù)據(jù)形成“孤島”無法安全共享[1]，而僅憑各部門獨立數(shù)據(jù)訓練的機器學習模型性能無法達到全局最優(yōu)化。

為了解決以上問題，谷歌提出聯(lián)邦學習[2]（FL，federated learning）技術(shù)，其通過將機器學習的數(shù)據(jù)存儲和模型訓練階段轉(zhuǎn)移至本地用戶，僅與中心服務(wù)器交互模型更新的方式有效保障了用戶的隱私安全。作為網(wǎng)絡(luò)安全領(lǐng)域新的研究熱點，聯(lián)邦學習吸引了大量關(guān)注與研究。為了更加深入地展開研究，本文主要對現(xiàn)有研究成果做初步的梳理和總結(jié)，對典型方案進行詳細分析與比較，指出它們的優(yōu)勢與不足，并結(jié)合邊緣計算、區(qū)塊鏈、5G等新興技術(shù)對聯(lián)邦學習的應(yīng)用前景和研究熱點進行展望[3]。

2 聯(lián)邦學習基本概念

2.1 聯(lián)邦學習

傳統(tǒng)的機器學習算法需要用戶將源數(shù)據(jù)上傳到高算力的云服務(wù)器上集中訓練，這種方式導致了數(shù)據(jù)流向的不可控和敏感數(shù)據(jù)泄露問題。Mcmahan等在2016年提出聯(lián)邦學習技術(shù)[2]，允許用戶在機器學習過程中既可以保護用戶隱私，又能夠無須源數(shù)據(jù)聚合形成訓練數(shù)據(jù)共享。

聯(lián)邦學習本質(zhì)上是一種分布式的機器學習技術(shù)，其流程如圖1所示。

圖1 聯(lián)邦學習流程

Figure 1 Process of federated learning

客戶端（如平板電腦、手機、物聯(lián)網(wǎng)設(shè)備）在中心服務(wù)器（如服務(wù)提供商）的協(xié)調(diào)下共同訓練模型，其中客戶端負責訓練本地數(shù)據(jù)得到本地模型（local model）。中心服務(wù)器負責加權(quán)聚合本地模型，得到全局模型（global model），經(jīng)過多輪迭代后最終得到一個趨近于集中式機器學習結(jié)果的模型，有效地降低了傳統(tǒng)機器學習源數(shù)據(jù)聚合帶來的許多隱私風險。

聯(lián)邦學習的一次迭代過程如下。

（3）各方客戶端上傳本地模型更新到中心服務(wù)器。

綜上，聯(lián)邦學習技術(shù)具有以下幾個特點。①參與聯(lián)邦學習的原始數(shù)據(jù)都保留在本地客戶端，與中心服務(wù)器交互的只是模型更新信息。②聯(lián)邦學習的參與方聯(lián)合訓練出的模型將被各方共享。③聯(lián)邦學習最終的模型精度與集中式機器學習相似。④聯(lián)邦學習參與方的訓練數(shù)據(jù)質(zhì)量越高，全局模型精度越高。

2.2 聯(lián)邦學習算法原理

典型的聯(lián)邦學習場景是在本地客戶端設(shè)備負責存儲和處理數(shù)據(jù)的約束下，只上傳模型更新的梯度信息，在數(shù)千萬到數(shù)百萬個客戶端設(shè)備上訓練單個全局模型。中心服務(wù)器的目標函數(shù)()通常表現(xiàn)為

第輪通信中心服務(wù)器的模型聚合更新如下：

2.3 聯(lián)邦學習分類

2.3.1 橫向聯(lián)邦學習

橫向聯(lián)邦學習的特點是數(shù)據(jù)集特征和標簽信息相同，但樣本ID不同，其公式表達如下。

橫向聯(lián)邦學習如圖2所示，表示數(shù)據(jù)集實例。

Figure 2 Horizontal federated learning

在用戶輸入法數(shù)據(jù)上訓練的下一詞預(yù)測模型[6]是典型的橫向聯(lián)邦學習應(yīng)用。不同的手機用戶具有相同的數(shù)據(jù)特征，數(shù)百萬個安卓手機在云服務(wù)器的協(xié)調(diào)下訓練共享的全局模型，其本質(zhì)是將多方對不同目標的相同特征描述進行訓練提取。

然而，在模型訓練過程中，客戶端數(shù)量較多，往往容易發(fā)生客戶端惡意連接企圖竊取信息，Li等[7]對此提出基于檢測的方法拒絕惡意客戶端的接入。同時，該方式需要考慮服務(wù)器對客戶端模型信息的可見性，針對不可信服務(wù)器，Bonawitz等[8-9]引入安全多方計算來保護客戶端更新的隱私性。

2.3.2 縱向聯(lián)邦學習

縱向聯(lián)邦學習的特點是各數(shù)據(jù)集特征和標簽信息不同，但樣本ID信息相同，其公式表達如下。

圖3 縱向聯(lián)邦學習

Figure 3 Vertical federated learning

縱向聯(lián)邦學習中一方掌握訓練的標簽信息，各方通過輸入特征信息，得到縱向全局模型。其典型應(yīng)用場景如同一地區(qū)的銀行和電商平臺：銀行擁有當?shù)赜脩舻氖罩в涗?，電商平臺擁有用戶的消費記錄和瀏覽記錄2，雙方想通過數(shù)據(jù)聯(lián)合對客戶信用進行評級，從而提供更個性化的服務(wù)，其本質(zhì)是將多方對相同目標的不同特征描述進行訓練提取。為防止縱向聯(lián)邦學習中惡意用戶推測出他方私有用戶數(shù)據(jù)，Cheng等[10]通過RSA和哈希函數(shù)確保參與訓練的各方只能獲得基于各方共有用戶特征訓練得到的模型。

2.3.3 聯(lián)邦遷移學習

聯(lián)邦遷移學習的特點是數(shù)據(jù)集特征、標簽信息和樣本ID信息都不同，其公式表達如下：

Figure 4 Federated transfer learning

聯(lián)邦遷移學習被用于解決標簽樣本少和數(shù)據(jù)集不足的問題[5]，如中國的電商平臺與其他國家銀行之間的數(shù)據(jù)遷移，由于跨部門跨國的數(shù)據(jù)交流很難實現(xiàn)，通過聯(lián)邦遷移學習可以很好地解決這類痛點問題。

3 聯(lián)邦學習存在的威脅與挑戰(zhàn)

自聯(lián)邦學習的概念提出后，其迅速得到了學術(shù)界廣泛的關(guān)注與研究，但是目前這一研究方向仍有許多威脅與挑戰(zhàn)亟待解決，其中，最核心的問題包括通信效率短板明顯、隱私安全仍有缺陷、缺乏信任與激勵機制，這些問題極大地限制了聯(lián)邦學習的進一步發(fā)展與應(yīng)用。

3.1 通信效率短板明顯

在聯(lián)邦學習網(wǎng)絡(luò)中，服務(wù)器與遠程客戶端之間往往需要進行不斷的通信來交互模型更新信息，動輒萬計的客戶端很容易對通信網(wǎng)絡(luò)造成巨大的帶寬負擔。通常，全局模型訓練時間分為數(shù)據(jù)處理時間和通信傳輸時間兩部分，而隨著計算機設(shè)備算力的提升，數(shù)據(jù)處理時間不斷降低，聯(lián)邦學習的通信傳輸效率變成限制其訓練速度的主要因素[11]。

綜上，聯(lián)邦學習的通信效率優(yōu)化具有重要的研究意義。通常改進方案有兩個目標：減少每輪通信傳輸?shù)臄?shù)據(jù)大?。粶p少模型訓練的總輪數(shù)。目前，改進通信效率方案主要是通過優(yōu)化聯(lián)邦學習框架算法、壓縮模型更新和采用分層分級的訓練架構(gòu)。這些方案一定限度上提升了聯(lián)邦學習模型訓練速度、減小了數(shù)據(jù)通信量，對聯(lián)邦學習技術(shù)的完善具有重大意義，但現(xiàn)階段仍然存在許多難以解決的問題。例如，優(yōu)化算法在處理Non-IID數(shù)據(jù)時相對于處理IID數(shù)據(jù)的時間開銷成倍增長[2]；壓縮算法雖然能夠顯著降低通信數(shù)據(jù)大小，但同時會嚴重影響模型精度，在通信效率和模型精度之間的平衡成為挑戰(zhàn)[11,13]；分層分級的訓練架構(gòu)也不適合于所有的聯(lián)邦學習場景，有時這種物理結(jié)構(gòu)并不存在。

3.2 隱私安全仍有缺陷

聯(lián)邦學習通過源數(shù)據(jù)不出本地而僅交互模型更新（如梯度信息）的方式來保護用戶的敏感數(shù)據(jù)，開創(chuàng)了數(shù)據(jù)安全的新范式。理想情況下，聯(lián)邦學習中客戶端通過訓練源數(shù)據(jù)上傳本地模型，服務(wù)器僅負責聚合和分發(fā)每輪迭代形成的全局模型。然而，在真實的網(wǎng)絡(luò)環(huán)境中，模型反演攻擊、成員推理攻擊、模型推理攻擊層出不窮，參與訓練的客戶端動機難以判斷，中心服務(wù)器的可信程度難以保證，僅通過模型更新來保護用戶隱私的方式顯然是不夠的。

研究表明，梯度信息會泄露用戶的隱私數(shù)據(jù)[14-20]，攻擊者可以通過客戶端上傳的梯度信息間接推出標簽信息和數(shù)據(jù)集的成員信息。Carlini等[15]從訓練用戶語言數(shù)據(jù)的遞歸神經(jīng)網(wǎng)絡(luò)中提取出了用戶的敏感數(shù)據(jù)，如特定的銀行卡號。Fredrikson等[16]研究了如何從模型信息中竊取數(shù)據(jù)隱私，并通過藥量預(yù)測實驗實現(xiàn)了對線性回歸模型的反演攻擊，獲得了患者的敏感信息。Hitaj等[18]用生成對抗網(wǎng)絡(luò)（GAN）對模型聚合發(fā)起攻擊，實驗結(jié)果表明，惡意客戶端能夠通過產(chǎn)生相似的本地模型更新來竊取用戶數(shù)據(jù)隱私。Gei等[19]證明了從梯度信息重建輸入數(shù)據(jù)的可行性與深度網(wǎng)絡(luò)架構(gòu)無關(guān)，并將一批輸入圖像用余弦相似度和對抗攻擊的方法恢復出來。

如圖5所示，聯(lián)邦學習主要存在3種威脅：惡意客戶端修改模型更新，破壞全局模型聚合；惡意分析者通過對模型更新信息的分析推測源數(shù)據(jù)隱私信息；惡意服務(wù)器企圖獲得客戶端的源數(shù)據(jù)。針對以上威脅，增強聯(lián)邦學習隱私安全性的主流方案與經(jīng)典機器學習隱私保護技術(shù)結(jié)合，包括差分隱私（DP，differential privacy）、安全多方計算（MPC，secure multi-party computation）、同態(tài)加密（HE，homomorphic encryption）等技術(shù)[20]。大量的研究表明，聯(lián)邦學習與這些隱私保護技術(shù)的結(jié)合能夠提供足夠強的安全性，但仍然存在一些問題需要解決。例如，與差分隱私的結(jié)合在較少客戶端參與的聯(lián)邦學習中，模型精度受到較大的影響，雖然在大量客戶端參與時能夠通過模型加權(quán)平均抵消噪聲誤差，但算法中包含的大量超參數(shù)仍然限制了進一步的應(yīng)用[21-22]；與安全多方計算和同態(tài)加密技術(shù)的結(jié)合能夠提供無損全局模型的構(gòu)建，但同時會造成較大的通信開銷[21-23]，如何平衡通信負擔和模型安全是一個相當大的挑戰(zhàn)。

圖5 聯(lián)邦學習中的安全威脅

Figure 5 Security threats in federated learning

3.3 缺乏信任與激勵機制

聯(lián)邦學習為現(xiàn)代社會建立了一個數(shù)據(jù)安全共享的架構(gòu)，在未來萬物互聯(lián)的場景中，不同的機構(gòu)、部門之間的數(shù)據(jù)聯(lián)合會形成一個巨大的聯(lián)邦學習聯(lián)盟，旨在構(gòu)建基于大數(shù)據(jù)和多特征融合的智能分析決策模型。但是，數(shù)據(jù)聯(lián)盟需要吸引大量客戶端參與到訓練過程中，沒有高效的激勵機制很難吸引足夠的訓練數(shù)據(jù)，無法保證最終的智能模型質(zhì)量；另外，聯(lián)邦學習并沒有針對客戶端的信任機制，對于客戶端的信譽沒有統(tǒng)一的分數(shù)評價，這嚴重影響了對優(yōu)質(zhì)客戶端的選擇，從而導致全局模型精度降低。

針對以上問題，學術(shù)界通過結(jié)合區(qū)塊鏈技術(shù)做出了大量研究。區(qū)塊鏈是比特幣的底層技術(shù)，它作為一種安全可靠、不可篡改和支持查詢驗證的分布式分類賬，被應(yīng)用于解決各類數(shù)據(jù)安全存儲和信任問題[26-27]。聯(lián)邦學習通過集成區(qū)塊鏈能夠以一種安全、高度抗中斷和可審計的方式記錄其模型更新，為系統(tǒng)框架提供可問責性和不可否認性。同時，區(qū)塊鏈的激勵機制作為一種經(jīng)濟回報能夠根據(jù)構(gòu)建模型時客戶端的貢獻給予相應(yīng)的獎勵。

4 聯(lián)邦學習技術(shù)研究進展

針對聯(lián)邦學習中存在的威脅與挑戰(zhàn)，目前已經(jīng)存在許多解決方案，本節(jié)對大量文獻進行總結(jié)，分別就聯(lián)邦學習的通信效率、隱私安全、信任與激勵機制3方面展開研究。

4.1 通信效率

目前的研究中針對通信效率的改進主要有以下3種方法。

（1）算法優(yōu)化：開發(fā)適合處理Non-IID和非平衡分布數(shù)據(jù)的模型訓練算法，減少用于傳輸?shù)哪Ｐ蛿?shù)據(jù)大小，加快模型訓練的收斂速度。

（2）壓縮：壓縮能夠有效降低通信數(shù)據(jù)大小，但對數(shù)據(jù)的壓縮會導致部分信息的丟失，此類方法需要在模型精度和通信效率之間尋找最佳的平衡。

（3）分散訓練：將聯(lián)邦學習框架分層分級，降低中心服務(wù)器的通信負擔。

在大多數(shù)情況下，這幾種方法是相輔相成的，通過特定的方法把這幾種方案結(jié)合是研究的熱點方向[28-29]。表1給出現(xiàn)有通信效率算法的性能比較。

4.1.1 算法優(yōu)化

算法優(yōu)化是對分布式機器學習框架的改進，使該框架更適用于海量客戶端、高頻率、低容量、數(shù)據(jù)特征不均的聯(lián)邦學習環(huán)境，實現(xiàn)通信輪數(shù)和模型更新數(shù)據(jù)的減少。

在分布式計算框架中，客戶端每運行一次SGD算法訓練，機器學習模型就會向中心服務(wù)器上傳本輪產(chǎn)生的本地模型更新。但是，頻繁的通信交互會對參與訓練各方造成不必要的通信負擔。McMahan等[2]針對聯(lián)邦學習的低帶寬環(huán)境提出FedAvg算法，要求客戶端在本地多次執(zhí)行SGD算法，然后與中心服務(wù)器交互模型更新，實現(xiàn)用更少的通信輪數(shù)訓練出相同精度的模型。相比于基準算法FedSGD[30]，其在訓練不同神經(jīng)網(wǎng)絡(luò)的通信輪數(shù)上減少了1%～10%，但該算法對于非凸問題沒有收斂保證，在非IID數(shù)據(jù)集上難以收斂[31]。

除了對最初的FedAvg算法的各種改進以外，在客戶端或者服務(wù)器上增加篩選算法也是研究方向之一。Wang等[12]認為客戶端上傳的本地模型更新中含有大量的冗余和不相關(guān)信息，嚴重占用通信帶寬，因此提出CMFL算法，該算法要求客戶端篩選本地模型更新與上一輪全局模型的相關(guān)度，通過模型梯度正負符號相同的百分比來避免上傳達不到閾值要求的本地模型更新，實現(xiàn)通信開銷的降低，但該算法建立在客戶端按照協(xié)議執(zhí)行的基礎(chǔ)上，系統(tǒng)的魯棒性較弱。Jiang等[36]提出了BACombo算法，利用gossip協(xié)議和epsilon- greedy算法檢查客戶端之間隨時間變化的平均帶寬，最大限度地利用帶寬容量，進而加快收斂速度。

4.1.2 壓縮

壓縮方案通常分為兩種：梯度壓縮和全局模型壓縮。通常情況下，梯度壓縮相比于全局模型壓縮對通信效率的影響更大，因為互聯(lián)網(wǎng)環(huán)境中上行鏈路速度比下載鏈路速度慢得多，交互通信的時間主要集中在梯度數(shù)據(jù)上傳階段。

橫向聯(lián)邦學習中往往有大量的本地客戶端，很難保證每個客戶端都擁有穩(wěn)定可靠的網(wǎng)絡(luò)連接，低質(zhì)量的通信會嚴重降低通信速度。Kone?ny等[11]提出針對本地模型的結(jié)構(gòu)化更新和草圖更新算法，客戶端被要求在一個低秩或隨機掩碼后的有限空間中進行模型學習，然后草圖更新算法對模型更新進行量化、隨機旋轉(zhuǎn)和子采樣等壓縮操作，該方案被證明在SGD迭代方面顯著減慢了收斂速度。在上述基礎(chǔ)上，Caldas等[13]將該方法應(yīng)用于對全局模型更新的壓縮中，同時提出Federated Dropout思想優(yōu)化模型更新，中心服務(wù)器隨機選擇全局模型的更小子集并采用量化、隨機旋轉(zhuǎn)和子采樣等壓縮操作，客戶端接收到全局模型后解壓縮并進行本地模型訓練，從而減少了聯(lián)邦學習對客戶端設(shè)備資源的影響，允許培訓更高容量的模型，并接觸到更多樣化的用戶。Reisizadeh等[37]選擇將算法優(yōu)化與壓縮的思路結(jié)合起來，其提出的FedPAQ算法要求服務(wù)器只選擇一小部分客戶端參與訓練，同時客戶端減少上傳本地模型次數(shù)并在上傳之前進行量化更新操作減小通信量。

表1 通信效率算法的性能比較

注：以FedAvg為基準，算法性能大于3倍為強壓縮，小于3倍為弱壓縮，“√”表示通信效率算法的類別。

但是，上述算法采取的都是固定閾值的壓縮通信，這種方式在客戶端之間模型更新差異較大時顯得并不合理。對此，Lu等[38]提出自適應(yīng)閾值梯度壓縮算法，客戶端通過判斷梯度變化，計算得到適當?shù)拈撝涤糜趬嚎s通信，同時保證模型的性能損失較小。

另外，現(xiàn)有的大部分壓縮方法只在呈IID分布的客戶端數(shù)據(jù)下表現(xiàn)良好，這些方法并不適合聯(lián)邦學習場景。對此，Sattler等[31]提出一種新的稀疏三元壓縮（STC）框架，STC擴展了現(xiàn)有的top-梯度稀疏化壓縮技術(shù)，通過Golomb無損編碼壓縮聯(lián)邦框架交互的模型更新，使算法更適用于高頻率低容量的聯(lián)邦學習環(huán)境，同時保證了在大量客戶端參與下的魯棒性。

4.1.3 分散訓練

在聯(lián)邦學習中，通信拓撲通常是星形拓撲，但這往往會造成中心服務(wù)器的通信成本太大，分散拓撲（客戶端只與它們的鄰居通信）可以作為一種替代方案，如圖6所示。在低帶寬或高時延網(wǎng)絡(luò)上運行時，分散拓撲被證明比星形拓撲訓練速度更快[32-40]。聯(lián)邦學習的分散拓撲[41-44]先設(shè)定邊緣服務(wù)器聚合來自客戶端設(shè)備的本地更新，然后邊緣服務(wù)器充當客戶端的角色與中心服務(wù)器交互。例如，Sharma等[43]構(gòu)建了一個多層分布式計算防御框架，通過數(shù)據(jù)層、邊緣層、霧層和云層的協(xié)同決策，解決海量數(shù)據(jù)集中傳輸?shù)膯栴}。通過這種分層通信的方法可以有效降低中央服務(wù)器的通信負擔，但它并不適用于所有的場景，因為這種物理層次可能不存在，也不可能預(yù)先知道。

4.2 隱私安全

為解決聯(lián)邦學習中暴露的隱私泄露問題，學術(shù)界做了大量研究來增強隱私安全性。根據(jù)隱私保護細粒度的不同，聯(lián)邦學習的隱私安全被分為全局隱私（global privacy）和本地隱私（local privacy），如圖7所示。全局隱私假定中心服務(wù)器是安全可信任的，即每輪通信的模型更新中心服務(wù)器可見。本地隱私假定中心服務(wù)器同樣可能存在惡意行為，因此本地模型更新在上傳到中心服務(wù)器之前需要進行加密處理。表2為改進聯(lián)邦學習隱私安全性的算法對比。

圖6 兩種不同的網(wǎng)絡(luò)拓撲結(jié)構(gòu)

Figure 6 Two different network topologies

圖7 兩種不同的隱私保護方案

Figure 7 Two different privacy protection schemes

表2 改進聯(lián)邦學習隱私安全性的算法對比

4.2.1 典型隱私保護技術(shù)

現(xiàn)有的方案主要通過結(jié)合典型隱私保護技術(shù)來提供進一步的隱私增強，如差分隱私、安全多方計算、同態(tài)加密等技術(shù)，這些技術(shù)在之前的研究中已經(jīng)被廣泛應(yīng)用于傳統(tǒng)機器學習的隱私保護[45]。

定義1 差分隱私。設(shè)隨機化算法A，對于兩個至多有一條數(shù)據(jù)不同的數(shù)據(jù)集和以及任意可能的輸出，若算法A滿足

Dwork等[46]于2006年提出差分隱私概念，并使用嚴格的數(shù)學推導給出了安全性證明。通常差分隱私算法的噪聲機制分為指數(shù)噪聲、Laplace噪聲和高斯噪聲，其中，指數(shù)噪聲主要用于處理離散數(shù)據(jù)集，Laplace噪聲和高斯噪聲主要用于處理連續(xù)數(shù)據(jù)集。

安全多方計算的研究焦點是在沒有可信第三方的條件下，參與訓練各方安全計算的一個共同的約束函數(shù)。姚期智[49]于1983年提出安全多方計算的概念，通過混淆電路、不經(jīng)意傳輸、秘密分享等技術(shù)實現(xiàn)多方共同運算，并確保各方數(shù)據(jù)的安全性。

則稱該加密算法滿足同態(tài)加密。同態(tài)加密能夠直接對密文數(shù)據(jù)進行密碼學運算，最終運算結(jié)果經(jīng)解密后與在明文上直接運算結(jié)果一致。Rivest等[50]于1978年提出同態(tài)加密概念。同態(tài)加密分為全同態(tài)加密和部分同態(tài)加密，其中部分同態(tài)加密分為乘法同態(tài)和加法同態(tài)，若一個算法既滿足乘法同態(tài)又滿足加法同態(tài)，則稱為全同態(tài)加密算法。

4.2.2 全局隱私

在全局隱私中，假設(shè)存在一個受信任的服務(wù)器，外部敵手可能是惡意客戶端、分析師、使用學習模型的設(shè)備或它們的任何組合。惡意客戶端可以從中心服務(wù)器接收到它們參與輪的所有模型迭代信息，分析師可以在不同的訓練輪中使用不同的超參數(shù)來研究模型迭代信息。因此，對中間迭代過程和最終模型進行嚴格的加密保護十分重要。

在聯(lián)邦學習進程中，惡意客戶端能夠通過對分布式模型的分析，獲得客戶端在訓練過程中的貢獻及數(shù)據(jù)集信息。Geyer等[21]提出一種針對客戶端的差分隱私保護聯(lián)邦優(yōu)化算法，實現(xiàn)了對模型訓練期間客戶端貢獻的隱藏，在有足夠多客戶端參與的情況下，能夠以較小的模型性能成本來達到用戶級差分隱私。McMahan等[22]同樣使用差分隱私加密全局模型更新，證明了如果參與聯(lián)邦學習的客戶端數(shù)量足夠多，對模型更新信息的加密就會以增加計算量為代價而不會降低模型精度。Bhowmick等[14]利用差分隱私技術(shù)，通過限制潛在對手的能力，提供同等隱私保護程度的同時保證了更好的模型性能。

但是，上述方案中都存在許多影響通信效率和精度的超參數(shù)，用戶必須謹慎選擇才能達到預(yù)期效果。Thakkar等[51]針對這個缺點提出自適應(yīng)梯度裁剪策略，對特定層添加不同的噪聲，同時對迭代差分隱私機制應(yīng)用自適應(yīng)分數(shù)剪裁，有效緩解了差分隱私算法中超參數(shù)過多的問題。

4.2.3 本地隱私

針對不可信服務(wù)器和惡意敵手反演攻擊的問題，結(jié)合傳統(tǒng)的安全多方計算和同態(tài)加密等技術(shù)，能實現(xiàn)模型信息的無損加解密，但卻大大增加了通信成本與計算開銷。Bonawitz等[23]提出Secure Aggregation模型，結(jié)合秘密分享等技術(shù)使服務(wù)器無法解密單一客戶端的梯度信息，僅能執(zhí)行聚合操作得到全局模型，從而實現(xiàn)對惡意服務(wù)器的信息隱藏。Mandal等[24]在此工作基礎(chǔ)上做了通信效率的改進，引入它非交互式成對密鑰交互計算（NIKE）技術(shù)，在離線階段計算主密鑰的同時限定用戶最多與個鄰居進行掩碼操作，從而有效減少了秘密分享的時間開銷。Dong等[28]將秘密分享與同態(tài)加密應(yīng)用于通信效率算法（TernGrad），解決了隱私泄露的同時大幅提升了框架的通信和計算開銷。Hao等[52]通過改進BGV同態(tài)加密算法，消除了密鑰交換操作并增加了純文本空間，提供后量子安全性的同時避免了交互密鑰導致的通信負擔。在縱向聯(lián)邦學習場景中，各部門進行訓練數(shù)據(jù)對齊時可能造成標簽信息和私有數(shù)據(jù)的泄露。Cheng等[25]通過改進XGBoost樹模型提出SecureBoost算法，其利用RSA和哈希函數(shù)實現(xiàn)各方數(shù)據(jù)的共有樣本ID對齊，同時使用加法同態(tài)加密保護各方交互的標簽信息和梯度直方圖信息，最終實現(xiàn)了與不添加隱私保護的聯(lián)邦學習相同的模型精度。Aono等[53]對深度神經(jīng)網(wǎng)絡(luò)模型進行同態(tài)加密的思想為聯(lián)邦學習提供了新方向。

但是，上述方案主要致力解決服務(wù)器不可信的問題，沒有考慮服務(wù)器是否正確執(zhí)行指定聚合操作，惡意服務(wù)器很有可能會回傳虛假全局模型，蓄意破壞特定客戶端對全局模型的使用。針對這類信任問題，Xu等[57]提出具有隱私保護和模型可驗證的聯(lián)邦學習框架VerifyNet，通過雙掩碼協(xié)議保證客戶端本地梯度的保密性，同時將中心服務(wù)器欺騙客戶端的困難性轉(zhuǎn)移到解NP-hard數(shù)學難題上，保證了全局模型的完整性和正確性。

隨著聯(lián)邦學習在移動邊緣計算（MEC）和物聯(lián)網(wǎng)（IoT）中的廣泛應(yīng)用，其存在的安全與隱私問題開始受到關(guān)注。Lu等[58]提出了一種差分隱私異步聯(lián)邦學習（DPAFL）方案，通過將本地差分隱私引入聯(lián)邦學習中，在本地模型的SGD更新中加入高斯噪聲以保護隱私性，同時開發(fā)了一個新的異步聯(lián)邦學習架構(gòu)，它利用分布式的點對點更新方案，而不是集中式更新，以減輕集中式服務(wù)器帶來的單點安全威脅，更適用于MEC環(huán)境。后來，Lu等[59]將這種方案應(yīng)用于車載網(wǎng)絡(luò)物理系統(tǒng)，解決車輛物聯(lián)網(wǎng)環(huán)境下敏感數(shù)據(jù)泄露的問題。Hu等[60]在異構(gòu)物聯(lián)網(wǎng)環(huán)境中使用聯(lián)邦學習結(jié)合差分隱私保障用戶隱私，提出一種對用戶設(shè)備異質(zhì)性具有魯棒性的FL算法。

4.2.4 模型更新檢測

對于模型更新的異常檢測同樣是確保訓練過程安全的重要方式，F(xiàn)ang等[61]通過客戶端的本地模型發(fā)起中毒攻擊使全局模型具有較大的測試錯誤率，并對4種拜占庭魯棒性聯(lián)邦學習框架進行了攻擊研究，證明了聯(lián)邦學習對局部模型中毒防御的必要性。

在聯(lián)邦學習環(huán)境中，通常有數(shù)以萬計的設(shè)備參與訓練，服務(wù)器如果無法及時檢測惡意客戶端，很容易造成全局模型被污染甚至隱私泄露問題。Li等[7]提出基于檢測的算法，通過一個預(yù)先訓練的自動編碼器神經(jīng)網(wǎng)絡(luò)來檢測異常的客戶行為，并消除其負面影響，給出各客戶端信用評分并拒絕惡意客戶端的連接。Zhao[62]等通過在服務(wù)器端部署GAN，通過客戶端模型參數(shù)生成審計數(shù)據(jù)集，并利用該數(shù)據(jù)集檢查參與者模型的準確性，確定是否存在中毒攻擊。實驗證明，該方法相比傳統(tǒng)的模型反演方法，生成的審計數(shù)據(jù)集質(zhì)量更高。

但是，上述提出的檢測算法需要消耗服務(wù)器大量的算力審核客戶端本地模型，這導致在全誠實客戶端參與的聯(lián)邦學習中，資源遭到極大的浪費。對此，為減少算力消耗，Kang等[63]通過經(jīng)典的RONI中毒攻擊檢測算法，比較數(shù)據(jù)庫中有沒有相似的本地模型更新效果來判斷是否中毒，然后對客戶端給出信譽分以供任務(wù)發(fā)布者選擇信譽值高的客戶端參與訓練，進而排除惡意客戶端攻擊的可能。Fung等[64]將這種比較放在本地模型與上一輪全局模型上，通過比較本地模型更新與全局模型更新向量方向的相似性，判斷客戶端是否存在惡意。Chen等[65]基于受信任的執(zhí)行環(huán)境，設(shè)計了訓練完整性協(xié)議用于檢測不誠實的行為，如篡改本地訓練模型和延遲本地訓練進程，實驗證明該方案具有訓練完整性與實用性。

4.3 信任與激勵機制

聯(lián)邦學習中，一方面，由于服務(wù)器的中心協(xié)調(diào)地位，往往存在單點故障、執(zhí)行環(huán)境不可信等信任問題；另一方面，如何建立激勵機制使參與方自愿消耗算力參與到數(shù)據(jù)聯(lián)邦中是一項重大的挑戰(zhàn)。鑒于此，學術(shù)界主要通過結(jié)合區(qū)塊鏈技術(shù)為聯(lián)邦學習提供信任與激勵機制。區(qū)塊鏈具有的數(shù)據(jù)庫不可篡改、安全可驗證的特性解決了聯(lián)邦學習在發(fā)展過程中的痛點問題，表3為基于區(qū)塊鏈的聯(lián)邦學習方案對比。

表3 基于區(qū)塊鏈的聯(lián)邦學習方案對比

聯(lián)邦學習中，由于服務(wù)器的中心聚合作用，其設(shè)備一旦受到敵手單點攻擊就會對整個學習框架造成很大的安全隱患。為提升框架的安全性、可信性、可靠性，Majeed等[67]提出基于區(qū)塊鏈的FLchain架構(gòu)，以提升聯(lián)邦學習的安全性，在FLchain中，對于每個全局模型，框架都會創(chuàng)建一個新的通道來存儲特定通道分類賬，同時創(chuàng)建“全局模型狀態(tài)樹”來跟蹤全局模型的權(quán)重更新，F(xiàn)Lchain以一種不可篡改的方式保證了FL模型的起源性和可審計性。Sharma等[43]在分布式多層計算框架的基礎(chǔ)上使用離線區(qū)塊鏈和在線區(qū)塊鏈實時存儲大量節(jié)點的臨時訓練數(shù)據(jù)，利用多層和多鏈結(jié)構(gòu)有效減少網(wǎng)絡(luò)故障、惡意攻擊對聯(lián)邦學習的影響，但沒有將區(qū)塊鏈的激勵機制作為提升模型性能的輔助措施。Arachchige等[68]通過融合差分隱私、聯(lián)邦學習、以太坊區(qū)塊鏈和智能合約構(gòu)建了名為PriModChain的框架，為聯(lián)邦學習在工業(yè)物聯(lián)網(wǎng)中的應(yīng)用提供了隱私性、安全性與可靠性，但該框架的運行效率限制了其進一步的發(fā)展。Lu等[69]提出了一種新的混合區(qū)塊鏈架構(gòu)，其由許可區(qū)塊鏈和本地有向無環(huán)圖（DAG）組成，以實現(xiàn)車聯(lián)網(wǎng)中的有效數(shù)據(jù)共享，提升學習模型的可靠性。Pokhrel等[70]通過私有區(qū)塊鏈提出一種多級信任框架，以實現(xiàn)本地模型更新從觀察到學習和驗證的端到端可信性。

聯(lián)邦學習框架不僅存在單點故障問題，在沒有良好激勵機制的情況下參與訓練的客戶端可能會不上傳或上傳虛假的模型更新。針對激勵機制的設(shè)計，Kim等[71]提出了BlockFL架構(gòu)，其中每個設(shè)備將本地模型更新上傳給區(qū)塊鏈網(wǎng)絡(luò)中的關(guān)聯(lián)礦工，礦工負責對模型更新進行交換和驗證后記錄到區(qū)塊鏈中，并提供相應(yīng)的獎勵。Kang等[72]引入聲譽概念作為客戶端信任度的衡量指標，利用多權(quán)重的主觀邏輯模型設(shè)計了基于聲譽的可信客戶端選擇方案，同時通過區(qū)塊鏈的不可篡改性實現(xiàn)分布式的信譽管理，并使用契約理論分析參與構(gòu)建模型的客戶端的算力投入、模型質(zhì)量等因素給予相對應(yīng)的回報。Weng[73]等提出DeepChain方案，通過區(qū)分客戶端在訓練過程中表現(xiàn)的活性和兼容性，促使客戶端發(fā)送正確的、高質(zhì)量的模型更新，同時使用區(qū)塊鏈技術(shù)保證模型安全和訓練過程的可審核性，實現(xiàn)保密性、可審核和公平公正的目標。Kim等[74]通過區(qū)塊鏈技術(shù)對所有的模型更新進行完整的記錄，并給予豐厚的獎勵來激勵用戶參與聯(lián)邦學習，提出了基于權(quán)重的客戶端子集選擇方案，通過每個客戶端局部模型的精度和參與訓練的頻率來選擇用于訓練的客戶端，實現(xiàn)了較高的穩(wěn)定性和較快的收斂速度。Zhan等[75]設(shè)計了一種基于深度強化學習的（DRL）激勵機制，將傳統(tǒng)的資源分配策略應(yīng)用于FL分布式特殊場景，以達到邊緣節(jié)點的最佳訓練策略和定價策略。

聯(lián)邦學習中的客戶端可能遭受惡意攻擊而上傳惡意模型更新，破壞全局模型聚合過程，而區(qū)塊鏈的審計性與可靠性結(jié)合聯(lián)邦學習具有廣闊的研究價值。Preuveneers等[76]提出了一個基于區(qū)塊鏈的聯(lián)邦學習模型審計方案，客戶端上傳的模型更新需要進行異常檢測并鏈接到分布式分類賬上，檢測結(jié)果大于預(yù)定義閾值的客戶端將被問責，同時為避免中心服務(wù)器的單點故障問題，區(qū)塊鏈被用于替換中心服務(wù)器與客戶端的直接交互，因此聯(lián)邦學習中的每個節(jié)點都擁有一個完整的分類賬副本，并且可以計算匯總的權(quán)重更新。Zhu等[77]引入?yún)^(qū)塊鏈技術(shù)管理聯(lián)邦學習的安全問題，建立安全的協(xié)同訓練機制來檢測客戶端的可靠性。實驗結(jié)果表明，當拜占庭故障設(shè)備是客戶端成員的一部分時，該方案具有明顯的優(yōu)勢。Qu等[64]提出FL-Block方案，利用區(qū)塊鏈的性質(zhì)與其提出的增強協(xié)議能夠有效抵御中毒攻擊，其要求礦工在記錄模型更新到區(qū)塊鏈之前先驗證其正確性，然后將模型更新存儲在與其關(guān)聯(lián)的候選塊中。Liu等[80]在區(qū)塊鏈中基于智能合約交互模型更新，以自動驗證模型更新防御惡意和不可靠的參與者，同時引入本地差分隱私技術(shù)，防止成員推理攻擊，實現(xiàn)了5G網(wǎng)絡(luò)中的隱私安全FL。

聯(lián)邦學習與區(qū)塊鏈的結(jié)合使系統(tǒng)成為一個完善的閉環(huán)學習機制。一方面，聯(lián)邦學習技術(shù)能夠為具有隱私數(shù)據(jù)的參與方提供跨域安全共享方案；另一方面，區(qū)塊鏈技術(shù)作為核心數(shù)據(jù)庫為參與方提供了安全存儲、信任管理、細粒度區(qū)分和激勵回報等應(yīng)用需求，促使擁有數(shù)據(jù)的用戶積極參與到數(shù)據(jù)聯(lián)邦中。

5 研究熱點和前景展望

5.1 研究熱點

不同于傳統(tǒng)的分布式機器學習技術(shù)，海量客戶端與Non-IID數(shù)據(jù)集對聯(lián)邦學習提出了新的挑戰(zhàn)。目前，學術(shù)界對于聯(lián)邦學習的研究十分活躍，研究者可能不僅需要掌握機器學習技術(shù)，還需要掌握分布式算法優(yōu)化、密碼學、壓縮量化、信息論、統(tǒng)計等技術(shù)[80]。本文介紹了聯(lián)邦學習在通信效率、隱私安全、信任與激勵機制等方向上的研究進展，但仍有一些其他研究方向值得探索。

（1）系統(tǒng)異構(gòu)。在聯(lián)邦學習環(huán)境中，由于參與訓練的客戶端之間硬件配置、網(wǎng)絡(luò)帶寬、電池容量等不同，各終端設(shè)備的計算能力、通信速度和存儲能力各不相同[81]。除此之外，聯(lián)邦學習架構(gòu)通常會限制終端設(shè)備參與訓練的數(shù)量，尤其是在數(shù)百萬設(shè)備參與的訓練中，處于活躍狀態(tài)的往往只有數(shù)百個客戶端。每個客戶端并不一定可靠，隨時可能因為網(wǎng)絡(luò)故障、算力限制等問題退出現(xiàn)有訓練，這些系統(tǒng)級別的異構(gòu)會給模型整體效能造成極大的挑戰(zhàn)。因此，適用于系統(tǒng)異構(gòu)的聯(lián)邦學習算法必須滿足3點要求：客戶端的低參與率；兼容不同的硬件結(jié)構(gòu)；能夠容忍訓練設(shè)備的中途退出。

（2）統(tǒng)計異構(gòu)。不同的終端設(shè)備通常使用各式各樣的方式生成、存儲和傳輸數(shù)據(jù)，因此各設(shè)備之間數(shù)據(jù)的特征和體量可能有很大的不同，導致數(shù)據(jù)呈Non-IID分布和非平衡分布。盡管這類分布的數(shù)據(jù)集可以通過通信效率優(yōu)化的方式處理，但仍然存在一些針對統(tǒng)計異構(gòu)的解決方法，如通過多任務(wù)學習框架學習不同的局部模型[82]。類似于元學習，多任務(wù)學習由于對個性化和特定于設(shè)備建模的支持，已經(jīng)成為解決數(shù)據(jù)統(tǒng)計異構(gòu)性的主流方法。

（3）無線通信。在5G技術(shù)日益普及的今天，聯(lián)邦學習開始被逐漸應(yīng)用于無線網(wǎng)絡(luò)領(lǐng)域。由于無線信道的帶寬容量有限，因此在發(fā)送信息之前，需要對模型更新進行量化壓縮，在這種模式下，一個重要的考慮因素是存在量化誤差時模型更新的魯棒性。除了通信帶寬外，無線通信中復雜的噪聲和干擾也是加劇信道瓶頸的因素[83]。因此，開發(fā)適用于無線通信的聯(lián)邦學習算法具有突出的研究意義[84]。

除了對聯(lián)邦學習本身技術(shù)的改進，最新的研究進展包括結(jié)合邊緣計算在物聯(lián)網(wǎng)領(lǐng)域的應(yīng)用[58,85-87]，如圖8所示。由于部分終端設(shè)備并沒有足夠的計算資源，同時為了滿足智能決策的低時延響應(yīng)，邊緣計算在云中心和邊緣設(shè)備之間添加了邊緣服務(wù)器作為中介層，聯(lián)邦學習作為其“操作系統(tǒng)”滿足了智能邊緣設(shè)備實時決策、多點協(xié)同、自主可控的要求。充分利用智能邊緣服務(wù)器計算、存儲、傳輸能力，改變傳統(tǒng)集中上傳數(shù)據(jù)進行決策的方式，破解了傳統(tǒng)集中式機器學習數(shù)據(jù)難以聚合、隱私難以保護、云中心的單點故障等問題，為未來多功能集群、跨多智能設(shè)備的實時安全決策提供了可靠的技術(shù)保障。

5.2 前景展望

在大數(shù)據(jù)時代，如何在保障數(shù)據(jù)安全和隱私的前提下，實現(xiàn)數(shù)據(jù)共享，促進多源數(shù)據(jù)的碰撞、融合，最大限度地釋放數(shù)據(jù)價值，成為學術(shù)界和產(chǎn)業(yè)界面臨的挑戰(zhàn)之一。而聯(lián)邦學習作為應(yīng)對該挑戰(zhàn)的一項新興技術(shù)，在諸多領(lǐng)域具有廣闊的應(yīng)用前景。

（1）邊緣計算和物聯(lián)網(wǎng)。隨著智能手機和移動互聯(lián)網(wǎng)的普及應(yīng)用，大量數(shù)據(jù)產(chǎn)生在設(shè)備的邊緣端，移動邊緣計算使計算發(fā)生在本地設(shè)備，而不需要將隱私數(shù)據(jù)發(fā)送到云端。而聯(lián)邦學習作為邊緣計算的操作系統(tǒng)，提供了一種各方協(xié)作與共享的協(xié)議規(guī)范，它能夠讓邊緣設(shè)備在不向云端設(shè)備發(fā)送源數(shù)據(jù)的情況下，合作訓練出一個最優(yōu)的全局機器學習模型。未來，隨著物聯(lián)網(wǎng)的進一步發(fā)展，人工智能和邊緣計算將朝著一體化的方向大步向前。

（2）智慧醫(yī)療。為了降低人工成本和減少人為操作失誤的可能，機器學習技術(shù)開始越來越多地應(yīng)用在醫(yī)療領(lǐng)域，用于提升醫(yī)療診治的效率和準確率。但是，由于醫(yī)療機構(gòu)的數(shù)據(jù)對于隱私和安全的敏感性，醫(yī)療數(shù)據(jù)中心很難收集到足夠數(shù)量的、特征豐富的、可以全面描述患者癥狀的數(shù)據(jù)，而性能良好的機器學習模型往往需要來自多個數(shù)據(jù)源，包括醫(yī)療報告、病例特征、生理指標、基因序列等。聯(lián)邦遷移學習是解決這類問題的有效方法，無須交換各醫(yī)療機構(gòu)的私有數(shù)據(jù)，協(xié)同所有的訓練參與方訓練一個共享模型，同時遷移學習技術(shù)可以擴展訓練數(shù)據(jù)的樣本空間和特征空間，有效降低各醫(yī)療機構(gòu)之間樣本分布的差異性。

圖8 未來基于聯(lián)邦學習的邊緣計算設(shè)想

Figure 8 Future vision of edge computing based on federated learning

（3）金融風控。為了維持金融行業(yè)穩(wěn)定、風險控制和防止金融詐騙，銀行和金融企業(yè)都希望利用人工智能技術(shù)為客戶提供有效且安全的金融服務(wù)。在實際應(yīng)用中，對客戶“肖像”特征的描述通常包括資質(zhì)信息、購買能力、購買偏好及商品特征等，而這些信息分別分布在銀行、電子商務(wù)平臺和用戶的私人社交網(wǎng)絡(luò)中。出于隱私安全的考慮，將三方數(shù)據(jù)聚合并不現(xiàn)實，而聯(lián)邦學習為構(gòu)建跨企業(yè)、跨數(shù)據(jù)平臺以及跨領(lǐng)域的大數(shù)據(jù)和AI系統(tǒng)提供了良好的技術(shù)支持。

（4）智慧城市。隨著人工智能、物聯(lián)網(wǎng)和5G技術(shù)的發(fā)展，智慧城市的概念已經(jīng)躍然紙上。然而，在城市的不同信息部門中，如后勤、應(yīng)急、維穩(wěn)、安保等，會產(chǎn)生大量的異構(gòu)數(shù)據(jù)，形成多個數(shù)據(jù)孤島，無法整合利用。聯(lián)邦學習的異構(gòu)數(shù)據(jù)處理能力能夠幫助人們創(chuàng)造迅速響應(yīng)市民需求的智慧城市，解決數(shù)據(jù)“孤島”問題，同時基于智慧城市構(gòu)建的機器學習模型為企業(yè)提供個性化服務(wù)帶來了更多的機遇[79]。

（5）涉密數(shù)據(jù)的安全共享。大數(shù)據(jù)環(huán)境背景下，數(shù)據(jù)的安全交換顯得尤為敏感。常規(guī)共享交換使多部門數(shù)據(jù)匯集的方法，極有可能導致權(quán)限難以控制、責任劃分不清、問題難以追責，甚至造成失泄密等重大安全事故。如何解決涉密數(shù)據(jù)的安全共享難題，聯(lián)邦學習技術(shù)的跨域共享特性使各部門之間無須匯集數(shù)據(jù)即可實現(xiàn)敏感數(shù)據(jù)的跨域安全共享。

6 結(jié)束語

本文介紹了聯(lián)邦學習技術(shù)概念、算法原理與分類，并對目前聯(lián)邦學習中的3個痛點問題的研究進展做出歸納總結(jié)，最后展望了聯(lián)邦學習在各領(lǐng)域的發(fā)展前景。隨著社會對于隱私安全的日益重視，政府正在逐步加強對私人數(shù)據(jù)的管控，傳統(tǒng)的機器學習模式可能不再符合安全法規(guī)。聯(lián)邦學習作為下一代人工智能大規(guī)模協(xié)作的基礎(chǔ)理論，為目前發(fā)展人工智能面臨的小數(shù)據(jù)和隱私等關(guān)鍵問題提供了有效的解決思路。同時，對于聯(lián)邦學習的國際標準在積極制定中，未來建立在統(tǒng)一標準下的聯(lián)邦學習必然能夠更好地應(yīng)用于各行各業(yè)，發(fā)揮更大的效能，進一步推動網(wǎng)絡(luò)安全的發(fā)展[3]。

[1] 微眾銀行AI項目組. 聯(lián)邦學習白皮書 V1.0[R]. 2018.

WeBank AI Project Team. Federated learning white paper V1.0 [R]. 2018.

[2] MCMAHAN H B, MOORE E, RAMAGE D, et al. Communication-efficient learning of deep networks from decentralized data[J]. Artificial Intelligence and Statistics, 2017: 1273-1282.

[3] 楊強. AI與數(shù)據(jù)隱私保護：聯(lián)邦學習的破解之道[J]. 信息安全研究, 2019, 5(11): 961-965.

YANG Q. AI and data privacy protection: the cracking method of federated learning[J]. Information Security Research. 2019, 5(11): 961-965.

[4] 潘碧瑩, 丘海華, 張家倫. 不同數(shù)據(jù)分布的聯(lián)邦機器學習技術(shù)研究[M]. 5G 網(wǎng)絡(luò)創(chuàng)新研討會 (2019) 論文集, 2019.

PAN B Y, QING H H, ZHANG J L. Research on federal machine learning technology with different data distribution[M]. 5G Network Innovation Seminar (2019) Proceedings, 2019.

[5] YANG Q, LIU Y, CHEN T, et al. Federated machine learning: Concept and applications[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2019, 10(2): 1-19.

[6] HARD A, RAO K, MATHEWS R, et al. Federated learning for mobile keyboard prediction[J]. arXiv preprint arXiv:1811.03604, 2018.

[7] LI S, CHENG Y, LIU Y, et al. Abnormal client behavior detection in federated learning[J]. arXiv preprint arXiv:1910.09933, 2019.

[8] BONAWITZ K, IVANOV V, KREUTER B, et al. Practical secure aggregation for privacy-preserving machine learning[C]//Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017: 1175-1191.

[9] MANDAL K, GONG G, LIU C. NIKE-based fast privacy-preserving high-dimensional data aggregation for mobile devices[R]. CACR Technical Report, 2018.

[10] CHENG K, FAN T, JIN Y, et al. Secureboost: a lossless federated learning framework[J]. arXiv preprint arXiv:1901.08755, 2019.

[11] KONE?NY J, MCMAHAN H B, YU F X, et al. Federated learning: strategies for improving communication efficiency[J]. arXiv preprint arXiv:1610.05492, 2016.

[12] WANG L P, WANG W, LI B. CMFL: mitigating communication overhead for federated learning[C]//2019 IEEE 39th International Conference on Distributed Computing Systems (ICDCS). IEEE, 2019: 954-964.

[13] CALDAS S, KONE?NY J, MC-MAHAN H B, et al. Expanding the reach of federated learning by reducing client resource requirements[J]. arXiv preprint arXiv:1812.07210, 2018.

[14] BHOWMICK A, DUCHI J, FREUDIGER J, et al. Protection against reconstruction and its applications in private federated learning[J]. arXiv preprint arXiv:1812.00984, 2018.

[15] CARLINI N, LIU C, KOS J, et al. The secret sharer: Measuring unintended neural network memorization & extracting secrets[J]. arXiv preprint arXiv:1802.08232, 2018.

[16] FREDRIKSON M, LANTZ E, JHA S, et al. Privacy in pharmacogenetics: an end-to-end case study of personalized warfarin dosing[C]//23rd {USENIX} Security Symposium ({USENIX} Security 14). 2014: 17-32.

[17] MELIS L, SONG C, DE-CRISTOFARO E, et al. Exploiting unintended feature leakage in collaborative learning[C]//2019 IEEE Symposium on Security and Privacy (SP). 2019: 691-706.

[18] HITAJ B, ATENIESE G, PEREZ-CRUZ F. Deep models under the GAN: information leakage from collaborative deep learning[C]//Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017: 603-618.

[19] GEI P J, BAUERMEISTER H, DRGE H, et al. Inverting gradients - how easy is it to break privacy in federated learning[R]. 2020.

[20] SONG M, WANG Z, ZHANG Z, et al. Analyzing user-level privacy attack against federated learning[J]. IEEE Journal on Selected Areas in Communications, 2020.

[21] GEYER R C, KLEIN T, NABI M. Differentially private federated learning: a client level perspective[J]. arXiv preprint arXiv:1712.07557, 2017.

[22] MC MAHAN H B, RAMAGE D, TALWAR K, et al. Learning differentially private recurrent language models[J]. arXiv preprint arXiv:1710.06963, 2017.

[23] BONAWITZ K, IVANOV V, KREUTER B, et al. Practical secure aggregation for privacy-preserving machine learning[C]//Proceedings of the 2017 ACM Sigsac Conference on Computer and Communications Security. 2017: 1175-1191.

[24] MANDAL K, GONG G, LIU C. NIKE-based fast privacy-preserving high-dimensional data aggregation for mobile devices[R]. CACR Technical Report, 2018.

[25] CHENG K, FAN T, JIN Y, et al. Secureboost: a lossless federated learning framework[J]. arXiv preprint arXiv:1901.08755, 2019.

[26] 袁勇, 王飛躍. 區(qū)塊鏈技術(shù)發(fā)展現(xiàn)狀與展望[J]. 電子學報, 2016, 42(4): 481-494.

YUAN Y, WANG F Y. Blockchain: the state of the art and future trends[J]. Acta Automatica Sinica, 2016, 42(4): 481-494.

[27] YANG R, YU F R, SI P, et al. Integrated blockchain and edge computing systems: a survey, some research issues and challenges[J]. IEEE Communications Surveys & Tutorials, 2019, 21(2): 1508-1532.

[28] DONG Y, CHEN X, SHEN L, et al. EaSTFLy: efficient and secure ternary federated learning[J]. Computers & Security, 2020, 94: 1-15.

[29] CAO H, LIU S, ZHAO R, et al. IFed: a novel federated learning framework for local differential privacy in power internet of things[J]. International Journal of Distributed Sensor Networks, 2020, 16(5): 1-3.

[30] CHEN J, PAN X, MONGA R, et al. Revisiting distributed synchronous SGD[J]. arXiv preprint arXiv:1604.00981, 2016.

[31] SATTLER F, WIEDEMANN S, MüLLER K R, et al. Robust and communication-efficient federated learning from Non-IID data[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019.

[32] XIAO P, CHENG S, STANKOVIC V, et al. Averaging is probably not the optimum way of aggregating parameters in federated learning[J]. Entropy, 2020, 22(3): 314.

[33] LI T, SAHU A K, ZAHEER M, et al. Federated optimization in heterogeneous networks[J]. arXiv preprint arXiv:1812.06127, 2018.

[34] LIU W, CHEN L, CHEN Y, et al. Accelerating federated learning via momentum gradient descent[J]. IEEE Transactions on Parallel and Distributed Systems, 2020, 31(8): 1754-1766.

[35] HUANG L, YIN Y, FU Z, et al. LoAdaBoost: loss-based AdaBoost federated machine learning with reduced computational complexity on IID and non-IID intensive care data[J]. PLoS ONE, 2020 15(4): 1-6.

[36] JIANG J, HU L, HU C, et al. BACombo—bandwidth-aware decentralized federated learning[J]. Electronics, 2020, 9(3): 440.

[37] REISIZADEH A, MOKHTARI A, HASSANI H, et al. Fedpaq: a communication-efficient federated learning method with periodic averaging and quantization[C]//International Conference on Artificial Intelligence and Statistics. 2020: 2021-2031.

[38] LU X, LIAO Y, LIO P, et al. Privacy-preserving asynchronous federated learning mechanism for edge network computing[J]. IEEE Access, 2020, 8: 48970-48981.

[39] HE L, BIAN A, JAGGI M. Cola: decentralized linear learning[C]//Advances in Neural Information Processing Systems. 2018: 4536-4546.

[40] LALITHA A, WANG X, KILINC O, et al. Decentralized Bayesian learning over graphs[J]. arXiv preprint arXiv:1905.10466, 2019.

[41] LIN T, STICH S U, PATEL K K, et al. Don't use large mini-batches, use local SGD[J]. arXiv preprint arXiv:1808.07217, 2018.

[42] LIU L, ZHANG J, SONG S H, et al. Edge-assisted hierarchical federated learning with non-iid data[J]. arXiv preprint arXiv:1905.06641, 2019.

[43] SHARMA P K, PARK J H, CHO K. Blockchain and federated learning-based distributed computing defence framework for sustainable society[J]. Sustainable Cities and Society, 2020: 102220.

[44] ZHANG J, ZHAO Y, WANG J, et al. FedMEC: improving efficiency of differentially private federated learning via mobile edge computing[J]. Mobile Networks and Applications, 2020: 1-13.

[45] 劉俊旭, 孟小峰. 機器學習的隱私保護研究綜述[J]. 計算機研究與發(fā)展, 2020, 57(2): 346.

LIU J X, MENG X F. A survey of research on privacy protection in machine learning[J]. Computer Research and Development, 2020, 57(2): 346.

[46] DWORK C, MC-SHERRY F, NISSIM K, et al. Calibrating noise to sensitivity in private data analysis[C]//Theory of Cryptography Conference. 2006: 265-284.

[47] 葉青青, 孟小峰, 朱敏杰, 等. 本地化差分隱私研究綜述[J]. 軟件學報, 2018, 29(7): 159-183.

YE Q Q, MENG X F, ZHU M J, et al. Survey of localized differential privacy research[J]. Journal of Software, 2018, 29(7): 159-183.

[48] 蘇冠通, 徐茂桐. 安全多方計算技術(shù)與應(yīng)用綜述[J]. 信息通信技術(shù)與政策, 2019 (5): 19-22.

SU G T, XU M T. Survey of secure multiparty computing technology and application[J]. Information and Communication Technology and Policy, 2019 (5): 19-22.

[49] DOLEV D, YAO A. On the security of public key protocols[J]. IEEE Transactions on Information Theory, 1983, 29(2): 198-208.

[50] RIVEST R L, SHAMIR A, ADLEMAN L. A method for obtaining digital signatures and public-key cryptosystems[J]. Communications of the ACM, 1978, 21(2): 120-126.

[51] THAKKAR O, ANDREW G, MC-MAHAN H B. Differentially private learning with adaptive clipping[J]. arXiv preprint arXiv:1905.03871, 2019.

[52] HAO M, LI H, LUO X, et al. Efficient and privacy-enhanced federated learning for industrial artificial intelligence[J]. IEEE Transactions on Industrial Informatics, 2019, 16(10): 6532-6542.

[53] AONO Y, HAYASHI T, WANG L, et al. Privacy-preserving deep learning via additively homomorphic encryption[J]. IEEE Transactions on Information Forensics and Security, 2017, 13(5): 1333-1345.

[54] LIU X, LI H, XU G, et al. Adaptive privacy-preserving federated learning[J]. Peer to Peer Networking and Applications, 2020, 13: 2356-2366.

[55] HUANG X, DING Y, JIANG Z L, et al. DP-FL: a novel differentially private federated learning framework for the unbalanced data[J]. World Wide Web, 2020: 1-17.

[56] WEI K, LI J, DING M, et al. Federated learning with differential privacy: algorithms and performance analysis[J]. IEEE Transactions on Information Forensics and Security, 2020, 15: 3454-3469.

[57] XU G, LI H, LIU S, et al. VerifyNet: secure and verifiable federated learning[J]. IEEE Transactions on Information Forensics and Security, 2019, 15: 911-926.

[58] LU Y, HUANG X, DAI Y, et al. Differentially private asynchronous federated learning for mobile edge computing in urban informatics[J]. IEEE Transactions on Industrial Informatics, 2019.

[59] LU Y, HUANG X, DAI Y, et al. Federated learning for data privacy preservation in vehicular cyber-physical systems[J]. IEEE Network, 2020, 34(3): 50-56.

[60] HU R, GUO Y, LI H, et al. Personalized federated learning with differential privacy[J]. IEEE Internet of Things Journal, 2020, 7(10): 9530-9539.

[61] FANG M, CAO X, JIA J, et al. Local model poisoning attacks to Byzantine-robust federated learning[J]. arXiv preprint arXiv:1911.11815, 2019.

[62] ZHAO Y, CHEN J, ZHANG J, et al. Detecting and mitigating poisoning attacks in federated learning using generative adversarial networks[J]. Concurrency and Computation: Practice and Experience, 2020: 1-2.

[63] KANG J, XIONG Z, NIYATO D, et al. Incentive mechanism for reliable federated learning: a joint optimization approach to combining reputation and contract theory[J]. IEEE Internet of Things Journal, 2019, 6(6): 10700-10714.

[64] FUNG C, YOON C J M, BESCHASTNIKH I. Mitigating sybils in federated learning poisoning[J]. arXiv preprint arXiv:1808.04866, 2018.

[65] CHEN Y, LUO F, LI T, et al. A training-integrity privacy-preserving federated learning scheme with trusted execution environment[J]. Information Sciences, 2020, 522: 69-79.

[66] LYU L, YU J, NANDAKUMAR K, et al. Towards fair and privacy-preserving federated deep models[J]. IEEE Transactions on Parallel and Distributed Systems, 2020, 31(11): 2524-2541.

[67] MAJEED U, HONG C S. FLchain: federated learning via MEC-enabled blockchain network[C]//2019 20th Asia-Pacific Network Operations and Management Symposium (APNOMS). 2019: 1-4.

[68] ARACHCHIGE P C M, BERTOK P, KHALIL I, et al. A trustworthy privacy preserving framework for machine learning in industrial iot systems[J]. IEEE Transactions on Industrial Informatics, 2020, 16(9): 6092-6102.

[69] LU Y, HUANG X, ZHANG K, et al. Blockchain empowered asynchronous federated learning for secure data sharing in internet of vehicles[J]. IEEE Transactions on Vehicular Technology, 2020, 69(4): 4298-4311.

[70] POKHREL S R. Towards efficient and reliable federated learning using blockchain for autonomous vehicles[J]. Computer Networks, 2020: 107431.

[71] KIM H, PARK J, BENNIS M, et al. On-device federated learning via blockchain and its latency analysis[J]. arXiv preprint arXiv:1808.03949, 2018.

[72] KANG J, XIONG Z, NIYATO D, et al. Incentive mechanism for reliable federated learning: a joint optimization approach to combining reputation and contract theory[J]. IEEE Internet of Things Journal, 2019, 6(6): 10700-10714.

[73] WENG J, WENG J, ZHANG J, et al. Deepchain: auditable and privacy-preserving deep learning with blockchain-based incentive[J]. IEEE Transactions on Dependable and Secure Computing, 2019.

[74] KIM Y J, HONG C S. Blockchain-based node-aware dynamic weighting methods for improving federated learning performance[C]//20th Asia-Pacific Network Operations and Management Symposium (APNOMS). 2019: 1-4.

[75] ZHAN Y, LI P, QU Z, et al. A learning-based incentive mechanism for federated learning[J]. IEEE Internet of Things Journal, 2020, 7(7): 6360-6368.

[76] PREUVENEERS D, RIMMER V, TSINGENOPOULOS I, et al. Chained anomaly detection models for federated learning: an intrusion detection case study[J]. Applied Sciences, 2018, 8(12): 2663.

[77] ZHU X, LI H, YU Y. Blockchain-based privacy preserving deep learning[C]//International Conference on Information Security and Cryptology. 2018: 370-383.

[78] QU Y, GAO L, LUAN T H, et al. Decentralized privacy using blockchain-enabled federated learning in fog computing[J]. IEEE Internet of Things Journal, 2020, 7(6): 5171-5183.

[79] LIU Y, PENG J, KANG J, et al. A secure federated learning framework for 5G networks[J]. arXiv preprint arXiv:2005.05752, 2020.

[80] KAIROUZ P, MC-MAHAN H B, AVENT B, et al. Advances and open problems in federated learning[J]. arXiv preprint arXiv:1912.04977, 2019.

[81] LI T, SAHU A K, TALWALKAR A, et al. Federated learning: challenges, methods, and future directions[J]. arXiv preprint arXiv:1908.07873, 2019.

[82] SMITH V, CHIANG C K, SANJABI M, et al. Federated multi-task learning[C]//Advances in Neural Information Processing Systems. 2017: 4424-4434.

[83] ANG F, CHEN L, ZHAO N, et al. Robust federated learning with noisy communication[J]. IEEE Transactions on Communications, 2020.

[84] NIKNAM S, DHILLON H S, REED J H. Federated learning for wireless communications: motivation, opportunities, and challenges[J]. IEEE Communications Magazine, 2020, 58(6): 46-51.

[85] REN J, WANG H, HOU T, et al. Federated learning-based computation offloading optimization in edge computing-supported internet of things[J]. IEEE Access, 2019, 7: 69194-69201.

[86] WANG X, HAN Y, WANG C, et al. In-edge AI: intelligentizing mobile edge computing, caching and communication by federated learning[J]. IEEE Network, 2019, 33(5): 156-165.

[87] WANG S, TUOR T, SALONIDIS T, et al. Adaptive federated learning in resource constrained edge computing systems[J]. IEEE Journal on Selected Areas in Communications, 2019, 37(6): 1205-1221.

Survey of federated learning research

ZHOU Chuanxin, SUN Yi, WANG Degang, GE Huawei

Information Engineering University, Zhenghzou 450001, China

Federated learning has rapidly become a research hotspot in the field of security machine learning in recent years because it can train the global optimal model collaboratively without the need for multiple data source aggregation. Firstly, the federated learning framework, algorithm principle and classification were summarized. Then, the main threats and challenges it faced, were analysed indepth the comparative analysis of typical research programs in the three directions of communication efficiency, privacy and security, trust and incentive mechanism was focused on, and their advantages and disadvantages were pointed out. Finally, Combined with application of edge computing, blockchain, 5G and other emerging technologies to federated learning, its future development prospects and research hotspots was prospected.

federated learning, privacy protection, blockchain, edge of computing

TP309.2

A

10.11959/j.issn.2096?109x.2021056

2020?06?23；

2020?10?10

孫奕，sunyi-1001@163.com

國家自然科學基金（61702550）

The National Natural Science Foundation of China（61702550）

周傳鑫, 孫奕, 汪德剛, 等. 聯(lián)邦學習研究綜述[J]. 網(wǎng)絡(luò)與信息安全學報, 2021, 7(5): 77-92.

ZHOU C X, SUN Y, WANG D G, et al. Survey of federated learning research[J]. Chinese Journal of Network and Information Security, 2021, 7(5): 77-92.

周傳鑫（1997? ），男，安徽蚌埠人，信息工程大學碩士生，主要研究方向為數(shù)據(jù)安全交換、機器學習和隱私保護。

孫奕（1979? ），女，河南鄭州人，博士，信息工程大學副教授，主要研究方向為網(wǎng)絡(luò)與信息安全、數(shù)據(jù)安全交換。

汪德剛（1996? ），男，陜西安康人，信息工程大學碩士生，主要研究方向為數(shù)據(jù)安全交換、惡意流量檢測。

葛樺瑋（1998? ），男，浙江臨海人，主要研究方向為數(shù)據(jù)安全交換。