何韻詩

（華南理工大學(xué)，廣東 廣州 510641）

0 引 言

聯(lián)邦學(xué)習(xí)本質(zhì)上是1種分布式機(jī)器學(xué)習(xí)框架。聯(lián)邦學(xué)習(xí)中的參與實(shí)體掌握著一部分訓(xùn)練數(shù)據(jù)和計算資源，能夠保護(hù)自身數(shù)據(jù)的隱私安全，通過合作訓(xùn)練得出反映全局?jǐn)?shù)據(jù)特征的模型[1-3]。聯(lián)邦學(xué)習(xí)與傳統(tǒng)學(xué)習(xí)的本質(zhì)差異在于實(shí)體間的互相信任問題。在聯(lián)邦學(xué)習(xí)過程中，基于對自身利益的保護(hù)，各實(shí)體方的信任度不同。聯(lián)邦學(xué)習(xí)提供的共享學(xué)習(xí)模式能夠使數(shù)據(jù)保持原有的狀態(tài)，使系統(tǒng)具有高效性、隱私性以及可用性[4]。

邊緣計算是目前主流的1種分布式計算技術(shù)，能夠彌補(bǔ)云計算運(yùn)行中造成的能耗大和隱私泄露問題。隨著邊緣計算的不斷發(fā)展，它能夠為云計算模式中敏感隱私數(shù)據(jù)提供保護(hù)機(jī)制。相關(guān)研究表明，基于聯(lián)邦學(xué)習(xí)的邊緣計算能夠利用數(shù)據(jù)建模解決數(shù)據(jù)隱私方面存在的安全問題[5]。

聯(lián)邦學(xué)習(xí)是一種機(jī)器學(xué)習(xí)框架，在保障數(shù)據(jù)信息安全的狀態(tài)下，可以實(shí)現(xiàn)數(shù)據(jù)共享和數(shù)據(jù)參與方之間的協(xié)作訓(xùn)練。參與方能夠通過互聯(lián)網(wǎng)技術(shù)與邊緣服務(wù)器建模，構(gòu)建出全局模型[6]。因此，聯(lián)邦學(xué)習(xí)能夠使邊緣計算應(yīng)用于安全級別更高的場景?；诼?lián)邦學(xué)習(xí)的邊緣計算構(gòu)建的模型能夠?qū)崿F(xiàn)數(shù)據(jù)信息的傳輸[7]。

1 聯(lián)邦學(xué)習(xí)相關(guān)概述

1.1 聯(lián)邦學(xué)習(xí)定義

聯(lián)邦學(xué)習(xí)的概念最初是由谷歌的McMahan于2017年提出的，我國在2018年人工智能大會上詳細(xì)地介紹了聯(lián)邦學(xué)習(xí)的具體研究方向。1年后，我國成為了世界上第1個聯(lián)邦學(xué)習(xí)框架的開創(chuàng)者，至今已為國內(nèi)外多家企業(yè)提供了相關(guān)服務(wù)，實(shí)現(xiàn)了聯(lián)邦學(xué)習(xí)的廣泛應(yīng)用[8]。

聯(lián)邦學(xué)習(xí)能夠為參與方提供協(xié)同合作和安全學(xué)習(xí)的協(xié)議。作為新型的學(xué)習(xí)機(jī)制，聯(lián)邦學(xué)習(xí)能夠在保障數(shù)據(jù)隱私不被侵害的情況下，統(tǒng)一建模多個參與方的數(shù)據(jù)，使多個客戶端能夠在同一中央服務(wù)器中進(jìn)行協(xié)同訓(xùn)練，同時保證各參與方的數(shù)據(jù)隱私不被公開[9]。聯(lián)邦學(xué)習(xí)在未來的發(fā)展中具有十分廣闊的應(yīng)用前景，其模型如圖1所示。

圖1 聯(lián)邦學(xué)習(xí)模型

1.2 聯(lián)邦學(xué)習(xí)過程

聯(lián)邦學(xué)習(xí)中，將海量數(shù)據(jù)的參與方設(shè)為N，其中各參與方擁有的數(shù)據(jù)用{D1，D2，…，DN}表示，以構(gòu)建1個模型MFED。傳統(tǒng)的學(xué)習(xí)方法是將所有參與方擁有的海量數(shù)據(jù)集中在一起，用D={D1∪D2…DN}來表示，以構(gòu)建出1個模型MSUM。聯(lián)邦學(xué)習(xí)的過程可以表述如下。第一，系統(tǒng)初始化。系統(tǒng)服務(wù)器明確學(xué)習(xí)目標(biāo)和學(xué)習(xí)模型后，能夠發(fā)布到全局模型中，并指定參數(shù)效率。第二，模型訓(xùn)練。聯(lián)邦學(xué)習(xí)參與方能夠使用本身的數(shù)據(jù)在全局模型中進(jìn)行模擬訓(xùn)練，通過最小化損失函數(shù)推算本地模型，將梯度參數(shù)上傳至服務(wù)器。第三，服務(wù)器聚合。服務(wù)器接收到各參與方上傳的模型參數(shù)，進(jìn)行聯(lián)邦學(xué)習(xí)得到1個全新的全局模型，然后更新全局模型參數(shù)。第四，全局模型。當(dāng)參與方使用全新的全局模型參數(shù)更新本地模型后，再上傳本地模型的梯度參數(shù)。重復(fù)操作上述步驟，將獲得全局模型。相關(guān)研究表明，上述聯(lián)邦學(xué)習(xí)過程能夠使參與方達(dá)到理想模型場景。

1.3 聯(lián)邦學(xué)習(xí)的安全隱私問題

保護(hù)參與方的隱私安全是聯(lián)邦學(xué)習(xí)的重要目的。在聯(lián)邦學(xué)習(xí)過程中，所有參與方共享1個參數(shù)模型，因此參與方實(shí)際的數(shù)據(jù)處于隱藏不被公開的狀態(tài)。然而，因為參與方加入或退出時的數(shù)據(jù)信息處于公開狀態(tài)，所以存在隱私被竊取或被泄露的風(fēng)險。相關(guān)研究人員證實(shí)，根據(jù)參與方的加入與退出信息能夠檢測相關(guān)的隱私信息。由于服務(wù)器沒有權(quán)限訪問參與方，會使惡意扮演參與方的不法之人偽裝進(jìn)入開展聯(lián)邦學(xué)習(xí)，進(jìn)而竊取其他參與方的隱私。此外，聯(lián)邦學(xué)習(xí)的服務(wù)器存在一定的安全風(fēng)險[10]。例如，當(dāng)聯(lián)邦學(xué)習(xí)的服務(wù)器出現(xiàn)故障時，惡意參與方往往有機(jī)可乘，利用故障服務(wù)器竊取或泄露其他參與方的相關(guān)隱私。參與聯(lián)邦學(xué)習(xí)的參與方擁有的數(shù)據(jù)和價值存在一定差異，如果參與方掌握大量的數(shù)據(jù)且數(shù)據(jù)價值較高，那么應(yīng)該做好隱私保護(hù)工作。

2 邊緣計算相關(guān)概述

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，產(chǎn)生的數(shù)據(jù)量成倍增長，網(wǎng)絡(luò)存儲空間面臨著巨大壓力，而互聯(lián)網(wǎng)技術(shù)對網(wǎng)絡(luò)服務(wù)的響應(yīng)速度和數(shù)據(jù)隱私性有著極高的要求。云計算技術(shù)快速高效地分析大量網(wǎng)絡(luò)數(shù)據(jù)，而將數(shù)據(jù)安全有效地傳輸至云計算中心卻有一定難度。在傳輸海量數(shù)據(jù)的過程中，云計算通常會因為數(shù)據(jù)處理耗費(fèi)大量的時間，降低了用戶的體驗感。

移動終端設(shè)備連接互聯(lián)網(wǎng)會產(chǎn)生海量的數(shù)據(jù)信息?；趥鹘y(tǒng)的云計算技術(shù)無法及時有效地處理海量的數(shù)據(jù)信息，因此邊緣計算的概念首次被提出。邊緣計算是1種在接近智能手機(jī)或移動終端的地方提供云計算能力的新型技術(shù)。邊緣計算能夠?qū)⒂嬎隳芰ο鲁恋綗o線側(cè)，是1種給用戶提供數(shù)據(jù)計算和數(shù)據(jù)儲存的新型計算模型，能夠極大程度上提高云計算技術(shù)的數(shù)據(jù)存儲處理能力和用戶請求的響應(yīng)速度，減少網(wǎng)絡(luò)帶寬的損耗，進(jìn)而保證數(shù)據(jù)信息的隱私與安全。邊緣算法模型如圖2所示。

圖2 邊緣算法模型

3 解決方案

參與聯(lián)邦學(xué)習(xí)的參與方和服務(wù)器的可信度不同，因此數(shù)據(jù)信息面臨的安全隱私風(fēng)險也不相同。按照參與方的可信任程度，將信息安全的領(lǐng)域劃分為理想模型和惡意模型。理想模型是指各參與方都能夠嚴(yán)格按照聯(lián)邦學(xué)習(xí)的相關(guān)協(xié)議進(jìn)行計算，不違反規(guī)則做過多的運(yùn)算，并且不使用隱私保護(hù)技術(shù)隱藏敏感信息。但是，理想模型是不存在的。要通過隱私保護(hù)技術(shù)解決惡意參與方帶來的敏感信息，需要加大聯(lián)邦學(xué)習(xí)的力度，完善聯(lián)邦學(xué)習(xí)的相關(guān)制度。聯(lián)邦學(xué)習(xí)是目前及未來互聯(lián)網(wǎng)數(shù)據(jù)信息隱私安全的主要研究方向。

3.1 單個參與方的隱私保護(hù)

針對單一個體參與方的隱私保護(hù)來說，聯(lián)邦學(xué)習(xí)采用的是最理想且先進(jìn)的差分隱私法。差分隱私最初是由DWORK于2006年提出的，是聯(lián)邦學(xué)習(xí)隱私保護(hù)模型的1種，用于保障參與方信息安全。差分隱私不會只針對某1個惡意的攻擊者，即便攻擊者事先掌握了系統(tǒng)中的某1條數(shù)據(jù)信息，也不能推斷出其余未知的信息內(nèi)容。差分隱私有著強(qiáng)大的數(shù)學(xué)計算方法，能抵擋入侵者的攻擊，從而保護(hù)單個參與者的隱私安全。

ROBINC于2007年提出了關(guān)于差分隱私的用戶級算法，能夠隱藏參與方在聯(lián)邦學(xué)習(xí)過程中產(chǎn)生的數(shù)據(jù)信息。為有效保護(hù)參與方的隱私安全，設(shè)計1種差分隱私的協(xié)議機(jī)制，只需在參與方聯(lián)邦學(xué)習(xí)的數(shù)據(jù)信息上添加1個噪聲即可。

RYU于2008年提出了關(guān)于差分隱私應(yīng)用于聯(lián)邦學(xué)習(xí)模型的方法，利用差分隱私的交替方向乘子法（Alternating Direction Method of Multipliers，ADMM），解決參與方之間通信受到的外來惡意攻擊。有學(xué)者提出利用差分隱私方法構(gòu)建新型的聯(lián)邦學(xué)習(xí)框架，能夠給參與聯(lián)邦學(xué)習(xí)用戶方的數(shù)據(jù)信息提供更高級別的隱私保護(hù)。結(jié)合聯(lián)邦學(xué)習(xí)技術(shù)與差分隱私算法，不僅能使單獨(dú)的參與方隱私安全受到更好的保護(hù)，還能夠有效防止惡意參與方的攻擊。

3.2 惡意參與方的隱私保護(hù)

聯(lián)邦學(xué)習(xí)過程中，服務(wù)器沒有權(quán)限直接訪問參與方，因此無法保證每1個參與方的可信度，其中難免會有惡意的參與方潛入聯(lián)邦學(xué)習(xí)中盜取或泄露相關(guān)隱私。聯(lián)邦學(xué)習(xí)通過差分隱私添加噪聲干擾的方式，保護(hù)單一參與方的隱私。但是，經(jīng)過噪聲干擾的數(shù)據(jù)，二次傳輸時會存在一段空白，因此存在一定的隱私風(fēng)險。

傳統(tǒng)的加密技術(shù)十分復(fù)雜且計算量較大，無法應(yīng)用于存儲空間小或者計算能力差的設(shè)備。為防止有惡意參與方盜取隱私行為，需采用更加精密的加密技術(shù)。同態(tài)加密是1種能夠?qū)崿F(xiàn)多方計算的技術(shù)，不需要解密密文，只需通過代數(shù)運(yùn)算便能夠加密。同態(tài)加密經(jīng)過一系列運(yùn)算加密后的結(jié)果與經(jīng)過破譯后的效果相同。

差分隱私算法與同態(tài)加密技術(shù)能夠極大程度上提高隱私保護(hù)效率。針對單一的參與方使用差分隱私方法中的噪聲干擾，結(jié)合同態(tài)加密技術(shù)能夠在聯(lián)邦學(xué)習(xí)過程中消除部分噪聲的干擾，從而更好地保護(hù)隱私，防范惡意參與方與不可信的服務(wù)器聯(lián)合竊取隱私，保護(hù)參與方在聯(lián)邦學(xué)習(xí)的過程中加入或退出相關(guān)信息。

3.3 激勵機(jī)制隱私保護(hù)

聯(lián)邦學(xué)習(xí)僅通過傳輸模型的參數(shù)，不需要共享實(shí)際的數(shù)據(jù)，能夠解決各參與方的數(shù)據(jù)孤島問題。大數(shù)據(jù)環(huán)境下，海量的數(shù)據(jù)信息出現(xiàn)在互聯(lián)網(wǎng)中，需要保護(hù)參與方的隱私，提高聯(lián)邦學(xué)習(xí)的效率。目前，許多專家及學(xué)者結(jié)合先進(jìn)的區(qū)塊鏈技術(shù)與聯(lián)邦學(xué)習(xí)，通過適當(dāng)?shù)募顧C(jī)制，大大提高了參與方聯(lián)邦學(xué)習(xí)的主動性與積極性。

此前，聯(lián)邦學(xué)習(xí)中的激勵機(jī)制和公平研究多以區(qū)塊鏈技術(shù)開展。激勵機(jī)制是為了吸引更多掌握著有價值數(shù)據(jù)的參與方加入聯(lián)邦學(xué)習(xí)，提高聯(lián)邦學(xué)習(xí)的模型的完整性。區(qū)塊鏈技術(shù)作為目前先進(jìn)的信息技術(shù)，能夠給聯(lián)邦學(xué)習(xí)的激勵機(jī)制提供安全保障。目前，這方面的研究尚未成熟，需要不斷探索和研究區(qū)塊鏈技術(shù)與聯(lián)邦學(xué)習(xí)。

4 結(jié) 論

邊緣計算成為代替云計算的1種新型計算技術(shù)，能夠精確計算海量數(shù)據(jù)，經(jīng)過存儲、傳輸、共享以及隱私保護(hù)等方式嚴(yán)格保密數(shù)據(jù)。聯(lián)邦學(xué)習(xí)是1種新型分布式機(jī)器學(xué)習(xí)方式，將其應(yīng)用在邊緣計算中能夠讓邊緣設(shè)備的數(shù)據(jù)信息保持原有的狀態(tài)，并協(xié)同相關(guān)的機(jī)器模型共同訓(xùn)練。聯(lián)邦學(xué)習(xí)技術(shù)能夠為邊緣計算的數(shù)據(jù)信息提供隱私保護(hù)，而邊緣計算能夠基于聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)互聯(lián)網(wǎng)技術(shù)的新跨越。因此，基于聯(lián)邦學(xué)習(xí)的邊緣計算是目前及未來科學(xué)技術(shù)領(lǐng)域中的重要研究方向。