王志良,何 剛,2*,俞文心,許 康,文 軍,劉 暢

(1.西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,四川 綿陽(yáng) 621010;2.國(guó)家衛(wèi)生健康委核技術(shù)醫(yī)學(xué)轉(zhuǎn)化實(shí)驗(yàn)室(綿陽(yáng)市中心醫(yī)院),四川 綿陽(yáng) 621010)

0 引 言

隨著物聯(lián)網(wǎng)和智慧城市等應(yīng)用的快速發(fā)展,越來越多的設(shè)備(如傳感器、攝像頭和智能手機(jī)等)加入到無(wú)線網(wǎng)絡(luò)中。然而,云計(jì)算已經(jīng)無(wú)法滿足海量邊緣數(shù)據(jù)爆炸式增長(zhǎng)[1-2]。為了解決這一問題,邊緣計(jì)算[3]作為一種新的計(jì)算形式出現(xiàn),通過在網(wǎng)絡(luò)邊緣的邊緣端服務(wù)器上處理數(shù)據(jù),避免了將數(shù)據(jù)發(fā)送到遠(yuǎn)程云端所需的長(zhǎng)傳播延遲。然而,由于通信資源和數(shù)據(jù)隱私安全等限制,將用戶數(shù)據(jù)發(fā)送到云端的方法通常被認(rèn)為不切實(shí)際。因此,Google提出了一種分布式的機(jī)器學(xué)習(xí)方法,稱為聯(lián)邦學(xué)習(xí)(Federated Learning,FL)[4-5]。在傳統(tǒng)的集中式機(jī)器學(xué)習(xí)模型中,通信成本相對(duì)較小,計(jì)算成本占主導(dǎo)地位。然而,在聯(lián)邦學(xué)習(xí)中,通信成本占主體地位。綜合以往的研究,可以總結(jié)出以下三個(gè)挑戰(zhàn):

(1)通信問題:服務(wù)器與客戶端之間的網(wǎng)絡(luò)連接相對(duì)較慢。

(2)設(shè)備異構(gòu):不同參與者的計(jì)算資源可能不同。

(3)數(shù)據(jù)不均衡:不同客戶端之間的數(shù)據(jù)分布不一致[6]。

為了解決通信問題,已有研究者提出了模型壓縮和模型蒸餾來降低鏈路通信成本[7-8]。許多文獻(xiàn)著重于處理數(shù)據(jù)特征分布不均衡,以減少通信回合來提高聯(lián)邦學(xué)習(xí)的測(cè)試準(zhǔn)確率[9-11],但每個(gè)回合的計(jì)算時(shí)間也很重要。針對(duì)數(shù)據(jù)類別不平衡,可以修改訓(xùn)練數(shù)據(jù)或調(diào)整學(xué)習(xí)策略[12]。而樣本總數(shù)在參與者之間分布不均衡會(huì)影響每回合聯(lián)邦學(xué)習(xí)的時(shí)間消耗。

該文重點(diǎn)解決每回合時(shí)間消耗大導(dǎo)致整體訓(xùn)練效率低的問題。聯(lián)邦學(xué)習(xí)中,每回合的時(shí)間消耗由耗時(shí)最長(zhǎng)的參與者決定,而參與者的時(shí)間消耗差異通常由設(shè)備異構(gòu)和數(shù)據(jù)不均衡引起。已有國(guó)內(nèi)外研究關(guān)注如何縮短每回合的通信時(shí)間,其中基于博弈論的優(yōu)化研究較多[13-15]。Sarikaya等人[15]基于斯塔克伯格博弈模型提出了一項(xiàng)研究,在預(yù)算有限的情況下,通過權(quán)衡參與者多樣性和完成訓(xùn)練的延遲來選擇參與者。然而,這種選擇方式使得某些參與者無(wú)法參與聯(lián)邦學(xué)習(xí),不公平。賈云健[16]提出了一種基于博弈論的激勵(lì)機(jī)制,在分層聯(lián)邦學(xué)習(xí)框架下考慮了連接終端設(shè)備數(shù)量差異。該機(jī)制設(shè)計(jì)了兩層主從博弈,分配激勵(lì)預(yù)算,刺激終端設(shè)備更積極參與聯(lián)邦學(xué)習(xí)任務(wù),減小“掉隊(duì)效應(yīng)”,最小化全局模型訓(xùn)練時(shí)間。然而,仍存在不公平行為和某些參與者需要貢獻(xiàn)更多計(jì)算資源的問題。

綜上所述,設(shè)計(jì)一種方法以充分考慮每回合中參與者的設(shè)備異構(gòu)和數(shù)據(jù)不均衡,縮短每回合時(shí)間消耗并確保公平性變得重要。為此,該文提出了FlexFL算法,旨在縮短聯(lián)邦學(xué)習(xí)每回合的時(shí)間消耗。主要貢獻(xiàn)如下:

(1)引入聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)動(dòng)態(tài)縮放策略,通過兩層聯(lián)邦學(xué)習(xí)架構(gòu),在同一參與者上部署多個(gè)聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)和一個(gè)聯(lián)邦學(xué)習(xí)聚合服務(wù)。通過動(dòng)態(tài)縮放服務(wù),加快計(jì)算速度。

(2)提出FlexFL算法,將本地?cái)?shù)據(jù)集平均分配給各聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù),并每回合激活一定數(shù)量的訓(xùn)練服務(wù)。未激活的服務(wù)休眠,不占用計(jì)算資源,并將計(jì)算資源平均分配給激活的服務(wù),加快訓(xùn)練速度。

通過以上貢獻(xiàn),FlexFL算法能有效解決參與者設(shè)備異構(gòu)和數(shù)據(jù)不均衡導(dǎo)致的訓(xùn)練時(shí)間差異問題,提高整體訓(xùn)練效率。

1 相關(guān)工作

1.1 服務(wù)動(dòng)態(tài)縮放

服務(wù)動(dòng)態(tài)縮放常常在互聯(lián)網(wǎng)高并發(fā)架構(gòu)中使用,其本質(zhì)是通過合理配置資源以及增加或縮減服務(wù)來提高服務(wù)吞吐量和降低服務(wù)延遲[17-19]。目前,尚未有研究者考慮將服務(wù)動(dòng)態(tài)縮放與聯(lián)邦學(xué)習(xí)相結(jié)合。該文旨在將服務(wù)動(dòng)態(tài)縮放與聯(lián)邦學(xué)習(xí)相結(jié)合,以平衡每回合參與者在設(shè)備異構(gòu)和數(shù)據(jù)不均衡性帶來的時(shí)間消耗差異。

1.2 聯(lián)邦學(xué)習(xí)算法

時(shí)間消耗的優(yōu)化一直是FL的主要研究方向之一。McMahan等人[20]提出了一種名為FedAvg(Federated Averaging)的聯(lián)邦學(xué)習(xí)算法,該算法通過對(duì)各參與方的局部模型進(jìn)行平均來更新全局模型,并通過增加聚合期間局部模型的訓(xùn)練次數(shù)來減少通信開銷。然而,該算法忽略了減少每回合時(shí)間消耗的問題。

田有亮[21]提出了一種基于激勵(lì)機(jī)制的聯(lián)邦學(xué)習(xí)優(yōu)化算法,利用博弈論和拍賣理論設(shè)計(jì)了拍賣機(jī)制。參與者通過向霧節(jié)點(diǎn)拍賣本地訓(xùn)練任務(wù),并委托高性能霧節(jié)點(diǎn)訓(xùn)練本地?cái)?shù)據(jù),以提升本地訓(xùn)練效率并解決客戶端間性能不均衡的問題。然而,這種方案破壞了聯(lián)邦學(xué)習(xí)的隱私性,因?yàn)楸镜財(cái)?shù)據(jù)被發(fā)送到其他節(jié)點(diǎn)。程帆[22]提出了一種基于動(dòng)態(tài)權(quán)重的聯(lián)邦學(xué)習(xí)優(yōu)化方法。在極端情況下,計(jì)算時(shí)間消耗較大的參與者可以選擇不參與聚合。盡管這種方案可以減少每回合的時(shí)間消耗,但對(duì)于部分計(jì)算時(shí)間消耗較大的參與者來說存在不公平性的問題?，F(xiàn)有的研究常常通過剔除訓(xùn)練延遲大的參與者來提高效率,但這對(duì)某些參與者不公平。為解決這個(gè)問題,該文提出了FlexFL算法,能夠平衡參與者設(shè)備異構(gòu)和數(shù)據(jù)不均衡性對(duì)訓(xùn)練時(shí)間的影響,提高整體訓(xùn)練效率。實(shí)驗(yàn)結(jié)果表明,FlexFL算法在減少時(shí)間消耗的同時(shí),不降低模型性能。

2 動(dòng)態(tài)聯(lián)邦學(xué)習(xí)優(yōu)化方法

在本章中,首先提出了聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)動(dòng)態(tài)縮放策略,并引入了兩層聯(lián)邦學(xué)習(xí)架構(gòu)來實(shí)現(xiàn)該策略。隨后,基于聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)動(dòng)態(tài)策略,提出了FlexFL算法,旨在降低聯(lián)邦學(xué)習(xí)每回合的時(shí)間消耗。

使用的符號(hào)解釋如表1所示。

表1 符號(hào)解釋

2.1 聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)動(dòng)態(tài)縮放策略

針對(duì)聯(lián)邦學(xué)習(xí)中每回合不同參與者由于時(shí)間消耗不同而導(dǎo)致全局模型聚合時(shí)間長(zhǎng),從而影響整體聯(lián)邦學(xué)習(xí)訓(xùn)練效率的問題,重點(diǎn)考慮設(shè)備異構(gòu)和數(shù)據(jù)不均衡這兩個(gè)因素,因?yàn)樗鼈冊(cè)趯?shí)際環(huán)境中是主要影響參與者時(shí)間消耗的因素?；趯?shí)際環(huán)境的考慮,提出以下設(shè)定:

設(shè)定一:參與者的設(shè)備異構(gòu)主要通過模擬計(jì)算資源的不同來實(shí)現(xiàn),而數(shù)據(jù)不均衡主要通過模擬數(shù)據(jù)分布的不均衡來實(shí)現(xiàn)。

設(shè)定二:參與者在訓(xùn)練開始之前能夠收集到自身的數(shù)據(jù)量和計(jì)算資源的情況,并且對(duì)中央服務(wù)器具有信任,能夠?qū)⑦@些信息上傳至中央服務(wù)器。

設(shè)定三:參與者的數(shù)據(jù)量不均衡,并且在聯(lián)邦學(xué)習(xí)過程中不再發(fā)生變化,即不會(huì)增加或減少本地?cái)?shù)據(jù)量。

設(shè)定四:參與者的計(jì)算資源因復(fù)雜的環(huán)境而處于動(dòng)態(tài)變化中,例如參與了其他計(jì)算任務(wù),占用了計(jì)算資源。

基于以上設(shè)定,并結(jié)合服務(wù)動(dòng)態(tài)縮放的思想[17],提出了聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)動(dòng)態(tài)縮放策略。該策略在每個(gè)參與者上部署了多個(gè)聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)和一個(gè)聯(lián)邦學(xué)習(xí)模型聚合服務(wù)。首先,將參與者的本地?cái)?shù)據(jù)平均劃分給對(duì)應(yīng)的聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)進(jìn)行訓(xùn)練,得到本地模型。然后,參與者的模型聚合服務(wù)將本地模型聚合后上傳到中央服務(wù)器進(jìn)行進(jìn)一步的模型聚合。中央服務(wù)器完成模型聚合后,將更新后的模型發(fā)送回參與者的聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù),進(jìn)行下一回合的訓(xùn)練。在每回合訓(xùn)練中,根據(jù)參與者計(jì)算資源的變化,隨機(jī)選擇激活參與者部署的聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)參與下一輪的訓(xùn)練,未被選中的服務(wù)將休眠并釋放計(jì)算資源,而被選中的服務(wù)將獲得分配的計(jì)算資源,從而加快計(jì)算速度。圖1展示了該策略的結(jié)構(gòu)。

圖1 聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)動(dòng)態(tài)縮放策略

如圖1所示,m個(gè)參與者在一個(gè)中央服務(wù)器的協(xié)助下共同訓(xùn)練一個(gè)全局模型。在該設(shè)定中,參與者的本地?cái)?shù)據(jù)是非獨(dú)立同分布(Non-IID)且不均衡的,這符合大多數(shù)真實(shí)場(chǎng)景的情況。參與者的本地?cái)?shù)據(jù)用集合{D1,D2,…,Dm}表示,參與者的聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)數(shù)目cm為:

(1)

然后,參與者m將本地?cái)?shù)據(jù)集隨機(jī)平均劃分成cm份,對(duì)應(yīng)cm個(gè)聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)。接著,每回合重復(fù)以下步驟直至模型收斂。

(2)

步驟二:確定參與者選擇激活的參與者的數(shù)目為:

(3)

步驟三:隨機(jī)激活a個(gè)聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù),并將計(jì)算資源平均分配給這些激活的聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù),使其參與本回合的計(jì)算。未被激活的服務(wù)不進(jìn)行計(jì)算,不占用計(jì)算資源。

表2 通信開銷和計(jì)算開銷

2.2 動(dòng)態(tài)聯(lián)邦學(xué)習(xí)訓(xùn)練算法FlexFL

(4)

(5)

其中,?F是損失函數(shù),g是梯度,ω表示回合k中的模型參數(shù),μ表示學(xué)習(xí)率,c是聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)標(biāo)號(hào)。

(6)

(7)

如圖2所示,在開始訓(xùn)練之前,參與者需進(jìn)行本地?cái)?shù)據(jù)劃分以對(duì)應(yīng)聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)。中央服務(wù)器需要進(jìn)行一些初始化工作,包括選擇算法,超參數(shù),初始化全局模型等,然后重復(fù)下述步驟直至模型收斂。

第1步:訓(xùn)練開始,中央服務(wù)器下發(fā)本輪全局模型給參與者。

第2步:參與者接收到中央服務(wù)器的全局模型ωk-1,并將其發(fā)送給聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)。

第6步:參與者將其本地模型發(fā)送到中央服務(wù)器。

第7步:中央服務(wù)器收到所有本輪參與訓(xùn)練的參與者的本地模型后,聚合更新后得到全局模型ωk。

第8步:返回第1步,直至模型收斂。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集與模型

為了驗(yàn)證提出的FlexFL算法的性能,設(shè)計(jì)了一個(gè)由200個(gè)參與者和1個(gè)中央服務(wù)器組成的網(wǎng)絡(luò)。每個(gè)回合中央服務(wù)器隨機(jī)選擇20%的參與者參與訓(xùn)練。

在深度學(xué)習(xí)中使用了兩個(gè)常見的基準(zhǔn)數(shù)據(jù)集來實(shí)現(xiàn)算法。第一個(gè)數(shù)據(jù)集是MNIST手寫數(shù)字識(shí)別,包含60 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本。每張圖片代表0到9中的一個(gè)數(shù)字,位于中央。為了每個(gè)參與者被隨機(jī)分配訓(xùn)練樣本,并且反映出聯(lián)邦學(xué)習(xí)數(shù)據(jù)非獨(dú)立同分布的特點(diǎn),數(shù)據(jù)集劃分采用了非平衡方式,首先按數(shù)字標(biāo)簽進(jìn)行隨機(jī)打亂,然后分為3 000個(gè)分片,每個(gè)分片包含20張數(shù)據(jù)。這種劃分方式確保可以通過控制分片數(shù)目來控制樣本數(shù)量差距。第二個(gè)數(shù)據(jù)集是CIFAR-10,包含50 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本,共有10個(gè)類別。每個(gè)類別包含6 000個(gè)32×32像素點(diǎn)的彩色圖像。CIFAR-10將識(shí)別任務(wù)遷移到普適物體,具有大量噪聲和不同比例的物體識(shí)別,因此對(duì)圖像識(shí)別更具挑戰(zhàn)性。數(shù)據(jù)集的劃分方式與MNIST類似,采用了非平衡劃分。該文使用全連接神經(jīng)網(wǎng)絡(luò)(也稱為多層感知機(jī))進(jìn)行訓(xùn)練。

3.2 實(shí)驗(yàn)設(shè)置

FlexFL算法是基于Pytorch 的客戶端/服務(wù)器端聯(lián)邦學(xué)習(xí)架構(gòu)框架實(shí)現(xiàn)。該文主要考慮由于設(shè)備異構(gòu)和數(shù)據(jù)不均衡的影響,為了排除參與者和中央服務(wù)器中之間網(wǎng)絡(luò)通信時(shí)間的影響,實(shí)驗(yàn)中的中央服務(wù)器的聚合和客戶端的本地訓(xùn)練都在同一臺(tái)具有NVIDIA1080Ti的機(jī)器上進(jìn)行。實(shí)驗(yàn)相關(guān)參數(shù)設(shè)置如下:本地訓(xùn)練中,學(xué)習(xí)率為0.01,batch設(shè)置為50,epoch設(shè)置為5。設(shè)備的異構(gòu)性通過給予設(shè)備不同的計(jì)算資源來模擬,并在每一回合隨機(jī)、動(dòng)態(tài)地更新不同參與者的計(jì)算資源。數(shù)據(jù)的不均衡通過設(shè)置不同的環(huán)境來實(shí)現(xiàn):

環(huán)境A:隨機(jī)選取5%的參與者平均分得50%的數(shù)據(jù)。其余參與者平均分得50%的數(shù)據(jù)。

環(huán)境B:隨機(jī)選取10%的參與者平均分得50%的數(shù)據(jù)。其余參與者平均分得50%的數(shù)據(jù)。

環(huán)境C:隨機(jī)選取30%的參與者平均分得50%的數(shù)據(jù)。其余參與者平均分得50%的數(shù)據(jù)。

3.3 性能比較和結(jié)果分析

(1)準(zhǔn)確率上升速率。

為了對(duì)FlexFL算法的性能有直觀的認(rèn)識(shí),圖3比較了兩種算法在不同環(huán)境設(shè)置下的性能表現(xiàn)?？梢杂^察到,在通信初始階段,FedAvg以較少回合達(dá)到了同樣的準(zhǔn)確率,這是因?yàn)?當(dāng)數(shù)據(jù)分布不均衡、參與者計(jì)算資源隨機(jī)變化的時(shí)候,FedAvg在通信初期,每回合能夠有較多的數(shù)據(jù)參與訓(xùn)練,所以準(zhǔn)確率上升較快。而FlexFL對(duì)本地?cái)?shù)據(jù)進(jìn)行劃分,對(duì)聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)隨機(jī)激活,每次參與訓(xùn)練的數(shù)據(jù)比FedAvg少。當(dāng)通信回合大于150的時(shí)候,FlexFL以較少的通信回合達(dá)到同樣的準(zhǔn)確率,并且在相同的通信回合中,其準(zhǔn)確率優(yōu)于FedAvg。這證明了FlexFL相較于FedAvg性能并沒有降低。

圖3 不同設(shè)置下測(cè)試集準(zhǔn)確率和通信回合的關(guān)系

(2)平均時(shí)間消耗。

時(shí)間消耗在評(píng)價(jià)聯(lián)邦學(xué)習(xí)算法的性能上也是一個(gè)重要指標(biāo)。如圖4所示,FlexFL算法無(wú)論是準(zhǔn)確率還是最后收斂時(shí)間都優(yōu)于FedAvg算法。

圖4 不同設(shè)置下測(cè)試集準(zhǔn)確率和時(shí)間消耗的關(guān)系

表3列出了不同環(huán)境設(shè)置下(對(duì)應(yīng)圖4中(a)～(f))使用兩種算法達(dá)到目標(biāo)準(zhǔn)確率97.5%所需要的通信回合,平均每回合所需時(shí)間和總的時(shí)間消耗。在表3中幾組實(shí)驗(yàn)均顯示,FlexFL的每回合平均時(shí)間消耗和達(dá)到目標(biāo)準(zhǔn)確率總的時(shí)間消耗均比FedAvg的低。

表3 不同環(huán)境下FlexFL算法與聯(lián)邦學(xué)習(xí)算法FedAvg在測(cè)試集上的表現(xiàn)對(duì)比

由表4顯示,所提算法在不同環(huán)境下,用MNIST數(shù)據(jù)集測(cè)試,分別將訓(xùn)練時(shí)間消耗降低了90.37%,96.00%和14.41%。用CIFAR數(shù)據(jù)集測(cè)試,分別將訓(xùn)練時(shí)間消耗降低了91.04%,86.35%和24.82%。這證實(shí)了在參與者數(shù)據(jù)分布不平衡、計(jì)算資源動(dòng)態(tài)變化的時(shí)候,FlexFL具有較低的時(shí)間消耗。

表4 不同環(huán)境下FlexFL達(dá)到目標(biāo)準(zhǔn)確率(97.5%)以FedAvg為基準(zhǔn)的時(shí)間消耗減少率

值得說明的是,當(dāng)數(shù)據(jù)分布均衡的時(shí)候,FlexFL算法對(duì)本地?cái)?shù)據(jù)不進(jìn)行劃分,參與者僅僅部署一個(gè)聯(lián)邦學(xué)習(xí)服務(wù),這本質(zhì)上與FedAvg算法沒有區(qū)別。

4 結(jié)束語(yǔ)

提出了一種基于動(dòng)態(tài)縮放策略的聯(lián)邦學(xué)習(xí)算法FlexFL,旨在減少聯(lián)邦學(xué)習(xí)每回合的時(shí)間消耗。該算法引入了兩層聯(lián)邦學(xué)習(xí)架構(gòu),通過將本地?cái)?shù)據(jù)進(jìn)行劃分,并對(duì)應(yīng)部署聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù),結(jié)合每輪參與者的計(jì)算資源變化,對(duì)部署在該參與者的聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)進(jìn)行動(dòng)態(tài)激活,使得參與者的每回合的時(shí)間消耗減少。實(shí)驗(yàn)結(jié)果表明,與聯(lián)邦學(xué)習(xí)算法FedAvg相比,該算法有效降低了聯(lián)邦學(xué)習(xí)的訓(xùn)練時(shí)間消耗。不足之處在于,需要在參與者部署多個(gè)聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)和一個(gè)聚合服務(wù),這會(huì)帶來一些額外的資源消耗;FlexFL每一回合都需要對(duì)聯(lián)邦學(xué)習(xí)服務(wù)進(jìn)行動(dòng)態(tài)激活,在復(fù)雜實(shí)際環(huán)境中,可能會(huì)有部分激活失敗的情況。

在接下來的工作中,將對(duì)該算法進(jìn)行改進(jìn)。例如,在聯(lián)邦學(xué)習(xí)訓(xùn)練服務(wù)進(jìn)行縮放和本地?cái)?shù)據(jù)集進(jìn)行劃分的時(shí)候不夠細(xì)致,可能并沒有達(dá)到最好的效果。其次,在中央服務(wù)器選擇參與者的過程中采取的隨機(jī)的方式,這可以結(jié)合其他研究進(jìn)行優(yōu)化。