周 偉,李藝穎,陳曙暉,丁 博

(國(guó)防科技大學(xué) 計(jì)算機(jī)學(xué)院, 湖南 長(zhǎng)沙 410073)

傳統(tǒng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù),大部分是圍繞單個(gè)任務(wù)的學(xué)習(xí)(或者可以稱(chēng)為單域?qū)W習(xí)),如圖1(a)所示,其處理的數(shù)據(jù)樣本來(lái)自單個(gè)域(即獨(dú)立同分布的數(shù)據(jù)樣本),例如人臉識(shí)別、目標(biāo)檢測(cè),或者圖像生成等任務(wù)。當(dāng)系統(tǒng)切換到一個(gè)新的任務(wù)或域時(shí),系統(tǒng)需要更換新的網(wǎng)絡(luò)模型參數(shù)或重新初始化參數(shù)。深度學(xué)習(xí)在模式識(shí)別等領(lǐng)域超越了人類(lèi)的性能,但是以數(shù)據(jù)驅(qū)動(dòng)為基礎(chǔ)的系統(tǒng)模型十分脆弱,泛化能力存在弊端。例如,醫(yī)院通常僅基于自身數(shù)據(jù)構(gòu)建深度學(xué)習(xí)模型,由于隱私、競(jìng)爭(zhēng)或管理等因素而無(wú)法訪問(wèn)其他醫(yī)院的同類(lèi)數(shù)據(jù)?？梢韵胂螽?dāng)患者可以獲得來(lái)自其他醫(yī)院數(shù)據(jù)信息(例如,心電圖或者腦電圖樣本)的協(xié)助診斷是多么有吸引力的事情。

(a) 單域模型(a) Model of single domain

協(xié)作是如今數(shù)據(jù)量爆炸、任務(wù)復(fù)雜度激增后一個(gè)多方渴望的解決理念,知識(shí)的共享將有助于提高所有機(jī)構(gòu)的績(jī)效。但是,多機(jī)構(gòu)的協(xié)助和共享并不是一件容易的事情,共享架構(gòu)所帶來(lái)額外的資源開(kāi)銷(xiāo)以及多機(jī)構(gòu)私有數(shù)據(jù)本質(zhì)上的偏移性問(wèn)題是不可忽視的挑戰(zhàn)[1]:

1)機(jī)器學(xué)習(xí)應(yīng)用存在一個(gè)普遍性問(wèn)題:在運(yùn)行機(jī)器學(xué)習(xí)應(yīng)用程序之前,系統(tǒng)將所有數(shù)據(jù)集中到廣域網(wǎng)上的一個(gè)數(shù)據(jù)中心中[2-3],但廣域網(wǎng)帶寬是一種稀缺資源,因此移動(dòng)所有數(shù)據(jù)可能非常緩慢[4]。此外,圖像和視頻的快速增長(zhǎng)最終會(huì)使廣域網(wǎng)帶寬飽和[5];一些國(guó)家的隱私和數(shù)據(jù)主權(quán)法禁止跨越國(guó)界或大陸邊界傳輸原始數(shù)據(jù)[6]。

2)多機(jī)構(gòu)場(chǎng)景中的域偏移或數(shù)據(jù)集偏差是一個(gè)極具挑戰(zhàn)性的問(wèn)題,例如照片藝術(shù)卡通素描數(shù)據(jù)(photo art cartoon sketch database, PACS)。此外,多域表示也可以采取類(lèi)偏移的形式,簡(jiǎn)單地以美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所數(shù)據(jù)庫(kù)[8](mixed national institute of standards and technology database, MNIST)為例,不同域之間包含不相交的手寫(xiě)數(shù)字類(lèi)別(例如,A域包含數(shù)字[1,2,3],B域包含數(shù)字[5,7,8])。

聯(lián)邦學(xué)習(xí)(federated learning, FL)作為一個(gè)多機(jī)構(gòu)聯(lián)合機(jī)器學(xué)習(xí)的應(yīng)用范式,它充分融合深度學(xué)習(xí)技術(shù)的優(yōu)勢(shì)[9-10],在保持?jǐn)?shù)據(jù)私有性的同時(shí)實(shí)現(xiàn)多機(jī)構(gòu)(即非獨(dú)立同分布的多個(gè)域)參與者對(duì)全局模型的協(xié)同訓(xùn)練,如圖1(b)所示。聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)技術(shù)結(jié)合的方式可以充分利用多機(jī)構(gòu)的數(shù)據(jù)資源和計(jì)算力資源,提升深度學(xué)習(xí)系統(tǒng)的泛化能力,進(jìn)而提高系統(tǒng)的整體性能,例如圖2中如何判定狗的一種新的形式,如何學(xué)習(xí)一種新的運(yùn)動(dòng)。

圖2 域偏移問(wèn)題Fig.2 Issue of domain shift

盡管傳統(tǒng)FL具有良好的監(jiān)管和經(jīng)濟(jì)效益,但仍存在一些缺陷:主流的FL利用梯度共享或者參數(shù)共享模式(例如,FedAvg[9]),該模式基于一個(gè)可信的集中式服務(wù)器來(lái)聚合梯度或參數(shù),約束所有節(jié)點(diǎn)具有相同的網(wǎng)絡(luò)結(jié)構(gòu),但會(huì)限制參與機(jī)構(gòu)模型個(gè)性的訴求。同時(shí),梯度或參數(shù)共享仍然面臨嚴(yán)重的隱私泄露風(fēng)險(xiǎn)[11-12],盡管有一些技術(shù)已弱化這種風(fēng)險(xiǎn)(例如,差分隱私[13]和秘密共享[14]);而且,網(wǎng)絡(luò)模型梯度的參數(shù)空間仍然是巨大的(普通卷積神經(jīng)網(wǎng)絡(luò)規(guī)模為10～100 000 000,甚至更大)。

針對(duì)上述問(wèn)題,本文在FL框架下提出了一種新的解決方案模型不可知的聯(lián)合相互學(xué)習(xí)(model agnostic federated mutual learning, MAFML)。MAFML借鑒相互學(xué)習(xí)的思想,僅利用少量低維的“意識(shí)”(例如,圖像分類(lèi)任務(wù)中神經(jīng)網(wǎng)絡(luò)輸出的軟標(biāo)簽)共享實(shí)現(xiàn)跨機(jī)構(gòu)間的“互學(xué)互教”。為保留機(jī)構(gòu)模型的個(gè)性,每個(gè)參與的機(jī)構(gòu)節(jié)點(diǎn)都可以擁有自定制的私有模型。在跨域的場(chǎng)景設(shè)定下,MAFML借鑒相互學(xué)習(xí)的思想[15],使每個(gè)機(jī)構(gòu)節(jié)點(diǎn)避免或減輕對(duì)自身域數(shù)據(jù)的遺忘,同時(shí)允許有益的知識(shí)遷移,從而更好地泛化到其他域。

1 相關(guān)工作

1.1 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)的初衷是直接在本地設(shè)備上訓(xùn)練統(tǒng)計(jì)模型。文獻(xiàn)[8]將FL的概念擴(kuò)展到不同數(shù)據(jù)組織之間的協(xié)作。但無(wú)論是在垂直FL[16]還是遷移FL[17]中,執(zhí)行特定任務(wù)的過(guò)程中都要求所有節(jié)點(diǎn)一起工作,而且每個(gè)節(jié)點(diǎn)僅負(fù)責(zé)任務(wù)的部分要素。受到聯(lián)邦學(xué)習(xí)和元學(xué)習(xí)之間聯(lián)系的啟發(fā),文獻(xiàn)[18]將 MAML 結(jié)合到聯(lián)邦框架 Per-FedAvg 來(lái)學(xué)習(xí)初始共享模型,從而實(shí)現(xiàn)每個(gè)用戶(hù)快速適應(yīng)和個(gè)性化。文獻(xiàn)[19]使用 FedAvg 進(jìn)行集中模型訓(xùn)練,然后使用 Reptile 繼續(xù)進(jìn)行用戶(hù)的個(gè)性化初始模型訓(xùn)練。相關(guān)的FL研究是文獻(xiàn)[20],它本質(zhì)上是通過(guò)多任務(wù)學(xué)習(xí)方式,且不需要全局模型。但是,每個(gè)模型都只關(guān)注自己任務(wù)的性能,而不考慮將模型泛化到其他任務(wù)上。盡管一些FL工作的相關(guān)研究關(guān)注到了異構(gòu)模型,但文獻(xiàn)[21]仍然需要構(gòu)建類(lèi)似于FedAvg的全局模型結(jié)構(gòu),之所以稱(chēng)為異構(gòu)的原因在于它利用了異構(gòu)的子結(jié)構(gòu)從分布式同構(gòu)模型上蒸餾知識(shí)。FedMD[22]是研究異構(gòu)FL的另外一項(xiàng)工作,但它更加側(cè)重于通過(guò)模型蒸餾來(lái)獲取通信模塊。文獻(xiàn)[19]研究模型不可知的FL,但需要優(yōu)化集中式全局模型并微調(diào)局部模型。本文在每個(gè)節(jié)點(diǎn)上保留了本地定制的同構(gòu)或異構(gòu)模型,而無(wú)須集中式模型或其他額外模型。

1.2 跨域?qū)W習(xí)

多域?qū)W習(xí)[23]旨在最終為多個(gè)域創(chuàng)建一個(gè)單一模型,尤其是當(dāng)數(shù)據(jù)量相對(duì)較小且域相似時(shí)。如果訓(xùn)練域和測(cè)試域已經(jīng)明確定義好,域自適應(yīng)(domain adaptation,DA)[24]和域泛化(domain generalization, DG)[25]則是多域?qū)W習(xí)兩個(gè)重要的子研究領(lǐng)域。DA和DG的共同點(diǎn)在于它們都關(guān)注于到目標(biāo)域的模型泛化能力,不同則是前者在訓(xùn)練階段可以訪問(wèn)目標(biāo)域的數(shù)據(jù)。不同于DA和DG的目標(biāo),本文希望最終的模型表現(xiàn)形式是:每個(gè)節(jié)點(diǎn)的模型對(duì)于其他域具有良好的泛化能力,同時(shí)不會(huì)犧牲在節(jié)點(diǎn)本地源域的性能。這個(gè)思想是同非穩(wěn)定性分布下的持續(xù)學(xué)習(xí)一致的[26],持續(xù)學(xué)習(xí)也可以稱(chēng)為終生學(xué)習(xí),就是要“最大化遷移能力(泛化)和最小化干擾(忘記)”。

1.3 協(xié)同學(xué)習(xí)

協(xié)同學(xué)習(xí)[27]不同于傳統(tǒng)的“知識(shí)型老師(一般認(rèn)為‘老師’比學(xué)生知識(shí)淵博)”的監(jiān)督學(xué)習(xí),它提供了一種新的學(xué)習(xí)范式:考慮在“同伴”之間交換信息,即一群“學(xué)生”相互學(xué)習(xí)和相互教授知識(shí)。雙重學(xué)習(xí)是其中一個(gè)典型的工作[28],它的兩個(gè)跨語(yǔ)言翻譯模型可以并行訓(xùn)練。文獻(xiàn)[29]針對(duì)不同域中的同一任務(wù)聯(lián)合培訓(xùn)多個(gè)代理,其中語(yǔ)義中層視覺(jué)屬性用于代理之間的通信,因此代理需要學(xué)習(xí)特征屬性模型以及特征類(lèi)別模型。共蒸餾[30]用于大規(guī)模分布式網(wǎng)絡(luò)訓(xùn)練,但是所有節(jié)點(diǎn)都需要相同的體系結(jié)構(gòu)和數(shù)據(jù)集。

2 框架的公式化表達(dá)

本節(jié)將介紹MAFML框架的詳細(xì)信息。假設(shè)多機(jī)構(gòu)聯(lián)盟中包含N個(gè)節(jié)點(diǎn)(每個(gè)機(jī)構(gòu)節(jié)點(diǎn)可以理解為一個(gè)數(shù)據(jù)域)。

定義1節(jié)點(diǎn)彼此之間生成和存儲(chǔ)具有明顯分布差異的數(shù)據(jù)D={D1,D2,…,DN},即數(shù)據(jù)是非獨(dú)立同分布的,并且每個(gè)節(jié)點(diǎn)上的數(shù)據(jù)都包含一組數(shù)據(jù)標(biāo)簽對(duì)(Di={Xi,Yi})。

在本框架的設(shè)計(jì)中,假定所有機(jī)構(gòu)間是同構(gòu)跨域數(shù)據(jù),即所有標(biāo)簽Yi都位于M類(lèi)的相同標(biāo)簽空間中。例如,對(duì)于相同疾病標(biāo)簽的醫(yī)學(xué)圖像,由于不同醫(yī)療機(jī)構(gòu)的采集設(shè)備、醫(yī)務(wù)人員工作習(xí)慣和不同的病癥患者的差異性,導(dǎo)致了圖像樣本的分布差異。在基于深度神經(jīng)網(wǎng)絡(luò)的模型基礎(chǔ)上,假設(shè)節(jié)點(diǎn)i使用由θi參數(shù)化的神經(jīng)網(wǎng)絡(luò),模型結(jié)構(gòu)的要求是松散、靈活的,這是本文方法與模型無(wú)關(guān)的關(guān)鍵所在。此外,節(jié)點(diǎn)的大多數(shù)數(shù)據(jù)都保留在本地以更好地保護(hù)隱私,節(jié)點(diǎn)之間的相互學(xué)習(xí)是通過(guò)少量共享公開(kāi)數(shù)據(jù)來(lái)實(shí)現(xiàn)的。因此,基于上述考慮,MAFML的工作流程分為兩個(gè)階段:本地域局部?jī)?yōu)化和跨域全局優(yōu)化。與此同時(shí),為方便實(shí)現(xiàn)機(jī)構(gòu)節(jié)點(diǎn)間的數(shù)據(jù)一致性,以及MAFML框架少量通信開(kāi)銷(xiāo)的內(nèi)在優(yōu)勢(shì),在全局優(yōu)化階段采取匯聚到中心服務(wù)器的數(shù)據(jù)交互模式。

2.1 本地域局部?jī)?yōu)化

單個(gè)機(jī)構(gòu)域中的數(shù)據(jù)遵循穩(wěn)定的獨(dú)立同分布,本地域優(yōu)化過(guò)程中采取傳統(tǒng)的監(jiān)督學(xué)習(xí)方式實(shí)現(xiàn)模型的收斂過(guò)程。節(jié)點(diǎn)的局部?jī)?yōu)化基于梯度的常規(guī)網(wǎng)絡(luò)更新方式。將第i個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)定義為fθi,針對(duì)框架所應(yīng)對(duì)的分類(lèi)場(chǎng)景,利用交叉熵(cross-entropy, CE)損失來(lái)表示當(dāng)前的神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)不擬合的程度:

(1)

(2)

2.2 跨域全局優(yōu)化

一般意義上的學(xué)習(xí)過(guò)程是受過(guò)預(yù)訓(xùn)練的老師將其知識(shí)遷移到未經(jīng)專(zhuān)業(yè)訓(xùn)練的學(xué)生,這可以看作是一個(gè)知識(shí)蒸餾[32]的過(guò)程。蒸餾過(guò)程可以是大規(guī)模網(wǎng)絡(luò)轉(zhuǎn)化成一個(gè)小規(guī)模目標(biāo)網(wǎng)絡(luò),并保留接近于大規(guī)模網(wǎng)絡(luò)的性能;也可以將多個(gè)網(wǎng)絡(luò)的知識(shí)轉(zhuǎn)移到目標(biāo)網(wǎng)絡(luò)中,使得目標(biāo)網(wǎng)絡(luò)的性能接近多個(gè)源網(wǎng)絡(luò)聚合的效果。因此,聯(lián)合的多個(gè)節(jié)點(diǎn)可以看作是學(xué)生互相教授學(xué)習(xí)的過(guò)程(即每個(gè)人都參與到學(xué)習(xí)和教導(dǎo)的過(guò)程中,實(shí)現(xiàn)老師和學(xué)生角色的交替輪換)。具體而言,通過(guò)全局優(yōu)化的過(guò)程實(shí)現(xiàn)上述描述的“互教互學(xué)”。

(3)

對(duì)應(yīng)地,

(4)

在全局優(yōu)化階段,節(jié)點(diǎn)利用公開(kāi)數(shù)據(jù)進(jìn)行了學(xué)習(xí)模仿的KL損失。同時(shí),可以充分利用這部分?jǐn)?shù)據(jù)計(jì)算傳統(tǒng)的監(jiān)督損失(例如,CE損失函數(shù))

(5)

利用兩個(gè)損失函數(shù),本文采取反向傳播可以計(jì)算對(duì)應(yīng)的梯度為:

(6)

假設(shè)聯(lián)邦學(xué)習(xí)中一個(gè)關(guān)鍵的優(yōu)化問(wèn)題是由相互矛盾的梯度引起的,梯度的更新方向不一致,這由負(fù)內(nèi)積來(lái)衡量。

本文的目標(biāo)是通過(guò)直接改變梯度本身來(lái)防止沖突。這里框架采用了一個(gè)簡(jiǎn)潔有效的方式:如果梯度發(fā)生沖突,即它們的余弦相似度為負(fù),則將全局梯度投影到局部梯度的法線平面上,這等于消除了全局梯度的沖突分量,從而減少了機(jī)構(gòu)聯(lián)邦學(xué)習(xí)中的破壞性梯度干擾。當(dāng)余弦相似度為正時(shí),直接采用全局梯度結(jié)果,利用一般性的優(yōu)化器Adam[33]來(lái)更新模型參數(shù)。

(7)

算法1中細(xì)節(jié)描述了整個(gè)算法流程?？偠灾?在每個(gè)節(jié)點(diǎn)域中,首先對(duì)本地保留數(shù)據(jù)和公開(kāi)數(shù)據(jù)進(jìn)行采樣,然后在本地計(jì)算:使用(CE)在本地保留數(shù)據(jù)批量上執(zhí)行Adam更新梯度然后在跨域的公開(kāi)數(shù)據(jù)上形成“意識(shí)”信息和Ai作為相互學(xué)習(xí)的準(zhǔn)備。在全局優(yōu)化階段,在多域的共同學(xué)習(xí)中引入了(KL)和常規(guī)的(CE)損失函數(shù),以計(jì)算跨域公共梯度然后根據(jù)梯度沖突條件判斷,計(jì)算適當(dāng)?shù)奶荻茸鳛樽罱K的全局梯度來(lái)更新節(jié)點(diǎn)模型的網(wǎng)絡(luò)。這不僅是向其他域積極的前向遷移,而且是積極的后向遷移以保持模型在其原始域上的性能。

3 模型的收斂和性能評(píng)估

3.1 模型的收斂性

(θ+)≤(θ)+?(θ)T(θ+-θ)

(8)

定理1框架構(gòu)建的關(guān)于全局優(yōu)化和局部?jī)?yōu)化結(jié)合的映射方式會(huì)收斂到:當(dāng)兩個(gè)梯度更新的夾角cosσ=-1,或者最優(yōu)的損失函數(shù)值(θ*)。

(9)

將式(9)代入式(8),并將其繼續(xù)展開(kāi),其運(yùn)算結(jié)果如下:

(10)

將兩個(gè)梯度沖突判斷中的余弦函數(shù)展開(kāi):

(11)

那么,把式(11)代入式(10),可以獲得該不等式的最終形式:

(12)

□

3.2 性能評(píng)估函數(shù)

模型的性能評(píng)估函數(shù):后向遷移(backward transfer, BWT)、前向遷移(forward transfer, FWT)和平均準(zhǔn)確率(average accuracy, ACC)。

這里F是用于計(jì)算測(cè)試數(shù)據(jù)準(zhǔn)確性的常規(guī)函數(shù),F的下標(biāo)i表示使用第i個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)模型,括號(hào)中的數(shù)據(jù)為測(cè)試數(shù)據(jù)。這些指標(biāo)越大,則節(jié)點(diǎn)的模型性能越好。

4 實(shí)驗(yàn)分析

在跨域任務(wù)環(huán)境中評(píng)估MAFML方法的效果:數(shù)字分類(lèi)(旋轉(zhuǎn)MNIST)和圖像識(shí)別(PACS)。數(shù)據(jù)集具有域偏移特性。本文使用Ray[34]框架對(duì)MAFML方法進(jìn)行分布式的實(shí)現(xiàn),MAFML的程序代碼采用PyTorch框架構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型,并在具有4個(gè) GPU(NVIDIA GeForce GTX 1080 Ti)的服務(wù)器上訓(xùn)練運(yùn)行。MAFML主要與以下基準(zhǔn)方案進(jìn)行比較:

獨(dú)立(independent,IND):每個(gè)節(jié)點(diǎn)在基于CE損失函數(shù)的Adam優(yōu)化過(guò)程中,僅使用自己域的私有和公開(kāi)數(shù)據(jù),訓(xùn)練過(guò)程中完全避免了其他節(jié)點(diǎn)可能會(huì)帶來(lái)的干擾因素。

匯聚(aggregation, AGG):每個(gè)節(jié)點(diǎn)在基于CE損失函數(shù)的Adam優(yōu)化過(guò)程中,使用的數(shù)據(jù)不僅僅是自己域的私有和公開(kāi)數(shù)據(jù),同時(shí)還匯聚了來(lái)自其他域的公開(kāi)數(shù)據(jù)。AGG方法通常是跨域情況下一個(gè)很強(qiáng)烈的基準(zhǔn)對(duì)比。

FedMD[22]:適用于通過(guò)模型蒸餾實(shí)現(xiàn)的異構(gòu)FL。

FedAvg[8]:僅適用于具有同構(gòu)網(wǎng)絡(luò)的FL常規(guī)方法,它采用集中式服務(wù)器將節(jié)點(diǎn)的梯度聚合,然后將相同的參數(shù)分配給節(jié)點(diǎn)。

4.1 旋轉(zhuǎn)MNIST實(shí)驗(yàn)

4.1.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)定

旋轉(zhuǎn)MNIST(RMNIST、Rotated MNIST)包含不同的域,每個(gè)域?qū)?yīng)經(jīng)典MNIST數(shù)據(jù)集中不同旋轉(zhuǎn)程度的樣本。因此,不同的節(jié)點(diǎn)具有不同的數(shù)據(jù)統(tǒng)計(jì)特性。基本視圖(M0)是通過(guò)從原始MNIST數(shù)據(jù)集中隨機(jī)選擇十個(gè)類(lèi)別,每個(gè)類(lèi)別100張圖像形成的,然后根據(jù)M0創(chuàng)建3個(gè)旋轉(zhuǎn)域,每個(gè)旋轉(zhuǎn)域均沿順時(shí)針?lè)较蛐D(zhuǎn)20°,分別命名為M20、M40、M60。根據(jù)私有數(shù)據(jù)、公開(kāi)數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù),將每個(gè)節(jié)點(diǎn)域的數(shù)據(jù)默認(rèn)拆分為65%、10%、10%、15%的比例。

4.1.2 結(jié)果分析

表1顯示了上述所描述方法之間的比較,其中部分方法是α的函數(shù)。每50輪使用驗(yàn)證數(shù)據(jù)進(jìn)行評(píng)估,并根據(jù)訓(xùn)練過(guò)程中最大ACC保存的模型對(duì)三個(gè)指標(biāo)進(jìn)行最終測(cè)試。表1中每個(gè)指標(biāo)的最大值標(biāo)注為粗體。對(duì)于大多數(shù)α的設(shè)置情況,MAFML總是優(yōu)于其他方法。通常,設(shè)置中α值的增加會(huì)使MAFML性能有所改善。IND通常在BWT上勝過(guò)AGG和其他方法,但是在FWT的性能要比AGG低得多,原因在于IND僅在每個(gè)節(jié)點(diǎn)域內(nèi)部數(shù)據(jù)中訓(xùn)練,而沒(méi)有其他域的信息。AGG表現(xiàn)出比FedMD更好的性能。對(duì)于FedAvg,其基于梯度的通信帶寬成本是基于“意識(shí)”方法的1 000倍以上。本文保持其通信強(qiáng)度與MAFML基本相同的情況下記錄結(jié)果。在同構(gòu)網(wǎng)絡(luò)設(shè)定下,MAFML在所有指標(biāo)上的表現(xiàn)明顯更好。

4.2 PACS實(shí)驗(yàn)

4.2.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)定

PACS 是用于域泛化和域適應(yīng)研究的對(duì)象識(shí)別數(shù)據(jù)集。它包含來(lái)自4個(gè)不同域(照片、藝術(shù)繪畫(huà)、卡通和素描)的9 991張圖像(剪切大小為224像素×224像素),具有7個(gè)類(lèi)別:狗、大象、長(zhǎng)頸鹿、吉他、房子、馬和人。原始的PACS數(shù)據(jù)集已被固定拆分為訓(xùn)練、驗(yàn)證和測(cè)試三部分,因此為了滿(mǎn)足MAFML的數(shù)據(jù)結(jié)構(gòu),將PACS測(cè)試部分的10%作為節(jié)點(diǎn)的公開(kāi)數(shù)據(jù),測(cè)試部分剩余的90%作為節(jié)點(diǎn)實(shí)際的測(cè)試數(shù)據(jù),PACS驗(yàn)證部分作為節(jié)點(diǎn)的驗(yàn)證數(shù)據(jù),并直接使用其訓(xùn)練部分作為節(jié)點(diǎn)的私有數(shù)據(jù)。PAC上三個(gè)度量的測(cè)試結(jié)果如表2所示。

表2 PACS上三個(gè)度量的測(cè)試結(jié)果

首先,將ResNet18作為MAFML的同構(gòu)網(wǎng)絡(luò)部署到所有節(jié)點(diǎn)。更重要的是,當(dāng)模型異構(gòu)時(shí),MAFML具有天然優(yōu)勢(shì),分別將網(wǎng)絡(luò)ResNet18、ResNet34、AlexNet和VGG11隨機(jī)部署為多域節(jié)點(diǎn)的網(wǎng)絡(luò)結(jié)構(gòu)。訓(xùn)練階段,模型使用Adam優(yōu)化器(學(xué)習(xí)率為0.000 1,權(quán)重衰減為0.000 01)訓(xùn)練10 000次迭代,批處理大小設(shè)置為32。

4.2.2 結(jié)果分析

從表2的結(jié)果可以看出:①M(fèi)AFML通常會(huì)體現(xiàn)優(yōu)于其他方法的效果,盡管對(duì)于同構(gòu)模型IND在BWT上的表現(xiàn)要好一些。當(dāng)同構(gòu)節(jié)點(diǎn)部署的網(wǎng)絡(luò)使用ResNet18架構(gòu)時(shí),FedAvg的原始通信帶寬約是本文的106倍,考慮到實(shí)際訓(xùn)練過(guò)程的控制,將FedAvg的通信帶寬控制為本文的100倍,但它仍然無(wú)法趕上MAFML的性能。②特別是,當(dāng)不同節(jié)點(diǎn)模型為異構(gòu)類(lèi)型時(shí),FedAvg本質(zhì)上不適用于這種情況。從平均結(jié)果看,MAFML仍勝過(guò)其他方法,AGG依舊是一個(gè)強(qiáng)基準(zhǔn)方法。此外,還有一個(gè)有趣的發(fā)現(xiàn),雖然采用VGG11網(wǎng)絡(luò)的節(jié)點(diǎn)在Sketch域中的性能不佳(請(qǐng)參閱其對(duì)應(yīng)的IND、AGG、BWT結(jié)果),但是通過(guò)相互學(xué)習(xí)的過(guò)程它也不會(huì)拖累其他節(jié)點(diǎn)反而會(huì)使其受益(MAFML在這些域的表現(xiàn)優(yōu)于IND和FedMD)。因此,還可以通過(guò)對(duì)模型能力的自我評(píng)估來(lái)反映式(3)中Aj作為“教學(xué)信心”的合理性。

5 結(jié)論

本文提出了模型不可知的聯(lián)合相互學(xué)習(xí):一種可以在節(jié)點(diǎn)之間協(xié)作且高效通信的“互教互學(xué)”的FL框架。MAFML不限制機(jī)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)和參數(shù),并且在跨域情況下具有更好的可塑性和穩(wěn)定性。實(shí)驗(yàn)表明,MAFML為行業(yè)聯(lián)盟提供了一種有前途的方式來(lái)解決“競(jìng)爭(zhēng)與協(xié)作”的困境。