摘 要：聯(lián)邦學(xué)習(xí)分布式的訓(xùn)練結(jié)構(gòu)易受到投毒攻擊的威脅，現(xiàn)有方法主要針對中央服務(wù)器設(shè)計(jì)安全聚合算法以防御投毒攻擊，但要求中央服務(wù)器可信且中毒參與方數(shù)量需低于正常參與方。為了解決上述問題，提出了一種基于聯(lián)邦學(xué)習(xí)參與方的投毒攻擊防御方法，將防御策略的執(zhí)行轉(zhuǎn)移到聯(lián)邦學(xué)習(xí)的參與方。首先，每個(gè)參與方獨(dú)立構(gòu)造差異損失函數(shù)，通過計(jì)算全局模型與本地模型的輸出并進(jìn)行誤差分析，得到差異損失權(quán)重與差異損失量；其次，依據(jù)本地訓(xùn)練的損失函數(shù)與差異損失函數(shù)進(jìn)行自適應(yīng)訓(xùn)練；最終，依據(jù)本地模型與全局模型的性能分析進(jìn)行模型選取，防止中毒嚴(yán)重的全局模型干擾正常參與方。在MNIST與FashionMNIST等數(shù)據(jù)集上的實(shí)驗(yàn)表明，基于該算法的聯(lián)邦學(xué)習(xí)訓(xùn)練準(zhǔn)確率優(yōu)于DnC等投毒攻擊防御方法，在中毒參與方比例超過一半時(shí)，正常參與方仍能夠?qū)崿F(xiàn)對投毒攻擊的防御。

關(guān)鍵詞： 聯(lián)邦學(xué)習(xí)；投毒攻擊防御；訓(xùn)練權(quán)重；魯棒性

中圖分類號： TP309.2文獻(xiàn)標(biāo)志碼：A 文章編號： 1001－3695（2024）04－031－1171－06

doi： 10.19734/j.issn.1001－3695.2023.07.0340

Defense method on poisoning attack based on clients in federated learning

Liu Jinquan Zhang Zheng Chen Zidong2， Cao Sheng2

Abstract：The distributed training structure of federated learning is vulnerable to poisoning attacks. Existing methods mainly design secure aggregation algorithms for central servers to defend against poisoning attacks， but require the central server to be trusted and the number of poisoned participants to be lower than normal participants. To address the above issues， this paper proposed a poison attack defense method based on federated learning participants， which transfered the execution of defense strategies to the participants of federated learning. Firstly， each participant independently constructed a differential loss function， calculated the output of the global and local models，and conducted error analysis to obtain the weight and amount of differential loss. Secondly， it performed adaptive training based on the local trained loss function and differential loss function. Finally， this approach selected models based on the performance analysis of local and global models to prevent severely poisoned global models from interfering with normal clients. Experiments on datasets such as MNIST and FashionMNIST show that the federated learning training accuracy based on this algorithm is superior to poison attack defense methods such as DnC. Even when the proportion of poisoned participants exceeds half， normal participants can still achieve defense against poison attacks.

Key words：federated learning; poisoning attack defense; training weight; robustness

0 引言

面對信息社會產(chǎn)生的數(shù)據(jù)孤島，谷歌在2017年首次提出聯(lián)邦學(xué)習(xí)技術(shù)［1～3］，期望平衡數(shù)據(jù)價(jià)值與隱私保護(hù)的矛盾。聯(lián)邦學(xué)習(xí)允許相互不信任的參與方在不共享其本地?cái)?shù)據(jù)的情況下，協(xié)作訓(xùn)練統(tǒng)一的通用模型或各自的個(gè)性化模型。在聚合操作中，參與方被服務(wù)器隨機(jī)選取，并使用本地?cái)?shù)據(jù)計(jì)算模型更新梯度信息，并與其他參與方共享信息，服務(wù)器執(zhí)行聚合算法，并使用聚合梯度更新全局模型。對于聯(lián)邦學(xué)習(xí)算法，如FedAvg［1］和FedProx［4］，都在分布式的參與方上計(jì)算模型。由于參與方的安全防御能力存在差異，使得聯(lián)邦學(xué)習(xí)容易受到投毒攻擊的威脅［5， 6］。 攻擊方控制或毒害部分聯(lián)邦學(xué)習(xí)參與方，稱為中毒參與方，并將其與中央服務(wù)器共享惡意更新，以降低全局模型的性能。在聯(lián)邦學(xué)習(xí)中，投毒攻擊方的攻擊方式主要有兩類：a）破壞訓(xùn)練數(shù)據(jù)集，防止模型收斂或往指定的方向收斂，稱其為數(shù)據(jù)投毒攻擊［7］；b）構(gòu)建惡意模型或惡意梯度參與全局模型聚合，干擾全局模型的生成， 稱其為模型投毒攻擊［8］。由于數(shù)據(jù)存儲和模型訓(xùn)練過程在參與方本地進(jìn)行， 所以上述攻擊都是針對參與方實(shí)施的攻擊。

由于中央服務(wù)器聚合參與方提交的模型更新，是聯(lián)邦學(xué)習(xí)的樞紐，目前聯(lián)邦學(xué)習(xí)投毒攻擊防御方法研究集中在基于中央服務(wù)器設(shè)計(jì)拜占庭魯棒聚合算法，識別并剔除可能的中毒參與方。這些防御方法可分為三類：a）利用服務(wù)器設(shè)計(jì)聚類算法或權(quán)重函數(shù)［9～12］，剔除或降低可能的中毒參與方，即與多數(shù)參與方上傳的更新不一致的參與方；b）分析惡意更新與正常更新的特點(diǎn)，通過先驗(yàn)知識建立假設(shè)，服務(wù)器將滿足此假設(shè)的參與方都視為惡意參與方，如FoolsGold算法［13］依賴于惡意更新的隨機(jī)性低于正常更新的假設(shè)，實(shí)現(xiàn)了中毒參與方數(shù)據(jù)量超過一半的投毒攻擊防御；c）服務(wù)器共享部分測試數(shù)據(jù)集，利用測試數(shù)據(jù)集識別上傳的惡意更新，但此方法需要向服務(wù)器共享部分真實(shí)數(shù)據(jù)集，數(shù)據(jù)的隱私性受到影響。上述三類方法雖然對投毒攻擊實(shí)現(xiàn)了一定程度的防御，但由于服務(wù)器缺少真實(shí)數(shù)據(jù)集，難以對參與方提交的模型更新進(jìn)行精準(zhǔn)的判斷，都不能解決中毒參與方數(shù)量高于正常參與方情況下的投毒攻擊防御問題。針對上述問題，不同于之前中央服務(wù)器設(shè)計(jì)防御算法，本文提出了一種基于聯(lián)邦學(xué)習(xí)參與方的投毒攻擊防御方法。本文算法不依賴于中心服務(wù)器進(jìn)行防御，同時(shí)可以保證正常參與方在任意比例中毒參與方環(huán)境中的魯棒性。該方法在FedAvg算法的框架下，將參與方視為防御策略的獨(dú)立執(zhí)行方，通過參與方額外在本地訓(xùn)練中利用差異計(jì)算函數(shù)（如均方誤差等）計(jì)算全局模型參數(shù)與參與方本地模型的差異損失權(quán)重，并在訓(xùn)練損失函數(shù)中嵌入了差異損失權(quán)重與差異損失函數(shù)，利用全局模型和參與方本地模型的差異進(jìn)行自適應(yīng)的個(gè)性化訓(xùn)練。在聯(lián)邦學(xué)習(xí)結(jié)束時(shí)，對全局模型以及本地模型進(jìn)行評估，獲取最優(yōu)的模型。由于參與方為策略的獨(dú)立執(zhí)行主體，所以當(dāng)服務(wù)器被攻擊或任意比例的參與方被攻擊時(shí)，未中毒的正常參與方仍可以保證本地模型的魯棒性。

1 相關(guān)工作

1.1 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)參與方代表算力的提供方，通常由個(gè)人終端或不同企業(yè)與部門組成，負(fù)責(zé)保存用戶或企業(yè)的私有數(shù)據(jù)。參與方進(jìn)行本地訓(xùn)練并上傳參數(shù)給聚合服務(wù)器，并由聚合服務(wù)器對所有參與方進(jìn)行聚合并同步，開始一輪新的訓(xùn)練。這種聯(lián)合協(xié)作訓(xùn)練的方式可以在保證模型性能的前提下，避免個(gè)人數(shù)據(jù)的泄露，并有效解決數(shù)據(jù)孤島的問題。聯(lián)邦學(xué)習(xí)常用框架有參與方－服務(wù)器架構(gòu)［14］和對等網(wǎng)絡(luò)架構(gòu)［15］兩種。在參與方－服務(wù)器架構(gòu)中，各個(gè)數(shù)據(jù)擁有方利用本地?cái)?shù)據(jù)和算力，根據(jù)其特定條件和規(guī)則，在本地進(jìn)行模型訓(xùn)練，然后將訓(xùn)練得到的信息通過差分隱私或同態(tài)加密后，由聚合服務(wù)器進(jìn)行計(jì)算。在對等網(wǎng)絡(luò)架構(gòu)中，不借助第三方，而是通過參與方的直接通信，降低了由服務(wù)器受到攻擊所帶來的風(fēng)險(xiǎn)，但是需要更復(fù)雜的加解密操作來實(shí)現(xiàn)信息共享。目前研究熱點(diǎn)更多集中在參與方－服務(wù)器框架，使用最為廣泛的FedAvg算法架構(gòu)如圖1所示。

在非獨(dú)立同分布的本地?cái)?shù)據(jù)集下，參與方共同優(yōu)化的全局模型如下：

其中：v表示中心下采樣梯度的投影。利用 s i移除具有最高分?jǐn)?shù)的部分梯度，得到良性梯度集并進(jìn)行梯度聚合，實(shí)現(xiàn)投毒攻擊的防御。但上述算法都有惡意參與方必須小于正常參與方數(shù)量的限制。除本文提出的參與方防御算法外，目前突破限制的方法可分為兩類［22，23］：a）利用正常更新的特點(diǎn)進(jìn)行分析，如通過余弦相似度計(jì)算相似度分?jǐn)?shù)選取參與方進(jìn)行聚合等，或依據(jù)惡意更新的多樣性低于正常更新的特點(diǎn)［13］，取消對惡意方數(shù)量的限制，根據(jù)歷史更新與參與方的最大余弦相似度調(diào)整權(quán)重并計(jì)算聚合結(jié)果；b）需要額外引入驗(yàn)證數(shù)據(jù)集，需要聚合服務(wù)器擁有部分或相似的正常樣本，利用準(zhǔn)確率進(jìn)行判斷。但通過聚合服務(wù)器或參與方節(jié)點(diǎn)評估進(jìn)行交叉驗(yàn)證［24］，數(shù)據(jù)集隱私保護(hù)以及協(xié)調(diào)聚合服務(wù)器計(jì)算存在困難。

2 模型假設(shè)

2.1 威脅模型

對投毒攻擊方的能力做了三點(diǎn)假設(shè)：a）攻擊方可以秘密修改參與方的訓(xùn)練數(shù)據(jù)集；b）攻擊方可以對任意數(shù)量的參與方進(jìn)行投毒攻擊；c）攻擊方可以對參與方發(fā)送服務(wù)器的模型參數(shù)信息進(jìn)行修改。

2.2 防御目標(biāo)從保真性、魯棒性兩個(gè)方面來評估本文算法。

a）保真性。由于全局模型來自于本地模型的聚合，所以不存在投毒攻擊本文算法相比于FedAvg算法具有接近的性能。

b）魯棒性。在存在投毒攻擊的環(huán)境中，隨著投毒方比例的增加，本地模型逐步降低對全局模型的學(xué)習(xí)權(quán)重，從而本文算法能夠降低投毒數(shù)據(jù)對參與方的影響。

2.3 防御方能力

每個(gè)參與方都為防御方，防御方需要降低投毒攻擊方對本地模型的影響。這里提出四點(diǎn)假設(shè)：a）服務(wù)器無法訪問參與方本地訓(xùn)練數(shù)據(jù)集；b）在每輪迭代中，服務(wù)器可以獲取到每個(gè)參與方的本地模型；c）每輪迭代中，防御方不可知自己是否被成功投毒攻擊；d）參與方之間的樣本獨(dú)立同分布。

3 研究方法

本文改進(jìn)了參與方進(jìn)行聯(lián)邦訓(xùn)練的方法。中毒參與方與正常參與方完成聯(lián)邦訓(xùn)練后將參數(shù)傳遞給服務(wù)器進(jìn)行聚合。參與方通過本地模型與全局模型的相似度來決定對全局模型的相信程度，從而判斷全局模型被投毒攻擊的嚴(yán)重程度。

3.1 基于參與方的投毒攻擊防御算法框架本文算法的訓(xùn)練方式包括聚合（平均收集的模型參數(shù)以獲取全局模型）、加權(quán)（參與方計(jì)算模型的差異度構(gòu)建差異損失權(quán)重）、訓(xùn)練（通過均方誤差構(gòu)建本地?fù)p失與差異損失并進(jìn)行協(xié)同優(yōu)化，更新本地模型參數(shù)）和模型選?。y試性能，選取目標(biāo)模型，并反饋給服務(wù)器）四個(gè)部分。圖2描述了本文聚合算法的具體流程，其中M代表本地模型參數(shù)，GM表示全局模型參數(shù)。

服務(wù)器僅對參與方模型進(jìn)行平均，參與方首先基于梯度下降算法對本地?cái)?shù)據(jù)集訓(xùn)練，生成該輪迭代需要貢獻(xiàn)的本地模型參數(shù)。服務(wù)器對各個(gè)參與方的模型參數(shù)使用聯(lián)邦平均算法進(jìn)行簡單聚合后，下傳給各參與方。定義本地模型訓(xùn)練的損失函數(shù)由兩個(gè)部分的加權(quán)平均構(gòu)成，這兩個(gè)部分為模型訓(xùn)練正常樣本產(chǎn)生的損失以及本地模型與全局模型的距離構(gòu)成。其中，后一部分損失的權(quán)重由本地模型與全局模型的輸出決定。

a）聚合。在防御方能力①與②的假設(shè)下，每一輪全局更新中，參與方僅上傳自己的本地模型，而服務(wù)器的功能為構(gòu)建全局模型，使得全局模型充分聚合多個(gè)參與方模型的信息。由于攻擊方能力的假設(shè)③使得服務(wù)器不可信賴，所以無法使用服務(wù)器進(jìn)行投毒模型與正常模型的判斷。對于全局模型的聚合，本文參考FedAvg聚合算法，不存在投毒攻擊時(shí)，本地模型可以從正確的全局模型中學(xué)習(xí)，滿足了防御目標(biāo)①的保真性。

b）加權(quán)?？紤]投毒攻擊的隱秘性，參與方難以對全局模型是否受到投毒攻擊進(jìn)行校驗(yàn)，因此參與方依賴本身的信息對全局模型進(jìn)行評估，并得到全局模型的差異損失權(quán)重，即信賴程度。為了衡量全局模型與參與方模型差異在損失函數(shù)中所占的權(quán)重，本文構(gòu)建了差異損失函數(shù)權(quán)重，定義為

其中：GM k-1表示第k-1輪聚合后的全局模型；Mki表示第i個(gè)參與方在第k輪聚合中的參與方模型。相較于對模型輸出直接求差異，通過L2范式對全局模型與參與方模型的參數(shù)向量求差異更能直接衡量兩個(gè)模型的差異量。由式（4）可知，參與方模型的參數(shù)向量和全局模型的參數(shù)向量的差異量，與差異損失權(quán)重αi呈負(fù)相關(guān)，當(dāng)差異量減少時(shí)，權(quán)重則相應(yīng)增加。通過控制差異損失權(quán)重，在本地模型與全局模型差異較大時(shí)，降低參與方對全局模型的學(xué)習(xí)率，并在訓(xùn)練完成后配合模型選取，實(shí)現(xiàn)防御目標(biāo)中②的魯棒性。

c）訓(xùn)練。在為差異損失分配權(quán)重后，構(gòu)建損失函數(shù)開始訓(xùn)練。損失函數(shù)分為本地?fù)p失函數(shù)F1與聯(lián)邦差異損失函數(shù)F2兩個(gè)部分。其中本地?fù)p失函數(shù)計(jì)算本地模型輸出與真實(shí)標(biāo)簽的差異，而聯(lián)邦差異損失函數(shù)則衡量本地模型輸出與全局模型輸出的差異?？偟膿p失函數(shù)為

F1函數(shù)可通過均方誤差或交叉熵的方式計(jì)算參與方模型M k的輸出，并與真實(shí)標(biāo)簽yi進(jìn)行對比，計(jì)算得到參與方模型在xi樣本中產(chǎn)生的損失。F2函數(shù)同理，采用模型輸出差異的對比來估計(jì)參與方模型Mk與全局模型GMk的差異，并配合差異損失權(quán)重，實(shí)現(xiàn)自適應(yīng)的訓(xùn)練。在參與方最信賴參與方模型的基礎(chǔ)上，如果偏差值過大，則差異權(quán)重?fù)p失會相應(yīng)降低，即降低對全局模型的差異損失函數(shù)的比重。

d）模型選取。在上述多次聯(lián)邦訓(xùn)練后，產(chǎn)生了由多數(shù)參與方支持的全局模型與少數(shù)參與方本地訓(xùn)練的個(gè)性化模型。由于防御方能力③的假設(shè)，部分被投毒的參與方可能訓(xùn)練了投毒模型。為了更好地讓全局參與方的收益達(dá)到最優(yōu)，需要利用測試集對全局模型與參與方模型進(jìn)行測試，計(jì)算其在測試集上的準(zhǔn)確率。模型選取的公式如下：

其中：D為測試數(shù)據(jù)集；x、y為測試樣本；M為模型參數(shù)。通過求得最優(yōu)的模型參數(shù)M，使得模型在測試集上的累計(jì)損失達(dá)到最小，從而得到最終模型。

3.2 基于參與方的投毒攻擊防御算法實(shí)現(xiàn)

算法1、2分別介紹了聚合服務(wù)器與參與方的訓(xùn)練算法。其中，假設(shè)訓(xùn)練服務(wù)器不可信，所以需要對上傳的梯度添加噪聲處理，防止信息泄露。算法1通過對參與方模型參數(shù)的平均來聚合生成全局模型。算法2中參與方根據(jù)本地模型與全局模型的歐氏距離來計(jì)算參與方對全局模型的置信值，并將置信值映射在［0，1］。同時(shí)優(yōu)化損失函數(shù)，將損失函數(shù)考慮為本地?fù)p失與全局模型差異的結(jié)合，利用置信值與差異損失可以從全局模型中學(xué)習(xí)到一定比例的信息。

算法1 中心服務(wù)器聚合算法

輸入：參與方數(shù)量n；目標(biāo)迭代次數(shù)m；參與方發(fā)送的參數(shù)M1，M2，…，Mn。

輸出：聚合之后的參數(shù)GM。

a） i=1;//初始化當(dāng)前聚合次數(shù)

b） M=receive（）;//接收參與方得到的參數(shù)

c） GM=1/n×（sum（M））;//對參數(shù)進(jìn)行求和并平均

d） if igt;m

e）return GM， 1;//達(dá)到停止條件，停止聚合

f） end if

g） i=i+1;

h） return GM， true;

4 算法分析

目前針對聯(lián)邦學(xué)習(xí)的投毒攻擊防御方法主要集中在設(shè)計(jì)安全的服務(wù)器聚合算法［9］，但是上述方法需假設(shè)服務(wù)器可信，參與方也無須參與投毒攻擊的防御過程。本文算法旨在將參與方加入投毒攻擊的防御過程，在假設(shè)自身數(shù)據(jù)可信的情況下，推測全局模型受到毒害的程度，從而確定學(xué)習(xí)全局模型的權(quán)重。本文從以下三種情況對聯(lián)邦訓(xùn)練中正常參與方與中毒參與方的不同比例的情況進(jìn)行分析。

a）不存在中毒參與方。正常參與方：本地模型與全局模型差異較小，分配權(quán)重系數(shù)較大，實(shí)現(xiàn)個(gè)性化聯(lián)邦學(xué)習(xí)訓(xùn)練。

b）中毒參與方數(shù)量小于正常參與方數(shù)量。

（a）正常參與方：由于正常參與方數(shù)量較多，通過聯(lián)邦平均聚合后，全局模型參數(shù)更接近于正常參與方的模型。全局模型與正常參與方參數(shù)差異較小，本地模型對全局模型的差異損失權(quán)重較大，從而本地模型學(xué)習(xí)全局模型的參數(shù)。

（b）中毒參與方：當(dāng)投毒模型參數(shù)與全局模型參數(shù)之間存在顯著差異時(shí)，參與方主觀認(rèn)為全局模型受到投毒攻擊，并相應(yīng)地降低本地模型對全局模型的差異損失權(quán)重，更加信任本地模型。 在聯(lián)邦學(xué)習(xí)完成后，參與方會通過比較全局模型和本地模型在測試集上的準(zhǔn)確率來檢測是否存在本地?cái)?shù)據(jù)被投毒，并在發(fā)現(xiàn)本地?cái)?shù)據(jù)存在投毒時(shí)，選擇將本地模型替換為全局模型。

c）中毒參與方數(shù)量大于正常參與方數(shù)量。

（a）正常參與方：在中毒參與方數(shù)量大于正常參與方時(shí)，通過聯(lián)邦平均聚合后，全局模型參數(shù)更接近于中毒參與方的模型，所以性能較差。在經(jīng)過參數(shù)距離計(jì)算函數(shù)（如L2范式等）對全局模型與本地模型的參數(shù)距離進(jìn)行計(jì)算后，得到了較小的差異損失權(quán)重。正常參與方會認(rèn)為全局模型被投毒攻擊，從而更傾向于減少對全局模型參數(shù)的學(xué)習(xí)。

在聯(lián)邦訓(xùn)練完成后進(jìn)行模型選擇，由于本地模型只對全局模型的參數(shù)學(xué)習(xí)了少量信息，所以本地模型在測試集上的準(zhǔn)確率遠(yuǎn)遠(yuǎn)優(yōu)于全局模型。最終在模型選取步驟，選取得到受投毒攻擊影響微弱的本地模型。所以，即使在只有一個(gè)正常參與方的極端情況下，正常參與方也能幾乎不被投毒攻擊影響。（b）中毒參與方：由于投毒模型參數(shù)與全局模型之間差異較小，經(jīng)過參數(shù)計(jì)算函數(shù)進(jìn)行計(jì)算后，會得到較高的差異損失權(quán)重，本地模型可學(xué)習(xí)到更多的全局模型信息。導(dǎo)致最終全局模型與本地模型在測試集的結(jié)果都較差，中毒參與方最終只能訓(xùn)練得到被投毒攻擊的模型。綜上所述，假設(shè)在聯(lián)邦學(xué)習(xí)中存在任意數(shù)量的中毒參與方，也幾乎無法對正常參與方造成影響。由參與方參與到投毒攻擊防御中，弱化了服務(wù)器在投毒攻擊防御中的作用，加強(qiáng)了聯(lián)邦學(xué)習(xí)算法的安全性。

5 實(shí)驗(yàn)與分析實(shí)驗(yàn)評估了本文算法的保真性和魯棒性。通過與其他幾種常見聚合算法（FedAvg、Krum、Multi－Krum和DnC）進(jìn)行對比，證明了本文算法在真實(shí)聯(lián)邦計(jì)算環(huán)境中的可行性。

5.1 實(shí)驗(yàn)設(shè)置

5.1.1 數(shù)據(jù)集

使用MNIST和FashionMNIST兩個(gè)計(jì)算機(jī)視覺領(lǐng)域的數(shù)據(jù)集。對于每個(gè)數(shù)據(jù)集，以均等的概率分發(fā)給各個(gè)參與方，以模擬真實(shí)聯(lián)邦學(xué)習(xí)中的各個(gè)系統(tǒng)。a）MNIST數(shù)據(jù)集。MNIST數(shù)據(jù)集是一個(gè)經(jīng)典的手寫數(shù)字圖像數(shù)據(jù)集，由LeCun等人創(chuàng)建。它包含了60 000個(gè)訓(xùn)練圖像和10 000個(gè)測試圖像，每個(gè)圖像都是28×28像素大小的灰度圖像，用于機(jī)器學(xué)習(xí)中的圖像分類任務(wù)。該數(shù)據(jù)集已經(jīng)成為了機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域中使用最廣泛的數(shù)據(jù)集之一。在實(shí)驗(yàn)中，MNIST數(shù)據(jù)樣本隨機(jī)分發(fā)給各個(gè)參與方。

b）FashionMNIST數(shù)據(jù)集。不同于MNIST手寫數(shù)據(jù)集，F(xiàn)ashion－MNIST數(shù)據(jù)集包含了10個(gè)類別的圖像，分別是T恤、牛仔褲、套衫、裙子、外套、涼鞋、襯衫、運(yùn)動(dòng)鞋、包、短靴。與MNIST相同，其圖像是一個(gè)28×28的像素?cái)?shù)組，每個(gè)像素的值為0～255的8 bit無符號整數(shù)。

5.1.2 投毒攻擊方式

使用符號翻轉(zhuǎn)攻擊進(jìn)行模型投毒，使用黑盒邊緣攻擊進(jìn)行數(shù)據(jù)投毒，并分別對40%的參與方以及60%的參與方進(jìn)行毒害。

a）符號翻轉(zhuǎn)攻擊。

在符號翻轉(zhuǎn)攻擊中，參與方i正常訓(xùn)練出本地模型wi，然后將其參數(shù)翻轉(zhuǎn)后提交給服務(wù)器，即提交-wi給服務(wù)器。在Krum算法中，參與方提交模型訓(xùn)練梯度Δwi給服務(wù)器，在符號翻轉(zhuǎn)攻擊中，被攻擊的參與方提交-Δwi給服務(wù)器。

b）黑盒邊緣攻擊。

在黑盒邊緣攻擊中，修改參與方的本地訓(xùn)練數(shù)據(jù)，而不是直接竄改模型參數(shù)。本文將手寫圖像的標(biāo)簽進(jìn)行標(biāo)簽翻轉(zhuǎn)，將所有標(biāo)簽的值依次后移，如將標(biāo)簽“7”改為“8”以制作毒數(shù)據(jù)。攻擊者在混有干凈數(shù)據(jù)和中毒數(shù)據(jù)的數(shù)據(jù)集中訓(xùn)練出毒模型。對于黑盒設(shè)置，將20%的干凈數(shù)據(jù)和80%的中毒數(shù)據(jù)混合在一起作為中毒參與方的數(shù)據(jù)集。

5.1.3 評估指標(biāo)

對于FedAvg、Krum、Multi－Krum和DnC算法，使用全局模型的測試準(zhǔn)確率來衡量算法性能。對于本文算法，在中毒參與方少于一半時(shí)，采用參與方平均準(zhǔn)確率來衡量，但在中毒參與方超過一半時(shí)，采用未中毒參與方的平均準(zhǔn)確率來衡量算法性能。除此之外，由于本文算法具有檢測并抵御中毒方多于正常方的優(yōu)點(diǎn)，能否獲取有效的模型也是本文的測試指標(biāo)。在投毒方少于攻擊方的測試中， 全局模型測試準(zhǔn)確率是主要指標(biāo)，準(zhǔn)確率越高，說明模型效果越好。在投毒方數(shù)量多于正常參與方的測試中，正常參與方能否訓(xùn)練出合格模型為主要評估方式。

5.1.4 系統(tǒng)設(shè)置

實(shí)驗(yàn)設(shè)置10個(gè)參與方，每輪選取所有參與方進(jìn)行全局模型更新。對于Multi－Krum算法，每輪隨機(jī)選取4個(gè)參與方進(jìn)行更新。各算法在實(shí)驗(yàn)中使用相同的模型，并隨機(jī)初始化模型參數(shù)。在符號翻轉(zhuǎn)和黑盒邊緣攻擊中，全局模型均更新20次。

5.1.5 對比方法

將本文方法與四種方法進(jìn)行對比實(shí)驗(yàn)。

a）FedAvg。一種簡單的聚合聯(lián)邦學(xué)習(xí)參與方參數(shù)的方法，不對投毒攻擊行為進(jìn)行主動(dòng)防御，用于對比觀察本文算法在不同環(huán)境中，防護(hù)策略帶來的效益。b）Krum。一種基于歐氏距離的投毒攻擊防御經(jīng)典算法，Kum在若干本地梯度中選擇一個(gè)與其余梯度相似度最高的梯度作為全局梯度，從而去除惡意梯度。該方法用于對比在不同投毒攻擊比例下的防御效果。c）Multi－Krum。Krum算法的改進(jìn)算法，求相似度最高的若干梯度，并將這些梯度的平均作為全局梯度。該方法用于對比在不同投毒攻擊比例下的防御效果。

d）DnC。一種高魯棒性的投毒攻擊防御方法。通過選取部分維度的梯度向量，并計(jì)算其均值與奇異特征向量，獲取到本地梯度的離群值，并剔除離群值較高的梯度。該方法用于對比在不同投毒攻擊比例下的防御效果。

5.2 實(shí)驗(yàn)結(jié)果

5.2.1 保真性

如圖3、4所示，在沒有攻擊的情況下，本文算法的全局模型準(zhǔn)確率和FedAvg、Krum、Multi－Krum、DnC算法的基本一致， 均能取得較好的訓(xùn)練結(jié)果。

由圖3、4可知，在MNIST與Fashion－ MNIST數(shù)據(jù)集上，對于圖中所有聯(lián)邦學(xué)習(xí)算法，其訓(xùn)練的準(zhǔn)確率上升趨勢幾乎一致，最終達(dá)到的模型準(zhǔn)確率也幾乎一致。對比本文算法與FedAvg算法的曲線，可以發(fā)現(xiàn)本文算法相較于其他基準(zhǔn)算法的最終性能損失較低，在沒有投毒攻擊的環(huán)境更接近于FedAvg算法。此外，與FedAvg算法相比，最終的訓(xùn)練準(zhǔn)確率均出現(xiàn)了少量降低，這是因?yàn)闊o論是Multi－Krum算法或DnC算法等對部分梯度進(jìn)行剔除，還是本文算法是對全局模型與本地模型的對比，都不會接聚合惡意的梯度或者惡意的全局模型。由于剔除了部分正常的梯度，使得聚合的梯度多樣性減少。在兩個(gè)不同數(shù)據(jù)集上的測試結(jié)果表明，本文算法相較于其他基準(zhǔn)算法具有更高的保真性。

5.2.2 魯棒性

為了進(jìn)一步驗(yàn)證本文算法在魯棒性方面的優(yōu)勢，對中毒參與方的比例進(jìn)行了控制，并使用符號翻轉(zhuǎn)攻擊、黑盒邊緣攻擊方式進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證本文算法在應(yīng)對各種投毒攻擊情況下的防御效果。在無攻擊環(huán)境與中毒參與方比例為40%的投毒攻擊環(huán)境中，記錄每種算法最終訓(xùn)練完成的模型在統(tǒng)一的測試集上的準(zhǔn)確率。但在中毒參與方比例超過60%的符號翻轉(zhuǎn)攻擊以及黑盒邊緣攻擊實(shí)驗(yàn)中，由于本文算法會產(chǎn)生多個(gè)模型，所以只使用正常參與方模型的平均準(zhǔn)確率作為對比指標(biāo)，而其余對比算法因?yàn)橹划a(chǎn)生一個(gè)全局模型，所以使用全局模型在測試集上的準(zhǔn)確率作為對比指標(biāo)。

表1和2的數(shù)據(jù)顯示，Krum、Multi－Krum以及DnC算法雖然在中毒參與方比例為40%時(shí)起到了一定的防御，但都在超過中毒參與方比例達(dá)到60%后，失去了抵御攻擊的能力。這與上述算法更相信于多數(shù)參與方有關(guān)。而FedAvg算法因?yàn)閮H進(jìn)行模型平均，對抵抗屬于收斂性攻擊的符號翻轉(zhuǎn)攻擊效果較差，反而對屬于后門攻擊的黑盒邊緣攻擊有一定的抵御能力，這是因?yàn)楹诤羞吘壒魧δＰ偷膮?shù)改動(dòng)較少。

對于符號翻轉(zhuǎn)攻擊與黑盒邊緣攻擊，不論是在MNIST還是FashionMNIST中，在超過50%的參與方比例下，只有本文的聚合算法可以防御這兩種攻擊，使得模型的準(zhǔn)確率與無攻擊情況下的差異較小。在中毒參與方比例為40%時(shí)，本文算法雖然與Krum、Multi－Krum、DnC算法的準(zhǔn)確率在MNIST數(shù)據(jù)集相比，降低了2.56%、3.6%與4.72%，在FashionMNIST數(shù)據(jù)集上降低了1.51%、1.81%與2.99%。但在中毒參與方比例超過50%時(shí)，Krum以及Multi－Krum算法防御失效后，本文算法中的正常參與方仍可以進(jìn)行防御，且在MNIST數(shù)據(jù)集上的精度仍超過了90%。實(shí)驗(yàn)表明，在投毒參與方比例超過一半時(shí)，對比方法幾乎全部失效，僅本文方法實(shí)現(xiàn)了正常參與方對投毒攻擊的防御，證明了本文算法更優(yōu)的魯棒性。

5.2.3 參與方模型性能對比本文算法會在每個(gè)參與方產(chǎn)生一個(gè)本地模型，為了更好地評估本文算法產(chǎn)生的不同本地模型在測試集上的表現(xiàn)，分別選取部分參與方在測試集上的準(zhǔn)確率進(jìn)行詳細(xì)對比分析。在邊緣黑盒攻擊下，選取Krum、Multi－Krum、DnC以及本文算法在不同參與方上的準(zhǔn)確率進(jìn)行分析。

由圖5可知，各參與方的模型在測試集上的準(zhǔn)確率相差較小，對投毒攻擊的防御效果近似。同時(shí)可以觀察到，在client0～client4中，本文算法由于沒有直接剔除疑似的惡意參與方，相較于其他基準(zhǔn)算法，準(zhǔn)確率存在略微降低。此外，由于DnC算法基于奇異值分解的方式，在選取的五個(gè)客戶端中的防御效果最好。如圖6所示，為了更進(jìn)一步地測試攻擊方比例在60%，即超過一半比例下，各個(gè)防御算法的效果，進(jìn)行了對比實(shí)驗(yàn)。在投毒攻擊方比例為60%時(shí)，除了本文算法在正常參與方上訓(xùn)練的模型，其余防御算法的模型精度出現(xiàn)了嚴(yán)重下降。這是由于Krum、Multi－Krum、DnC算法都利用相似性剔除少量參與方的共享，所以本文算法性能較其余對比方法具有更高的魯棒性。

在FashionMNIST數(shù)據(jù)集的測試結(jié)果如圖7和8所示。

由圖7發(fā)現(xiàn)，對于FashionMNIST數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果與MNIST數(shù)據(jù)集上的結(jié)果近似。在中毒參與方比例為40%時(shí)，Krum、Multi－Krum、DnC算法與本文算法在每個(gè)參與方模型的準(zhǔn)確率上相差不大，也都達(dá)到了80%以上，實(shí)現(xiàn)了較好的防御。如圖8所示，在中毒參與方比例達(dá)到60%后，本文采用的三種基準(zhǔn)算法的準(zhǔn)確率也急速下降，防御方法幾乎完全失效，正常參與方模型也被中毒參與方的模型影響，投毒攻擊效果顯著。而本文方法雖然無法對中毒參與方的模型進(jìn)行糾正，但可以保護(hù)正常參與方，降低正常參與方模型受中毒參與方模型影響的程度，維持正常參與方模型的準(zhǔn)確率在80%以上。

在符號翻轉(zhuǎn)攻擊與黑盒邊緣攻擊的情況下，實(shí)驗(yàn)的對比算法都會因?yàn)橥抖竟舳鴮?dǎo)致全局模型失效。但本文算法在未中毒的參與方本地模型與全局模型差異較大的時(shí)候相信本地模型，從而降低來自全局模型的影響，最終未中毒的正常參與方仍然可以獲得一個(gè)較高準(zhǔn)確度的本地模型。因此，本文算法相較于目前主流的聯(lián)邦學(xué)習(xí)投毒攻擊防御算法，取得了更好的效果。

6 結(jié)束語

在聯(lián)邦學(xué)習(xí)迅速發(fā)展的背景下，對于分布式訓(xùn)練的攻擊和防御方法越來越受到重視。然而，在對抗的過程中，由于聯(lián)邦學(xué)習(xí)的分布式特性，仍然存在著許多攻擊和挑戰(zhàn)。本文算法提高了聯(lián)邦學(xué)習(xí)投毒攻擊的防御能力，未來的研究工作可以將重心放在服務(wù)器與參與方進(jìn)行防御配合的基礎(chǔ)上，以提高全局模型的魯棒性。

參考文獻(xiàn)：

［1］McMahan B，Moore E，Ramage D，et al. Communication－efficient lear－ning of deep networks from decentralized data ［C］//Proc of Artificial Intelligence and Statistics.New York：PMLR Press，2017：1273－1282.

［2］孫爽，李曉會，劉妍，等. 不同場景的聯(lián)邦學(xué)習(xí)安全與隱私保護(hù)研究綜述［J］. 計(jì)算機(jī)應(yīng)用研究，202 38 （12）： 3527－3534. （Sun Shuang，Li Xiaohui，Liu Yan，et al. A review of research on federated learning security and privacy protection in different scenarios ［J］.Application Research of Computers ，202 38 （12）： 3527－3534.）

［3］Kairouz P，McMahan H B，Avent B，et al. Advances and open problems in federated learning［J］.Foundations and Trends in Machine Learning ，202 14 （1－2）： 1－210.

［4］Li Tian，Sahu A K，Zaheer M，et al. Federated optimization in heterogeneous networks［J］.Proceedings of Machine Learning and Systems ，2020， 2 ： 429－450.

［5］Gong Xueluan，Chen Yanjiao，Wang Qian，et al. Backdoor attacks and defenses in federated learning：state－of－the－art，taxonomy，and future directions［J］.IEEE Wireless Communications ，2022， 30 （2）：114－121.

［6］Shejwalkar V，Houmansadr A，Kairouz P，et al. Back to the drawing board： a critical evaluation of poisoning attacks on production federated learning［C］// Proc of IEEE Symposium on Security and Privacy.Piscataway，NJ： IEEE Press，2022： 1354－1371.

［7］Biggio B，Nelson B，Laskov P. Poisoning attacks against support vector machines［EB/OL］. （2013－12－15）［2023－08－11］.https：//arxiv.org/abs/1206.6389.

［8］馬鑫迪，李清華，姜奇，等. 面向Non－IID數(shù)據(jù)的拜占庭魯棒聯(lián)邦學(xué)習(xí) ［J］. 通信學(xué)報(bào)， 2023， 44 （6）： 138－153. （Ma Xindi，Li Qing－ hua，Jiang Qi，et al. Byzantine robust federated learning for Non－IID data ［J］.Journal on Communications ，2023， 44 （6）： 138－153.）

［9］劉飚，張方佼，王文鑫，等. 基于矩陣映射的拜占庭魯棒聯(lián)邦學(xué)習(xí)算法 ［J］. 計(jì)算機(jī)研究與發(fā)展，202 58 （11）： 2416－2429. （Liu Biao，Zhang Fangjiao，Wang Wenxin，et al. Byzantine robust federated learning algorithm based on matrix mapping ［J］.Computer Research and Development ，202 58 （11）： 2416－2429.）

［10］Blanchard P，El Mhamdi E M，Guerraoui R，et al. Machine learning with adversaries： Byzantine tolerant gradient descent ［C］// Proc of Neural Information Processing Systems. San Diego： NIPS Foundation，2017：119－129.

［11］Lu Yanyang，F(xiàn)an Lei. An efficient and robust aggregation algorithm for learning federated CNN ［C］// Proc of the 3rd International Conference on Signal Processing and Machine Learning. New York： ACM Press，2020： 1－7.

［12］Pillutla K，Kakade S M，Harchaoui Z. Robust aggregation for federated learning［J］.IEEE Trans on Signal Processing ，2022， 70 ：1142－1154.

［13］Fung C，Yoon C J M，Beschastnikh I. The limitations of federated learning in sybil settings ［C］// Proc of the 23rd International Symposium on Research in Attacks，Intrusions and Defenses. Berkeley，CA： USENIX Association，2020： 301－316.

［14］Fang Xiuwen，Ye Mang. Robust federated learning with noisy and he－terogeneous clients ［C］//Proc of IEEE/CVF Conference on Compu－ter Vision and Pattern Recognition. 2022： 10072－10081.

［15］Wink T，Nochta Z. An approach for peer－to－peer federated learning ［C］// Proc of the 51st Annual IEEE/IFIP International Conference on Dependable Systems and Networks Workshops. Piscataway，NJ： IEEE Press，2021： 150－157.

［16］Zhang Kaiyuan，Tao Guanhong，Xu Qiuling，et al. Flip： a provable defense framework for backdoor mitigation in federated learning［EB/OL］. （2022）［2023－08－11］. https：//arxiv.org/abs/2210.12873

［17］Cao Di，Chang Shan，Lin Zhijian，et al. Understanding distributed poisoning attack in federated learning［C］//Proc of the 25th IEEEInternational Conference on Parallel and Distributed Systems. Piscataway，NJ： IEEE Press，2019： 233－239.

［18］Zhang Zhengming，Panda A，Song Linyue，et al. Neurotoxin： durable backdoors in federated learning［C］//Proc of International Confe－rence on Machine Learning. 2022： 26429－26446.

［19］Gong Xueluan，Chen Yanjiao，Huang Huayang，et al. Coordinated backdoor attacks against federated learning with model－dependent triggers［J］.IEEE Network ，2022， 36 （1）： 84－90.

［20］肖雄，唐卓，肖斌，等.聯(lián)邦學(xué)習(xí)的隱私保護(hù)與安全防御研究綜述［J］.計(jì)算機(jī)學(xué)報(bào)，2023， 46 （5）：1019－1044. （Xiao Xiong，Tang Zhuo，Xiao Bin，et al. Review of research on privacy protection and security defense of federated learning［J］.Chinese Journal of Computers ，2023， 46 （5）： 1019－1044.）

［21］Shejwalkar V，Houmansadr A. Manipulating the Byzantine： optimizing model poisoning attacks and defenses for federated learning ［C］//Proc of Network and Distributed System Security Symposium. 2021.

［22］Khazbak Y，Tan Tianxiang，Cao Guohong. MLGuard： mitigating poisoning attacks in privacy preserving distributed collaborative learning［C］//Proc of the 29th International Conference on Computer Communications and Networks. Piscataway，NJ： IEEE Press，2020： 1－9.

［23］Muoz－González L，Co K T，Lupu E C. Byzantine－robust federated machine learning through adaptive model averaging［EB/OL］. （2019）［2023－08－11］. https：//arxiv.org/abs/1909.05125.

［24］Zhao Lingcheng，Hu Shengshan，Wang Qian，et al. Shielding collaborative learning： mitigating poisoning attacks through client－side detection［J］.IEEE Trans on Dependable and Secure Computing ，2020， 18 （5）： 2029－2041.

收稿日期：2023－07－12；修回日期：2023－09－11 基金項(xiàng)目：四川省重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目（2021YFG0113，2023YFG0118）

作者簡介：劉金全（1981—），男，重慶人，高級工程師，碩士，主要研究方向?yàn)閿?shù)據(jù)安全與隱私計(jì)算；張錚（1997—），男，四川成都人，助理工程師，碩士，主要研究方向?yàn)榇髷?shù)據(jù)與聯(lián)邦學(xué)習(xí)；陳自東（2000—），男，四川宜賓人，碩士研究生，主要研究方向?yàn)轸敯袈?lián)邦學(xué)習(xí)；曹晟（1981—），男（通信作者），湖北武漢人，研究員，博導(dǎo)，博士，CCF會員，主要研究方向?yàn)樾畔踩c區(qū)塊鏈（caosheng@uestc.edu.cn）.