摘 要：5G的廣泛應(yīng)用導致物聯(lián)網(wǎng)的設(shè)備和流量激增，降低了物聯(lián)網(wǎng)入侵檢測系統(tǒng)的效率和可靠性。目前的入侵檢測系統(tǒng)主要使用同步的分布式深度學習方法，難以應(yīng)用到現(xiàn)實的分布式異步場景中。另外，在分布式的訓練過程中也可能遭遇推斷攻擊。針對以上問題，提出了一種基于兩級K-異步聯(lián)邦學習的隱私保護入侵檢測方案，通過在模型訓練的不同階段使用對應(yīng)算法，提高異步入侵檢測模型訓練的收斂性和準確率，并設(shè)計了一種梯度屏蔽算法防止系統(tǒng)異步訓練過程中的推斷攻擊。實驗結(jié)果表明，在強異構(gòu)場景下，該方案在兩個入侵檢測數(shù)據(jù)集上訓練的準確率可以分別提高11.8%和9.8%，為提高物聯(lián)網(wǎng)場景下入侵檢測系統(tǒng)的效率、可靠性和安全性提供了一種有效方案。

關(guān)鍵詞：聯(lián)邦學習； 入侵檢測； 隱私保護； 異構(gòu)機制

中圖分類號：TP309 文獻標志碼：A

文章編號：1001-3695（2024）11-039-3471-06

doi： 10.19734/j.issn.1001-3695.2023.12.0642

Privacy-preserving intrusion detection scheme based on hierarchical K-asynchronous federated learning

Chen Liduo^?， Wen Mi， Zhang Yanbo

（College of Computer Science amp; Technology， Shanghai University of Electric Power， Shanghai 200090， China）

Abstract：The widespread application of 5G led to a surge in Internet of Things （IoT） devices and traffic， reducing the efficiency and reliability of IoT intrusion detection systems. Current intrusion detection systems primarily used synchronous distri-buted deep learning methods， which were difficult to apply to real-world distributed asynchronous scenarios. In addition， distributed training processes may suffer from inference attacks. To address these issues， this paper proposed a privacy-preserving intrusion detection scheme based on hierarchical K-asynchronous federated learning. By utilizing corresponding algorithms at different stages of model training， it improved the convergence and accuracy of asynchronous intrusion detection model training. Additionally， this paper designed a gradient masking algorithm to prevent inference attacks during system asynchronous training. Experimental results show that in strongly heterogeneous scenarios， this scheme can increase the accuracy of training on two intrusion detection datasets by 11.8% and 9.8% respectively， offering an effective solution to enhance the efficiency， reliability， and security of intrusion detection systems in IoT environments.

Key words：federated learning; intrusion detection; privacy protection; heterogeneous mechanism

0 引言

近年來，隨著5G工業(yè)互聯(lián)網(wǎng)的快速發(fā)展，工業(yè)物聯(lián)網(wǎng)（Industrial Internet of Things， IIoT） 范式中邊緣設(shè)備的廣泛部署催生了邊緣計算的各種新興應(yīng)用，例如智能制造、智能交通和智能物流^[1]。邊緣設(shè)備提供強大的計算資源，為工業(yè)物聯(lián)網(wǎng)應(yīng)用提供實時、靈活、快速的決策，極大地促進了工業(yè)的發(fā)展。但隨著物聯(lián)網(wǎng)的擴展，與物聯(lián)網(wǎng)設(shè)備和系統(tǒng)相關(guān)的安全漏洞和威脅的數(shù)量和影響顯著增加^[2]。為了解決這些問題，入侵檢測系統(tǒng) （intrusion detection system， IDS） 作為一種早期檢測物聯(lián)網(wǎng)攻擊和網(wǎng)絡(luò)威脅的方法被廣泛使用^[3]。近年來，入侵檢測系統(tǒng)機制通?；跈C器學習技術(shù)利用設(shè)備的網(wǎng)絡(luò)流量進行訓練，主要分為集中式入侵檢測和分布式入侵檢測，其目的是準確檢測任何可能的異常行為。其中，基于分布式方法，如霧/邊緣計算的入侵檢測系統(tǒng)，在訓練過程中為了提高入侵檢測性能，通常使用一些不可信的分布式物聯(lián)網(wǎng)設(shè)備中產(chǎn)生的流量數(shù)據(jù)。然而，由于不同區(qū)域的設(shè)備可能需要共享其私有數(shù)據(jù)，這種方法會引發(fā)隱私問題^[4]。為了解決隱私問題，谷歌提出了聯(lián)邦學習（federated learning， FL）的概念，其中機器學習算法在多個分散的邊緣設(shè)備上進行本地訓練^[5]，各方不共享數(shù)據(jù)，而是由云服務(wù)器來聚合邊緣設(shè)備訓練的局部參數(shù)或梯度^{[6， 7]}。

然而，目前的基于聯(lián)邦學習的入侵檢測方案存在兩方面的問題，其一是現(xiàn)有基于聯(lián)邦學習的入侵檢測方案研究主要集中在同步聯(lián)邦學習（synchronous federated learning， SFL），這需要中央服務(wù)器在聚合之前接收所有客戶端上傳的梯度。在入侵檢測任務(wù)場景下等待所有這些梯度在同一次迭代中到達并進行聚合，這樣會顯著降低聯(lián)邦學習的訓練效率。同時，目前的聯(lián)邦學習方案仍然存在隱私問題，最近的研究表明，攻擊者可以直接從共享的明文梯度中恢復參與者的原始數(shù)據(jù)，而無須任何附加信息。這意味著聯(lián)邦學習的參與者可以輕松地從其他參與者傳輸?shù)奶荻戎刑崛∷袇⑴c者的本地數(shù)據(jù)，這會使得訓練任務(wù)由于數(shù)據(jù)泄露變得更加脆弱。

針對使用同步聯(lián)邦學習的侵檢測方案面對的效率和隱私問題，本文提出了一種安全的基于異步聯(lián)邦學習的入侵檢測方案，具體貢獻如下：a）提出一種基于兩級K-異步聯(lián)邦學習的隱私保護入侵檢測方案（hierarchical K-asynchronous FL-IDS， HKAFL-IDS），可以改善由于物聯(lián)網(wǎng)設(shè)備擴張產(chǎn)生的設(shè)備異構(gòu)性對入侵檢測訓練的影響，更適用于5G場景下的大規(guī)模物聯(lián)網(wǎng)終端接入環(huán)境;b）提出了兩級的聯(lián)邦學習架構(gòu)提高入侵檢測訓練的收斂速度，同時設(shè)計了動態(tài)加權(quán)的方法，綜合考慮梯度質(zhì)量和陳舊性篩選優(yōu)質(zhì)梯度參加聚合，并根據(jù)陳舊性調(diào)整學習率來加速訓練過程，提高模型訓練的準確率；c）通過引入與權(quán)重結(jié)合的屏蔽技術(shù)，HKAFL-IDS可以保護入侵檢測訓練參與者的梯度信息隱私，并進行安全的加權(quán)聚合。

1 相關(guān)工作

1.1 入侵檢測

入侵檢測系統(tǒng)可分為集中式入侵檢測和分布式入侵檢測兩類。2011年，Ten等人^[8]設(shè)計了一種入侵檢測方法。這種入侵檢測方法可以創(chuàng)建攻擊者黑名單進行基于特征碼的檢測，從而更好地識別攻擊者。2016年，Rossi等人^[9]提出了一種基于異常的入侵檢測方法，他們不是僅調(diào)查單個事件來檢測異常，而是對一組事件集進行評估，以檢測異常行為。2017年，Andrysiak等人^[10]測試了三種不同的異常，并研究了如何分析時間序列來識別智能電表中的異常。2020年，Zhang等人^[11]將極端學習機應(yīng)用于智能電網(wǎng)的入侵檢測系統(tǒng)以提高系統(tǒng)的安全性。但是集中式入侵檢測可能導致物聯(lián)網(wǎng)用戶的隱私泄露，因為攻擊者可以通過分析設(shè)備的流量來推斷用戶的日常習慣。其次，考慮到典型物聯(lián)網(wǎng)環(huán)境的動態(tài)性，大量數(shù)據(jù)與數(shù)據(jù)中心通信所產(chǎn)生的延遲可能難以承受，甚至可能會降低入侵檢測系統(tǒng)部署的有效性。另一方面，分布式入侵檢測近年來主要集中于基于聯(lián)邦學習的方案。Chen等人^[12]提出一種基于聯(lián)邦學習的入侵檢測方法。允許多個參與者協(xié)作訓練全局檢測模型，無須共享本地數(shù)據(jù)，從而保護數(shù)據(jù)隱私，并采用重采樣來提高模型性能。Cui等人^[13]提出了一種區(qū)塊鏈賦能的去中心化聯(lián)邦學習框架，用于物聯(lián)網(wǎng)系統(tǒng)中的異常檢測，在提高效率的同時確保數(shù)據(jù)完整性并防止單點故障。Li等人^[14]為工業(yè)網(wǎng)絡(luò)物理系統(tǒng)（cyber-physical systems， CPSs）設(shè)計了一種基于深度學習的新型入侵檢測模型，并開發(fā)了一個聯(lián)合學習框架，允許多個工業(yè) CPS 以保護隱私的方式共同建立一個全面的入侵檢測模型。目前的方案大多考慮同步通信的理想情況，雖然同步聯(lián)邦學習在小型物聯(lián)網(wǎng)區(qū)域或當客戶擁有類似的計算和通信能力時影響很小，但它在具有不同型號、規(guī)格和版本的各種硬件設(shè)備的大型物聯(lián)網(wǎng)中則成為了不可忽視的挑戰(zhàn)。在這種情況下，中央服務(wù)器會收到大量具有不同延遲的梯度。如何高效聚合這些異步傳輸?shù)奶荻仁悄壳柏酱鉀Q的問題。

1.2 聯(lián)邦學習隱私保護技術(shù)

近年來，研究人員主要使用各種密碼學技術(shù)強化聯(lián)邦學習的隱私保護能力。邱曉慧等人^[15]對聯(lián)邦學習的隱私保護技術(shù)進行了研究和總結(jié)，他們指出目前的聯(lián)邦學習隱私保護技術(shù)主要包括差分隱私技術(shù)、同態(tài)加密技術(shù)和安全多方計算技術(shù)。差分隱私技術(shù)方面，Shen等人^[16]針對差分隱私的問題，提出一種根據(jù)數(shù)據(jù)敏感性來調(diào)整隱私參數(shù)的方法，解決了因隱私預(yù)算相同而導致的部分參與者隱私保護不足或過度的問題。Han等人^[17]提出了一種名為基于差分噪聲加法的聯(lián)邦學習差分隱私保護方法，通過分析梯度趨勢、權(quán)重參數(shù)得到重要性系數(shù)，采用微分噪聲加法機制添加噪聲。徐晨陽等人^[18]設(shè)計了一種差分隱私機制來保護遷移聯(lián)邦學習過程中的隱私信息，但是差分隱私可能會降低全局模型的準確性，需要在準確性與隱私保護之間權(quán)衡。使用同態(tài)加密的方案中，Zhao等人^[19]集成半同態(tài)加密降低計算和通信負擔，還可以抵御反演攻擊和推斷攻擊，顯著降低了隱私預(yù)算。Nguyen等人^[20]提出一個使用同態(tài)加密的安全聚合協(xié)議，并結(jié)合零知識證明，既防止了中毒攻擊，又保護了模型的安全。Du等人^[21]提出一種多閾值多密鑰同態(tài)加密方案，很大程度上降低了計算開銷，實驗證明了這個方法可以在不犧牲模型準確性的情況下保護隱私。然而同態(tài)加密技術(shù)計算成本巨大，不適合資源受限的場景。

安全多方計算技術(shù)也得到了很多關(guān)注， 目前大多數(shù)研究者主要使用秘密共享技術(shù)。Lin等人^[22]引入一種附加的秘密共享方案，以抵御聚合服務(wù)器、惡意參與者和邊緣節(jié)點之間的潛在串通攻擊。Xu等人^[23]提出一種基于格的多用途秘密共享方案，以避免在實現(xiàn)后量子安全的同時，將新的秘密共享分配給每一輪聯(lián)邦學習的所有參與者。Huang等人^[24]利用Shamir的秘密共享技術(shù)設(shè)計了一種隨機屏蔽方法，以保護局部梯度的機密性。這一方法不僅可以保護數(shù)據(jù)隱私，還可以緩解訓練過程中由于用戶丟失導致的訓練失敗問題。但是秘密共享技術(shù)一方面增加了參與者之間的通信開銷，另一方面也不適用于異步訓練場景。

2 背景知識

2.1 異步聯(lián)邦學習

傳統(tǒng)的聯(lián)邦學習機制是同步聯(lián)邦學習，其特點是服務(wù)器在一個輪次內(nèi)，接收所有終端上傳的梯度，聚合后將全局模型廣播給所有終端，再進行下一輪。同步聯(lián)邦學習機制簡單，但是在設(shè)備增多，差異增大后，訓練效率受設(shè)備通信能力影響嚴重，其全局訓練速度由參與訓練的終端設(shè)備中通信能力最差的設(shè)備決定，其更新公式如下：

w_t+1=w_t－γ_tT∑Ti=1g（wⁱ_t，ξⁱ_t）（1）

其中：g（wⁱ_t，ξⁱ_t）為第t輪第i個中心路由器上傳到服務(wù)器的梯度；wⁱ_t為模型的參數(shù)向量；ξⁱ_t為第i個中心路由器在第t輪使用的樣本。因此在面對強異構(gòu)性場景，本文使用異步聯(lián)邦學習解決上述問題，異步聯(lián)邦學習的特點是服務(wù)器只在一定時間內(nèi)接收梯度，并僅使用此段時間內(nèi)接收到的梯度進行全局聚合。各終端設(shè)備在上傳梯度后不等待返回的全局模型，而是繼續(xù)利用本地數(shù)據(jù)訓練。這樣全局訓練速度僅由服務(wù)器掌控，服務(wù)器可以不間斷地進行全局聚合，提高了訓練效率。同時，各終端設(shè)備也可以持續(xù)訓練以充分利用本地數(shù)據(jù)。

圖1所示為客戶端總數(shù)為5時的異步聯(lián)邦學習示意圖，紅色長箭頭表示該梯度被服務(wù)器接收，紅色短箭頭表示該梯度未被服務(wù)器接收，虛線表示該客戶端持續(xù)訓練（參見電子版）。

然而在實際應(yīng)用過程中，異步聯(lián)邦學習可能出現(xiàn)某一輪次接收了大量梯度，而某一輪次接收極少梯度的情況，這會導致梯度更新方向產(chǎn)生偏差，模型波動較大。因此本文使用的是K-異步聯(lián)邦學習，其在異步聯(lián)邦學習的基礎(chǔ)上更改了服務(wù)器的聚合方式，改為每輪接收最先到達的K個梯度，其余梯度依次排隊等待下一輪聚合，聚合公式如下：

w_t+1=w_t－γ_t∑Ti=1pⁱ_tg（wⁱ_t，ξⁱ_t）（2）

圖2為客戶端總數(shù)為5，K為2時的K-異步聯(lián)邦學習示意圖。

2.2 梯度遮蔽

假設(shè)有n個參與者，x_i是參與者u_i的局部梯度。為了保護參與者梯度的隱私，任意兩個參與者u_i和u_j協(xié)商生成一個隨機數(shù)r_i，j。每個參與者u_i本地計算屏蔽梯度如下：

每個參與者將〖x_i〗發(fā)送到云服務(wù)器。然后云服務(wù)器聚合梯度如下：

3 系統(tǒng)模型

本章詳細描述本文使用的入侵檢測系統(tǒng)架構(gòu)、組件和工作基本原理，并對其中的威脅模型進行闡述。由于基于5G的物聯(lián)網(wǎng)技術(shù)不斷發(fā)展，物聯(lián)網(wǎng)中心服務(wù)器所控制的終端設(shè)備數(shù)量、種類、分布區(qū)域都不斷增大。這些因素共同導致了各終端的計算能力、通信能力區(qū)別顯著增大。這種情況下，各類設(shè)備都會呈現(xiàn)與小型場景不同的特點，同時，各參與方的隱私窺探行為會產(chǎn)生更加嚴重的負面影響，使物聯(lián)網(wǎng)系統(tǒng)面臨更大的安全威脅。

3.1 系統(tǒng)架構(gòu)

本文使用場景為一個設(shè)備分布區(qū)域廣、設(shè)備數(shù)量、種類較多的工業(yè)物聯(lián)網(wǎng)場景，其中主要包含以下四種角色：

a）可信機構(gòu)。它負責建立整個系統(tǒng)，生成私鑰-公鑰對以及公共參數(shù)，它將密鑰對轉(zhuǎn)發(fā)給每個參與者并發(fā)布所有公共參數(shù)。b）云服務(wù)器。作為整體物聯(lián)網(wǎng)區(qū)域的調(diào)度中心，云服務(wù)器負責協(xié)調(diào)各區(qū)域中心路由器。在模型建立的初期，云服務(wù)器會初始化模型的參數(shù)并向所有中心路由器廣播入侵檢測模型，在訓練階段，云服務(wù)器負責執(zhí)行異步訓練算法，對接受的梯度進行異步聚合和分發(fā)。c）中心路由器。它是一個小區(qū)域內(nèi)所有終端設(shè)備的數(shù)據(jù)中轉(zhuǎn)中心，在入侵檢測模型訓練的過程中，負責將區(qū)域內(nèi)終端的流量數(shù)據(jù)收集起來并利用流量數(shù)據(jù)訓練本地入侵檢測模型，計算更新梯度并上傳給服務(wù)器，并將訓練的全局入侵檢測模型廣播給區(qū)域內(nèi)的所有終端。d）終端設(shè)備。它是廣泛分布在工業(yè)物聯(lián)網(wǎng)區(qū)域內(nèi)的電子設(shè)備，如智能充電樁、智能門控、智能機械臂系統(tǒng)等。它們負責在本地執(zhí)行入侵檢測算法，并將本地數(shù)據(jù)發(fā)送給中心路由器。

3.2 威脅模型

本方案定義了以下威脅模型：可信機構(gòu)值得信賴并誠實地執(zhí)行其程序。云服務(wù)器和中心路由器是誠實但好奇的。在這個假設(shè)下，它們都會誠實地執(zhí)行一系列操作（例如梯度加密和上傳等）。然而它們可能會嘗試推斷其他中心路由器的本地數(shù)據(jù)。方案的目的是防止中心路由器本地梯度的隱私泄露。

4 基于兩級異步聯(lián)邦學習的隱私保護入侵檢測方案

本文提出了一種基于兩級K-異步聯(lián)邦學習的隱私保護入侵檢測方案，即HKAFL-IDS，該方案旨在解決當前物聯(lián)網(wǎng)入侵檢測系統(tǒng)中的安全和訓練效率問題?？傮w來說，本文使用兩級動態(tài)加權(quán)的異步聯(lián)邦學習算法提高訓練的效率，同時使用梯度屏蔽和同態(tài)哈希函數(shù)的方法保護數(shù)據(jù)隱私。

4.1 HKAFL-IDS的總體步驟

本方案使用兩級的K-異步聯(lián)邦學習算法，使用動態(tài)權(quán)重的方法篩選出質(zhì)量高、陳舊性低的梯度，以提高入侵檢測系統(tǒng)的收斂速度和性能，同時使用梯度屏蔽和同態(tài)哈希函數(shù)的方法保護數(shù)據(jù)隱私，如圖3所示。方案的整體步驟如下：

a）系統(tǒng)初始化：在識別出本次訓練涉及的中心路由器后，云服務(wù)器首先初始化所有中心路由器的模型參數(shù)，如學習率、使用的本地數(shù)據(jù)量、本地訓練輪數(shù)、損失函數(shù)等。最后，將模型參數(shù)廣播給所有中心服務(wù)器。

b）異步訓練及梯度屏蔽：在第一輪中，所有中心路由器在收到初始化的模型參數(shù)后，使用本地數(shù)據(jù)集訓練入侵檢測模型，并將反饋信息上傳到云服務(wù)器。在接收到第一輪的全局梯度后，接下來中心路由器將不斷地使用本地數(shù)據(jù)集訓練模型并將梯度質(zhì)量信息（本地梯度與接收的最新一輪全局梯度的余弦相似度）上傳到云服務(wù)器。如果接收到服務(wù)器傳輸?shù)膮⑴c集合信息，則將梯度經(jīng)過加權(quán)屏蔽后上傳到云服務(wù)器。如果收到云服務(wù)器傳輸?shù)哪Ｐ蛥?shù)，就會更新本地模型。

c）異步安全聚合：云服務(wù)器在訓練的初始階段對最先接收到反饋的K個中心路由器返回初始質(zhì)量參數(shù)并完成聚合。當訓練輪次達到要求后，則開始對接收到的梯度質(zhì)量進行質(zhì)量判定，同時結(jié)合梯度的陳舊度判斷此梯度能否參與聚合。當收集到K個滿足聚合要求的梯度質(zhì)量信息后，則對此K個中心路由器發(fā)送它們的集合信息，并對此K個中心路由器反饋的屏蔽梯度進行加密聚合。

d）更新本地模型：完成聚合后，云服務(wù)器將聚合后的全局梯度廣播給所有中心路由器，各中心路由器接收到全局梯度后更新本地入侵檢測模型，并廣播給區(qū)域內(nèi)所有終端設(shè)備進行入侵檢測任務(wù)。

4.2 兩級K-異步聯(lián)邦學習算法

本節(jié)介紹設(shè)計的異步聯(lián)邦學習算法。如2.1節(jié)所述，在物聯(lián)網(wǎng)場景的入侵檢測訓練過程中，使用同步聯(lián)邦學習會導致模型更新速度極慢，使系統(tǒng)對新攻擊方式反應(yīng)遲鈍。而使用一般的異步聯(lián)邦學習會導致模型波動大，或由于設(shè)備的通信能力差異導致不同類型的網(wǎng)絡(luò)攻擊數(shù)據(jù)嚴重失衡。這都會使得入侵檢測的準確率下降。而K-異步聯(lián)邦學習可以在保證快速更新的同時減小設(shè)備的能力差異對數(shù)據(jù)數(shù)量和類型的影響，在物聯(lián)網(wǎng)入侵檢測檢測率上具有較大優(yōu)勢。同時，在使用異步聯(lián)邦學習進行入侵檢測訓練的過程中，如果直接對梯度質(zhì)量進行篩選聚合，訓練的初始階段會篩去大量梯度導致收斂速度慢。本算法使用分級的K-異步聯(lián)邦學習方法，在訓練的初始階段對接收梯度進行無篩聚合以快速提煉數(shù)據(jù)特征，提高收斂速度。

4.2.1 分級的異步方案

為了提高入侵檢測訓練的收斂速度，在訓練的初始階段，云服務(wù)器對最先接收到的K個梯度直接進行聚合。如圖4所示，當中心路由器總數(shù)為5，K為2時，各中心路由器接收到初始化參數(shù)后就向云服務(wù)器發(fā)送反饋信息，云服務(wù)器會對最先接收到的2個中心路由器創(chuàng)建集合，并對集合中的所有中心路由器發(fā)送參與者集合，各參與的中心路由器根據(jù)集合內(nèi)容對本地梯度進行屏蔽后發(fā)送給云服務(wù)器。最后云服務(wù)器對所有參與者發(fā)送來的梯度進行平均聚合后，將更新的全局模型廣播給所有中心路由器。聚合公式如下：

g（w_t）=1K∑Ki=1g（wⁱ_t，ξⁱ_t）（5）

直接聚合可以快速提取入侵檢測流量數(shù)據(jù)集中的特征，防止初始階段由于模型的更新方向波動導致優(yōu)質(zhì)梯度被誤篩。初始階段的快速訓練允許入侵檢測系統(tǒng)快速啟動，從而加速模型收斂過程。這對于在分布式環(huán)境中訓練大規(guī)模模型的系統(tǒng)尤為重要。

接下來，當訓練達到預(yù)定輪次后，由于一些劣質(zhì)梯度參與，若繼續(xù)對梯度直接聚合，訓練精度將出現(xiàn)較大波動，同時訓練的最終效果也會較差，所以在訓練基本收斂后，模型轉(zhuǎn)換為第二級，接受的梯度不再直接參與聚合，而是依據(jù)接收梯度的梯度質(zhì)量和陳舊性來篩選梯度并加權(quán)聚合。

4.2.2 基于質(zhì)量和陳舊性的權(quán)重聚合

在梯度聚合時，梯度的質(zhì)量和陳舊性會對聚合的模型性能產(chǎn)生較大的影響。低質(zhì)量的梯度可能導致模型不穩(wěn)定，收斂速度較慢，或者在訓練中陷入局部極小值。通過篩選梯度并選擇高質(zhì)量的梯度用于更新全局模型，可以改善訓練的效率和模型的性能。而一般認為，陳舊度越高的梯度，其更新方向與理想模型更新方向不一致的概率越大，因此聚合陳舊性高的梯度可能會導致模型參數(shù)的偏離和不穩(wěn)定。

綜合以上兩個因素，在第二級首先對接收到的梯度進行質(zhì)量篩選，如圖5所示，各中心路由器首先使用上一輪的全局梯度作為估計無偏梯度，并依據(jù)無偏梯度計算每個梯度的余弦相似度后再計算質(zhì)量因數(shù)。質(zhì)量因數(shù)計算公式如下：

其中：αgt;0是一個常數(shù)。需要注意的是，由于通信延時的原因，并非所有上傳到云服務(wù)器的余弦相似度都使用最新的全局梯度作為參考，但由于第一級無篩訓練后，模型更新趨向平穩(wěn)，每一輪的更新幅度較小，所以使用相鄰t′輪次內(nèi)的全局梯度作為參考都可以被接受，而使用超出相鄰t′輪次內(nèi)的全局梯度作為參考的余弦相似度將被丟棄。

同時，考慮梯度的陳舊性，使用梯度的延時數(shù)據(jù)來估量陳舊性，延時越高，則陳舊性越強。陳舊性的計算公式如下：

s_t，i=e^－βτi_t（8）

其中：βgt;0是一個常數(shù)；τⁱ_t為第t輪第i個中心路由器的延遲；s_t，i越大則陳舊性越低，相反s_t，i越小則陳舊性越高。

最后定義優(yōu)質(zhì)因數(shù)，即質(zhì)量因數(shù)與陳舊度的和。優(yōu)質(zhì)因數(shù)越高，則梯度的綜合質(zhì)量越好，高于優(yōu)質(zhì)因數(shù)閾值Q_min的梯度才可以參與本輪聚合，而優(yōu)質(zhì)因數(shù)過低的梯度則被丟棄。優(yōu)質(zhì)因數(shù)的計算公式如下：

Q_t，i=q_t，i+s_t，i（9）

當接收到K個滿足要求的梯度后，便將這些中心路由器的集合信息發(fā)送給它們，以便這些中心路由器對本地梯度進行屏蔽。最終根據(jù)梯度的優(yōu)質(zhì)因數(shù)進行加權(quán)聚合，以提高高質(zhì)量、低陳舊度梯度的集合權(quán)重，提高模型的訓練速度和性能。加權(quán)聚合規(guī)則如下：

θ_t，i=Q_t，i/∑^K_{i=1Qt，i}（10）

g（w_t）=∑Ki=1θ_t，ig（wⁱ_t，ξⁱ_t）（11）

4.2.3 動態(tài)學習率

一般來說，應(yīng)該選擇較小的學習率來減少梯度的質(zhì)量和陳舊度帶來的負面影響。先前的方案使用初始陳舊度除以陳舊度的方案來調(diào)整學習率，然而在大規(guī)模異步聯(lián)邦學習情況下，可能存在陳舊度較高的梯度，這將使得學習率變得非常小，導致每次迭代的更新非常微小，訓練時間延長。為了解決這個問題，本文根據(jù)每輪接收的K個梯度中最小的陳舊度來調(diào)整學習率，這樣避免學習率過小。學習率更新規(guī)則如下：

γ_t=γ₀×1τ_{min，t×δ+1}（12）

4.3 適用于異步算法的梯度屏蔽方法

一般的梯度屏蔽方法需要每個用戶在一輪中與其他所有用戶建立密鑰對，這在異步場景中是不現(xiàn)實的，而且屏蔽后的梯度由于隱藏了梯度信息，云服務(wù)器無法對梯度進行評估。在本節(jié)中設(shè)計了一種適用于異步場景的加權(quán)屏蔽方法，并將其應(yīng)用于梯度加密，可以在異步場景下安全的對梯度進行評估，并對其進行加權(quán)聚合，主要分為以下幾個步驟：

a） 設(shè)置：可信機構(gòu)首先為每個中心路由器cr_i隨機創(chuàng)建DH密鑰對（K^PK_i，K^SK_i），然后將密鑰對轉(zhuǎn)發(fā)給相應(yīng)的參與者。最后，利用Diffie-Hellman密鑰協(xié)商，每兩個中心路由器cr_i和cr_j可以生成隨機數(shù)s_i，j←KAA（K^SK_i，K^PK_j）。

b）加權(quán)屏蔽：以s_i，j作為輸入，并使用偽隨機生成器生成隨機數(shù)PRG（s_i，j）。隨機數(shù)用于屏蔽每個梯度和數(shù)據(jù)大小。然而，直接隨機屏蔽不能使隨機數(shù)在加權(quán)聚合階段被抵消。因此，為了支持加權(quán)聚合，每個中心路由器的局部梯度g（wⁱ_t，ξⁱ_t）被屏蔽如下：

〖g_t，i〗=Q_t，ig（wⁱ_t，ξⁱ_t）+∑cr_j∈R_t，ilt;jPRG（s_i，j）－∑cr_j∈R_t，igt;jPRG（s_j，i）（13）

其中：R_t是第t輪參與聚合的K個中心路由器的集合。

c） 安全加權(quán)聚合：云服務(wù)器接收到來自每個中心路由器cr_i的屏蔽梯度〖g_t，i〗后，云服務(wù)器聚合加密梯度如下：

G_agg=∑cr_j∈R_t〖g_t，i〗=∑cr_j∈R_tQ_t，ig（wⁱ_t，ξⁱ_t）（14）

Q_agg=∑cr_j∈R_tQ_t，i（15）

g（w_t）=G_aggQ_agg=∑cr_j∈R_tθ_t，ig（wⁱ_t，ξⁱ_t）（16）

云服務(wù)器加權(quán)聚合后，可以在不獲得具體梯度信息的情況下得到正確的聚合結(jié)果。

5 實驗結(jié)果與分析

本文從入侵檢測場景的訓練收斂速度和訓練精度方面對HKAFL-IDS 方案進行了實驗評估。

5.1 實驗設(shè)置

5.1.1 實驗的硬件配置

在本文的實驗中，使用的服務(wù)器配置了 i7-7800X CPU、NVIDIA GeForce RTX 2080 Ti GPU 和 12 GB RAM 以及 Linux 操作系統(tǒng)。

5.1.2 數(shù)據(jù)集和模型

本文的實驗使用UNSW-NB15和NSL-KDD數(shù)據(jù)集。UNSW-NB15數(shù)據(jù)集包括真實的良性流量數(shù)據(jù)和包含各種新型攻擊方法的復雜流量數(shù)據(jù)。該數(shù)據(jù)集由澳大利亞安全實驗室使用IXIA PerfectStorm工具創(chuàng)建，由43個帶有類別標簽的特征組成，其中包括1個正常記錄和9個攻擊類別。NSL-KDD數(shù)據(jù)集是KDD99數(shù)據(jù)集的優(yōu)化，去除了一些冗余數(shù)據(jù)，使數(shù)據(jù)更加平衡，從而可以更準確地評估不同的技術(shù)。該數(shù)據(jù)集包含4種異常類型和39種攻擊類型，每條記錄包含41個特征和1個類別標識符。為了在更現(xiàn)實的大規(guī)模分布式設(shè)備場景中驗證HKAFL-IDS方案，本文將客戶端總數(shù)（表示為T）設(shè)置為1 000。這意味著在異步聯(lián)邦學習下存儲和計算1 000個模型副本。由于服務(wù)器的顯存有限，為了防止超出顯存，采用了輕量級CNN模型。其中，針對UNSW-NB15數(shù)據(jù)集的實驗使用的模型由3個具有ReLU激活函數(shù)的一維卷積層組成。在最大池化層之后，池化向量被傳遞到全連接層，然后使用對數(shù)softmax函數(shù)測量損失。而針對NSL-KDD數(shù)據(jù)集的實驗使用的模型由兩層一維卷積層組成，接著傳遞到全連接層，然后使用對數(shù)softmax函數(shù)測量損失。

5.1.3 對比方案

本文實驗中比較了三種異步聯(lián)邦學習方案，包括加權(quán) K-async FL（WKAFL）^[25]、時間加權(quán)異步聯(lián)邦學習（TWAFL）^[26]和具有全局動量的梯度調(diào)度（GSGM）^[27]。這些方案通過減輕陳舊數(shù)據(jù)和非獨立同分布數(shù)據(jù)的影響來提高預(yù)測精度。

以上三種方案在原本的論文中都用于圖像分類，在本文的物聯(lián)網(wǎng)入侵檢測場景下，由于數(shù)據(jù)集的差異，對三種方案的模型都統(tǒng)一為5.1.2節(jié)所描述的輕量級模型，而協(xié)議不變。

本文評估了不同陳舊場景下所提出方案在 UNSW-NB15 和 NSL-KDD 數(shù)據(jù)集上的性能。具體來說，T（客戶端總數(shù)）和 K（客戶端數(shù)量）可用于抽象系統(tǒng)的異構(gòu)強度。本文使用T/K來衡量系統(tǒng)中梯度的整體陳舊程度。在實驗中，考慮了三個陳舊級別：10 （T/K = 1000/100）、20 （T/K=1000/50） 和 100 （T/K=1000/10）。實驗結(jié)果如圖6、7所示，最終的預(yù)測精度總結(jié)在表1中。

5.2 對比實驗結(jié)果與分析

接下來本文將從收斂速度、訓練準確率兩個方面對實驗結(jié)果進行分析。

1）收斂速度由圖中可見，本文方案HKAFL相比于其他三個方案的收斂速度更快。如圖6所示，在UNSW-NB15數(shù)據(jù)集中，HKAFL和其他方案相比在T/K=10和T/K=20的兩種異構(gòu)性稍弱的情況下收斂速度有比較明顯的優(yōu)勢，其主要原因是本文使用的分級方案。在初始階段，本文方案使用無篩平均聚合的方法，因此在初始階段可以快速地提取入侵檢測數(shù)據(jù)集中的特征，而其他三個方案都會在初始階段便對梯度進行剪切或是根據(jù)梯度質(zhì)量進行篩選和加權(quán)聚合，雖然在第一級訓練穩(wěn)定后，方案進入第二級會重新收斂影響最終收斂速度，但是初始的快速收斂也有助于入侵檢測系統(tǒng)在物聯(lián)網(wǎng)復雜環(huán)境下快速進入工作狀態(tài)。而在異構(gòu)性較低的情形下因為聚合梯度較多，可以提取更有效的特征， 所以相比其他方案可以更好地收斂。而異構(gòu)性較高的情況下，即便不對梯度進行篩選，由于每一輪聚合的梯度有限，提取特征較少，所以在T/K=100的強異構(gòu)性場景下優(yōu)勢也不會特別明顯。如圖7所示，在NSL-KDD數(shù)據(jù)集中亦可以佐證上述分析，因為NSL-KDD數(shù)據(jù)集相比UNSW-NB15數(shù)據(jù)集特征更少，因此在收斂性上本方案展現(xiàn)出的優(yōu)勢更小。

2） 訓練準確率由圖表中可見，本文的方案HKAFL相比于其他三個方案的訓練效果更好。如圖6所示，使用UNSW-NB15數(shù)據(jù)集訓練時，HKAFL在第一級收斂后即可達到較高的準確率，而第二級收斂后，如表1所示，HKAFL在T/K=10，20，100時準確率可以分別提高0.096、0.123、0.121以上。主要原因之一是在第二級，梯度選擇時考慮了更多因素，其他在進行梯度篩選和權(quán)重計算時，有的只考慮了梯度質(zhì)量，而陳舊度僅用于學習率，有的只考慮了梯度陳舊性和，而且學習率沒有動態(tài)變化。HKAFL不僅考慮了梯度質(zhì)量，同時也考慮了梯度的陳舊性，可以提取更加準確的數(shù)據(jù)特征，這使得模型訓練方向不會產(chǎn)生較大的偏差。同時由于本文在第二階段聚合時使用了動態(tài)權(quán)重進行聚合，放大了優(yōu)質(zhì)梯度的影響，使得訓練效果更好。其二是由于其他三個聯(lián)邦學習方案的模型本身主要用于圖像分類，圖像數(shù)據(jù)的特征維度較高，其方案更適合高維特征的圖像任務(wù)。而本方案主要用于入侵檢測，數(shù)據(jù)集特征維數(shù)較低，因此整體的準確率要高于其他三個方案。另外如圖7所示，使用NSL-KDD數(shù)據(jù)集訓練時，HKAFL在T/K=10，20，100時準確率可以分別提高0.074、0.098、0.117以上，證明本方案在強異構(gòu)性場景下有更好的表現(xiàn)，并且HKAFL在第一級收斂后，可以比較穩(wěn)定地維持準確率，而其他方案都會出現(xiàn)不同程度的準確率跌落，這也是由于HKAFL在訓練的第二級的梯度篩選和加權(quán)聚合方法可以提取更加準確的數(shù)據(jù)特征，使模型訓練方向不會產(chǎn)生較大的偏差。

6 結(jié)束語

本文提出了一種基于兩級K-異步聯(lián)邦學習的隱私保護入侵檢測方案，其目的是在強異構(gòu)性的物聯(lián)網(wǎng)場景下進行高效安全的入侵檢測訓練。所提出的方案首先使用分級的方法快速提取數(shù)據(jù)特征，接著使用基于梯度質(zhì)量和陳舊性的加權(quán)方案篩選優(yōu)質(zhì)梯度并通過陳舊性來調(diào)整學習率。同時，提出的方案通過設(shè)計梯度加權(quán)屏蔽的方法來加密參與者的梯度，在保證梯度篩選不泄露隱私的同時防止惡意用戶推斷梯度的隱私信息。通過實驗表明，本文方案在強異構(gòu)性物聯(lián)網(wǎng)場景下具有更優(yōu)秀的收斂性和準確率。在未來的研究中可以考慮使用去中心化的方法，并在保證準確率的情況下減小通信開銷。

參考文獻：

[1]Feng Cheng， Wang Yi， Zheng Kedi，et al. Smart meter data-driven customizing price design for retailers [J]. IEEE Trans on Smart Grid， 2019， 11 （3）： 2043-2054.

[2]Khraisat A， Gondal I， Vamplew P， et al. Survey of intrusion detection systems： techniques， datasets and challenges [J]. Cybersecurity， 2019， 2 （1）： 1-22.

[3]Garcia N，Alcaniz T， González-Vidal A， et al. Distributed real-time SlowDoS attacks detection over encrypted traffic using artificial intelligence [J]. Journal of Network and Computer Applications， 2021， 173： 102871.

[4]Campos E M， Saura P F， González-Vidal A，et al. Evaluating federated learning for intrusion detection in Internet of Things： review and challenges [J]. Computer Networks， 2022， 203： 108661.

[5]McMahan B， Moore E， Ramage D，et al. Communication-efficient learning of deep networks from decentralized data [C]//Proc of the 20th International Conference on Artificial Intelligence and Statistics. [S.l.]：PMLR， 2017： 1273-1282.

[6]Kumar K P S， Nair S A H， Roy D G，et al. Security and privacy-aware artificial intrusion detection system using federated machine learning [J]. Computers amp; Electrical Engineering， 2021， 96： 107440.

[7]Su Zhou， Wang Yuntao， Luan T H， et al. Secure and efficient federated learning for smart grid with edge-cloud collaboration [J]. IEEE Trans on Industrial Informatics， 2021， 18 （2）： 1333-1344.

[8]Ten C W， Hong J， Liu C C. Anomaly detection for cybersecurity of the substations [J]. IEEE Trans on Smart Grid， 2011， 2 （4）： 865-873.

[9]Rossi B， Chren S，Buhnova B， et al. Anomaly detection in smart grid data： an experience report [C]// Proc of IEEE International Confe-rence on Systems， Man， and Cybernetics. Piscataway， NJ： IEEE Press， 2016： 2313-2318.

[10]Andrysiak T，Saganowski ?， Kiedrowski P. Anomaly detection in smart metering infrastructure with the use of time series analysis [J]. Journal of Sensors， 2017， 2017： 8782131.

[11]Zhang Ke， Hu Zhi， Zhan Yufei，et al. A smart grid AMI intrusion detection strategy based on extreme learning machine [J]. Energies， 2020， 13 （18）： 4907.

[12]Chen Zhuo， Lyu Na， Liu Pengfei， et al. Intrusion detection for wireless edge networks based on federated learning [J]. IEEE Access， 2020， 8： 217463-217472.

[13]Cui Lei， QuYouyang， Xie Gang， et al. Security and privacy-enhanced federated learning for anomaly detection in IoT infrastructures [J]. IEEE Trans on Industrial Informatics， 2021， 18 （5）： 3492-3500.

[14]Li Beibei， Wu Yuhao， Song Jiarui，et al. DeepFed： federated deep learning for intrusion detection in industrial cyber-physical systems [J]. IEEE Trans on Industrial Informatics， 2020， 17 （8）： 5615-5624.

[15]邱曉慧， 楊波， 趙孟晨， 等. 聯(lián)邦學習安全防御與隱私保護技術(shù)研究 [J]. 計算機應(yīng)用研究， 2022， 39 （11）： 3220-3231. （Qiu Xiaohui， Yang Bo， Zhao Mengchen， et al. Survey on federated lear-ning security defense and privacy protection technology [J]. Application Research of Computers， 2022， 39 （11）： 3220-3231.）

[16]Shen Xiaoying， Jiang Hang， ChenYange， et al. PLDP-FL： federated learning with personalized local differential privacy [J]. Entropy， 2023， 25 （3）： 485.

[17]Han Liquan， Fan Di， Liu Jinyuan， et al. Federated learning differential privacy preservation method based on differentiated noise addition [C]// Proc of the 8th International Conference on Cloud Computing and Big Data Analytics. Piscataway， NJ： IEEE Press， 2023： 285-289.

[18]徐晨陽， 葛麗娜， 王哲， 等. 基于差分隱私保護知識遷移的聯(lián)邦學習方法 [J]. 計算機應(yīng)用研究， 2023， 40 （8）： 2473-2480. （Xu Chenyang， Ge Lina， Wang Zhe， et al. Federated learning method based on differential privacy protection knowledge transfer [J]. Application Research of Computers， 2023， 40 （8）： 2473-2480.）

[19]Zhao Jianzhe， Huang Chenxi， Wang Wenji， et al. Local differentially private federated learning with homomorphic encryption [J]. The Journal of Supercomputing， 2023，79： 19365-19395.

[20]Nguyen T， Thai M T. Preserving privacy and security in federated lear-ning [J]. IEEE/ACM Trans on Networking， 2023，32（1）： 833 - 843.

[21]Du Weidong， Li Min， WuLiqiang， et al. A efficient and robust privacy-preserving framework for cross-device federated learning [J]. Complex amp; Intelligent Systems， 2023，9： 4923-4937.

[22]Lin Li， Zhang Xiaoying.PPVerifier： a privacy-preserving and verifiable federated learning method in cloud-edge collaborative computing environment [J]. IEEE Internet of Things Journal， 2022， 10 （10）： 8878-8892.

[23]Xu Peng， Hu Manqing， Chen Tianyuan， et al. LaF： lattice-based and communication-efficient federated learning [J]. IEEE Trans on Information Forensics and Security， 2022， 17： 2483-2496.

[24]Huang Chao， Yao Yanqing， Zhang Xiaojun，et al. Robust secure aggregation with lightweight verification for federated learning [C]// Proc of IEEE International Conference on Trust， Security and Privacy in Computing and Communications. Piscataway， NJ： IEEE Press， 2022： 582-589.

[25]Zhou Zihao， Li Yanan， Ren Xuebin， et al. Towards efficient and stable K-asynchronous federated learning with unbounded stale gradients on non-IID data [J]. IEEE Trans on Parallel and Distributed Systems， 2022， 33 （12）： 3291-3305.

[26]Chen Yang， Sun Xiaoyan， Jin Yaochu. Communication-efficient federated deep learning with layerwise asynchronous model update and temporally weighted aggregation [J]. IEEE Trans on Neural Networks and Learning Systems， 2019， 31 （10）： 4229-4238.

[27]Wang Haozhao， Li Ruixuan， Li Chengjie， et al. Gradient scheduling with global momentum for asynchronous federated learning in edge environment [J]. IEEE Internet of Things Journal， 2022， 9 （19）： 18817-18828.