摘 要：聯(lián)邦學(xué)習(xí)解決了機(jī)器學(xué)習(xí)的數(shù)據(jù)孤島問(wèn)題，然而，各方的數(shù)據(jù)集在數(shù)據(jù)樣本空間和特征空間上可能存在較大差異，導(dǎo)致聯(lián)邦模型的預(yù)測(cè)精度下降。針對(duì)上述問(wèn)題，提出了一種基于差分隱私保護(hù)知識(shí)遷移的聯(lián)邦學(xué)習(xí)方法。該方法使用邊界擴(kuò)展局部敏感散列計(jì)算各方實(shí)例之間的相似度，根據(jù)相似度對(duì)實(shí)例進(jìn)行加權(quán)訓(xùn)練，實(shí)現(xiàn)基于實(shí)例的聯(lián)邦遷移學(xué)習(xí)。在此過(guò)程中，實(shí)例本身無(wú)須透露給其他方，防止了隱私的直接泄露。同時(shí)，為了減少知識(shí)遷移過(guò)程的隱私間接泄露，在知識(shí)遷移過(guò)程中引入差分隱私機(jī)制，對(duì)需要在各方之間傳輸?shù)奶荻葦?shù)據(jù)進(jìn)行擾動(dòng)，實(shí)現(xiàn)知識(shí)遷移過(guò)程的隱私保護(hù)。理論分析表明，知識(shí)遷移過(guò)程滿足ε-差分隱私保護(hù)。在XGBoost梯度提升樹(shù)模型上實(shí)現(xiàn)了所提方法，實(shí)驗(yàn)結(jié)果表明，與無(wú)知識(shí)遷移方法相比，所提方法使聯(lián)邦模型測(cè)試誤差平均下降6%以上。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)； 遷移學(xué)習(xí)； 局部敏感散列； 差分隱私； 梯度提升樹(shù)

中圖分類(lèi)號(hào)：TP309文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）08-037-2473-08

doi：10.19734/j.issn.1001-3695.2022.10.0633

Federated learning method based on differential privacyprotection knowledge transfer

Xu Chenyang Ge Lina Wang Zhe Zhou Yongquan Qin Xia Tian Lei

（1. a.School of Artificial Intelligence， b.Key Laboratory of Network Communication Engineering， c.School of Electronic Information， Guangxi Minzu University， Nanning 530006， China; 2.Guangxi Key Laboratory of Hybrid Computation amp; IC Design Analysis， Nanning 530006， China）

Abstract：Federated learning solves the data silo problem of machine learning. However， the dataset of each party may have large differences in the instance space and feature space， which led to the degradation of prediction accuracy of the federated model. To address the above problems， this paper proposed a federated learning method based on differential privacy protection knowledge transfer. The method used boundary-expanding locality-sensitive hashing to calculate the similarity between instances of each party， and carried out weighted training of instances according to the similarity to achieve instance-based fede-rated transfer learning. In the above process， each party didn’t need to disclose their instances to other parties， which could prevent the direct leakage of privacy. Meanwhile， to reduce the indirect privacy leakage in the knowledge transfer process， the proposed method introduced differential privacy mechanism to perturb the gradient data transmitted between all parties， so as to achieve privacy protection in the process of knowledge transfer. Theoretical analysis shows that the knowledge transfer process satisfies ε-differential privacy protection. This paper implemented the proposed method based on the XGBoost model. The experimental results show that， compared with the other methods without knowledge transfer， the proposed method reduces the test error of the federated model by more than 6% on average.

Key words：federated learning; transfer learning; locality-sensitive hashing; differential privacy; gradient boosting decision tree

0 引言

傳統(tǒng)機(jī)器學(xué)習(xí)方法大多需要將分散的數(shù)據(jù)集中起來(lái)進(jìn)行訓(xùn)練［1］，隨著大數(shù)據(jù)時(shí)代深入發(fā)展，數(shù)據(jù)隱私泄露帶來(lái)的危害日趨嚴(yán)重，國(guó)家和社會(huì)層面對(duì)數(shù)據(jù)安全和隱私保護(hù)越發(fā)重視。2017年實(shí)施的《中華人民共和國(guó)網(wǎng)絡(luò)安全法》在第四章對(duì)涉及個(gè)人信息安全的事項(xiàng)作出專門(mén)規(guī)定。2021年實(shí)施的《中華人民共和國(guó)民法典》指出：“信息處理者應(yīng)當(dāng)采取技術(shù)措施和其他必要措施，確保其收集、存儲(chǔ)的個(gè)人信息安全，防止信息泄露、竄改、丟失?！边@些法律法規(guī)的實(shí)施對(duì)數(shù)據(jù)收集和使用提出新挑戰(zhàn)，分散的數(shù)據(jù)無(wú)法輕易地集中起來(lái)用于訓(xùn)練機(jī)器學(xué)習(xí)模型，形成“數(shù)據(jù)孤島”。

2017年由McMahan等人［2］首次提出的“聯(lián)邦學(xué)習(xí)”正是為解決上述問(wèn)題而做的努力。聯(lián)邦學(xué)習(xí)考慮了多方訓(xùn)練的隱私問(wèn)題［3］，參與方使用本地?cái)?shù)據(jù)訓(xùn)練本地模型，之后同其他參與方交換本地模型關(guān)聯(lián)數(shù)據(jù)（如模型參數(shù)或梯度等），使得各方最終可以訓(xùn)練出相同的模型，即聯(lián)邦模型。在此過(guò)程中，參與方數(shù)據(jù)不出本地，可以防止原始數(shù)據(jù)被敵手捕獲而造成隱私數(shù)據(jù)的直接泄露［4］。根據(jù)參與方數(shù)據(jù)樣本空間和特征空間的不同，聯(lián)邦學(xué)習(xí)可分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)、聯(lián)邦遷移學(xué)習(xí)［4］。McMahan等人［2］提出針對(duì)神經(jīng)網(wǎng)絡(luò)模型的FedAvg算法，參與方將本地模型參數(shù)發(fā)送到聚合服務(wù)器用于構(gòu)建聯(lián)邦模型，這是橫向聯(lián)邦學(xué)習(xí)最早的解決方案。Cheng等人［5］提出一種基于同態(tài)加密的聯(lián)邦梯度提升決策樹(shù)算法，解決了縱向聯(lián)邦學(xué)習(xí)場(chǎng)景下多方樹(shù)節(jié)點(diǎn)屬性分割的問(wèn)題。張君如等人［6］提出一種無(wú)損聯(lián)邦梯度提升決策樹(shù)算法，使用特征索引序列的掃描和分裂來(lái)搜索最佳分割點(diǎn)，提升了預(yù)測(cè)精度的同時(shí)降低了訓(xùn)練時(shí)間開(kāi)銷(xiāo)。

聯(lián)邦學(xué)習(xí)雖然可以解決多方分布式訓(xùn)練的數(shù)據(jù)孤島和隱私直接泄露問(wèn)題，但當(dāng)各方的數(shù)據(jù)集在樣本空間和特征空間上的差異較大時(shí)，聯(lián)邦模型難免出現(xiàn)預(yù)測(cè)精度和穩(wěn)定性下降的問(wèn)題。針對(duì)聯(lián)邦學(xué)習(xí)的這一局限性，Liu等人［7］于2018年提出聯(lián)邦遷移學(xué)習(xí)，提升了聯(lián)邦模型預(yù)測(cè)精度。Yang等人［8］根據(jù)知識(shí)遷移對(duì)象不同，將聯(lián)邦遷移學(xué)習(xí)分為基于模型的聯(lián)邦遷移學(xué)習(xí)［9～16］、基于特征的聯(lián)邦遷移學(xué)習(xí)［7，17～19］和基于實(shí)例的聯(lián)邦遷移學(xué)習(xí)［20］。其中，基于實(shí)例的聯(lián)邦遷移學(xué)習(xí)基本原理是：參與方根據(jù)一定的知識(shí)遷移策略，有選擇地挑選或者加權(quán)訓(xùn)練樣本，以減小分布差異，從而可以將目標(biāo)損失函數(shù)最小化，提升模型預(yù)測(cè)精度。一部分聯(lián)邦遷移學(xué)習(xí)研究工作僅關(guān)注模型性能而忽視隱私保護(hù)［9，11，14，20］，例如，Li等人［20］提出一種針對(duì)梯度提升樹(shù)模型的聯(lián)邦遷移學(xué)習(xí)方法，雖然文中聲稱該方法滿足隱私保護(hù)，但實(shí)際上其工作只滿足了樸素的隱私保護(hù)觀點(diǎn)［2］。該文認(rèn)為只要參與方原始數(shù)據(jù)不出本地即可實(shí)現(xiàn)隱私保護(hù)，僅考慮了隱私的直接泄露，而未考慮模型參數(shù)或梯度等信息被捕獲可能導(dǎo)致的隱私泄露［21］。此類(lèi)隱私泄露是間接泄露［4］，尤其是梯度數(shù)據(jù)泄露，可能招致標(biāo)簽推理攻擊［22］、成員推理攻擊［23］等。

因此，必須引入額外的隱私保護(hù)策略。Liu等人［7］提出一種針對(duì)神經(jīng)網(wǎng)絡(luò)模型的安全聯(lián)邦遷移學(xué)習(xí)框架，使用同態(tài)加密和秘密共享保護(hù)隱私，是基于特征的聯(lián)邦遷移學(xué)習(xí)。其使用獨(dú)立的神經(jīng)網(wǎng)絡(luò)模型將參與方數(shù)據(jù)集的源特征映射到一個(gè)共同的特征子空間中，在該特征子空間中實(shí)現(xiàn)參與方之間的知識(shí)遷移。Zhu等人［12］提出了一種針對(duì)神經(jīng)網(wǎng)絡(luò)模型基于投票策略的差分隱私聯(lián)邦遷移學(xué)習(xí)方法，是基于模型的聯(lián)邦遷移學(xué)習(xí)。各方使用本地模型對(duì)來(lái)自中央服務(wù)器的公共數(shù)據(jù)集進(jìn)行預(yù)測(cè)得到偽標(biāo)簽，中央服務(wù)器根據(jù)偽標(biāo)簽以及多數(shù)原則進(jìn)行投票生成全局標(biāo)簽實(shí)現(xiàn)知識(shí)遷移。Pan等人［16］提出了一種針對(duì)神經(jīng)網(wǎng)絡(luò)模型基于PATE框架的聯(lián)邦遷移學(xué)習(xí)算法，使用差分隱私防止隱私泄露，是基于模型的聯(lián)邦遷移學(xué)習(xí)。參與方以及中央服務(wù)器維護(hù)一組教師—學(xué)生模型，參與方的知識(shí)經(jīng)由此模型轉(zhuǎn)移到中央服務(wù)器管理的可公開(kāi)發(fā)布模型中，實(shí)現(xiàn)知識(shí)遷移。Gao等人［17］提出一種針對(duì)邏輯回歸和支持向量機(jī)模型的異構(gòu)聯(lián)邦遷移學(xué)習(xí)方法，使用同態(tài)加密和秘密共享保護(hù)隱私，是基于特征的聯(lián)邦遷移學(xué)習(xí)。其使用域適應(yīng)和特征映射將參與方的數(shù)據(jù)映射到同質(zhì)的公共特征空間，在該空間中實(shí)現(xiàn)知識(shí)遷移。

但上述基于模型與基于特征的聯(lián)邦遷移學(xué)習(xí)普遍需要各參與方維護(hù)一個(gè)較大的公共機(jī)器學(xué)習(xí)模型或公共數(shù)據(jù)集。相比之下，基于實(shí)例的聯(lián)邦遷移學(xué)習(xí)僅需在保護(hù)隱私的前提下建立各參與方之間數(shù)據(jù)的關(guān)聯(lián)性便能夠?qū)崿F(xiàn)知識(shí)遷移，無(wú)須維護(hù)公共的機(jī)器學(xué)習(xí)模型或公共數(shù)據(jù)集。此外，由Dwork等人［24］提出的差分隱私是一種可靠且常用的隱私保護(hù)方法，通過(guò)向數(shù)據(jù)添加特定的擾動(dòng)噪聲實(shí)現(xiàn)隱私保護(hù)。這是一種可形式化證明的、可定量分析的隱私保護(hù)方法，在實(shí)現(xiàn)難度和計(jì)算開(kāi)銷(xiāo)上都要優(yōu)于同態(tài)加密或秘密共享［25］。

針對(duì)上述研究背景及現(xiàn)狀，本文提出一種基于差分隱私保護(hù)知識(shí)遷移的聯(lián)邦學(xué)習(xí)方法，使用基于實(shí)例相似度的知識(shí)遷移策略，同時(shí)關(guān)注知識(shí)遷移過(guò)程中的隱私泄露問(wèn)題，借助差分隱私技術(shù)實(shí)現(xiàn)聯(lián)邦遷移學(xué)習(xí)的知識(shí)遷移過(guò)程隱私保護(hù)。本文主要貢獻(xiàn)如下：

a）提出局部敏感散列（locality-sensitive hashing，LSH）可以用于實(shí)現(xiàn)基于實(shí)例的聯(lián)邦遷移學(xué)習(xí)，設(shè)計(jì)了一種聯(lián)邦遷移學(xué)習(xí)方法，給出了相應(yīng)的知識(shí)遷移訓(xùn)練策略。使用局部敏感散列算法計(jì)算實(shí)例的散列值形成全局散列表，進(jìn)而挖掘?qū)嵗g的相似關(guān)系并計(jì)算相似度，根據(jù)相似度在各方之間交換梯度。最終根據(jù)知識(shí)遷移策略，使用交換的梯度對(duì)實(shí)例進(jìn)行加權(quán)訓(xùn)練，實(shí)現(xiàn)知識(shí)遷移（基于實(shí)例的遷移學(xué)習(xí)）。在此過(guò)程中，實(shí)例本身無(wú)須透露給他人，避免了隱私的直接泄露。

b）使用差分隱私技術(shù)為知識(shí)遷移過(guò)程中需要傳輸?shù)奶荻忍砑釉肼?，?shí)現(xiàn)了保護(hù)隱私的知識(shí)遷移，進(jìn)一步降低了隱私間接泄露的可能性。通過(guò)理論分析，證明了本文知識(shí)遷移過(guò)程滿足ε-差分隱私。

c）基于XGBoost梯度提升樹(shù)模型實(shí)現(xiàn)了本文方法，在六種通用數(shù)據(jù)集上評(píng)估了不同實(shí)驗(yàn)設(shè)置下模型的測(cè)試誤差。實(shí)驗(yàn)結(jié)果表明，本文方法可以降低聯(lián)邦模型的測(cè)試誤差。

1 DP-IBFTL方法

本文所提基于差分隱私保護(hù)知識(shí)遷移的聯(lián)邦學(xué)習(xí)方法（instance-based federated transfer learning based on differential privacy protection knowledge transfer，DP-IBFTL）包含兩個(gè)主要設(shè)計(jì)目標(biāo)：a）在各方之間實(shí)現(xiàn)基于實(shí)例的知識(shí)遷移，且在知識(shí)遷移過(guò)程中實(shí)現(xiàn)隱私保護(hù)；b）各方通過(guò)知識(shí)遷移可訓(xùn)練預(yù)測(cè)精度較高的聯(lián)邦模型。

針對(duì)目標(biāo)a），本文設(shè)計(jì)了一種隱私保護(hù)加權(quán)梯度知識(shí)遷移策略（privacy protection weighted gradient knowledge transfer，PPWGKT），使用差分隱私保護(hù)的梯度對(duì)參與方數(shù)據(jù)實(shí)例進(jìn)行加權(quán)訓(xùn)練，并從理論上證明了知識(shí)遷移過(guò)程滿足ε-差分隱私；針對(duì)目標(biāo)b），設(shè)計(jì)了若干組對(duì)比實(shí)驗(yàn)，通過(guò)實(shí)驗(yàn)結(jié)果說(shuō)明所提方法可以訓(xùn)練預(yù)測(cè)精度較高（即測(cè)試誤差較低）聯(lián)邦模型。

1.1 基本假設(shè)

1.2 DP-IBFTL方法設(shè)計(jì)

1.2.1 預(yù)處理階段

如圖1所示，預(yù)處理階段各方的最終目標(biāo)是：根據(jù)由散列表決定的相似度，在其他方中為自己的每個(gè)實(shí)例找到一個(gè)對(duì)應(yīng)的相似實(shí)例，從而構(gòu)建相似矩陣S。

局部敏感散列（LSH）最早由Datar等人［27］于1998年提出，這是一種實(shí)現(xiàn)近似最近鄰搜索的算法。LSH使用散列值作為桶編號(hào)，其核心思想是：兩個(gè)相鄰的數(shù)據(jù)點(diǎn)（即兩個(gè)相似的數(shù)據(jù)點(diǎn)），它們的散列值有很大概率是相等的，會(huì)被映射到同一個(gè)桶中。LSH的關(guān)鍵在于盡可能地發(fā)現(xiàn)和產(chǎn)生散列沖突，實(shí)現(xiàn)最近鄰搜索。這與密碼學(xué)意義上的散列不同，密碼學(xué)中的散列算法都要求盡可能減少散列沖突。LSH會(huì)將多個(gè)輸入映射為相同的散列值輸出，一個(gè)輸入可以通過(guò)多次計(jì)算散列值被映射為一個(gè)散列值向量輸出，通過(guò)輸出無(wú)法判斷原始輸入的值，達(dá)到保護(hù)數(shù)據(jù)隱私的效果。

本文使用由Wang等人［28］提出的文獻(xiàn)［27］的改進(jìn)算法——邊界擴(kuò)展局部敏感散列（boundary-expanding LSH，BELSH）計(jì)算實(shí)例的散列值、構(gòu)建散列表，考慮了散列桶邊界處實(shí)例的相似度。根據(jù)BELSH的散列沖突及單向性特點(diǎn)，使用BELSH計(jì)算實(shí)例的散列值，將實(shí)例的全局ID映射到對(duì)應(yīng)的桶內(nèi)，既能用散列值（桶編號(hào)）展示經(jīng)過(guò)映射后的實(shí)例特征，又不會(huì)泄露實(shí)例真正的屬性特征。

1.2.2 訓(xùn)練階段

2 理論分析

2.1 知識(shí)遷移過(guò)程滿足ε-差分隱私

2.2 DP-IBFTL方法開(kāi)銷(xiāo)

假設(shè)M個(gè)參與方共同訓(xùn)練T棵樹(shù)作為全局聯(lián)邦模型，全體參與方共有N個(gè)d維實(shí)例參與訓(xùn)練，每一方都隨機(jī)生成了L個(gè)BELSH函數(shù)。

2.2.1 計(jì)算開(kāi)銷(xiāo)

2.2.2 通信開(kāi)銷(xiāo)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

3.2 不平衡率θ對(duì)于測(cè)試誤差的影響

3.3 參與方數(shù)量對(duì)于測(cè)試誤差的影響

4 結(jié)束語(yǔ)

本文提出了一種基于差分隱私保護(hù)知識(shí)遷移的聯(lián)邦學(xué)習(xí)方法DP-IBFTL，并為其設(shè)計(jì)了一種隱私保護(hù)加權(quán)梯度知識(shí)遷移策略PPWGKT，在知識(shí)遷移過(guò)程中實(shí)現(xiàn)了差分隱私保護(hù)。參與方首先使用BELSH計(jì)算全局散列表，然后根據(jù)全局散列表計(jì)算實(shí)例之間的相似度，根據(jù)相似度在各方之間交換相似實(shí)例的加噪梯度，最后用本地梯度與相似實(shí)例的梯度之和作為新的梯度，使用PPWGKT策略實(shí)現(xiàn)基于實(shí)例的差分隱私保護(hù)知識(shí)遷移。本文從理論上證明了所提的知識(shí)遷移過(guò)程滿足ε-差分隱私。實(shí)驗(yàn)表明，DP-IBFTL方法可以有效改善聯(lián)邦模型的性能，提升預(yù)測(cè)精度、降低測(cè)試誤差，對(duì)數(shù)據(jù)集劃分方法和參與方數(shù)量的變化相對(duì)不敏感。

本文研究工作仍存在一些不足。首先，局部敏感散列中存在隨機(jī)參數(shù)，使得DP-IBFTL的預(yù)測(cè)結(jié)果會(huì)在一個(gè)區(qū)間內(nèi)波動(dòng)，單次訓(xùn)練結(jié)果可能無(wú)法代表模型的實(shí)際表現(xiàn)，因此需要多次訓(xùn)練，這無(wú)疑增加了不確定性，多次訓(xùn)練也帶來(lái)了額外的計(jì)算開(kāi)銷(xiāo)。其次，本文研究工作重點(diǎn)關(guān)注知識(shí)遷移過(guò)程中的隱私問(wèn)題，而未考慮聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程中的隱私問(wèn)題，各方之間交換的模型參數(shù)或模型本身，都存在潛在的隱私泄露風(fēng)險(xiǎn)。

在未來(lái)的工作中，首先，將訓(xùn)練過(guò)程中各方交換本地模型導(dǎo)致的隱私間接泄露納入考慮，對(duì)可能泄露隱私的數(shù)據(jù)進(jìn)行保護(hù)。其次，將考慮改進(jìn)現(xiàn)有的差分隱私機(jī)制，以便在同等模型性能下降低所需的隱私預(yù)算，或在相同的隱私預(yù)算下提高模型性能。此外，考慮改進(jìn)局部敏感散列算法，尋求更優(yōu)的相似度計(jì)算策略，緩解隨機(jī)參數(shù)帶來(lái)的不確定性。

參考文獻(xiàn)：

［1］Zhang Chen， Xie Yu， Bai Hang， et al. A survey on federated lear-ning［J］. Knowledge-Based Systems， 2021，216： 106775.

［2］McMahan B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data［C］//Proc of the 20th International Conference on Artificial Intelligence and Statistics. 2017： 1273-1282.

［3］Li Li， Fan Yuxi， Tse M， et al. A review of applications in federated learning［J］. Computers amp; Industrial Engineering， 2020，149： 106854.

［4］Yang Qiang， Liu Yang， Chen Tianjian， et al. Federated machine learning：concept and applications［J］. ACM Trans on Intelligent Systems and Technology， 2019，10（2）： 1-19.

［5］Cheng Kewei， Fan Tao， Jin Yilun， et al. SecureBoost： a lossless fe-derated learning framework［J］. IEEE Intelligent Systems， 2021，36（6）： 87-98.

［6］張君如， 趙曉焱， 袁培燕. 面向用戶隱私保護(hù)的聯(lián)邦安全樹(shù)算法［J］. 計(jì)算機(jī)應(yīng)用， 2020，40（10）： 2980-2985. （Zhang Junru， Zhao Xiaoyan， Yuan Peiyan. Federated security tree algorithm for user privacy protection［J］. Journal of Computer Applications， 2020，40（10）： 2980-2985.）

［7］Liu Yang， Kang Yan， Xing Chaoping， et al. A secure federated transfer learning framework［J］. IEEE Intelligent Systems， 2020，35（4）： 70-82.

［8］Yang Qiang， Liu Yang， Cheng Yong， et al. Federated learning［M］//Brachman R， Rossi F， Stone P. Synthesis Lectures on Artificial Intelligence and Machine Learning.Cham：Springer， 2019.

［9］Guha N， Talwalkar A， Smith V. One-shot federated learning［EB/OL］. （2019-03-05）［2022-07-11］. https：//arxiv. org/abs/1902. 11175.

［10］Chen Yiqiang， Qin Xin， Wang Jindong， et al. FedHealth： a federated transfer learning framework for wearable healthcare［J］. IEEE Intelligent Systems， 2020，35（4）： 83-93.

［11］He Chaoyang， Annavaram M， Avestimehr S. Group knowledge transfer： federated learning of large CNNS at the edge［J］. Advances in Neural Information Processing Systems， 2020，33： 14068-14080.

［12］Zhu Yuqing， Yu Xiang， Tsai Y H， et al. Voting-based approaches for differentially private federated learning［EB/OL］. （2021-02-16）［2022-07-11］. https：//arxiv. org/abs/2010. 04851.

［13］Li Qinbin， He Bingsheng， Song D. Practical one-shot federated lear-ning for cross-silo setting［EB/OL］. （2021-05-20）［2022-07-11］. https：//arxiv. org/abs/2010.01017.

［14］Wang K I， Zhou Xiaokang， Liang Wei， et al. Federated transfer learning based cross-domain prediction for smart manufacturing［J］. IEEE Trans on Industrial Informatics， 2021，18（6）： 4088-4096.

［15］Zhang Wei， Li Xiang. Federated transfer learning for intelligent fault diagnostics using deep adversarial networks with data privacy［J］. IEEE/ASME Trans on Mechatronics， 2021，27（1）： 430-439.

［16］Pan Yanghe， Ni Jianbing， Su Zhou. FL-PATE： differentially private federated learning with knowledge Transfer［C］//Proc of IEEE Global Communications Conference. Piscataway， NJ： IEEE Press， 2021： 1-6.

［17］Gao Dashan， Liu Yang， Huang Anbu， et al. Privacy-preserving heterogeneous federated transfer learning［C］//Proc of IEEE International Conference on Big Data. Piscataway， NJ： IEEE Press， 2019： 2552-2559.

［18］Sharma S， Xing Chaoping， Liu Yang， et al. Secure and efficient fe-derated transfer learning［C］//Proc of IEEE International Conference on Big Data. Piscataway， NJ： IEEE Press， 2019： 2569-2576.

［19］Ju Ce， Gao Dashan， Mane R， et al. Federated transfer learning for EEG signal classification［C］// Proc of the 42nd Annual International Conference of the IEEE Engineering in Medicine amp; Biology Society. Piscataway， NJ： IEEE Press， 2020： 3040-3045.

［20］Li Qinbin， Wen Zeyi， He Bingsheng. Practical federated gradient boosting decision trees［C］//Proc of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020：4642-4649.

［21］Li Qinbin， Wen Zeyi， Wu Zhaomin， et al. A survey on federated learning systems： vision， hype and reality for data privacy and protection［J］. IEEE Trans on Knowledge and Data Engineering， 2021，35（4）： 1-44.

［22］Fu Chong， Zhang Xuhong， Ji Shouling， et al. Label inference attacks against vertical federated learning［C］//Proc of the 31st USENIX Security Symposium. Berkeley， CA： USENIX， 2022： 1-18.

［23］Nasr M， Shokri R， Houmansadr A. Comprehensive privacy analysis of deep learning： passive and active white-box inference attacks against centralized and federated learning［C］//Proc of IEEE Symposium on Security and Privacy. Piscataway， NJ： IEEE Press， 2019： 739-753.

［24］Dwork C， McSherry F， Nissim K， et al. Calibrating noise to sensiti-vity in private data analysis［C］// Proc of the 3rd Theory of Cryptography Conference. Berlin： Springer， 2006： 265-284.

［25］Li Tian， Sahu A K， Talwalkar A， et al. Federated learning： chal-lenges， methods， and future directions［J］. IEEE Signal Proces-sing Magazine， 2020，37（3）： 50-60.

［26］Chen Tianqi， Guestrin C. XGBoost： a scalable tree boosting system［C］//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2016： 785-794.

［27］Datar M，Immorlica N，Indyk P， et al. Locality-sensitive hashing scheme based on p-stable distributions［C］//Proc of the 20th Annual Symposium on Computational Geometry. New York：ACM Press， 2004：253-262.

［28］Wang Qiang， Guo Zhiyuan， Liu Gang， et al. Boundary-expanding locality sensitive hashing［C］//Proc of the 8th International Symposium on Chinese Spoken Language Processing. Piscataway， NJ： IEEE Press， 2012： 358-362.

［29］Luo Changyin， Chen Xuebin， Xu Jingcheng， et al. Research on privacy protection of multi source data based on improved GBDT federated ensemble method with different metrics［J］. Physical Communication， 2021， 49： 101347.

［30］Wen Zeyi， Liu Hanfeng， Shi Jiashuai， et al. ThunderGBM： fast GBDTs and random forests on GPUs［J］. Journal of Machine Learning Research， 2020，21（108）： 1-5.

［31］Chang C C， Lin C J. LIBSVM data： classification （binary class）［EB/OL］. （2021-04-14）［2022-07-11］. https：//www.csie.ntu.edu.tw/～cjlin/libsvmtools/datasets/binary.html.