許勐璠,李興華

(1.陜西師范大學(xué) 計算機(jī)科學(xué)學(xué)院,陜西 西安 710199;2.西安電子科技大學(xué) 網(wǎng)絡(luò)與信息安全學(xué)院,陜西 西安 710071)

1 引 言

近年來,聯(lián)邦學(xué)習(xí)(Federated Learning,FL)作為一種新興的機(jī)器學(xué)習(xí)隱私保護(hù)范式,通過上傳各參與方的中間計算結(jié)果來保護(hù)原始數(shù)據(jù)不被泄露,已成為機(jī)器學(xué)習(xí)安全合法訓(xùn)練模型的一個潛在解決途徑[1-2]。然而,FL在聚合全局模型的過程中對多個參與者公開全局模型,增大了全局模型泄露的風(fēng)險。例如,惡意參與者通過發(fā)起模型竊取攻擊,無需花費大量時間、金錢、人力去收集數(shù)據(jù)訓(xùn)練模型,將有價值的模型非法復(fù)制、重新分發(fā)或濫用,嚴(yán)重?fù)p害了誠實參與者的利益,已成為限制FL發(fā)展的一大瓶頸[3-4]。

為了對模型所有者的知識產(chǎn)權(quán)進(jìn)行保護(hù),現(xiàn)有研究分別從兩個方面開展:基于所有權(quán)驗證的事后舉證方法和基于授權(quán)的事前防御方法。前者利用后門攻擊為模型構(gòu)造水印或?qū)⑺∏度肽Ｐ蛥?shù)中,并從模型中提取特定的指紋來驗證模型所有權(quán)[5-7]。然而,在竊取模型過程中,基于授權(quán)的事前防御方法易被攻擊者改變甚至移除,此時用原來的水印將無法驗證模型的所有權(quán),即使可以利用水印進(jìn)行舉證并驗證其所有權(quán),仍無法防止攻擊者非法使用竊取到的模型。后者需要使用正確的密鑰或獲得可靠硬件設(shè)備的授權(quán)才能正常使用模型[8-9]。文獻(xiàn)[9-10]在現(xiàn)有基于授權(quán)的知識產(chǎn)權(quán)保護(hù)方案的基礎(chǔ)上,進(jìn)一步提出了反遷移學(xué)習(xí)(Non-Transferable Learning,NTL)算法,確保授權(quán)的參與者僅在授權(quán)數(shù)據(jù)上使用模型,實現(xiàn)了模型不被授權(quán)用戶在非授權(quán)數(shù)據(jù)上濫用。近年來,基于授權(quán)的知識產(chǎn)權(quán)保護(hù)方案由于能夠保證模型在非授權(quán)環(huán)境不被濫用,逐漸受到知識產(chǎn)權(quán)保護(hù)領(lǐng)域研究者們的關(guān)注。

現(xiàn)有方法利用原始數(shù)據(jù)通過生成對抗網(wǎng)絡(luò)生成額外訓(xùn)練數(shù)據(jù),最大化生成數(shù)據(jù)與原始數(shù)據(jù)的差異并訓(xùn)練模型,實現(xiàn)模型的反遷移,確保了模型被用于非授權(quán)數(shù)據(jù)時性能大幅度降低。然而,FL僅上傳梯度訓(xùn)練全局模型,云平臺無法利用本地原始數(shù)據(jù)生成額外訓(xùn)練數(shù)據(jù)來實現(xiàn)全局模型的反遷移。雖然可以在本地利用原始數(shù)據(jù)進(jìn)行反遷移學(xué)習(xí)保護(hù)模型知識產(chǎn)權(quán),但仍無法直接適用于FL中。這是由于FL聚合梯度的過程會破壞本地模型反遷移學(xué)習(xí)的效果,使得本地NTL失效。文中在實驗中進(jìn)一步驗證了本地NTL后直接聚合梯度的模型在輔助域的性能,直接聚合訓(xùn)練的全局模型在未授權(quán)的部分本地驗證集上最高性仍能達(dá)到約69%。因此,如何確保全局模型的NTL有效,防止全局模型在未授權(quán)領(lǐng)域濫用,已成為當(dāng)前FL的一大挑戰(zhàn)。此外,在反遷移學(xué)習(xí)過程中的梯度隱私也需要保護(hù)。已有研究表明,直接共享本地梯度易遭受梯度泄露攻擊[11-12],攻擊者通過梯度能夠進(jìn)一步推斷出原始數(shù)據(jù),獲取本地數(shù)據(jù)隱私。因此,還需要在保護(hù)模型知識產(chǎn)權(quán)的同時,確保梯度隱私不被泄露。其中,基于密碼學(xué)的隱私保護(hù)方法較基于差分隱私的方法計算精度更高,且不依賴可信硬件輔助,是當(dāng)前隱私保護(hù)聯(lián)邦學(xué)習(xí)的一大研究方向[13-14]。

為了應(yīng)對上述挑戰(zhàn),筆者提出了一種FL下的模型知識產(chǎn)權(quán)與隱私保護(hù)方法,稱為聯(lián)邦反遷移(Federated Non-Transferable Learning,FedNTL)。該方法采用同態(tài)加密構(gòu)建FL隱私保護(hù)框架,在梯度聚合過程中引入反遷移的思想,設(shè)計一種基于梯度的反遷移算法,在保護(hù)訓(xùn)練過程本地梯度隱私的同時,確保了模型僅能被授權(quán)用戶在已授權(quán)的領(lǐng)域內(nèi)使用。主要貢獻(xiàn)如下:

(1) 提出了一種基于Paillier同態(tài)加密的聯(lián)邦反遷移隱私保護(hù)框架。設(shè)計了基于梯度盲聚合的交互式反遷移學(xué)習(xí)算法,在保護(hù)全局模型知識產(chǎn)權(quán)的同時,確保梯度隱私不被泄露。

(2) 設(shè)計了一種基于NTL的交互式協(xié)同訓(xùn)練方法,本地數(shù)據(jù)擁有者和云平臺協(xié)同盲聚合本地表征向量,并最大化表征向量與阻礙向量之前的互信息,實現(xiàn)模型在未經(jīng)授權(quán)的數(shù)據(jù)使用時,無法獲得準(zhǔn)確輸出。

(3) 嚴(yán)格證明了所提方案的正確性和安全性,并在公開數(shù)據(jù)集上進(jìn)行驗證。與現(xiàn)有方案相比,文中模型在未授權(quán)領(lǐng)域的性能降低了約47%,計算復(fù)雜度實現(xiàn)了梯度維度級的降低。

2 相關(guān)工作

深度學(xué)習(xí)模型在計算機(jī)視覺、自然語言處理和數(shù)據(jù)挖掘等任務(wù)中的成功應(yīng)用是以昂貴的訓(xùn)練過程為代價的。為了保護(hù)深度學(xué)習(xí)模型的知識產(chǎn)權(quán),袁程勝等[5]設(shè)計了一種基于時間戳的后門水印驗證框架,借助時間順序來鑒別模型版權(quán),在不削弱原始任務(wù)性能的同時,實現(xiàn)了模型版權(quán)的主動保護(hù)和被動驗證。SHARMA等[6]使用所有者的簽名和指紋作為雙重水印來驗證模型所有權(quán),并在容量方面較現(xiàn)有方案大幅度提升;LIU等[7]提出將同一個特征域觸發(fā)器解析為像素域內(nèi)的多個水印,進(jìn)一步提高了水印的隨機(jī)性、隱蔽性和抗木馬檢測能力。該類方案雖然能夠通過特定的輸入輸出或水印來驗證模型所有權(quán),但極易受到基于模型微調(diào)或再訓(xùn)練、水印覆蓋和模型修剪等水印去除攻擊,導(dǎo)致模型所有權(quán)驗證失效。文獻(xiàn)[15]進(jìn)一步提出了一種FL中的多方糾纏水印算法。在本地訓(xùn)練和全局聚合過程中分別設(shè)計了一種水印增強算法和一種糾纏聚合算法,解決了多后門水印造成的版權(quán)混淆失效以及模型精度降低的問題,實現(xiàn)了FL的模型所有權(quán)驗證。然而,在基于水印的所有權(quán)驗證方案中,模型所有者僅能在發(fā)現(xiàn)模型被竊取后進(jìn)行舉證等事后維權(quán),無法防止攻擊者非法使用竊取到的模型。

針對該問題,ALAM等[8]提出基于深度神經(jīng)網(wǎng)絡(luò)的安全授權(quán)方案。該方案通過密鑰調(diào)度算法,利用儲存在S-Box設(shè)備中的主密鑰生成密鑰,對深度神經(jīng)網(wǎng)絡(luò)模型的每個參數(shù)進(jìn)行加密,在加大模型竊取難度的同時,確保了在不知道合法密鑰的情況下,未經(jīng)授權(quán)的使用會大幅度降低模型輸出的準(zhǔn)確性。CHAKRABORTY等[9]提出了一種基于硬件輔助的深度模型知識產(chǎn)權(quán)保護(hù)框架,該架構(gòu)混淆了模型的學(xué)習(xí)權(quán)重空間,以鎖定深度學(xué)習(xí)模型的權(quán)重參數(shù),并在可信硬件上運行深度神經(jīng)網(wǎng)絡(luò),該硬件應(yīng)用嵌在芯片上的密鑰來運行模型,確保了訓(xùn)練的深度學(xué)習(xí)模型僅在此類可信硬件設(shè)備上表現(xiàn)出較高的預(yù)測性能。該類方法能夠確保模型僅在授權(quán)的設(shè)備或用戶上表現(xiàn)出較高的性能,非授權(quán)用戶即使竊取到模型也無法準(zhǔn)確分類或預(yù)測數(shù)據(jù)。然而,無法限制授權(quán)用戶在非授權(quán)領(lǐng)域?qū)δＰ偷臑E用,且需要硬件設(shè)備輔助。為了進(jìn)一步確保模型僅能被授權(quán)用戶在限定的領(lǐng)域使用,WANG等[10]提出了一種基于深度模型的反遷移學(xué)習(xí)方法,利用像素級掩碼對原始數(shù)據(jù)進(jìn)行處理,固定源域的Kullback-Leibler(KL)散度,提高目標(biāo)域數(shù)據(jù)的KL散度,并最大化源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)特征分布之間的最大均值差異(Maximum Mean Discrepancy,MMD),從而確保模型僅在授權(quán)數(shù)據(jù)上性能較高。

綜上所述,現(xiàn)有模型知識產(chǎn)權(quán)保護(hù)研究已取得一定的進(jìn)展,基于反遷移學(xué)習(xí)的方法可以在保護(hù)模型知識產(chǎn)權(quán)的同時,確保模型在授權(quán)數(shù)據(jù)和用戶上的性能,但無法適用于多用戶的聯(lián)邦學(xué)習(xí)中?，F(xiàn)有研究的粗粒度對比如表1所示。

3 預(yù)備知識

3.1 所用符號

為了便于參考,文中方案出現(xiàn)的符號和相應(yīng)的描述如表2表示。

表2 符號描述

3.2 聯(lián)邦學(xué)習(xí)

FL是谷歌人工智能團(tuán)隊于2016年提出的一種保護(hù)隱私的機(jī)器學(xué)習(xí)范式,其訓(xùn)練過程如圖1所示。不同用戶在本地訓(xùn)練各自的子模型,將本地訓(xùn)練的梯度上傳到服務(wù)器進(jìn)行聚合,而不直接上傳原始數(shù)據(jù)。在FL中,服務(wù)器協(xié)調(diào)整個訓(xùn)練過程,直至模型精度達(dá)到預(yù)期水平或預(yù)設(shè)迭代次數(shù)。其中,訓(xùn)練的目標(biāo)是找到最優(yōu)的模型參數(shù)w,對于給定的特征向量x,模型的輸出無限接近正確的標(biāo)簽y。

圖1 聯(lián)邦學(xué)習(xí)

3.3 反遷移學(xué)習(xí)

NTL是WANG等在2022年發(fā)表在深度學(xué)習(xí)領(lǐng)域頂級會議ICLR上剔除的針對模型竊取攻擊的事前防御方案。該方案以信息瓶頸理論[16]為方法論,通過在模型訓(xùn)練過程增大源域和輔助域數(shù)據(jù)之間的表征距離,顯著降低模型在源域之外的數(shù)據(jù)域上的性能,具體流程如圖2所示。該算法主要分為:①設(shè)計生成對抗增強框架,利用原始數(shù)據(jù)生成鄰域數(shù)據(jù);②對原始數(shù)據(jù)和生成的鄰域數(shù)據(jù)進(jìn)行處理,通過對抗生成框架獲得鄰域數(shù)據(jù),并將附加掩碼的原始數(shù)據(jù)作為NTL的源域,帶掩碼與不帶掩碼的鄰域數(shù)據(jù)并集作為輔助域,進(jìn)行NTL訓(xùn)練;③通過提高輔助域數(shù)據(jù)的表征向量z與阻礙Nui之間的香農(nóng)互信息I(z;n),使z中包含的關(guān)于正確標(biāo)簽y的信息被大大減少,從而確保模型在未經(jīng)授權(quán)數(shù)據(jù)域上使用的性能顯著降低。

圖2 反遷移學(xué)習(xí)(X：原始數(shù)據(jù);C：噪聲向量;Y：one-hot形式的標(biāo)簽)

4 問題描述

4.1 系統(tǒng)模型

如圖3所示,文中系統(tǒng)模型包括n個本地數(shù)據(jù)擁有者(Local Data Owner,LDO)、云平臺(Cloud Platform,CP)和密鑰分發(fā)中心(Key Distribution Center,KDC)。

圖3 系統(tǒng)模型

(1) 本地數(shù)據(jù)擁有者。每個本地數(shù)據(jù)擁有者在本地數(shù)據(jù)上迭代訓(xùn)練模型,并將每次迭代訓(xùn)練過程中的輔助域表征向量和梯度盲化后上傳至CP。

(2) 云平臺。CP是一個具有足夠存儲空間的半誠實云服務(wù)器,聚合不同LDO上傳的盲化表征向量和盲化梯度,返回全局表征向量和全局梯度以更新全局模型。

(3) 密鑰分發(fā)中心。受信任的KDC負(fù)責(zé)系統(tǒng)中所有密鑰的分發(fā)和管理,用于模型訓(xùn)練的初始化階段。

4.2 威脅模型

在文中方案中,CP和LDO在任意時刻均為誠實但好奇的半誠實實體,它們會嚴(yán)格執(zhí)行預(yù)定義的協(xié)議和算法,但會嘗試從梯度等中間參數(shù)中推斷其他實體的輸入信息。在模型訓(xùn)練過程中,潛在的安全威脅如下。

(1) 模型竊取攻擊。在文中方案中,模型竊取攻擊主要包括了以下3種情況:

① 未授權(quán)用戶在無需花費模型訓(xùn)練等代價的前提下非法竊取模型后濫用,損害已授權(quán)用戶的權(quán)益。

② 已授權(quán)用戶能夠不受限制地使用模型,將模型用于與之前領(lǐng)域相似的未授權(quán)數(shù)據(jù),損害了其他已授權(quán)用戶的權(quán)益。

③ 不同已授權(quán)用戶利用NTL訓(xùn)練模型。在聚合全局模型的過程中,不同LDO在NTL訓(xùn)練過程中的梯度會相互干擾,導(dǎo)致部分本地的NTL失效,增大模型竊取攻擊成功率。

(2) 梯度泄露攻擊。CP聚合不同LDO上傳的梯度,由于梯度是本地數(shù)據(jù)的映射,CP可以通過發(fā)起梯度泄露攻擊,推斷出不同LDO的原始數(shù)據(jù)。

4.3 設(shè)計目標(biāo)

FedNTL有以下3個設(shè)計目標(biāo):

(1) 有效性。經(jīng)過NTL后聚合本地梯度得到的全局模型,能夠使其在非授權(quán)數(shù)據(jù)域上的模型性能較低,而在源域數(shù)據(jù)分布上卻具有較高的模型性能。

(2) 安全性。如果一個協(xié)議對半誠實的敵手是安全的,那么它不允許參與方從協(xié)議中學(xué)習(xí)任何額外的信息。在文中方案中,需要防止CP或LDO通過梯度推導(dǎo)出其他LDO的原始數(shù)據(jù),因此要確保梯度等中間參數(shù)保密不泄露。

(3) 正確性。經(jīng)過L次全局梯度聚合仍可得到正確的平均梯度并更新全局模型。

5 基于盲化梯度的聯(lián)邦反遷移隱私保護(hù)方法

FedNTL流程如圖4所示。它主要分為3個階段:系統(tǒng)初始化、模型訓(xùn)練和模型更新。

圖4 FedNTL總覽

5.1 系統(tǒng)初始化

文中方案使用的密鑰對(pk,sk)由完全可信的KDC生成,并分發(fā)給授權(quán)的本地LDO。其中,密鑰對是通過具有加法同態(tài)性的Paillier公鑰加密系統(tǒng)生成。該密碼系統(tǒng)簡述如下。

C=E(m,r)=gmrNmodN2。

(3)

(4)

(5)

Paillier密碼系統(tǒng)是語義安全的,即同一明文可加密成多個不同的密文形式,且所有密文都是計算不可區(qū)分的。利用Paillier密碼系統(tǒng)的加法同態(tài)性,LDO和CP協(xié)同生成盲化因子R。不同LDO隨機(jī)選取一個本地盲化因子Ri,i∈[1,n],并利用公鑰pk加密后上傳至CP,CP聚合LDO上傳的本地加密盲化因子[Ri],i∈[1,n],并結(jié)合式(3),利用Paillier的加法同態(tài)性對加密的本地盲化因子求和,得到加密的全局盲化因子[R]:

(6)

將加密的全局盲化因子[R]返回至LDO解密,結(jié)合式(4),得到全局盲化因子R。

5.2 模型訓(xùn)練

為了抵抗模型竊取攻擊,引入NTL算法迭代訓(xùn)練模型,設(shè)計一種交互式協(xié)同訓(xùn)練算法,保護(hù)全局模型的知識產(chǎn)權(quán),具體描述如算法1所示。

算法1交互式協(xié)同訓(xùn)練算法。

根據(jù)信息瓶頸理論中最優(yōu)表征向量的充分性可知,需讓表征z含有所有x中關(guān)于y的信息,即I(z;y)=I(x;y)。結(jié)合文獻(xiàn)[17]中的命題3.1可知,存在一條馬爾科夫鏈(y,Nui)→x→z,使得信息從(y,Nui)流向x,再流向z,進(jìn)一步根據(jù)馬爾科夫鏈的數(shù)據(jù)處理不等式[16]可知,I(z;x)≥I(z;y,Nui)。利用鏈?zhǔn)椒▌t,變形后可以得到:

I(z;x)-I(z;y|Nui)≥I(z;Nui) ,

(7)

其中,阻礙Nui是影響輸入x的一個因素,它與y協(xié)同決定于x。由信息瓶頸理論表征向量的不變性可知,I(z;n)=0,即z中不含有與y無關(guān)的信息。為了使模型在輔助域上的性能下降,NTL訓(xùn)練的目標(biāo)與上述不變性的恰恰相反,希望通過增加輸入x與阻礙Nui之間的互信息來使得未經(jīng)授權(quán)的數(shù)據(jù)使用模型時獲得的表示z是比較差的,不能輸出正確的標(biāo)簽y甚至偏差很大。

LA=Ex～PX[DKL(P(Ω(Φ(x)))‖P(y))] ,

(8)

(9)

Ls=Ex～PX[DKL(P(Ω(Φ(x)))‖P(y))] 。

(10)

5.3 模型更新

在上述交互式訓(xùn)練過程中,CP迭代聚合不同LDO上傳的盲化梯度,在不泄露梯度隱私的同時,更新全局模型。該過程的詳細(xì)描述如算法2。

算法2SecBAvg算法。

輸出:第L次迭代后的全局模型wL。

① whilewL=wL-1或達(dá)到指定迭代次數(shù)do。

⑥ ReturnwL。

由3.2節(jié)中威脅模型的假設(shè)可知,文中方案中的訓(xùn)練過程均在半誠實模型下執(zhí)行,對于半誠實參與者的安全性證明目前最常用的是模擬范例[17]。該方法的原理是將實際協(xié)議和理想安全多方計算協(xié)議的安全性進(jìn)行比較,如果實際計算協(xié)議泄露的信息不比理想計算協(xié)議泄露的信息多,則證明實際的計算協(xié)議是安全的。

由于算法中各LDO的地位平等,因此各方的隱私要么都是安全的,要么都是不安全的,證明一方的數(shù)據(jù)是安全的即可。對特定一方隱私最嚴(yán)重的威脅是其他所有參與者合謀試圖獲取其隱私信息,這個攻擊者集合被稱為最大攻擊者集合。特別地,如果一個人的隱私對最大的攻擊者集是安全的,那么它對最大攻擊者集的任何子集也是安全的。由于假設(shè)每輪的平均梯度是公開的,因此根據(jù)平均梯度結(jié)果推斷出的信息均不認(rèn)為是泄漏的。這里僅證明實際協(xié)議沒有比理想?yún)f(xié)議泄漏更多的隱私信息。

由于訓(xùn)練過程計算的是中間參數(shù)的平均值,因此n-1方合謀一定能推斷出另外一方的值,這和理想?yún)f(xié)議是完全相同的。實際協(xié)議沒有比理想?yún)f(xié)議泄漏更多的信息。這里僅討論最大合謀結(jié)構(gòu)為n-2的情形。

不失一般性,最大合謀結(jié)構(gòu)為I={O1,DO2,…,On-2},合謀者I想通過CP返回的全局梯度推斷出其他LDO的信息。其中,CP與LDO不會合謀。由于每輪迭代執(zhí)行的過程相同,僅證明在一次迭代過程中的信息是安全的即可。

定理1FedNTL在存在半誠實敵手時是安全的。

證明 在實際執(zhí)行算法時,I作為一個整體在第l次迭代過程中收到CP返回的全局盲化梯度Gl*和加密的全局盲化因子R,因此有

定理2FedNTL能夠正確更新全局模型。

6 性能評估

6.1 實驗設(shè)置

為了評價文中方案的有效性和安全性,選取了兩個數(shù)據(jù)集進(jìn)行實驗。MNIST(Modified National Institute of Standards and Technology)數(shù)據(jù)集是美國國家標(biāo)準(zhǔn)與技術(shù)研究院發(fā)布的手寫字體圖像數(shù)據(jù)集,包含從0到9的10類黑白圖像,它是目前公認(rèn)的機(jī)器學(xué)習(xí)的基準(zhǔn)數(shù)據(jù)集[18]。CIFAR-10(Canadian Institute For Advanced Research 10)是由HINTON的學(xué)生KRIZHEVSKY和SUTSKEVER整理的一個用于識別普適物體的小型數(shù)據(jù)集[19]。一共包含10個類別的RGB彩色圖片,圖片的尺寸為 32×32 ,數(shù)據(jù)集中共有 50 000 張訓(xùn)練圖片和 10 000 張測試圖片。

實驗設(shè)備為個人臺式PC,硬件配置為雙路志強E5 2680 CPU,256 GB、1 333 MHz DDR3內(nèi)存,英偉達(dá)GeForce GTX 3090 GPU和1TB固態(tài)硬盤,操作系統(tǒng)為Windows 10。編程語言為Python 3.7以及Pytorch編程庫。

6.2 有效性分析

首先,驗證方案在降低未授權(quán)輔助域模型性能的有效性。筆者在數(shù)據(jù)集MNIST和CIFAR-10上分別驗證了監(jiān)督學(xué)習(xí)(實驗選用支持向量機(jī)算法)、NTL以及FedNTL在源域和輔助域上模型的性能,實驗結(jié)果如圖5所示?？梢钥吹?監(jiān)督學(xué)習(xí)算法在不同數(shù)據(jù)集的驗證集性能較訓(xùn)練集均有小幅度下降,這是由于算法本身導(dǎo)致的在訓(xùn)練集和驗證集上的性能差異,但該類算法并無任何模型知識產(chǎn)權(quán)保護(hù)措施,因此,在未授權(quán)數(shù)據(jù)域的性能仍然較高。對于NTL算法,筆者將訓(xùn)練集作為源域,驗證集作為輔助域,較監(jiān)督學(xué)習(xí)在未授權(quán)數(shù)據(jù)域的性能大幅度下降,但仍有至少34%的準(zhǔn)確率。

圖5 不同算法在MNIST和CIFAR-10訓(xùn)練集和驗證集上的性能對比

因此,筆者進(jìn)一步將NTL后直接聚合梯度的全局模型在不同LDO進(jìn)行測試,結(jié)果如表3所示。可以看到,在部分LDO驗證集上的性能接近無知識產(chǎn)權(quán)保護(hù)措施方案的性能,這是由于直接聚合梯度使得部分本地NTL失效導(dǎo)致的。對于FedNTL,可以觀察到所有輔助域性能都降低到20%以下,相較于NTL的模型在輔助域的性能下降了至少47%,并且源域的精度幾乎沒有降低。這表明,FedNTL可以在不犧牲源域性能的情況下有效降低模型在未授權(quán)數(shù)據(jù)域中的性能。

表3 全局模型在本地訓(xùn)練集和驗證集性能分析 %

6.3 復(fù)雜度分析

文中方案假設(shè)本地梯度向量為γ維。方案執(zhí)行的過程中,n個LDO分別加密了一個一維的本地盲化因子[Ri],i∈[1,n],即需要執(zhí)行n次加密操作。不同LDO還需解密全局盲化因子[R],需要執(zhí)行n次解密操作。因此,由Paillier加解密一次需要運行兩次模指數(shù)運算可知,FedNTL需要進(jìn)行4n次模指數(shù)運算,其計算復(fù)雜度為O(n),即FedNTL的計算復(fù)雜度僅與LDO的個數(shù)n有關(guān),不依賴于本地梯度的維數(shù)γ。由于聚合過程全部在明文計算,與現(xiàn)有基于同態(tài)的隱私保護(hù)聯(lián)邦學(xué)習(xí)方案對不同節(jié)點的γ維梯度分別加密不同[20-21],FedNTL僅對不同LDO的一維盲化因子加解密,大大降低了模型更新過程中的計算開銷。

此外,所有的通信開銷均在聚合過程中產(chǎn)生,n個LDO上傳本地盲化梯度至CP,CP聚合后分別向n個LDO返回全局盲化梯度。因此,FedNTL的通信復(fù)雜度為O(nl),如表4所示。

表4 復(fù)雜度分析

7 結(jié)束語

筆者提出了一種聯(lián)邦學(xué)習(xí)下的模型知識產(chǎn)權(quán)與隱私保護(hù)方案,設(shè)計了一種基于盲化因子的輕量級梯度聚合方法,大幅度降低加解密過程的計算開銷。在此基礎(chǔ)上,進(jìn)一步提出了一種基于反遷移學(xué)習(xí)的交互式協(xié)同訓(xùn)練方法,實現(xiàn)在保護(hù)本地梯度隱私的同時,確保模型僅能被授權(quán)用戶在已授權(quán)的領(lǐng)域使用。未來,筆者將考慮在LDO存在惡意行為的情況下,如何同時保護(hù)模型的知識產(chǎn)權(quán)和梯度隱私。