林 寧 陳曉明 夏春偉 李文星 葉 靖 劉自臻 李曉維

(中國(guó)科學(xué)院計(jì)算技術(shù)研究所 北京 100190)

(中國(guó)科學(xué)院大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 北京 101408)

0 引言

隨著以深度學(xué)習(xí)模型為代表的人工智能技術(shù)的快速研究和發(fā)展,模型和數(shù)據(jù)的安全和隱私保護(hù)問題也開始受到廣泛的關(guān)注。例如,在分布式訓(xùn)練深度學(xué)習(xí)模型的任務(wù)中(如聯(lián)邦學(xué)習(xí)(federated learning,FL)[1-6]),為了保護(hù)用戶的輸入數(shù)據(jù)隱私,不同用戶通過上傳模型的梯度而不是輸入數(shù)據(jù)到中央服務(wù)器進(jìn)行梯度聚合。然而,最近的研究結(jié)果表明,用戶直接上傳模型的原始梯度并不安全。例如,文獻(xiàn)[7]提出一種有效的梯度泄露攻擊方法(deep leakage from gradients,DLG),惡意攻擊者直接利用模型的梯度,通過L-BFGS[8]優(yōu)化求解器來不斷優(yōu)化梯度間的歐式距離損失函數(shù),就能完全恢復(fù)出用戶的輸入圖像。文獻(xiàn)[9]也提出一種有效的梯度攻擊方法(inverting gradients attack,IGA),通過構(gòu)造初始化梯度與真實(shí)梯度之間的Cosine 相似度距離,并利用ADAM[10]優(yōu)化算法能夠在層數(shù)更深的模型上(如ResNet-18 模型[11])恢復(fù)出用戶的隱私輸入圖像。

現(xiàn)存的基于安全多方計(jì)算(secure multi-party computation,SMPC)、同態(tài)加密(homomorphic encryption,HE)以及差分隱私(differential privacy,DP)保護(hù)數(shù)據(jù)安全的方法,存在的主要問題分別是通信開銷較大、時(shí)延開銷過大以及精度損失嚴(yán)重。應(yīng)用于圖像領(lǐng)域中的混沌映射算法具有延遲開銷較小、保護(hù)效果良好且映射過程無損等特點(diǎn),這些都適合成為解決深度學(xué)習(xí)模型梯度安全保護(hù)的備選技術(shù)方案。

本文的主要貢獻(xiàn)包括:(1)總結(jié)了梯度攻擊方法的基本原理,提出一種基于混沌映射算法的梯度安全保護(hù)方法。保護(hù)梯度不是通過改變梯度的值大小來實(shí)現(xiàn)的,而是利用混沌映射算法變換梯度的位置來實(shí)現(xiàn)的,避免了復(fù)雜的數(shù)學(xué)運(yùn)算過程,極大地降低了時(shí)延開銷。映射之后的梯度能夠完全恢復(fù)原始梯度值的大小,因此不會(huì)對(duì)模型的精度造成影響。(2)提出了一種有效且時(shí)延開銷較小的深度學(xué)習(xí)模型梯度映射保護(hù)方案。通過在模型各層梯度內(nèi)任意選取不同的映射參數(shù),并將模型層的映射問題轉(zhuǎn)化為0 -1 整數(shù)背包問題,利用動(dòng)態(tài)規(guī)劃算法求解出最優(yōu)的保護(hù)方案,進(jìn)一步降低了映射整個(gè)深度學(xué)習(xí)模型的時(shí)延開銷。(3)提出了一種雙重混沌映射方案,能在聯(lián)邦學(xué)習(xí)場(chǎng)景中同時(shí)防止惡意服務(wù)器和惡意用戶利用梯度攻擊還原出用戶的輸入隱私數(shù)據(jù)。本文在最新的兩類梯度攻擊方法DLG 以及IGA 上驗(yàn)證了所提方法的有效性,同時(shí)在多種深度學(xué)習(xí)模型上進(jìn)行了實(shí)驗(yàn)并給出梯度保護(hù)算法在不同硬件平臺(tái)上的時(shí)延開銷對(duì)比。

1 研究現(xiàn)狀

當(dāng)前主要存在三類保護(hù)深度學(xué)習(xí)模型梯度安全的方法。第一類是基于同態(tài)加密的數(shù)據(jù)加密方法。同態(tài)加密方法存在的主要問題是加解密時(shí)延開銷過大。例如,文獻(xiàn)[12]使用Paillier 算法[13-14](同態(tài)加密算法的一種),在一塊Intel Xeon CPU E5-2660 v3 CPU 上需要花費(fèi)454.8 ms 才能加密52 650 個(gè)模型的參數(shù)值(大約0.5 M)。當(dāng)前這種加密效率無法滿足實(shí)用性的需求,因?yàn)榻^大多數(shù)深度學(xué)習(xí)模型的參數(shù)量遠(yuǎn)大于0.5 M,例如VGG16 模型[15]的參數(shù)量為138 M,在時(shí)延開銷方面至少需要花費(fèi)大約二十多分鐘來完成一次VGG16 模型的加密過程。然而,在聯(lián)邦學(xué)習(xí)場(chǎng)景中,通常需要幾百次梯度上傳操作,意味著需要耗費(fèi)大約十幾個(gè)小時(shí)在模型的梯度加密操作上。而對(duì)于計(jì)算資源受限的端設(shè)備,加密時(shí)延開銷將會(huì)更大。為了降低加解密時(shí)延開銷,文獻(xiàn)[16]提出先利用矩陣分解方式來得到少量需要上傳的參數(shù)值(如梯度值),之后再對(duì)分解后的參數(shù)值進(jìn)行同態(tài)加密操作。然而,盡管加密少量的值能夠降低時(shí)延開銷,但是由于依然采用了運(yùn)算過程復(fù)雜的同態(tài)加密方法,因此加解密時(shí)延依然較大。此外,由于該方法利用了矩陣分解,會(huì)對(duì)模型的精度造成影響,且方法未在大數(shù)據(jù)集上(如ImageNet 數(shù)據(jù)集)或者層數(shù)較深的模型上進(jìn)行實(shí)驗(yàn)驗(yàn)證。因此,當(dāng)前基于同態(tài)加密來保護(hù)梯度安全性的方法,在算法運(yùn)行效率方面依然有待進(jìn)一步提升。

第二類保護(hù)梯度安全的方法是差分隱私[17-18]。差分隱私方法的基本思想是在權(quán)衡實(shí)用性和隱私性的前提下,向數(shù)據(jù)引入噪聲,因此差分隱私的時(shí)延幾乎可以忽略不計(jì)。然而,由于對(duì)需要保護(hù)的模型梯度添加了噪聲,無法保證模型的精度不受影響。添加的噪聲級(jí)越大,對(duì)模型梯度保護(hù)的安全等級(jí)就越高,然而模型精度損失就越大。例如在文獻(xiàn)[7]中,作者在實(shí)驗(yàn)中說明為了防御DLG 攻擊,采用差分隱私方法對(duì)模型梯度值添加高斯噪聲或拉普拉斯噪聲。當(dāng)添加的噪聲等級(jí)為0.001 時(shí),模型的精度下降了大約3%,但無法起到梯度保護(hù)作用,攻擊者利用添加噪聲后的梯度依然能夠恢復(fù)出模型的輸入圖像;與之相反,當(dāng)添加的噪聲等級(jí)為0.01 或者0.1時(shí),能對(duì)梯度起到安全保護(hù)作用,然而模型精度下降超過了30%。因此,基于添加噪聲的差分隱私方法,在安全性與精度權(quán)衡方面需要進(jìn)一步研究。

此外,還有一類保護(hù)梯度安全的方法是安全多方計(jì)算,最早由文獻(xiàn)[19]提出,主要研究如何協(xié)同地從每一方的隱私輸入中計(jì)算函數(shù)的結(jié)果,而不需要將輸入展示出來。安全多方計(jì)算主要通過不經(jīng)意傳輸(oblivious transfer,OT)、密鑰共享(secret sharing,SS)和閾值同態(tài)加密(threshold homomorphic encryption,THE)來實(shí)現(xiàn)[4]。安全多方計(jì)算存在的主要問題是通信過程復(fù)雜以及通信輪數(shù)較多,造成的計(jì)算開銷和時(shí)延開銷較大。例如,文獻(xiàn)[20]提出利用密鑰共享來對(duì)不同用戶上傳的梯度進(jìn)行安全聚合,在服務(wù)器端的通信開銷為O(n2+mn),其中m代表數(shù)據(jù)量的大小,n代表用戶的個(gè)數(shù)。因此,數(shù)據(jù)量越大以及用戶個(gè)數(shù)越多,帶來的通信成本就越高。

2 背景及研究動(dòng)機(jī)

2.1 梯度攻擊

文獻(xiàn)[7]提出DLG 梯度攻擊方法,主要通過構(gòu)造隨機(jī)初始化輸入圖像x'對(duì)應(yīng)的模型梯度?W'與真實(shí)輸入圖像對(duì)應(yīng)的梯度?W之間的歐式距離,利用L-BFGS[5]來求解出滿足梯度間距離最小的輸入圖像x',梯度間歐式距離函數(shù)關(guān)系如式(1)所示。

式中,F代表深度學(xué)習(xí)模型,L代表損失函數(shù),y'代表隨機(jī)初始化輸入圖像對(duì)應(yīng)的輸出類別。因此,一旦惡意攻擊者獲得了模型的原始梯度?W,通過求解式(1)能恢復(fù)出模型的輸入圖像。另外,文獻(xiàn)[9]通過將梯度間的歐式距離替換為Cosine 相似度,并利用ADAM 優(yōu)化器來求解出最優(yōu)的輸入圖像,實(shí)現(xiàn)了IGA 梯度攻擊。

通過以上分析可知,如果對(duì)原始梯度?W施加某種數(shù)據(jù)保護(hù)措施,例如使用差分隱私方法對(duì)?W添加等級(jí)較大的噪聲值,那么利用式(1)進(jìn)行優(yōu)化求解,最終會(huì)得到錯(cuò)誤的輸入圖像,實(shí)現(xiàn)了模型梯度的安全保護(hù)。然而,添加噪聲等級(jí)較大的值會(huì)帶來嚴(yán)重的精度損失。本文希望能夠完全不損失模型精度的前提下,高效快速地完成對(duì)模型原始梯度?W的保護(hù)。

2.2 ACM 混沌映射算法

通過分析梯度攻擊原理可知,除了對(duì)模型梯度?W直接進(jìn)行數(shù)值操作能夠?qū)μ荻冗M(jìn)行保護(hù)之外,還可以通過變換梯度內(nèi)部值的位置來實(shí)現(xiàn)梯度保護(hù)。變換位置后的梯度與原始梯度的差異性越大,對(duì)梯度的安全保護(hù)效果就越好,且變換位置運(yùn)算過程通常不需要數(shù)據(jù)加密算法中復(fù)雜的數(shù)學(xué)運(yùn)算操作(如同態(tài)加密),能夠節(jié)省運(yùn)算的時(shí)延開銷。基于上述考慮,本文希望利用圖像隱私保護(hù)領(lǐng)域中的Arnold’s Cat Map (ACM)算法[21-22]來保護(hù)模型的梯度。ACM 屬于混沌映射理論的一種,最早由Vladimir Arnold 提出并主要用于圖像安全隱私保護(hù)。圖1(a)展示了使用ACM 算法對(duì)圖像映射之后的效果圖。ACM 通過以特定方式交換圖像中像素位置來實(shí)現(xiàn)安全保護(hù),由于映射變換破壞了相鄰像素之間的相關(guān)性,映射后的圖像沒有任何語義信息,可以達(dá)到與傳統(tǒng)數(shù)值加密算法同樣的保護(hù)效果,且映射過程運(yùn)行效率較高、映射前后完全可逆,因此不會(huì)對(duì)模型造成精度損失。下文將詳細(xì)介紹ACM 映射算法的基本原理。

圖1 ACM 映射示例圖

映射本文利用ACM 算法通過變換深度學(xué)習(xí)模型中卷積層或全連接層的梯度位置來完成映射。如圖1(b)所示,以單層梯度?W為例,設(shè)深度學(xué)習(xí)模型第l層梯度的形狀為C×N×k×k,其中C是通道數(shù)目、N是卷積核的個(gè)數(shù)、k是卷積核的大小,其值通常取為1、3、5 和7。當(dāng)k=1 時(shí),可將ACM 算法應(yīng)用于全連接層。為了降低計(jì)算量同時(shí)節(jié)省映射時(shí)延開銷,本文只對(duì)前兩維,即C×N,進(jìn)行位置映射變換操作,實(shí)驗(yàn)結(jié)果證實(shí)了對(duì)梯度前兩維進(jìn)行映射變換是有效的。映射過程如式(2)所示。

其中,參數(shù)p、q和τ 為正整數(shù)值,為ACM 的映射參數(shù)。(i,j) 以及(iACM,jACM) 分別為原始梯度的位置以及ACM 映射后梯度的位置。S代表映射范圍的大小(映射范圍須為正方形,即S×S),映射范圍的大小須同時(shí)滿足S≤C和S≤N,且ACM 映射能夠在單層梯度的任意范圍內(nèi)實(shí)施,假設(shè)為[α1,α2] ×[β1,β2](0 ≤α1＜α2≤N以及0 ≤β1＜β2≤C),則需要進(jìn)行位置映射的集合Ⅱ,如式(3)所示。

其中,映射范圍的大小S=(α2-α1)=(β2-β1)。此外,ACM 能夠?qū)ι疃葘W(xué)習(xí)模型的任意層進(jìn)行位置映射,因此映射層集合L、ACM 映射參數(shù)(即p、q和τ)以及映射位置集合Ⅱ構(gòu)成ACM 算法的映射因子,映射因子PACM的具體表達(dá)如式(4)所示。

其中,上角標(biāo)l代表映射層的序號(hào),映射后的梯度?WACM如圖1(b)右子圖所示。

逆映射當(dāng)已知映射因子以及映射后對(duì)應(yīng)的梯度位置(iACM,jACM),原始梯度的位置(i,j) 可以通過式(5)求得。

在式(2)和式(5)中,參數(shù)τ 較大時(shí),計(jì)算Aτ以及A-τ的過程較為耗時(shí),為了降低時(shí)延開銷,快速求解出Aτ以及A-τ,本文將參數(shù)p、q值的大小設(shè)置為1。此時(shí),Aτ的表達(dá)式可以表示為

式(6)中,fτ為斐波那契數(shù),即,

利用斐波那契數(shù)列的遞推公式,可以提前求得Aτ,因此節(jié)省了計(jì)算的時(shí)延開銷。同理,逆映射參數(shù)A-τ的表達(dá)式為

3 梯度安全保護(hù)算法

3.1 威脅模型及場(chǎng)景

為了驗(yàn)證所提算法的有效性,本文以聯(lián)邦學(xué)習(xí)場(chǎng)景為例,展示了如何保護(hù)深度學(xué)習(xí)模型梯度的安全。圖2 顯示了聯(lián)邦學(xué)習(xí)的參與方,其中包括一個(gè)中央服務(wù)器和多個(gè)聯(lián)邦用戶。在聯(lián)邦學(xué)習(xí)場(chǎng)景訓(xùn)練深度學(xué)習(xí)模型時(shí),服務(wù)器方會(huì)接收到來自不同聯(lián)邦用戶的梯度,這些梯度是用戶在本地端設(shè)備利用各自的隱私輸入數(shù)據(jù)求得的。在此場(chǎng)景中,如果梯度沒有進(jìn)行安全保護(hù)操作,一旦被惡意服務(wù)器接收或者被第三方惡意用戶通過中間人攻擊截獲,利用2.1節(jié)提到的梯度攻擊方法(例如,DLG 攻擊以及IGA 攻擊)能完全恢復(fù)出用戶的隱私輸入數(shù)據(jù),因此給深度學(xué)習(xí)模型梯度的安全帶來了嚴(yán)重的威脅。本文將利用ACM 算法對(duì)梯度進(jìn)行安全保護(hù),同時(shí)防止聯(lián)邦學(xué)習(xí)場(chǎng)景中惡意服務(wù)器和惡意用戶利用梯度還原用戶的輸入數(shù)據(jù)。

圖2 聯(lián)邦學(xué)習(xí)中的梯度泄露

3.2 最優(yōu)映射方案

利用ACM 映射,用戶可以對(duì)深度學(xué)習(xí)模型所有層的梯度值進(jìn)行位置交換從而實(shí)現(xiàn)較好的保護(hù)效果。然而,對(duì)模型所有層的梯度值進(jìn)行ACM 映射會(huì)導(dǎo)致較高的時(shí)延開銷,尤其是對(duì)計(jì)算資源受限的智能終端設(shè)備(如手機(jī)等移動(dòng)端設(shè)備),時(shí)延開銷會(huì)隨著映射層數(shù)的增加而增大。為了能夠獲得具有良好的保護(hù)效果且能夠快速高效地運(yùn)行,本文通過最大化映射梯度?WACM與原始梯度?W之間差值,構(gòu)造了梯度差值最大化目標(biāo)函數(shù),并使得映射模型梯度總的時(shí)延開銷T(PACM) 小于預(yù)先指定的最大時(shí)延tmax開銷,具體如式(9)和式(10)所示。

通過分析上述目標(biāo)函數(shù)可知,最大化映射梯度?WACM(PACM) 與原始梯度?W的差值能夠有效防御DLG 及IGA 攻擊利用原始梯度直接還原用戶的輸入圖像,這是因?yàn)閻阂夤粽攉@得的梯度?WACM(PACM) 與原始梯度差值較大,使用式(1)破解時(shí),會(huì)得到完全錯(cuò)誤的優(yōu)化結(jié)果,因此也就無法恢復(fù)用戶的輸入圖像。直接求解式(9)會(huì)得到最優(yōu)且唯一的映射因子PACM。然而,唯一映射因子會(huì)增加惡意攻擊者破解的可能性。

為了增大攻擊者破解的難度,本文通過在優(yōu)化目標(biāo)式(9)中增加更多ACM 映射因子選取的隨機(jī)性。首先,對(duì)于需要映射的深度學(xué)習(xí)梯度層集合L,在每一層中選取任意的映射范圍。然后,利用這些層對(duì)模型進(jìn)行ACM 映射。單層梯度內(nèi)大的映射范圍S以及更多的映射層數(shù)能夠產(chǎn)生良好的保護(hù)效果,但也會(huì)帶來較大時(shí)延開銷。為了使得映射后的模型能夠取得較好的保護(hù)效果,且映射時(shí)延開銷小于預(yù)期最大的時(shí)延開銷tmax,將式(9)中的優(yōu)化目標(biāo)改進(jìn)為如下優(yōu)化目標(biāo):

其中,xl∈{0,1},l∈L。xl=1 表示深度學(xué)習(xí)模型的第l層梯度需要進(jìn)行ACM 映射,相反xl=0 表示該層不進(jìn)行ACM 映射。tl表示第l層梯度的映射對(duì)應(yīng)的時(shí)延開銷。

通過分析上述公式可知,式(11)中的優(yōu)化問題可以被看作經(jīng)典的0 -1 整數(shù)背包問題,本文利用動(dòng)態(tài)規(guī)劃方法求解該整數(shù)背包問題。在算法1 及算法2中詳細(xì)展示了求解式(11)中的優(yōu)化目標(biāo)的具體過程。在算法1 中,首先,計(jì)算深度學(xué)習(xí)模型第l層的映射梯度和原始梯度之間距離的L1 范數(shù)dl,其中dl=,dl越大代表ACM 映射后的梯度與原始梯度的差異性越大。之后,在硬件平臺(tái)測(cè)量出每一層ACM 映射對(duì)應(yīng)的時(shí)延開銷tl。最后,利用算法2 中的動(dòng)態(tài)規(guī)劃算法求解出最優(yōu)的保護(hù)方案,即需要使用ACM 映射的層數(shù)。需要說明的是,整個(gè)算法的求解過程不會(huì)耗費(fèi)大量的時(shí)延開銷,原因在于:(1)在硬件平臺(tái)測(cè)量映射時(shí)延開銷tl是非常快的,僅需要L次測(cè)量就可以完成,其中L是深度學(xué)習(xí)模型的層數(shù)。(2)計(jì)算深度學(xué)習(xí)模型的第l層映射梯度和原始梯度距離的L1 范數(shù)也僅僅需要L次就能夠完成。因此,通過算法1 能求出每一層的映射因子{τl,Sl},利用算法2 可以求得需要映射的層集合L,因此可得最終的映射因子PACM。通過以上分析可以得出,本文提出的算法能夠確保映射因子是有效且不唯一的,同時(shí)映射時(shí)延開銷小于預(yù)期最大的時(shí)延開銷。

3.3 雙重映射機(jī)制

為了能夠同時(shí)防止惡意服務(wù)器以及惡意用戶利用深度學(xué)習(xí)模型的梯度來偷窺用戶輸入,本文提出對(duì)需要上傳的模型梯度進(jìn)行雙重ACM 映射,來實(shí)現(xiàn)保護(hù)模型梯度的安全性。圖3 展示了雙重映射機(jī)制上傳梯度的流程。其中,第一輪映射是為了防止惡意服務(wù)器通過梯度來偷窺用戶的輸入,此時(shí)所有用戶共享同一個(gè)映射因子來保護(hù)模型梯度,本文將其稱為用戶-用戶映射。第二輪映射是為了防止惡意用戶通過中間人攻擊竊取梯度來偷窺其他用戶的輸入。因此,每個(gè)用戶對(duì)梯度進(jìn)行第二輪映射時(shí),每個(gè)用戶的映射因子只與服務(wù)器進(jìn)行共享,且各用戶之間的映射因子不同,因此本文將其稱為用戶-服務(wù)器映射。映射因子使用3.2 節(jié)提出的方法生成。

圖3 雙重映射示意圖

為了在服務(wù)器端進(jìn)行梯度聚合操作,當(dāng)服務(wù)器收到不同用戶傳來的雙重映射梯度后,首先根據(jù)用戶-服務(wù)器映射因子對(duì)雙重映射的梯度進(jìn)行一次逆映射操作。逆映射一次后的梯度依然處于映射狀態(tài)(即第一輪映射梯度狀態(tài)),此時(shí)服務(wù)器沒有用戶-用戶之間的映射因子,因此惡意服務(wù)器要想偷窺用戶的輸入,就需要破解映射后的梯度。由于不同用戶上傳的第一次映射后梯度具有相同的映射因子,表明所有用戶都對(duì)梯度進(jìn)行了相同方式的位置變換,而聯(lián)邦學(xué)習(xí)中常見的聚合操作是線性的求均值操作,因此映射后的梯度能夠在第一輪映射狀態(tài)進(jìn)行聚合操作。最后,服務(wù)器將保持映射狀態(tài)的聚合梯度返回給不同的用戶,不同用戶根據(jù)用戶-用戶映射因子對(duì)梯度進(jìn)行一次逆映射操作,并利用完全逆映射后的梯度(即原始梯度)在本地更新模型的參數(shù),并進(jìn)行下一輪的學(xué)習(xí)。

惡意用戶只有用戶-用戶映射因子以及該惡意用戶與服務(wù)器之間的映射因子,沒有其他用戶與服務(wù)器之間的映射因子,因此無法直接對(duì)雙重映射的梯度進(jìn)行兩次逆映射來偷窺其他用戶的輸入。同理,惡意服務(wù)器只有不同用戶與服務(wù)器之間的映射因子,但沒有用戶之間的映射因子,因此也無法對(duì)雙重映射的梯度進(jìn)行二次逆映射,也無法直接利用梯度攻擊方法來偷窺用戶的輸入。綜上,本文提出的雙重映射機(jī)制不但能阻止惡意服務(wù)器通過梯度偷窺用戶的輸入隱私,同時(shí)還能防止惡意用戶偷窺用戶的輸入,因此確保了模型梯度的安全性。

3.4 安全性分析

ACM 映射算法主要應(yīng)用于圖像隱私保護(hù)領(lǐng)域,本文利用其效率高且安全保護(hù)效果好等特點(diǎn)將其應(yīng)用于深度學(xué)習(xí)模型的梯度安全保護(hù)。對(duì)于ACM 在圖像領(lǐng)域的保護(hù),存在兩種已知的攻擊方式,分別為已知明文攻擊(known-plaintextattack)和選擇明文攻擊(chosen-plaintext attack)[23-24]。一方面,已知明文攻擊假設(shè)攻擊者已知明文與密文對(duì),然而在梯度安全保護(hù)場(chǎng)景下,惡意服務(wù)器只知道映射梯度而無法得知原始梯度。同理,惡意用戶只能獲得本地原始梯度與映射后的梯度對(duì),而無法獲得其他用戶原始的梯度。因此,已知明文攻擊對(duì)于本文的梯度保護(hù)場(chǎng)景是無法實(shí)施的。另一方面,對(duì)于選擇明文攻擊,假設(shè)攻擊者能夠訪問映射的內(nèi)部機(jī)制。得益于雙重映射協(xié)議,本文提出的方法能有效防止此類攻擊。原因在于惡意服務(wù)器只能訪問自身與不同用戶的映射機(jī)制,而無法得知用戶之間的映射方式。同理,惡意用戶只能訪問本地和服務(wù)器之間的映射機(jī)制,而無法得知其他用戶與服務(wù)器之間的映射機(jī)制。因此,應(yīng)用于圖像領(lǐng)域的已知明文攻擊和選擇明文攻擊在深度學(xué)習(xí)模型梯度保護(hù)領(lǐng)域是不起作用的。

另一種可能的攻擊方法是暴力搜索,根據(jù)上文分析可知,本文所提方法能映射深度學(xué)習(xí)模型的任意層以及任意范圍,因此暴力搜索的攻擊復(fù)雜度較大,接近。以下文實(shí)驗(yàn)中使用的ConvNet64 模型為例(模型結(jié)構(gòu)詳見文獻(xiàn)[9]),該模型具有8 層網(wǎng)絡(luò)結(jié)構(gòu)(即L=8),由于第一層可映射范圍較小,因此只考慮映射后7 層梯度,假設(shè)ACM 映射參數(shù)τ 的取值范圍為10,則暴力搜索的攻擊復(fù)雜度接近4.7 ×1056。即使攻擊者使用算力強(qiáng)大的計(jì)算機(jī)來破解,假設(shè)能夠每秒驗(yàn)證1000 次,破解本文所提梯度保護(hù)方法需要花費(fèi)4.7 ×1053s,約等于1.5 ×1046a。

4 實(shí)驗(yàn)仿真

4.1 實(shí)驗(yàn)設(shè)置及數(shù)據(jù)集

本文在兩類最新的攻擊方法上驗(yàn)證了對(duì)梯度的安全保護(hù)效果,分別為DLG 梯度攻擊[7]以及IGA 梯度攻擊[9]。本文提出的梯度安全保護(hù)方法適用于各類深度學(xué)習(xí)模型,包括淺層模型以及深層模型。其中,使用文獻(xiàn)[7]中提到的淺層模型在CIFAR-100[25]數(shù)據(jù)集上,評(píng)估防御DLG 攻擊方法的有效性。使用在文獻(xiàn)[9]中提到的深層ConvNet-64 模型以及ResNet-18 模型[11]在CIFAR-10[25]、LFW[26]以及ImageNet[27]數(shù)據(jù)集上來評(píng)估防御IGA 攻擊方法的有效性。

對(duì)于防御DLG 攻擊,采用原始文獻(xiàn)中的添加噪聲的DP 防御方法作為基準(zhǔn)進(jìn)行對(duì)比。由于基于同態(tài)加密的LWE 防御方法[12]與DLG 攻擊方法使用的淺層模型參數(shù)量接近,因此本文將其作為實(shí)驗(yàn)基準(zhǔn)進(jìn)行分析說明。對(duì)于防御IGA 攻擊,由于模型的層數(shù)較深且參數(shù)量較大,在原始文獻(xiàn)中沒有給出相關(guān)防御策略,本文提出將ACM 方法直接應(yīng)用于深層模型的所有卷積層作為實(shí)驗(yàn)基準(zhǔn)進(jìn)行對(duì)比并分析其時(shí)延開銷。

實(shí)驗(yàn)中使用的評(píng)價(jià)指標(biāo)包括:(1)峰值信噪比(peak signal to noise ratio,PSNR),用來評(píng)估梯度攻擊之后的圖像恢復(fù)效果。PSNR 越小,表示恢復(fù)的圖像質(zhì)量越差,代表本文提出的梯度安全保護(hù)方法效果越好。(2)時(shí)延開銷,用來評(píng)價(jià)算法在硬件平臺(tái)上的運(yùn)行效率。時(shí)延開銷越小,代表算法運(yùn)行效率越高。表1 展示了本文使用的硬件實(shí)驗(yàn)平臺(tái)。在時(shí)延開銷評(píng)估方面,對(duì)于算力較弱的硬件平臺(tái),本文使用3 款移動(dòng)手機(jī)芯片Qualcomm Snapdragon 450、-625 以及-835 來進(jìn)行實(shí)驗(yàn),并使用C++來實(shí)現(xiàn)本文所提算法,同時(shí)使用安卓NDK 庫對(duì)程序進(jìn)行編譯。對(duì)于算力較強(qiáng)的硬件平臺(tái),本文使用Intel E5-2650 V4 CPU 和NVIDIA TITAN V GPU 進(jìn)行實(shí)驗(yàn),分別使用C++和CUDA 實(shí)現(xiàn)本文所提算法。

表1 實(shí)驗(yàn)中使用的硬件平臺(tái)

4.2 實(shí)驗(yàn)結(jié)果及分析

4.2.1 映射因子分析

圖4 以及圖5 分別展示了不同映射因子參數(shù)對(duì)ConvNet 64 模型的保護(hù)效果以及時(shí)延開銷的影響。其中,保護(hù)效果利用映射后的梯度與原始梯度之間差值的L1 范數(shù)()來表示。為了降低映射時(shí)延開銷,在映射因子式(4)中設(shè)置p=1 以及q=1 。因此,模型梯度的映射時(shí)延開銷以及保護(hù)效果主要取決于層集合L、映射參數(shù)τ 以及映射范圍大小S。

圖4 映射因子對(duì)ConvNet 64 模型梯度保護(hù)效果的影響

圖5 映射范圍大小對(duì)時(shí)延開銷的影響

映射層集合L 的影響。圖4 展示了不同映射因子對(duì)ConvNet 64 模型映射效果的影響。從圖中能夠得出,模型靠后層的保護(hù)效果要好于靠前層的保護(hù)效果。例如,當(dāng)映射范圍S×S=128 ×128 以及τ=5 時(shí),模型第8 層對(duì)應(yīng)的梯度差值L1 范數(shù)大小為8.21,第7 層對(duì)應(yīng)梯度的差值L1 范數(shù)大小為5.06,而第6 層對(duì)應(yīng)的梯度差值L1 范數(shù)大小為2.99。梯度間的差值L1 范數(shù)越大表明映射后的梯度與原始梯度差異越大,此時(shí)梯度攻擊方法利用映射后的梯度就越難以恢復(fù)出原始的輸入圖像。

映射參數(shù)τ 的影響。從圖4 中能夠得出,τ 在大部分取值情況下,不會(huì)對(duì)保護(hù)效果有較大差別的影響。舉例來說,當(dāng)映射ConvNet64 的第8 層梯度及S×S=96 ×96 時(shí),隨著τ 的不斷增大,除了τ 為12 的倍數(shù)對(duì)應(yīng)的梯度差值距離較小之外,大部分梯度差值L1 范數(shù)距離為4.9,因此參數(shù)τ 具有周期性,文獻(xiàn)[28]中給出了其周期性取決于映射范圍以及映射參數(shù)p和q。因此,在隨機(jī)選取映射參數(shù)τ時(shí),應(yīng)該剔除那些導(dǎo)致保護(hù)效果較差的值。

映射范圍大小S的影響。映射范圍的大小不僅會(huì)影響保護(hù)效果,同時(shí)還會(huì)影響時(shí)延開銷。越大的映射范圍,保護(hù)效果就越好,但隨之也帶來了較大的時(shí)延開銷。例如,如圖4 所示,對(duì)于ConvNet 64 模型的第8 層梯度以及τ 取值為6 時(shí),映射范圍S×S=256 ×256、196 ×196 以及128 ×128 對(duì)應(yīng)的梯度間距的L1 范數(shù)分別為33.8、16.5 以及7.9。然而,圖5展示了不同映射范圍在不同硬件平臺(tái)的時(shí)延開銷對(duì)比,當(dāng)映射范圍為S×S=256 ×256 時(shí),在Intel Xeon E5-2650 v4 CPU 上對(duì)應(yīng)的時(shí)延開銷為996 μs,比S×S=196 ×196 以及S×S=128 ×128 對(duì)應(yīng)的時(shí)延開銷分別快435 μs 以及777 μs。

4.2.2 防御DLG 攻擊

圖6 以及表2 展示了本文所提方法防御DLG攻擊方法的效果,實(shí)驗(yàn)中對(duì)比了基于同態(tài)加密的LWE 方法[12]的加密時(shí)延開銷,還比較了對(duì)梯度添加高斯噪聲(Gaussian)以及拉普拉斯(Laplacian)噪聲的差分隱私方法(differential privacy,DP)。其中,差分隱私方法在文獻(xiàn)[7]進(jìn)行了實(shí)驗(yàn)驗(yàn)證,本文利用文獻(xiàn)中的實(shí)驗(yàn)數(shù)據(jù)在表2 中進(jìn)行分析說明。

圖6 防御DLG 攻擊的效果

表2 不同防御方法性能對(duì)比

從圖6 能夠得出,如果不對(duì)梯度增加任何保護(hù)措施(即圖中的無防御),DLG 攻擊方法能夠持續(xù)不斷地優(yōu)化梯度損失,直到損失接近為0,此時(shí)峰值信噪比(PSNR)達(dá)到最大值37.93,從圖中看出輸入圖像已經(jīng)幾乎完全被還原出來。差分隱私方法添加較大級(jí)別的噪聲時(shí)能夠阻止DLG 攻擊,但對(duì)模型在原始任務(wù)上的精度造成了嚴(yán)重的影響。例如,DP(L-0.1)(拉普拉斯噪聲為0.1 級(jí)別)對(duì)應(yīng)的梯度匹配損失幾乎沒有下降,且利用DLG 攻擊方法恢復(fù)出來的輸入圖像的峰值信噪比(PSNR)為8.33。由于恢復(fù)之后的圖像沒有任何語義內(nèi)容信息,因此實(shí)現(xiàn)了對(duì)梯度安全保護(hù)的目標(biāo),然而模型的精度損失為75.3%,如表2 所示。而差分隱私方法添加較小級(jí)別的噪聲無法對(duì)梯度起到安全保護(hù)作用,因此無法阻止攻擊者使用DLG 方法還原輸入數(shù)據(jù)。例如,DP(L-0.001)(拉普拉斯噪聲為0.001 級(jí)別)對(duì)應(yīng)的峰值信噪比為22.91,從圖能夠看出輸入圖像的內(nèi)容信息。

與差分隱私相反,基于同態(tài)加密的LWE 方法以及本文所提方法都能夠有效防止DLG 攻擊還原輸入圖像,且能夠保證精度不下降。文獻(xiàn)[7]的4 層的深度學(xué)習(xí)模型大約包含85 000 個(gè)梯度,使用LWE方法需要至少花費(fèi)大約450 ms 才能在一塊Intel Xeon E5-2660 v3 CPU 進(jìn)行加密。本文所提方法僅需要花費(fèi)大約6 μs 就能對(duì)該模型在一塊Intel Xeon E5-2650 v4 CPU 上實(shí)現(xiàn)保護(hù),因此能夠節(jié)省大量的時(shí)延開銷。所提方法時(shí)延開銷較小的原因在于,沒有利用復(fù)雜的加密運(yùn)算對(duì)85 000 個(gè)梯度值進(jìn)行逐個(gè)加密(例如,同態(tài)加密),而是直接對(duì)梯度中的整個(gè)卷積核進(jìn)行ACM 映射,且能夠選擇部分映射范圍,因此大幅降低了時(shí)延開銷。此外,本文也在一塊TITAN V GPU 實(shí)現(xiàn)了對(duì)該模型的保護(hù),實(shí)驗(yàn)數(shù)據(jù)顯示需要花費(fèi)大約496 μs 能完成映射過程。GPU 上時(shí)延開銷比CPU 大的原因是調(diào)用CUDA 核函數(shù)本身會(huì)花費(fèi)幾百微秒的時(shí)延。

4.2.3 防御IGA 攻擊

圖7 展示了在不同的梯度防御措施下,惡意攻擊者利用IGA 攻擊通過模型梯度恢復(fù)的輸入圖像。圖中T-US 中的T 代表期望的最大時(shí)延開銷(即tmax)為Tus,時(shí)延開銷在一塊Intel Xeon E5-2650 v4 CPU 上進(jìn)行測(cè)試,此外US 表示聯(lián)邦學(xué)習(xí)中的惡意服務(wù)器僅有服務(wù)器(Server)與客戶(User)之間的映射因子,而沒有客戶與客戶之間的映射因子。舉例來說,在1000-US 設(shè)定參數(shù)條件下,本文提出的方法大約需要999 μs 就能對(duì)ConvNet64 模型完成安全保護(hù)。利用IGA 攻擊對(duì)1000-US 設(shè)置下的梯度進(jìn)行攻擊,恢復(fù)的輸入圖像峰值信噪比(PSNR)為0.93,遠(yuǎn)小于無保護(hù)措施下的峰值信噪比11.42。對(duì)于更深層的ResNet-18 模型,在5000-US 設(shè)定條件下,本文所提方法需要4627 μs 來保護(hù)梯度,恢復(fù)的輸入圖像峰值信噪比為-0.82,幾乎沒有任何語義信息。對(duì)于ConvNet64 模型,在500-US 設(shè)定條件下,對(duì)于梯度保護(hù)的效果均較差,這是由于設(shè)定的最大時(shí)延開銷過小(tmax為500 μs)而導(dǎo)致的。此外,在圖7中還展示了利用ACM 方法對(duì)模型所有層梯度映射保護(hù)后的IGA 梯度攻擊防御效果。由于對(duì)模型所有層梯度都進(jìn)行了映射操作,因此ACM 方法能有效保護(hù)模型梯度的安全性,但時(shí)延開銷比本文所提方法要高。因此,本文在實(shí)現(xiàn)良好梯度保護(hù)效果的同時(shí),能夠保持較小的時(shí)延開銷。

圖7 防御IGA 攻擊的效果

除了需要防止惡意服務(wù)器利用模型的梯度偷窺用戶隱私之外,還要防止惡意用戶利用中間人攻擊通過梯度偷窺用戶的輸入。如圖8 所示,一旦攻擊者同時(shí)擁有用戶之間的映射因子(UU 映射因子)及其他用戶和服務(wù)器之間的映射因子(US 映射因子),此時(shí)利用IGA 攻擊能夠完全恢復(fù)用戶的輸入圖像,如子圖3000-US&UU 所示。然而在實(shí)際情況中,惡意用戶只有用戶之間的映射因子(UU 映射因子),沒有其他用戶與服務(wù)器之間的映射因子(US映射因子)。因此,惡意用戶無法利用IGA 攻擊通過梯度來還原其他用戶的輸入圖像,如子圖3000-UU 所示惡意用戶利用中間人攻擊無法獲取。如果攻擊者既沒有用戶之間的映射因子,又沒有用戶與服務(wù)器之間的映射因子,則完全無法利用IGA 攻擊來偷窺用戶的輸入數(shù)據(jù)。此外,在500-UU 設(shè)定參數(shù)條件下,由于最大時(shí)延開銷過小(tmax為500 μs),因此防御能力較差。

圖8 防御IGA 中惡意用戶攻擊

4.2.4 用戶間的映射因子適用性

第一次對(duì)梯度進(jìn)行ACM 映射時(shí)所有用戶使用的是某個(gè)用戶生成的映射因子來對(duì)梯度進(jìn)行位置交換。在聯(lián)邦學(xué)習(xí)任務(wù)中,不同用戶會(huì)具有不同類型的輸入數(shù)據(jù),這些輸入數(shù)據(jù)可能是類似的,服從獨(dú)立同分布(independent and identically distributed,IID),對(duì)模型求得的梯度可能是類似的。也可能不是類似的,服從非獨(dú)立同分布的(Non-IID),求出的梯度不是類似的。在圖9 中,所有用戶使用的是同一映射因子進(jìn)行安全保護(hù),該映射因子為ACM 映射算法在圖7 的小汽車數(shù)據(jù)所產(chǎn)生的梯度上的優(yōu)化結(jié)果。從映射后防御IGA 攻擊的效果能夠得出,當(dāng)期望的最大時(shí)延開銷tmax為3000 μs或1000 μs時(shí),由于圖9 中的小汽車具有與圖7 中的小汽車相同的屬性,屬于獨(dú)立同分布(IID)數(shù)據(jù),因此圖9 中的小汽車產(chǎn)生的梯度值能夠使用圖7中的小汽車產(chǎn)生的梯度對(duì)應(yīng)的映射因子進(jìn)行混沌映射保護(hù),且具有良好的防御效果。此外,對(duì)于其他用戶擁有比如狗、馬、青蛙和飛機(jī)等輸入對(duì)應(yīng)的模型梯度,使用小汽車對(duì)應(yīng)梯度的映射因子也能對(duì)其進(jìn)行有效保護(hù)。這是因?yàn)楫?dāng)最大時(shí)延tmax設(shè)置較大時(shí),能夠?qū)ι疃葘W(xué)習(xí)模型中較多層的梯度進(jìn)行混沌映射,并取得較好的保護(hù)效果。

圖9 用戶間映射因子的適用性

4.2.5 移動(dòng)端平臺(tái)性能

為了評(píng)估本文提出方法在計(jì)算資源受限的端設(shè)備上的性能表現(xiàn),圖10 展示了3 款手機(jī)芯片Qualcomm Snapdragon 835、-625 和-450 上梯度保護(hù)效果以及對(duì)應(yīng)的時(shí)延開銷,同時(shí)也對(duì)比了性能較強(qiáng)的CPU 和GPU 上的實(shí)驗(yàn)結(jié)果。在3 款手機(jī)芯片上,性能較好的Qualcomm Snapdragon 835 芯片在不同的實(shí)驗(yàn)配置下都能產(chǎn)生較好的梯度保護(hù)效果。性能較差的Snapdragon 625 以及Snapdragon 450 芯片,保護(hù)效果較差,原因是混沌映射時(shí)延限制要求較高而芯片性能較差。例如,在1000(即tmax為1000 μs)實(shí)驗(yàn)設(shè)置下,對(duì)梯度的安全保護(hù)效果較差。而當(dāng)實(shí)驗(yàn)配置設(shè)置為3000 時(shí)(即tmax為3000 μs),Snapdragon 625 以及Snapdragon 450 芯片的保護(hù)效果幾乎與Snapdragon 835 相同。綜上,本文所提方法能夠保護(hù)模型梯度的安全且時(shí)延開銷較小,在毫秒級(jí)別就能完成梯度安全保護(hù)。

圖10 不同平臺(tái)的保護(hù)效果

5 結(jié)論

本文提出一種基于雙重混沌映射算法的深度學(xué)習(xí)模型梯度安全保護(hù)方法,在聯(lián)邦學(xué)習(xí)場(chǎng)景中能夠同時(shí)阻止惡意用戶和服務(wù)器利用梯度攻擊方法恢復(fù)用戶的輸入隱私數(shù)據(jù)。與安全多方計(jì)算、同態(tài)加密和差分隱私方法不同,本文所提方法利用ACM 映射算法通過交換深度學(xué)習(xí)模型梯度的位置來實(shí)現(xiàn)梯度保護(hù)。由于不需要對(duì)深度學(xué)習(xí)模型所有梯度值進(jìn)行映射,而是將深度學(xué)習(xí)模型梯度層的混沌映射問題轉(zhuǎn)化為背包問題,并利用動(dòng)態(tài)規(guī)劃求解出最優(yōu)的保護(hù)方案,因此節(jié)省了梯度保護(hù)的時(shí)延開銷。此外,對(duì)每一層梯度進(jìn)行混沌映射時(shí),任意映射范圍增加了映射因子生成的隨機(jī)性,也增大了攻擊者破解的復(fù)雜度。此外,與差分隱私方法相比較,本文提出的方法完全不損失精度;與安全多方計(jì)算方法相比,本文所提方法通信開銷可以忽略不計(jì)。所提方法的有效性在當(dāng)前最新兩類梯度攻擊方法——DLG 和IGA上得到了驗(yàn)證。最后,在計(jì)算能力較低的移動(dòng)端芯片平臺(tái)上驗(yàn)證了混沌映射的時(shí)延開銷,實(shí)驗(yàn)結(jié)果表明所提方法能在毫秒級(jí)別完成計(jì)算。

人工智能算法已經(jīng)在日常生活的各種場(chǎng)景得到了大量的應(yīng)用,本文希望該項(xiàng)研究工作能夠促使人工智能算法的研究和應(yīng)用人員更多地關(guān)注算法的安全性,同時(shí)能夠探索更高效的安全保護(hù)方法。