鄭 劍, 冷碧玉

(江西理工大學(xué)信息工程學(xué)院， 贛州 341000)

目前隨著機器學(xué)習(xí)逐漸被廣泛地應(yīng)用于各個領(lǐng)域，如醫(yī)療、交通等方面，為了更好地提供服務(wù)，用收集數(shù)據(jù)訓(xùn)練泛化模型解決一類問題已經(jīng)成為常見技術(shù)。理想情況下，訓(xùn)練得到的模型不僅具有高精確度，且作為訓(xùn)練集的敏感數(shù)據(jù)的隱私安全可以得到保障。但是根據(jù)Zhang等[1]所做的實驗說明了模型在訓(xùn)練的過程中會隱式地“記住”其模型的訓(xùn)練數(shù)據(jù)集，攻擊者可以直接借此分析得到敏感數(shù)據(jù)又或者是通過多次模型查詢得到的結(jié)果間接分析，得到學(xué)習(xí)模型訓(xùn)練集的敏感數(shù)據(jù)；Shokri等[2]在2017年利用“成員推理攻擊”的方法證明了通過模擬目標模型的行為訓(xùn)練攻擊模型可以推理判斷出某條數(shù)據(jù)是否是目標模型訓(xùn)練集中的一部分，導(dǎo)致信息的泄露。除此之外，Szegedy等[3]實驗證明，利用生成的對抗樣本就能導(dǎo)致訓(xùn)練的模型出錯，使訓(xùn)練得到的模型精確度下降。由此可見，直接發(fā)布由原始數(shù)據(jù)集作為訓(xùn)練集訓(xùn)練的模型易受到攻擊使訓(xùn)練得到的模型精確度較低，且易受到攻擊導(dǎo)致數(shù)據(jù)隱私泄露。因此，如何將敏感數(shù)據(jù)作為訓(xùn)練集用于學(xué)習(xí)模型，既保證訓(xùn)練得到的模型精確度，同時又保證作為訓(xùn)練集的敏感數(shù)據(jù)的隱私安全已經(jīng)成為一個熱門的研究話題。

Papernot等[4-5]提出了PATE(private aggregation of teacher ensembles)策略，并基于該策略提出了解決類別少的圖像數(shù)據(jù)集分類任務(wù)的高效方法——PATE-G方法。所謂類別少的圖像數(shù)據(jù)集，如MNIST、SVHN數(shù)據(jù)集等，即數(shù)據(jù)集中包含的分類數(shù)目少的圖像數(shù)據(jù)集，一般為10個類別；PATE-G方法利用生成式對抗網(wǎng)絡(luò)[6]能夠高效處理類別少的圖像數(shù)據(jù)集的分類任務(wù)，但PATE-G方法對于圖像數(shù)據(jù)集中類別數(shù)遠大于10(如cifar-100數(shù)據(jù)集，數(shù)據(jù)集中的類別數(shù)為100)的分類效果并不佳。為此，提出差分隱私與深度殘差網(wǎng)絡(luò)(differential privacy with deep residual networks,Diff-RN)方法，保證訓(xùn)練公開的模型處理多類別圖像數(shù)據(jù)集分類任務(wù)具有一定的精確度且能保護訓(xùn)練集的隱私安全。針對多類別圖像數(shù)據(jù)集的分類任務(wù)，Diff-RN方法學(xué)習(xí)得到的模型分類精確度有效提升，而且在學(xué)習(xí)模型的過程中數(shù)據(jù)損失量也相對降低。Diff-RN方法將差分隱私應(yīng)用到機器學(xué)習(xí)中，運用知識遷移、半監(jiān)督學(xué)習(xí)等知識進行模型訓(xùn)練，保證訓(xùn)練得到的模型分類精確度，同時保護訓(xùn)練集的數(shù)據(jù)隱私安全。

針對同一數(shù)據(jù)集cifar-100，Diff-RN方法與PATE-G方法相比，學(xué)生模型分類結(jié)果的精確度有所提升，并且訓(xùn)練過程中的數(shù)據(jù)損失量也相對降低?，F(xiàn)將詳細介紹運用Diff-RN方法訓(xùn)練公開的學(xué)生模型的具體操作，定量地分析整個學(xué)習(xí)模型過程中的隱私預(yù)算，在不損害目標模型實用性和數(shù)據(jù)可用性的基礎(chǔ)上，評價Diff-RN方法的可取性。

1 相關(guān)知識

1.1 差分隱私

差分隱私(differential privacy)[7-9]建立在假定攻擊者擁有最大背景知識的前提下，定量地分析敏感數(shù)據(jù)可能被披露的風(fēng)險，引入隨機性，使得特定目標的數(shù)據(jù)記錄是否在數(shù)據(jù)集中并不影響查詢結(jié)果，從而保證敏感數(shù)據(jù)的隱私不被泄露。

定義1 (ε,δ)-差分隱私。給定一個M(隨機查詢算法)，對于任意D和D′(鄰近數(shù)據(jù)集)，若M在數(shù)據(jù)集D和D′查詢下得到的結(jié)果s，s∈Range(M)，滿足式(1)，則稱隨機查詢算法M滿足(ε,δ)-差分隱私。

Pr[M(D)∈s]≤eεPr[Μ(D′)∈s]+δ

(1)

式(1)中：Pr[·]表示若應(yīng)用隨機查詢算法M數(shù)據(jù)可能被披露的風(fēng)險；ε(隱私預(yù)算)表示隨機查詢算法M所能夠提供的隱私保護水平，ε的最佳取值可使得輸出結(jié)果的隱私保護程度與數(shù)據(jù)的可用性達到平衡，當ε=0時，敏感數(shù)據(jù)的隱私保護水平達到最高，此時數(shù)據(jù)的可用性最低；δ表示允許每個目標數(shù)據(jù)都會存在δ大小的概率隱私會泄露，δ的取值通常是很小的常數(shù)，當δ=0時，則稱隱私隨機查詢算法M滿足ε-差分隱私。

定義2 拉普拉斯機制[10]。給定一個數(shù)據(jù)集D，假定有一個函數(shù)f:D→Rd，f的函數(shù)敏感度為Δf，如果隨機算法M滿足式(2)，則稱算法M滿足ε-差分隱私。

M(D)=f(D)+Lap(b)

(2)

式(2)中：Lap(b)服從位置參數(shù)為0；b為尺度參數(shù)，b=Δf/ε。

1.2 PATE策略

PATE策略的主要流程是將敏感數(shù)據(jù)集分成多個互斥的數(shù)據(jù)集，利用每個互斥的數(shù)據(jù)集作為學(xué)習(xí)模型的訓(xùn)練集，分別獨立地訓(xùn)練解決同一任務(wù)的分類器即教師模型，在學(xué)習(xí)教師模型的過程中不涉及噪聲的注入，教師模型完全依賴于敏感數(shù)據(jù)訓(xùn)練集，其過程如圖1所示。

圖1 PATE策略示意圖Fig.1 The view of the PATE strategy

訓(xùn)練好教師模型之后，將教師模型的預(yù)測結(jié)果fi(x)(即標記數(shù)據(jù))進行類別分類，并且計算每個類別的教師模型數(shù)，即每個類別的投票數(shù)，記作：

nj(x)=|{i:i∈[n],fi(x)=j}|

(3)

式(2)中：j為某個給定的類別；fi(x)為每個教師模型的預(yù)測分類結(jié)果輸出；x為教師模型的訓(xùn)練數(shù)據(jù)集；n為教師模型的預(yù)測結(jié)果可以分成的類別數(shù)目。

為了保證訓(xùn)練集數(shù)據(jù)的隱私安全，不單獨訪問教師模型，并且對教師模型的預(yù)測結(jié)果進行滿足式(4)的要求進行聚合操作，再利用聚合的結(jié)果與非敏感公共數(shù)據(jù)集利用半監(jiān)督學(xué)習(xí)方式進行學(xué)生模型的學(xué)習(xí)，公開解決實際問題。

(4)

式(4)中：Lap(b)表示服從位置參數(shù)為0、尺度參數(shù)為b的拉普拉斯分布；利用Laplace機制注入噪聲，噪聲量的大小與函數(shù)敏感和分配的隱私預(yù)算有關(guān)。

1.3 瞬時計數(shù)器

為了更好地分析和計算在聚合過程中所耗費的基于差分隱私上的隱私代價，運用Abadi等[11]所提出來的瞬時計數(shù)器(the moments accountant)，細節(jié)如下。

定義3 隱私損失。假定有隨機算法M，有輔助信息輸入aux和Range(M)(隨機算法M的所有可能的輸出結(jié)果的集合)，對任意鄰近數(shù)據(jù)集D和D′，隨機算法的查詢結(jié)果s∈Range(M)，則定義隨機算法M為查詢數(shù)據(jù)所付出的隱私損失為

(5)

定義4 瞬時計數(shù)器。假定有一隨機算法M，輔助信息輸入aux以及鄰近數(shù)據(jù)集D和D′，則瞬時計數(shù)器中的取值滿足下列等式：

αM(λ;aux,D,D′)lnE{exp[λC(M,aux,D,D′)]}

(6)

(7)

(8)

1.4 深度殘差網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)(deep residual networks)[12]，主要解決了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)為提升訓(xùn)練得到的模型精確度而增加訓(xùn)練深度導(dǎo)致模型性能退化的問題，即在模型訓(xùn)練過程中，當使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集到達一定深度之后，模型的性能不升反降、計算參數(shù)大大增加、訓(xùn)練數(shù)據(jù)的精確度不升反減、訓(xùn)練過程中梯度消失的問題，不能保證學(xué)習(xí)到的模型的分類精確度。

深度殘差網(wǎng)絡(luò)由特殊結(jié)構(gòu)殘差塊(residual block)組成，增加殘差塊的個數(shù)來訓(xùn)練模型深度的同時，模型的性能也能夠得到提升，不像傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)受到模型深度的制約，導(dǎo)致訓(xùn)練模型的泛化能力弱。其深度殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 殘差塊示意圖Fig.2 The view of residual block

為了更好地學(xué)習(xí)模型，常用兩種殘差塊以適應(yīng)不同深度需求的模型訓(xùn)練，一種是兩層的卷積層作為殘差塊來訓(xùn)練淺層模型，另外一種是三層卷積層作為深度殘差網(wǎng)絡(luò)的殘差塊來訓(xùn)練深層模型，如圖3所示。

圖3 常用殘差塊Fig.3 Common residual blocks

2 Diff-RN方法訓(xùn)練過程

本節(jié)將詳細介紹Diff-RN方法是如何在訓(xùn)練模型的過程中，既保證學(xué)生模型分類精確度，同時又保護教師模型訓(xùn)練集數(shù)據(jù)的隱私，分析過程算法TrainModel的時間復(fù)雜度，描述深度殘差網(wǎng)絡(luò)應(yīng)用于PATE策略中解決多類別圖像數(shù)據(jù)分類任務(wù)的過程，在保護敏感訓(xùn)練集隱私安全的前提下提升模型的分類精確度，證明整個模型訓(xùn)練過程滿足差分隱私的定義。算法TrainModel如下。

Input:D={(xk,yk) |k=1, 2, …,m}—xkis data,ykis the label ofxk;

ε—privacy budget;

learning_rate —initial learning rate;

fre —the parameter of learning rate;

epochs —the parameter of model train;

D1={(xi,yi) |i=1, 2, …,N}—non-sensitive public dataset.

Output:D′ ={(xi,yi) |i=1, 2, …}—the predictions ofxi;

acc —the accuracy of model prediction;

loss—amount of data loss.

1: dividedDintondisjoint datasets (xi,yi)

2: for each set (xi,yi) do

3: build classifierfi(1 ≤i≤n) called teacher with a way of black box

4: for each teacher do

5: count(vj)

6:fi(x)←argmaxi{vi+Lap(Δf/ε)}

end for

end for

7: for allfi(x) andD1do

8: rate←learning_rate

9: foriin epochs do

10: build classifierf′ called student with deep residual networks

11: calculate acc, loss

12:i←i+1

end for

13: rate←rate /fre

14: update learning rate of the student model

end for

return acc, loss,f′(x)

算法TrainModel的時間復(fù)雜度為O(mn)，算法的第3行根據(jù)互斥數(shù)據(jù)集用黑盒的方式訓(xùn)練多個教師模型。第5行是對教師模型的預(yù)測結(jié)果進行分類聚合，統(tǒng)計每個類別教師模型的個數(shù)，即每個類別的票數(shù)。通過第6行針對每個類別的票數(shù)結(jié)果注入服從拉普拉斯分布的隨機噪聲，使得該過程滿足差分隱私定義，敏感訓(xùn)練集的隱私將得到保護，同時保證敏感訓(xùn)練集的可用性。算法第1～6行是教師模型及票數(shù)聚合過程，第7～14行是針對公開模型——學(xué)生模型的訓(xùn)練過程。

在教師模型的訓(xùn)練過程中不涉及任何隨機噪聲的注入，保證訓(xùn)練得到的教師模型的高精確度，教師模型訓(xùn)練完成后，聚合教師模型的預(yù)測分類結(jié)果，統(tǒng)計每個類別的教師模型數(shù)目(即票數(shù))，對每個類別統(tǒng)計的票數(shù)注入服從拉普拉斯分布的隨機噪聲，防止攻擊者根據(jù)真實票數(shù)推理出教師模型所依賴的敏感訓(xùn)練集的隱私。

定理2 算法TrainModel滿足ε-差分隱私。

證明算法中聚合票數(shù)時是根據(jù)教師模型預(yù)測結(jié)果分類中每個類別教師模型的個數(shù)來確定的，故其敏感度Δf=1；只有在聚合教師模型預(yù)測結(jié)果分類統(tǒng)計投票數(shù)的時候注入服從尺度參數(shù)為b=1/ε拉普拉斯分布的隨機噪聲擾亂票數(shù)結(jié)果，故算法TrainModel滿足ε-差分隱私的證明推導(dǎo)如下：

exp(εΔf)=exp(ε)

(9)

式(9)中：d表示d維數(shù)據(jù)集。

因為算法第3行教師模型的訓(xùn)練依賴于敏感數(shù)據(jù)訓(xùn)練集，故不能直接公開，攻擊者不能直接進行單一的教師模型訪問造成訓(xùn)練集數(shù)據(jù)的隱私泄露；由算法的第10行訓(xùn)練公開的學(xué)生模型，標記部分非敏感公開數(shù)據(jù)集與剩下的非敏感公開數(shù)據(jù)集結(jié)合作為學(xué)生模型的訓(xùn)練集，在假定攻擊者擁有最大背景知識的前提下，攻擊者可以獲得學(xué)生模型的內(nèi)部參數(shù)直接分析，訓(xùn)練對抗模型推理，但是根據(jù)所得的學(xué)生模型內(nèi)部參數(shù)分析不出用于學(xué)習(xí)教師模型的敏感數(shù)據(jù)訓(xùn)練集，從而使敏感數(shù)據(jù)被泄露的風(fēng)險控制在安全范圍內(nèi)。

定理3 Diff-RN方法滿足ε-差分隱私。

證明用Diff-RN方法訓(xùn)練處理多類別圖像分類任務(wù)的模型，保護訓(xùn)練集數(shù)據(jù)隱私，包括教師模型的訓(xùn)練、教師模型預(yù)測類別票數(shù)聚合過程以及學(xué)生模型的訓(xùn)練過程，整個過程教師模型的訓(xùn)練以及學(xué)生模型的訓(xùn)練過程中不涉及隨機噪聲的注入，只有聚合教師模型預(yù)測結(jié)果分類票數(shù)的時候注入服從拉普拉斯分布的隨機噪聲，引入隨機保護訓(xùn)練集的隱私安全，故由定理2及差分隱私的組合性質(zhì)可證Diff-RN方法訓(xùn)練模型滿足ε-差分隱私。

3 實驗結(jié)果及分析

Diff-RN方法較之PATE-G方法，對處理多類別圖像數(shù)據(jù)集的分類任務(wù)來說，在對敏感訓(xùn)練集提供相同隱私保護水平的情況下，學(xué)生模型的分類精確度有所提升，并且學(xué)生模型訓(xùn)練期間的數(shù)據(jù)損失量也相對減少，在整個學(xué)習(xí)模型的過程中只有聚合教師模型結(jié)果的時候涉及噪聲的注入，因此訓(xùn)練模型整個過程的隱私預(yù)算易于計算，整個學(xué)習(xí)模型過程滿足(ε,δ)-差分隱私。

在本節(jié)中將通過具體的數(shù)據(jù)比較分析Diff-RN方法與PATE-G方法在真實公開的同一圖像數(shù)據(jù)集cifar-100上的模型分類圖像的精確度以及學(xué)習(xí)模型過程中數(shù)據(jù)損失量對比等實驗，充分證實Diff-RN方法在實際問題解決中的擴展性與可行性，實驗部分采用Python代碼來實現(xiàn)Diff-RN方法與PATE-G方法在各類因素的對比分析。

3.1 實驗數(shù)據(jù)

實驗使用的數(shù)據(jù)是公開圖像數(shù)據(jù)集cifar-100，該圖像數(shù)據(jù)集是由100個類的60 000張32×32的RGB彩色圖像組成的，cifar-100數(shù)據(jù)集被分成50 000個訓(xùn)練圖像數(shù)據(jù)，10 000個測試圖像數(shù)據(jù)，每個類別包含600張圖像數(shù)據(jù)，實驗采用帶有動量的隨機梯度下降法[13]，在學(xué)習(xí)模型的過程中先給定初始學(xué)習(xí)率，經(jīng)過模型的逐輪訓(xùn)練，學(xué)習(xí)率衰減，得到學(xué)習(xí)模型的最佳學(xué)習(xí)率。

3.2 實驗分析及比較

實驗部分參數(shù)設(shè)置如表1所示。

實驗1 Diff-RN與PATE-G方法訓(xùn)練學(xué)生模型分類精確度對比。

實驗主要是進行Diff-RN方法與PATE-G方法在多類別圖像數(shù)據(jù)集分類任務(wù)中，訓(xùn)練學(xué)生模型分類結(jié)果精確度比較。

兩種方法訓(xùn)練學(xué)生模型分類精確度如圖4所示。由圖4可以看出，兩種方法均在假定訓(xùn)練教師模型個數(shù)相同的情況下，為保護訓(xùn)練集的數(shù)據(jù)隱私，聚合過程中對教師模型預(yù)測類別的票數(shù)注入隨機噪聲是由教師模型個數(shù)來確定的，故模型訓(xùn)練過程中隱私預(yù)算可確定；在對兩種方法訓(xùn)練模型提供相同隱私保護水平的情況下，隨著訓(xùn)練學(xué)生模型的輪數(shù)增加，兩種方法最后學(xué)習(xí)得到的模型分類結(jié)果精確度都趨于收斂，但總體上講，Diff-RN方法學(xué)習(xí)得到的模型分類結(jié)果精確度比PATE-G方法訓(xùn)練得到的模型分類精確度要高，在模型訓(xùn)練輪數(shù)較少的情況下，兩種方法學(xué)習(xí)得到的模型分類精確度相差不大，如訓(xùn)練輪數(shù)∈(0,60)時；但隨著模型訓(xùn)練輪數(shù)的增加，模型分類精確度差距逐漸顯現(xiàn)出來。

由實驗說明，隨著學(xué)習(xí)模型的輪數(shù)增加，利用深度殘差網(wǎng)絡(luò)學(xué)習(xí)模型，模型的分類精確度有所提升。這是因為要提高模型的性能和預(yù)測精確度，就意味著需要加深訓(xùn)練網(wǎng)絡(luò)的深度和寬度，但這就意味著模型參數(shù)就會越復(fù)雜，計算量也會越大；傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)加深網(wǎng)絡(luò)的深度和寬度并不能提升精確度，反而會導(dǎo)致精確度下降，引起梯度消失；但深度殘差網(wǎng)絡(luò)利用多層卷積網(wǎng)絡(luò)作為一個殘差塊，增加網(wǎng)絡(luò)訓(xùn)練深度只需增加殘差塊的個數(shù)，故可以高效地解決傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)面臨的問題。

由此表明，Diff-RN方法學(xué)習(xí)得到的模型具有一定的泛化能力，在多類別圖像數(shù)據(jù)集的分類任務(wù)中具有高精確度，且在模型分類過程中注入了滿足ε-差分隱私的噪聲，提升模型分類精確度的同時也保證了訓(xùn)練集數(shù)據(jù)的隱私安全，具有一定的可行性和推廣性。

實驗2 Diff-RN與PATE-G方法訓(xùn)練學(xué)生模型數(shù)據(jù)損失量對比。

實驗主要是進行學(xué)生模型過程在確定教師模型個數(shù)的情況下，考慮兩種方法在訓(xùn)練模型過程中提供同等的隱私保護程度的情況下，Diff-RN方法與PATE-G方法在訓(xùn)練學(xué)生模型過程中的數(shù)據(jù)損失量比較，如圖5所示。從圖5中可以看出，隨著模型訓(xùn)練輪數(shù)增加，Diff-RN方法和PATE-G方法訓(xùn)練學(xué)生模型過程中的損失量都在逐漸降低并趨于收斂，但在圖5中可以看出，兩種方法訓(xùn)練學(xué)生模型過程中，數(shù)據(jù)損失量總的趨勢是下降的，并且在訓(xùn)練輪數(shù)大概為80時，兩種方法學(xué)習(xí)模型的數(shù)據(jù)損失量都趨于收斂。

圖5 損失量比較Fig.5 Comparison of losses

公開學(xué)生模型，攻擊者只能分析得到學(xué)生模型的內(nèi)部參數(shù)，而分析不出教師模型所依賴的訓(xùn)練集信息，聚合教師模型預(yù)測結(jié)果分類的票數(shù)，針對票數(shù)注入隨機噪聲，標記部分非敏感公開數(shù)據(jù)集與非敏感公開數(shù)據(jù)集結(jié)合作為學(xué)生模型的訓(xùn)練集，構(gòu)建學(xué)生模型。實驗結(jié)果表明，針對同一圖像數(shù)據(jù)集學(xué)習(xí)模型處理同一分類任務(wù)，隨著模型訓(xùn)練輪數(shù)的增加，兩種方法的數(shù)據(jù)損失量都趨于平衡，但是Diff-RN比PATE-G方法的數(shù)據(jù)損失量少。公開學(xué)生模型之后，不再保留教師模型和原始訓(xùn)練集，既在保證敏感訓(xùn)練集數(shù)據(jù)可用性的前提下，也保證了敏感訓(xùn)練集數(shù)據(jù)的隱私安全。

實驗3 Diff-RN與PATE-G方法訓(xùn)練學(xué)生模型的隱私預(yù)算對比。

實驗旨在考察訓(xùn)練公開的學(xué)生模型在相同訓(xùn)練輪數(shù)的條件下，在聚合票數(shù)過程中所注入的隨機噪聲的多少對公開的學(xué)生模型的分類精確度的影響。注入噪聲的多少直接影響到公開的學(xué)生模型的分類精確度的高低。隱私預(yù)算越小，注入的隨機噪聲越多，數(shù)據(jù)的可用性就越低，學(xué)習(xí)到的模型精確度也越低；反之，隱私預(yù)算越高，隨機噪聲注入越少，對數(shù)據(jù)的可用性影響越小，其模型精確度越高。

實驗結(jié)果如圖6所示。從圖6中可以看出，Diff-RN方法得到的學(xué)生模型的精確度高于PATE-G方法學(xué)習(xí)得到的學(xué)生模型精確度，且Diff-RN方法訓(xùn)練的學(xué)生模型在ε=0.6左右就能夠收斂，而PATE-G方法訓(xùn)練的學(xué)生模型在ε=0.7左右時收斂，相比之下，Diff-RN方法訓(xùn)練的公開模型的精確度能夠較快地收斂。

圖6 隱私預(yù)算比較Fig.6 Privacy budget comparison

實驗證明，Diff-RN方法能夠在較小的隱私預(yù)算下，給數(shù)據(jù)集提供更高的隱私保護級別，同時學(xué)生模型的分類精確度更高，證明了Diff-RN方法訓(xùn)練公開模型的可用性。

4 結(jié)論

針對機器學(xué)習(xí)應(yīng)用越來越廣泛，利用敏感數(shù)據(jù)學(xué)習(xí)分類模型也成為一種熱門方法。但模型在訓(xùn)練過程中隱式地記住訓(xùn)練集而導(dǎo)致訓(xùn)練集敏感信息泄露。針對該問題提出解決辦法，將差分隱私應(yīng)用于機器學(xué)習(xí)訓(xùn)練模型的過程中，選擇合適的噪聲機制注入隨機噪聲，結(jié)合教師模型預(yù)測聚合的結(jié)果與非敏感公共數(shù)據(jù)集利用半監(jiān)督學(xué)習(xí)的方式訓(xùn)練學(xué)生模型，公開學(xué)生模型之后，不再保留敏感訓(xùn)練集和教師模型，攻擊者只能直接分析模型的內(nèi)部參數(shù)或是多次模型間接分析，都只能得到注入了隨機噪聲的數(shù)據(jù)標簽，得不到用于訓(xùn)練教師模型的敏感數(shù)據(jù)訓(xùn)練集信息，在保證了數(shù)據(jù)安全性的同時又保證了數(shù)據(jù)的可用性，將訓(xùn)練集數(shù)據(jù)隱私泄露的風(fēng)險控制在安全范圍內(nèi)。提出的Diff-RN方法能夠高效地解決多類別圖像分類任務(wù)，加深網(wǎng)絡(luò)的深度訓(xùn)練模型，提升了模型的分類精確度，降低了數(shù)據(jù)損失量，并且保證了敏感訓(xùn)練集數(shù)據(jù)的隱私安全。