王鵬焱

（安徽理工大學 計算機科學與工程學院，安徽 淮南232001）

0 引言

機器學習在智能醫(yī)療、圖像識別、推薦系統(tǒng)、情感分析[1-4]等領(lǐng)域得到快速的發(fā)展，加速了傳統(tǒng)行業(yè)的智能化發(fā)展。然而，用于訓練機器學習模型的大量數(shù)據(jù)不可避免地包含敏感信息，機器學習的蓬勃發(fā)展在改變?nèi)藗兩罘绞降耐瑫r，也給數(shù)據(jù)隱私安全帶來嚴峻的威脅。例如，一個基于癌癥病人信息訓練的模型，如果知道了某病人是該模型的訓練集成員，可以直接推斷出該病人的患病信息并由此可能引發(fā)歧視問題[5]。這種推斷數(shù)據(jù)是否存在于訓練集的算法稱為成員推斷攻擊，近年來成為研究者關(guān)注的熱點。

2017年，Shokri等人[6]首次提出針對機器學習模型的成員推斷攻擊，通過分辨機器學習模型在訓練集和非訓練集之間的輸出差異來判斷數(shù)據(jù)是否存在于目標模型的訓練數(shù)據(jù)集中。鑒于在黑盒模式下，攻擊者無法獲得這種分辨能力，他們訓練一組模擬目標模型行為的“影子模型”來解決這個問題．首先，合成與目標模型訓練集相似的數(shù)據(jù)；其次，利用合成數(shù)據(jù)建立一系列“影子模型”。與目標模型相比，數(shù)據(jù)是否屬于訓練集的成員，即影子模型的數(shù)據(jù)隸屬度是已知的;最后，訓練攻擊模型分辨目標模型在不同數(shù)據(jù)集上的行為差異，從而實現(xiàn)成員推斷攻擊。

自從成員推斷攻擊的概念被提出以后,產(chǎn)生了很多攻擊和防御算法。既有監(jiān)督學習中Yeom等[7]提出對于機器學習模型的通用攻擊，也有Hilprecht等[8]提出只針對生成模型VAEs的白盒攻擊，而防御策略主要有正則化、對抗性訓練、對抗樣本等。雖然目前提出了大量的防御方法，但卻無法完全防御成員推斷攻擊，很多方法都存在降低模型精度的問題。

本文總結(jié)了目前主流的成員推斷攻擊和防御方法，并從這兩個角度出發(fā)，進行相關(guān)的介紹和總結(jié)。

1 成員推斷攻擊相關(guān)概念

1.1 機器學習技術(shù)

機器學習在二十世紀下半葉得到快速發(fā)展并逐漸成為人工智能的核心問題之一。

機器學習旨在研究如何利用知識和經(jīng)驗改善算法的性能，它可以從訓練數(shù)據(jù)中自動挖掘潛在的知識構(gòu)建數(shù)學模型，利用模型實現(xiàn)對未知的數(shù)據(jù)做出預測，訓練過程如圖1所示。

圖1 機器學習解決問題示意圖

機器學習根據(jù)有無反饋可以分為3類:監(jiān)督學習、無監(jiān)督學習和強化學習。監(jiān)督學習利用已知類別的訓練數(shù)據(jù)通過監(jiān)督學習算法訓練得到一個最優(yōu)模型，該模型可以對給定的輸入進行預測輸出。與監(jiān)督學習不同，無監(jiān)督學習旨在對未標記進行數(shù)據(jù)的學習來揭示數(shù)據(jù)內(nèi)在的性質(zhì)和規(guī)律，根據(jù)輸入變量是否屬于內(nèi)在的規(guī)律作出反應。強化學習[9]通過觀測環(huán)境的狀態(tài)，學習某個策略從而獲得最大化的預期收益。目前成員推斷攻擊主要集中在監(jiān)督學習中的模型判別和非監(jiān)督學習的模型生成上。

1.2 敵手知識

敵手指的是實施成員推斷攻擊的攻擊者，敵手知識包括模型的訓練數(shù)據(jù)集、學習算法、模型結(jié)構(gòu)參數(shù)等信息。根據(jù)敵手掌握模型信息的多少可以將攻擊場景分為白盒場景、黑盒場景。白盒攻擊者可以獲得網(wǎng)絡模型結(jié)構(gòu)、內(nèi)部參數(shù)、訓練數(shù)據(jù)集等信息，并能夠在攻擊過程中計算梯度變化等信息，以實現(xiàn)成員推斷攻擊。黑盒攻擊者對模型結(jié)構(gòu)、參數(shù)和訓練集信息等一無所知，只有對模型的訪問權(quán)限，攻擊者通過識別目標模型在不同數(shù)據(jù)上的輸出差異性完成推斷攻擊。

2 成員推斷攻擊

本節(jié)將對成員推斷攻擊進行回顧，介紹幾種比較典型的成員推斷攻擊方法。根據(jù)目標模型學習環(huán)境不同，將攻擊劃分為判別模型攻擊、生成模型攻擊以及聯(lián)邦學習攻擊。

2.1 針對判別模型的攻擊

Shokri等人[6]在2017年提出在黑盒情景下的成員推斷攻擊，為了識別出目標模型在訓練數(shù)據(jù)和非訓練數(shù)據(jù)行為上的差異性，創(chuàng)造性地構(gòu)建一組模擬目標模型行為的影子模型，利用對影子模型訓練集的了解以及模型在不同數(shù)據(jù)上的預測輸出來構(gòu)建攻擊模型，使其能夠捕獲目標模型在不同隸屬度數(shù)據(jù)之間的輸出差異，達到數(shù)據(jù)推斷的目的。由于Shokri等人提出的攻擊需要對目標模型結(jié)構(gòu)、訓練數(shù)據(jù)集分布有所了解以及較高的計算成本，嚴重限制了成員推斷攻擊的適用范圍。

為了降低成員推斷攻擊的成本，擴大適用范圍，Salem等人[10]提出三種簡化的成員推斷攻擊方法：第一種只訓練一個影子模型，并且選擇影子模型輸出概率向量中最大的三個值作為攻擊模型的特征，同時也放寬了影子模型需與目標模型結(jié)構(gòu)相同的假設；第二種數(shù)據(jù)遷移攻擊，使用與目標模型訓練集不同分布的現(xiàn)有數(shù)據(jù)集訓練影子模型；第三種閾值選擇攻擊，提取目標數(shù)據(jù)在目標模型輸出向量中的最大值，大于選定的閾值時，即判定為訓練集成員。實驗證明，所提方法獲得與Shokri等人[6]相似的攻擊結(jié)果，大大減少攻擊成本以及被檢測到的可能性。

Long等人[11]提出三種建立在影子模型基礎(chǔ)上的成員推斷攻擊，第一種攻擊被稱為無目標攻擊，與Shokri等人提出的攻擊方式相似，使用影子模型的概率向量和標簽訓練攻擊模型。其余分別為基于距離和基于頻率的目標攻擊，為了實現(xiàn)針對特定實例的攻擊，Long訓練兩組影子模型，兩組模型的差異為訓練集是否包含 x，利用KL散度衡量x在兩組模型上的平均概率分布與目標模型概率分布的相似性。在基于頻率的攻擊中，比較兩組影子模型對x做出與目標模型相同預測結(jié)果的模型個數(shù)的大小，若包含x的那組影子模型正確率最高，即認為x是訓練集的一員。實驗證明，與Shokri的非目標攻擊相比，基于距離的目標攻擊具有更高的準確性。

上述研究都是利用目標模型返回的置信度信息完成成員推斷攻擊，如果目標模型只返回預測標簽值，這些攻擊將不再適用。針對這個問題，Li Zheng等人[12]利用標簽信息，提出基于轉(zhuǎn)移和基于擾動兩種成員推斷攻擊方法。基于轉(zhuǎn)移的攻擊方法采取影子模型技術(shù)，目標模型高度相似的影子模型可以反映數(shù)據(jù)樣本在目標模型中的成員狀態(tài)，依靠影子模型直接發(fā)起攻擊，獲得目標數(shù)據(jù)在影子模型上的交叉熵損失，認為較小的損失值則更有可能是成員數(shù)據(jù)?；跀_動的攻擊，他們認為改變成員數(shù)據(jù)的類別與改變非成員數(shù)據(jù)類別相比更難，所需添加的噪音更多，因此使用Laplace距離計算改變類別所需的噪音大小，將噪音大于閾值的樣本視為成員數(shù)據(jù)。

除了黑盒情形下進行成員推斷攻擊，Nasr等人[13]利用隨機梯度下降SGD算法的隱私缺陷設計了白盒成員推斷攻擊。在SGD算法中，為了最小化模型的訓練損失，在訓練過程中利用每個數(shù)據(jù)的損失梯度來指導參數(shù)方向和大小的改變，保證模型的訓練損失接近于零。這樣，每個數(shù)據(jù)訓練集中的樣本都會在模型參數(shù)上損失函數(shù)的局部梯度上留下明顯的痕跡，利用這種差異，達到推斷攻擊的目的。

2.2 針對生成模型的攻擊

Hayes等人[14]首先提出了針對生成模型的成員推斷攻擊，他們介紹了在有限輔助知識、無輔助知識兩種黑盒情景以及白盒情景下的成員推斷攻擊。Hayes等人基于這樣的假設：過擬合的GAN模型，其訓練集樣本在判別器上會得到更高的預測向量。利用這種假設，在白盒攻擊中將待測數(shù)據(jù)集輸入給判別器，然后對輸出的概率向量進行降序排序，最大概率值的幾個樣本被視為訓練集樣本。在無輔助知識的黑盒攻擊中，由于沒有關(guān)于數(shù)據(jù)的真實標簽，因此攻擊者重新訓練本地GAN，從而將黑盒攻擊轉(zhuǎn)變?yōu)閷Ρ镜谿AN的白盒攻擊。實驗表明，與無輔助知識的黑盒攻擊相比白盒攻擊能夠獲得更高的攻擊精度。

Hilprecht等人[8]基于過度擬合的生成器傾向于輸出更接近訓練數(shù)據(jù)的樣本，而不是非訓練數(shù)據(jù)的假設，提出適用于GAN和VAEs的成員推斷攻擊。第一種適用于GAN的蒙特卡洛攻擊，使用歐式距離計算生成器生成樣本與目標樣本之間的距離，如果兩者距離接近就利用蒙特卡洛積分來衡量目標樣本屬于訓練集的概率。第二種為針對VAEs的重構(gòu)攻擊，將重構(gòu)樣本與x間的重構(gòu)損失應用于成員推斷攻擊，損失值越小的樣本屬于訓練數(shù)據(jù)的概率值就越高。

Chen等人[15]對生成模型上的成員推斷攻擊進行進一步的研究，提出了一種適用于所有知識背景下的通用成員推斷攻擊。在全黑盒攻擊中，攻擊者從目標生成模型的輸出中找到最接近x的重構(gòu)樣本，或者當在擁有訪問隱變量的部分黑盒情形下，目標生成模型利用隱變量合成重構(gòu)樣本，利用重構(gòu)樣本與x之間的距離計算x屬于訓練集的概率，他們認為，在給定生成器的訪問權(quán)限的情況下，如果生成器能夠很好地重構(gòu)樣本x，那么x就是訓練集成員。

2.3 針對聯(lián)邦學習的攻擊

前面提到的攻擊均屬于針對集中式學習模型，在聯(lián)邦學習中也存在成員推斷攻擊[13，16-17]，Nasr等人[13]首次提出了針對聯(lián)邦學習的主動成員推斷攻擊，其構(gòu)想存在兩種攻擊者：（1）攻擊者是中心服務器:攻擊者能在每個時間段上接收到所有節(jié)點上傳的信息，也可以主動修改參與者的全局參數(shù)視圖以獲取更多關(guān)于某個參與者訓練集的相關(guān)信息。（2）攻擊者是參與者：攻擊者在某一單位時間內(nèi)可以觀察到全局參數(shù)，并通過修改自身的參數(shù)，獲取其他所有參與者信息，達到攻擊的目的。

2.4 攻擊方法總結(jié)

為了總結(jié)針對機器學習的成員推斷攻擊，本文從先驗知識、學習場景、目標模型類型、應用領(lǐng)域4個角度對經(jīng)典的攻擊方法進行比較。從表1可以看出，早期的攻擊算法以針對判別模型的攻擊最為常見，隨著研究的深入，逐漸傾向于生成模型以及聯(lián)合式的學習場景。

表1 經(jīng)典的成員推斷攻擊方法對比

3 成員推斷攻擊的影響因素

成員推斷攻擊主要利用目標模型在訓練數(shù)據(jù)和非訓練數(shù)據(jù)上的預測向量間的差異性，即目標模型在訓練數(shù)據(jù)上的預測向量分布比非訓練數(shù)據(jù)更集中。這種差異性是過擬合模型的主要體現(xiàn)，因此，模型的過擬合與成員推斷攻擊之間有很大的關(guān)聯(lián)。Shokri等人[6]研究模型的過擬合程度對成員推斷攻擊的影響，他們通過實驗證明模型的過擬合程度越強，模型就越容易受到成員推斷攻擊。Yeom[7]和Long等人[18]的研究進一步支持了過擬合與成員推斷攻擊之間的關(guān)系，即過擬合是成員推斷攻擊的充分條件，但不是必要條件，一個擬合很好的模型上仍然存在著成員推斷攻擊的風險。

Truex等人[17]通過在七個不同數(shù)據(jù)集和四種機器學習模型上的實驗來研究影響攻擊的因素，他們發(fā)現(xiàn)除了過擬合，成員推斷攻擊還與訓練數(shù)據(jù)集和模型結(jié)構(gòu)等因素密切相關(guān)。具體來說，訓練數(shù)據(jù)集的復雜度或者類別個數(shù)的增加都將提高攻擊精度。在模型方面，成員推斷攻擊在決策邊界容易受到特定實例的目標模型上可以獲得更好的表現(xiàn)。他們還表明，如果攻擊者是學習過程中的參與者，那么在聯(lián)邦學習中攻擊者可以獲得更高的攻擊性能。此外，Tonni等人[19]進一步研究數(shù)據(jù)屬性以及模型屬性如訓練數(shù)據(jù)集的大小、類平衡、模型的參數(shù)、公平性[20]對成員推斷攻擊的影響。

4 防御方法

現(xiàn)有文獻中已經(jīng)提出多種防御機制來減輕成員推斷攻擊的威脅，將防御策略總結(jié)如下。

4.1 差分隱私

差分隱私通過向數(shù)據(jù)中添加噪音，使得攻擊者無法通過模型的輸出分辨出特定數(shù)據(jù)是否存在于模型訓練數(shù)據(jù)集，保護個體用戶的隱私。差分隱私和成員推斷的目的都與推斷數(shù)據(jù)是否存在于目標模型訓練集中有關(guān)。已有的文獻表明[21-24]，將差分隱私應用到模型中，可以降低成員推斷攻擊的成功率。然而，Rahman[22]指出，差分隱私在提高防御能力的同時，會降低模型的實用性，所以研究如何利用差分隱私，在保證模型性能的前提下，實現(xiàn)對成員推斷攻擊的防御就顯得尤為重要。

4.2 控制預測結(jié)果

如前文所述，成員推斷攻擊主要利用從目標模型返回的結(jié)果，通過識別在訓練數(shù)據(jù)和非訓練數(shù)據(jù)上的預測向量間的差異性完成攻擊，所以可以對預測結(jié)果通過兩方面的控制達到防御的目的：一是控制目標模型返回的預測向量，在不影響模型輸出結(jié)果的前提下，修改預測向量或減少預測向量的維度[6，17，25]；另一方面修改模型的結(jié)構(gòu)，減少模型在測試數(shù)據(jù)和訓練數(shù)據(jù)上行為的差異，比如減少過擬合、正則化等[6，11，17，28-30]。

針對預測向量的防御，Jia等人[25]提出名為Memguard的防御方法，由于攻擊模型是一個二分類的機器學習模型，而機器學習模型容易受到對抗樣本的擾動。基于這樣觀察，Jia在置信度向量中添加噪聲擾動，在不改變目標模型對數(shù)據(jù)的預測結(jié)果的前提下，混淆攻擊模型對目標數(shù)據(jù)成員屬性的判斷，完成對成員推斷的防御。在減少預測向量的維度方面，Shokri等人[6]和 Truex等人[17]提出限制預測向量的維度，甚至極端情況下只輸出預測標簽，最大限度地減少概率向量泄露的信息。但是，這類方法對防御的效果并不好，Li Zheng等人[12]和Choquette等人[31]證明即使模型只輸出模型的預測標簽，依然存在著成員隱私泄露的風險。

針對模型結(jié)構(gòu)的防御，Salem等人[10]提出在神經(jīng)網(wǎng)絡中添加Dropout層或通過集成學習的方法來減少模型的過擬合。Shokri等人[6]利用正則化技術(shù)，他們使用常規(guī)的L2范數(shù)作為懲罰器，隨著懲罰力度的加強，模型防御攻擊的能力就越強大。但是Truex等人[17]指出利用這種方法防御時，會降低模型的分類精度。為此，Nasr等人[28]提出一種對抗防御策略，采取和GAN類似的訓練策略，將成員推斷攻擊最大增益作為正則化項，在最壞的情況下找到使分類模型損失最小化的模型。該策略不僅保證隱私泄露風險最小化，同時也起到了正則化的作用，提高模型的泛化能力。

5 成員推斷攻擊現(xiàn)狀分析與未來展望

從數(shù)據(jù)類型來看，針對機器學習模型的成員推斷攻擊從最初的僅針對圖像的攻擊，發(fā)展到當前階段的針對文本[32-33]、語音[34]等各類數(shù)據(jù)的成員推斷攻擊。

從威脅模型方面來看，最初的成員推斷攻擊大多針對比較簡單的監(jiān)督式算法，隨著攻擊方法的不斷改進，現(xiàn)已在 GAN、VAEs等非監(jiān)督式學習算法上獲得成功。然而，當前的成員推斷攻防技術(shù)在實際場景中的應用仍存在著很多不足和限制，在后續(xù)的研究工作中，研究者應當對以下內(nèi)容作進一步研究：

（1）研究針對其他數(shù)據(jù)類型的成員推斷攻擊。當前對成員推斷攻擊的研究大多針對圖像數(shù)據(jù)，雖然一些研究已經(jīng)將攻擊擴展到文本、語音等數(shù)據(jù)類型，但和機器學習算法在生活中的應用場景相比，當前研究的數(shù)據(jù)類型仍僅占比較小的比例。

（2）研究隱蔽性更高的成員推斷攻擊?，F(xiàn)有的方法大多需要對目標模型發(fā)起多次查詢請求，這不僅會引起龐大的計算開銷，而且容易暴露攻擊行為，所以需要研究隱蔽性更高的成員推斷攻擊方法。

（3）研究更有效的成員推斷攻擊防御方法。對于防御者而言，之所以研究成員推斷攻擊技術(shù)，最終是為了給保護成員隱私的研究提供思路?，F(xiàn)有的差分隱私、正則化等技術(shù)雖然可以起到一定的防御作用，然而卻有著效率代價比不高的問題。因此，研究者應當在保證模型性能的前提下，進行成員推斷攻擊防御技術(shù)的研究。

6 結(jié)論

隨著海量的數(shù)據(jù)，高性能計算技術(shù)推動機器學習的蓬勃發(fā)展，其安全問題越發(fā)引起人們的重視。成員推斷攻擊作為機器學習模型的安全威脅之一，能夠推斷模型訓練集的成員隱私信息，吸引了一大批國內(nèi)外學者的興趣和研究，并且已經(jīng)取得了大量的研究成果。本文針對機器學習領(lǐng)域的成員推斷問題，首先給出了成員推斷攻擊和成員推斷攻擊的相關(guān)概念；然后列出了經(jīng)典的成員推斷攻擊算法及其在不同領(lǐng)域的研究成果，并分析了影響成員推斷攻擊的數(shù)據(jù)和模型因素；接著，介紹了一系列成員推斷攻擊防御方法；最后，對成員推斷攻擊的研究現(xiàn)狀進行分析并進行展望。