吳吉　王月娟　景棟盛

摘? 要：機(jī)器學(xué)習(xí)方法常使用私有數(shù)據(jù)來(lái)訓(xùn)練模型以期獲得更好的效果。然而，非授權(quán)用戶可以通過(guò)模型輸出來(lái)判斷數(shù)據(jù)是否參與訓(xùn)練，破壞了數(shù)據(jù)隱私安全。對(duì)此，提出了基于深度優(yōu)化網(wǎng)絡(luò)的模型攻擊方法，從攻擊者的角度出發(fā)，分析攻擊方法原理，有針對(duì)性地防御對(duì)模型的攻擊，增強(qiáng)模型的隱秘性。所提方法自動(dòng)對(duì)模型進(jìn)行攻擊，獲得自優(yōu)化的參數(shù)，提高攻擊的準(zhǔn)確度，充分挖掘模型中的安全缺陷，揭示模型的可改進(jìn)之處，改善模型的安全性。在CIFAR-100數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，得到AUC值為0.83，優(yōu)于base方法。實(shí)驗(yàn)結(jié)果驗(yàn)證該方法能有效地提升攻擊效果。

關(guān)鍵詞：機(jī)器學(xué)習(xí);優(yōu)化;隱私保護(hù);模型攻擊

中圖分類號(hào)：TP309? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

A Model Attack Method based on Self-optimizing Deep Network

WU Ji， WANG Yuejuan， JING Dongsheng

（Suzhou Power Supply Branch， State Grid Jiangsu Electric Power Co.， Ltd.， Suzhou 215004， China）

13862159678@163.com; 215691852@qq.com; jds19810119@163.com

Abstract： Machine learning often uses private data to train model so as to get better performance. However， unauthorized users can input data into the model and determine whether certain data are used for training by the output of the model， which threatens data privacy and security. In order to solve this problem， this paper proposes an attack method based on deep optimizing network， which analyzes the attack method principle from the attacker's point of view， and then defends against the attack on the model in a targeted manner so as to enhance the secrecy of the model. The proposed method attacks the model automatically， obtains self-optimizing parameters， improves the attack accuracy， fully exploits security defects in the model， reveals the improvement of the model， and improves the model security. Experiments have been carried out on CIFAR-100 data set， and the AUC （Area Under the Curve） value is 0.83， which is better than the base method. Experimental results show that the proposed method can effectively improve the attack effect.

Keywords： machine learning; optimization; privacy protection; model attack

1? ?引言（Introduction）

隨著深度學(xué)習(xí)研究的不斷深入，深度學(xué)習(xí)模型的安全問(wèn)題引起了研究者的廣泛關(guān)注，隱私泄露問(wèn)題越來(lái)越受到重視[1-4]。一方面，模型固有的特性使攻擊者有機(jī)會(huì)獲取其中的隱私信息;另一方面，模型中的隱藏層會(huì)形成較大的有效容量，將一些訓(xùn)練數(shù)據(jù)細(xì)節(jié)化為參數(shù)[5]，記錄在模型中。

通過(guò)對(duì)測(cè)試數(shù)據(jù)的輸出分析，可以對(duì)模型有一個(gè)明確的衡量，同時(shí)也急需一個(gè)有效的攻擊方法來(lái)模擬對(duì)目標(biāo)的攻擊，發(fā)現(xiàn)模型中存在的問(wèn)題。雖然已有一些方法，但是這些方法在模型的攻擊精度上還有待提高。因此，需要設(shè)計(jì)研發(fā)一種有效的方法來(lái)提高攻擊的效果，從而更好地改進(jìn)模型的安全性。

針對(duì)這一問(wèn)題，本文提出了基于自優(yōu)化的深度網(wǎng)絡(luò)模型攻擊方法，通過(guò)已知模型的層數(shù)，對(duì)其進(jìn)行計(jì)算，得出一組攻擊參數(shù)，使用這些指定參數(shù)對(duì)模型相應(yīng)的層進(jìn)行攻擊，獲得較好的攻擊效果。

2? ?相關(guān)工作（Related work）

2.1? ?推理攻擊

針對(duì)機(jī)器學(xué)習(xí)算法的推理攻擊分為成員推理和重構(gòu)攻擊。在重構(gòu)攻擊中，攻擊者的目標(biāo)是推斷訓(xùn)練集中記錄的屬性[6]。成員推理攻擊利用了一種觀察，即機(jī)器學(xué)習(xí)模型在它們所訓(xùn)練的數(shù)據(jù)上的行為常常與它們第一次“看到”的數(shù)據(jù)不同。攻擊者會(huì)構(gòu)建一個(gè)攻擊模型，該模型可以識(shí)別目標(biāo)模型行為中的這些差異，并利用它們來(lái)區(qū)分目標(biāo)模型的成員和非成員。

深度學(xué)習(xí)的數(shù)據(jù)以不同方式被用于訓(xùn)練模型?；诔蓡T推理攻擊方法的攻擊者可以觀察深度學(xué)習(xí)過(guò)程，通過(guò)深度學(xué)習(xí)模型測(cè)量訓(xùn)練數(shù)據(jù)的泄露情況。本文提出的方法利用深度學(xué)習(xí)算法。

2.2? ?差分隱私

差分隱私技術(shù)使攻擊者很難通過(guò)模型的輸出來(lái)分辨某條數(shù)據(jù)是否被用于訓(xùn)練機(jī)器學(xué)習(xí)模型，從而達(dá)到保護(hù)數(shù)據(jù)隱私的效果[7]。按照差分隱私的要求，在數(shù)據(jù)集中添加或刪除一條數(shù)據(jù)后，都不會(huì)顯著影響作用在該數(shù)據(jù)集上的算法的輸出結(jié)果[8]。差分隱私已經(jīng)被用于對(duì)推理攻擊的強(qiáng)防御機(jī)制[9-10]。研究人員將差分隱私引入模型算法中，對(duì)模型的梯度進(jìn)行擾動(dòng)，提高了隱私性[11]。

本文對(duì)差分隱私方法進(jìn)行改進(jìn)，重點(diǎn)分析哪些數(shù)據(jù)被用來(lái)訓(xùn)練模型的個(gè)人隱私。為了達(dá)到保護(hù)隱私的目的，進(jìn)一步分析攻擊方式來(lái)評(píng)估模型的優(yōu)劣。對(duì)絕大多數(shù)機(jī)器學(xué)習(xí)任務(wù)而言，在算法求解過(guò)程中滿足差分隱私，即可以認(rèn)為實(shí)現(xiàn)了對(duì)模型的隱私保護(hù)。

2.3? ?ML Privacy Meter

ML Privacy Meter是Python基于Tensorflow 2.1開發(fā)的一個(gè)應(yīng)用程序接口，可以針對(duì)目標(biāo)模型訓(xùn)練攻擊模型，并可以使用指定的攻擊方式訓(xùn)練出攻擊模型。ML Privacy Meter使用成員推理攻擊來(lái)測(cè)量深度學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的信息泄露，數(shù)據(jù)被用于訓(xùn)練模型，攻擊者也可以觀察深度學(xué)習(xí)過(guò)程。

對(duì)于一個(gè)目標(biāo)數(shù)據(jù)記錄，攻擊模型計(jì)算損失，并可以使用一個(gè)簡(jiǎn)單的反向傳播算法計(jì)算有關(guān)所有參數(shù)的損失梯度。由于深度神經(jīng)網(wǎng)絡(luò)中使用了數(shù)以百萬(wàn)計(jì)的參數(shù)，具有如此大維數(shù)的向量不能正確地對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行泛化。與非成員相比，模型的梯度在訓(xùn)練數(shù)據(jù)成員上的分布是可區(qū)分的，可以幫助對(duì)手運(yùn)行精確的成員關(guān)系推理攻擊，使分類模型得到很好的概括。

3? ?方法（Method）

3.1? ?攻擊參數(shù)自優(yōu)化

雖然ML Privacy Meter提供了比較方便的測(cè)量，但是沒(méi)有提供優(yōu)化參數(shù)的方法。為了能獲得較好的白盒攻擊策略效果，本文使用整體參數(shù)優(yōu)化選擇的方法。這個(gè)方法充分考慮目標(biāo)模型層數(shù)，進(jìn)行平均細(xì)分后再?zèng)Q定攻擊的層數(shù)N。

在進(jìn)行白盒攻擊時(shí)，需要確定對(duì)哪些層進(jìn)行攻擊。整體參數(shù)優(yōu)化法可以盡可能地對(duì)模型參數(shù)進(jìn)行探索，同時(shí)又能避免逐層對(duì)模型進(jìn)行窮究式探索，獲取模型中最關(guān)鍵的中間層?？梢?jiàn)，整體參數(shù)優(yōu)化法具有明顯的優(yōu)勢(shì)。據(jù)此，本文設(shè)計(jì)了一種攻擊參數(shù)自優(yōu)化方法，采用均方誤差作為L(zhǎng)oss函數(shù)，其計(jì)算方式為：

其中，n為樣例個(gè)數(shù)，是各個(gè)樣例權(quán)重，為真實(shí)數(shù)據(jù)，為預(yù)測(cè)值。

自優(yōu)化網(wǎng)絡(luò)攻擊方法如算法1所示。

算法 1：自優(yōu)化網(wǎng)絡(luò)攻擊方法（Self-Optimizing Net Attack， SONA）

1：? 訓(xùn)練目標(biāo)模型M

2：? 獲得模型的網(wǎng)絡(luò)層數(shù)參數(shù)Layer_Num

3：? 初始化攻擊attack_hander

4：? 初始化攻擊模型 θa

5：? 通過(guò)Split方法從Layer_Num中獲得目標(biāo)層列表targetLayersList

6：? for i∈[0，epochs] do

7： ? mtrain_data， ntrain_data = attack_hander（）

8： ? moutputs = forward_pass（M，mtrain_data，N）

9： ? noutpus = forward_pass（M，ntrain_data，N）

10： 利用式（1）計(jì)算損失函數(shù) Loss（ntrain_data，

mtrain_data）

11： ? 使用梯度下降更新參數(shù)θa

12： end for

3.2? ?目標(biāo)模型

Alexnet的網(wǎng)絡(luò)結(jié)構(gòu)模型引爆了神經(jīng)網(wǎng)絡(luò)的應(yīng)用熱潮，并贏得了2012屆圖像識(shí)別大賽的冠軍，使得CNN成為在圖像分類上的核心算法模型，很適合作為驗(yàn)證模型。Alexnet的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，包含8 層權(quán)重，前5 個(gè)是卷積的，其余3 個(gè)是完全連接的，最后一個(gè)完全連接層的輸出被饋送到1000路Softmax激活函數(shù)。本文設(shè)計(jì)的網(wǎng)絡(luò)最大化了多項(xiàng)邏輯回歸目標(biāo)，相當(dāng)于最大化了在預(yù)測(cè)分布下正確標(biāo)簽的對(duì)數(shù)概率在訓(xùn)練案例中的平均值。

AlexNet與LeNet相比，網(wǎng)絡(luò)結(jié)構(gòu)更豐富，有明顯的優(yōu)勢(shì)。AlexNet通過(guò)使用Dropout實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，從而抑制數(shù)據(jù)過(guò)擬合，適合用來(lái)作為神經(jīng)網(wǎng)絡(luò)攻擊的對(duì)象。攻擊的訓(xùn)練流程如圖2所示。

4? ?實(shí)驗(yàn)與分析（Experiment and analysis）

4.1? ?數(shù)據(jù)集與評(píng)價(jià)標(biāo)準(zhǔn)

本文采用CIFAR-100作為測(cè)試數(shù)據(jù)集。CIFAR-100數(shù)據(jù)集是一個(gè)經(jīng)典的數(shù)據(jù)集，由100 個(gè)類組成，每個(gè)類有600 個(gè)32×32彩色圖像。數(shù)據(jù)集分為五個(gè)訓(xùn)練批次和一個(gè)測(cè)試批次，每個(gè)批次有100 個(gè)圖像。測(cè)試批次包含來(lái)自每個(gè)類別的100 個(gè)隨機(jī)選擇的圖像。同時(shí)，CIFAR-100數(shù)據(jù)集中的100 個(gè)類被分成20 個(gè)超類。每個(gè)圖像都帶有一個(gè)“精細(xì)”標(biāo)簽（所屬的類）和一個(gè)“粗糙”標(biāo)簽（所屬的超類）。

由于現(xiàn)實(shí)中樣本在不同類別上分布不均衡，使得傳統(tǒng)的度量標(biāo)準(zhǔn)不能恰當(dāng)?shù)胤从吵龇诸惼鞯谋憩F(xiàn)。使用ROC曲線（Receiver Operating Characteristic Curve）作為評(píng)價(jià)指標(biāo)，能直觀地表現(xiàn)出分類效果。ROC曲線向左上角彎曲的幅度越大，代表這個(gè)分類器效果越好。在ROC曲線圖中，X軸為假陽(yáng)性率（FPR），Y軸為真陽(yáng)性率（TPR）。

4.2? ?對(duì)目標(biāo)模型的攻擊

本文以完成預(yù)訓(xùn)練的Alexnet網(wǎng)絡(luò)結(jié)構(gòu)模型作為攻擊目標(biāo)，模型共有26 層網(wǎng)絡(luò)和24 個(gè)隱藏層，對(duì)其進(jìn)行攻擊比較：（1）直接對(duì)其進(jìn)行黑盒攻擊（base）;（2）使用整體參數(shù)優(yōu)化的白盒攻擊。對(duì)于26 層的目標(biāo)模型，考慮輸出層，進(jìn)行兩次計(jì)算，以第6 層、第13 層和第26 層為目標(biāo)。根據(jù)這種參數(shù)優(yōu)化，以Alexnet網(wǎng)絡(luò)為目標(biāo)訓(xùn)練出攻擊模型。在測(cè)試集中的ROC曲線如圖3所示，根據(jù)ROC曲線計(jì)算出其AUC值。本文所提方法的AUC值為0.83，比base方法AUC值（0.80）提高了3.75%。

從圖3可以看出，由于對(duì)中間層的梯度進(jìn)行了更為詳盡的分析，使得白盒攻擊更加有效。因此，從結(jié)果可以發(fā)現(xiàn)，黑盒攻擊不如參數(shù)優(yōu)化后的白盒攻擊的效果。但是，通過(guò)實(shí)驗(yàn)可知，在白盒攻擊時(shí)，太過(guò)頻繁地對(duì)相近層數(shù)進(jìn)行攻擊，會(huì)導(dǎo)致效果有所下降，這是因?yàn)閮蓚€(gè)相近層次之間的梯度會(huì)相互造成較大的影響。

5? ?結(jié)論（Conclusion）

大部分模型都存在一定的漏洞，可以根據(jù)模型對(duì)同一組數(shù)據(jù)的輸出不同，通過(guò)白盒攻擊或黑盒攻擊來(lái)改進(jìn)安全性。本文在Alexnet的基礎(chǔ)上提出了一種參數(shù)優(yōu)化的白盒攻擊方法，提高了攻擊的準(zhǔn)確度，改善了攻擊效果，充分挖掘出模型中的安全缺陷，發(fā)現(xiàn)模型中的可改進(jìn)之處，提升了模型的安全性。

參考文獻(xiàn)（References）

[1] 譚作文，張連福.機(jī)器學(xué)習(xí)隱私保護(hù)研究綜述[J].軟件學(xué)報(bào)，2020，31（7）：2127-2156.

[2] 姜妍，張立國(guó).面向深度學(xué)習(xí)模型的對(duì)抗攻擊與防御方法綜述[J].計(jì)算機(jī)工程，2021，47（1）：1-11.

[3] 陳宇飛，沈超，王騫，等.人工智能系統(tǒng)安全與隱私風(fēng)險(xiǎn)[J].計(jì)算機(jī)研究與發(fā)展，2019，56（10）：2135-2150.

[4] 余方超，方賢進(jìn)，張又文，等.增強(qiáng)深度學(xué)習(xí)中的差分隱私防御機(jī)制[J].南京大學(xué)學(xué)報(bào)（自然科學(xué)），2021，57（1）：10-20.

[5] BILOGREVIC I， HUGUENIN K， AGIR B， et al. A machine-learning based approach to privacy-aware information-sharing in mobile social networks[J]. Pervasive and Mobile Computing， 2016， 25：125-142.

[6] 劉?，u，陳紅，郭若楊，等.機(jī)器學(xué)習(xí)中的隱私攻擊與防御[J].軟件學(xué)報(bào)，2020，31（3）：866-892.

[7] 張潤(rùn)蓮，張瑞，武小年，等.基于混合相似度和差分隱私的協(xié)同過(guò)濾推薦算法[J].計(jì)算機(jī)應(yīng)用研究，2021，3（9）：1-7.

[8] 任奎，孟泉潤(rùn)，閆守琨，等.人工智能模型數(shù)據(jù)泄露的攻擊與防御研究綜述[J].網(wǎng)絡(luò)與信息安全學(xué)報(bào)，2021，7（1）：1-10.

[9] 陳楊，于守健.基于差分隱私的決策樹發(fā)布技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化，2017（3）：59-64.

[10] 劉俊旭，孟小峰.機(jī)器學(xué)習(xí)的隱私保護(hù)研究綜述[J].計(jì)算機(jī)研究與發(fā)展，2020，57（2）：346-362.

[11] 李欣姣，吳國(guó)偉，姚琳，等.機(jī)器學(xué)習(xí)安全攻擊與防御機(jī)制研究進(jìn)展和未來(lái)挑戰(zhàn)[J].軟件學(xué)報(bào)，2021，32（2）：406-423.

作者簡(jiǎn)介：

吳? 吉（1981-），女，本科，工程師.研究領(lǐng)域：信息安全，軟件開發(fā).

王月娟（1981-），女，碩士，工程師.研究領(lǐng)域：信息安全，軟件開發(fā).

景棟盛（1981-），男，碩士，高級(jí)工程師.研究領(lǐng)域：機(jī)器學(xué)習(xí)，網(wǎng)絡(luò)安全.