白祉旭，王衡軍，郭可翔

戰(zhàn)略支援部隊信息工程大學(xué)，鄭州 450001

隨著深度學(xué)習(xí)的崛起，人工智能迎來了新一輪的熱潮，在越來越多的領(lǐng)域中發(fā)揮著重要的作用，如計算機視覺、自然語言處理等。在大數(shù)據(jù)的支撐下，深度神經(jīng)網(wǎng)絡(luò)在圖像識別和目標檢測領(lǐng)域中擁有驚人的表現(xiàn)，使得大量基于深度學(xué)習(xí)的應(yīng)用在現(xiàn)實世界中廣泛投入使用，尤其是在很多與安全相關(guān)的環(huán)境中的實際應(yīng)用，如手機支付、自動駕駛汽車、無人機偵察等，深度神經(jīng)網(wǎng)絡(luò)的安全逐漸成為人工智能安全問題中研究的重點。

盡管深度神經(jīng)網(wǎng)絡(luò)在大多數(shù)分類任務(wù)中擁有良好的表現(xiàn)，但在面對對抗樣本時則顯得十分脆弱。對抗樣本是在數(shù)據(jù)集中通過故意添加細微擾動所形成的輸入樣本，這些樣本能夠誘導(dǎo)機器學(xué)習(xí)模型進行錯誤的分類，對模型的安全形成威脅。最新的研究表明，對抗樣本可以應(yīng)用于現(xiàn)實世界。例如，日常生活中使用對抗樣本面具偽裝機主身份，欺騙智能手機人臉識別系統(tǒng)，造成個人身份信息泄露和財產(chǎn)損失；交通出行中使用對抗樣本替代路邊的停車標志，誘導(dǎo)自動駕駛汽車對交通標志錯誤識別，引發(fā)嚴重的交通事故；軍事行動中，使用對抗樣本補丁作為迷彩圖案，添加到重要的軍事設(shè)施和作訓(xùn)服中，誘導(dǎo)敵方無人機偵察系統(tǒng)判斷錯誤，以達到擾亂敵方的目的。另一方面，對于模型設(shè)計者來說，對抗樣本可以作為評估模型安全性[1]和魯棒性的有效工具，通過對抗訓(xùn)練，能有效提升模型分類的正確率和安全性。

本文的主要貢獻是：一歸納總結(jié)現(xiàn)階段對抗樣本生成的研究工作，對其產(chǎn)生原因及原理進行詳細介紹；二將對抗樣本攻擊技術(shù)分為白盒攻擊[2]和黑盒攻擊[3]兩大類進行介紹，并總結(jié)分析其中典型方法的優(yōu)缺點；三設(shè)置實驗對典型對抗樣本生成方法進行復(fù)現(xiàn)，通過實驗結(jié)果對比，分析典型方法的優(yōu)劣及生成對抗樣本過程中面臨的問題。

1 對抗樣本的起源和基本原理

對抗樣本（adversarial examples）是指經(jīng)過故意添加擾動的能夠誘導(dǎo)分類模型產(chǎn)生錯誤判斷的輸入樣本。這類具有偽裝能力的樣本能夠利用模型自身的脆弱性對其進行攻擊，誘導(dǎo)模型將樣本以大概率分為錯誤的類。

1.1 對抗樣本的提出

2013年Szegedy等人[4]首次提出“對抗樣本”這一概念，對抗樣本利用難以察覺的擾動，使網(wǎng)絡(luò)的預(yù)測誤差最大化，導(dǎo)致網(wǎng)絡(luò)進行錯誤分類。這些“擾動”并非學(xué)習(xí)過程中的隨機干擾，而是人為構(gòu)造的能“欺騙”神經(jīng)網(wǎng)絡(luò)的擾動δ，如公式（1）：

式中，δ表示需要添加的擾動，C表示神經(jīng)網(wǎng)絡(luò)分類器，x表示原始圖像，I表示指定的類。由于‖‖δ2的最小值實際上是不容易計算的，因此引入損失函數(shù)將公式（1）變?yōu)楣剑?）：

式中，J表示損失函數(shù)，通過計算交叉熵實現(xiàn)。

1.2 對抗樣本產(chǎn)生的原因

對抗樣本出現(xiàn)之初，大家普遍認為模型的非線性是導(dǎo)致對抗樣本產(chǎn)生的直接原因[5]，直到后來，Goodfellow等人[6]證實模型在高維空間呈線性，在線性方向引入擾動能誘導(dǎo)模型分類出現(xiàn)明顯錯誤，即在圖像中添加的微小擾動，經(jīng)過高維空間的放大，使模型對圖像產(chǎn)生錯誤分類[7]。目前解釋對抗樣本攻擊能夠成功的觀點主要有三種：高維空間的線性模型解釋、數(shù)據(jù)流行中的低概率區(qū)域解釋和模型決策邊界解釋。

1.3 基本原理

1.3.1 神經(jīng)網(wǎng)絡(luò)基本原理

神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元組成的大型神經(jīng)網(wǎng)絡(luò)。人們提出的神經(jīng)元模型有很多，其中影響力最大的是1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts提出的M-P模型，如圖1所示。

圖1 人工神經(jīng)元M-P模型示意Fig.1 Schematic representation of artificial neuron M-P model

人工神經(jīng)元M-P模型的工作原理可表示為公式（3）：

其中，x(i)表示來自其他神經(jīng)元的輸入信息；ω(i)表示輸入信息x(i)對應(yīng)的連接系數(shù)值；θ表示閾值，模擬生物神經(jīng)元的興奮限度；f(·)表示激勵函數(shù)。模型學(xué)習(xí)的過程就是通過反向傳播不斷調(diào)整內(nèi)部參數(shù)，使得模型對輸入樣本的預(yù)測結(jié)果與樣本真實標簽最接近的過程。

1.3.2 對抗樣本基本原理

2014年，Goodfellow等人[6]提出對抗樣本的攻擊原理是利用神經(jīng)網(wǎng)絡(luò)的高維線性，使添加了“擾動”的輸入樣本，經(jīng)過高維空間中多個線性函數(shù)變換后，將導(dǎo)致函數(shù)結(jié)果發(fā)生巨大變化，最終造成模型錯誤分類，如公式（4）：

其中，x為原始樣本，xˉ表示對抗樣本，δ表示向輸入樣本中添加的擾動，ω表示高維空間中線性函數(shù)的權(quán)重值，維度越高，權(quán)重越大?？梢园l(fā)現(xiàn)：神經(jīng)網(wǎng)絡(luò)的維度越高，“擾動”經(jīng)過放大后的值ωTδ越大。

2 對抗樣本生成方法分類與總結(jié)分析

按照主流的分類方法可以將對抗樣本分為：白盒攻擊和黑盒攻擊兩類。白盒方法中設(shè)計者事先知道分類模型包括結(jié)構(gòu)、參數(shù)和權(quán)重等的全部信息。白盒方法產(chǎn)生的對抗樣本對特定模型攻擊效果好，但可遷移性較差。黑盒方法中設(shè)計者不掌握分類模型內(nèi)部結(jié)構(gòu)和參數(shù)屬性，黑盒方法根據(jù)不同模型的隱藏細節(jié)又分為輸出透明、標簽透明、查詢限制和完整的黑盒攻擊。

可以發(fā)現(xiàn)，使用以上標準進行分類并不能反映生成方法的全部細節(jié)，故引入二級交叉分類標準。Kaggle組織的NIPS大賽根據(jù)對抗樣本期望模型預(yù)測結(jié)果的不同，將對抗樣本分為無特定目標攻擊（Non-targeted Attack）[8]和特定目標攻擊（Targeted Attack）[9]。無特定目標攻擊方法產(chǎn)生的對抗樣本力求使得模型盡可能多地產(chǎn)生錯誤分類；特定目標攻擊方法生成的對抗樣本要求被分類為指定標簽，即該方法生成的對抗樣本需要使分類模型錯誤地將其分類到指定的分類中[10]。生成對抗樣本時，添加擾動的范圍也是人們關(guān)注的重點，故又可以將對抗樣本生成方法分為全像素添加擾動和部分像素添加擾動[11]。全像素添加擾動是無差異化地在圖像全部像素進行擾動添加，其側(cè)重于對抗性和可遷移性的提升。部分像素添加擾動則是要找到圖像中對輸出影響最大的部分像素點，其更注重精準高效。

綜上本文采用交叉分類的方法對對抗樣本生成方法進行劃分介紹，以白盒攻擊生成方法和黑盒攻擊生成方法作為大分類，再以特定目標攻擊、無特定目標攻擊和全像素添加擾動、部分像素添加擾動進行細分。如圖2。

2.1 白盒攻擊

2.1.1 FGSM

快速梯度符號法（Fast Gradient Sign Method）攻擊法由Goodfellow等人提出，其中“擾動”及對抗樣本的計算，如公式（5）和公式（6）：

其中，δ表示“擾動”；sign表示符號函數(shù)；x為原始數(shù)據(jù)，像素的值是[0，255，255]范圍內(nèi)的整數(shù)；ytrue表示原始數(shù)據(jù)x所對應(yīng)的正確標簽；?xJ(x,θ,ytrue)為模型的交叉熵損失函數(shù)；參數(shù)ε控制添加擾動的大小。在此基礎(chǔ)上，Miyato等人提出利用二范數(shù)歸一化方法算計擾動，如公式（7）：

FGSM作為對抗樣本生成方法中的元老，一直是從事對抗樣本研究人員最早接觸的方法之一，后來許多的對抗樣本生成方法都是在FGSM進行改進而得來的，其生成的對抗樣本具有方法簡單、可遷移性好的特點[12]。FGSM方法通常用于全像素添加擾動的非特定目標攻擊。

2.1.2 I-FGSM

在FGSM算法的基礎(chǔ)上，Kurakin等人[13]提出了迭代快速梯度符號法（Iterative Fast Gradient Sign Method），其對抗樣本計算，如公式（8）：

其中，x表示原始圖像，像素的值是[0，255，255]范圍內(nèi)的整數(shù)；ytrue是輸入樣本x對應(yīng)的正確標簽；?xJ(x,θ,ytrue)為交叉熵；Clip表示裁剪函數(shù)，其作用保證每輪迭代中在像素點上添加的擾動均不超出像素點的ε鄰域，且不會超過圖像最初定義的最大值255。I-FGSM方法是對FGSM方法的優(yōu)化，將一步梯度優(yōu)化為多步迭代，通過多步迭代計算得到的擾動更小更精確，所得到的對抗樣本對抗性更好也更加接近原始圖像，通常用于全像素添加擾動的非特定目標攻擊。

圖2 算法分類Fig.2 Algorithm classification

2.1.3 MI-FGSM

動量迭代快速梯度符號法（Momentum Iterative Fast Gradient Sign Method）由Dong等人[14]提出，引入動量迭代方法的對抗樣本計算，如公式（9）：

MI-FGSM方法是對I-FGSM方法的改進，通過引入動量，能夠有效避免陷入局部最優(yōu)，從而提高了對抗樣本的對抗性和可遷移性。MI-FGSM方法對白盒模型擁有更好的攻擊效果，對黑盒模型的攻擊成功率較FGSM及I-FGSM方法有明顯的提升，但實際的黑盒攻擊效果仍然一般，MI-FGSM方法通常用于全像素添加擾動的非特定目標攻擊。

2.1.4 DeepFool

基于梯度迭代法，Moosavi-Dezfooli等人[15]提出Deep-Fool對抗樣本生成方法，其對抗樣本的計算，如公式（11）：

迭代式中，擾動的計算變?yōu)楣剑?2）：

DeepFool方法與FGSM方法擁有同等對抗性時，對圖像添加的擾動更小，魯棒性也最好。DeepFool法通常用于全像素添加擾動的非特定目標攻擊。

2.1.5 C＆W

在總結(jié)前人對抗樣本生成方法優(yōu)點的基礎(chǔ)上，Carlini等人[16]提出一個對抗樣本里程碑式的生成方法，C&W方法。其對抗樣本計算，如公式（13）所示：

其中，t表示對抗樣本，x表示原始圖像，δ表示每輪迭代添加的擾動，D是距離度量函數(shù)，方法創(chuàng)新地引入f(t)函數(shù)，用以控制圖像在小范圍內(nèi)變化。

C&W方法分別使用I0、I2和I∞三種距離度量方法。I0在梯度下降法的基礎(chǔ)上引入迭代，通過數(shù)輪迭代篩選出所有對分類影響小的像素點進行舍棄，對余下的像素進行擾動處理，如公式（14）：得到的，參數(shù)ω控制擾動取最小值。I2通過參數(shù)調(diào)整，平衡樣本修改程度與像素數(shù)量，如公式（15）：

其中擾動通過計算

I∞限制了對原始圖像修改程度的上限如公式（16）：

為了使速度更快、梯度下降效果更好，變公式（16）為公式（17）：

C&W方法通過調(diào)節(jié)參數(shù)大小在白盒攻擊與黑盒攻擊之間切換，增強了對抗樣本的可遷移性，但生成過程中算法迭代次數(shù)過多，增加了系統(tǒng)成本。C&W法通常用于全像素添加擾動的特定目標攻擊。

2.1.6 ILCM

在BIM方法基礎(chǔ)上，Kurakin等人[17]提出Iteratice Least-Likely Class Method（ILCM）方法。其對抗樣本計算，如公式（18）：

其中，Clip表示修剪函數(shù)；α為步長，通常設(shè)定為1，表示在每輪迭代中僅修改一個像素點。ILCM方法將BIM方法中的無特定目標攻擊變化為特定目標攻擊，將公式（18）中的標簽ytrue改成了特定的攻擊類YLL，如公式（19）：

該方法首先計算出樣本與特定攻擊類之間的交叉熵，再計算每輪迭代中樣本沿梯度方向與交叉熵的差值，并利用修剪函數(shù)對結(jié)果進行處理，如公式（20）：

ILCM方法與FGSM相比，是通用計算梯度方向上對抗樣本與目標分類之間的交叉熵，然后進行迭代，使樣本標簽逐漸靠近目標分類，使最終得到的對抗樣本能夠誘導(dǎo)模型，將對抗樣本錯誤地分類為特定目標，其更側(cè)重于明確的目標。ILCM法通常用于全像素添加擾動的特定目標攻擊。

2.1.7 JSMA

基于深度神經(jīng)網(wǎng)絡(luò)分類原理，Papernot等人[18]提出JSMA對抗樣本生成方法進行特定目標攻擊，首先計算前向?qū)?shù)，如公式（21）所示：

F(·)表示神經(jīng)網(wǎng)絡(luò)函數(shù)，X表示輸入樣本，xi的下標i表示第i個維度。神經(jīng)網(wǎng)絡(luò)分類的原理，如公式（22）：

樣本X的真實分類結(jié)果為j，希望模型將其分類為t，如公式（23）：

計算前向?qū)?shù)與傳統(tǒng)方法計算交叉熵的方式不同，前向?qū)?shù)是由模型確定的而非損失函數(shù)，該生成方法更注重特征的權(quán)重，運用遞歸方法將隱藏層進行區(qū)分[19]，如公式（24）：

其中，Hk(X)表示隱藏層的輸出，fk,p表示激勵函數(shù)，其中下標k表示神經(jīng)網(wǎng)絡(luò)的第k層數(shù)，下標p表示該層中的第p個神經(jīng)元。利用前向?qū)?shù)，找到輸入樣本與目標分類的顯著性映射關(guān)系，從而，挑選出權(quán)重大的像素點添加擾動，如公式（25）：

其中，Xi表示樣本X的第i個特征。利用前向?qū)?shù)量化輸入樣本中每個特征與目標分類的相關(guān)程度。與前幾各方法相比，JSMA方法使用顯著圖可以有效地剔除與目標類別不相關(guān)的特征[20]，有效地節(jié)約了系統(tǒng)資源，提高了對抗樣本圖像的可觀性。JSMA法通常用于部分像素添加擾動的特定目標攻擊。

2.2 黑盒攻擊

2.2.1 Curls&Whey

Curls&Whey由Shi等人[21]提出，其對抗樣本計算，如公式（26）所示：

其中，x表示原始圖像，表示第t輪迭代得到的對抗樣本；Clip表示裁剪函數(shù)；表示替代模型中的交叉熵；表示目標模型的交叉熵；gt+1表示下一輪迭代的梯度。Curls&Whey方法是在MI-FGSM方法的基礎(chǔ)上，通過引入卷曲迭代法提高生成樣本的可遷移性，與MI-FGSM方法相比，黑盒攻擊效果更好，可遷移性更強，但占用系統(tǒng)資源較多[22]，Curls&Whey方法通常用于全像素添加擾動的無特定目標攻擊。

2.2.2 UPSET AND ANGRI

UPSET AND ANGRI方法由Sarkar等人[23]提出，表示UPSET和ANGRI兩種面向黑盒攻擊的對抗樣本生成方法。UPSET方法使用對抗生成網(wǎng)絡(luò)R生成特定目標攻擊的對抗樣本，如公式（27）：

其中，x′表示對抗樣本；U表示UPSET網(wǎng)絡(luò)；t表示特定目標類別；R表示對抗生成網(wǎng)絡(luò)，需要在R網(wǎng)絡(luò)輸出上添加參數(shù)s，通常設(shè)置為2，保證網(wǎng)絡(luò)輸出在[-1，1]，訓(xùn)練過程如圖3。

圖3 UPSET訓(xùn)練過程圖Fig.3 UPSET training process diagram

其中，C表示分類器；表示誤分類損失函數(shù)，如果模型不能對目標類t進行正確預(yù)測，則懲罰生成網(wǎng)絡(luò)；表示損失函數(shù)，用于控制添加擾動的大小，限制輸入圖像與輸出圖像的相似程度；ω表示權(quán)重，用來權(quán)衡生成的對抗實例的逼真程度和對模型的對抗性。ANGRI方法與UPSET方法一同提出，該方法添加的擾動高度依賴原始圖像，針對性強[24]，但可遷移性差。A表示ANGRI網(wǎng)絡(luò)，訓(xùn)練流程如圖4。

圖4 ANGRI訓(xùn)練過程圖Fig.4 ANGRI training process diagram

UPSET AND ANGRI方法通常用于全像素添加擾動的特定目標攻擊。

2.2.3 LaVAN

LaVAN方法由Karmon等人[25]提出，使用對抗補丁的攻擊方式，將擾動添加到圖像中一個閉合的小區(qū)域內(nèi)，且不對添加擾動的大小進行限制。LaVAN方法與Printable Adversarial Patches方法相似，不同的是打印對抗補丁方法主要應(yīng)用于實際生活中[26]，對抗圖像的計算，如公式（28）：

其中，X表示對抗樣本；⊙表示像素乘積；δ表示攻擊噪聲。另一方面，創(chuàng)造了一個新的對抗目標，將不同類別的特征在空間上進行區(qū)別，并加速函數(shù)收斂，如公式（30）：

其中，M(·)表示softmax層之前的logits向量。LaVAN法與傳統(tǒng)基于梯度迭代的對抗樣本生成方法不同的是無須計算擾動，采用直接添加補丁的方式生成對抗樣本，通常用于部分像素添加擾動的無特定目標攻擊。

2.2.4 PS-GAN

感知敏感性生成對抗網(wǎng)絡(luò)（PS-GAN）方法由Liu等人[27]提出，該方法將注意力機制融入其中，實現(xiàn)補丁到補丁的轉(zhuǎn)換，其對抗樣本計算，如公式（31）：

其中，G(δ)表示更新后的補丁，M(x)表示原始圖像中適合添加補丁的位置，為了使圖像質(zhì)量更好，對GAN網(wǎng)絡(luò)進行訓(xùn)練，如公式（32）：

利用GAN網(wǎng)絡(luò)二范數(shù)法，使新生成的補丁與老補丁之間距離盡可能得小，如公式（33）所示：

在此基礎(chǔ)上，引入attention機制，如公式（34）：

最后將公式（32）、（33）和（34）的結(jié)果進行組合，固定G模型，對D模型訓(xùn)練，得到最終塊生成式如公式（35）：

PS-GAN法通常用于部分像素添加擾動的特定目標攻擊。

2.2.5 ONE-PIXEL

單像素攻擊方法由Su等人[28]提出，傳統(tǒng)對抗樣本生成方法大都在圖像的全部像素點添加擾動，容易造成圖像質(zhì)量嚴重下降[29]，ONE-PIXEL方法提出僅對單個像素點或少部分像素點添加擾動，生成對抗樣本。該方法基于差分進化法，其對抗樣本計算，如公式（36）：

其中，f表示分類器；d表示一個很小的數(shù)，單個像素攻擊時，d的值置為1。計算添加的擾動時，該方法采用編碼處理，將擾動編成一個陣列，使用差分進化優(yōu)化方法處理擾動陣列。每個擾動陣列構(gòu)成的元組都包含五個元素，表示擾動的位置信息和色彩信息（RGB），最后對元組進行迭代，如公式（37）：

其中，Xi表示待選元素；F通常置為0.5；g表示生成指標；r表示隨機數(shù)組。每個待選元素生成后根據(jù)指數(shù)值與其對應(yīng)的父代元素進行競爭，優(yōu)勝元素進入下一個迭代中，通過數(shù)輪迭代，生產(chǎn)最終的擾動結(jié)果。ONE-PIXEL法通常用于部分像素添加擾動的無特定目標攻擊。

2.2.6 Universal Adversarial

Universal Adversarial方 法 由Moosavidezfooli等人[30]提出，是一種通用性擾動的生成方法。其對抗樣本計算，如公式（38）：

利用Pp,ε(v+Δvi)對擾動進行更新，當向量組Xv={X1+v,X2+v,…,Xm+v}超過目標閾值時停止迭代，如公式（39）：

Universal Adversarial方法通常用于部分像素添加擾動無特定目標攻擊。

2.2.7 Adversarial Patch

Adversarial Patch由Brown等人[31]提出，補丁計算，如公式（40）：

其中，A(p,x,l,t)表示補丁的運算符；x表示原始圖像，t表示變換方式，p表示圖像所添加的補丁，l表示補丁添加的位置，Adversarial Patch法通常用于部分像素添加擾動的特定目標攻擊。

2.2.8 Printable Adversarial Patches

Printable Adversarial Patches方法由Thys等人[32]提出，是一種生成對抗樣本斑塊的方法，如公式（41）～（43）：

Printable Adversarial Patches法通常用于部分像素添加擾動的特定目標攻擊。

2.2.9 SI-adv

SI-adv攻擊方法由Croce等人[33]提出，是一種基于高度稀疏算法的對抗樣本生成方法。其對抗樣本計算，如公式（44）：

SI-adv方法通常用于部分像素添加擾動的無特定目標攻擊。

表1 對抗樣本生成方法比較Table 1 Comparison of antagonistic sample generation methods

2.3 總結(jié)分析

通過對對抗樣本生成技術(shù)的整理總結(jié)分析可以發(fā)現(xiàn)，對抗樣本生成技術(shù)基本上都是基于梯度方法，衡量一個對抗樣本生成方法的好壞可以從生成時間、可遷移性、攻擊模型的成功率及占用系統(tǒng)資源幾個方面考慮。FGSM通常作為大多數(shù)對抗樣本生成方法好壞的比較對象，通過對老方法的改進以獲得攻擊效果更好，生成時間更短的對抗樣本生成方法。按照方法提出的先后順利，本文選取典型的對抗樣本生成方法進行分析比較比較如表1。

3 實驗復(fù)現(xiàn)及性能比較

本章分別挑選典型對抗樣本生成方法中基于梯度攻擊的FGSM、I-FGSM和MI-FGSM方法進行實驗復(fù)現(xiàn)，以對抗樣本攻擊模型的成功率作為評價標準，分析三種對抗樣本生成方法的優(yōu)缺點。

3.1 模型介紹

實驗選取殘差網(wǎng)絡(luò)ResNet-152和卷積網(wǎng)絡(luò)Inceptionv3作為對抗樣本的攻擊模型。ResNet因在2015年ImageNet比賽分類任務(wù)上獲得第一名而被大家熟知。ResNet152模型共有152層，通過抑制梯度消散和網(wǎng)絡(luò)退化加速訓(xùn)練收斂，有效解決了層數(shù)多導(dǎo)致收斂慢的問題，使網(wǎng)絡(luò)的層數(shù)得以增加。Inception由Google提出，用于實現(xiàn)CNN模型在增加網(wǎng)絡(luò)深度的同時增加模型的分類性能。Inception-v3模型共46層，由11個Inception模塊組成，每個Inception模塊中不同的卷積層通過并聯(lián)方式結(jié)合在一起。

3.2 數(shù)據(jù)集介紹

對抗樣本實驗經(jīng)常用到的數(shù)據(jù)集主要有兩類：MNIST數(shù)據(jù)集和ImageNet數(shù)據(jù)集。MNIST[34]數(shù)據(jù)集來自美國國家標準與技術(shù)研究所，由250個不同人手寫的數(shù)字構(gòu)成，包含60 000張訓(xùn)練圖片和10 000張測試圖片，每張圖片包含28×28個像素。MNIST數(shù)據(jù)集把代表一張圖片的二維數(shù)據(jù)展開成一個長度為784的向量，在MNIST的訓(xùn)練集中是一個形狀為[60 000，784]的張量，第一個維度表示索引圖片，第二個維度表示索引圖片中的像素點。ImageNet數(shù)據(jù)集[35]由李飛飛等人提出，是根據(jù)WordNet層次結(jié)構(gòu)組織的圖像數(shù)據(jù)集，旨在為世界各地的研究人員提供易于訪問的圖像數(shù)據(jù)庫。目前ImageNet中共有4 197 122幅圖像，分為21 841個類別，包括：兩棲動物、鳥、魚、花、食物、家具、植物工具和人等。

3.3 實驗設(shè)置及結(jié)果對比

實驗?zāi)Ｐ瓦x取已經(jīng)訓(xùn)練好的殘差網(wǎng)絡(luò)ResNet152模型和卷積網(wǎng)絡(luò)Inception-v3模型，數(shù)據(jù)集隨機選擇ImageNet數(shù)據(jù)集中的1 000個不同類別的圖片。分別取不同的擾動值，由FGSM、I-FGSM和MI-FGSM三種方法分別生成對抗樣本，對兩個模型進行攻擊測試，選定對抗樣本攻擊模型的成功率作為評價標準。

ResNet152模型中，取不同擾動值的對抗樣本的攻擊成功率，如表2和圖5。

表2 Res-152模型攻擊成功率Table 2 Res-152 model attack success rates

圖5 Res-152下成功率對比圖Fig.5 Comparison of success rate under Res-152

Inception-v3模型中，取不同擾動值的對樣本的攻擊成功率，如表3和圖6。

表3 Inc-v3模型攻擊成功率Table 3 Inc-v3 model attack success rates

圖6 Inc-v3下成功率對比圖Fig.6 Comparison of success rate under Inc-v3

從實驗結(jié)果可以看出，同一種方法生成的對抗樣本對不同模型的攻擊成功率不同，同一批對抗樣本對卷積網(wǎng)絡(luò)的攻擊成功率要明顯好于殘差網(wǎng)絡(luò)。同一個模型中，三種方法生成的對抗樣本攻擊效果也不相同。卷積網(wǎng)絡(luò)中I-FGSM和MI-FGSM方法生成的對抗樣本的攻擊效果相差不多，都要明顯好于FGSM方法生成的對抗樣本；在殘差網(wǎng)絡(luò)中MI-FGSM方法生成的對抗樣本攻擊成功率要明顯優(yōu)于其余兩種方法生成對抗樣本，I-FGSM方法生成的對抗樣本的攻擊成功率最低。

從圖5和圖6可以清楚看到，同一模型下，擾動大小在0到10區(qū)間內(nèi)，對抗樣本的攻擊成功率隨著擾動值的增大都有明顯的增強；擾動值大于10后，殘差網(wǎng)絡(luò)中I-FGSM方法生成的對抗樣本受擾動的影響已經(jīng)很??；卷積網(wǎng)絡(luò)中，I-FGSM和MI-FGSM兩種方法生成的對抗樣本的攻擊成功率在擾動值為5時接近98%，擾動值大于5時，兩種方法生成的對抗樣本的成功率受擾動值的影響已經(jīng)非常小了。

如圖7所示，擾動值取10時，第一行圖片是MI-FGSM方法生成的對抗樣本圖片的前后對比，第二行圖片是FGSM方法生成的對抗樣本圖片的前后對比。肉眼觀察下，MI-FGSM方法生成的對抗樣本圖像比FGSM方法生成的對抗樣本圖像要更加細膩，在添加擾動相同的情況下相較于FGSM方法，MI-FGSM方法生成的對抗樣本質(zhì)量更好，更容易被人接受。

圖7 對抗樣本肉眼識別對比Fig.7 Visual recognition contrast of adversarial examples

3.4 實驗中遇到的問題

實驗結(jié)果對比可以發(fā)現(xiàn)，同一方法生成的對抗樣本對不同模型的攻擊效果相差較大，對卷積網(wǎng)絡(luò)模型的攻擊效果要明顯好于殘差網(wǎng)絡(luò)模型。實際應(yīng)用中大家關(guān)心更多的是對抗樣本的魯棒性和可遷移性，對抗樣本生成技術(shù)提出之初，大多基于快速梯度法，該方法生成的對抗樣本簡單快速，但其對抗性與可遷移性都相對較差?，F(xiàn)實場景中存在各種各樣的干擾，對抗樣本不能只在理想環(huán)境中運用，因此對抗樣本的魯棒性是制約未來對抗樣本發(fā)展和評估模型穩(wěn)健性的一個關(guān)鍵指標；同樣對抗樣本的可遷移性對實際應(yīng)用同樣重要，僅能對單一模型進行攻擊的對抗樣本實際應(yīng)用價值一般不高，因此增強對抗樣本的可遷移性，也是對抗樣本發(fā)展的一個大趨勢。

4 對抗樣本技術(shù)應(yīng)用和發(fā)展展望

隨著對對抗樣本研究的深入，越來越多的對抗樣本生成方法被提出，雖然抗攻擊對深度神經(jīng)網(wǎng)絡(luò)造成了很大的安全威脅，但其同樣也可作為衡量模型魯棒性與可靠性的有效工具，且攻擊與防御是兩個相互促進的過程。通過對模型進行對抗訓(xùn)練，能有效提升模型的防御能力。此外，研究對抗攻擊對提升模型的可解釋性有著重要的意義。

4.1 對抗訓(xùn)練

面對對抗樣本的攻擊，可采用多種方法改善模型的魯棒性，其中最直接的防御方法是進行對抗訓(xùn)練，對抗訓(xùn)練是指構(gòu)造含有對抗樣本的數(shù)據(jù)集作為輸入樣本，對模型進行訓(xùn)練[36]，訓(xùn)練過程中不斷調(diào)整模型的連接結(jié)構(gòu)和內(nèi)部參數(shù)，使經(jīng)過訓(xùn)練后的模型能夠檢測出對抗樣本并對其進行正確分類，以達到增強模型安全性和魯棒性的目的[37]。Tramèr等人[38]提出了利用集成對抗訓(xùn)練提高模型的魯棒性，其核心思想是使用針對多個模型生成的對抗樣本，構(gòu)成集成對抗訓(xùn)練集，對單個模型進行對抗訓(xùn)練，從而得到一個更加魯棒的分類器。王丹妮等人[39]提出了一種綜合高斯增強和迭代攻擊ILLC（Iteration Least-Likely Class）的對抗訓(xùn)練防御方法GILLC（Gaussian Iteration Least-Likely Class）。該方法首先在純凈樣本中加入高斯擾動，以增強深度學(xué)習(xí)模型泛化能力。隨后使用ILLC產(chǎn)生的對抗樣本進行對抗訓(xùn)練，近似解決對抗訓(xùn)練的內(nèi)部最大化問題。經(jīng)過在MNIST數(shù)據(jù)集上的實驗驗證，可以證明：對抗性訓(xùn)練能夠有效提高模型的魯棒性[40]。

4.2 模型解釋

《人工智能安全白皮書》指出，深度神經(jīng)網(wǎng)絡(luò)因其算法不可解釋性、數(shù)據(jù)依賴性強等局限性問題導(dǎo)致一系列安全風(fēng)險。神經(jīng)網(wǎng)絡(luò)有三個顯著的特點：一是神經(jīng)網(wǎng)絡(luò)擁有大量的神經(jīng)元和參數(shù)；二是神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分層，擁有大量的隱含層；三是神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中所提取到的特征對應(yīng)的參數(shù)是模型自動生成的，其工作原理無法解釋。由于神經(jīng)網(wǎng)絡(luò)的這些特點使其不具有可解釋性，帶來的直接影響就是無法針對神經(jīng)網(wǎng)絡(luò)進行優(yōu)化。董胤蓬等人[41]提出利用特征表示一致性損失的對抗訓(xùn)練方法優(yōu)化深度神經(jīng)網(wǎng)絡(luò)模型，以提升模型可解釋性。實驗結(jié)果表明該訓(xùn)練方法能夠增加模型內(nèi)部的特征表示與人類理解的語義概念的一致性，從而增強深度神經(jīng)網(wǎng)絡(luò)的可解釋性。

4.3 發(fā)展展望

對抗樣本技術(shù)未來可能的發(fā)展至少應(yīng)包括以下3個方面：一是量化對抗樣本的可遷移性和魯棒性的評價指標，設(shè)計實現(xiàn)對抗樣本可遷移性與魯棒性的定量計算方法，以此實現(xiàn)對抗樣本的可遷移性與魯棒性的定量提高。二是設(shè)計能夠自動完成對抗樣本生成的神經(jīng)網(wǎng)絡(luò)模型并控制其系統(tǒng)消耗，例如，現(xiàn)階段對抗樣本生成方法多基于梯度攻擊，后續(xù)關(guān)于生成對抗樣本的研究可以設(shè)計一個類似GAN的神經(jīng)網(wǎng)絡(luò)模型，將需要攻擊的目標模型作為GAN模型的輸入，對抗樣本作為模型的輸出，利用模型自動生成符合對抗攻擊要求的對抗樣本。三是引入對抗樣本的檢測技術(shù)。例如，作為一種防御手段，在網(wǎng)絡(luò)模型中引入對抗樣本檢測機制，在神經(jīng)網(wǎng)絡(luò)對樣本進行分類前先對其進行對抗樣本檢測，通過檢測將其中的對抗樣本進行剔除或分配“對抗樣本”標簽。

5 結(jié)語

隨著人工智能技術(shù)的發(fā)展，現(xiàn)代幾乎各種技術(shù)的發(fā)展都涉及人工智能技術(shù)，“對抗樣本”作為評估模型安全性的重要工具，逐漸成為人工智能安全領(lǐng)域的研究熱點。研究對抗樣本的生成與攻擊能夠有效提升模型的可靠性與可解釋性，增強模型的防御能力。本文以對抗樣本生成技術(shù)為主線，主要介紹了對抗樣本的概念和典型生成方法。通過實驗方法對經(jīng)典對抗樣本生成方法進行復(fù)現(xiàn)，結(jié)合實驗結(jié)果對FGSM、I-FGSM和MI-FGSM三種對抗樣本生成方法進行分析，比較幾種方法的優(yōu)劣，并探討了對抗樣本的應(yīng)用及未來發(fā)展方向，為后續(xù)研究提供思路。