章 進，李 琦

(南京郵電大學 計算機學院，江蘇 南京 210023)

0 引 言

目前，深度學習在許多領(lǐng)域取得了迅猛的發(fā)展。例如：機器視覺[1-2]、語音識別[3]、自然語言處理[4]、惡意軟件檢測[5]等，甚至一度超過了人類的水平。但是神經(jīng)網(wǎng)絡(luò)與其他系統(tǒng)一樣存在安全性和魯棒性的問題。通過添加一些精心設(shè)計的噪聲到圖片上，可以使得深度神經(jīng)網(wǎng)絡(luò)給出置信度非常高的錯誤的預測，然而這些噪聲對于人類來說是不可見的。添加了這些噪聲的圖片就稱之為對抗樣本[6]，對應(yīng)的攻擊稱之為對抗攻擊。在實際生活中，深度學習的部署需要較高的安全性，例如人臉識別[7]、自動駕駛[8-9]等，因此研究強有力的對抗攻擊算法，對于理解深度網(wǎng)絡(luò)內(nèi)在的脆弱性，進一步提升模型的魯棒性和安全性就變得非常有意義。

在探索深度學習可解釋性的過程中，Christian Szegedy等人[6]提出了對抗樣本(adversarial examples)的概念，即在數(shù)據(jù)集中通過添加細微的擾動所形成的輸入樣本，將導致模型以高置信度給出一個錯誤的輸出。他們發(fā)現(xiàn)許多深度學習模型，包括卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)對于對抗樣本都具有極高的脆弱性。同時，對抗樣本具有遷移性，很多情況下，在訓練集的不同子集上訓練得到的網(wǎng)絡(luò)架構(gòu)不同的模型都會對同一個對抗樣本做出錯誤的分類。根據(jù)目標模型的架構(gòu)和參數(shù)是否已知可以將對抗攻擊分為：白盒攻擊和黑盒攻擊。最近幾年，有許多的攻擊算法相繼提出，其中主要的是基于梯度的攻擊算法。這些算法可以被進一步地劃分為單步的和多步的。Goodfellow等人[10]指出神經(jīng)網(wǎng)絡(luò)對對抗樣本表現(xiàn)脆弱性的原因是神經(jīng)網(wǎng)絡(luò)的線性性，與早期所認為的非線性和過擬合有所不同，并提出了一種快速生成對抗樣本的方法(fast gradient sign method，F(xiàn)GSM)，這個算法是單步的并且具有較高的遷移性。Kurakin等人[11]將FGSM進一步改進，提出了多步的迭代版本的FGSM(iterative fast gradient sign method，I-FGSM)，這個算法進一步提升了白盒攻擊的成功率，但是對于目標模型產(chǎn)生了過擬合，遷移性較差。為了進一步提升攻擊成功率和遷移性，Dong等人[12]將動量引入到I-FGSM，提出了(momentum iterative fast gradient sign method，MI-FGSM)算法。該算法可以有效避免震蕩，穩(wěn)定對抗樣本更新方向，加速逼近最優(yōu)值。之后，Jiadong Lin等人[13]認為MI-FGSM算法使得梯度不斷累積，無限制加速，可能會錯過最優(yōu)值，將Nesterov集成到了MI-FGSM，提出了(Nesterov-momentum iterative fast gradient sign method，NI-FGSM)算法。該算法在每次對抗樣本更新的時候粗略地估算下一次的位置，達到及時減速的目的，來避免梯度更新的太快。

由于之前的對抗樣本生成算法可能會陷入局部最優(yōu)值的情況，需要一種方法來有效地評估樣本的梯度。Sundararajan等人[14]認為對于非線性深度網(wǎng)絡(luò)，輸入對于輸出的梯度很容易飽和，導致一個重要的輸入可能會有一個很小的梯度，并提出積分梯度(integrated gradients)這一算法。該算法通過在數(shù)據(jù)點周圍間隔小范圍的均勻采樣，并對這些采樣的數(shù)據(jù)進行梯度計算，最后將這些梯度進行累加，用來表示當前樣本的梯度。用這個集成的梯度更好地捕獲了輸入對于輸出的重要性。受到這種方法的啟發(fā)，該文將間隔小范圍的均勻采樣變?yōu)榘凑臻g隔指數(shù)增長范圍進行采樣，從而避免采樣次數(shù)過多所帶來的計算消耗和大量無用的相似樣本采樣。同時，將采樣的樣本用于損失函數(shù)的計算，這樣做不僅考慮了原始樣本的損失同樣考慮了當前樣本線性比例上的損失，可以看作是在當前樣本上的損失的一個集成，將其稱之為積分損失(integrated loss)。在此基礎(chǔ)上提出了積分損失快速梯度符號法(integrated loss fast gradient sign method，IL-FGSM)。該算法利用積分損失作為優(yōu)化的目標函數(shù)，一定程度上避免了梯度飽和的情況，從而更好地達到全局最優(yōu)值。實驗結(jié)果表明，IL-FGSM效果較好，相比于基線方法提升了10%～20%的攻擊成功率。

1 相關(guān)知識

1.1 符號說明

神經(jīng)網(wǎng)絡(luò)是一個函數(shù)F(x)=y，接受一個輸入x∈Rn，產(chǎn)生一個輸出y∈Rm。模型F也隱式地包含一些模型參數(shù)θ。該文重點研究了用作m類分類器的神經(jīng)網(wǎng)絡(luò)。使用softmax函數(shù)計算網(wǎng)絡(luò)的輸出，該函數(shù)確保輸出向量y滿足0≤yi≤1，y1+…+ym=1。因此，輸出向量y被視為概率分布，即yi被視為輸入x具有類別i的概率。分類器將C(x)=argmaxF(x)i作為輸入x的標簽。設(shè)C*(x)為x的正確標簽。softmax函數(shù)的輸入稱為logits。定義F為包含softmax函數(shù)的全連接神經(jīng)網(wǎng)絡(luò)，Z(x)=z為除了softmax之外的所有層的輸出，所以z為softmax的輸入，即logits，則：

F(x)=softmax(Z(x))=y

1.2 對抗樣本

Szegedy等人[6]首先指出了對抗樣本的存在：給定有效的輸入x和目標t≠C*(x)，通常可以找到類似的輸入x'，使得C(x')=t，但x，x'根據(jù)某種距離度量是接近的。樣本x'具有這個屬性被稱為有目標的對抗樣本。相反是無目標的對抗樣本,只尋找輸入x'，滿足C(x')≠C(x)，并且x，x'很接近，而不是將x分類為給定的目標類別。因此，無目標攻擊比起有目標攻擊實施起來更加容易。

2 白盒攻擊算法

研究者們提出了許多的方法來生成對抗樣本，這里進行一個簡要的介紹。

2.1 I-FGSM & PGD

由于FGSM是在梯度的符號方向上進行一次的單個步長ε的擾動，更新生成的對抗樣本擾動強度較大，Kurakin等人[11]提出了基礎(chǔ)迭代法I-FGSM。該算法采用多個較小的步長α更新優(yōu)化擾動強度，同時將結(jié)果裁剪到約束范圍ε，產(chǎn)生的對抗樣本攻擊能力更強。

Madry等人[15]提出了梯度投影下降方法(projected gradient descent，PGD)，一個更強的FGSM方法的變種，主要思想是在更新對抗樣本前，使用一個隨機的起點作為對抗樣本的初始值。

2.2 MI-FGSM & NI-FGSM

為了解決I-FGSM的遷移性較差的問題，Yong等人[12]提出了動量迭代快速梯度符號法(MI-FGSM)。該方法將動量項加入到攻擊的過程中，來穩(wěn)定的更新方向，避免了迭代過程中可能出現(xiàn)的梯度更新震蕩和落入較差的局部最優(yōu)值。更新步驟類似于I-FGSM，替換的公式如下：

其中，μ是動量項衰減因子，通常設(shè)置為1；g0=0，gn是第n次的搜集的梯度。

Lin等人[13]利用Nesterov來加速梯度下降并穩(wěn)定梯度更新方向，在每次計算梯度前，提前使用下一次的對抗樣本作為當前對抗樣本，提出了NI-FGSM算法，公式如下：

2.3 DIM & TIM

Xie等人[16]將輸入多樣性加入對抗樣本的生成過程，進一步改善了對抗樣本的遷移性，提出了DIM(diverse input method)算法。DIM的更新步驟和I-FGSM相似，具有如下的替換：

其中，p是概率值，表示有p的概率使用這個隨機變換函數(shù)，p的概率保持原始的輸入。這樣做的目的是為了在不減少白盒攻擊成功率的情況下，進一步提升黑盒攻擊的成功率。通常設(shè)置p=0.5。

他們又將DIM和MI-FGSM整合到一起提出了M-DI2-FGSM，直覺上，動量和多樣性輸入是兩個完全不同的方式來緩解過擬合的現(xiàn)象，通過將它們自然地結(jié)合到一起形成一個更強的攻擊?？傮w上的更新過程和MI-FGSM相似，其中梯度的更新替換如下：

由于DIM是在單個樣本上進行的優(yōu)化擾動，Dong等人[17]在計算當前對抗樣本時，對該樣本進行一系列的圖像變換操作，形成一個表示當前對抗樣本的集合，用該集合來優(yōu)化對抗擾動，由于計算效率的原因，他們進一步提出了TIM(translation-invariant method)。具體的，通過將沒有變換的原始圖片和一個內(nèi)核矩陣(通常為高斯核)進行卷積操作，對梯度進行高斯模糊，以此來增加對抗樣本的魯棒性。DIM和TIM都是增加對抗樣本遷移性的方法，通過將這兩個方法結(jié)合到一起是目前有效的增加對抗樣本遷移性的方法。

3 IL-FGSM & ENS-IL-FGSM

這里首先介紹積分梯度的概念，然后給出所提方法IL-FGSM的定義。

3.1 Integrated Gradients

為了有效評估模型輸入對于輸出的梯度，Sundararajan等人[14]提出了積分梯度(integrated gradients)這一算法。該算法初始時輸入一個零排列的矩陣，隨后讓輸入數(shù)據(jù)逐步向測試的目標數(shù)據(jù)轉(zhuǎn)變，以此通過模型輸出的變化反過來研究輸入對于輸出的影響，有效估計了模型輸入對于輸出的影響程度，一定程度上避免了輸入對于輸出的過飽和情況。具體的公式如下：

Xbaseline在他們的設(shè)置中，對于圖片是純黑的圖片，對于文本數(shù)據(jù)是全為零的嵌入向量。s是估計X的積分梯度需要計算的采樣總數(shù)。

3.2 IL-FGSM

基于積分梯度算法，提出了積分損失快速梯度符號法IL-FGSM。該算法將積分損失(integrated loss)作為它的損失函數(shù)，替換了原本的對抗樣本生成算法中的單一的損失，一定程度上避免由單一損失計算出來的梯度出現(xiàn)飽和的現(xiàn)象，更容易地估算出當前樣本對于模型輸出的梯度，從而更好地達到全局最優(yōu)值。

具體的，在每次的迭代過程中，IL-FGSM依靠當前樣本的積分損失來更新輸入的圖片：

3.3 ENS-IL-FGSM

同時攻擊多個模型，稱為集成攻擊。與攻擊單個模型相比，同時攻擊多個模型，可以顯著提高對抗樣本的遷移性。集成攻擊的思想十分直觀，如果一個對抗樣本能同時攻擊多個模型，那么它很可能對其他模型仍具有攻擊性。

采用攻擊多個模型的logits集成，由于logits捕捉概率預測之間的對數(shù)關(guān)系，因此由logits融合的模型集合匯集了所有模型的精細細節(jié)輸出，這些模型的脆弱性很容易被發(fā)現(xiàn)。具體的，攻擊K個模型：

L(X,y;θ)=-1y·log(softmax(Z(x)))

其中，-1y是標簽y的one-hot編碼的向量。將攻擊多個模型的策略集成到提出的方法IL-FGSM，并命名為ENS-IL-FGSM(ensemble integrated loss fast gradient sign method)。相較于IL-FGSM，ENS-IL-FGSM具有如下的替換：

4 實 驗

通過實驗來證明所提IL-FGSM方法和ENS-IL-FGSM的優(yōu)勢。首先，提供了實驗的相關(guān)設(shè)置，然后，比較了積分損失的采樣策略，接著，分析了積分損失的采樣次數(shù)問題。之后，將該方法和幾個基線方法在常規(guī)訓練和對抗訓練的模型上進行了比較。最后，將增加對抗樣本遷移性的方法與該方法結(jié)合起來，與基線方法進行了進一步的比較。

4.1 設(shè) 置

數(shù)據(jù)集：攻擊一個不能將原始的圖片正確分類的分類器是沒有意義的，所以隨機選擇了ILSVRC2012驗證集上的1 000張屬于1 000個類別的圖片，這些圖片都可以被本實驗的所有分類器正確分類。

網(wǎng)絡(luò)：考慮了7個模型，其中4個是常規(guī)訓練的模型：Inception-v3(Inc-v3)[19],Inception-v4(Inc-v4),Inception-Resnet-v2(IncRes-v2)[20]和Resnet-v2-101(Res-101)[21]，3個是對抗訓練的模型：Inc-v3-ens3，Inc-v3-ens4和IncRes-v3-ens[22]。

超參數(shù)：對于網(wǎng)絡(luò)的超參數(shù)，與Dong等人[12]的設(shè)置相同，最大的擾動ε=16，迭代次數(shù)T=10，步長α=1.6。對于MI-FGSM，采用默認的衰減參數(shù)μ=1.0。對于DI-FGSM，變換概率p=0.5。對于TIM，采用高斯核，內(nèi)核大小設(shè)置為7×7。

4.2 均勻采樣OR指數(shù)采樣

在計算Integrated Loss的過程中，對于同一個樣本計算其IL損失，可以分為兩種方式：均勻采樣和指數(shù)采樣。均勻采樣指的是將樣本在全為零的黑色的圖片到該樣本空間等比例的進行樣本的損失計算然后集成。指數(shù)采樣指的是將樣本在全為零的黑色的圖片到該樣本空間進行間隔指數(shù)比例的樣本損失計算然后集成。

將IL-FGSM分別在這兩種采樣策略下進行了比較。具體的，使用IL-FGSM在這兩種策略下，設(shè)置采樣次數(shù)都為5，攻擊常規(guī)訓練的模型，這些模型包括(Inc-v3，Inc-v4，IncRes-v2和Res-101)。如表 1所示，可以看出均勻采樣和指數(shù)采樣幾乎具有相同的攻擊用時，但是指數(shù)采樣的攻擊成功率平均要比均勻采樣高出5%～10%。因為均勻采樣，每次采樣間隔的距離較近，導致了大量相似樣本的計算，所以攻擊成功率偏低。因此，綜合攻擊用時和攻擊成功率，選擇指數(shù)采樣作為計算Integrated Loss的一種采樣策略。

表1 單個模型設(shè)置下，使用均勻采樣和指數(shù)采樣攻擊七個模型的攻擊成功率(*表示白盒攻擊) %

4.3 采樣次數(shù)

合理的采樣次數(shù)可以提供更好的梯度方向并且使計算變得更加高效。因此，研究了不同采樣次數(shù)s的影響。使用Inc-v3生成對抗樣本攻擊Inc-v3，Inc-v4，IncRes-v2，Res-101，使用的采樣次數(shù)從1到8。圖 1顯示了不同采樣次數(shù)的攻擊成功率，可以看出攻擊成功率隨著采樣次數(shù)的增加而不斷改善，在采樣次數(shù)為5時，所有模型都獲得了較高的成功率，5之后攻擊成功率上升的相對平緩，所以綜合計算消耗和攻擊成功率的影響，選擇采樣次數(shù)為5。

圖1 不同采樣次數(shù)的攻擊成功率

4.4 攻擊單個模型

在這個部分，將IL-FGSM和其他的黑盒攻擊方法(I-FGSM,MI-FGSM,NI-FGSM)進行比較，攻擊單個模型。如表2所示，文中方法改善了所有的基線方法的攻擊成功率。一般的，IL-FGSM和其他基線方法一樣都具有幾乎100%的白盒攻擊成功率，在黑盒攻擊上，文中方法超過了基線攻擊10%～20%。表明這些高級的對抗訓練的模型在黑盒攻擊IL-FGSM攻擊下只是提供了微弱的防護。同樣的可以觀看到，使用的白盒模型的結(jié)構(gòu)越復雜，生成的對抗樣本的遷移性越好。

表2 單個模型設(shè)置下，攻擊七個模型的攻擊成功率(*表示白盒攻擊) %

4.5 攻擊集成模型

集成方法在研究中被廣泛地采用來增加模型的表現(xiàn)和魯棒性。集成的思想同樣也可以用到對抗攻擊上，因為如果一個對抗樣本對于多個模型都是對抗的，那么它很有可能捕獲到了內(nèi)在的對抗方向，并且更容易在同一時間遷移到其他模型上，從而進一步提升黑盒的攻擊成功率。目前，有三個常用的集成策略：logits集成、預測集成、損失集成，其中l(wèi)ogits集成被認為是有效的集成策略。

考慮用IL-FGSM的集成模型算法ENS-IL-FGSM同時攻擊多個模型在logits上的集成。具體的，使用(FGSM，MI-FGSM，NI-FGSM，ENS-IL-FGSM)攻擊常規(guī)訓練的模型集合，這些模型包括(Inc-v3，Inc-v4，IncRes-v2和Res-101),并將它們的權(quán)重設(shè)置為相等的。

如表3所示，與攻擊單個模型相比，攻擊集成的模型，在保持白盒攻擊成功率的情況下，明顯改善了黑盒攻擊的成功率，并且文中方法在保持較高的白盒攻擊的同時，在黑盒攻擊上超過了基線攻擊10%～20%。表明這些高級的對抗訓練的模型在黑盒攻擊ENS-IL-FGSM的攻擊下只是提供了微弱的防護。

表3 集成模型設(shè)置下，攻擊七個模型的攻擊成功率(*表示白盒攻擊) %

為了進一步提升IL-FGSM的黑盒攻擊成功率，將改善樣本遷移性的方法DIM和TIM集成到文中方法中。具體的，將它們與FGSM，MI-FGSM，NI-FGSM，IL-FGSM進行了集成，并進行了進一步的比較。如表4所示，IL-FGSM集成了DIM和TIM，在保持較高白盒攻擊成功率的同時，在黑盒攻擊上達到了70%～85%的攻擊成功率，這個效果堪比白盒攻擊。

表4 集成模型設(shè)置下，集成DIM和TIM方法，攻擊七個模型的攻擊成功率(*表示白盒攻擊) %

4.6 攻擊用時分析

衡量一個對抗樣本生成算法的好壞，不僅要考慮這個算法的攻擊成功率，還要考慮這個算法的時間復雜度，也就是攻擊所用時間。在這個部分，將IL-FGSM和其他的黑盒攻擊方法(I-FGSM，MI-FGSM，NI-FGSM)在攻擊用時方面進行比較。如表5所示，IL-FGSM在攻擊用時方面比其他基線方法平均多出4倍的用時。因為IL-FGSM使用Integrated Loss作為它的損失函數(shù)，相比于其他基線方法，對于每一個樣本只計算了一次損失，IL-FGSM計算了這個樣本的線性比例損失的集成，所以相對的用時較多。

表5 單個模型設(shè)置下，四個方法的攻擊用時 s

5 結(jié)束語

對抗樣本的存在嚴重威脅到深度學習在眾多安全領(lǐng)域的運用，因此對抗樣本生成算法也成了當下研究的熱點。該文提出了一種新的方法，積分損失快速梯度符號法IL-FGSM。該方法利用了輸入的間隔指數(shù)范圍采樣的損失函數(shù)的集成來更新對抗樣本，與單個損失函數(shù)的更新相比，使用了當前輸入樣本的積分損失來更新當前的對抗樣本，這可以更好地避免梯度出現(xiàn)飽和的情況，引導梯度在全局最優(yōu)的方向上更新。實驗結(jié)果表明，IL-FGSM不僅提高了白盒攻擊的成功率也提高了黑盒攻擊的成功率。除此之外，將增加樣本遷移性的方法DIM和TIM集成到了該方法，進一步提升了黑盒攻擊的成功率。實驗顯示IL-FGSM提升了基線攻擊10%～20%的攻擊成功率。與基線方法相比，該方法生成了更強的對抗樣本，但是計算消耗較大。未來，將做進一步的研究來加快積分損失的計算。