劉子龍

（?？诮?jīng)濟學院，海南 ?？?571127）

0 引言

隨著深度學習技術的發(fā)展，推動了人工智能技術在自然語言處理、計算機視覺等領域的巨大成功，使得人工智能技術在人臉識別、自動駕駛等、醫(yī)學圖像分割等領域的廣泛應用。但深度學習技術中，由于神經(jīng)網(wǎng)絡的黑盒特征、不可解釋性等問題而帶來的安全隱患日益凸顯。

人們發(fā)現(xiàn)，在深度學習的神經(jīng)網(wǎng)絡中，可以通過添加一些人們?nèi)庋垭y以察覺，細微的干擾，來形成的一些輸入樣本。這些輸入的樣本，可以讓神經(jīng)網(wǎng)絡產(chǎn)生錯誤的結果，以達到“欺騙”神經(jīng)網(wǎng)絡的效果，導致輸出的結果產(chǎn)生較大的偏差。例如，在自動駕駛系統(tǒng)中，對所要識別的路標添加擾動，會導致系統(tǒng)產(chǎn)生錯誤的識別結果，進而造成事故的發(fā)生[2]。在人臉識別系統(tǒng)，對所需識別的人臉添加擾動，會使其無法識別或識別錯誤等。

將含有干擾的輸入樣本，稱為對抗樣本，即通過添加干擾形成讓神經(jīng)網(wǎng)絡以較高置信度得出錯誤輸出的輸入樣本[3-4]。對抗樣本廣泛存在于深度學習的圖像分類樣本中，通過在被識別的圖像中添加肉眼難以察覺的擾動，讓模型產(chǎn)出錯誤的結果。例如，將一個在神經(jīng)網(wǎng)絡模型中，57.7%識別率的熊貓圖像，通過添加擾動可以讓模型將其以99.3%識別率錯誤識別為長臂猿（見圖1）。

圖1 對抗樣本示例

對抗樣本的存在為人工智能的安全帶來了極大的威脅。這些威脅會形成漏洞，給人工智能技術的普及帶來了隱患，對社會和個人帶來傷害和損失，極大地限制了人工智能技術的發(fā)展和普及。對抗樣本的已經(jīng)成為人工智能安全領域所關注和研究的重點。

1 對抗樣本的線性解釋

Szegedy等[1]發(fā)現(xiàn)神經(jīng)網(wǎng)絡對于樣本中的微小擾動異常敏感。這種敏感，意味著神經(jīng)網(wǎng)絡會以一個較高的識別率得到一個錯誤的結果。他們認為，對抗樣本存在的根源在于神經(jīng)網(wǎng)絡模型的線性結構。在此之后，Ian J. Goodfellow等[2]解釋為：神經(jīng)網(wǎng)絡是一個高度線性化的結構。在對模型的輸入改變ε時，則會導致高維度中權重為w線性函數(shù)發(fā)生較大變化。假設添加的微小擾動為η，輸入為x，則對抗樣本為，即對抗樣本=干凈樣本+擾動。在線性模型當中，不會隨著神經(jīng)模型的結構和所需解決的問題等因素而增長。但它在整個神經(jīng)網(wǎng)絡中，會引起較大的線性激活變化。這就解釋了對抗樣本存在的原因。

2 對抗攻擊算法

2.1 L-BFGS

為得到讓神經(jīng)網(wǎng)絡進行錯誤分類的最小擾動，Szegedy等[1]人提出一個受約束優(yōu)化問題，如式（2），即為L-BFGS算法。

L-BFGS算法是以模型和目標函數(shù)的梯度可求解為前提的。這導致模型較為單一，且優(yōu)化復雜，計算代價較高。

2.2 快速梯度符號法

目前，很多算法都基于快速梯度符號算法（Fast Gradient Sign Method，F(xiàn)GSM）。FGSM算法是一種較為有效的對抗攻擊方法[2]，其核心公式為：

其中，?xJ(x,ytrue)為損失函數(shù)的梯度；ytrue表示為真實類的標簽；ε為擾動大小的權值。對抗樣本x'=x+η中，擾動η是通過反向傳播過程來計算的。

2.3 雅可比映射攻擊算法

雅可比映射攻擊算法（Jacobian-based Saliency Map Attack，JSMA）是由Papernot等[5]提出的。利用式（4）計算了原始樣本x的Jacobian矩陣，計算方法如下：

其中，F(xiàn)表示為Softmax層輸出函數(shù)，i，j分別表示輸入和輸出層的數(shù)量。該方法提出了使用雅可比顯著圖來生成對抗樣本的方法，是一種專門針對非循環(huán)前饋神經(jīng)網(wǎng)絡的定向攻擊算法。JSMA要求模型和目標函數(shù)的梯度可求解，而且使用貪婪算法進行顯著性像素點的尋找。

2.4 Deepfool

Deepfool是利用原始輸入到對抗樣本決策邊界最近距離，由Moosavi-Dezfooli S-M等[4]提出的。該方法假設神經(jīng)網(wǎng)絡是完全線性的轉換為超平面F={x∶wTb+b=0}的距離。放射分類器f的擾動可能是。如果分類器f是一個二分類器，可以使用一種迭代的方法來估計擾動，并考慮在每次迭代過程中f關于xi是線性的。最小的擾動的計算方法如式（5）。

算法通過尋找從邊界最近的距離，迭代計算的方法生成最小規(guī)范對抗擾動。但該算法泛化性較低，并且由于需要分析模型的特性，耗時較多。

2.5 基礎迭代法

基礎迭代法算法（Basic Iterative Method，BIM）是在FGSM算法的基礎上，由Kurakin等[5]利用多次小步長迭代的方法提出的。

通過多次迭代產(chǎn)生對抗樣本：

相比FGSM算法，以降低計算效率為代價，BIM效果更好。

2.6 Carlini and Wagner（C&W）

針對防御蒸餾網(wǎng)絡，Carlini and Wagner[6]提出了C&W算法。算法定義了新的目標函數(shù)g：

其中，η為對抗擾動。通過對比可以發(fā)現(xiàn)式（9）是相對有效的。

其中，Z表示softmax，k是一個常數(shù)，用來控制置信度。

2.7 零階優(yōu)化

在C&W的啟發(fā)下，Chen等[7]提出了零階優(yōu)化方法（Zeroth Order Optimization，ZOO），修改g(·)函數(shù)為損失函數(shù)。

并且使用對稱差商估計梯度和Hessian：

其中，ei表示第i個分量的標準基向量，h為一個常數(shù)（非常小的）。ZOO算法可以在不需要梯度的情況下，直接進行黑河攻擊，并且不要模型遷移。但是，它需要昂貴的代價來查詢和估計梯度。

2.8 Universal Perturbation

Moosavi-Dezfooli S-M等[8]在欺騙深度神經(jīng)網(wǎng)絡的基礎上，提出了一種利用擾動攻擊的普適性攻擊方法（Universal Perturbation）。他們的構想是找到一個普適性的擾動向量滿足：

其中，ε限制了普適性擾動的大小，δ控制了所有對抗樣本的攻擊失敗率。通用擾動攻擊算法能夠生成針對所有圖像的對抗樣本擾動。僅利用較小的一部分數(shù)據(jù)集，即可生產(chǎn)擾動，并且可以泛化到大多數(shù)神經(jīng)網(wǎng)絡上。

3 對抗樣本的防御方法

近年來，針對對抗樣本的存在，提升神經(jīng)網(wǎng)絡的安全性，人們提出了諸多防御算法。主要分為魯棒性防御與檢測性防御。魯棒性防御是使用現(xiàn)有的技術使深度神經(jīng)網(wǎng)絡在受到對抗樣本攻擊時仍輸出正確結果。另一類方法是修改網(wǎng)絡結構、優(yōu)化技術或訓練集使得神經(jīng)網(wǎng)絡對對抗樣本魯棒。對抗防御算法主要有防御蒸餾、數(shù)據(jù)清理、對抗訓練、對抗訓練等方法。

3.1 網(wǎng)絡蒸餾（Network Distillation）

Papernot等[11]基于網(wǎng)絡蒸餾思想，對模型做平滑輸出提出了防御蒸餾方法。該模型能夠把大的網(wǎng)絡壓縮成小的網(wǎng)絡，而且能夠保持網(wǎng)絡的性能，進而抵抗對抗樣本的攻擊。蒸餾防御可以降低神經(jīng)網(wǎng)絡模型中，對輸入擾的敏感程度。蒸餾防御能提高模型的絡的健壯性和泛化能力。但是Carlini等[12]指出蒸餾防御不能有效抵抗C&W攻擊。

3.2 數(shù)據(jù)預處理

數(shù)據(jù)預處理是一種常見的防御方法，主要是利用了對抗樣本空域的不穩(wěn)定性，通過僅修改輸入圖片來消除可能的對抗擾動，達到對惡意的訓練數(shù)據(jù)進行篩選的目的。由于數(shù)據(jù)預處理方法常用中值平滑、非局部均值濾波、JPEG壓縮等，因此這種防御方法也被稱為基于變換的防御。

一般情況下，僅僅靠數(shù)據(jù)預處理進行對抗防御是不夠的，可能會需要和其他防御算法配合使用，且預處理的圖像往往會降低神經(jīng)網(wǎng)絡模型識別正干凈樣本的準確率。

3.3 對抗訓練（Adversarial（Re）training）

對抗訓練是一種能夠依靠提升模型魯棒性的防御方式，主要是在訓練階段生成對抗樣本，并將其引入到訓練集中繼續(xù)訓練模型。通過對抗訓練可以為神經(jīng)網(wǎng)絡模型提供正則化，進而提高模型結果的準確率。由于其訓練模型的開銷較大，只能防御單步的攻擊，不能防御迭代的攻擊，且對抗訓練的模型泛化能力較弱。

3.4 對抗樣本檢測

對抗樣本檢測就是有針對性的檢測輸入樣本是否符合對抗樣本的屬性，對其進行檢測和分辨。在將樣本進行分類之前，要現(xiàn)對其進行檢測分辨其是干凈樣本還是對抗樣本。如果是對抗樣本，則拒絕將其輸入到神經(jīng)網(wǎng)絡當中。Liang等[9]提出基于自適應去噪的對抗樣本檢測方法。分類器在某種程度上可以抵抗一定程度的失真。為此，可以通過檢查樣本去噪后分類是否改變，來有效地檢測出對抗樣。

4 未來研究展望

隨著人工智能的飛速發(fā)展，人工智能已經(jīng)融入人們的工作和生活當中。對抗樣本的存在已經(jīng)成為制約人工智能技術發(fā)展的重要因素，甚至可能導致人工智能驅(qū)動的系統(tǒng)出現(xiàn)錯誤和混亂。盡管近年來，許多方法和理論被提出，但仍存在諸多挑戰(zhàn)有待研究。

（1）存在性。通過前面的研究可以發(fā)現(xiàn)，對抗樣本是普遍存在的。雖然已經(jīng)由了諸多對抗樣本存在原因的分析及理論，但仍缺少嚴謹?shù)臄?shù)學推導和完整的理論支撐。故對于對抗樣本的成因及相關理論仍有待進一步探索和完善。

（2）遷移性。對抗樣本具有遷移屬性。當攻擊者想要生成對抗樣本進行攻擊的時候，可以在替代的神經(jīng)網(wǎng)絡上生成一個樣本，然后再將其遷移到需要攻擊的神經(jīng)網(wǎng)絡上。而對于防御者而言，可以利用對抗樣本的遷移性，提升神經(jīng)網(wǎng)絡模型的防御能力，有效抵抗白盒攻擊。

（3）魯棒性評價。對抗樣本的攻防算法就像是“矛和盾”，當一種防御算法被提出來后，則會被證明易受到一些針對性的攻擊算法攻擊，反之亦然。因此，一個深度網(wǎng)絡的魯棒性評估是很有必要的。目前，仍沒有一個統(tǒng)一的標準來確定攻防算法的優(yōu)劣。神經(jīng)網(wǎng)絡的魯棒性評估需要進一步的探索。

（4）隱蔽性。雖然目前諸多的對抗攻擊算法在魯棒性、高效性、隨機性、黑盒性等方面都有了較大的提升，但這些方法的隱蔽性都還存在一定的不足。當對目標模型發(fā)起攻擊時，需要多次的調(diào)用，這樣會暴露攻擊目的或攻擊行為。因此，如何利用對抗樣本的遷移性，來更加高效、隱蔽的攻擊神經(jīng)網(wǎng)絡模型也需要逐步完善。

5 結論

對抗樣本的存在為人工智能技術帶來了極大的安全隱患。對抗樣本的攻防算法已經(jīng)成為人們廣泛關注的問題。本文介紹了對抗樣本的研究意義和概念，分析了目前經(jīng)典的幾種對抗攻擊算法和對抗防御算法。最后，根據(jù)對研究目前對抗樣本研究現(xiàn)狀和經(jīng)典算法的分析，討論了這一領域未來研究挑戰(zhàn)。