王志勇，邢 凱，鄧洪武，李亞鳴，胡 璇

1.中國科學(xué)技術(shù)大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，合肥 230026

2.中國科學(xué)技術(shù)大學(xué) 蘇州研究院，江蘇 蘇州 215123

隨著深度學(xué)習(xí)技術(shù)在自動駕駛[1]、自然語言處理、安防監(jiān)控等[2-3]重要領(lǐng)域中的快速發(fā)展和應(yīng)用，現(xiàn)有的深度學(xué)習(xí)模型逐步成為了高價值攻擊目標(biāo)并暴露了一些安全缺陷。研究者提出了多種攻擊手段，通過對正常圖片添加人類難以察覺的各種微小擾動，成功生成了使深度學(xué)習(xí)模型失效的對抗樣本[4-5]。例如，Worzyk等人[6]使用對抗攻擊算法生成的交通標(biāo)志能誘導(dǎo)自動駕駛系統(tǒng)做出危險操作。

雖然目前的對抗攻擊技術(shù)可以生成對現(xiàn)有深度學(xué)習(xí)模型具有威脅的對抗樣本，但其需要依賴海量算力和海量數(shù)據(jù)的支持，在計算效率和攻擊成功率提升方面仍存在較大挑戰(zhàn)。首先，深度學(xué)習(xí)模型的海量參數(shù)以及龐大的樣本解空間導(dǎo)致對抗攻擊需要大量算力。對抗攻擊技術(shù)需要基于被攻擊深度學(xué)習(xí)模型的梯度反向生成圖像擾動，計算過程需要使用海量算力搜索龐大的樣本解空間，尋找最優(yōu)擾動。此外，深度學(xué)習(xí)技術(shù)發(fā)展帶來的一個影響就是深度學(xué)習(xí)模型的廣度和深度被大大擴展，模型參數(shù)量巨大，例如常用的ResNet50參數(shù)量為25×106，而ResNet152參數(shù)量甚至高達(dá)60×106[7]，對算力要求較高。其次，基于海量算力搜索而非結(jié)構(gòu)化分析的方法難以得到最優(yōu)擾動，限制了對抗攻擊的成功率。Goodfellow等人[8]的研究表明，對抗攻擊方法生成擾動的方向取決于目標(biāo)輸出對輸入圖像的梯度，即擾動方向依賴于網(wǎng)絡(luò)結(jié)構(gòu)，海量算力依舊無法保證擾動方向的最優(yōu)性，生成的擾動可能會給圖像帶來過大的變化，生成的圖像在人類的視角下已經(jīng)改變了類別，攻擊失敗。針對這些挑戰(zhàn)，研究者們提出了各種解決方法，不斷推動該領(lǐng)域的發(fā)展。

為了降低對抗攻擊技術(shù)的算力要求，當(dāng)前的研究通常將對抗攻擊的優(yōu)化問題簡化，固定對抗攻擊算法的搜索方向。例如，Goodfellow等人[8]提出了fast gradient sign method（FSGM），僅需沿著梯度方向?qū)υ紙D像修改一次。更進(jìn)一步，Kurakin等人[9]提出iterative gradient sign算法，沿著更優(yōu)的梯度方向多次修改原始圖像。另一個優(yōu)化方向是使用生成對抗網(wǎng)絡(luò)（GAN）。Xiao等人[10]第一個提出使用GAN生成對抗樣本，并訓(xùn)練了一個生成器AdvGAN來學(xué)習(xí)對抗樣本的分布。Jandial等人[11]提出AdvGAN++，使用GAN學(xué)習(xí)從圖像中間層特征到對抗樣本的過程，而不是學(xué)習(xí)從原始圖像到對抗樣本的過程。對于FSGM類方法，計算效率較高，但無法得到最優(yōu)擾動，降低了攻擊成功率，對于GAN類方法，當(dāng)AdvGAN訓(xùn)練完成，輸入原始圖像即可直接輸出對應(yīng)的對抗擾動，但是GAN訓(xùn)練難度大。

為了提高對抗攻擊的成功率，研究者們不斷嘗試根據(jù)深度學(xué)習(xí)模型的結(jié)構(gòu)尋找更優(yōu)的擾動方向或者使用Momentum技術(shù)優(yōu)化計算過程。Szegedy等人[12]基于L2范數(shù)和交叉熵?fù)p失函數(shù)提出L-BFGS對抗攻擊算法，使用該攻擊算法能計算出一個擾動方向，并沿著該擾動方向生成對抗樣本。Carlini等人[13]進(jìn)一步總結(jié)對比前人的工作，基于最大化任意類別概率和真實類別概率之間差值的思想提出了C&W’s Attack算法，該算法可以計算出一個更優(yōu)的擾動方向。此外，由于對抗攻擊算法基于梯度求解最優(yōu)擾動，Dong等人[14]提出使用Momentum技術(shù)優(yōu)化梯度計算過程，增加擾動方向的穩(wěn)定性。需要注意的是，深度學(xué)習(xí)模型使用卷積層提取圖像特征，但是部分網(wǎng)絡(luò)結(jié)構(gòu)提取了噪音信息，攻擊提取噪音信息的結(jié)構(gòu)會對圖像產(chǎn)生不必要的擾動，降低對抗攻擊的成功率，所以對抗攻擊技術(shù)應(yīng)該避開噪音結(jié)構(gòu)。

現(xiàn)有的方法大多基于海量算力來搜索合適的噪聲擾動，對算力要求高且搜索效率難以保證，缺少一種結(jié)構(gòu)化的識別深度學(xué)習(xí)模型弱點的方法。本文利用少量樣本，基于因果干預(yù)手段分析了深度學(xué)習(xí)模型的結(jié)構(gòu)弱點-時不變穩(wěn)定結(jié)構(gòu)，并基于Wasserstein距離來定位ResNeXt50/ResNeXt101的結(jié)構(gòu)弱點，針對其弱點設(shè)計了一種對抗攻擊算法，進(jìn)一步驗證了其結(jié)構(gòu)性弱點的存在及其有效性，大大提高了對抗攻擊計算效率和成功率。本文的貢獻(xiàn)如下：

（1）提出深度學(xué)習(xí)模型的結(jié)構(gòu)性弱點分析方法，僅需要少量數(shù)據(jù)即可定位深度學(xué)習(xí)模型結(jié)構(gòu)的攻擊弱點。

（2）提出一種基于L∞范數(shù)的結(jié)構(gòu)化攻擊方法，可以針對性高效生成對抗樣本。

（3）提出一種針對深度學(xué)習(xí)模型中間層目標(biāo)輸出的通用擾動生成方法。

1 相關(guān)工作

1.1 Wasserstein距離

Wasserstein距離的起源是最優(yōu)傳輸理論，描述的是將一個分布轉(zhuǎn)化為另一個分布需要的最小代價，對于兩個一維分布X、Y，其Wasserstein距離可表示為：

其中F X和FY分別表示X和Y的累積分布函數(shù)。

相對于常見度量方式，Wasserstein距離有著如下優(yōu)勢：

（1）能夠度量離散分布和連續(xù)分布之間的距離。

（2）能夠度量兩個沒有交集的分布之間的距離。

（3）考慮了分布的幾何特性，不僅可以計算兩個分布之間的距離，還能從幾何角度解釋兩個分布之間不同之處。

因為Wasserstein距離的優(yōu)秀性質(zhì)，很多研究使用Wasserstein距離優(yōu)化深度學(xué)習(xí)模型。例如Arjovsky等人[15]提出一種基于Wasserstein距離的生成對抗網(wǎng)絡(luò)WGAN，提高深度學(xué)習(xí)模型訓(xùn)練的穩(wěn)定性，克服模式崩潰等問題，Gulrajani等人[16]提出了一種方法代替WGAN中的削減權(quán)重方法，進(jìn)一步提高了WGAN的訓(xùn)練穩(wěn)定性，F(xiàn)rogner等人[17]基于Wasserstein距離設(shè)計了一種多標(biāo)簽學(xué)習(xí)的損失函數(shù)。

1.2 對抗攻擊

Szegedy等人[12]第一個提出攻擊深度學(xué)習(xí)模型的對抗攻擊算法，通過對正常圖像添加微小擾動，制作了一個對抗樣本，這個樣本能夠使當(dāng)時最優(yōu)秀的深度學(xué)習(xí)模型失效。文章提出一種對抗攻擊算法L-BFGS，該方法的目標(biāo)函數(shù)是：

其中I表示原始圖片，f表示深度學(xué)習(xí)模型，t表示錯誤標(biāo)簽，c是超參數(shù)（最優(yōu)值可通過搜索得到），該目標(biāo)函數(shù)可以找到一個最小的噪音ε，添加到原始圖片上，得到一張被誤分類為t的對抗樣本。發(fā)現(xiàn)對抗樣本現(xiàn)象后，Goodfellow等人[8]證明深度學(xué)習(xí)模型的高維線性是對抗樣本具有對抗性的原因。當(dāng)模型具有高維線性時，沿梯度方向的擾動越大，樣本對抗性越強。文章?lián)颂岢隽艘环N對抗攻擊算法fast gradient sign method（FGSM）：

其中I′表示對抗樣本，I表示原始樣本。該方法根據(jù)各像素點與目標(biāo)標(biāo)簽的梯度關(guān)系，逐像素修改原始圖像，使得修改后的圖像遠(yuǎn)離類別t。后續(xù)在FGSM基礎(chǔ)上，Kurakin等人[9]提出iterative gradient sign算法，采用迭代的方式沿著目標(biāo)方向多次修改原始圖像，得到更優(yōu)秀的對抗樣本。不同于前述方法使用L∞范數(shù)，Papernot等人[18]提出一種基于L0范數(shù)的對抗攻擊方法：jacobianbased saliency map attack，該方法計算一個顯著性map，根據(jù)這個map定位對目標(biāo)類別影響最大的像素點，修改這部分像素點，直至圖像被誤分類。Croce等人[19]同時使用L0和L∞范數(shù)，進(jìn)一步提高了對抗攻擊的成功率?；贕oodfellow等人[8]對深度學(xué)習(xí)模型的高維線性解釋，Moosavi-Dezfooli等人[20]提出DeepFool方法，該方法將深度學(xué)習(xí)模型視為線性函數(shù)，決策邊界視為一個超平面，使用迭代的方式修改原始圖像，使得修改后的圖像越過決策邊界，得到對抗樣本。Carlini等人[13]總結(jié)了前人方法，提出了C&W’s Attack方法，該方法將圖像像素值映射到無窮區(qū)間，并使用了一個更高效的目標(biāo)函數(shù)。不同于前述使用L范數(shù)定義圖像失真度，Laidlaw等人[21]提出使用顏色變化定義圖像失真度，并使用特殊目標(biāo)函數(shù)將圖像中所有紅色像素更改為淺紅色，得到對抗樣本。Sharif等人[22]提出一種算法生成眼鏡狀擾動，并添加到人臉圖片上，得到一張使得深度學(xué)習(xí)模型失效的對抗樣本。Komkov等人[23]提出AdvHat算法，可以生成一張可打印圖片，將圖片貼在額頭即可使最先進(jìn)的Face ID模型失效。

不同于前述方法僅僅基于深度學(xué)習(xí)模型輸出，Sabour等人[24]提出feature adversary方法，該方法的思想是將被攻擊圖像的特征層輸出向著目標(biāo)類別移動，并證明該方法得到的對抗樣本在特征角度上更加契合總體樣本分布。

最近的研究還將GAN引入對抗攻擊領(lǐng)域，提出AdvGAN，使用GAN網(wǎng)絡(luò)生成對抗樣本。AdvGAN架構(gòu)包括三個部分：生成器G、判別器D、被攻擊網(wǎng)絡(luò)f，生成器G用于根據(jù)輸入圖像生成對抗樣本，判別器D用于引導(dǎo)G生成與原始圖像難以區(qū)分的對抗樣本。傳統(tǒng)方式使用L范數(shù)度量限制圖像與原始圖像之間的失真度，而AdvGAN方法使用判別網(wǎng)絡(luò)限制生成圖像與原始圖像之間的失真度，可以有效減少對原始圖像的修改，提高攻擊成功率。此外AdvGan中的對抗樣本生成網(wǎng)絡(luò)G一旦訓(xùn)練完成，可以在不接觸被攻擊模型的情況下根據(jù)輸入圖像直接輸出對抗樣本。進(jìn)一步，Zhao等人[25]提出Natural GAN，由原始圖像得到特征向量，對特征向量進(jìn)行擾動，通過擾動后的特征重構(gòu)出更加自然的對抗樣本。

2 深度學(xué)習(xí)模型時不變穩(wěn)定結(jié)構(gòu)弱點分析方法

2.1 基于數(shù)據(jù)增強技術(shù)的序列數(shù)據(jù)調(diào)制生成

因果關(guān)系可以更好的理解深度學(xué)習(xí)模型的機制[26]，而深度學(xué)習(xí)模型的時不變穩(wěn)定結(jié)構(gòu)可以識別出輸入輸出之間的因果關(guān)系，因此可以通過因果分析定位時不變穩(wěn)定結(jié)構(gòu)。Peters等人[27]的研究表明，相對于非時序數(shù)據(jù)，通過時序數(shù)據(jù)分析因果關(guān)系的時候，需要的假設(shè)條件較少，效果較好。例如格蘭杰因果關(guān)系檢驗[28-29]，該方法檢驗一組時序數(shù)據(jù)是否可用于預(yù)測另一組時序數(shù)據(jù)。

為了便于進(jìn)行因果分析，需要將圖像數(shù)據(jù)這樣的非序列數(shù)據(jù)轉(zhuǎn)換為序列數(shù)據(jù)進(jìn)行因果分析，定位時不變穩(wěn)定結(jié)構(gòu)。本文使用數(shù)據(jù)增強技術(shù)，經(jīng)過調(diào)制干預(yù)，將非時序圖像數(shù)據(jù)生成為序列數(shù)據(jù)。

數(shù)據(jù)增強技術(shù)[30-31]常用來擴展數(shù)據(jù)集，幫助深度學(xué)習(xí)模型學(xué)習(xí)到更多的信息，減少過擬合，提高深度學(xué)習(xí)模型泛化性能，其原理是，在不改變物種屬性情況下為圖像添加噪音，例如高斯模糊、圖像縮放、圖像旋轉(zhuǎn)、物體位移，這些數(shù)據(jù)增強方式不會改變圖像類別信息，僅會帶來分辨率、尺度、視角、位置方面的圖像噪音。本文定義了一個調(diào)制曲線，通過從調(diào)制曲線上獲得的參數(shù)，將一張圖片增強為多張連續(xù)變化的圖片，獲得序列數(shù)據(jù)。

本文序列數(shù)據(jù)調(diào)制過程描述為：

Subject that：

其中yi表示序列中第i個數(shù)據(jù)，G表示增強函數(shù)（此處以高斯模糊為例），r i表示從調(diào)制曲線r上選取的第i個參數(shù)，x表示原始圖像，使用第i個參數(shù)將原始圖像x增強為第i個數(shù)據(jù)，共100次，得到長度為100的序列圖像數(shù)據(jù)。

本文選擇的數(shù)據(jù)增強技術(shù)包括高斯模糊、圖像縮放、物體位移。

2.2 時不變穩(wěn)定結(jié)構(gòu)

本文將調(diào)制序列數(shù)據(jù)類比于時間序列數(shù)據(jù)，其時不變穩(wěn)定性即為深度學(xué)習(xí)模型在處理經(jīng)調(diào)制干預(yù)后的序列數(shù)據(jù)時，能提取與輸入序列有對應(yīng)調(diào)制關(guān)系的信號，不受數(shù)據(jù)增強過程中人為添加的噪聲影響。

Pearl等人[32]的研究認(rèn)為，學(xué)習(xí)因果關(guān)系的人工智能需要具備三種不同層級的認(rèn)知能力：觀察能力、行動能力、想象能力。觀察能力是指通過學(xué)習(xí)識別數(shù)據(jù)之間關(guān)聯(lián)性的能力，行動能力是指能通過干預(yù)實驗學(xué)習(xí)對數(shù)據(jù)干預(yù)后的結(jié)果，并且能根據(jù)學(xué)到的信息實現(xiàn)期望的結(jié)果，想象能力是指反事實推理能力，能夠推測產(chǎn)生某種結(jié)果的原因。文獻(xiàn)[32]認(rèn)為目前的深度學(xué)習(xí)模型具備觀察能力，部分網(wǎng)絡(luò)結(jié)構(gòu)具備行動能力，因此本文結(jié)合文獻(xiàn)[32]的介紹，給出深度學(xué)習(xí)模型的時不變穩(wěn)定性定義。首先，對圖片使用數(shù)據(jù)增強技術(shù)后，產(chǎn)生的輸入圖像序列和神經(jīng)元輸出序列之間存在有對應(yīng)調(diào)制關(guān)系的因果性，表現(xiàn)為神經(jīng)元輸出序列和調(diào)制曲線之間存在一致的變化趨勢，這個一致性可以使用格蘭杰因果關(guān)系檢驗判斷。其次，對同類別不同圖像使用數(shù)據(jù)增強技術(shù)后，神經(jīng)元處的輸出序列之間理應(yīng)存在明顯的相似性，因為相同類別的圖像經(jīng)過理想模型處理后會表達(dá)出相同的類別特征，且相同的類別特征具有一致的變化規(guī)律，表現(xiàn)為同類圖像的輸出序列之間存在相似性。再次，對不同類別圖像使用數(shù)據(jù)增強技術(shù)后，神經(jīng)元處的輸出序列之間理應(yīng)存在明確的差異性，因為不同類別的圖像經(jīng)過理想模型處理后應(yīng)該表達(dá)出不同的類別特征，不同的類別特征具有不一致的變化規(guī)律，表現(xiàn)為不同類圖像的輸出序列之間有顯著差異。最后，對同類圖片使用數(shù)據(jù)增強技術(shù)后，神經(jīng)元處的輸出序列具有穩(wěn)定性，因為數(shù)據(jù)增強技術(shù)不會改變圖像的類別特征信息，增強后的圖片具有和原圖片一致的類別特征，表現(xiàn)為輸出序列的方差較小。

基于上述分析，給出時不變穩(wěn)定性形式化定義。

首先定義調(diào)制參數(shù)序列：

使用2.1節(jié)序列數(shù)據(jù)生成方式得到圖像數(shù)據(jù)序列：

在神經(jīng)元處得到各個圖像數(shù)據(jù)的特征值序列：

則parameter與feature兩序列間存在因果性的結(jié)構(gòu)即為時不變穩(wěn)定結(jié)構(gòu)：

2.3 基于Wasserstein距離的時不變穩(wěn)定結(jié)構(gòu)定位方法

根據(jù)前文時不變穩(wěn)定結(jié)構(gòu)性質(zhì)介紹，本節(jié)通過調(diào)制干預(yù)后的序列數(shù)據(jù)來定位時不變穩(wěn)定結(jié)構(gòu)。Pearl等人[32]認(rèn)為，通過干預(yù)可以控制混雜因子，進(jìn)一步識別出因果關(guān)系，時不變穩(wěn)定結(jié)構(gòu)定位過程與該思想一致，即當(dāng)固定其他變量，僅對輸入數(shù)據(jù)進(jìn)行干預(yù)，則時不變穩(wěn)定結(jié)構(gòu)的輸出對干預(yù)有匹配的響應(yīng)[33]。

深度學(xué)習(xí)模型的時不變穩(wěn)定結(jié)構(gòu)可以識別輸入輸出間因果關(guān)系，能克服數(shù)據(jù)增強帶來的噪音，從輸入圖像中提取有效信息作為輸出。對于圖像序列，時不變穩(wěn)定結(jié)構(gòu)的輸出序列與輸入圖像序列之間具有一致性，同時因為輸入圖像序列均為同一圖像的調(diào)制結(jié)果，分布間距離理應(yīng)較小，因此時不變穩(wěn)定結(jié)構(gòu)的輸出序列分布間距離也應(yīng)該較小。在考慮到Wasserstein距離的對稱性以及幾何特性，本文選擇Wasserstein距離來度量分布間距離?？紤]到本文的輸入序列數(shù)據(jù)和深度學(xué)習(xí)模型輸出之間的關(guān)系[29]，本文使用格蘭杰因果關(guān)系檢驗來識別其時不變穩(wěn)定結(jié)構(gòu)。

對于同一張或同一類數(shù)據(jù)，本文使用數(shù)據(jù)增強技術(shù)調(diào)制，本文設(shè)計了圖1的增強數(shù)據(jù)矩陣，增強過程可描述為，對一組同類圖像使用一致的數(shù)據(jù)增強技術(shù)，增強多步。每個數(shù)據(jù)序列在時不變穩(wěn)定性神經(jīng)元處輸出分布都具有相似性，此時使用Wasserstein距離度量相鄰分布之間的距離，得到一階差分序列，將該序列定義為2.2節(jié)中的feature序列，采用格蘭杰因果關(guān)系檢驗來逐個判定高層神經(jīng)元及其對應(yīng)子結(jié)構(gòu)的穩(wěn)定性：

圖1 序列增強數(shù)據(jù)示意圖Fig.1 Schematic diagram of time series enhanced data

3 針對卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)性弱點的對抗樣本生成方法

卷積神經(jīng)網(wǎng)絡(luò)通過卷積結(jié)構(gòu)從圖像中提取信息，并通過進(jìn)一步的卷積操作將局部特征信息融合為高維抽象特征，提高神經(jīng)元視野范圍。不同部分和層次的網(wǎng)絡(luò)結(jié)構(gòu)能夠提取不同的信息。

考慮到時不變穩(wěn)定結(jié)構(gòu)能夠識別原始圖像和添加噪聲后的調(diào)制圖像間的穩(wěn)定調(diào)制關(guān)系，即能排除一般噪聲干擾，提取有效信息。根據(jù)反事實推理[32]，攻擊時不變穩(wěn)定結(jié)構(gòu)自然會影響深度學(xué)習(xí)模型的有效信息提取，因此時不變穩(wěn)定結(jié)構(gòu)是卷積神經(jīng)網(wǎng)絡(luò)的攻擊弱點之一。

基于前述分析，本文使用時不變穩(wěn)定結(jié)構(gòu)優(yōu)化GAN及傳統(tǒng)對抗攻擊技術(shù)。目前主流方法的目標(biāo)是降低深度學(xué)習(xí)模型分類層正確類別對應(yīng)的輸出值，而本文方法的目標(biāo)是降低時不變穩(wěn)定結(jié)構(gòu)的輸出有效性，使得時不變穩(wěn)定結(jié)構(gòu)不再能夠從輸入中排除噪聲干擾，也即不能得到具有因果性的輸出。

此外，Szegedy等人[12]認(rèn)為卷積神經(jīng)網(wǎng)絡(luò)通過卷積層的特征空間保存高級語義信息，而非使用單個神經(jīng)元保存高級語義信息，所以攻擊卷積神經(jīng)網(wǎng)絡(luò)時應(yīng)該攻擊卷積層特征空間，因此對抗攻擊算法應(yīng)將整個卷積層作為攻擊目標(biāo)，基于卷積層空間，使用海量算力搜索合適的噪聲擾動。因此，本文的攻擊方法也應(yīng)該針對特征空間而非單個時不變穩(wěn)定結(jié)構(gòu)。

由此，本文考慮由時不變穩(wěn)定結(jié)構(gòu)以及噪音結(jié)構(gòu)的輸出組成的特征空間，通過第2章介紹的定位方法可以定位出全部時不變穩(wěn)定結(jié)構(gòu)，而由這些時不變穩(wěn)定結(jié)構(gòu)輸出組成的卷積層特征子空間可以排除噪音干擾，穩(wěn)定地提取出有效信息。因此本文所設(shè)計的攻擊方法針對時不變穩(wěn)定特征子空間進(jìn)行攻擊，首先可以更高效地在特征空間中識別出能影響這些子結(jié)構(gòu)的噪聲擾動方向。其次可以降低算力要求，因為算法的搜索域從原始特征空間縮小為其子空間，計算規(guī)模下降了多個數(shù)量級，僅需較少的算力即可從特征子空間中搜索出最優(yōu)擾動，使得對抗樣本的生成效率大大提高。

需要注意的是，不同類別具有不同的時不變穩(wěn)定結(jié)構(gòu)集合，但是這些結(jié)構(gòu)從因果性角度具有相似的意義，因此針對時不變穩(wěn)定結(jié)構(gòu)的對抗攻擊方法可以適用于任何類別。

根據(jù)上述分析，本文進(jìn)一步提出一種針對深度學(xué)習(xí)模型時不變穩(wěn)定結(jié)構(gòu)的多類別通用擾動生成方法，將時不變穩(wěn)定結(jié)構(gòu)組成的特征子空間作為攻擊目標(biāo)，通過計算為圖像添加對抗性擾動，降低該特征子空間輸出的有效信號值，即可促使深度學(xué)習(xí)模型輸出錯誤類別，進(jìn)而實現(xiàn)對抗攻擊。

具體地，在與原始圖像各部分最大像素值差小于σ的有限搜索空間中找到噪聲分布，該分布對應(yīng)的圖片能使特征子空間的平均輸出值最小，該圖片就是對抗樣本?；谠撃繕?biāo)，本文提出一種基于L∞范數(shù)的對抗樣本生成方法，采用的目標(biāo)函數(shù)如下：

其中f k表示被攻擊深度學(xué)習(xí)模型中的第k個時不變穩(wěn)定結(jié)構(gòu)的輸出，I′表示對抗樣本，I表示原始樣本，σ表示對抗樣本與原始樣本最大像素值差，可自選值（本文中σ=20）。

基于Goodfellow等人[8]的啟發(fā)，本文采用迭代的方式實現(xiàn)生成過程，可以進(jìn)一步降低對抗攻擊的算力要求：

其中α表示步長，σα表示最長迭代步數(shù)，迭代過程中通過時不變穩(wěn)定結(jié)構(gòu)組成的特征子空間計算最優(yōu)搜索方向，沿該方向搜索最優(yōu)擾動。

整體流程圖見圖2，首先選定攻擊類別，使用基于Wasserstein距離的方法定位時不變穩(wěn)定結(jié)構(gòu)，并組建卷積層特征子空間，作為攻擊目標(biāo)。然后選定原始照片，基于本節(jié)的攻擊方法，迭代求解能最大化降低目標(biāo)特征子空間平均輸出的圖像擾動，將該擾動添加到原始圖像上，直到圖像被誤分類（攻擊成功）或者達(dá)到失真點（攻擊失?。?。

圖2 攻擊架構(gòu)Fig.2 Attack architecture

最后，本文定義的判斷時不變穩(wěn)定結(jié)構(gòu)的方法是基于該結(jié)構(gòu)能提取高級抽象特征，所以需要在表達(dá)能力比較強的特征層上進(jìn)行計算。Alexander等人[34]評估了常見深度學(xué)習(xí)模型各層輸出特征的表達(dá)能力，實驗發(fā)現(xiàn)ResNeXt的特征表達(dá)能力逐層提高，因為ResNeXt帶有殘差結(jié)構(gòu)，能夠保持表達(dá)能力。因此，本文選擇最后一層卷積層作為目標(biāo)層。

4 理論分析

Madry等人[35-36]認(rèn)為微調(diào)圖像，使圖像區(qū)別于訓(xùn)練集數(shù)據(jù)分布，可以生成對抗樣本，而區(qū)別于訓(xùn)練集的數(shù)據(jù)（out-of-distribution samples）可以使用基于能量得分的方法區(qū)分[37-39]。本文提出的方法可以從能量分析的角度出發(fā)，通過給圖像添加人類難以察覺的微小擾動，降低卷積層特征子空間的輸出值，降低圖像能量得分，將訓(xùn)練集數(shù)據(jù)逐漸修改為out-of-distribution數(shù)據(jù)，直至生成對抗樣本或者失敗。

首先從能量角度給出圖像x被分為各個類別的概率：

其中E(x,y)是能量函數(shù)，表示圖像x和類別y的匹配度，能量越低，表示匹配度越高。

數(shù)據(jù)x的亥姆霍茲自由能為：

對于K分類深度學(xué)習(xí)模型來說，其分類層有K個輸出值，對應(yīng)K個類別，則圖像x被分為各個類別的概率：

其中f i(x)表示將圖像x輸入神經(jīng)網(wǎng)絡(luò)后得到的第i個輸出。

聯(lián)立等式（1）和等式（3），可得：

聯(lián)立等式（2）和等式（4），可得：

為了判別圖像x是否為out-of-distribution數(shù)據(jù)，可以使用x的概率密度函數(shù)，圖像出現(xiàn)的概率低就表示圖像屬于out-of-distribution數(shù)據(jù)，由前述定義給出圖像x出現(xiàn)概率：

兩邊取ln，可得：

本文將-E(x;f)定義為能量得分，通過等式（7）可以看出-E(x;f)和lnp(x)呈線性關(guān)系，能量得分越低，圖像出現(xiàn)概率越低，即圖像屬于out-of-distribution數(shù)據(jù)。

5 實驗

5.1 實驗設(shè)置

本文選用ImageNet LSVRC-2012數(shù)據(jù)集，被攻擊的深度學(xué)習(xí)模型包括ResNeXt50以及ResNeXt101，均為PyTorch預(yù)訓(xùn)練模型。本文采用攻擊成功率，攻擊計算時間以及對抗樣本L∞失真度作為評價指標(biāo)，和C&W’s Attack以及Feature Adversary方法進(jìn)行對比，并且基于召回率和能量得分評價攻擊過程。

5.2 卷積結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)時不變穩(wěn)定性分析

使用第2章時不變穩(wěn)定結(jié)構(gòu)定位方法，分別計算ResNeXt50以及ResNeXt101各神經(jīng)元輸出序列的方差，如圖3和圖4所示。

圖3 ResNeXt50神經(jīng)元輸出序列的方差Fig.3 Variance of ResNeXt50 neuron output sequence

圖4 ResNeXt101神經(jīng)元輸出序列的方差Fig.4 Variance of ResNeXt101 neuron output sequence

圖中橫坐標(biāo)表示了神經(jīng)元編號，縱坐標(biāo)表示每個神經(jīng)元處的方差，為了便于查看，本文按照方差從小到大的順序?qū)ι窠?jīng)元進(jìn)行編號，得到圖3和圖4。按照時不變穩(wěn)定結(jié)構(gòu)定義，方差較小的神經(jīng)元具備時不變穩(wěn)定性。從圖中可以看出ResNeXt系列具有相似的性質(zhì)，有70%的神經(jīng)元方差接近0（時不變穩(wěn)定結(jié)構(gòu)），這一現(xiàn)象出現(xiàn)在各種類別中，本文展示了兩個類別結(jié)果，證明了時不變穩(wěn)定結(jié)構(gòu)的廣泛存在性。

5.3 基于召回率的攻擊效果分析

為了驗證時不變穩(wěn)定結(jié)構(gòu)的關(guān)鍵性和脆弱性，本節(jié)設(shè)計了以召回率作為指標(biāo)的評價實驗。將ResNeXt50/ResNeXt101全部神經(jīng)元按照方差從小到大排序，選擇方差最小的1/10神經(jīng)元為一組，該組為時不變穩(wěn)定結(jié)構(gòu)，同時選擇方差最大的1/10神經(jīng)元為另一組，該組為非時不變穩(wěn)定結(jié)構(gòu)。對兩組神經(jīng)元做相同的干擾（每個神經(jīng)元乘以一個倍數(shù)），查看深度學(xué)習(xí)模型召回率變化，得到圖5和圖6。

圖5 ResNeXt50不同結(jié)構(gòu)受干擾后召回率變化Fig.5 Recall change of ResNeXt50after different structures disturbed

圖6 ResNeXt101不同結(jié)構(gòu)受干擾后召回率變化Fig.6 Recall Change of ResNeXt101 after different structures disturbed

圖中橫坐標(biāo)表示干擾倍數(shù)，縱坐標(biāo)是召回率。圖中紅色實線表示方差最小的1/10神經(jīng)元，藍(lán)色虛線表示方差最大的1/10神經(jīng)元，兩曲線交匯處是深度學(xué)習(xí)模型的原始召回率。從圖中可以得出：

（1）降低時不變穩(wěn)定結(jié)構(gòu)的輸出值（倍數(shù)小于1），ResNeXt50召回率快速下降至0，ResNeXt101召回率快速下降至0.2，而降低非時不變穩(wěn)定結(jié)構(gòu)的輸出值后，ResNeXt50/ResNeXt101召回率變化都很小，證明了時不變穩(wěn)定結(jié)構(gòu)的關(guān)鍵性，時不變穩(wěn)定結(jié)構(gòu)的輸出信號保證了深度學(xué)習(xí)模型的分類準(zhǔn)確性。

（2）觀察紅藍(lán)兩曲線的斜率，可以看出紅色曲線（時不變穩(wěn)定結(jié)構(gòu)）斜率遠(yuǎn)大于藍(lán)色曲線，說明時不變穩(wěn)定結(jié)構(gòu)更易收到干擾，證明了時不變穩(wěn)定結(jié)構(gòu)的脆弱性。

5.4 基于能量得分的攻擊過程分析

能量得分越低，圖像出現(xiàn)概率越低，即圖像區(qū)別于訓(xùn)練集數(shù)據(jù)。為了驗證本文的方法可通過微調(diào)降低圖像的能量得分，如圖7展示了本方法迭代過程中圖像的能量得分變化過程。

圖7 生成對抗樣本過程中能量得分變化Fig.7 Energy score changes during process of generating adversarial examples

圖中紅色直線表示原始圖像的能量得分，藍(lán)色虛線表示算法迭代過程中能量得分變化過程，從圖中可以看出本算法能有效通過微調(diào)圖像降低能量得分，使圖像區(qū)別于訓(xùn)練集數(shù)據(jù)，最終得到對抗樣本，使深度學(xué)習(xí)模型失效。

5.5 卷積結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)攻擊效果分析

首先展示部分攻擊效果圖，圖8中展示了三張對抗樣本：第一張Chihuahua圖片添加干擾后得到一張被誤分類為French bulldog的圖片；第二張stingray添加干擾后得到一張被誤分類為numbfish的圖片；第三張terrapin添加干擾后得到一張被誤分類為mud turtle的圖片，對原始圖像的修改均較小。

圖8 對抗樣本展示Fig.8 Adversarial sample display

然后分析本方法的計算效率。以ResNeXt50為例，對抗攻擊的計算過程需要根據(jù)深度學(xué)習(xí)模型輸出對輸入的梯度確定搜索方向，沿著該方向計算擾動，并判斷該擾動能否生成對抗樣本。該過程需要迭代多次直到攻擊成功或者失敗。根據(jù)鏈?zhǔn)角髮?dǎo)法則：

（1）之前方法。基于ResNeXt50分類層，計算梯度過程的計算量為1×2 048×2 048×7×7×N，N表示卷積層計算量，此外，由于之前的方法難以得到最優(yōu)擾動，需要較多次迭代才能攻擊成功。

（2）本文方法?；赗esNeXt50最后一層卷積層的2 000個神經(jīng)元，因此計算梯度的計算量為2 000×N。且本文的攻擊方法能得到更優(yōu)擾動，需要較少次數(shù)的迭代即可完成對抗攻擊。綜上，本方法計算量遠(yuǎn)小于之前方法。

最后，本文選擇了1 000張圖片作為被攻擊對象，對比了之前的對抗樣本生成方法和本文方法的平均效果，指標(biāo)包括對抗樣本L∞失真度（對抗樣本和原始樣本的L∞距離），攻擊成功率（本文設(shè)定σ＞20為攻擊失敗）以及平均攻擊時間（不包含攻擊失敗樣本），如表1所示。

表1 傳統(tǒng)方法與本文提出的方法對比Table 1 Comparison of traditional methods and proposed method in this paper

從實驗結(jié)果可以看出，本文的方法在三項指標(biāo)上均優(yōu)于之前的對抗攻擊方法。

6 結(jié)論

本文介紹了一種深度學(xué)習(xí)模型的時不變穩(wěn)定結(jié)構(gòu)，并提出了一種基于Wasserstein距離的定位方法，理論分析和實驗表明時不變穩(wěn)定結(jié)構(gòu)是一種攻擊弱點，最后針對該弱點提出了一種計算效率和成功率更高的對抗樣本生成方法。本方法中使用的時不變穩(wěn)定結(jié)構(gòu)以及針對深度學(xué)習(xí)模型的結(jié)構(gòu)弱點的思想，給后續(xù)對抗攻擊方法研究提供了很好的方向。后續(xù)計劃將基于深度學(xué)習(xí)模型的時不變穩(wěn)定結(jié)構(gòu)提高深度學(xué)習(xí)模型的泛化能力。