張 武，周星宇，鄒軍華，潘志松，段曄鑫，3，陳 軍

1.陸軍工程大學 指揮控制工程學院，南京210007

2.陸軍工程大學 通信工程學院，南京210007

3.陸軍軍事交通學院 鎮(zhèn)江校區(qū)，江蘇 鎮(zhèn)江212001

自Szegedy等人[1]首次提出深度神經網絡易受對抗樣本攻擊以來，對抗樣本的生成技術研究引起了廣泛關注。Rauber等人[2]將目前對抗樣本生成方法粗略劃分為基于梯度的對抗攻擊[3-4]、基于決策的對抗攻擊[5-6]和基于得分的對抗攻擊[7]。特別是基于梯度的攻擊方法由于生成速度快和資源消耗低而得到廣泛應用。例如，Dong等人[8]把動量因子引入到基于梯度的攻擊方法中以避免對抗樣本生成時陷入局部極值。Xie等人[9]通過增強輸入樣本的多樣性來提升基于梯度的攻擊方法的遷移性。而Dong等人[10]則提出使用預定義高斯核模糊梯度信息，以使得基于梯度的攻擊方法對于防御模型具有較高的黑盒攻擊成功率。另外，Li等人[11]提出Ghost Network方法融入到基于梯度的攻擊方法以實現模型多樣性，來提升對抗樣本的攻擊性能。

雖然這些攻擊方法在攻擊性能上有所提升，但仍存在不足。例如，Dong等人[8]和Xie等人[9]所提方法在攻擊普通黑盒模型時性能較強，但在攻擊防御黑盒模型時性能卻較弱。相比一下，Dong等人[10]所提方法在攻擊防御黑盒模型時有了較大提升，但在攻擊普通黑盒模型時相對變差。此外，Ghost Network方法不能與Xie等人所提方法有效融合生成更高黑盒攻擊成功率的對抗樣本。因此，本文研究重點是如何改進現有基于梯度的攻擊方法，進一步增強對抗樣本對于普通和防御模型的黑盒攻擊性能。

現如今批歸一化（Batch Normalization，BN）幾乎是深度神經網絡架構中不可或缺的組件，其主要通過調整神經網絡中間層的輸出分布使得網絡模型能快速收斂并趨于穩(wěn)定。受此啟發(fā)，本文提出一種腐蝕批歸一化（Erosion Batch Normalization，EBN）的對抗攻擊算法。該算法不僅能與Xie等人所提方法有效融合，還能有效改進其他基于梯度的攻擊方法的黑盒攻擊性能。本文在單模型攻擊和集成模型攻擊中進行大量實驗，實驗結果表明本文方法可實現在幾乎不增加額外計算開銷下提升對抗樣本的黑盒攻擊成功率。本文貢獻點總結如下：

（1）提出了一種基于腐蝕神經網絡架構中批歸一化層的對抗攻擊算法，有效改進了現有基于梯度的攻擊方法，實現在幾乎不增加額外計算開銷下提升黑盒攻擊成功率。

（2）可視化解釋分析了腐蝕批歸一化方法相比Ghost Network方法更有效與Xie等人所提方法組合。

（3）本文方法最佳攻擊組合針對6個先進防御模型的平均成功率達到87.2%，相比目前最強的基于梯度的攻擊方法提升了9.0個百分點。

1 相關研究的概況

1.1 對抗樣本描述

假設干凈樣本x所對應的真實類別標簽為ytrue，則對于預先訓練好的網絡模型分類器f(?)而言可正確分類該干凈樣本，即f(x)=ytrue。然而，攻擊者通過向干凈樣本添加擾動δ便可生成讓神經網絡模型錯誤預測的對抗樣本xadv=x+δ。對抗樣本可分為無目標與有目標兩種類型。無目標對抗樣本只須讓模型分類器預測對抗樣本不為原始正確標簽就可，即f(xadv)≠ytrue，而有目標對抗樣本則需要使得模型分類器預測對抗樣本為指定目標標簽，即f(xadv)=ytarget。本文所關注的對抗樣本屬于無目標對抗樣本，因此為了生成無目標對抗樣本，通常需要最大化網絡模型分類器的損失函數J(xadv,ytrue)，以及使用L∞范數將擾動δ約束在閾值ε領域內，其可形式化表示為：

1.2 基于梯度攻擊方法

快速梯度符號方法[2]（Fast Gradient Sign Method，FGSM）是根據最大化損失函數的梯度方向來對輸入樣本進行單步更新生成對抗樣本，其生成過程表示為：

其中，sign(?)是符號函數，ε使擾動滿足L∞范數約束，?xJ(?)計算損失函數的梯度。雖然FGSM方法生成速度快，但是白盒攻擊成功率不高。

迭代快速梯度符號方法[4]（Iterative Fast Gradient Sign Method，I-FGSM）則選用小步長的迭代更新方式來代替大步長的單步更新方式，從而實現所添加擾動的幅度更小，其迭代過程可表示為：

動量迭代快速梯度符號方法[8]（Momentum Iterative Fast Gradient Sign Method，MI-FGSM）則將動量因子融入到I-FGSM方法，實現在每一輪迭代中均能保留前面所有輪的梯度信息，有效避免更新過程中陷入局部極值，其表示為：

其中，gt+1代表第t+1次迭代時的累積梯度，μ是動量因子。

多樣性輸入迭代快速梯度符號方法[9]（Diverse Inputs Iterative Fast Gradient Sign Method，DI2-FGSM）則在每次迭代時以一定的轉換概率p對輸入樣本隨機調整大小及填充，從而生成更具遷移性的對抗樣本。該方法可與MI-FGSM方法有效組合成M-DI2-FGSM方法。為了簡潔起見，本文將M-DI2-FGSM方法簡稱為DIM方法。

其中，D(?)代表轉換函數。

平移不變性迭代快速梯度符號方法[10]（Translation-Invariant Iterative Fast Gradient Sign Method，TI-FGSM）則使用預定義高斯核W模糊輸入樣本的梯度，使得所生成的對抗樣本黑盒攻擊防御模型時具有較高成功率。同樣，把TI-FGSM方法與DIM方法進行組合，可形成目前最強黑盒攻擊方法TI-DIM。

1.3 集成攻擊方法

Liu等人[12]于2016年首次提出集成攻擊方法概念，即在對抗樣本生成過程中選擇集成多個網絡模型來代替單個網絡模型作為攻擊對象，使得所生成對抗樣本不會陷入某個網絡模型的局部最優(yōu)值，從而實現對抗樣本的遷移性以及黑盒攻擊性能提升。而Dong等人[8]則進一步證明了相比集成模型的損失函數值或預測概率值，集成模型的logits值則能生成更具遷移性的對抗樣本。因此，當要攻擊總數為k的一組模型時，模型的logits值集成可表述為：

其中，li(x)代表第i個模型的logits值，wi代表第i個模型所占權重，且所有模型的權重之和等于1。

2 方法實現

為了提升對抗樣本的黑盒攻擊性能，本文提出一種基于腐蝕神經網絡架構中批歸一化層的對抗算法。如圖1所示，網絡模型f作為源模型主要通過架構中輸入層、卷積層、批歸一化層、激活函數及全連接層等核心組件處理輸入樣本得到損失函數Jf，然后再通過最大化損失函數Jf求得擾動疊加到輸入樣本中以生成對抗樣本。其中，批歸一化層在經過縮放平移參數腐蝕和方差腐蝕之后會讓網絡模型中間層的輸出分布與原有分布出現不一致，從而引起網絡模型性能衰減弱化，使得所生成的對抗樣本遷移性提升，最終實現對抗樣本的黑盒攻擊性能增強。同時，在對抗樣本生成過程中，由于批歸一化層腐蝕修改所形成的衰減模型與原始網絡模型是共享相同數量的參數和核心體系結構，本文算法具有在幾乎不會增加額外計算開銷條件下有效提升對抗樣本攻擊性能的優(yōu)勢。

圖1 腐蝕批歸一化的對抗攻擊框架圖Fig.1 Architecture of adversarial attack based on erosion batch normalization

2.1 批歸一化概述分析

批歸一化是由Ioffe等人[13]于2015年提出，用于解決深度神經網絡內部協變量偏移的問題。由于深度神經網絡在訓練過程中會存在網絡中間層的輸出分布與激活函數的輸入分布不一致的差異，并且這種差異隨著神經網絡層數加深而逐漸放大，最終導致網絡模型訓練速度緩慢。于是，Ioffe等人則在神經網絡訓練時，選擇使用小批量的均值和方差進行歸一化調整神經網絡中間層的輸出分布，使其符合均值為0、方差為1的標準正態(tài)分布，從而保證各層的輸出值落在激活函數對輸入比較敏感的區(qū)域，有效解決了數據分布不斷改變所帶來的梯度消失和網絡收斂緩慢等問題。同時，為了避免歸一化操作可能會削弱網絡性能，Ioffe等人又進一步引入縮放和平移兩個可學習參數來自由變換數據分布，使得網絡模型表達能力更強。

訓練階段BN處理流程：

輸入：小批量輸入值b={x1…m}，縮放因子γ和平移因子β。

輸出：歸一化調整后的值{zi=BNγ,β(xi)}。

雖然訓練階段模型都會計算每一批次的均值和方差，但是預測時所使用的均值和方差則是根據整個訓練集中每一批量均值和方差的期望值所求得。因此，對于預先訓練好的神經網絡模型而言，在預測時其所使用批歸一化公式可表達為：

其中，r是為了避免除數為0時所使用的微小正數。

由以上BN處理流程及式（10）可知，批歸一化其實可簡單看作歸一化與縮放平移自由變換這兩種操作的結合體。這兩種操作的共同作用不僅調整著模型內部輸出分布，還在一定程度上提高了模型預測精度。為此，針對批歸一化腐蝕修改可分別從對歸一化操作腐蝕和縮放平移自由變換操作腐蝕來具體實現。同時，為了避免過度改變原有網絡模型，腐蝕時應該選擇采用類似相乘衰減系數方法來削弱原有模型性能，而不是通過減少模型參數數量或者刪減模型核心組件來破壞原有模型架構。因此，本文腐蝕策略核心思想是既不增加對抗樣本生成的運算成本，又要能與現有基于梯度的攻擊方法有效融合以提升黑盒攻擊成功率。

2.2 批歸一化腐蝕設計

批歸一化通過調整神經網絡模型中間層的輸出分布使得網絡模型能快速收斂并趨于穩(wěn)定。因此，本文通過腐蝕神經網絡架構中批歸一化層來改變原有中間層的輸出分布，從而實現所生成對抗樣本在黑盒攻擊性能有所提升。其中，縮放因子γ和平移因子β作為批歸一化層參數，在網絡中間層的輸出分布自由變換上發(fā)揮著關鍵作用，使得網絡模型表達能力和性能更強。受此啟發(fā)，本文首先采取讓縮放因子和平移因子同乘以一個衰減系數進行腐蝕縮放平移自由變換操作，從而改變原有網絡模型中間層的輸出分布，使得原有模型下降為性能衰減模型，最終達到對抗樣本的泛化性能提升。因此，批歸一化層參數腐蝕過程可形式化為：

其中，Λ為縮放平移腐蝕因子，E[x]和Var[x]分別代表模型預測時所用均值和方差。

其次，由式（10）可知，為了避免出現除數為0的情況，批歸一化層還引入了恒定微小正數r實施調節(jié)。由于對抗樣本生成是基于預先訓練好的網絡模型，而預先訓練好的網絡模型中批歸一化層的均值和方差是已知固定的。受此啟發(fā)，本文選取以較大正數η替換原先微小正數r對批歸一化層方差進行腐蝕，也就等價于腐蝕歸一化操作，從而實現對原有網絡模型中間層的輸出分布進一步改變，其可形式化表達為：

其中，η為方差腐蝕因子。

此外，本文是把批歸一化腐蝕算法應用于改進現有較強的基于梯度的攻擊方法MI-FGSM、DIM和TI-DIM，從而形成更強的攻擊組合方法EBN-MI-FGSM、EBNDIM和EBN-TI-DIM，其具體轉換關系如圖2所示。

圖2 攻擊方法轉化圖Fig.2 Conversion of attack methods

3 實驗結果與分析

3.1 實驗設置

3.1.1數據集與參數設置

本文使用的數據集是NIPS 2017對抗競賽數據集，該數據集與ImageNet相兼容且包含1 000張網絡模型正確分類的圖像樣本。在參數設置方面，本文設置最大擾動量ε=16，迭代次數T=10以及動量因子μ=1。對于DIM方法，輸入轉換概率p設置為0.7。對于TI-DIM方法，預定義高斯核W大小設置為15×15。而對于本文批歸一化腐蝕方法，縮放平移腐蝕因子Λ和方差腐蝕因子η的取值則根據3.2節(jié)所得適當值設定。

3.1.2源模型與目標模型

本文分別選擇了Inception-v3[14]（Inc-v3）、Inceptionv4[15]（Inc-v4）、Inception-Resnet-v2[15]（IncRes-v2）和Resnetv2-152[16]（Res-152）這4個模型作為源模型用于生成對抗樣本。此外，本文還選取了4個普通模型和6個防御模型作為目標模型用于評價本文方法的黑盒攻擊性能。其中，4個普通模型分別是Inc-v3、Inc-v4、IncRes-v2和Res-152，其余6個防御模型分別是經過對抗訓練的集成模型Inc-v3ens3、Inc-v3ens4、IncRes-v2ens[17]以及NIPS 2017防御競賽中排名前三的模型HGD[18]、R&P[19]和NIPS-r3。

3.1.3評估指標

本文選用攻擊成功率（Attack Success Rate，ASR）作為評價攻擊性能的指標。然而，對于不同類型攻擊，ASR定義會有所不同。例如，對于有目標攻擊方式，ASR可定義為對抗樣本使得網絡模型預測結果與目標類別一致的比例。而對于本文這種無目標攻擊方式，ASR則定義為對抗樣本使得網絡模型預測結果與真實類別不一致的比例，即可公式化為：

3.2 腐蝕因子分析

由于不同神經網絡模型的腐蝕因子取值可能會有所不同，本節(jié)分別針對Inc-v3、Inc-v4、IncRes-v2和Res-152這4個模型進行批歸一化腐蝕，以探究腐蝕因子與對抗樣本攻擊性能兩者之間的關系，從而選定每個模型腐蝕因子的適當值。

3.2.1縮放平移腐蝕因子取值

縮放平移腐蝕因子的取值在對抗樣本攻擊性能方面起著關鍵作用。如果縮放平移腐蝕因子Λ取值為0，那就意味著沒有對網絡模型批歸一化層進行縮放平移腐蝕，因而所生成的對抗樣本攻擊性能會有所下降。同樣，如果Λ取值過大，則將會過度降低網絡模型預測精度，從而影響到所生成的對抗樣本攻擊性能。為此本節(jié)進行實驗以找到合適的縮放平移腐蝕因子值。

本小節(jié)首先設置縮放平移腐蝕因子取值變化范圍為0到0.14，變化間隔為0.01。然后，分別使用EBN-MIFGSM方法針對Inc-v3、Inc-v4、IncRes-v2和Res-152源模型進行縮放平移腐蝕生成相應的對抗樣本。圖3顯示了縮放平移腐蝕因子取值與所生成的對抗樣本攻擊性能兩者的關系。由圖3可知，隨著縮放平移腐蝕因子取值不斷增大，對抗樣本在保持較高白盒攻擊成功率時所有黑盒攻擊成功率基本呈現先升后降的趨勢。雖然所生成的對抗樣本針對不同模型的黑盒攻擊成功率最高值點會有所不同，但是本小節(jié)綜合考慮了對于3個普通模型和3個防御模型的平均攻擊成功率，選擇使平均攻擊成功率達到最大的縮放平移腐蝕因子值，即分別設置Inc-v3、Inc-v4、IncRes-v2和Res-152這4個源模型的縮放平移腐蝕因子Λ適當值為0.05、0.04、0.07、0.11。

3.2.2方差腐蝕因子取值

此外，由于本文在縮放平移腐蝕基礎上還引入了方差腐蝕因子η替換原先微小正數r以進一步對批歸一化層腐蝕。為此，本小節(jié)繼續(xù)實驗以找到每個模型方差腐蝕因子的適當值。因為每個模型對于方差腐蝕因子敏感度會有所不同，所以Inc-v3和Inc-v4源模型的η變化范圍設置為0.002到0.03，變化間隔為0.002。而IncRes-v2源模型的η變化范圍則為0.001到0.01，變化間隔為0.001，以及IncRes-v2源模型的η變化范圍為0.000 2到0.003，變化間隔為0.000 2。然后，分別運用EBN-MI-FGSM方法腐蝕源模型批歸一化層方差生成相應的對抗樣本。圖4顯示了源模型方差腐蝕因子取值與所生成的對抗樣本攻擊性能兩者的關系。同樣，本小節(jié)綜合考慮了3個普通模型和3個防御模型的平均攻擊成功率，選擇使平均攻擊成功率達到最大的方差腐蝕因子值，即分別設置Inc-v3、Inc-v4、IncRes-v2和Res-152這4個源模型的方差腐蝕因子η適當值為0.02、0.01、0.003、0.001 8。

圖4 方差腐蝕因子對ASR的影響Fig.4 Influence of variance decay factor on ASR

3.3 單模型攻擊場景

為了表明本文所提方法能與現有基于梯度攻擊方法有效組合，本節(jié)做了批歸一化腐蝕攻擊方法與基準攻擊方法的單模型攻擊對比實驗，即分別使用批歸一化腐蝕攻擊方法與基準攻擊方法針對Inc-v3、Inc-v4、IncRes-v2和Res-152每個源模型生成相應的對抗樣本，測試所生成的對抗樣本攻擊10個模型的成功率。表1~表3對比了批歸一化腐蝕攻擊方法與基準攻擊方法所生成的對抗樣本攻擊成功率。

表1 MI-FGSM和EBN-MI-FGSM單模型ASR對比Table 1 Comparison of single-model ASR between MI-FGSM and EBN-MI-FGSM %

表2 DIM和EBN-DIM單模型ASR對比Table 2 Comparison of single-model ASR between DIM and EBN-DIM %

從表1~表3可以看出，本文所提的批歸一化腐蝕方法可有效改進現有基于梯度攻擊方法的攻擊性能，使得改進后的對抗攻擊方法實現黑盒攻擊成功率整體提升。例如，由表1~表3可知，使用批歸一化腐蝕攻擊方法針對IncRes-v2源模型所生成的對抗樣本在黑盒攻擊防御模型Inc-v3ens3時的攻擊成功率依次為50.7%、63.5%和80.2%，而相應的基準方法則分別為30.2%、40.5%和60.6%，均實現了攻擊成功率提升19.6個百分點以上。

表3 TI-DIM和EBN-TI-DIM單模型ASR對比Table 3 Comparison of single-model ASR between TI-DIM and EBN-TI-DIM %

此外，雖然本文所提方法是通過腐蝕網絡模型的批一化層以提升對抗樣本的遷移性，但仍能保持較高白盒攻擊成功率。例如，表格中符號*標識了白盒攻擊成功率，由表1~表3可知，除了使用EBN-MI-FGSM方法針對Inc-v3源模型外，其余批歸一化腐蝕攻擊方法的白盒攻擊性能均能保持甚至較大超過基準攻擊方法。例如，使用EBN-TI-DIM方法針對IncRes-v2源模型所生成的對抗樣本白盒攻擊成功率為97.9%，而相應的基準方法則為95.7%，實現了攻擊成功率提升2.2個百分點。

3.4 集成模型攻擊場景

雖然集成攻擊方法會增加計算開銷，但可有效增強對抗樣本的黑盒攻擊成功率。為此本文進一步把批一化腐蝕算法融入到集成攻擊方法中，用于提升對抗樣本攻擊防御模型的性能。本節(jié)選擇了將Inc-v3、Inc-v4、IncRes-v2和Res-152源模型組合成集成模型。然后，分別使用批歸一化腐蝕攻擊方法和基準攻擊方法進行集成攻擊實驗。表4顯示了集成攻擊方法所生成的對抗樣本攻擊成功率。由表4可知，集成批歸一化腐蝕攻擊方法在攻擊性能方面均優(yōu)于集成基準攻擊方法。其中，集成EBN-TI-DIM方法是所有集成攻擊方法中性能最強的，其能以87.2%的平均成功率欺騙六種先進防御模型。相比于目前最強黑盒攻擊方法集成TI-DIM方法，在攻擊成功率上實現提升約9.0個百分點。

表4 集成模型ASR對比Table 4 Comparison of multi-model ASR %

3.5 有效性分析

3.5.1運行時間有效性分析

由于批歸一化腐蝕方法所形成的衰減模型和原始網絡模型是共享相同數量的參數和核心體系結構，在對抗樣本生成過程中，批量歸一化腐蝕方法不會過多增加額外計算開銷。表5顯示了在相同運行環(huán)境下，批歸一化腐蝕攻擊方法與基準攻擊方法針對1 000張樣本攻擊的總運行時間。由表5可以看出，在總運行時間上，批歸一化腐蝕攻擊方法與基準攻擊方法并沒有太大的差別，從而表明了本文所提方法在生成對抗樣本方面能夠保持良好的效率。

表5 運行時間對比Table 5 Comparison of running time s

3.5.2組合方法有效性分析

雖然本文所提方法與Li等人所提的Ghost Network方法都是通過腐蝕神經網絡架構來提升對抗樣本的攻擊性能，但是Ghost Network方法卻不能與DIM方法有效組合生成更高黑盒攻擊成功率的對抗樣本。如圖5所示，本文將Ghost Network方法組合到基準攻擊方法中形成了GN-MI-FGSM、GN-DIM和GN-TI-DIM方法。從圖5可以看出，本文批歸一化腐蝕方法均能與基于梯度的攻擊方法有效組合，而Ghost Network方法在與DIM和TI-DIM方法組合時出現平均黑盒攻擊成功率下降的情況。

圖5 不同組合方法平均黑盒攻擊率對比Fig.5 Comparison of average black-box attack rates of different combination methods

為此，進一步選用Grad-CAM方法[20]做可視化實驗解釋分析上述現象。由于Ghost Network方法Skip-Connection腐蝕ResNet系列模型方式實現的，本節(jié)分別選Inc-v3模型和Res-152模型作為典型分析。圖6顯示了不同攻擊方法針對這兩種模型的結果圖。由圖6可以看出，GN-DIM方法對于Inc-v3模型而言關注區(qū)域已偏移重要區(qū)域，但DIM方法和EBN-DIM方法仍能聚焦到重要區(qū)域，并且EBN-DIM關注區(qū)域范圍更大。另外，對于Res-152模型，雖然所有方法都聚焦到重要區(qū)域，但是GN-DIM方法關注區(qū)域范圍均要小于DIM方法和EBN-DIM方法。因此，圖6直觀地驗證了本文所提方法相比Ghost Network方法能更好與DIM方法組合。

圖6 不同攻擊方法Grad-CAM結果Fig.6 Results of Grad-CAM of different attack methods

4 結束語

本文針對如何在不消耗過多額外資源條件下能有效改進現有基于梯度的攻擊方法的黑盒攻擊性能問題，提出了一種基于腐蝕神經網絡架構中批歸一化層的對抗樣本生成算法來增強對抗樣本的遷移性，從而實現黑盒攻擊能力提升。本文在NIPS 2017對抗競賽數據集上做了大量對比實驗，實驗結果表明本文所提的批歸一化腐蝕算法可與現有基于梯度的攻擊方法有效組合，使得所生成的對抗樣本實現黑盒攻擊性能整體提升。同時，為了進一步增強算法在黑盒攻擊中的攻擊性能，本文把批歸一化腐蝕算法融入到集成攻擊方法中，實現了以87.2%的平均成功率欺騙六種先進黑盒防御模型。此外，本文還可視化分析闡述了Ghost Network方法不能與DIM方法有效組合的現象。