隋晨紅，王奧，周圣文，臧安康，潘云豪，劉顥，王海鵬

1.煙臺大學(xué)物理與電子信息學(xué)院，煙臺 264002；2.上海交通大學(xué)電子信息與電氣工程學(xué)院，上海 200240；3.武漢數(shù)字工程研究所，武漢 430205；4.中國人民解放軍海軍航空大學(xué)信息融合研究所，煙臺 264001

0 引言

深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）在計算機(jī)視覺領(lǐng)域取得了巨大成功，如面部識別、語音識別、醫(yī)學(xué)成像、自動駕駛汽車、機(jī)器翻譯和惡意軟件檢測等，這些實際應(yīng)用的飛速發(fā)展使深度學(xué)習(xí)的安全可靠性問題日益凸顯。研究發(fā)現(xiàn)，模型參數(shù)量的龐大和對訓(xùn)練樣本的極度依賴，導(dǎo)致DNN 具有嚴(yán)重的對抗脆弱性。具體而言，攻擊者向原始數(shù)據(jù)添加人類視覺系統(tǒng)不可察覺的微小擾動，生成對抗樣本，該對抗樣本能讓DNN 產(chǎn)生錯誤的輸出結(jié)果，達(dá)到攻擊DNN 的目的（Goodfellow 等，2015）。DNN 的這種對抗脆弱性誘發(fā)了惡意攻擊的大量涌入，給深度學(xué)習(xí)在各領(lǐng)域的應(yīng)用帶來了嚴(yán)峻的安全性挑戰(zhàn)（Sharif 等，2016；Wu 等，2020b；余正飛等，2022；吳翼騰 等，2022）。為應(yīng)對惡意攻擊的威脅，開展對抗性防御進(jìn)而提升模型魯棒性變得尤為重要。

針對DNN 的防御方法主要包括3 類：基于修正輸入數(shù)據(jù)的方法、直接增強(qiáng)網(wǎng)絡(luò)的方法以及對抗訓(xùn)練（Madry 等，2017）的方法。基于修正輸入數(shù)據(jù)的防御方法旨在對輸入DNN 的數(shù)據(jù)提前進(jìn)行修正，在輸入端減弱攻擊強(qiáng)度，如去噪（Xie等，2019）、圖像變換（Xie等，2018）等。該類方法具有一定的抵御攻擊能力，但其不僅受攻擊強(qiáng)度限制，而且存在對正常輸入數(shù)據(jù)過度修正的問題。前者導(dǎo)致其難以應(yīng)對人類不可感知的微小擾動，而后者極易造成其對正常數(shù)據(jù)亦給出錯誤判斷，從而降低模型的分類準(zhǔn)確率。直接增強(qiáng)網(wǎng)絡(luò)的方法主要是通過添加子網(wǎng)絡(luò)（Bai等，2022）、更改損失函數(shù)、激活函數(shù)（Singla 等，2021）、BN（batch normalization）層（Xie等，2020）或網(wǎng)絡(luò)訓(xùn)練過程（Hendrycks 等，2019；Xiao 和Zheng，2020；Chen 等，2020；Cui 等，2021）等方式，直接增強(qiáng)網(wǎng)絡(luò)的抗攻擊能力。

相較前兩類方法，對抗訓(xùn)練是典型的啟發(fā)式防御方法（孔銳 等，2022；李前 等，2022；Liu 等，2020）。其核心是將對抗攻擊與對抗防御注入一個框架，一方面利用對抗攻擊已有模型，生成強(qiáng)干擾的對抗樣本；另一方面利用對抗樣本進(jìn)一步訓(xùn)練目標(biāo)模型，使其能夠?qū)箻颖居袦?zhǔn)確的輸出，進(jìn)而提升模型抵御對抗攻擊的魯棒性。

盡管對抗訓(xùn)練具有一定的防御攻擊能力，但其對模型魯棒性的提升是以降低對正常數(shù)據(jù)的分類或識別精度為代價的。實踐表明，模型越魯棒，其對正常樣本的分類或識別精度越低（Zhang 等，2019b）。此外，針對攻擊方式多樣化的強(qiáng)對抗攻擊，目前的對抗訓(xùn)練防御效果依然不盡人意，并且標(biāo)準(zhǔn)對抗訓(xùn)練存在耗時長的問題。

研究工作從不同角度改進(jìn)了標(biāo)準(zhǔn)的對抗訓(xùn)練，如在攻擊階段，使生成的對抗樣本具有多樣性或可遷移性，能夠使模型抵擋其他更多種類的攻擊；在防御階段，標(biāo)準(zhǔn)對抗訓(xùn)練僅考慮了對抗樣本的分類情況，忽略了原始樣本的分類精度要求。為此，許多工作（Kannan 等，2018；Zhang 等，2019b；Wang 等，2020）不僅引入對抗樣本與原始樣本的空間或語義一致性約束，而且要求模型對原始樣本及對抗樣本均有準(zhǔn)確的輸出，從而保證模型同時兼具高魯棒性與高準(zhǔn)確性。

為進(jìn)一步提升模型的魯棒性，研究者提出將對抗訓(xùn)練與直接增強(qiáng)網(wǎng)絡(luò)的方法進(jìn)行結(jié)合。例如，許多工作將修改模型網(wǎng)絡(luò)結(jié)構(gòu)（Mustafa 等，2019；Xie等，2020；Bai 等，2022）、自適應(yīng)調(diào)整模型參數(shù)（Chen等，2020；Xiong 和Hsieh，2020；Liu 等，2020；Ye 等，2021）、加速對抗訓(xùn)練（Zhang 等，2019a；Zhang 等，2019b；Shafahi 等，2019；Zheng 等，2020；Wong 等，2020；Kim等，2021）等嵌入對抗訓(xùn)練框架，增強(qiáng)模型抵御對抗攻擊的能力。此外，為提升模型的遷移性，研究者將課程學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、度量學(xué)習(xí)以及領(lǐng)域自適應(yīng)等技術(shù)引入對抗訓(xùn)練（Cai 等，2018；Sitawarin 等，2021；Bashivan 等，2022；Jia 等，2022；錢申誠 等，2022）。例 如，CAT（curriculum adversarial training）（Cai 等，2018）通過引入課程學(xué)習(xí)的思想，使得對抗訓(xùn)練過程的擾動范圍由小到大變化，增強(qiáng)了對抗攻擊強(qiáng)度的多樣性，使模型的遷移性能得到顯著提升。

為此，本文圍繞對抗訓(xùn)練，從對抗訓(xùn)練的基本框架入手，分別就對抗樣本生成、對抗模型防御訓(xùn)練等相關(guān)技術(shù)進(jìn)行詳細(xì)分類與梳理，并對對抗訓(xùn)練性能評估涉及的數(shù)據(jù)集和對抗攻擊方法展開介紹，最后通過對當(dāng)前對抗訓(xùn)練所面臨挑戰(zhàn)的分析，對對抗訓(xùn)練未來的發(fā)展趨勢進(jìn)行了展望。

1 對抗訓(xùn)練的基本框架

深度學(xué)習(xí)模型的強(qiáng)大擬合能力，使其能夠?qū)?shù)據(jù)產(chǎn)生豐富的表征。因此，當(dāng)攻擊者對原數(shù)據(jù)x施加輕微擾動δ，便可引起特征表達(dá)的顯著變化，進(jìn)而導(dǎo)致錯誤的分類或檢測。這種人為添加擾動而生成的樣本稱為對抗樣本（adversarial example）xadv，其與擾動δ的關(guān)系可簡單描述為

式中，ε為攻擊或擾動的幅值，‖ ? ‖p代表p范數(shù)，p可取0，1，2，∞。

為提高模型對抗攻擊的穩(wěn)健性，對抗訓(xùn)練的核心思想是利用具有攻擊性的對抗樣本進(jìn)行模型訓(xùn)練，使學(xué)習(xí)到的模型能抵御攻擊。這表明包含微小擾動δ的對抗樣本生成是對抗訓(xùn)練的關(guān)鍵。其中，擾動δ一方面要保證對抗樣本的強(qiáng)攻擊性，另一方面要滿足低幅性，具體為

式中，y為原數(shù)據(jù)x的真實標(biāo)簽，θ為模型參數(shù)，L 為度量模型預(yù)測結(jié)果與真實標(biāo)簽y之間一致性的損失函數(shù)。

為防御攻擊，對抗訓(xùn)練在依據(jù)式（2）與式（1）獲取對抗樣本xadv后，將xadv作為訓(xùn)練樣本輸入模型并進(jìn)行訓(xùn)練，則模型參數(shù)θ可通過最小化平均損失函數(shù)L(xadv，y；θ)進(jìn)行更新，即

式中，(x，y)～D表示從分布D中采樣的數(shù)據(jù)及標(biāo)簽對，E[ ?]表示期望。

基于這一思想，Madry 等人（2017）從魯棒優(yōu)化的角度，使用自然鞍點（最大—最小）公式將對抗攻擊和防御訓(xùn)練同時納入對抗訓(xùn)練，構(gòu)建了對抗訓(xùn)練的基本框架，具體為

式中，B(x，ε)表示滿足‖δ‖p≤ε的擾動集合。

由式（4）不難看出，對抗訓(xùn)練是集攻擊與防御于一體的啟發(fā)式方法。一方面，其通過內(nèi)層損失最大化來生成具有攻擊性的對抗樣本；另一方面，其利用外層損失最小化來更新模型，進(jìn)而增強(qiáng)模型的抗攻擊能力。

為此，本文將分別就對抗樣本生成與模型防御訓(xùn)練兩方面展開介紹。

2 對抗樣本生成

在對抗訓(xùn)練的攻擊階段，依據(jù)攻擊的對象不同，可將現(xiàn)有的對抗樣本生成技術(shù)分為3 類：基于圖像空間攻擊的對抗樣本生成、基于特征空間攻擊的對抗樣本生成以及基于物理空間攻擊的對抗樣本生成。其中，基于圖像空間的攻擊是目前對抗訓(xùn)練采用的主流對抗樣本生成方式（錢申誠 等，2022；趙宏等，2022）。其通過限制擾動幅度，能夠生成人類感知不到擾動的對抗樣本，具有較好的攻擊隱藏性。因此，本文將重點對基于圖像空間攻擊的對抗樣本生成方式展開分析。

2.1 基于圖像空間攻擊的對抗樣本生成

基于圖像空間的攻擊方法首先基于損失函數(shù)最大化，獲得滿足幅值限制的擾動δ，然后將δ添加到原始圖像x生成對抗樣本，如式（4）所示。典型方法如FGSM（fast gradient sign method）（Goodfellow 等，2015）、FGSM 的迭代變體I-FGSM（iterative FGSM）（Kurakin 等，2017）、基于動量的迭代變體MI-FGSM（momentum-based iterative FGSM）（Dong 等，2018）以及PGD 方法（projected gradient descent method）（Madry 等，2017）等。這些方法均通過損失函數(shù)的梯度進(jìn)行圖像空間攻擊，進(jìn)而生成對抗樣本。

表1 列出了一系列基于梯度的對抗樣本生成方法，總結(jié)了它們的應(yīng)用范圍、算法思想和優(yōu)點。圖1簡要給出了基于損失函數(shù)梯度攻擊原始圖像，然后生成對抗樣本的演進(jìn)過程。在圖1 實線框內(nèi)的方法是常用的基于梯度的攻擊方法，而虛線框內(nèi)的方法能夠進(jìn)一步增強(qiáng)對抗樣本的可遷移性。

圖1 基于梯度的攻擊方法演變過程Fig.1 Evolution of gradient-based attack methods

由圖1不難看出，F(xiàn)GSM 作為最基本的單步迭代方法，是其他基于梯度攻擊圖像的方法的基礎(chǔ)。FGSM 是通過對原始數(shù)據(jù)添加與損失函數(shù)的梯度方向一致而幅度較小的微小擾動得到對抗樣本，具體為

式中，J(x，y；θ)表示損失函數(shù)，而?xJ(x，y)是損失函數(shù)關(guān)于x的梯度，sign(?)為符號函數(shù)，用于提取梯度的方向。特別地，為限制擾動的強(qiáng)度，δ需滿足‖δ‖∞<ε。

顯然，F(xiàn)GSM 通過單步計算損失函數(shù)的梯度完成對抗樣本的生成，無需迭代，具有效率高的優(yōu)勢。然而，這種單步生成對抗樣本的方式導(dǎo)致FGSM 缺乏對對抗樣本多樣性和合理性的探索，不利于提升模型的抗攻擊能力。

為此，Kurakin 等人（2017）在FGSM 的基礎(chǔ)上提出了迭代版FGSM，即I-FGSM。I-FGSM 沿著梯度增加的方向進(jìn)行多步微小擾動，并在每次擾動后，重新計算梯度方向。若設(shè)初始的對抗樣本為

則第t+1步更新后的對抗樣本為

式中，Clipx，ε(A)表示將輸入向量Ai，j中的每個元素裁剪到[xi，j-ε，xi，j+ε]之間的操作，用于控制擾動的強(qiáng)度。

為提高對抗樣本的可遷移性，MI-FGSM（Dong等，2018）將動量整合到I-FGSM 中，實現(xiàn)了對抗樣本更高的遷移性，具體為

式中，gt為前t次迭代后的累積梯度，μ為衰減因子。

此外，與I-FGSM 不同的是，目前最流行的PGD（Madry 等，2017）攻擊是對原始樣本添加其鄰域范圍內(nèi)的隨機(jī)擾動S作為初始對抗樣本，具體為

PGD第t+1步迭代生成的對抗樣本為

上述I-FGSM、MI-FGSM 以及PGD等方法均利用損失函數(shù)的梯度，將損失函數(shù)增加的方向定義為擾動更新的最優(yōu)方向。顯然，這有利于增加對抗樣本的攻擊性。然而，受擾動幅度限制，模型在該類方法所生成的對抗樣本附近，具有高度非線性的損失表面，導(dǎo)致我們需要通過多次迭代更新擾動方向，進(jìn)而找到合適的對抗擾動。這極大地降低了對抗訓(xùn)練的收斂速度。

為降低對抗樣本的更新步數(shù)，Qin 等人（2019）將正則項引入目標(biāo)函數(shù)，旨在通過提升局部線性，減少生成對抗樣本所需的迭代步數(shù)。Sriramanan 等人（2020）通過引入正則化約束來尋找最優(yōu)梯度方向，從而為對抗樣本的生成提供可靠的擾動，使得單步迭代能產(chǎn)生更強(qiáng)的攻擊。

另外，為加強(qiáng)對抗樣本的多樣性，進(jìn)而增加模型的泛化性，集成對抗訓(xùn)練、多樣性對抗訓(xùn)練等方法（Tramèr 和Boneh，2019；Jang 等，2019；Kariyappa 和Qureshi，2019；Addepalli 等，2022）相繼提出。例如，集成對抗訓(xùn)練（Tramèr 等，2020）旨在利用不同模型生成的對抗樣本進(jìn)行目標(biāo)模型訓(xùn)練。Pang 等人（2019）提出利用不同模型間的相互作用來提高集成模型的魯棒性。Kariyappa 和Qureshz（2019）提出多樣性訓(xùn)練，旨在訓(xùn)練基于輸入梯度間余弦距離損失的模型集合。

為進(jìn)一步提升對抗樣本的多樣性，插值對抗訓(xùn)練（Zhang 等，2021）引入插值的思想。具體來說，首先對輸入圖像與標(biāo)簽同時插值，然后最小化插值后的圖像與原始圖像的距離（此時，插值后的圖像相當(dāng)于對抗樣本），同時，最大化插值后的標(biāo)簽與原始標(biāo)簽的距離。例如，雙邊對抗訓(xùn)練（Wang 和Zhang，2019）對輸入與標(biāo)簽同時添加擾動。Lee 等人（2020）針對對抗特征過度擬合（adversarial feature overfitting，AFO）問題，提出了對抗頂點混合（adversarial vertex mixup，AVmixup）方法，即一種軟標(biāo)記數(shù)據(jù)增強(qiáng)方法。由于大多數(shù)插值方法僅在訓(xùn)練階段進(jìn)行，Pang 等人（2019）發(fā)現(xiàn)由于用于訓(xùn)練的插值對抗樣本與測試數(shù)據(jù)間的差異，導(dǎo)致分類器訓(xùn)練所得最佳決策邊界并不適用測試數(shù)據(jù)，并引發(fā)泛化誤差增加的風(fēng)險。這說明僅對訓(xùn)練數(shù)據(jù)進(jìn)行插值不利于保證模型的泛化性能。為此，Pang 等人（2019）提出在訓(xùn)練與測試階段均引入插值操作，使模型魯棒性進(jìn)一步得到提升。

表2 進(jìn)一步總結(jié)了上述方法對輸入樣本和標(biāo)簽的具體插值公式。若C為類別總數(shù)，則對抗插值訓(xùn)練（Zhang 等，2020）進(jìn)行標(biāo)簽平滑后的新標(biāo)簽為yˉ′=在雙邊對抗訓(xùn)練（Wang 和Zhang，2019）中，超參數(shù)β用于更新標(biāo)簽，而對抗頂點混合（Lee 等，2020）方法使用標(biāo)簽平滑函數(shù)?更新標(biāo)簽。

表2 插值對抗訓(xùn)練方法對比Table 2 Comparison of interpolation methods

上述對抗樣本生成方法均依賴手工設(shè)計的規(guī)則，因此，一定程度上限制了對抗樣本生成。

為避免這一問題，有研究旨在通過網(wǎng)絡(luò)直接生成對抗樣本。Jang 等人（2019）用遞歸生成網(wǎng)絡(luò)（采用基于U-Net 架構(gòu)的卷積編碼器—解碼器）代替上述攻擊方式生成對抗樣本，損失函數(shù)由目標(biāo)分類器的標(biāo)準(zhǔn)損失與多樣性損失組成，可以產(chǎn)生更強(qiáng)和更多樣的對抗樣本；Xiong 和Hsieh（2020）同樣提出了基于L2L（learning-to-learn）（Chen等，2021）的遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）對抗訓(xùn)練框架，如圖2 所示，其框架可以與AT（adversarial training）或TRADES（trade-off between robustness and accuracy）相結(jié)合。為保證穩(wěn)定訓(xùn)練，該框架還去除了標(biāo)準(zhǔn)RNN 的偏差項。Chan 等人（2020）提出利用雅可比矩陣替代對抗樣本的對抗正則化網(wǎng)絡(luò)（Jacobian adversarially regularized networks，JARN）。JARN 將目標(biāo)分類器作為生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）（Goodfellow 等，2014）中的生成器模型，通過優(yōu)化目標(biāo)分類器使其產(chǎn)生的顯著雅可比矩陣能夠欺騙鑒別器網(wǎng)絡(luò)，并將其認(rèn)定為輸入圖像，以此來提升目標(biāo)分類器的魯棒性。

圖2 基于L2L的RNN對抗訓(xùn)練框架（Xiong和Hsieh，2020）Fig.2 L2L-based RNN adversarial training framework（Xiong and Hsieh，2020）

此外，由于相關(guān)研究表明對抗樣本具有可遷移性（Liu 等，2017；Papernot 等，2017），有研究工作旨在通過對FGSM 進(jìn)行優(yōu)化來提升對抗樣本的可遷移性（Lin等，2020；Wang和He，2021；Wang等，2022a）。如式（8）（9）所示，Dong 等人（2018）提出MI-FGSM，將動量項整合到迭代攻擊中，以此穩(wěn)定更新的梯度方向，進(jìn)而提高對抗樣本的可遷移性。而Lin 等人（2020）在此基礎(chǔ)上提出NI-FGMS（nesterov iterative fast gradient sign method），通過引入NAG（nesterov accelerated gradient）α×μ×gt來校正累積梯度gt+1，加速跳出局部最優(yōu)解的同時，使對抗樣本獲得更好的遷移性，具體為

與NI-FGSM 和MI-FGSM 等基于梯度進(jìn)行動量累積不同的是，Wang 和He（2021）提出了一種稱為方差調(diào)整的新方法。該方法通過在每次迭代中減少梯度的方差來提高對抗樣本可遷移性，具體為

式中，θ為模型參數(shù)，J(x，y；θ)為損失函數(shù)，gt為前t次迭代后的累積梯度，μ為衰減因子，vt為方差?？梢钥闯?，利用方差的攻擊可以在MI-FGSM或NI-FGSM的基礎(chǔ)上更進(jìn)一步提升對抗樣本的可遷移性。

除了在時間動量上進(jìn)行優(yōu)化，Wang 等人（2022a）還提出了考慮空間動量的SMI-FGSM（spatial momentum iterative FGSM attack）。SMI-FGSM 將動量累積機(jī)制從時間域引入到空間域，使用來自不同區(qū)域的信息來生成穩(wěn)定的梯度，最后在時間和空間域同時穩(wěn)定梯度的更新方向，具體為

式中，Hi(?)表示對輸入進(jìn)行隨機(jī)變換的函數(shù)，n表示空間域中進(jìn)行隨機(jī)變換的次數(shù)，λi是梯度的權(quán)重，∑λi=1，λi=1/n。

顯然，不同于NI-FGSM 和MI-FGSM 等方法在時間域累積動量，SMI-FGSM 通過計算n種隨機(jī)變換圖像的平均梯度，得到空間域上的動量累積。

此外，Zheng 等人（2020）根據(jù)替代模型訓(xùn)練的思想，基于相鄰訓(xùn)練epoch 的模型之間有高度可遷移性的特性，提出對抗訓(xùn)練可以由逐epoch 累積的對抗擾動來增強(qiáng)訓(xùn)練模型的魯棒性，以更少的迭代生成相似（甚至更強(qiáng)）的對抗樣本；還有研究提出對抗性變換網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的圖像變換（Wu 等，2021），以此增強(qiáng)對抗樣本的可遷移性。

2.2 基于特征空間攻擊的對抗樣本生成

除了針對圖像空間進(jìn)行攻擊生成對抗樣本之外，還可以基于特征空間的攻擊生成對抗樣本，即在網(wǎng)絡(luò)層添加噪聲。如圖3 所示，輸入圖像進(jìn)入某一DNN 網(wǎng)絡(luò)，可以在中間隱藏層的某幾層或全部層添加噪聲，將添加了噪聲的特征圖依次經(jīng)過全連接層與分類層輸出，得到最終的對抗樣本。

圖3 特征空間添加擾動方法Fig.3 Method of adding perturbation to feature space

參數(shù)噪聲注入（He等，2019）旨在在網(wǎng)絡(luò)每一層的激活或權(quán)重上注入可訓(xùn)練的高斯噪聲，并嵌入對抗訓(xùn)練；在此基礎(chǔ)上，Jeddi 等人（2020）提出了基于Learn2Perturb學(xué)習(xí)框架的擾動注入模塊，如圖4所示，并把模型訓(xùn)練分為兩個部分：1）擾動注入網(wǎng)絡(luò)訓(xùn)練：對特征注入擾動的情況下繼續(xù)更新網(wǎng)絡(luò)參數(shù)，以提高模型的對抗魯棒性；2）擾動注入模塊訓(xùn)練：更新擾動注入模塊的參數(shù)，以增強(qiáng)針對改進(jìn)網(wǎng)絡(luò)的擾動能力。

圖4 擾動注入模塊下的模型訓(xùn)練策略（Jeddi等，2020）Fig.4 Model training strategy under the perturbation injection module（Jeddi et al.，2020）

Yu 等人（2021）試圖研究網(wǎng)絡(luò)中間層的潛在特征，并研究了選擇哪些中間層最適合攻擊，使網(wǎng)絡(luò)原始輸出與特征空間的輸出共同決定網(wǎng)絡(luò)最終的輸出預(yù)測，并使用替代損失函數(shù)來更新對抗樣本。

逐層對抗訓(xùn)練（Chen 等，2020）得出結(jié)論：1）將擾動注入到網(wǎng)絡(luò)的每一層（包括輸入層）會得到最高的模型魯棒性；2）接受對抗性訓(xùn)練的層次越多，防御性能越強(qiáng)；3）對抗性訓(xùn)練層越靠近網(wǎng)絡(luò)輸出層，防御性能越強(qiáng)。

此外，由于對抗訓(xùn)練的模型更偏向于全局特征，Song 等人（2020）試圖研究對抗性訓(xùn)練的泛化和魯棒的局部特征之間的關(guān)系。通過對對抗樣本隨機(jī)區(qū)塊洗牌（random block shuffle，RBS）變換獲得局部特征，然后將其遷移到正常對抗樣本的訓(xùn)練中；特征級可遷移攻擊（Zhang 等，2022）旨在生成更多可遷移的對抗樣本，通過對神經(jīng)元重要性進(jìn)行估計，破壞正面特征或放大負(fù)面特征來生成對抗樣本。

2.3 基于物理空間攻擊的對抗樣本生成

2.1 和2.2 節(jié)分別介紹了如何在圖像或特征空間生成人類視覺系統(tǒng)察覺不到的微小擾動。但在實際情況中，DNN 還表現(xiàn)出對日常環(huán)境中常見自然破壞（如雪、雨、亮度等）的弱魯棒性，這些人眼可識別的物理擾動的存在，對人們的日常生活造成了極大的干擾，不僅如此，Brown 等人（2018）在原始圖像上添加看得見的物理補(bǔ)?。≒atch）作為擾動，同樣能產(chǎn)生相同的后果。如在實際應(yīng)用中，攻擊者把這些惡意擾動應(yīng)用在自動汽車駕駛上，可能會造成嚴(yán)重的交通事故。所以現(xiàn)實生活中更需要采取一系列有效防御措施，以在物理世界中建立同樣魯棒的深度學(xué)習(xí)模型（袁瓏 等，2022）。

在這一領(lǐng)域，Salman 等人（2021）采用相反思路構(gòu)建非對抗性擾動，如圖5 所示，有兩種方式生成非對抗性擾動：1）設(shè)計非對抗性補(bǔ)??；2）設(shè)計非對抗性紋理。通過改變輸入來強(qiáng)化正確的行為，而不是優(yōu)化輸入來誤導(dǎo)模型。也就是說，當(dāng)?shù)玫椒菍剐詷颖竞?，與傳統(tǒng)對抗訓(xùn)練內(nèi)部最大化目標(biāo)函數(shù)相反，本方法要使目標(biāo)分類器的損失最??；類似地，Wang 等人（2022b）提出了防御性補(bǔ)丁生成框架，旨在通過利用局部特征與全局特征加強(qiáng)模型的泛化性與不同模型之間的可遷移性，與Salman 等人（2021）不同的是，其通過掩碼的方式設(shè)計的補(bǔ)丁粘貼在目標(biāo)圖像周圍，不會對其造成干擾，并且該框架可以與對抗訓(xùn)練結(jié)合，得到更高的魯棒精確度。

圖5 非對抗性擾動（Salman等，2021）Fig.5 Unadversarial perturbation（Salman et al.，2021）（（a）an example unadversarial patch；（b）an example unadversarial texture）

3 防御性訓(xùn)練

對抗訓(xùn)練的防御階段，其基本問題是利用已生成的對抗樣本進(jìn)行訓(xùn)練，并通過分類或檢測損失最小化來更新模型，具體如式（4）的外部最小化學(xué)習(xí)過程。為進(jìn)一步提升模型的魯棒性，防御訓(xùn)練階段還會結(jié)合以下技術(shù)：1）引入損失正則項。將正常樣本與對抗樣本的類別一致性、語義一致性或分布一致性等正則項引入損失函數(shù)，提升對抗訓(xùn)練的魯棒性。2）增強(qiáng)模型。設(shè)計優(yōu)化模塊插入到網(wǎng)絡(luò)模型結(jié)構(gòu)中，或修改網(wǎng)絡(luò)的某些部件，如BN層或激活函數(shù)，亦或是使用預(yù)訓(xùn)練模型訓(xùn)練。3）參數(shù)自適應(yīng)。不再是手工設(shè)置某些具體的參數(shù)，而是根據(jù)訓(xùn)練情況使其參數(shù)自適應(yīng)更改，如內(nèi)部最大化時使用的步長、擾動約束，外部最小化使用的平衡參數(shù)等。4）早期停止。一般來說，模型訓(xùn)練收斂后的魯棒性不是最佳魯棒性（Rice等，2020），所以需要采取早期停止策略得到最佳魯棒性。5）半監(jiān)督或無監(jiān)督擴(kuò)展。對抗訓(xùn)練提升模型魯棒性的核心思想是利用大量原始數(shù)據(jù)生成對抗樣本，進(jìn)而開展對抗訓(xùn)練，使得模型對添加一定擾動的輸入數(shù)據(jù)仍能產(chǎn)生與原來一致的輸出。因此，為增加模型魯棒性，許多研究工作指出可利用無標(biāo)記樣本進(jìn)行半監(jiān)督或無監(jiān)督擴(kuò)充，然后用于對抗訓(xùn) 練（Carmon 等，2019；Najafi 等，2019；Zhai 等，2019）。Carmon 等人（2019）發(fā)現(xiàn)依靠有標(biāo)簽數(shù)據(jù)訓(xùn)練出的模型，能夠獲得無標(biāo)簽數(shù)據(jù)的偽標(biāo)簽，若利用這些偽標(biāo)簽數(shù)據(jù)進(jìn)行對抗訓(xùn)練，依然能夠提升模型的魯棒性。6）加速對抗訓(xùn)練。對抗訓(xùn)練最棘手的缺點之一是訓(xùn)練時間過長。針對該問題，研究者們提出了一系列加速對抗訓(xùn)練的方法。下面將分別就上述技術(shù)展開介紹。

3.1 引入損失正則項

對抗訓(xùn)練防御階段的核心是通過已生成的對抗樣本來訓(xùn)練，基于損失最小化來更新優(yōu)化模型。由于標(biāo)準(zhǔn)對抗訓(xùn)練的損失函數(shù)僅由生成的對抗樣本與原始標(biāo)簽決定，沒有考慮到原始樣本和相應(yīng)的對抗樣本之間的關(guān)系。所以Kannan 等人（2018）通過增加目標(biāo)函數(shù)正則項，鼓勵兩對樣本的輸出邏輯（logits）相似，進(jìn)一步增強(qiáng)了二者的相關(guān)性。

Tsipras等人（2019）發(fā)現(xiàn)模型魯棒性和泛化性在本質(zhì)上是矛盾的，存在權(quán)衡。為找到二者之間的平衡點，縮小魯棒泛化差距，即在提升模型魯棒性的同時，不會大幅度損害模型的泛化性，Zhang 等人（2019b）把標(biāo)準(zhǔn)對抗訓(xùn)練的魯棒誤差分為自然誤差和邊界誤差，并設(shè)計了一個新的優(yōu)化目標(biāo)，即目標(biāo)分類器原始樣本的目標(biāo)函數(shù)與使用了KL（Kullback-Leibler）散度測量對抗樣本與原始樣本之間距離的組合；與上文類似，在單步訓(xùn)練的基礎(chǔ)上，Sriramanan等人（2020）在標(biāo)準(zhǔn)對抗訓(xùn)練中引入了松弛項，旨在找到最優(yōu)的梯度方向。

Wan等人（2020）考慮了對抗樣本與原始樣本之間特征分布的差異性，旨在通過訓(xùn)練來學(xué)習(xí)數(shù)據(jù)的特征分布。對抗樣本應(yīng)該遵循不同于干凈數(shù)據(jù)的分布。為了縮小不同類別之間的魯棒精確度差異，Xu等人（2021）提出了公平性約束，但在差異減小的同時，一定程度上降低了對抗訓(xùn)練的最高準(zhǔn)確度。表3列出了不同防御方法的損失函數(shù)，可以明顯看出，標(biāo)準(zhǔn)對抗訓(xùn)練（PGD-K）僅考慮了對抗樣本的分類損失，而后續(xù)基于梯度優(yōu)化的方法增加了原始樣本的分類損失以及對抗樣本與原始樣本的距離損失等正則項，或使用了替代損失函數(shù)；基于特征空間優(yōu)化的方法還考慮了特征空間中類別之間的聯(lián)系，即有效增加類間聚斂以及類內(nèi)損失正則項，或通過添加輔助分類器得到了特征空間隱藏層的損失正則項。

表3 不同防御方法的損失函數(shù)Table 3 Loss functions for different defense methods

此外，由于上述方法僅在正確分類的原始樣本上生成對抗樣本，不可避免地存在部分樣本在訓(xùn)練中會被錯誤分類，Ding 等人（2020）與Wang 等人（2019）考慮了這種情況，其中，Ding等人（2020）從邊際（輸入到分類器的決策邊界的距離）最大化的角度研究神經(jīng)網(wǎng)絡(luò)的對抗魯棒性；而Wang等人（2019）提出了錯誤分類感知對抗訓(xùn)練，使用了替代損失函數(shù)進(jìn)行訓(xùn)練。

3.2 增強(qiáng)模型

增強(qiáng)優(yōu)化對抗訓(xùn)練過程的防御方法可以分為3個方面：

1）引入即插即用優(yōu)化模塊。不需改變網(wǎng)絡(luò)原始結(jié)構(gòu)，具有輕量級且有效的優(yōu)點，對于提高模型魯棒性有十分重要的意義。例如Pang 等人（2020b）設(shè)計了超球嵌入（hypersphere embedding，HE）機(jī)制來擴(kuò)充AT 框架，具體來說，該HE 模塊包括3種典型的操作：特征歸一化（feature normalization，F(xiàn)N）、權(quán)重歸一化（weight normalization，WN）和角度余量（angular margins，AM），其中角度余量通過歸一化網(wǎng)絡(luò)邏輯（logits）輸出層的特征和softmax層中的權(quán)重。

Mustafa 等人（2019）通過在網(wǎng)絡(luò)不同深度添加輔助分類器，同時添加了損失正則項，包含一個簡單的最大分離約束，如圖6 所示，加強(qiáng)了模型的類間分離性，可以使攻擊者的任務(wù)變得困難。

與之相似的是，Bai等人（2022）同樣在網(wǎng)絡(luò)中間層部分增加輔助分類器，其損失作為標(biāo)準(zhǔn)對抗訓(xùn)練目標(biāo)函數(shù)的正則項，可以使網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)不同通道對類別預(yù)測的重要性，抑制不重要的通道，從而提高模型的魯棒性。Xu 等人（2020）提出了自適應(yīng)網(wǎng)絡(luò)，引入了以輸入為條件的歸一化模塊，該模塊允許網(wǎng)絡(luò)針對不同的樣本“調(diào)整”自身。此外，前文提到的對網(wǎng)絡(luò)中間層添加輔助分類器（由全局平均池化層與全連接層組成）（Bai 等，2022）也屬于即插即用模塊。

2）修改模型內(nèi)部結(jié)構(gòu)。Xie 等人（2020）改進(jìn)了網(wǎng)絡(luò)BN層，提出Dual-BN，使原始樣本與對抗樣本分開利用不同的BN，如圖7所示。而Singla等人（2021）旨在研究不同的激活函數(shù)與模型魯棒性的關(guān)系；此外，除了在輸入上添加擾動，Wu等人（2020a）還在模型權(quán)重上添加擾動。除了上述方法，Singh等人（2019）提出魯棒的子網(wǎng)絡(luò)方法，即首先微調(diào)網(wǎng)絡(luò)前幾層生成的擾動，然后對網(wǎng)絡(luò)剩余層數(shù)進(jìn)行對抗訓(xùn)練。

圖7 Dual-BN（Xie等，2020）Fig.7 Dual-BN（Xie et al.，2020）

3）添加預(yù)訓(xùn)練模型或使用雙模型訓(xùn)練。研究發(fā)現(xiàn)，即使是僅使用干凈樣本進(jìn)行預(yù)訓(xùn)練，也可以提高模型的魯棒性，并且使用對抗預(yù)訓(xùn)練的模型效果更好（Hendrycks 等，2019；Xiao 和Zheng，2020；Chen等，2020），如圖8 所示，Xiao 和Zheng（2020）使用了輕量級網(wǎng)絡(luò)預(yù)訓(xùn)練輸入的干凈樣本，之后利用此網(wǎng)絡(luò)生成對抗樣本，最終輸入到目標(biāo)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與測試。除此之外，Cui 等人（2021）提出雙模型訓(xùn)練，同時訓(xùn)練自然模型與目標(biāo)對抗模型。

圖8 使用輕量級對抗預(yù)訓(xùn)練模型（Xiao和Zheng，2020）Fig.8 Using lightweight adversarial pretrained models（Xiao and Zheng，2020）

3.3 參數(shù)自適應(yīng)

在基于梯度生成對抗樣本時，參數(shù)的設(shè)定對模型魯棒性的提升有著重要影響，如使用PGD 攻擊時，其迭代次數(shù)K、攻擊步長α與擾動約束?都需要人為設(shè)置。下列方法針對在設(shè)置此類參數(shù)時，采用一系列自適應(yīng)方法，能夠更好地提升模型魯棒性。

Cheng 等人（2020）提出自適應(yīng)擾動約束?，根據(jù)每個訓(xùn)練樣本與決策邊界的距離來分配相應(yīng)的?，即自適應(yīng)尋找能讓模型錯誤分類的最小的?，具體來說，初始化擾動約束為0，每次迭代后增加一個具體的常數(shù)，直到模型產(chǎn)生誤判即停止。此外，還提出了自適應(yīng)標(biāo)簽平滑方法，以反映每個樣本上的不同擾動容限；Xiong 和Hsieh（2020）采用PGD 攻擊方式生成對抗樣本，對原始的固定攻擊步長進(jìn)行改進(jìn)，采用了回溯線搜索（backtracking line search，BLS）方法自適應(yīng)步長；Croce 和Hein（2020a）同樣提出自適應(yīng)步長，具體來說，設(shè)置初始步長η(0)=2?，設(shè)定檢查點w0=0，w1，…，wn，根據(jù)以下兩個條件判斷是否需要使當(dāng)前步長減半，具體為

受學(xué)習(xí)率預(yù)熱的啟發(fā)，Liu等人（2020）提出了自適應(yīng)擾動約束?，同樣采用預(yù)熱的方法，具體來說，定義了一個余弦調(diào)度器?cos和一個線性調(diào)度器?lin，由?max和?min參數(shù)化，具體為

把?cos(d)和?lin(d)裁剪到0 和?targe（t擾動約束的目標(biāo)值），如果?min≤0 且?max>?target，?的值從0 逐漸增加到?target，然后保持不變。

Ye 等人（2021）為減少與對抗訓(xùn)練相關(guān)的開銷，采用了退火機(jī)制，由于神經(jīng)網(wǎng)絡(luò)在訓(xùn)練初始階段專注于學(xué)習(xí)特征，這可能不需要準(zhǔn)確的對抗樣本。因此，在訓(xùn)練開始時設(shè)置大步長α與迭代次數(shù)K進(jìn)行內(nèi)部最大化，然后逐漸增加K和減少α以提高內(nèi)部最大化解的質(zhì)量，第t次迭代產(chǎn)生的退火數(shù)量Kt和攻擊步長αt具體為

式中，Kmax和Kmin分別為對抗擾動的退火數(shù)量上限與下限，τ為某一常數(shù)。

此外，對于一些經(jīng)典的對抗訓(xùn)練，如TRADES（Zhang 等，2019b）、MART（misclassification aware adversarial training）（Wang 等，2020）等，其目標(biāo)函數(shù)中的參數(shù)λ組合了兩部分準(zhǔn)確度，當(dāng)調(diào)節(jié)λ時，需要重新訓(xùn)練模型。為了避免這種繁重的過程，Wang等人（2020）提出了在推理階段調(diào)節(jié)λ，使模型不需要因為參數(shù)的改變而反復(fù)訓(xùn)練。

3.4 早期停止

與標(biāo)準(zhǔn)訓(xùn)練不同，對抗訓(xùn)練會產(chǎn)生魯棒過擬合現(xiàn)象，即過度適應(yīng)對抗性強(qiáng)的訓(xùn)練會導(dǎo)致更差的測試集性能。Rice 等人（2020）對對抗訓(xùn)練中的過擬合現(xiàn)象進(jìn)行了全面的研究，發(fā)現(xiàn)魯棒過擬合現(xiàn)象是普遍存在的。如圖9 所示，訓(xùn)練在初始階段正常進(jìn)行，但在學(xué)習(xí)率衰減之后，測試誤差會短暫降低，隨著訓(xùn)練進(jìn)行，訓(xùn)練誤差會持續(xù)降低，但是測試誤差會增加，也就是說，訓(xùn)練結(jié)束后的誤差不是最佳的，即訓(xùn)練結(jié)束后的模型魯棒性不是最佳魯棒性。

圖9 魯棒訓(xùn)練模型的學(xué)習(xí)曲線（Rice等，2020）Fig.9 Learning curves for robustly trained models（Rice et al.，2020）

針對魯棒過擬合現(xiàn)象，采用早期停止策略是有必要的，而早期停止可以分為學(xué)習(xí)率早期停止和攻擊強(qiáng)度早期停止（Pang 等，2021），如Zhang 等人（2019b）在代碼中將學(xué)習(xí)率設(shè)置為在75 epoch 處衰減，并且訓(xùn)練在76 epoch 處停止；Zhang 等人（2020）設(shè)置了固定的攻擊迭代次數(shù)τ（τ

圖10 早期停止方法（Sitawarin等，2021）Fig.10 Early-stop mothod（Sitawarin et al.，2021）

3.5 半監(jiān)督或無監(jiān)督擴(kuò)展訓(xùn)練

理論證明，對抗訓(xùn)練需要使用比標(biāo)準(zhǔn)訓(xùn)練大得多的數(shù)據(jù)集，而這需要巨大的成本。因此，有研究希望僅通過增加無標(biāo)注的數(shù)據(jù)來提升模型的對抗魯棒性，即使用半監(jiān)督或無監(jiān)督擴(kuò)展訓(xùn)練，如Carmon 等人（2019）使用半監(jiān)督自訓(xùn)練的方式提升模型魯棒性。Zhai 等人（2019）同樣采用大量無標(biāo)注數(shù)據(jù)，提出PASS算法來提高模型的對抗魯棒泛化性；上文中提到的MART 等方法同樣可以推廣到半監(jiān)督訓(xùn)練，而Uesato等人（2019）則使用無監(jiān)督訓(xùn)練與監(jiān)督訓(xùn)練加權(quán)結(jié)合的方法。

具體來說，通過設(shè)計不同的目標(biāo)函數(shù)，作者提出3 種策略：1）Online Targets 的無監(jiān)督對抗訓(xùn)練（unsupervised adversarial training with online targets，UATOT）；2）無監(jiān)督的固定目標(biāo)對抗訓(xùn)練（unsupervised adversarial training with fixed targets，UAT-FT）；3）二者結(jié)合訓(xùn)練（UAT++）。Zhang和Wang（2019）使用了無監(jiān)督訓(xùn)練方式，將注意力放在樣本間結(jié)構(gòu)上，采用最優(yōu)傳輸（optimal transport，OT）距離衡量原始樣本與干凈樣本的距離。

3.6 加速對抗訓(xùn)練

為了提升標(biāo)準(zhǔn)對抗訓(xùn)練的速度，Zhang 等人（2019a）提出了一種能夠減少計算正反向傳播次數(shù)的新方法；Shafahi 等人（2019）提出同步更新擾動和模型參數(shù)，連續(xù)m次在同一小批次（minibatch）上訓(xùn)練，并在前一階段的訓(xùn)練結(jié)果上繼續(xù)訓(xùn)練；Zheng 等人（2020）通過逐epochs 累積對抗擾動，以更少的迭代次數(shù)生成相似（甚至更強(qiáng)）的對抗樣本。與此同時，有研究旨在利用單步對抗訓(xùn)練來加速，即對FGSM 進(jìn)行優(yōu)化來生成對抗樣本。但單步對抗訓(xùn)練會產(chǎn)生災(zāi)難性過擬合（catastroptic overfitting，CO）現(xiàn)象（Kim 等，2021），原因在于如果FGSM 的攻擊步長過大，模型會產(chǎn)生扭曲的決策邊界（圖11），導(dǎo)致CO 現(xiàn)象的產(chǎn)生，因此，Wong 等人（2020）提出了隨機(jī)初始化的FGSM 內(nèi)部最大化攻擊方式，在一定程度上緩解了CO 現(xiàn)象；Andriushchenko 等人（2020）認(rèn)為，當(dāng)攻擊步長較大時，隨機(jī)初始化依舊對CO 現(xiàn)象無效，在此基礎(chǔ)上，他們提出了梯度對齊（GradAlign）方法，即在點x和圍繞x的l∞-ball內(nèi)的隨機(jī)擾動點x+η處的梯度之間最大化梯度對齊。Vivek 和Babu（2020）旨在通過在網(wǎng)絡(luò)層增加dropout 層來減輕CO 現(xiàn)象，與傳統(tǒng)的僅在全連接層與ReLU（rectified linear unit）后增加dropout 層（typical setting）不同，作者還在模型的每個非線性層之后引入dropout 層（proposed setting）；Kim 等人（2021）認(rèn)為，單步攻擊的主要問題是內(nèi)部最大化的線性近似的失敗，如圖11 所示，因此，應(yīng)重新考慮適當(dāng)?shù)墓舨介L。

表4 為對抗訓(xùn)練加速方法的總結(jié)，可以看出，加速方法分為多步訓(xùn)練的加速以及利用單步訓(xùn)練加速。多步訓(xùn)練旨在達(dá)到同樣的攻擊強(qiáng)度時，使用更少的迭代次數(shù)；單步訓(xùn)練利用只需要迭代一次的優(yōu)勢加速對抗訓(xùn)練，但需要解決災(zāi)難性過擬合問題。

表4 加速對抗訓(xùn)練方法對比Table 4 Comparison of accelerated adversarial training methods

3.7 其他防御方法

將標(biāo)準(zhǔn)對抗訓(xùn)練與其他領(lǐng)域相結(jié)合，如Cai 等人（2018）提出課程對抗訓(xùn)練，旨在將課程學(xué)習(xí)的思想融合進(jìn)對抗訓(xùn)練中，使攻擊強(qiáng)度逐步提升；同樣，Sitawarin等人（2021）提出了將softmax概率差距作為課程學(xué)習(xí)的難度度量，將概率差距定義為除正確類別之外的任何類別中的最大softmax 概率與正確類別的softmax概率之差，旨在最小化其概率差距。

錢申誠等人（2019）希望使對抗樣本遠(yuǎn)離錯誤類別，更接近真實類別，使用度量學(xué)習(xí)中的三元組損失（triple loss）函數(shù)，向模型添加了額外的約束。如圖12 所示，通過設(shè)置三元組損失中的至少一個元素為對抗樣本，其他為原始干凈圖像，模型使用交叉熵?fù)p失與三元組損失交替訓(xùn)練。

圖12 度量學(xué)習(xí)的三元組損失（Mao等，2019）Fig.12 Triple loss for metric learning（Mao et al.，2019）

Song等人（2019）考慮到原始樣本與對抗樣本的分布之間存在很大的領(lǐng)域差距，通過將原始樣本與對抗樣本分別劃分為兩個域，并將無監(jiān)督和有監(jiān)督的領(lǐng)域適應(yīng)引入對抗訓(xùn)練中，以最小化原始樣本和對抗樣本分布之間的差距并增加它們之間的相似性。

Bashivan 等人（2022）同樣引入領(lǐng)域適應(yīng)，在網(wǎng)絡(luò)的邏輯輸出層添加領(lǐng)域判別器，如圖13 所示，將訓(xùn)練數(shù)據(jù)區(qū)分為原始樣本和對抗樣本。Jia 等人（2022）將強(qiáng)化學(xué)習(xí)思想引入對抗訓(xùn)練，構(gòu)建了目標(biāo)網(wǎng)絡(luò)與策略網(wǎng)絡(luò)結(jié)合的框架，如圖14 所示，前者使用對抗樣本訓(xùn)練提高模型魯棒性，后者通過學(xué)習(xí)自動產(chǎn)生依賴于樣本的攻擊策略，進(jìn)而指導(dǎo)自動編碼器生成器網(wǎng)絡(luò)生成對抗樣本。Dong 等人（2020）試圖捕捉每個輸入周圍的對抗性擾動的分布，而不是像傳統(tǒng)對抗訓(xùn)練一樣尋找局部最具對抗性的點。

圖13 為模型引入領(lǐng)域判別器（Bashivan等，2022）Fig.13 Introduce the domain discriminator to the model（Bashivan et al.，2022）

圖14 目標(biāo)網(wǎng)絡(luò)結(jié)合策略網(wǎng)絡(luò)框架（Jia等，2022）Fig.14 Target network combining policy network framework（Jia et al.，2022）

4 對抗訓(xùn)練評估

作為最有效的防御手段之一，對抗訓(xùn)練的評估必不可少，本節(jié)從兩個方面介紹對抗訓(xùn)練的評估。

4.1 常用的數(shù)據(jù)集

對抗訓(xùn)練最常用的數(shù)據(jù)集是CIFAR-10（Canadian Institute for Advanced Research）、CIFAR-100、MNIST（Modified National Institute of Standards and Technology）以及SVHN（street view house numbers），由于對抗訓(xùn)練在大型數(shù)據(jù)集（如ImageNet）上的效果不盡人意，有些研究使用了Tiny-ImageNet 數(shù)據(jù)集來驗證其對抗訓(xùn)練的效果。圖15、圖16 和表5 總結(jié)了上述幾種數(shù)據(jù)集的可視化與其基本信息。為了清楚起見，圖15 中所有數(shù)據(jù)集的圖像設(shè)置成同一大小，圖16中的SVHN數(shù)據(jù)集為原始圖像大小。

圖15 數(shù)據(jù)集總結(jié)Fig.15 Summary of the datasets（（a）CIFAR-10 dataset；（b）CIFAR-100 dataset；（c）MNIST dataset；（d）Tiny-ImageNet）

圖16 SVHN數(shù)據(jù)集Fig.16 SVHN dataset

表5 常用數(shù)據(jù)集Table 5 Commonly used datasets

4.1.1 CIFAR-10

CIFAR-10 是一個用于識別普適物體的小型彩色圖像數(shù)據(jù)集，共10 個類別，如飛機(jī)、鳥、汽車、貓等。每幅圖像的尺寸為32 × 32 像素，每個類別有6 000幅圖像，共有50 000幅訓(xùn)練圖像與10 000幅測試圖像，在訓(xùn)練時，該數(shù)據(jù)集將訓(xùn)練圖像分為5 個批次，每個批次有10 000幅圖像，而測試圖像的每個批次包含了每個類別的1 000幅隨機(jī)選擇的圖像。

4.1.2 CIFAR-100

與CIFAR-10 類似，CIFAR-100 同樣是小型彩色圖像數(shù)據(jù)集，每幅圖像尺寸為32 × 32 像素。不同點在于CIFAR-100 有20 個超類，且被進(jìn)一步區(qū)分為100 個類別（例如，魚為超類；水族館的魚、比目魚、射線、鯊魚、鱒魚為類別），每個類別有600 幅圖像，且分為500 幅訓(xùn)練圖像與100 幅測試圖像。每幅圖像含有兩個標(biāo)簽，其一為100 個類別所在的“精細(xì)標(biāo)簽”，其二為20 個超類所在的“粗糙”標(biāo)簽。

4.1.3 MNIST

MNIST 是傳統(tǒng)的灰度手寫字符數(shù)據(jù)集，由人口普查局的工作人員（SD-3）與大學(xué)生（SD-1）記錄的共250 種不同筆跡組成，兩種筆跡同樣包含30 000 幅訓(xùn)練圖像和5 000幅測試圖像，該數(shù)據(jù)集共60 000幅訓(xùn)練圖像和10 000幅測試圖像。每幅圖像的尺寸為28 × 28像素，且經(jīng)過了歸一化預(yù)處理。

4.1.4 SVHN

與MNIST 類似，SVHN 同樣用于識別字符，但包含了更多數(shù)量級的標(biāo)記數(shù)據(jù)。SVHN 是由谷歌街景彩色圖像中的門牌號碼組成的數(shù)據(jù)集，共73 257 幅訓(xùn)練圖像，26 032 幅測試圖像以及531 131 幅額外的、難度稍低的訓(xùn)練圖像。經(jīng)過預(yù)處理后的SVHN數(shù)據(jù)集圖像為固定的32 × 32像素尺寸。

4.1.5 Tiny-ImageNet

ImageNet 是目前世界上最大的圖像識別數(shù)據(jù)集，可以用于目標(biāo)分類、目標(biāo)檢測等各大領(lǐng)域。而Tiny-ImageNet 是ImageNet 的子集，共200 個類別，每個類有500 幅訓(xùn)練圖像，50 幅驗證圖像和50 幅測試圖像，每幅圖像的尺寸為64 × 64像素。

4.2 常用攻擊方法

對抗訓(xùn)練的評估方式可以分為白盒攻擊與黑盒攻擊，白盒攻擊是指攻擊者可以獲得目標(biāo)模型的一切信息，包括內(nèi)部結(jié)構(gòu)、訓(xùn)練參數(shù)和防御方法等；而黑盒攻擊對模型一無所知，只能通過輸入輸出與模型進(jìn)行交互。其中，白盒攻擊又分為基于梯度的FGSM 與PGD-K攻擊，K為攻擊迭代次數(shù)。在PGD-K中，K通常設(shè)為20、50、100 等；基于超平面分類的DeepFool（fool deep neural network）攻擊（Moosavi-Dezfooli等，2016）；基于優(yōu)化的C&W（Carlini and Wagner）攻擊（Carlini和Wagner，2017）等。黑盒攻擊可以分為基于近似梯度的攻擊，如ZOO（zeroth order optimization）攻擊（Chen 等，2017）、使用同步擾動梯度近似的多元隨機(jī)近似（multivariate stochastic approximation using a simultaneous perturbation gradient approximation，SPSA）攻擊（Uesato等，2018）以及使用替代模型（Papernot等，2017）進(jìn)行攻擊評估。基于替代模型的黑盒攻擊較為普遍，其主要思想是先訓(xùn)練一個與目標(biāo)模型具有相似決策邊界的替代模型，之后對替代模型進(jìn)行白盒攻擊得到對抗樣本，再利用其遷移性實現(xiàn)對目標(biāo)模型的攻擊。此外，Dolatabadi 等人（2020）將流模型引入對抗攻擊，能夠生成分布上與干凈數(shù)據(jù)類似的對抗樣本，因而具有較強(qiáng)的攻擊性。表6總結(jié)了各種評估攻擊方法以及對應(yīng)的攻擊強(qiáng)度。

表6 評估對抗訓(xùn)練的攻擊方法比較Table 6 Comparison of adversarial attack methods for evaluating adversarial training

另外，針對攻擊是否包含特定目標(biāo)，Croce 和Hein（2020b）提出A-PGD 攻擊，將其兩種模式（目標(biāo)攻擊與無目標(biāo)攻擊）與FAB（fast adaptive boundary）攻 擊（Croce 和Hein，2020a）、SquareAttack（Andriushchenko 等，2020）進(jìn)行整合，得到相對復(fù)雜但攻擊性強(qiáng)的AutoAttack 攻擊（Croce 和Hein，2020a）。

5 結(jié)語

由于深度神經(jīng)網(wǎng)絡(luò)脆弱、易受攻擊的安全性問題，對抗訓(xùn)練這一典型的防御技術(shù)取得了重要進(jìn)展，并在對抗樣本生成、基于對抗樣本的模型防御訓(xùn)練兩大關(guān)鍵領(lǐng)域涌現(xiàn)出許多優(yōu)秀的技術(shù)。本文不僅詳細(xì)梳理了傳統(tǒng)對抗訓(xùn)練框架下的典型對抗訓(xùn)練方法和關(guān)鍵技術(shù)，而且回顧了結(jié)合課程學(xué)習(xí)、度量學(xué)習(xí)等思想的新型對抗訓(xùn)練方法。

通過本文的梳理不難發(fā)現(xiàn)，由于對對抗攻擊的本質(zhì)成因仍不明確，現(xiàn)有的對抗訓(xùn)練技術(shù)仍面臨缺乏強(qiáng)大有效的攻擊方法來對對抗訓(xùn)練方法性能進(jìn)行有效評估、難以應(yīng)對多擾動綜合的攻擊及效率低等挑戰(zhàn)，為此，對抗訓(xùn)練未來的發(fā)展趨勢為：

1）探究數(shù)字空間及物理世界對抗樣本的成因。針對數(shù)字空間與物理世界，探究導(dǎo)致模型輸出錯誤的干擾類型、強(qiáng)度以及干擾方式等，為對抗樣本生成提供可靠的理論指導(dǎo)；

2）設(shè)計更高效、強(qiáng)大的對抗攻擊方法，一方面通過提升對抗樣本的攻擊能力，來增強(qiáng)模型的防御性能，另一方面提升對抗訓(xùn)練的效率；

3）構(gòu)建能自適應(yīng)防御多攻擊類型的通用對抗訓(xùn)練框架與方法，推動深度學(xué)習(xí)對抗性安全的發(fā)展。