葉從玲

(安徽理工大學計算機科學與工程學院，安徽 淮南 232001)

0 引 言

研究表明，防御性能對抗訓練方法表現(xiàn)良好且應用廣泛。近年來研究人員們提出許多對抗防御技術，如Goodfellow等人[1]提出基于梯度的攻擊算法FGSM(Fast Gradient Sign Method)，并最先使用對抗訓練的概念，經(jīng)過FGSM對抗訓練的模型可以使FGSM對抗樣本的攻擊成功率大大下降，但是其模型泛化性能差，只能防御FGSM對抗樣本。Madry等人[2]提出基于迭代的PGD(Project Gradient Descent)方法進行對抗訓練，經(jīng)過PGD對抗訓練的模型能抵御一階L∞攻擊，但是由于迭代次數(shù)太多導致訓練代價太高。針對這一問題Shafahi等人[3]進一步對PGD方法進行了改進，其核心思想是高效利用一次計算過程產(chǎn)生的兩種梯度，但是該方法未能有效解決迭代次數(shù)過多的問題。Tramèr等人[4]提出集成對抗訓練算法(Ensemble Adversarial Training)，該方法的提出緩解對抗訓練模型易受黑盒攻擊的問題。Zhang等人[5]提出利用神經(jīng)網(wǎng)絡結構降低梯度計算量的YOPO(You Only Propagate Once)方法，該方法通過傳播第一層來估計輸入的梯度。通過對樣本添加人類難以察覺的擾動，會使深度學習模型以高置信度給出錯誤的預測。這一現(xiàn)象給深度神經(jīng)網(wǎng)絡的應用領域帶來了極大安全威脅[10]。為了更好地防御對抗樣本的攻擊，需要構建更加完善的對抗防御體系。

上述研究中提出的方法都未能在維持模型魯棒性的情況下降低計算成本，反而通過一系列的操作(如增加迭代次數(shù)，計算多次梯度等)增加了計算成本，我們采用基于FGSM隨機擾動的對抗訓練方法，通過引入周期學習率機制，在提高模型訓練的效率和魯棒性的同時降低訓練成本。

1 基本概念

1.1 對抗樣本

對抗樣本(Adversarial Examples)是攻擊者有意向原始樣本添加難以察覺的擾動，使得深度學習模型出現(xiàn)顯著的準確率降低現(xiàn)象。輸入樣本通常包含原始圖片--類別標簽對，由于對抗樣本是在原始圖片的基礎上添加擾動變換得到且這種變換只針對的圖片，與類別標簽無關。因此我們提出的方法主要強調(diào)不含類別標簽的對抗樣本特性。簡單來說，如果有一個目標分類器模型C和一個原始樣本S(未添加噪聲)，假設S被C正確分類，即C(S)=ytrue。此時對輸入樣本添加一定程度的擾動，得到S'。S'與S幾乎相同，但是C(S')≠ytrue，這樣的樣本S'稱之為對抗樣本。

1.2 對抗訓練

對抗訓練(Adversarial Training)是最為直觀的對抗樣本防御方法，主要思想是將原始樣本和對抗樣本一起作為訓練數(shù)據(jù)對模型進行訓練，以此提高模型對對抗樣本的魯棒性。以下介紹幾種目前較為主流的對抗訓練方法。

1.2.1 FGSM對抗訓練

2015年，Goodfellow等人[1]首次提出了基于對抗訓練的防御方法--FGSM，他們采用FGSM方法來構造對抗樣本，通過對原始樣本和對抗樣本共同的損失函數(shù)優(yōu)化來對模型的參數(shù)進行更新，其對抗訓練定義如式(1)所示：

(1-γ)J(θ,x+αsign(?xJ(θ,x,y))

(1)

其中γ為超參數(shù)，用來調(diào)節(jié)兩個損失函數(shù)的比重。該方法訓練得到的模型僅僅針對基于FGSM方法構造的對抗樣本具有較好的防御性能，無法防御其他攻擊算法構造的對抗樣本，模型的防御能力非常有限。因此在使用對抗訓練方法時，需強調(diào)對抗樣本的多樣性，以滿足訓練模型具備對多種攻擊算法有較好的泛化性能。

1.2.2 PGD對抗訓練

為解決基于迭代方法生成的對抗樣本攻擊，Madry等人[2]提出PGD對抗訓練方法，并從魯棒優(yōu)化的角度研究模型的對抗魯棒性以及給出對抗魯棒性的統(tǒng)一觀點。對抗樣本的攻擊防御問題總結如式(2)所示：

minρ(θ),whereρ(θ)=Ε(x,y)～D[maxδ∈SJ(θ,x+δ,y)]

(2)

其中x為原始樣本，δ為擾動信息，S為擾動信息的集合，y為原始樣本x的正確標簽，D是數(shù)據(jù)(x,y)滿足的分布，θ是模型參數(shù)。對式(2)的優(yōu)化可分別從攻擊者和防御者的角度展開。攻擊者希望內(nèi)部的損失函數(shù)最大化，目的是找出有效的對抗樣本。防御者希望外部的優(yōu)化問題最小化，目的是減小對抗樣本造成的損失函數(shù)升高。基于PGD對抗訓練方法所得到的模型能夠有效防御多種類型攻擊，然而該方法存在嚴重的缺陷，即生成PGD對抗樣本的成本太高。

2 算法實現(xiàn)

2.1 算法描述

雖然PGD方法有利于實現(xiàn)內(nèi)部損失函數(shù)最大化，但是由于其模型在訓練過程一般要經(jīng)歷三重循環(huán)，總的循環(huán)次數(shù)為T*M*N(PGD迭代次數(shù)為N)，從而造成訓練成本的增加。實現(xiàn)高效穩(wěn)定的對抗訓練機制關鍵在于減少內(nèi)部尋找最優(yōu)擾動的迭代次數(shù)，PGD本質(zhì)上是多次FGSM擾動的結果，如果使用FGSM擾動算法代替PGD擾動算法可以將多次迭代次數(shù)降低到只有一次。但是基于FGSM的對抗訓練方法同樣存在缺陷，它只能防御通過FGSM方式構造的對抗樣本。研究表明基于FGSM對抗訓練方法泛化性能不佳的主要原因是其樣本多樣性不足，在進行訓練時，其擾動幅度和范圍有統(tǒng)一的規(guī)范和限制。

我們引入基于隨機擾動的對抗訓練方法可以緩解樣本的多樣性問題。首先隨機初始化擾動使其服從均勻分布；其次利用初始化擾動和擾動所得的梯度值，按照不同權重組合得到最終的梯度值；再次更新擾動并將其限制在一定范圍內(nèi)；最后更新模型的參數(shù)。利用這種方法，可以一定程度上豐富對抗樣本的多樣性。由算法1可知，基于隨機擾動的對抗訓練方法可以很大程度減少迭代次數(shù)，降低訓練成本。

算法1 基于隨機擾動的對抗訓練 輸入:訓練次數(shù)T,擾動幅度α,批量大小M,閾值∈,目標模型fθ,超參數(shù)γ(通常設為0.3)輸出:θ初始化:初始化參數(shù)θ for t=1 … T do for i=1 … M doδ=Uniform(-∈,∈) // 隨機初始化擾動δ=γδ+(1-γ)αsign(‰δJ(fθ(xi+δ),yi)) // 更新擾動δ=max(min(δ,∈),-∈) // 將擾動限制在一定范圍內(nèi)θ=θ-‰θJ(fθ(xi+δ),yi) // 更新模型參數(shù) end for end for return θ // 返回模型參數(shù)

2.2 周期性學習率

學習率是訓練深度神經(jīng)網(wǎng)絡最重要的超參數(shù)，合適的學習率對訓練模型的精度和效率具有決定作用。學習率較大可加快梯度更新模型的速度，但是模型難以收斂；較小則會減緩模型收斂速度，因為此時模型可能收斂到一個局部最優(yōu)點或者鞍點。目前學習率更新方法可分為三類：逐漸衰減策略、自適應調(diào)整策略[6, 7]以及周期性重啟學習率調(diào)整策略[8, 9]。

為更大程度優(yōu)化基于隨機擾動的對抗訓練方法的訓練過程，引入周期性學習率機制，該機制由Leslie 等人提出[8]，具體步驟是先設置學習率的區(qū)間，然后在訓練過程中學習率按照此區(qū)間進行周期性變化，而不是固定的值。發(fā)生周期變化的學習率有助于模型在訓練過程中跳出局部最低點和鞍點。鞍點相比于局部最低點更加阻礙模型的收斂。

通常情況下周期性學習率機制會涉及到3個主要參數(shù)：最大學習率、最小學習率以及步長，具體的取值需要根據(jù)模型的結構和數(shù)據(jù)集的類型進行設定。實驗部分采用周期性學習率機制與Adam機制相結合的方法，設定迭代次數(shù)為20，最大學習率為0.05，最小學習率為0.005，每個周期初始學習率的設置如圖1所示。

圖1 周期學習率變化情況

3 實驗分析

3.1 實驗準備

本節(jié)驗證基于隨機擾動的對抗訓練方法性能，下面將對實驗的具體設置和操作進行說明：實驗環(huán)境為Google Colab云平臺，編程語言為Python3.8,深度學習框架為PyTorch。實驗采用的數(shù)據(jù)集為FashionMNIST。FashionMNIST數(shù)據(jù)集包含10類共7萬個不同商品的正面圖像。將數(shù)據(jù)集分為10000個測試樣本和60000個訓練樣本，每個樣本包括一張28*28的灰度圖像。

3.2 周期性學習率機制

通過實驗驗證引入周期性學習率機制對模型訓練過程的有效性，該實驗比較兩種不同情況下的模型擬合效果：(1)僅使用Adam機制，學習率為0.03；(2)使用周期性學習率與Adam機制相結合的方式，最大學習率為0.05，最小學習率為0.005，初始學習率變化情況參照圖1。

在FashionMNIST數(shù)據(jù)集上進行測試，其中參數(shù)α設置為0.15，∈設置為0.1。實驗結果表明(如圖2，圖3所示)，基于Adam機制在迭代到第8輪之后趨于穩(wěn)定狀態(tài)；采用Adam+CLR訓練的模型收斂速度還是較慢，但是在迭代次數(shù)接近14次時，Adam+CLR訓練的模型的擬合效果逐漸超過Adam訓練模型。同樣在FashionMNIST測試集上預測精確度時(如圖4所示)，基于Adam+CLR機制的訓練過程較為穩(wěn)定，且最終的擬合效果要優(yōu)于Adam機制。

圖2 FashionMNIST訓練集損失

圖3 FashionMNIST訓練集預測精確度

圖4 FashionMNIST測試集預測精確度

綜上所述，通過引入周期性學習率機制，能夠有效的提高對抗訓練過程的穩(wěn)定性和擬合效果，在給定的區(qū)間間隔內(nèi)使用周期性變化的學習率有助于模型在訓練過程中跳出局部最低點和鞍點，進而解決較小的學習率通常不能產(chǎn)生足夠的梯度變化來跳出該點或需要消耗較大時間代價的問題。

3.3 對抗訓練方法對比

需要解決的核心問題是降低對抗訓練的成本，同時保證訓練所得的模型性能不受影響。下面的實驗分別從訓練成本和模型性能兩個方面來對我們提出的方法進行比較和評估?；赑GD對抗訓練方法作為參考對象。對于FashionMNIST數(shù)據(jù)集，PGD對抗訓練的參數(shù)設置：α=0.15，∈=0.1，N=7，優(yōu)化算法為Adam，學習率為0.3?；陔S機擾動的對抗訓練機制的實驗參數(shù)設置與實驗3.2相同。實驗過程中，使用對抗樣本來對模型泛化性能進行測試，對抗樣本由PGD算法產(chǎn)生。

對于訓練成本，主要關注模型訓練的時間。基于隨機擾動的對抗樣本訓練機制內(nèi)部采用隨機初始化和FGSM，不需要進行迭代，從而大幅度降低訓練時間。具體的實驗結果如表1所示，這里比較每一輪迭代所需要的平均時間(時間越低意味訓練成本越低)，當PGD迭代次數(shù)N=7時，PGD對抗訓練所需要的時間是隨機擾動對抗訓練的4倍左右。PGD迭代次數(shù)為N，而FGSM僅為一次迭代，理論上來講，基于隨機擾動的對抗訓練方法所需要的時間約為PGD對抗訓練的1/N。

表1 訓練時間

表2 對抗魯棒性

在模型性能方面，主要關注經(jīng)過對抗訓練所得的模型對于對抗樣本的魯棒性。在FashionMNIST數(shù)據(jù)集上(如圖5所示)，雖然兩種對抗訓練方法都有一定程度的震蕩，但是基于隨機擾動對抗訓練方法稍微平緩一些，且整體趨勢是不斷上升的。表2展示了各個模型最終的預測精確度。

總的來說，所提出的基于隨機擾動的對抗訓練方法在減少訓練成本、提高模型泛化性能等方面均優(yōu)于PGD對抗訓練方法。

圖5 FashionMNIST數(shù)據(jù)集的模型性能

4 結 語

對抗樣本的防御采用對抗訓練方法能提高模型的魯棒性，但隨之而來的問題是訓練成本大大增加，并且模型的泛化性能也會降低。針對以上問題，提出基于隨機擾動的對抗訓練方法：采用基于FGSM的隨機擾動方法生成對抗樣本，接著將隨機擾動生成的對抗樣本與原始樣本用作訓練集一起訓練模型，并在訓練過程中引入周期學習率機制。實驗結果表明，我們提出的方法在訓練過程中擬合效果以及穩(wěn)定性比Adam機制更好，訓練時間僅需PGD對抗訓練的1/4，理論上訓練時間約為PGD對抗訓練的1/N(N為迭代次數(shù))，同時基于隨機擾動的對抗訓練方法訓練所得的模型對于對抗樣本的魯棒性優(yōu)于PGD對抗訓練，證明我們提出的方法訓練成本低且模型性能好。由于平臺資源有限，無法在更復雜的數(shù)據(jù)集中進行測試，在今后的工作中，將會對更復雜的數(shù)據(jù)集進行深入研究。