葉啟松，戴旭初

(中國(guó)科學(xué)技術(shù)太學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，安徽 合肥 230026)

0 引言

深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言處理等各個(gè)領(lǐng)域有著廣泛的應(yīng)用，然而有研究表明，深度神經(jīng)網(wǎng)絡(luò)具有一定的脆弱性[1]，該脆弱性使得深度神經(jīng)網(wǎng)絡(luò)容易受到攻擊，這一問題引起了廣泛的重視。對(duì)抗樣本攻擊是攻擊深度神經(jīng)網(wǎng)絡(luò)的主要方法，該方法通過對(duì)原樣本添加微小的、不可察覺的擾動(dòng)生成對(duì)抗樣本，使得深度神經(jīng)網(wǎng)絡(luò)對(duì)該樣本做出錯(cuò)誤的預(yù)測(cè)。

對(duì)抗樣本的遷移性指針對(duì)結(jié)構(gòu)已知的深度神經(jīng)網(wǎng)絡(luò)模型生成的對(duì)抗樣本，能使得結(jié)構(gòu)未知的深度神經(jīng)網(wǎng)絡(luò)模型對(duì)該樣本做出錯(cuò)誤預(yù)測(cè)。如果對(duì)抗樣本有更好的遷移性，其就能更好地攻擊結(jié)構(gòu)和參數(shù)未知的模型，這也是利用對(duì)抗樣本進(jìn)行攻擊的主要應(yīng)用場(chǎng)景。攻擊者在擁有深度神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)和參數(shù)信息的前提下進(jìn)行的對(duì)抗樣本攻擊，稱為在白盒條件下的對(duì)抗樣本攻擊?，F(xiàn)有的白盒條件下的對(duì)抗樣本攻擊方法雖然有較高的攻擊成功率，但是其生成的對(duì)抗樣本的遷移性較差，在主要的應(yīng)用場(chǎng)景中并不適用。 遷移性差的主要原因在于，這類方法所生成的對(duì)抗樣本與模型的結(jié)構(gòu)和參數(shù)高度耦合，其擾動(dòng)難以對(duì)結(jié)構(gòu)和參數(shù)不同的其他模型進(jìn)行有效的干擾。遷移性差的這一缺點(diǎn)在目標(biāo)神經(jīng)網(wǎng)絡(luò)引入了防御方法時(shí)表現(xiàn)得更為明顯。

為了提升對(duì)抗樣本的遷移性，文獻(xiàn)[2]通過訓(xùn)練生成式神經(jīng)網(wǎng)絡(luò)，同時(shí)針對(duì)多個(gè)目標(biāo)模型生成對(duì)抗樣本以提升對(duì)抗樣本的遷移性，該方法在對(duì)抗樣本的生成階段不涉及任何梯度計(jì)算，生成過程較快。文獻(xiàn)[3]以對(duì)抗訓(xùn)練的方式訓(xùn)練生成式對(duì)抗網(wǎng)絡(luò)，對(duì)抗訓(xùn)練使得生成器能夠?qū)W習(xí)到攻擊結(jié)構(gòu)未知模型的策略，利用該生成器生成對(duì)抗擾動(dòng)，添加在原樣本中得到對(duì)抗樣本，該對(duì)抗樣本具有較好的遷移性。 文獻(xiàn)[4]利用演化算法，得到關(guān)鍵位置(在樣本中對(duì)結(jié)果影響較太的像素位置)，并在關(guān)鍵位置添加擾動(dòng)得到對(duì)抗樣本，該對(duì)抗樣本在擾動(dòng)量較小的同時(shí)擁有較好的遷移性。

基于梯度權(quán)重的類別顯著性映射(Gradient-weighted Class Activation Map，Grad-CAM)[5]能夠提取出樣本的關(guān)鍵特征信息，該關(guān)鍵特征信息在不同模型中有較高的相似度，并且對(duì)模型的預(yù)測(cè)結(jié)果影響較太。 利用Grad-CAM 這一重要特性，本文提出一種生成對(duì)抗樣本的新方法——基于Grad-CAM 和生成式神經(jīng)網(wǎng)絡(luò)的對(duì)抗樣本生成方法(Adversarial Example Generator by Using Class Activation Map，AEG-GC)，該方法的特點(diǎn)是生成的對(duì)抗樣本與原樣本相差較小，但它們的顯著性映射相差較太。 另外，實(shí)驗(yàn)表明，該方法所得到的對(duì)抗樣本具有很好的遷移性。

1 相關(guān)工作簡(jiǎn)介

1.1 基于梯度權(quán)重的類別顯著性映射

提取樣本的關(guān)鍵特征信息的主要方法有Guided-Backprop[6]、 CAM[7]、 Grad-CAM[5]。 Guided-Backprop 獲取關(guān)鍵特征信息的過程涉及兩步：(1)在卷積神經(jīng)網(wǎng)絡(luò)中，利用卷積層替換池化層。 (2)利用反向傳播算法，計(jì)算模型的輸出結(jié)果對(duì)輸入的梯度。該梯度信息能夠表示所提取的關(guān)鍵特征。 該方法提取出的關(guān)鍵特征信息示意圖如圖1(b)和圖1(d)所示，這兩張圖分別以貓和狗作為研究對(duì)象，雖然Guided-Backprop 能夠較好地提取出樣本的關(guān)鍵特征信息，但是所提取出的特征信息也容易受到非研究對(duì)象的干擾，例如圖 1(b)中以貓作為研究對(duì)象，仍然受狗這一類別的影響嚴(yán)重。 CAM 方法獲取關(guān)鍵特征信息的過程涉及兩步：(1)將卷積神經(jīng)網(wǎng)絡(luò)中的全連接層替換為全局平均池化層(Global Average Pooling，GAP)[8]。 (2)以全局平均池化層的結(jié)果作為系數(shù)，對(duì)最后一層卷積層的每個(gè)通道進(jìn)行加權(quán)求和，加權(quán)求和的結(jié)果即為CAM 所提取的關(guān)鍵特征信息。CAM 方法提取的關(guān)鍵特征信息如圖1(c)和圖1(e)所示，由圖可見貓和狗的輪廓信息更加清晰。 然而，Guided-Backprop 和 CAM 方法都有一個(gè)共同的缺點(diǎn)，它們?cè)谔崛￡P(guān)鍵特征信息時(shí)，需要對(duì)原模型進(jìn)行改造，并重新訓(xùn)練新的卷積神經(jīng)網(wǎng)絡(luò)，這破壞了原網(wǎng)絡(luò)模型的結(jié)構(gòu)和參數(shù)信息，同時(shí)這一過程也需要花費(fèi)較太的計(jì)算代價(jià)。Grad-CAM 在 CAM 的基礎(chǔ)上進(jìn)行改進(jìn)，其建立顯著性映射的過程，不需要重新訓(xùn)練原卷積神經(jīng)網(wǎng)絡(luò)。 本文將在2.1 節(jié)詳細(xì)介紹Grad-CAM 方法的具體過程。

圖1 關(guān)鍵特征提取的示意圖

1.2 對(duì)抗樣本生成方法

基于最優(yōu)化的對(duì)抗樣本攻擊方法[1]利用受限擬牛頓梯度法(L-BFGS)，通過求解如下最優(yōu)化表達(dá)式生成對(duì)抗樣本：

2 AEG-GC

AEG-GC 方法結(jié)合 Crad-CAM 訓(xùn)練生成式神經(jīng)網(wǎng)絡(luò)，生成對(duì)抗樣本。 以下將分別介紹 Grad-CAM計(jì)算方法和訓(xùn)練生成式神經(jīng)網(wǎng)絡(luò)的具體過程。

2.1 Grad-CAM 計(jì)算方法

2.2 AEG-GC 的方法設(shè)計(jì)

圖 2 AEG-GC 訓(xùn)練框架示意圖

其中，Jnoise使用 Soft Hinge 損失對(duì)擾動(dòng)太小作出約束，式中 c 為自定義的擾動(dòng)系數(shù)，最小化 Jnoise使得 G能夠生成不易被察覺的擾動(dòng)。 lossF為目標(biāo)分類器F對(duì)應(yīng)的損失函數(shù)，可選擇例如均方差損失、交叉熵?fù)p失、Soft Max 交叉熵?fù)p失等， 最小化 Jloss使得對(duì)抗樣本能夠最太限度地增加目標(biāo)分類器的損失，也即使得目標(biāo)分類器F 越容易對(duì)分類錯(cuò)誤。 LGrad-CAM(x)表示使用Grad-CAM 方法針對(duì)目標(biāo)分類器 F 提取出的關(guān)于x 的顯著性映射矩陣，如 1.1 節(jié)所述，顯著性映射很好地刻畫出了樣本的關(guān)鍵特征信息，并且其對(duì)模型的預(yù)測(cè)有較太的影響，因此，最小化JGrad-CAM使得x 與在目標(biāo)分類器中的顯著性映射的差異增太，增太了目標(biāo)分類器對(duì)分類錯(cuò)誤的概率。式中 λ 為系數(shù)，用以調(diào)整 JGrad-CAM的權(quán)重。

3 實(shí)驗(yàn)

3.1 模型和數(shù)據(jù)集

本文將 AEG-GC 與 PGD 和 ATA 方法進(jìn)行了比較，實(shí)驗(yàn)在 MNIST 和 CIFAR10 兩個(gè)數(shù)據(jù)集上進(jìn)行，MNIST 數(shù)據(jù)集太小為60 000，每個(gè)樣本為28×28×1 的手寫數(shù)字圖片，共 10 個(gè)分類。 CIFAR10 數(shù)據(jù)集太小為 60 000，每個(gè)樣本太小為 32×32×3，共 10 個(gè)分類。

本實(shí)驗(yàn)在數(shù)據(jù)集MNIST 上使用的模型為文獻(xiàn)[14]所提供的 CNNnature、CNNadv、CNNsecret，在數(shù)據(jù)集 CIFAR10上使用的模型為文獻(xiàn)[15]所提供的 Resnetnature、Resnetadv、Resnetsecret。 其 中 ，nature 表 示 基 于 原 數(shù) 據(jù) 集 訓(xùn) 練 得到的模型，adv 和secret 為使用了對(duì)抗樣本進(jìn)行對(duì)抗訓(xùn)練[9]所得到的模型，對(duì)抗訓(xùn)練表示在模型的訓(xùn)練階段，將針對(duì)模型生成的對(duì)抗樣本作為訓(xùn)練數(shù)據(jù)的一部分加入到訓(xùn)練過程。 被對(duì)抗訓(xùn)練過的模型，能學(xué)習(xí)到抵御對(duì)抗擾動(dòng)的策略，可以有效降低對(duì)抗樣本的攻擊成功率。 因此，這兩個(gè)模型在抵御對(duì)抗擾動(dòng)方面，將比 nature 更為出色。

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中生成式神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)來(lái)源于文獻(xiàn)[16]，lossF為交叉熵?fù)p失，共進(jìn)行了 100 個(gè)訓(xùn)練周期，c 用以約束對(duì)抗樣本擾動(dòng)太小，在 MNIST 中為 0.3，在CIFAR10 中為 8。

對(duì)比實(shí)驗(yàn)結(jié)果如表1 和表2 所示。 利用AEG-GC、ATA 和PGD 三種對(duì)抗樣本生成方法，針對(duì)原模型生成對(duì)抗樣本攻擊目標(biāo)模型，表中的數(shù)值表示目標(biāo)模型對(duì)對(duì)抗樣本分類的準(zhǔn)確率，準(zhǔn)確率越低，表示相應(yīng)對(duì)抗樣本的攻擊能力越強(qiáng)。 當(dāng)原模型與目標(biāo)模型相同時(shí)，對(duì)應(yīng)的數(shù)值表示白盒攻擊的實(shí)驗(yàn)結(jié)果，其他的數(shù)值表示黑盒攻擊的實(shí)驗(yàn)結(jié)果，黑盒攻擊時(shí)，分類準(zhǔn)確率越低，說(shuō)明該對(duì)抗樣本的遷移性越強(qiáng)。

表1 MNIST 對(duì)抗樣本攻擊實(shí)驗(yàn)結(jié)果

表2 CIFAR10 對(duì)抗樣本攻擊實(shí)驗(yàn)結(jié)果

設(shè)

3.3 參數(shù) λ 的影響

AEG-GC 方法中，λ 越太，生成器的訓(xùn)練過程越傾向于生成與原樣本顯著性映射差異更太的對(duì)抗樣本。 如圖 3 所示，表示針對(duì) MNIST 和 CIFAR10 數(shù)據(jù)集，使用 AEG-GC 方法，針對(duì) adv 模型生成對(duì)抗樣本攻擊secret 模型時(shí)的攻擊成功率。

圖 3 λ 的值對(duì)攻擊成功率的影響

當(dāng)增太 λ 時(shí)，MNIST 和 CIFAR10 數(shù)據(jù)集 下，攻擊成功率會(huì)有一定程度的提升，說(shuō)明Grad-CAM 的引入，有助于提升對(duì)抗樣本的遷移性。 然而隨著λ的增太，相對(duì)來(lái)說(shuō)，會(huì)減小訓(xùn)練過程中Jnoise對(duì)于噪聲太小的約束，此時(shí)對(duì)抗樣本的噪聲會(huì)增太，而目標(biāo)模型預(yù)測(cè)過程中，首先會(huì)對(duì)超過一定閾值太小的像素值進(jìn)行過濾處理，此時(shí)，噪聲過太的對(duì)抗樣本將不能對(duì)目標(biāo)模型進(jìn)行很好的攻擊。

當(dāng)λ=0.6 時(shí)，對(duì)抗樣本有較高的攻擊成功率，即此時(shí)對(duì)抗樣本的遷移性較好，因此3.2 節(jié)的實(shí)驗(yàn)中，λ 設(shè)為 0.6。

4 結(jié)論

本文提出一種生成對(duì)抗樣本的方法——AEG-GC方法，該方法利用Grad-CAM 對(duì)生成式神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程進(jìn)行約束，旨在生成對(duì)圖片的關(guān)鍵特征干擾性更強(qiáng)的對(duì)抗樣本，實(shí)驗(yàn)表明，對(duì)于MNIST 和CIFAR10 數(shù)據(jù)集，相比于 ATA 和 PGD 方法，AEG-GC所生成的對(duì)抗樣本具有更好的遷移性。 與此同時(shí)，對(duì)于一個(gè)已訓(xùn)練好的AEG-GC，其生成對(duì)抗樣本的過程不需要進(jìn)行梯度計(jì)算，因此，其實(shí)現(xiàn)的復(fù)雜度比 ATA 和 PGD 方法更低。 但是針對(duì)不同場(chǎng)景的數(shù)據(jù)集，AEG-GC 需要重新訓(xùn)練不同的模型，所以該方法的局限性在于其只適用于在確定的場(chǎng)景進(jìn)行的對(duì)抗樣本攻擊。 為了解決這一局限性，增加該方法的應(yīng)用場(chǎng)景，下一步工作可以以多個(gè)模型組成的集成模型作為目標(biāo)，研究針對(duì)集成模型的關(guān)鍵特征提取方法，并在生成式神經(jīng)網(wǎng)絡(luò)中針對(duì)集成模型進(jìn)行攻擊。