王曙燕，侯則昱，孫家澤

（西安郵電大學(xué)可信軟件實(shí)驗(yàn)室，西安 710121）

0 引言

深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺［1-2］、自然語(yǔ)言處理［3］等領(lǐng)域的應(yīng)用發(fā)展迅速，將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于諸如人臉識(shí)別系統(tǒng)［4］、自動(dòng)駕駛系統(tǒng)［5-6］及惡意軟件檢測(cè)等關(guān)鍵系統(tǒng)的趨勢(shì)不斷增長(zhǎng)。深度學(xué)習(xí)模型的核心工作原理是依賴人準(zhǔn)備和篩選的訓(xùn)練樣本數(shù)據(jù)，基于多隱藏層的非線性變換來(lái)校準(zhǔn)、刻畫和記憶數(shù)據(jù)，但距離在多領(lǐng)域通用的“AI 核心”還存在著較大差距［7］。目前，工業(yè)上更關(guān)注于模型的性能以及訓(xùn)練效率，即盡可能最大化資源利用率以提升深度模型的訓(xùn)練精度，與此同時(shí)，往往卻忽視了深度模型的魯棒性［8-9］以及安全性問(wèn)題，即一個(gè)高精度的深度模型在受到惡意攻擊時(shí)，是否仍能做出準(zhǔn)確的判斷。因此，特別是在許多涉及安全性的關(guān)鍵場(chǎng)景中，模型系統(tǒng)內(nèi)部結(jié)構(gòu)與魯棒性的關(guān)系［10］以及模型受到惡意攻擊時(shí)是否魯棒的問(wèn)題也受到了眾多專家與學(xué)者的廣泛關(guān)注與探究［11-12］。

在以上背景下，對(duì)于對(duì)抗攻擊的相關(guān)研究大量涌現(xiàn)。對(duì)抗攻擊的關(guān)鍵在于對(duì)抗樣本攻擊［13-14］，“對(duì)抗樣本（adversarial sample）”這一概念最早由Szegedy 等［15］提出，是一種能夠欺騙深度學(xué)習(xí)系統(tǒng)模型做出錯(cuò)誤判斷的一類樣本，即在輸入端樣本數(shù)據(jù)中添加人類肉眼無(wú)法識(shí)別的細(xì)微擾動(dòng)得到的新樣本，能使模型以極高的置信度做出錯(cuò)誤的判斷。在此之后，對(duì)抗樣本產(chǎn)生方式的研究也層出不窮，Goodfellow等［16］證明了深度學(xué)習(xí)系統(tǒng)模型內(nèi)部結(jié)構(gòu)的高維線性是導(dǎo)致其能夠被對(duì)抗樣本攻擊的根本原因，并提出了一種基于損失函數(shù)訓(xùn)練梯度的攻擊方法——快速梯度符號(hào)標(biāo)記法（Fast Gradient Sign Method，F(xiàn)GSM）。Papernot 等［17］提出了基于功能函數(shù)Jacobian 矩陣生成前向?qū)?shù)的對(duì)抗樣本生成方法，其原理是取得所有顯著值最大的輸入特征來(lái)調(diào)整輸入樣本。此外，Carlini 等［18］提出了一種基于目標(biāo)函數(shù)置信度攻擊——C&W Attacks 方法，這類對(duì)抗攻擊的特點(diǎn)是可以在不知道模型參數(shù)的條件下，依然能夠誤導(dǎo)模型做出錯(cuò)誤判斷，適用于蒸餾模型。

上述研究者們提出的對(duì)抗樣本攻擊方法展示了對(duì)抗樣本攻擊的多樣性與高效性，從深度學(xué)習(xí)系統(tǒng)安全性與防御角度而言［19］，目前對(duì)于對(duì)抗樣本檢測(cè)的全面性表現(xiàn)不足，具體地，現(xiàn)階段對(duì)于對(duì)抗樣本的檢測(cè)仍處于是否導(dǎo)致模型“誤判”的檢測(cè)階段，即一個(gè)對(duì)抗樣本數(shù)據(jù)若使系統(tǒng)模型產(chǎn)生錯(cuò)誤的判斷，在測(cè)試時(shí)即可判定為對(duì)抗樣本，之后，通過(guò)對(duì)抗性訓(xùn)練以提高模型的魯棒性［20］。而在面臨多種類對(duì)抗樣本與大量原始數(shù)據(jù)進(jìn)入系統(tǒng)時(shí)，對(duì)于對(duì)抗樣本間的檢測(cè)缺乏多樣性，且檢測(cè)成本較高，效率不足。本文提出了一種對(duì)抗樣本差異性檢測(cè)方法，構(gòu)建對(duì)抗樣本的差異性檢測(cè)系統(tǒng)模型，主體分為三個(gè)方面的差異性能檢測(cè)：1）置信度檢測(cè)包含對(duì)抗樣本的平均真實(shí)類置信度（Average Confidence of True Class，ACTC）檢測(cè)以及平均對(duì)抗類置信度（Average Confidence of Adversarial Class，ACAC）檢測(cè)；2）感知度檢測(cè)系統(tǒng)包含對(duì)抗樣本的平均Lp失真率（AverageLpDistortion，ALDp）檢測(cè)以及結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）檢測(cè)；3）抗干擾度檢測(cè)系統(tǒng)包含樣本噪聲容忍度（Noise Tolerance Estimation，NTE）檢測(cè)、抗高斯模糊干擾度（Robustness to Gaussian Blur，RGB）檢測(cè)以及抗圖像壓縮干擾度（Robustness to Image Compression，RIC）檢測(cè)。

本文在MNIST 和Cifar-10 數(shù)據(jù)集上進(jìn)行了多種類對(duì)抗樣本差異性檢測(cè)的實(shí)證研究，結(jié)果表明，不同對(duì)抗攻擊下的對(duì)抗樣本在各項(xiàng)檢測(cè)結(jié)果上均呈現(xiàn)明顯差異，并且在兩類數(shù)據(jù)集上表現(xiàn)出差異的一致性，可以通過(guò)樣本的差異化特性更有效地檢測(cè)與定位對(duì)抗樣本攻擊。本文對(duì)抗樣本差異性檢測(cè)方法提升了模型對(duì)對(duì)抗樣本檢測(cè)的多樣性、全面性以及檢測(cè)效率。

1 相關(guān)研究

1.1 對(duì)抗樣本攻擊

對(duì)于“對(duì)抗樣本”這一概念的提出揭示了高置信度的深度學(xué)習(xí)模型依然具有極大的脆弱性，容易受到對(duì)抗攻擊的威脅，早在2014年Goodfellow 等［16］指明了深度神經(jīng)網(wǎng)絡(luò)在高維空間中的線性特性已經(jīng)足以產(chǎn)生對(duì)抗樣本攻擊的行為，揭示了對(duì)抗樣本存在的根本原因。

對(duì)抗樣本是指在原始數(shù)據(jù)集上通過(guò)人為添加經(jīng)過(guò)處理且難以察覺的擾動(dòng)所形成的一類樣本，此類樣本會(huì)導(dǎo)致系統(tǒng)模型以較高的置信度做出與原始樣本相悖的分類輸出。模型受到對(duì)抗樣本攻擊的過(guò)程可以通過(guò)以下步驟完成，如圖1所示：

圖1 對(duì)抗樣本攻擊示意圖Fig.1 Schematic diagram of adversarial sample attack

1）若有一個(gè)深度學(xué)習(xí)系統(tǒng)模型M和干凈樣本C（未添加任何噪聲），假定C輸入M后被系統(tǒng)模型正確分類，即M(C)=ytrue；

2）在原始樣本圖片C中加入擾動(dòng)ε后得到樣本D；

3）將樣本D作為輸入通過(guò)同一個(gè)系統(tǒng)模型M，使得M(D) ≠ytrue，這樣的樣本D稱之為對(duì)抗樣本，此類操作稱之為對(duì)抗樣本攻擊。

1.2 對(duì)抗樣本生成方法

1.2.1 FGSM

文獻(xiàn)［16］中提出的快速梯度符號(hào)標(biāo)記法FGSM 是非定向類生成對(duì)抗樣本最高效的方法之一，核心是通過(guò)樣本損失的梯度來(lái)最大化樣本原始標(biāo)簽概率的變化。

FGSM 通過(guò)最大限度地改變輸入樣本的分類最大值以改變分類標(biāo)簽的概率，分類的最大值本身是由輸入樣本與真實(shí)類之間的梯度來(lái)表示，即通過(guò)將代價(jià)函數(shù)相對(duì)于輸入的梯度與輸入進(jìn)行符號(hào)相加，得到的樣本只要使得模型分類出不同于真實(shí)類的對(duì)抗類，即為對(duì)抗樣本。FGSM 擬得到潛在對(duì)抗樣本的公式如式（1）、（2）：

其中：x∈Rm是輸入圖像；y是輸入x對(duì)應(yīng)的類標(biāo)簽；θ是模型變量參數(shù)；η是擾動(dòng)步長(zhǎng)；ε是所選的超參數(shù)；J是系統(tǒng)模型訓(xùn)練的損失函數(shù)。

1.2.2 C&W Attacks方法

C&W Attacks 是一組基于三個(gè)距離度量的定向類攻擊方法，在范數(shù)L0、L2和L∞上均有較為明顯的改善。其核心思想是解決一個(gè)目標(biāo)函數(shù)的優(yōu)化問(wèn)題，使施加在正常樣本上的擾動(dòng)（具有一定的距離度量）最小化，并使目標(biāo)類標(biāo)簽的概率最大化。即將對(duì)抗樣本視為一個(gè)變量，那么現(xiàn)在如果要使攻擊成功就要滿足兩個(gè)條件：

1）對(duì)抗樣本與對(duì)應(yīng)的原始樣本的擾動(dòng)越小越好；

2）此類對(duì)抗樣本應(yīng)使得模型分類判斷錯(cuò)誤，且錯(cuò)的那一類的置信度區(qū)間越大越好。

C&W Attacks方法的核心目標(biāo)函數(shù)如式（3）：

式中：Δx表示距離度量通過(guò)Lp范數(shù)的實(shí)例化對(duì)象，例如歐氏距離等；x表示為目標(biāo)對(duì)抗樣本圖像；t定義為目標(biāo)類；c為超參數(shù)設(shè)定，實(shí)際是為對(duì)抗樣本設(shè)計(jì)一個(gè)規(guī)定函數(shù)，使每個(gè)像素的變化值不超過(guò)規(guī)定范圍。式（4）、（5）分別為得到的規(guī)定函數(shù)和最佳損失函數(shù)：

其中：Z（x）表示的是樣本圖像x通過(guò)模型但未經(jīng)過(guò)softmax 層的輸出向量；t定義為目標(biāo)類；式中的k為置信度范圍。該方法在不知道系統(tǒng)模型相關(guān)參數(shù)的條件下，仍能實(shí)現(xiàn)對(duì)抗攻擊的效果。

2 對(duì)抗樣本差異性檢測(cè)方法

本文提出了一種針對(duì)對(duì)抗樣本差異性的檢測(cè)方法，目的是提升模型對(duì)多種類對(duì)抗樣本間檢測(cè)的多樣性、全面性以及檢測(cè)效率。

2.1 檢測(cè)系統(tǒng)框架設(shè)計(jì)

基于深度學(xué)習(xí)的對(duì)抗樣本差異性檢測(cè)包含3個(gè)階段。

階段1 進(jìn)行深度學(xué)習(xí)系統(tǒng)模型的搭建，利用原始數(shù)據(jù)集樣本對(duì)模型進(jìn)行訓(xùn)練，擬達(dá)到較高的分類精度要求。本文實(shí)驗(yàn)研究部分選擇了工業(yè)上廣泛應(yīng)用的ResNet 殘差神經(jīng)網(wǎng)絡(luò)模型，具體細(xì)節(jié)見第3.2節(jié)。

階段2 利用多種對(duì)抗樣本生成方式攻擊高精度的深度學(xué)習(xí)模型得到對(duì)抗樣本組，并對(duì)得到的對(duì)抗樣本數(shù)據(jù)集進(jìn)行各標(biāo)簽下的整理，分析其對(duì)抗性以及視覺效果，具體操作細(xì)節(jié)見3.3節(jié)實(shí)證研究實(shí)驗(yàn)部分。

階段3 構(gòu)建樣本差異性檢測(cè)系統(tǒng)，該系統(tǒng)包含置信度檢測(cè)、感知度檢測(cè)及抗干擾度檢測(cè)三個(gè)子檢測(cè)系統(tǒng)，如圖2 所示，共7 項(xiàng)檢測(cè)方法，將獲取到的對(duì)抗樣本組輸入檢測(cè)系統(tǒng)，統(tǒng)計(jì)獲取各項(xiàng)性能檢測(cè)結(jié)果，對(duì)檢測(cè)數(shù)據(jù)進(jìn)行樣本間的差異化特性分析。具體檢測(cè)方法見2.2節(jié)。

圖2 樣本差異性檢測(cè)系統(tǒng)示意圖Fig.2 Schematic diagram of sample difference detection system

2.2 檢測(cè)方法

2.2.1 置信度

置信度檢測(cè)是本文對(duì)對(duì)抗樣本檢測(cè)的重要方法之一，也是對(duì)抗樣本間差異性檢測(cè)最直接的方法。主要方法分為以下兩方面的檢測(cè)：

1）對(duì)抗類的平均置信度（ACAC），其定義為系統(tǒng)模型受對(duì)抗樣本攻擊時(shí)，在檢測(cè)中是否依然會(huì)將此樣本視作對(duì)抗類樣本的信任程度。具體如式（6）所示：

其中：n表示攻擊誤分類的對(duì)抗樣本數(shù)；Xa為對(duì)抗類樣本；P表示為對(duì)抗類的概率函數(shù)。

2）真實(shí)類平均置信度（ACTC），其定義為模型在對(duì)樣本的檢測(cè)中將樣本按正確類分類的置信程度，該檢測(cè)方法也可用來(lái)進(jìn)一步反映對(duì)抗樣本攻擊準(zhǔn)確率缺陷。具體如式（7）所示：

其中：n表示對(duì)抗樣本數(shù)；Xa為對(duì)抗類樣本；y定義為正確類標(biāo)簽；P表示為真實(shí)類的概率函數(shù)。

2.2.2 感知度

本文進(jìn)一步將感知度檢測(cè)作為對(duì)抗樣本差異性檢測(cè)的重要方法，樣本間感知度的各項(xiàng)指標(biāo)差異能更有效地反映出對(duì)抗樣本在檢測(cè)時(shí)的敏感程度。利用計(jì)算機(jī)視覺的相關(guān)技術(shù)將主要方法分為以下兩項(xiàng)：

1）平均Lp失真率（AverageLpDistortion）。

對(duì)于大多數(shù)對(duì)深度學(xué)習(xí)系統(tǒng)模型的對(duì)抗樣本攻擊都采用Lp范數(shù)距離（p=0，2，∞）：L0表示微擾后改變的像素個(gè)數(shù)；L2計(jì)算原例與擾動(dòng)例之間的歐氏距離；L∞表示對(duì)抗樣本各維度的最大變化量。本文實(shí)驗(yàn)將平均Lp失真率定義為對(duì)抗攻擊樣本圖像像素上的平均歸一化Lp失真，如式（8）所示：

其中：Xa是通過(guò)像素?cái)_動(dòng)后的樣本，X為未經(jīng)擾動(dòng)的原始樣本；參數(shù)p=0，2，∞。本文在下一節(jié)實(shí)證研究方面選取L2歐氏距離作為檢測(cè)參數(shù)，具體細(xì)節(jié)見3.3節(jié)。

2）結(jié)構(gòu)相似度（SSIM）。

本文將SSIM［21］作為一種量化樣本間圖像相似度的檢測(cè)量化方法，是對(duì)于平均Lp失真檢測(cè)更直接的反映，將ASS定義為原始樣本與對(duì)抗樣本間SSIM：

式中：Xa通過(guò)擾動(dòng)后的對(duì)抗樣本，X為未經(jīng)擾動(dòng)的原始樣本。本文實(shí)驗(yàn)部分用SSIM 的量化值來(lái)比較樣本間感知度的差異性結(jié)果。

2.2.3 抗干擾度

對(duì)于樣本檢測(cè)中的抗干擾度檢測(cè)，本文引入了噪聲容忍度、高斯模糊抗干擾度以及圖像壓縮抗干擾度三個(gè)方面的檢測(cè)方法，旨在對(duì)對(duì)抗樣本檢測(cè)加入一定量噪聲或人為圖像變換后是否依然能被檢測(cè)出對(duì)抗性，其結(jié)果的差異特性表現(xiàn)是對(duì)對(duì)抗樣本間差異性檢測(cè)的主要方面之一。

1）噪聲容忍度。

噪聲容忍度可定義為：在樣本檢測(cè)時(shí)以保證對(duì)抗樣本攻擊深度模型誤分類不變的情況下，衡量樣本對(duì)單一來(lái)源噪聲的容忍量，如式（10）所示：

式中：P為分類概率函數(shù)；Xa為對(duì)抗類樣本；j表示除真實(shí)類之外的其他類。通過(guò)如式（10），噪聲容忍程度的核心是計(jì)算對(duì)抗類概率與其他類的最大概率之間的差距。

2）高斯模糊抗干擾度。

高斯模糊（Gaussian blur）是計(jì)算機(jī)視覺算法中廣泛使用的一種預(yù)處理手段，在深度學(xué)習(xí)中一般用于圖像樣本的預(yù)處理階段。本文預(yù)先對(duì)對(duì)抗樣本間進(jìn)行高斯模糊處理，通過(guò)樣本對(duì)高斯模糊抗干擾度的測(cè)量來(lái)反映對(duì)抗樣本間差異性。方法如式（11）所示：

其中：y為真實(shí)類標(biāo)簽；GB定義為高斯模糊函數(shù)；Xa為對(duì)抗樣本。

3）圖像壓縮抗干擾度。

圖像壓縮（image compression）是深度學(xué)習(xí)中對(duì)于圖像樣本預(yù)處理的手段之一。本文對(duì)樣本進(jìn)行圖像壓縮變換后進(jìn)行檢測(cè)，統(tǒng)計(jì)測(cè)量值以反映對(duì)抗樣本對(duì)于圖像壓縮的抗干擾程度，如式（12）所示：

其中：y為真實(shí)類標(biāo)簽；IC定義為圖像壓縮函數(shù)；Xa為對(duì)抗樣本。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本方法的有效性，本文給出了如下三個(gè)方面的問(wèn)題來(lái)指導(dǎo)研究實(shí)驗(yàn)的設(shè)定：

1）對(duì)抗樣本的差異性檢測(cè)方法是否能夠在多種類對(duì)抗樣本間的各項(xiàng)檢測(cè)中呈現(xiàn)出較為明顯的差異化特性；

2）在不同的數(shù)據(jù)集上，本文方法對(duì)樣本的差異化特性檢測(cè)結(jié)果是否具備一致性；

3）相比以往的對(duì)抗樣本檢測(cè)，是否可以通過(guò)樣本檢測(cè)的差異化特性對(duì)其進(jìn)行對(duì)抗攻擊類別的判斷。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文在實(shí)驗(yàn)研究中使用了兩部分的數(shù)據(jù)集數(shù)據(jù)，目的是針對(duì)研究實(shí)驗(yàn)的問(wèn)題，加深實(shí)驗(yàn)的嚴(yán)謹(jǐn)性。

MNIST 數(shù)據(jù)集由美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所開發(fā)，樣本圖片以字節(jié)形式由250 個(gè)人手寫的0～9 的手寫數(shù)字組成。MNIST 數(shù)據(jù)集作為深度學(xué)習(xí)研究中最直接的數(shù)據(jù)集，其數(shù)據(jù)集圖片均以黑白成像（像素為28×28，灰度為0～255 范圍內(nèi)），且構(gòu)造相對(duì)容易，0～9標(biāo)簽分類清晰。該數(shù)據(jù)集由4個(gè)部分組成：①47 MB 的60 000 張訓(xùn)練圖片；②60 KB 的0～9 訓(xùn)練集圖片標(biāo)簽；③7.8 MB 的10 000張測(cè)試集圖片；④10 KB 的測(cè)試集圖片標(biāo)簽。圖3為MNIST數(shù)據(jù)集的部分樣本。

圖3 MNIST數(shù)據(jù)集示例Fig.3 Examples of MNIST dataset

Cifar-10 數(shù)據(jù)集是本文針對(duì)研究問(wèn)題所用的一類像素大小為32×32的彩色圖片數(shù)據(jù)集。共有60 000張10個(gè)標(biāo)簽類的彩色圖片，每個(gè)類6 000 張，其中50 000 張32×32 的彩色圖片為構(gòu)成5個(gè)批次的訓(xùn)練數(shù)據(jù)集，剩下的10 000張為32×32的彩色圖片測(cè)試數(shù)據(jù)集，圖像數(shù)據(jù)以numpy 數(shù)組的形式保存，每1 024個(gè)數(shù)字代表顏色通道。圖4為Cifar-10數(shù)據(jù)集部分樣本。

圖4 Cifar-10數(shù)據(jù)集示例Fig.4 Examples of Cifar-10 dataset

3.2 深度系統(tǒng)模型

本文基于開源深度學(xué)習(xí)框架Tensorflow1.4對(duì)實(shí)驗(yàn)研究所需的深度模型進(jìn)行了構(gòu)建以及不同迭代周期的訓(xùn)練。

3.2.1 ResNet-50殘差神經(jīng)網(wǎng)絡(luò)模型

實(shí)驗(yàn)所用的深度模型為工業(yè)上常見的殘差網(wǎng)絡(luò)模型［22］，擬解決在不斷增加神經(jīng)網(wǎng)絡(luò)層數(shù)深度時(shí)出現(xiàn)的準(zhǔn)確率退化問(wèn)題。其結(jié)構(gòu)特點(diǎn)是引入了殘差網(wǎng)絡(luò)單元，如圖5 所示，假定某段神經(jīng)網(wǎng)絡(luò)的輸入是x，期望輸出是H(x)，現(xiàn)將輸入x傳到輸出作為初始結(jié)果，那么此時(shí)需要學(xué)習(xí)的目標(biāo)就是F(x)=H(x)-x，殘差即為H(x)-x。輸入和輸出的一個(gè)線性加疊并不會(huì)給網(wǎng)絡(luò)增加額外的參數(shù)，同時(shí)卻可以大大增加模型的訓(xùn)練效率、提升訓(xùn)練精度。本實(shí)驗(yàn)構(gòu)建殘差網(wǎng)絡(luò)的目的是提升不同訓(xùn)練周期下模型的分類精度以及收斂速度，貼近工業(yè)化生產(chǎn)需求。

圖5 ResNet殘差單元Fig.5 ResNet residual unit

3.2.2 模型訓(xùn)練

本文對(duì)MNIST 數(shù)據(jù)集與Cifar-10 數(shù)據(jù)集上進(jìn)行了不同訓(xùn)練周期下6 組ResNet-50 模型的訓(xùn)練，保存模型ckpt 文件作為對(duì)抗樣本攻擊以及差異性檢測(cè)實(shí)驗(yàn)的實(shí)驗(yàn)?zāi)Ｐ汀?/p>

首先在MNIST 數(shù)據(jù)集上依次進(jìn)行10 epoch、25 epoch 與50 epoch 周期的訓(xùn)練，調(diào)整模型訓(xùn)練參數(shù)及批標(biāo)準(zhǔn)化參數(shù)，保證符合模型訓(xùn)練精度的要求，訓(xùn)練完畢后的三組模型分類準(zhǔn)確率對(duì)應(yīng)依次為98.86%、99.06%與99.36%；之后在Cifar-10數(shù)據(jù)集上同樣設(shè)置了以上的三組模型訓(xùn)練，達(dá)到符合實(shí)驗(yàn)要求的模型分類準(zhǔn)確率依次為95.15%、97.16與98.91%；最后，保存訓(xùn)練好的模型文件，不同數(shù)據(jù)集下，相同訓(xùn)練周期的模型為對(duì)抗攻擊模型組。

3.3 對(duì)抗樣本生成

利用快速梯度符號(hào)標(biāo)記法FGSM 與C&W Attacks 法作為對(duì)抗攻擊生成對(duì)抗樣本的方法（具體方法參考1.2 節(jié)）分別在MNIST 和Cifar-10 數(shù)據(jù)集上對(duì)3.2.2 節(jié)得到的訓(xùn)練好的深度模型進(jìn)行對(duì)抗攻擊，生成對(duì)抗樣本。

MNIST數(shù)據(jù)集上，F(xiàn)GSM攻擊訓(xùn)練完畢ResNet-50模型，在10 epoch、25 epoch 與50 epoch 周期下生成的對(duì)抗樣本數(shù)量（所有目標(biāo)分類標(biāo)簽下共計(jì)的數(shù)量）依次為3 940、6 108、6 588；而C&W 攻擊深度模型生成的對(duì)抗樣本數(shù)量依次為4 564、6 947、7 012。

Cifar-10 數(shù)據(jù)集上，F(xiàn)GSM 攻擊訓(xùn)練完畢ResNet-50 模型，在10 epoch、25 epoch 與50 epoch 周期下生成的對(duì)抗樣本數(shù)量（所有目標(biāo)分類標(biāo)簽下共計(jì)的數(shù)量）依次為4 408、6 545、7 369；而C&W 攻擊的對(duì)抗樣本數(shù)量依次為4 018、6 556、6 882。

實(shí)驗(yàn)在所有得到的對(duì)抗樣本組中進(jìn)行了各分類標(biāo)簽下的樣本均衡［23］操作，目的是為在進(jìn)一步的樣本差異性檢測(cè)實(shí)驗(yàn)中，不會(huì)因?yàn)楦鳂?biāo)簽下樣本數(shù)量權(quán)重的差異而影響實(shí)驗(yàn)檢測(cè)結(jié)果。此外，對(duì)于生成得到的對(duì)抗樣本進(jìn)行了各分類標(biāo)簽下肉眼視覺的敏感度對(duì)比，確保在樣本圖像不失真的情況下仍具備強(qiáng)對(duì)抗性，利用MNIST 對(duì)抗樣本中一組數(shù)字“0”的樣本為例，圖6、7 分別代表FGSM 攻擊以及C&W 攻擊得到的數(shù)字“0”的對(duì)抗樣本。

圖6 FGSM攻擊得到的數(shù)字“0”對(duì)抗樣本Fig.6 “0”adversarial samples obtained by FGSM attack

由圖6、7 可知，對(duì)于上述兩類對(duì)抗攻擊分別生成的數(shù)字“0”樣本，從肉眼視覺角度上觀察，并未出現(xiàn)圖像失真、無(wú)法辨析的情況，具體地，圖6、7 中第一行樣本為原始樣本，每張圖片的參數(shù)分別代表原始標(biāo)簽類別t、對(duì)抗類別a 以及深度模型誤分類的類別概率標(biāo)簽p，除第一行外的數(shù)字圖片均為實(shí)驗(yàn)生成的對(duì)抗樣本（不同對(duì)抗類別標(biāo)簽）。由此可見，本文實(shí)驗(yàn)得到的對(duì)抗樣本圖像在不發(fā)生失真且肉眼可清楚辨析的情況下仍具備對(duì)抗性。

3.4 對(duì)抗樣本差異性檢測(cè)

為了探究實(shí)驗(yàn)所提出的問(wèn)題，本文運(yùn)用第2 章所提出的對(duì)抗樣本間的差異性檢測(cè)系統(tǒng)方法對(duì)實(shí)驗(yàn)所獲取的幾組對(duì)抗樣本進(jìn)行檢測(cè)，這也是該實(shí)證研究實(shí)驗(yàn)的核心關(guān)鍵。

圖7 C&W攻擊得到的數(shù)字“0”對(duì)抗樣本Fig.7 “0”adversarial samples obtained by C&W attack

本實(shí)驗(yàn)基于深度學(xué)習(xí)框架Tensorflow1.4 環(huán)境下利用Python3 代碼實(shí)現(xiàn)了2.1 節(jié)設(shè)計(jì)的對(duì)抗樣本差異性檢測(cè)系統(tǒng)。整體的檢測(cè)系統(tǒng)包含三個(gè)子系統(tǒng)，分別是：樣本置信度檢測(cè)系統(tǒng)、樣本感知度檢測(cè)系統(tǒng)以及樣本抗干擾度檢測(cè)系統(tǒng)，一共7項(xiàng)對(duì)抗樣本的檢測(cè)指標(biāo)，其中：置信度系統(tǒng)檢測(cè)包含樣本對(duì)抗類的平均置信度（ACAC）以及對(duì)真實(shí)類的平均置信度（ACTC）；感知度檢測(cè)系統(tǒng)包含對(duì)抗樣本平均Lp失真（ALDp）檢測(cè)以及平均SSIM 檢測(cè)；此外，抗干擾度檢測(cè)系統(tǒng)包含樣本的噪聲容忍度（NTE）檢測(cè)、抗高斯干擾（RGB）檢測(cè)以及圖像壓縮抗干擾（RIC）檢測(cè)，各檢測(cè)方法詳見本文2.2節(jié)。相較于以往的檢測(cè)方法（誤分類率檢測(cè)），本方法將對(duì)抗樣本的差異性檢測(cè)細(xì)化并歸類研究，充分增加了檢測(cè)的全面性。該部分實(shí)驗(yàn)將3.3節(jié)得到的各組對(duì)抗樣本的檢測(cè)分為以下步驟：

1）Cifar-10數(shù)據(jù)集對(duì)抗樣本差異性檢測(cè)。

首先預(yù)加載三組對(duì)抗樣本生成時(shí)的ResNet-50 模型（10 epoch、25 epoch、50 epoch 訓(xùn)練周期）作為樣本差異性檢測(cè)的深度系統(tǒng)模型，將3.3 節(jié)通過(guò)對(duì)抗攻擊（FGSM 攻擊與C&W攻擊）生成的不同周期下的對(duì)抗樣本組進(jìn)行劃分，如G1 組為10 epoch 周期下FGSM 對(duì)抗樣本4 408 張與C&W 對(duì)抗樣本4 018 張，G2 組為25 epoch 下的6 545 張與6 556 張樣本，G3 組則為50 epoch下的7 369張與6 882張樣本；然后將G1、G2、G3作為輸入至差異性檢測(cè)系統(tǒng)，依次進(jìn)行上述檢測(cè)系統(tǒng)中各項(xiàng)指標(biāo)檢測(cè)；最后對(duì)各組對(duì)抗樣本間的檢測(cè)結(jié)果進(jìn)行規(guī)范化處理，比對(duì)并分析其差異化特性。

2）MNIST數(shù)據(jù)集對(duì)抗樣本差異性檢測(cè)。

對(duì)于MNIST 0～9手寫數(shù)字圖片的對(duì)抗樣本間的差異性檢測(cè)同樣分為模型加載、對(duì)抗樣本組分別作為輸入至系統(tǒng)進(jìn)行檢測(cè)以及差異性分析三個(gè)階段的工作。根據(jù)本文研究實(shí)驗(yàn)開始所提出的問(wèn)題，通過(guò)對(duì)不同數(shù)據(jù)集的對(duì)抗樣本進(jìn)行檢測(cè)，其目的是驗(yàn)證對(duì)抗樣本間差異化特性的一致性。

3.5 結(jié)果分析

針對(duì)研究實(shí)驗(yàn)的問(wèn)題，本文對(duì)MNIST數(shù)據(jù)集以及Cifar-10數(shù)據(jù)集上對(duì)抗樣本的差異性檢測(cè)實(shí)驗(yàn)結(jié)果進(jìn)行了研究分析，將各檢測(cè)系統(tǒng)對(duì)應(yīng)的指標(biāo)結(jié)果以規(guī)范化的形式進(jìn)行數(shù)據(jù)對(duì)比，分析完成本文實(shí)驗(yàn)的研究結(jié)論。

實(shí)驗(yàn)在MNIST 與Cifar-10 數(shù)據(jù)集下的各組對(duì)抗樣本間進(jìn)行了樣本置信度的差異性檢測(cè)，結(jié)果如表1所示。從表1可以發(fā)現(xiàn)，屬于C&W attack 方法以及FGSM 攻擊方法所生成的對(duì)抗樣本，在對(duì)抗類置信度ACAC與真實(shí)類置信度ACTC檢測(cè)上差異性明顯。對(duì)于ACAC 來(lái)說(shuō)，其檢測(cè)數(shù)值越高，表明樣本在該指標(biāo)檢測(cè)性能越好，ACTC 則反之。不難看出，無(wú)論是MNIST 手寫數(shù)字集或是Cifar-10 彩色圖片數(shù)據(jù)集，對(duì)于不同ResNet-50 模型訓(xùn)練周期epoch 下的檢測(cè)，F(xiàn)GSM 對(duì)抗樣本在ACAC 與ACTC 上的數(shù)值明顯優(yōu)于C&W 對(duì)抗樣本，例如表中ACAC 的檢測(cè)，F(xiàn)GSM 樣本的實(shí)驗(yàn)結(jié)果在87.20%～97.29%，而C&W 樣本僅為50%上下；同時(shí)由表中ACTC 的數(shù)值可知，F(xiàn)GSM對(duì)抗樣本的結(jié)果是C&W對(duì)抗樣本的4～32倍。

進(jìn)一步地，對(duì)表1 中的所有對(duì)抗樣本組進(jìn)行感知度系統(tǒng)的各項(xiàng)檢測(cè)，實(shí)驗(yàn)包含平均Lp失真率檢測(cè)以及平均SSIM 檢測(cè)，表2所示為Cifar-10和MNIST 數(shù)據(jù)集下對(duì)于各組對(duì)抗樣本間的感知度差異性檢測(cè)實(shí)驗(yàn)結(jié)果。從表2 可以發(fā)現(xiàn)，C&W 對(duì)抗樣本與FGSM 對(duì)抗樣本在平均L2失真率（實(shí)驗(yàn)選取p=2 的歐氏距離作為檢測(cè)平均Lp失真率的像素灰度間的距離度量）以及平均SSIM 檢測(cè)上同樣差異性較為明顯。對(duì)于平均L2失真率而言，其數(shù)據(jù)越小，表明樣本越不容易失真；而SSIM 結(jié)構(gòu)相似的數(shù)據(jù)越高，表明對(duì)抗樣本越不容易被察覺。但這里的樣本感知度差異性檢測(cè)結(jié)果不同于置信度檢測(cè)結(jié)果，無(wú)論是Cifar-10 數(shù)據(jù)集或是MNIST 數(shù)據(jù)集，對(duì)于不同ResNet-50 模型訓(xùn)練周期epoch 下的檢測(cè)，C&W 對(duì)抗樣本在平均L2失真率以及SSIM 上反而優(yōu)于FGSM 對(duì)抗樣本，平均L2失真率的檢測(cè)結(jié)果中，F(xiàn)GSM 對(duì)抗樣本與C&W 對(duì)抗樣本的失真率數(shù)值差距較大；同時(shí)，SSIM 檢測(cè)中，C&W 對(duì)抗樣本在兩類數(shù)據(jù)集上的檢測(cè)結(jié)果均達(dá)到至95%～100%的范圍，幾乎無(wú)失真。

表1 對(duì)抗樣本置信度差異性檢測(cè)結(jié)果Tab.1 Difference detection results in confidence of adversarial samples

表2 Cifar-10和MNIST數(shù)據(jù)集上對(duì)抗樣本感知度差異性檢測(cè)結(jié)果Tab.2 Difference detection results in perception of adversarial samples on Cifar-10 and MNIST datasets

同樣地，本文實(shí)驗(yàn)最后一環(huán)是將各組對(duì)抗樣本輸入至抗干擾度檢測(cè)系統(tǒng)中，包含樣本的噪聲容忍度檢測(cè)NTE、抗高斯干擾度檢測(cè)RGB以及抗圖像壓縮干擾度檢測(cè)RIC三項(xiàng)差異性檢測(cè)實(shí)驗(yàn)。表3 為Cifar-10 和MNIST 數(shù)據(jù)集下對(duì)于各組對(duì)抗樣本間的抗干擾度差異性檢測(cè)實(shí)驗(yàn)結(jié)果，其中，在樣本抗高斯干擾度檢測(cè)實(shí)驗(yàn)中，對(duì)每組不同數(shù)據(jù)集的對(duì)抗樣本均加入統(tǒng)一規(guī)范化處理的高斯噪聲數(shù)據(jù)，經(jīng)過(guò)大量實(shí)驗(yàn)，本文選取了一類正則高斯噪聲作為樣本圖像的預(yù)處理，當(dāng)中的參數(shù)μ=0，方差σ2=0.25，這樣加入的高斯平滑噪聲不會(huì)使檢測(cè)樣本發(fā)生較大失真現(xiàn)象，并接近于此臨界狀態(tài)，提升了該項(xiàng)指標(biāo)檢測(cè)的充分性。在樣本抗圖像壓縮干擾度檢測(cè)中，實(shí)驗(yàn)采用了工業(yè)化常見的預(yù)處理標(biāo)準(zhǔn)，在保證不失真的情況下，對(duì)圖像進(jìn)行90%的壓縮預(yù)處理。

表3 Cifar-10和MNIST數(shù)據(jù)集上對(duì)抗樣本抗干擾度差異性檢測(cè)結(jié)果Tab.3 Difference detection results in anti-interference degree of adversarial samples on Cifar-10 and MNIST datasets

從表3 可以發(fā)現(xiàn)，F(xiàn)GSM 對(duì)抗樣本與C&W 對(duì)抗樣本在Cifar-10 和MNIST 數(shù)據(jù)集上的檢測(cè)，其噪聲容忍度、抗高斯模糊程度以及抗圖像壓縮程度檢測(cè)上具備較為明顯的特性差異化，對(duì)于噪聲容忍度NTE 而言，規(guī)范化處理后的實(shí)驗(yàn)數(shù)據(jù)越高，表明樣本的穩(wěn)定性越好；同樣地，抗高斯模糊與抗圖像壓縮容忍度實(shí)驗(yàn)數(shù)據(jù)越高，代表在對(duì)抗樣本檢測(cè)時(shí)穩(wěn)定性越強(qiáng)，更具備一定程度上的抗干擾攻擊能力。而通過(guò)檢測(cè)數(shù)據(jù)橫向?qū)Ρ劝l(fā)現(xiàn)，F(xiàn)GSM 對(duì)抗樣本對(duì)于噪聲的容忍度要高于C&W 對(duì)抗樣本，其差異在MNIST 數(shù)據(jù)集上更為明顯；同時(shí)對(duì)于抗高斯模糊以及抗圖像壓縮的檢測(cè)結(jié)果，F(xiàn)GSM 樣本也相比C&W樣本具有明顯的優(yōu)勢(shì)。例如，在Cifar-10數(shù)據(jù)集上的抗高斯模糊檢測(cè)中，對(duì)于不同模型訓(xùn)練周期下生成的對(duì)抗樣本組（10 epoch、25 epoch、50 epoch）的樣本間檢測(cè)，F(xiàn)GSM 樣本檢測(cè)標(biāo)準(zhǔn)化數(shù)據(jù)依次為76.32%、88.90%及89.04%，而C&W 樣本僅為52.39%、49.12%及39.86%。

結(jié)合對(duì)以上所有樣本差異性檢測(cè)的標(biāo)準(zhǔn)化結(jié)果進(jìn)行分析，并對(duì)應(yīng)研究實(shí)驗(yàn)開始所提出的方法有效性問(wèn)題，本文同樣給出了以下三個(gè)方面的分析研究結(jié)論：

1）通過(guò)對(duì)所有對(duì)抗樣本組間進(jìn)行的包含置信度檢測(cè)、感知度檢測(cè)以及抗干擾度檢測(cè)發(fā)現(xiàn)：屬于不同方式的對(duì)抗攻擊方法攻擊深度模型產(chǎn)生的對(duì)抗樣本，在樣本檢測(cè)的實(shí)驗(yàn)中，各項(xiàng)指標(biāo)均存在較為明顯的差異化特性；同時(shí)，從各項(xiàng)標(biāo)準(zhǔn)化檢測(cè)結(jié)果差異程度上分析，對(duì)于同樣具備強(qiáng)對(duì)抗性的對(duì)抗樣本組，應(yīng)從多元化的角度對(duì)樣本進(jìn)行檢測(cè)。

2）在本文的對(duì)抗樣本差異性檢測(cè)實(shí)證研究實(shí)驗(yàn)中，分別對(duì)Cifar-10 彩色圖片數(shù)據(jù)集以及MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集生成的對(duì)抗樣本組進(jìn)行了各項(xiàng)指標(biāo)的差異性檢測(cè)，通過(guò)分析標(biāo)準(zhǔn)化實(shí)驗(yàn)結(jié)果可知，不論是在Cifar-10 數(shù)據(jù)集還是MNIST 數(shù)據(jù)集，其各項(xiàng)指標(biāo)檢測(cè)結(jié)果均存在明顯的特性差異，且該特性差異在兩類數(shù)據(jù)集上具備一致性。

3）相較于以往的對(duì)抗樣本檢測(cè)（誤分類率），本文通過(guò)以上研究實(shí)驗(yàn)的標(biāo)準(zhǔn)化結(jié)果分析得知，無(wú)論Cifar-10數(shù)據(jù)集對(duì)抗樣本組或是MNIST 數(shù)據(jù)集對(duì)抗樣本組，其各項(xiàng)指標(biāo)的差異性結(jié)果在C&W 對(duì)抗樣本以及FGSM 對(duì)抗樣本間存在性能上的優(yōu)劣：FGSM 對(duì)抗樣本在置信度與抗干擾度的檢測(cè)結(jié)果要優(yōu)于C&W 對(duì)抗樣本；而C&W 對(duì)抗樣本在感知度的檢測(cè)卻遠(yuǎn)優(yōu)于FGSM 樣本，不可感知程度更強(qiáng)。通過(guò)樣本檢測(cè)結(jié)果的多樣性分析，可以利用各項(xiàng)檢測(cè)指標(biāo)存在的差異判斷對(duì)抗攻擊的方式，指導(dǎo)模型針對(duì)性的防御。

4 結(jié)語(yǔ)

本文提出了面向深度學(xué)習(xí)的對(duì)抗樣本差異性檢測(cè)方法，并在Cifar-10 彩色圖片數(shù)據(jù)集以及MNIST 手寫數(shù)字?jǐn)?shù)據(jù)集上進(jìn)行了大量的實(shí)證研究實(shí)驗(yàn)，同時(shí)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行標(biāo)準(zhǔn)化分析。該方法提升了對(duì)抗樣本檢測(cè)的全面性，不再是僅針對(duì)誤分類率來(lái)檢測(cè)對(duì)抗樣本間的差異，本次研究揭示了對(duì)抗樣本間存在包含置信度、感知度以及抗干擾度的各項(xiàng)性能的差異，也驗(yàn)證了在不同規(guī)模的數(shù)據(jù)集上特性差異的一致性。在未來(lái)的工作中，如何約減對(duì)抗攻擊樣本間性能的差異，生成更具攻擊性的對(duì)抗樣本以及提升模型的防御能力依然是下一步繼續(xù)研究的方向。

本文屬于深度學(xué)習(xí)系統(tǒng)模型攻防檢測(cè)中對(duì)抗樣本攻擊檢測(cè)初步研究階段，因此還存在一定程度的提升空間。本文最后在對(duì)抗樣本差異性檢測(cè)研究的基礎(chǔ)上進(jìn)行了進(jìn)一步的討論，本文方法是針對(duì)對(duì)抗樣本間的性能差異展開的研究實(shí)驗(yàn)，適用于定向攻擊樣本以及非定向攻擊樣本、白盒攻擊以及黑盒攻擊。下一步的計(jì)劃依然會(huì)從對(duì)抗樣本攻擊的角度出發(fā)，通過(guò)用模型變異以及圖像對(duì)抗樣本變異的手段進(jìn)一步地嘗試縮小多類對(duì)抗樣本間的各項(xiàng)檢測(cè)性能差異，生成更具攻擊性的對(duì)抗樣本。