劉洪毅，方宇彤，文偉平

（北京大學(xué) 軟件與微電子學(xué)院，北京 102600）

隨著深度學(xué)習(xí)算法及計(jì)算設(shè)備的快速發(fā)展，深度學(xué)習(xí)由于其優(yōu)秀的效果與性能被廣泛應(yīng)用于各個(gè)領(lǐng)域，如語(yǔ)音識(shí)別、圖像識(shí)別、人臉識(shí)別、自動(dòng)駕駛等。在計(jì)算機(jī)視覺(jué)領(lǐng)域，隨著 2012 年Krizhevsky等［1］設(shè)計(jì)AlexNet贏得了ImageNet LSVRC-2012比賽的冠軍，奠定了卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)應(yīng)用中的地位。在之后的發(fā)展中，學(xué)者們先 后 提 出 了 GoogLeNet［2］、VGG［3］、ResNet［4］、DenseNet［5］等深層網(wǎng)絡(luò)模型，使得基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)成為了圖像識(shí)別領(lǐng)域的主流，并使得識(shí)別精準(zhǔn)度在ImageNet上達(dá)到了95%以上。在帶來(lái)便利的同時(shí)，深度學(xué)習(xí)本身也存在著一定的安全問(wèn)題，這引起了安全領(lǐng)域的極大關(guān)注。例如，Szegedy等［6］很快發(fā)現(xiàn)了深層神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域的一個(gè)有趣的弱點(diǎn)，即深度神經(jīng)網(wǎng)絡(luò)容易被對(duì)抗樣本欺騙。這種攻擊的表現(xiàn)形式是對(duì)圖像添加一個(gè)微小的擾動(dòng)，并且這些擾動(dòng)對(duì)于人類(lèi)視覺(jué)來(lái)講，是幾乎不可察覺(jué)的，但會(huì)使得分類(lèi)器分類(lèi)錯(cuò)誤。

隨著研究的深入，學(xué)者們將攻擊方法進(jìn)行了分類(lèi)。根據(jù)攻擊者掌握的知識(shí)，對(duì)抗攻擊可分為白盒攻擊和黑盒攻擊。其中，白盒攻擊是指攻擊者完全了解模型的架構(gòu)和參數(shù)。白盒模型在實(shí)際的威脅模型中并不常見(jiàn)，更為廣泛的應(yīng)用場(chǎng)景是黑盒模型。因此，更關(guān)注黑盒環(huán)境下的對(duì)抗樣本生成技術(shù)。黑盒攻擊指攻擊者無(wú)法獲取模型全部信息，只能通過(guò)對(duì)模型的使用來(lái)觀察輸入輸出并展開(kāi)攻擊。

黑盒攻擊方法主要有2種，基于可轉(zhuǎn)移性的對(duì)抗樣本生成方法（transfer-based adversarial example generation，TAEG）和基于查詢(xún)的對(duì)抗樣本生成方法（query-based adversarial example generation，QAEG）?？赊D(zhuǎn)移性是對(duì)抗樣本的一種性質(zhì)，即針對(duì)某分類(lèi)器模型生成的對(duì)抗樣本也可能欺騙其他分類(lèi)器模型。TAEG方法主要利用對(duì)抗樣本的可轉(zhuǎn)移性，針對(duì)一個(gè)替代模型進(jìn)行白盒攻擊，如基于梯度的對(duì)抗樣本生成方法，包括FGSM［7］、IFGSM［8］、PGD［9］、MI-FGSM［10］、CW［11］、JSMA［12］、DeepFool［13］等，并使用產(chǎn)生的對(duì)抗樣本攻擊目標(biāo)模 型，如Substitute Model［14］、DI-2-FGSM［15］、Ensemble Attack［16］。基于可轉(zhuǎn)移性的對(duì)抗攻擊可以?xún)H查詢(xún)目標(biāo)模型一次就完成攻擊，但其攻擊成功率較低，若非目標(biāo)模型和替代模型十分相似，即便是目前魯棒性最好的方法，攻擊成功率也難以令人滿(mǎn)意［15］。而QAEG方法已經(jīng)被實(shí)踐［17-18］證明可以應(yīng)用在現(xiàn)實(shí)模型上。QAEG僅需要對(duì)目標(biāo)模型進(jìn)行一定的查詢(xún)，根據(jù)查詢(xún)結(jié)果不斷優(yōu)化對(duì)抗樣本，即可實(shí)現(xiàn)黑盒攻擊，并且成功率一般都較高。

目前流行的QAEG方法都是基于攻擊組的，如NES Attack［17］、CMA Attack［18-19］、Boundary Attack［20］等。這些方法引入原始樣本與目標(biāo)樣本（稱(chēng)這一對(duì)樣本為一個(gè)攻擊組）共同參與攻擊，當(dāng)對(duì)抗樣本生成任務(wù)陷入局部最優(yōu)解時(shí)，為對(duì)抗樣本進(jìn)化提供了基本的方向，即向著原始樣本靠近，可以在一定程度上緩解由于估算梯度不準(zhǔn)確而導(dǎo)致的對(duì)抗樣本陷入局部最優(yōu)的情況。但是，由于引入了攻擊組來(lái)指導(dǎo)攻擊，針對(duì)一個(gè)對(duì)抗樣本生成任務(wù)，如何合理地選擇對(duì)抗攻擊組將成為一個(gè)挑戰(zhàn)。由于對(duì)抗攻擊的目的僅是使得目標(biāo)模型錯(cuò)誤分類(lèi)。但在現(xiàn)有的研究中，由于引入了攻擊組的指導(dǎo)，相當(dāng)于加入了一個(gè)限制條件，當(dāng)生成任務(wù)到達(dá)局部最優(yōu)解時(shí)，只能向著原始樣本靠近。但原始樣本與目標(biāo)樣本可能并不容易實(shí)現(xiàn)攻擊，最終導(dǎo)致攻擊失敗，或者所需查詢(xún)次數(shù)過(guò)多，如CMA Attack實(shí)現(xiàn)攻擊的平均查詢(xún)次數(shù)為60 000次，但最壞的情況可能達(dá)到200 000次［18］。

為了解決以上挑戰(zhàn)，本文以圖像識(shí)別領(lǐng)域?yàn)槔O(shè)計(jì)了一種基于決策邊界長(zhǎng)度的攻擊距離度量方法，探測(cè)原始圖片到目標(biāo)分類(lèi)決策邊界的垂直距離，并計(jì)算需要進(jìn)化的決策邊界長(zhǎng)度，以度量?jī)蓤D片的攻擊距離，并為該攻擊組的攻擊難易程度提供參考。同時(shí)，設(shè)計(jì)了基于攻擊距離的對(duì)抗樣本攻擊組篩選方法，利用圖片間的攻擊距離，選取較為容易完成攻擊的攻擊組，再展開(kāi)對(duì)抗樣本生成任務(wù)。通過(guò)實(shí)驗(yàn)驗(yàn)證，篩選后的攻擊組對(duì)于多個(gè)攻擊方法有效，總體攻擊效果提升42.07%，攻擊效率提升24.99%，方差降低76.23%。

1 相關(guān)工作

1.1 深度學(xué)習(xí)

深度學(xué)習(xí)［21］是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的研究方向，其目前正以前所未有的規(guī)模被用于破解各種復(fù)雜的科學(xué)難題。例如，深度神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNN）在圖像識(shí)別、重建腦回路［22］、DNA突變分析［23］等各種任務(wù)上都取得了顯著的成功。DNN也成為語(yǔ)音識(shí)別［24］、自然語(yǔ)言 理 解［25］、無(wú) 人 機(jī)［26］、機(jī) 器 人［27］和 人 臉 識(shí) 別ATM［28］中許多具有挑戰(zhàn)性任務(wù)的首選解決方案。顯然，深度學(xué)習(xí)解決方案，尤其是源自計(jì)算機(jī)視覺(jué)問(wèn)題的解決方案，將在日常生活中發(fā)揮重要作用。

1.2 對(duì)抗樣本

對(duì)于深度學(xué)習(xí)分類(lèi)器來(lái)說(shuō)，對(duì)抗樣本是一種特殊的樣本，其與原始樣本的差別不大，但卻可以使得分類(lèi)器分類(lèi)錯(cuò)誤。對(duì)抗樣本生成的基本思想是：對(duì)于原始圖片x，設(shè)計(jì)一個(gè)盡量小的擾動(dòng)δ，能夠使得分類(lèi)器C分類(lèi)錯(cuò)誤，如式（1）所示，上述場(chǎng)景被稱(chēng)為非目標(biāo)攻擊，即只要使得分類(lèi)器分類(lèi)錯(cuò)誤即可。

同時(shí)，還有一種更強(qiáng)的攻擊場(chǎng)景，要求對(duì)抗樣本使得分類(lèi)器分類(lèi)為指定標(biāo)簽t，如下：

其中擾動(dòng)大小的度量公式常使用P范式，如式（3）所示。本文中使用L2距離度量擾動(dòng)的大小，即2范式、歐氏距離，其中N為像素點(diǎn)的個(gè)數(shù)。為了能夠在連續(xù)的空間上搜索對(duì)抗樣本，將像素值從［0，255］壓縮到［0，1］。同時(shí)，給出攻擊成功的判定，一般為平均像素差值小于0.05且使分類(lèi)器分類(lèi)錯(cuò)誤，對(duì)應(yīng)到大小為（299，299，3）的圖片上，L2距離約為25。

白盒對(duì)抗攻擊最常用的就算是基于梯度的對(duì)抗樣本生成方法，通過(guò)計(jì)算損失函數(shù)對(duì)輸入圖片的梯度，再通過(guò)梯度下降的方式降低損失值以達(dá)成目的。其中損失函數(shù)設(shè)計(jì)原理為損失值越小，對(duì)抗樣本的效果越好，如擾動(dòng)的L2距離加上目標(biāo)分類(lèi)置信度的負(fù)值。Szegedy等［6］首先設(shè)計(jì)了讓神經(jīng)網(wǎng)絡(luò)做出誤分類(lèi)的最小擾動(dòng)的方程，轉(zhuǎn)而尋找最小的損失函數(shù)添加項(xiàng)，將對(duì)抗樣本生成問(wèn)題轉(zhuǎn)化成了最優(yōu)化問(wèn)題。Goodfellow等［7］使用Linf距離設(shè)定擾動(dòng)的上限，將原始分類(lèi)的交叉熵作為目標(biāo)函數(shù)，最大化目標(biāo)函數(shù)以實(shí)現(xiàn)非目標(biāo)攻擊。Kurakin［8］和Makelov［9］等引入了迭代的思想，將擾動(dòng)上限分成n份逐步完成攻擊。Carlini和Wagner［11］將錯(cuò)誤分類(lèi)的約束條件統(tǒng)一至目標(biāo)函數(shù)中，將對(duì)抗樣本生成問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題，并設(shè)計(jì)了強(qiáng)有力的攻擊方法。Papernot等［12］提出使用梯度顯著圖的方式，每輪迭代僅選擇效果最優(yōu)的2個(gè)像素點(diǎn)進(jìn)行修改，盡量降低擾動(dòng)大小的同時(shí)完成了攻擊。

1.3 黑盒對(duì)抗攻擊

黑盒對(duì)抗攻擊現(xiàn)有2種常用的方法，即TAEG和QAEG。

可轉(zhuǎn)移性是對(duì)抗樣本的一個(gè)很重要的性質(zhì)?？赊D(zhuǎn)移性是指針對(duì)某一個(gè)模型產(chǎn)生的對(duì)抗樣本，也可以欺騙其他模型［29］。對(duì)抗樣本存在可轉(zhuǎn)移性的主要原因是：同類(lèi)型分類(lèi)任務(wù)學(xué)到的分類(lèi)區(qū)域可能大致相同，這導(dǎo)致對(duì)于一個(gè)模型有效的對(duì)抗樣本可能對(duì)另一模型也有效。Papernot等［14］通過(guò)一定量的查詢(xún)來(lái)構(gòu)造與目標(biāo)模型相似的替代模型，再使用白盒方法攻擊這個(gè)替代模型以產(chǎn)生能夠攻擊目標(biāo)黑盒模型的對(duì)抗樣本。Dong等［10］將動(dòng)量引入對(duì)抗樣本生成過(guò)程，使得梯度更新的方向更加穩(wěn)定，提高了攻擊魯棒性，同時(shí)提高了對(duì)抗樣本的可轉(zhuǎn)移性。Xie等［15］將輸入變換引入到對(duì)抗樣本生成過(guò)程，提高了對(duì)抗樣本的可轉(zhuǎn)移性。Tramer等［16］提出了聯(lián)合多個(gè)模型進(jìn)行生成及防御對(duì)抗樣本，大幅提高了對(duì)抗樣本的可轉(zhuǎn)移性。Huang等［30］提出了針對(duì)模型的中間層而非logit層或輸出層進(jìn)行攻擊，可以一定程度上提高對(duì)抗樣本的可轉(zhuǎn)移性。

盡管有眾多學(xué)者對(duì)對(duì)抗樣本的可轉(zhuǎn)移性進(jìn)行了研究，但是TAEG的黑盒成功率依然很低［15］，難以適應(yīng)實(shí)際的需求。因此，QAEG受到了越來(lái)越多的關(guān)注。QAEG是通過(guò)查詢(xún)目標(biāo)模型，來(lái)估算模型對(duì)于輸入的自然梯度，并輔以原始樣本與目標(biāo)圖樣本，逐步地進(jìn)化對(duì)抗樣本。在目標(biāo)攻擊場(chǎng)景下，QAEG最常用基于攻擊組的對(duì)抗攻擊方法，即從目標(biāo)圖片出發(fā)，保持對(duì)抗樣本的分類(lèi)為目標(biāo)分類(lèi)，持續(xù)地降低對(duì)抗樣本到原始圖片的距離。Ilyas等［17］提出使用自然進(jìn)化策略（natural evolutionary strategies，NES［31］）來(lái)估算目標(biāo)模型輸出對(duì)對(duì)抗樣本分布期望的梯度，并通過(guò)進(jìn)化整個(gè)分布來(lái)進(jìn)化對(duì)抗樣本。Kuang等［18］提出使用協(xié)方差矩陣自適應(yīng)進(jìn)化策略（covariance matrix adaptation evolutionary strategies，CMA-ES［32］）來(lái)擬合并進(jìn)化對(duì)抗樣本的分布，提升查詢(xún)模型的效率，以降低完成攻擊所需的查詢(xún)次數(shù)。Brendel等［20］提出通過(guò)拒絕采樣來(lái)擬合決策邊界，不斷地進(jìn)化對(duì)抗樣本，削弱了攻擊算法對(duì)于模型自然梯度的依賴(lài)性，并實(shí)現(xiàn)了僅利用模型輸出的top1標(biāo)簽完成攻擊。Dong等［19］降低了搜索維度，并利用（1＋1）-CMAES來(lái)擬合決策邊界分布，快速地進(jìn)化對(duì)抗樣本以實(shí)現(xiàn)攻擊。

2 方法論

2.1 威脅模型

目前，攻擊組的引入主要是為了解決黑盒模型下，目標(biāo)攻擊估算的自然梯度不精確的問(wèn)題。因此，本文主要研究黑盒模型下目標(biāo)攻擊的攻擊組篩選方法，同時(shí)要求該黑盒模型可以被查詢(xún)多次。

現(xiàn)有目標(biāo)性對(duì)抗攻擊主要有如下4種應(yīng)用場(chǎng)景：

1）場(chǎng)景1。原始分類(lèi)固定，目標(biāo)分類(lèi)固定，但原始圖片與目標(biāo)圖片均不固定。這是限定最弱的攻擊場(chǎng)景，也是最常見(jiàn)的攻擊場(chǎng)景，僅實(shí)現(xiàn)目標(biāo)性攻擊即可。實(shí)現(xiàn)人類(lèi)識(shí)別結(jié)果和機(jī)器識(shí)別結(jié)果不同，如僅使目標(biāo)分類(lèi)系統(tǒng)出現(xiàn)錯(cuò)誤。

2）場(chǎng)景2。原始圖像固定，目標(biāo)分類(lèi)固定，但目標(biāo)圖像不固定。這是另一種常用的攻擊場(chǎng)景，給定原始圖像，使得對(duì)抗樣本與原始圖像相差不大，但被分類(lèi)器分類(lèi)為目標(biāo)分類(lèi)，如自動(dòng)駕駛欺騙。

3）場(chǎng)景3。原始分類(lèi)固定，目標(biāo)圖片固定，但原始圖片不固定。這也是一種常見(jiàn)的攻擊場(chǎng)景，如繞過(guò)人臉身份驗(yàn)證系統(tǒng)。

4）場(chǎng)景4。原始圖像固定，目標(biāo)圖像固定。這是最嚴(yán)格的攻擊場(chǎng)景，但并不常見(jiàn)。

在前3種應(yīng)用場(chǎng)景中，都存在很多符合要求的攻擊組。本文主要研究如何在前3種場(chǎng)景中，篩選出較為容易的攻擊組，從而提高現(xiàn)有黑盒攻擊的效率及攻擊的穩(wěn)定性。

2.2 基于攻擊距離的攻擊組篩選

現(xiàn)有的QAEG雖然普遍使用了攻擊組來(lái)指導(dǎo)攻擊，但未注意到由于攻擊組難度差異導(dǎo)致的攻擊效果不穩(wěn)定問(wèn)題。因此，目前也沒(méi)有估算攻擊組攻擊難度的方法。為了解決以上問(wèn)題，本文提出了基于決策邊界長(zhǎng)度的攻擊距離度量方法，討論了如何利用估算的攻擊距離篩選對(duì)抗樣本攻擊組，通過(guò)預(yù)先篩選現(xiàn)有對(duì)抗樣本生成方法的輸入來(lái)大幅提升其攻擊效率?；诠艟嚯x的對(duì)抗樣本攻擊組篩選方法的框架如圖1所示。

圖1 基于攻擊距離的對(duì)抗樣本攻擊組篩選方法框架Fig.1 Framework of adversarial example attack pairs filtering method based on attack distance

2.2.1 攻擊距離度量

以NES Attack為例，其對(duì)抗樣本生成的流程如圖2所示，攻擊速度如圖3（a）所示。圖2中：s＿img為原始圖片，t＿img為目標(biāo)圖片，adv＿i為對(duì)抗樣本的第i輪迭代結(jié)果。迭代的主要內(nèi)容就是通過(guò)查詢(xún)目標(biāo)模型，估算目標(biāo)函數(shù)對(duì)輸入的梯度，并通過(guò)梯度下降的方式更新對(duì)抗樣本。同時(shí)，在攻擊速度圖中可以明顯看到，對(duì)抗樣本的L2距離會(huì)先快速下降，再逐漸平緩。CMA Attack的攻擊速度也是類(lèi)似的，如圖3（b）所示。這其中的原因是：基于查詢(xún)的攻擊都會(huì)先快速找到?jīng)Q策邊界，這個(gè)過(guò)程一般很快，再通過(guò)迭代穩(wěn)步地更新對(duì)抗樣本，這個(gè)過(guò)程一般很慢。而重要的是：第2個(gè)過(guò)程可以用線性擬合，以提前估算對(duì)抗樣本生成所需要的查詢(xún)次數(shù)。即查詢(xún)次數(shù)和擾動(dòng)的大小成反比，如果能夠提前估算第2個(gè)階段完成的攻擊距離，就可以提前估算完成攻擊所需的查詢(xún)次數(shù)，從而估算攻擊組的攻擊難度。

圖2 NES Attack對(duì)抗樣本生成流程Fig.2 Flowchart of NESAttack adversarial examples generation

圖3展示了NES Attack［17］與CMA Attack［18］在ImageNet上攻擊InceptionV3的攻擊速度。2個(gè)方法針對(duì)同一攻擊組展開(kāi)攻擊，并展現(xiàn)出相似的攻擊速度曲線。

圖3 攻擊速度Fig.3 Attack speed

基于查詢(xún)的攻擊過(guò)程有上述特性主要是由于對(duì)抗樣本的特性。對(duì)抗樣本是一種既要被分類(lèi)為錯(cuò)誤分類(lèi)，又要與原始圖片相差不大的樣本。這就要求對(duì)抗樣本一般都處于目標(biāo)分類(lèi)與原始分類(lèi)的分類(lèi)邊界附近。因此，對(duì)抗樣本迭代生成的過(guò)程就是對(duì)抗樣本游走于決策邊界，并一步步向原始圖片靠近的過(guò)程，包括基于梯度的白盒攻擊與基于查詢(xún)的黑盒攻擊。估算一個(gè)攻擊組完成攻擊所需要的查詢(xún)次數(shù)，主要需要解決2個(gè)問(wèn)題：①如何確定對(duì)抗樣本已經(jīng)抵達(dá)決策邊界附近；②如何估算攻擊距離。

為了解決第1個(gè)問(wèn)題，設(shè)計(jì)了基于采樣的決策邊界識(shí)別方法，其效果示意圖如圖4所示。將原始圖片與目標(biāo)圖片設(shè)為2個(gè)端點(diǎn)，并在2端點(diǎn)所在連線上進(jìn)行二分查找，以快速定位決策邊界位置。查找規(guī)則如下：如果大部分采樣均為目標(biāo)分類(lèi)，則將中間圖片向原始圖片靠近；如果大部分采樣均為原始分類(lèi)，則將中間圖片向目標(biāo)圖片靠近；直到在中間圖片附近的采樣有40% ～60%的概率為目標(biāo)分類(lèi)。圖4（a）展示了中間圖片附近采樣分類(lèi)為目標(biāo)分類(lèi)的概率小于40%的情況，中間圖片將向目標(biāo)圖片靠近，即圖4（b）展現(xiàn)的情況。

圖4 基于采樣的決策邊界識(shí)別方法示意圖Fig.4 Schematic diagram of decision boundary recognition method based on sampling

為了解決第2個(gè)問(wèn)題，設(shè)計(jì)了基于畢達(dá)哥拉斯定理的攻擊距離估算方法，其效果示意圖如圖5所示。設(shè)中間圖片到原始圖片的距離為L(zhǎng)m，最終對(duì)抗樣本到原始圖片的距離為L(zhǎng)d，從中間圖片進(jìn)化到對(duì)抗樣本需要完成的攻擊距離為L(zhǎng)a。由于對(duì)抗樣本進(jìn)化的過(guò)程實(shí)際是在決策邊界附近游走的過(guò)程，原始圖片到最終對(duì)抗樣本的距離可以看作是原始圖片到?jīng)Q策邊界的距離。又因?yàn)辄c(diǎn)到面垂線距離最短，所以最先找到符合Ld距離要求的對(duì)抗樣本應(yīng)該處于原始圖片到?jīng)Q策邊界的垂線附近。同時(shí)，對(duì)抗樣本游走的攻擊路徑在決策邊界附近，因此可以看做Ld近似垂直于La。因此由畢達(dá)哥拉斯定理得，L2a＝L2m－L2d。整個(gè)基于決策邊界長(zhǎng)度的攻擊距離度量方法如算法1所示。

圖5 攻擊距離估算示意圖Fig.5 Schematic diagram of attack distance estimation

算法1 基于決策邊界長(zhǎng)度的攻擊距離度量方法。

輸入：原始圖片s＿img、目標(biāo)圖片t＿img、目標(biāo)模型C（）、期望的對(duì)抗樣本的擾動(dòng)大小Ld。

輸出：攻擊距離La。

2.2.2 攻擊組篩選

估算出攻擊組之間的攻擊距離之后，就可以在現(xiàn)有攻擊方法之前做一個(gè)預(yù)處理階段，進(jìn)行攻擊組的篩選，以提高現(xiàn)有算法的攻擊效果。

需要注意的是，攻擊距離的估算結(jié)果并非十分精確，能大致反映完成攻擊所需要的查詢(xún)次數(shù)，但也會(huì)存在一些偏差。因此，不能直接利用估算的攻擊距離選出最容易攻擊的攻擊組，但可以利用估算的攻擊距離篩選出較容易攻擊的攻擊組。具體來(lái)說(shuō)，從攻擊組集合S中篩選出較容易攻擊的攻擊組集合E，再?gòu)腅中隨機(jī)選取一組作為建議展開(kāi)攻擊的攻擊組Pair。三者之間的關(guān)系如下：

其中，將集合E與集合S的比例定為超參數(shù)，即過(guò)濾因子R。關(guān)于R值對(duì)于算法的影響，將在第3節(jié)進(jìn)行詳細(xì)的討論。篩選時(shí)會(huì)先利用算法1估算S中各個(gè)攻擊組的攻擊距離，并將攻擊組按照攻擊距離升序排序。之后篩選前η＝ρR個(gè)攻擊組來(lái)組成E，ρ為S中攻擊組的個(gè)數(shù)，η為集合E中攻擊組的個(gè)數(shù)。最終在E中隨機(jī)選取一組作為Pair?；诠艟嚯x的對(duì)抗樣本攻擊組篩選方法如算法2所示。

算法2 基于攻擊距離的對(duì)抗樣本攻擊組篩選方法。

輸入：原始圖片集合s＿imgs、目標(biāo)圖片集合t＿imgs、過(guò)濾因子R。

輸出：合適的攻擊組Pair。

3 實(shí)驗(yàn)與評(píng)估

本節(jié)將討論攻擊組篩選對(duì)不同的攻擊方法在不同應(yīng)用場(chǎng)景下的有效性，同時(shí)討論超參數(shù)R對(duì)于算法的影響。

本文主要對(duì)比的攻擊方法包括NES Attack［17］和CMA Attack［18］，目標(biāo)模型為InceptionV3。對(duì)比攻擊組篩選前后實(shí)現(xiàn)攻擊所需要查詢(xún)次數(shù)的平均值、中位數(shù)及方差，從而驗(yàn)證攻擊組篩選的有效性。

實(shí)驗(yàn)設(shè)定如下：選取ImageNette數(shù)據(jù)集進(jìn)行驗(yàn)證與評(píng)估，共10個(gè)分類(lèi)，場(chǎng)景1每種分類(lèi)選取10張圖片參與攻擊組的構(gòu)造，場(chǎng)景2、3每種分類(lèi)選取100張圖片。場(chǎng)景1與場(chǎng)景2、3實(shí)驗(yàn)環(huán)境設(shè)置不同是因?yàn)閳?chǎng)景1的組合情況過(guò)多，若每種分類(lèi)選取圖片均為100張，場(chǎng)景1的攻擊組個(gè)數(shù)會(huì)達(dá)到900 000＝90×100×100，而場(chǎng)景2、3的攻擊組個(gè)數(shù)僅為9 000＝90×100。因此，降低場(chǎng)景1每種分類(lèi)選取的圖片為10張，以平衡3種場(chǎng)景的攻擊組個(gè)數(shù)均為9 000＝90×10×10。

具體來(lái)說(shuō)，從10個(gè)分類(lèi)中選擇原始分類(lèi)和目標(biāo)分類(lèi)，共有90種不重復(fù)的組合。場(chǎng)景1時(shí)，分類(lèi)A中從10張圖片選取1張作為原始圖片，分類(lèi)B中也從10張圖片選取1張作為目標(biāo)圖片，共有100種攻擊組合，因此場(chǎng)景1共有9 000種攻擊組。場(chǎng)景2時(shí)，分類(lèi)A中固定選取1張圖片作為原始圖片，分類(lèi)B中從100張圖片中選取1張作為目標(biāo)圖片，共有100種攻擊組合，因此場(chǎng)景2也共有9 000種攻擊組。場(chǎng)景3與場(chǎng)景2類(lèi)似，分類(lèi)A中從100張圖片選取1張作為原始圖片，分類(lèi)B中固定選取1張圖片作為目標(biāo)圖片，共100種組合，因此場(chǎng)景3也共有9 000種攻擊組。

本文首先討論不同R值在場(chǎng)景1下對(duì)不同攻擊算法的影響，如圖6所示。隨著R值的降低，2種方法的平均查詢(xún)次數(shù)與查詢(xún)次數(shù)中位數(shù)均穩(wěn)定地下降，驗(yàn)證了攻擊組篩選對(duì)于提高查詢(xún)效率的有效性。同時(shí)隨著R值的降低，CMA Attack的查詢(xún)次數(shù)方差穩(wěn)定下降，NES Attack的查詢(xún)次數(shù)方差波動(dòng)下降，這驗(yàn)證了攻擊組篩選對(duì)于穩(wěn)定方差的有效性。實(shí)驗(yàn)結(jié)果顯示，R值越小，攻擊效果越好，因此推薦將R值設(shè)為0.1。本文之后的性能對(duì)比也是基于R值為0.1的基礎(chǔ)上進(jìn)行的。

圖6 R值影響Fig.6 Influence diagram of R’s value

圖6中：cma＿mean、cma＿median和cma＿var分別代表CMA Attack攻擊成功所需查詢(xún)次數(shù)的平均值、中位數(shù)和方差；nes＿mean、nes＿median和nes＿var分別代表NES Attack攻擊成功所需要查詢(xún)次數(shù)的平均值、中位數(shù)和方差；同時(shí)為了共用縱坐標(biāo)軸，方差曲線顯示的值為實(shí)際方差的1／10 000。

攻擊組篩選前后的攻擊效果對(duì)比如表1所示。表1展現(xiàn)了不同對(duì)抗樣本生成方法在不同場(chǎng)景下實(shí)現(xiàn)攻擊所需要的查詢(xún)次數(shù)的平均值、中位數(shù)和方差。表1給出了所有待測(cè)的方法，包括NES Attack［17］、CMA Attack［18］、經(jīng) 過(guò) 攻 擊 組 篩 選的NES Attack（Filtered NES）和經(jīng)過(guò)攻擊組篩選的CMA Attack（Filtered CMA）。

表1中給出了攻擊組篩選在每一個(gè)指標(biāo)上帶來(lái)的平均提升效果?？傮w提升效果表示攻擊組篩選在不同場(chǎng)景下平均值、中位數(shù)和方差的綜合提升，即將所有平均提升效果求平均；平均提升效率表示攻擊組篩選在不同場(chǎng)景下的平均值、中位數(shù)的綜合提升，即將不同場(chǎng)景下的平均值與中位數(shù)提升效果統(tǒng)一求平均；平均穩(wěn)定方差表示攻擊組篩選在不用場(chǎng)景下的平均穩(wěn)定方差效果，即將不同場(chǎng)景下的方差提升效果求平均。

表1 篩選前后查詢(xún)次數(shù)對(duì)比Table 1 Comparison of query times before and after filtering

場(chǎng)景2下篩選效果不是很明顯，這可能是因?yàn)樵紭颖驹诤Y選中占有更重要的地位。一旦固定原始樣本的位置，那么原始樣本附近的決策邊界布局將確定，最終的優(yōu)化難度也將基本確定。越到最后的優(yōu)化過(guò)程越困難，總體的優(yōu)化難度更多取決于最終過(guò)程的優(yōu)化難度。這也印證了一個(gè)普遍的實(shí)驗(yàn)現(xiàn)象，即對(duì)抗攻擊的速度是先快后慢。也就是說(shuō)，如果在分類(lèi)A中選定了原始圖片，與分類(lèi)B中的眾多目標(biāo)圖片形成的攻擊組具有相似的攻擊距離。

無(wú)論是哪種場(chǎng)景下，攻擊組篩選后的攻擊效果都是優(yōu)于篩選前的攻擊效果。篩選后攻擊效率提高了24.99%，方差降低了76.23%，總體攻擊效果提升了42.07%，充分驗(yàn)證了基于決策邊界長(zhǎng)度的攻擊距離度量方法的有效性，驗(yàn)證了攻擊組篩選的有效性。

本文所提出的算法1與算法2是以圖像識(shí)別領(lǐng)域?yàn)槔?，但均不局限于圖像識(shí)別領(lǐng)域。這是因?yàn)椋核惴?的適用前提有2個(gè)：①分類(lèi)器模型的輸入樣本可以測(cè)量樣本間距離；②可以在樣本附近進(jìn)行高斯采樣。如果這2個(gè)前提條件能夠滿(mǎn)足，那么算法1很容易復(fù)現(xiàn)，如語(yǔ)音識(shí)別領(lǐng)域的語(yǔ)音向量、惡意代碼識(shí)別的代碼向量［33］等。算法2基于算法1，沒(méi)有任何額外的限制，因此本文提出的方法是適用于所有領(lǐng)域的分類(lèi)器。同時(shí)，本文所提出的方法適用于所有對(duì)抗樣本生成方法的攻擊組選取。這是由于算法1與算法2的設(shè)計(jì)不局限于任何對(duì)抗樣本生成方法，并在對(duì)比實(shí)驗(yàn)中證實(shí)了所提方法對(duì)多種對(duì)抗樣本生成方法有效。

4 結(jié) 論

1）針對(duì)攻擊組間攻擊難度不同導(dǎo)致攻擊不穩(wěn)定的問(wèn)題，本文以圖像識(shí)別領(lǐng)域?yàn)槔?，設(shè)計(jì)了基于決策邊界長(zhǎng)度的攻擊距離度量方法，為攻擊組的攻擊難度提供了度量方法。

2）設(shè)計(jì)了基于攻擊距離的對(duì)抗樣本攻擊組篩選方法，篩去難以攻擊的攻擊組。通過(guò)預(yù)處理，提升現(xiàn)有算法的攻擊效率和攻擊穩(wěn)定性。

3）實(shí)驗(yàn)表明，篩選后的攻擊組相比于篩選前，攻擊效率提升了24.99%，方差降低了76.23%，總體攻擊效果提升了42.07%。

4）建議所有利用攻擊組的對(duì)抗樣本生成方法，先進(jìn)行攻擊組的篩選，特別是對(duì)原始樣本進(jìn)行篩選，再展開(kāi)攻擊，以穩(wěn)定攻擊的效果。

為了更加清晰篩選對(duì)于攻擊組的意義，筆者將會(huì)繼續(xù)研究原始樣本對(duì)于整個(gè)優(yōu)化過(guò)程的意義。