劉 會(huì), 趙 波, 郭嘉寶, 彭鉞峰

武漢大學(xué) 國(guó)家網(wǎng)絡(luò)安全學(xué)院, 武漢430072

1 引言

深度學(xué)習(xí)被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別等多個(gè)領(lǐng)域并取得了重大突破.尤其在圖像識(shí)別和圖像分類(lèi)的任務(wù)中, 深度學(xué)習(xí)具備非常高的準(zhǔn)確度, 甚至表現(xiàn)出了超越人類(lèi)的工作能力.然而,即使深度神經(jīng)網(wǎng)絡(luò)通過(guò)模擬人類(lèi)大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)取得了顯著的效果, 但是深度神經(jīng)網(wǎng)絡(luò)的理解方式與人類(lèi)認(rèn)知仍然存在較大差異, 深度學(xué)習(xí)的工作原理缺乏可解釋性, 其輸出結(jié)果的可信性難以得到有效的保障.深度學(xué)習(xí)缺乏可解釋性由其自身結(jié)構(gòu)和運(yùn)行機(jī)理決定, 具體表現(xiàn)在以下3 個(gè)方面: (1) 深度神經(jīng)網(wǎng)絡(luò)的神經(jīng)元數(shù)量大、參數(shù)多; (2) 神經(jīng)網(wǎng)絡(luò)采用分層結(jié)構(gòu), 層次之間連接方式多樣; (3) 神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)樣本特征, 而許多特征人類(lèi)無(wú)法理解.在探索深度學(xué)習(xí)的可解釋性、揭示深度學(xué)習(xí)的工作原理的過(guò)程中, Szegedy等人[1]發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)對(duì)加入特定擾動(dòng)的圖像樣本表現(xiàn)出極高的脆弱性, 并將這種帶有對(duì)抗擾動(dòng)的樣本稱之為“對(duì)抗樣本”(見(jiàn)圖1).

圖1 對(duì)抗樣本生成示例Figure 1 Adversarial example

在計(jì)算機(jī)視覺(jué)領(lǐng)域, 對(duì)抗樣本現(xiàn)象是指對(duì)輸入圖像加入人眼視覺(jué)難以感知的輕微擾動(dòng), 導(dǎo)致基于深度學(xué)習(xí)的圖像分類(lèi)器以高置信度的方式輸出錯(cuò)誤的結(jié)果.在數(shù)字水印領(lǐng)域[2], 對(duì)抗擾動(dòng)會(huì)影響嵌入模式的完整性, 使得水印無(wú)法檢測(cè), 數(shù)字媒體的真實(shí)性無(wú)法得到有效驗(yàn)證.Sharif[3]通過(guò)優(yōu)化方法計(jì)算擾動(dòng)并打印到眼鏡框上, 攻擊者只需要佩戴這種定制的眼鏡便可以成功欺騙人臉識(shí)別系統(tǒng), 獲得合法的訪問(wèn)權(quán)限.對(duì)抗樣本的研究對(duì)解釋深度學(xué)習(xí)工作原理具有顯著的意義, 同時(shí)也極大促進(jìn)了基于深度學(xué)習(xí)安全攻防的發(fā)展.

本文從對(duì)抗攻擊的基本原理出發(fā), 重點(diǎn)調(diào)研了其在計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵技術(shù)和代表性成果, 特別探討了對(duì)抗攻擊在具體場(chǎng)景下的應(yīng)用價(jià)值, 進(jìn)一步揭示了對(duì)抗樣本對(duì)深度學(xué)習(xí)的安全威脅.通過(guò)對(duì)對(duì)抗攻擊的發(fā)展歷程進(jìn)行梳理, 探究該技術(shù)面臨的主要挑戰(zhàn), 并指出未來(lái)的發(fā)展前景.本文的主要貢獻(xiàn)如下:

(1) 系統(tǒng)分析了計(jì)算機(jī)視覺(jué)領(lǐng)域中對(duì)抗攻擊的典型算法, 并按擾動(dòng)范圍、模型知識(shí)、攻擊目標(biāo)的針對(duì)性、攻擊頻次對(duì)對(duì)抗攻擊進(jìn)行分類(lèi), 提供這類(lèi)算法的整體概述;

(2) 調(diào)研了對(duì)抗攻擊在具體場(chǎng)景下的實(shí)際應(yīng)用, 包括自然語(yǔ)言處理、語(yǔ)音識(shí)別、惡意軟件檢測(cè)、對(duì)抗樣本可解釋性等, 進(jìn)一步明確了對(duì)抗攻擊的研究對(duì)于深度學(xué)習(xí)的價(jià)值;

(3) 按對(duì)抗攻擊的發(fā)展歷程對(duì)其進(jìn)行詳細(xì)梳理, 探討了對(duì)抗攻擊面臨的主要挑戰(zhàn)和未來(lái)可能的發(fā)展方向.

本文整體架構(gòu)如下.第2 節(jié)主要介紹了對(duì)抗攻擊的基本知識(shí)和概念, 以及計(jì)算機(jī)視覺(jué)領(lǐng)域中常用數(shù)據(jù)集.第3 節(jié)按照擾動(dòng)范圍、模型知識(shí)背景、攻擊針對(duì)性和攻擊頻次提出相應(yīng)的對(duì)抗攻擊分類(lèi)方法.第4 節(jié)重點(diǎn)分析了對(duì)抗攻擊在計(jì)算機(jī)視覺(jué)領(lǐng)域中的8 類(lèi)關(guān)鍵技術(shù).第5 節(jié)介紹了對(duì)抗攻擊在諸如自然語(yǔ)言處理、語(yǔ)音識(shí)別、惡意軟件檢測(cè)和可解釋性對(duì)抗樣本等領(lǐng)域的應(yīng)用.第6 節(jié)探討了對(duì)抗樣本攻擊面臨的主要挑戰(zhàn)和未來(lái)的發(fā)展前景.第7 節(jié)總結(jié)全文.

2 背景知識(shí)

2.1 深度學(xué)習(xí)

深度學(xué)習(xí)是由大量帶有激活函數(shù)的神經(jīng)元組成的深層次的神經(jīng)網(wǎng)絡(luò).神經(jīng)元接受上層輸入信號(hào)后進(jìn)行加權(quán)連接, 通過(guò)激活函數(shù)處理產(chǎn)生神經(jīng)元的輸出并進(jìn)行信號(hào)的下層傳遞, 從而構(gòu)建了深層次的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).深度神經(jīng)網(wǎng)絡(luò)能夠在不依賴于專(zhuān)家知識(shí)的情況下自動(dòng)學(xué)習(xí)原始數(shù)據(jù)的顯隱性特征, 其形式化表達(dá)如公式(1)所示.

這里f(i)(x,θi) 是第i 層網(wǎng)絡(luò)的函數(shù), i = 1,2,··· ,k , 其中k 是深度神經(jīng)網(wǎng)絡(luò)的層數(shù).在計(jì)算機(jī)視覺(jué)領(lǐng)域, 卷積神經(jīng)網(wǎng)絡(luò)(CNN) 是最常用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之一.CNN 由輸入層、卷積層、池化層和全連接層組成, 其中卷積層通過(guò)權(quán)重共享進(jìn)行卷積運(yùn)算, 池化層通過(guò)對(duì)主要特征采樣調(diào)整信號(hào)規(guī)模.手寫(xiě)字體識(shí)別模型LeNet-5[4]誕生于1998 年, 是最早的CNN 之一.近年來(lái), 隨著ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC) 的興起, 涌現(xiàn)了大量?jī)?yōu)秀的CNN 模型, 代表性的研究成果包括:

(1) AlexNet[5]: 由2012 年ILSVRC 冠軍獲得者Krizhevsky 等人提出, 總共有8 個(gè)帶權(quán)重的網(wǎng)絡(luò)層, 其中前5 層為卷積層, 后3 層為全連接層;

(2) VGG[6]: 由2014 年ILSVRC 第二名獲得者Simonyan 等人提出, 以VGG-16 和VGG-19 為代表, 具有網(wǎng)絡(luò)層次深、泛化能力強(qiáng)等特點(diǎn);

(3) GoogLeNet[7]: 由2014 年ILSVRC 冠軍獲得者Szegedy 等人提出, 通過(guò)引入Inception 模塊來(lái)提高網(wǎng)絡(luò)內(nèi)部計(jì)算資源的利用率;

(4) ResNet[8]: 由2015 年ILSVRC 冠軍獲得者He 等人提出, 通過(guò)改變深度神經(jīng)網(wǎng)絡(luò)的連接方式簡(jiǎn)化網(wǎng)絡(luò)訓(xùn)練, 單個(gè)模型在ImageNet 數(shù)據(jù)集的準(zhǔn)確率高達(dá)95.51%;

(5) SeNet[9]: 由2017 年(最后一屆)ILSVRC 冠軍獲得者Hu 等人提出, 該模型關(guān)注通道之間的關(guān)系, 并提出SE 模塊對(duì)學(xué)習(xí)到的特征進(jìn)行自適應(yīng)重構(gòu).

2.2 對(duì)抗攻擊

對(duì)抗樣本是指通過(guò)對(duì)原始樣本人為加入人眼視覺(jué)難以感知的細(xì)微擾動(dòng)所形成的輸入樣本, 該樣本能使深度學(xué)習(xí)模型以高置信度的方式給出錯(cuò)誤的輸出.通過(guò)生成對(duì)抗樣本以達(dá)成逃避基于深度學(xué)習(xí)的檢測(cè)服務(wù)的攻擊方式被稱為對(duì)抗攻擊.對(duì)抗攻擊的流程如圖2 所示.

圖2 對(duì)抗攻擊流程圖Figure 2 Flow chart of adversarial attacks

在圖像分類(lèi)任務(wù)中, 用戶輸入一張圖像至已訓(xùn)練好的深度學(xué)習(xí)分類(lèi)器中, 分類(lèi)器會(huì)給出相應(yīng)類(lèi)別的預(yù)測(cè)結(jié)果.當(dāng)遭受對(duì)抗攻擊后, 原始樣本被加入人眼難以察覺(jué)的擾動(dòng), 形成的對(duì)抗樣本能夠誤導(dǎo)分類(lèi)器給出其他類(lèi)別的預(yù)測(cè)結(jié)果.對(duì)抗攻擊的形式化表達(dá)如公式(2)所示.

這里, 深度學(xué)習(xí)分類(lèi)器f 分類(lèi)原始樣本x 至類(lèi)別l, 分類(lèi)加入擾動(dòng)δ 所形成的對(duì)抗樣本x′至類(lèi)別l′, D 是樣本的取值范圍.對(duì)抗攻擊是指在成功誤導(dǎo)深度學(xué)習(xí)分類(lèi)器的前提下求解擾動(dòng)量的最小值, 本質(zhì)是一個(gè)約束最優(yōu)化問(wèn)題.

2.3 樣本距離度量

對(duì)抗攻擊是指通過(guò)加入人眼難以察覺(jué)的擾動(dòng), 生成能夠成功欺騙深度學(xué)習(xí)分類(lèi)器以達(dá)到逃逸攻擊的目的. 為了使對(duì)抗樣本更具欺騙性, 對(duì)抗攻擊中目標(biāo)函數(shù)的定義顯得尤為重要. 目標(biāo)函數(shù)的定義涉及到對(duì)原始樣本與對(duì)抗樣本的距離度量, 以量化樣本之間的相似性. 在許多經(jīng)典的對(duì)抗攻擊算法中, Lp被廣泛用于度量樣本間的p 范式距離, 其定義如公式(3)所示.

這里L(fēng)0, L2和L∞是3 個(gè)最常用的樣本距離度量指標(biāo). L0是指對(duì)抗擾動(dòng)的數(shù)量, L2是指原始樣本與對(duì)抗樣本的歐幾里得距離, L∞表示對(duì)抗擾動(dòng)的最大改變強(qiáng)度.

2.4 數(shù)據(jù)集

對(duì)抗攻擊通常需要對(duì)相同數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn), 以評(píng)估和對(duì)比攻擊方法的性能. 在圖像分類(lèi)領(lǐng)域,ImageNet、MNIST 和CIFAR-10 是3 個(gè)應(yīng)用非常廣泛的開(kāi)源數(shù)據(jù)集. ImageNet 是根據(jù)WordNet 層次結(jié)構(gòu)組織的圖像數(shù)據(jù)集. 該數(shù)據(jù)集數(shù)量龐大、類(lèi)別豐富,是迄今為止最優(yōu)秀的圖像數(shù)據(jù)集,著名的ILSVRC挑戰(zhàn)賽基于此數(shù)據(jù)集展開(kāi)對(duì)抗攻擊和防御. MNIST 數(shù)據(jù)集來(lái)自美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所, 是一個(gè)手寫(xiě)體數(shù)字(0–9) 數(shù)據(jù)庫(kù). 該數(shù)據(jù)集包含60 000 個(gè)訓(xùn)練樣本和10 000 個(gè)測(cè)試樣本, 數(shù)字已標(biāo)準(zhǔn)化于大小為28×28 的圖像中. CIFAR-10 是由Geoffrey Hinton 的學(xué)生Alex Krizhevsky 和Vinod Nair 等人整理搭建的小型數(shù)據(jù)集, 用于普通物體識(shí)別. 該數(shù)據(jù)集包含60 000 張大小為32×32×3 的圖像, 其中訓(xùn)練樣本50 000 張、測(cè)試樣本10 000 張. CIFAR-10 數(shù)據(jù)集總共分為10 個(gè)類(lèi)別, 分別是飛機(jī)、汽車(chē)、鳥(niǎo)、貓、鹿、狗、蛙、馬、船和卡車(chē). MNIST 和CIFAR-10 內(nèi)容簡(jiǎn)潔、尺寸小, 易于對(duì)抗攻擊的實(shí)施, 因此經(jīng)常被作為評(píng)價(jià)對(duì)抗攻擊性能的圖像數(shù)據(jù)集.

3 對(duì)抗攻擊分類(lèi)

攻擊者通常會(huì)根據(jù)不同的場(chǎng)景設(shè)計(jì)相應(yīng)的對(duì)抗攻擊方案. 歸納對(duì)抗攻擊方法的特性, 我們從擾動(dòng)范圍、攻擊者掌握目標(biāo)模型知識(shí)的情況、攻擊目標(biāo)的針對(duì)性、攻擊實(shí)施的頻次等4 個(gè)方面對(duì)對(duì)抗攻擊進(jìn)行分類(lèi).

(1) 擾動(dòng)范圍

a. 全局像素?cái)_動(dòng)攻擊

全局像素?cái)_動(dòng)攻擊是指攻擊者生成對(duì)抗樣本過(guò)程中通過(guò)對(duì)圖像所有像素增加合適的擾動(dòng), 以達(dá)到欺騙深度學(xué)習(xí)模型的目的. 利用梯度下降生成對(duì)抗樣本的方法是一種典型的全局像素?cái)_動(dòng)攻擊, 具有更強(qiáng)的可遷移性.

b. 部分像素?cái)_動(dòng)攻擊

部分像素?cái)_動(dòng)攻擊是指攻擊者通過(guò)權(quán)衡各個(gè)像素的擾動(dòng)優(yōu)先級(jí)、并選擇最佳的擾動(dòng)組合生成對(duì)抗樣本, 以達(dá)到欺騙深度學(xué)習(xí)模型的目的. 該方法有時(shí)僅須改變一個(gè)像素值, 但生成的對(duì)抗樣本通常不具備可遷移性.

(2) 模型知識(shí)

a. 白盒攻擊

白盒攻擊是指攻擊者在已知目標(biāo)模型所有知識(shí)的情況下生成對(duì)抗樣本的一種攻擊手段, 這些知識(shí)包括網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)重和超參、激活函數(shù)類(lèi)型、訓(xùn)練數(shù)據(jù)等. 這種攻擊方案實(shí)施起來(lái)較為容易, 但多數(shù)場(chǎng)景下攻擊者難以獲得深度學(xué)習(xí)模型的內(nèi)部知識(shí), 因此應(yīng)用場(chǎng)景非常有限.

b. 黑盒攻擊

黑盒攻擊是指攻擊者在不知道目標(biāo)模型任何內(nèi)部信息的情況下實(shí)施的攻擊方案. 這類(lèi)攻擊者通常扮演普通用戶獲得基于深度學(xué)習(xí)的應(yīng)用服務(wù)的分類(lèi)結(jié)果, 通過(guò)應(yīng)用服務(wù)提供的輸出對(duì)該模型實(shí)施對(duì)抗攻擊.由于不需要掌握目標(biāo)模型, 黑盒攻擊更容易在低控制權(quán)場(chǎng)景下部署和實(shí)施.

(3) 針對(duì)性

a. 定向攻擊

定向攻擊旨在將深度學(xué)習(xí)分類(lèi)器誤導(dǎo)至攻擊者指定的類(lèi)別. 例如在人臉識(shí)別系統(tǒng)中, 攻擊者需要將未授權(quán)的人臉偽裝成已授權(quán)的人臉, 以實(shí)現(xiàn)非法授權(quán). 定向攻擊一方面需要降低深度學(xué)習(xí)對(duì)輸入樣本真實(shí)類(lèi)別的置信度, 同時(shí)應(yīng)盡可能提升攻擊者指定類(lèi)別的置信度, 因此攻擊難度較大.

b. 非定向攻擊

非定向攻擊旨在將深度學(xué)習(xí)分類(lèi)器誤導(dǎo)至錯(cuò)誤的類(lèi)別即可, 而不指定具體的類(lèi)別. 例如在監(jiān)控系統(tǒng)中,攻擊者希望通過(guò)生成對(duì)抗樣本實(shí)現(xiàn)逃逸攻擊, 達(dá)到規(guī)避檢測(cè)的目的. 非定向攻擊僅需要盡可能降低深度學(xué)習(xí)對(duì)輸入樣本真實(shí)類(lèi)別的置信度, 因此攻擊難度相對(duì)較小.

(4) 攻擊頻次

a. 單次攻擊

單次攻擊是指攻擊者只需要一次計(jì)算就能夠生成成功欺騙深度學(xué)習(xí)模型的對(duì)抗樣本, 即通過(guò)一次計(jì)算找到約束條件下的最優(yōu)解. 一般情況下, 單次攻擊的效率高, 但生成的對(duì)抗樣本魯棒性較差.

b. 迭代攻擊

迭代攻擊通常需要多次計(jì)算逼近約束條件下的最優(yōu)解. 該攻擊方案較單次攻擊需要更長(zhǎng)的運(yùn)行時(shí)間,但通常能得到誤分類(lèi)率更高、魯棒性更強(qiáng)的對(duì)抗樣本.

4 關(guān)鍵技術(shù)研究進(jìn)展

對(duì)抗樣本的發(fā)現(xiàn)源自于對(duì)深度學(xué)習(xí)可解釋性的探索. Szegedy 等人[1]發(fā)現(xiàn)加入特定擾動(dòng)的圖像樣本能夠輕易欺騙深度神經(jīng)網(wǎng)絡(luò), 并提出“對(duì)抗樣本” 這一概念. 這個(gè)有趣的發(fā)現(xiàn)促進(jìn)了研究人員對(duì)對(duì)抗樣本引發(fā)的安全問(wèn)題的思考. 攻擊者通過(guò)對(duì)輸入樣本加入少量擾動(dòng)便能有效實(shí)施逃逸攻擊, 輕易規(guī)避基于深度學(xué)習(xí)服務(wù)的安全檢測(cè). 這一節(jié)我們按各個(gè)技術(shù)提出的時(shí)間順序介紹了近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域中對(duì)抗攻擊研究的代表性成果, 并按照第3 節(jié)所介紹的對(duì)抗攻擊分類(lèi)方法對(duì)這些攻擊算法進(jìn)行分類(lèi), 分類(lèi)結(jié)果見(jiàn)表1.

表1 對(duì)抗攻擊分類(lèi)Table 1 Taxonomy of adversarial attacks

(1) L-BFGS 攻擊

在探索深度學(xué)習(xí)可解釋性的研究中, Szegedy[1]等人證明了深度學(xué)習(xí)對(duì)加入特定擾動(dòng)的輸入樣本表現(xiàn)出極強(qiáng)的脆弱性, 并由此發(fā)現(xiàn)了對(duì)抗樣本的存在, 提出了第一個(gè)針對(duì)深度學(xué)習(xí)的對(duì)抗攻擊方案L-BFGS.L-BFGS 攻擊的定義如公式(4)所示.

這里c 是大于0 的常量, x′是對(duì)輸入樣本x 增加擾動(dòng)δ 所形成的對(duì)抗樣本, Jθ為損失函數(shù). L-BFGS 攻擊所生成的對(duì)抗樣本的質(zhì)量嚴(yán)重依賴于參數(shù)c 的選取, 因此該方法通常需要花費(fèi)大量的時(shí)間尋找合適的參數(shù)c 以求解約束最優(yōu)化問(wèn)題. 利用L-BFGS 攻擊生成的對(duì)抗樣本具有良好的遷移性, 大多數(shù)情況下在不同類(lèi)型的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、不同數(shù)據(jù)集訓(xùn)練的模型中同樣適用. 該方法的提出引起了學(xué)術(shù)界和工業(yè)界對(duì)深度學(xué)習(xí)可信性的思考, 開(kāi)啟了針對(duì)深度學(xué)習(xí)的對(duì)抗攻擊和防御等安全問(wèn)題的研究.

(2) FGSM 攻擊

Goodfellow 等人[10]認(rèn)為對(duì)抗樣本的存在源自于深度神經(jīng)網(wǎng)絡(luò)的高維度線性特性, 高維度的線性模型必然存在對(duì)抗樣本. 基于這一觀點(diǎn), Goodfellow 等人設(shè)計(jì)了FGSM (fast gradient sign method) 對(duì)抗攻擊, 該方法的形式化表達(dá)如公式(5)所示.

這里ε 是常量, sign 表示符號(hào)函數(shù), 對(duì)抗擾動(dòng)為δ. FGSM 攻擊采用后向傳播求解神經(jīng)網(wǎng)絡(luò)損失函數(shù)的梯度. 該方法僅需一次梯度更新得到對(duì)抗擾動(dòng), 屬于單次攻擊的類(lèi)別, 因此對(duì)抗攻擊實(shí)施的效率非常高,但對(duì)抗樣本的不可見(jiàn)性難以保證. 在此基礎(chǔ)上, 許多改進(jìn)的方案相繼提出. 考慮到一次梯度更新生成的對(duì)抗樣本擾動(dòng)強(qiáng)度較大, Kurakin 等人[11]提出了基礎(chǔ)迭代法I-FGSM, 通過(guò)多個(gè)小步梯度更新優(yōu)化擾動(dòng)強(qiáng)度. Rozsa 等人[12]提出FGVM(fast gradient value method) 攻擊, 直接利用損失函數(shù)的梯度值δ =?xJθ(x,l) 作為擾動(dòng)強(qiáng)度生成對(duì)抗樣本, 為每張圖像提供多個(gè)可能的對(duì)抗性擾動(dòng).

(3) JSMA 攻擊

JSMA (Jacobian-based saliency map attack) 攻擊[13]由Papernot 等人于2016 年提出. 不同于FGSM, JSMA 攻擊是一種利用前向傳播計(jì)算輸入擾動(dòng)對(duì)神經(jīng)網(wǎng)絡(luò)輸出結(jié)果的影響. JSMA 攻擊包括計(jì)算深度神經(jīng)網(wǎng)絡(luò)的雅可比矩陣、構(gòu)建對(duì)抗顯著映射和選擇擾動(dòng)像素三個(gè)步驟. 深度神經(jīng)網(wǎng)絡(luò)f 對(duì)輸入樣本x 的雅可比矩陣計(jì)算方法如公式(6)所示.

為量化像素值的改變對(duì)目標(biāo)分類(lèi)器的影響, JSMA 攻擊提出了利用雅可比矩陣構(gòu)建對(duì)抗顯著映射, 其表達(dá)式如公式(7)所示.

這里i 是輸入特征. 輸入特征值越大, 說(shuō)明基于深度學(xué)習(xí)的目標(biāo)分類(lèi)器對(duì)該特征的擾動(dòng)越敏感. 因此, 在擾動(dòng)像素的選擇階段, JSMA 攻擊選擇對(duì)抗顯著值最大的像素加入擾動(dòng), 以此生成對(duì)抗樣本欺騙深度學(xué)習(xí)分類(lèi)器. 實(shí)驗(yàn)證明, 當(dāng)改變?cè)紭颖局?.02% 的特征時(shí), JSMA 攻擊可以獲得97% 的攻擊成功率. 由于雅可比矩陣計(jì)算依賴于神經(jīng)網(wǎng)絡(luò)的輸入樣本, 不同的輸入樣本計(jì)算得到的雅可比矩陣差異較大, 因此JSMA 攻擊通常不具備可遷移性.

(4) DeepFool 攻擊

考慮到深度神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)抗樣本表現(xiàn)出極強(qiáng)的不穩(wěn)定性, Moosavi-Dezfooli 等人[14]提出了一種計(jì)算對(duì)抗擾動(dòng)的方法DeepFool, 通過(guò)計(jì)算原始樣本與對(duì)抗樣本的決策邊界的最小距離來(lái)量化深度學(xué)習(xí)分類(lèi)器面向?qū)构舻聂敯粜? 給定一個(gè)反射分類(lèi)器f(x)=ωTx+b,其對(duì)應(yīng)的仿射平面Γ={x:ωTx+b=0},那么, 改變分類(lèi)器對(duì)原始樣本x0分類(lèi)結(jié)果的最小擾動(dòng)δ 等于x0到仿射平面Γ 的正交投影, 最小擾動(dòng)δ的計(jì)算方式如公式所示.

通過(guò)整體迭代, DeepFool 攻擊能夠得到對(duì)抗擾動(dòng)的近似最小值δ, 其表達(dá)如公式(9)所示.

這里δi是指第i 輪迭代中加入的對(duì)抗擾動(dòng), 可由公式(8)計(jì)算得到. DeepFool 攻擊通過(guò)每一輪的像素修改將原始樣本推向決策邊界, 直至跨越?jīng)Q策邊界形成對(duì)抗樣本. 相比于FGSM 攻擊、JSMA 攻擊, DeepFool攻擊生成的對(duì)抗樣本平均擾動(dòng)最小. 然而, DeepFool 攻擊是以最小距離使原始樣本跨越?jīng)Q策邊界形成對(duì)抗樣本, 因此無(wú)法將深度學(xué)習(xí)分類(lèi)器誤導(dǎo)至指定的類(lèi)別, 即不具備定向攻擊的能力.

(5) Universal Perturbation 攻擊

不同于針對(duì)單個(gè)圖像的對(duì)抗攻擊, Universal Perturbation 攻擊[15]提出了一種通用的對(duì)抗擾動(dòng)計(jì)算方法. 該方法生成的擾動(dòng)具有很強(qiáng)的泛化能力, 能夠跨數(shù)據(jù)集、跨模型實(shí)施對(duì)抗攻擊. Universal Perturbation 攻擊借鑒了DeepFool 攻擊的思想, 利用對(duì)抗擾動(dòng)將大多數(shù)原始樣本推出決策邊界, 其定義如公式(10)所示.

這里通用的對(duì)抗擾動(dòng)δ 必須滿以下約束:

這里參數(shù)ε 控制對(duì)抗擾動(dòng)δ 的擾動(dòng)強(qiáng)度, α 控制對(duì)圖像庫(kù)X 實(shí)施對(duì)抗攻擊的失敗率. 在計(jì)算Universal Perturbation 的整體迭代過(guò)程中, Moosavi-Dezfooli 等人采用DeepFool 算法計(jì)算每一個(gè)輸入樣本的最小擾動(dòng)并更新對(duì)抗擾動(dòng)δ, 直至大多數(shù)(P ≥1 ?α) 的對(duì)抗樣本能夠成功欺騙深度學(xué)習(xí)分類(lèi)器. Universal Perturbation 攻擊的存在揭示了深度神經(jīng)網(wǎng)絡(luò)決策邊界之間的幾何關(guān)聯(lián). 攻擊者不需要直接攻擊目標(biāo)模型, 而是在本地生成泛化能力強(qiáng)的對(duì)抗擾動(dòng), 以此遷移至目標(biāo)模型實(shí)施對(duì)抗攻擊, 實(shí)現(xiàn)在低控制權(quán)場(chǎng)景下對(duì)抗攻擊的部署和開(kāi)展.

(6) One-Pixel 攻擊

One-Pixel 攻擊[16]通過(guò)僅改變?cè)紙D像中一個(gè)像素點(diǎn)實(shí)現(xiàn)針對(duì)深度神經(jīng)網(wǎng)絡(luò)的對(duì)抗攻擊, 是一種基于前向傳播的攻擊方案. 該方法對(duì)擾動(dòng)像素的位置信息和擾動(dòng)強(qiáng)度進(jìn)行編碼, 基于差分進(jìn)化算法利用深度神經(jīng)網(wǎng)絡(luò)的反饋結(jié)果引導(dǎo)對(duì)抗擾動(dòng)的進(jìn)化方向, 直至對(duì)抗擾動(dòng)收斂至穩(wěn)定的狀態(tài). One-Pixel 攻擊的定義如公式(12)所示.

這里fl′(x′) 表示深度學(xué)習(xí)分類(lèi)器f 識(shí)別對(duì)抗樣本x′為類(lèi)別l′的概率, d=1 表示僅改變一個(gè)像素值. 該問(wèn)題本質(zhì)上是一個(gè)單約束的優(yōu)化問(wèn)題. 考慮到暴力求解該優(yōu)化問(wèn)題的時(shí)間代價(jià)高, Su 等人[16]引入差分進(jìn)化算法求解最優(yōu)的對(duì)抗擾動(dòng). 這里采用的差分進(jìn)化算法不包括交叉算子, 其變異算子如公式(13)所示.

這里xi(g +1) 表示第g +1 代的候選解, 該候選解是由對(duì)抗擾動(dòng)的坐標(biāo)x ?y 和改變強(qiáng)度RGB 組成.F = 0.5 表示縮放因子, r1, r2, r3 是隨機(jī)數(shù). 由于差分進(jìn)化算法不需要知道深度神經(jīng)網(wǎng)路的梯度信息, 僅依賴輸出類(lèi)別的概率分布引導(dǎo)進(jìn)化方向, 因此One-Pixel 攻擊屬于黑盒攻擊. 此外, 該攻擊方案不要求深度神經(jīng)網(wǎng)絡(luò)可微分, 適用于多種深度學(xué)習(xí)分類(lèi)器. 基于進(jìn)化算法的優(yōu)化問(wèn)題計(jì)算依賴于種群規(guī)模和迭代次數(shù), 為盡可能獲得全局最優(yōu)解, 種群規(guī)模和迭代次數(shù)的設(shè)定相對(duì)較大. One-Pixel 攻擊通常需要在較大的種群規(guī)模中通過(guò)多輪迭代尋求對(duì)抗擾動(dòng)的最優(yōu)解, 因此攻擊效率較低.

(7) C&W 攻擊

防御性蒸餾[17]是利用知識(shí)蒸餾將復(fù)雜模型所學(xué)的“知識(shí)” 遷移到結(jié)構(gòu)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)中, 通過(guò)避免攻擊者直接接觸原始神經(jīng)網(wǎng)絡(luò)達(dá)到防御對(duì)抗攻擊的目的. 針對(duì)防御性蒸餾, Carlini 和Wagner 聯(lián)合提出了在L0, L2和L∞范式下的一組有效的攻擊方法C&W 攻擊[18]. 通過(guò)對(duì)比這3 種范式下的實(shí)驗(yàn)結(jié)果,他們認(rèn)為, L2范式下的C&W 攻擊具備最強(qiáng)的攻擊能力. L2范式的C&W 攻擊如公式(14)所示.

這里, f 的定義如下:

這里Z(x) 是神經(jīng)網(wǎng)絡(luò)softmax 層的輸出, 超參k 約束該攻擊找到具有高置信度且錯(cuò)誤類(lèi)別為t 的對(duì)抗樣本x′. C&W 攻擊表現(xiàn)出了較L-BFGS、FGSM、JSMA 和DeepFool 更好的攻擊效果, 同時(shí)具備破壞防御性蒸餾的能力. 然而, C&W 攻擊需要花費(fèi)大量的時(shí)間尋找合適的參數(shù)以約束擾動(dòng)的可見(jiàn)性, 屬于迭代攻擊的類(lèi)別, 因此攻擊效率相對(duì)較低.

(8) Luo&Liu 攻擊

對(duì)抗攻擊的加入應(yīng)盡可能不被人眼視覺(jué)察覺(jué), 因此樣本距離度量需要充分考慮人眼視覺(jué)系統(tǒng). Luo 等人[19]通過(guò)調(diào)研人眼視覺(jué)系統(tǒng)發(fā)現(xiàn), 人眼對(duì)平坦區(qū)域的擾動(dòng)較紋理區(qū)域更敏感, 在加入對(duì)抗擾動(dòng)時(shí)應(yīng)考慮擾動(dòng)像素周?chē)募y理特征. 而圖像的紋理特征可以通過(guò)方差量化, 量化方法如公式(16)所示.

這里SD(pi) 表示以擾動(dòng)像素pi為中心的n×n 窗口區(qū)域內(nèi)的方差. 考慮到擾動(dòng)強(qiáng)度對(duì)人眼視覺(jué)的影響,Luo 等人[19]建立了與擾動(dòng)強(qiáng)度和紋理特征有關(guān)的樣本距離度量方法, 如公式(17)所示.

這里m 表示加入擾動(dòng)的數(shù)量, χ 是擾動(dòng)強(qiáng)度, D(x,x′) 表示原始樣本與對(duì)抗樣本的視覺(jué)距離. 為了增強(qiáng)對(duì)抗樣本的魯棒性, Luo&Liu 攻擊構(gòu)建了可微分的目標(biāo)函數(shù)如公式(18)所示.

這里i 表示除目標(biāo)類(lèi)別之外的其他類(lèi)別, Pi是指深度學(xué)習(xí)分類(lèi)器將樣本識(shí)別為類(lèi)別i 的概率. 通過(guò)重構(gòu)約束函數(shù)和目標(biāo)函數(shù), Luo 等人提出了一種新的對(duì)抗攻擊方案, 如公式(19)所示.

這里Dmax表示樣本間的最大距離, 由攻擊者手動(dòng)輸入. Luo&Liu 攻擊通過(guò)評(píng)估每個(gè)像素值的擾動(dòng)優(yōu)先級(jí), 利用貪婪算法得到近似最優(yōu)的像素?cái)_動(dòng)組合, 形成對(duì)抗擾動(dòng). 相比于Lp范式距離度量, 該方案的約束函數(shù)考慮了擾動(dòng)強(qiáng)度、數(shù)量和紋理特征, 生成的對(duì)抗樣本具有更強(qiáng)的隱蔽性. 然而, 由于像素優(yōu)先級(jí)的評(píng)估需要遍歷原始樣本的所有像素及其對(duì)應(yīng)的擾動(dòng)強(qiáng)度, 大量的時(shí)間開(kāi)銷(xiāo)使得該攻擊方案效率低下.

5 對(duì)抗攻擊應(yīng)用

對(duì)抗攻擊的提出源自于深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用和探索. 事實(shí)上, 對(duì)抗攻擊充分利用了深度神經(jīng)網(wǎng)絡(luò)與人類(lèi)在理解輸入樣本時(shí)先天存在的差異, 通過(guò)加入擾動(dòng)擴(kuò)大這種差異, 從而導(dǎo)致深度學(xué)習(xí)模型給出不同于人類(lèi)感知的判斷. 因此, 對(duì)抗攻擊不僅僅局限于計(jì)算機(jī)視覺(jué)領(lǐng)域, 文本、音頻、代碼等其他數(shù)據(jù)類(lèi)型也同樣面臨對(duì)抗攻擊的安全威脅. 第5 節(jié)介紹了對(duì)抗攻擊在諸如自然語(yǔ)言處理[20]、語(yǔ)音識(shí)別[21,22]、惡意軟件檢測(cè)[23,24]等領(lǐng)域的應(yīng)用, 特別介紹了對(duì)抗攻擊技術(shù)對(duì)深度神經(jīng)網(wǎng)絡(luò)工作原理的探索, 強(qiáng)調(diào)該技術(shù)在揭示深度學(xué)習(xí)可解釋性的應(yīng)用價(jià)值[1,25].

5.1 自然語(yǔ)言處理

對(duì)抗攻擊對(duì)深度學(xué)習(xí)的威脅在自然語(yǔ)言處理領(lǐng)域廣泛存在. 不同于圖像相鄰像素相關(guān)性高, 文本的離散性使其難以優(yōu)化, 而且文本對(duì)某些單詞非常敏感, 一個(gè)單詞的簡(jiǎn)單替換也可能導(dǎo)致整體語(yǔ)義發(fā)生變化.Li 等人[20]充分利用文本的離散性研制了一套高效生成對(duì)抗文本的工具TextBugger, 其攻擊流程主要包括選擇單詞擾動(dòng)位置、添加擾動(dòng)兩個(gè)階段.

在選擇單詞擾動(dòng)位置時(shí), TextBugger 針對(duì)白盒攻擊和黑盒攻擊的場(chǎng)景分別提出了單詞擾動(dòng)優(yōu)先級(jí)的評(píng)估方法. 在白盒攻擊的場(chǎng)景下, TextBugger 利用雅克比矩陣評(píng)估文本擾動(dòng)對(duì)目標(biāo)分類(lèi)器的影響. 在黑盒攻擊的場(chǎng)景下, TextBugger 通過(guò)計(jì)算移除文本種某一該單詞后檢測(cè)器對(duì)文本預(yù)測(cè)結(jié)果置信度的變化, 以此尋找對(duì)分類(lèi)結(jié)果影響最大的單詞.

在添加擾動(dòng)過(guò)程中, TextBugger 定義了5 種常用的文本擾動(dòng)方法: (1) 插入: 在單詞中隨機(jī)插入一個(gè)空格; (2) 刪除: 隨機(jī)刪除單詞中的一個(gè)字母; (3) 交換: 隨機(jī)交換鄰近的兩個(gè)字母; (4) Sub-C: 將單詞中的一個(gè)字母替換為外觀相似的字符(比如o 替換成0, l 替換成數(shù)字1); (5) Sub-W: 在詞空間中尋找鄰近的單詞替代(比如foolish 替換成silly). TextBugger 嘗試對(duì)擾動(dòng)優(yōu)先級(jí)高的單詞選擇不同的擾動(dòng)策略, 直到成功欺騙基于深度學(xué)習(xí)的文本分類(lèi)器.

TextBugger 攻擊針對(duì)特定白盒模型, 如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM) 等表現(xiàn)出良好效果. 在針對(duì)如Google Perspective、IBM Classifier、Facebook fastText 等5 類(lèi)基于深度學(xué)習(xí)的文本分類(lèi)的應(yīng)用中, TextBugger 同樣具有非常高的誤分類(lèi)率, 進(jìn)而證明了對(duì)抗攻擊在自然語(yǔ)言處理領(lǐng)域具有顯著的現(xiàn)實(shí)威脅.

5.2 語(yǔ)音識(shí)別

相比于視覺(jué), 人類(lèi)對(duì)語(yǔ)音領(lǐng)域的擾動(dòng)更為敏感, 而且這些擾動(dòng)在無(wú)線傳輸信道中容易受到干擾[21,22].因此, 對(duì)抗攻擊在語(yǔ)音識(shí)別領(lǐng)域的不可察覺(jué)性和魯棒性面臨嚴(yán)峻挑戰(zhàn). Yao 等人[21]利用聽(tīng)覺(jué)掩碼的心理聲學(xué)模型生成音頻對(duì)抗樣本, 從魯棒性和不可察覺(jué)性兩方面定義的對(duì)抗攻擊的目標(biāo)函數(shù)如公式(20)所示.

5.3 惡意軟件

惡意軟件檢測(cè)系統(tǒng)本質(zhì)上執(zhí)行二分類(lèi)任務(wù), 即區(qū)別惡意軟件和非惡意軟件. 基于深度學(xué)習(xí)的惡意軟件檢測(cè)系統(tǒng)[23,24]通常需要完成惡意代碼特征提取和特征學(xué)習(xí)兩個(gè)過(guò)程. 對(duì)抗攻擊通過(guò)對(duì)代碼特征人為加入少量擾動(dòng)以誤導(dǎo)惡意軟件檢測(cè)系統(tǒng), 使其按攻擊者的意圖給出分類(lèi)結(jié)果. 因此, 生成惡意軟件的對(duì)抗樣本主要有以下兩步: 評(píng)估擾動(dòng)對(duì)分類(lèi)器的影響和選擇擾動(dòng)生成對(duì)抗樣本. 基于此, Grosse 等人[23]借鑒了JSMA 攻擊的算法, 利用雅可比矩陣計(jì)算代碼特征的擾動(dòng)優(yōu)先級(jí), 然后加入當(dāng)前擾動(dòng)優(yōu)先級(jí)最大的特征直至成功規(guī)避檢測(cè)系統(tǒng). 為保證對(duì)抗性樣本的可用性, 該方案對(duì)擾動(dòng)做了如下限制: (1) 對(duì)抗擾動(dòng)僅影響應(yīng)用程序中單行代碼的特性; (2) 僅擾動(dòng)與AndroidManifest.xml 清單文件相關(guān)的特性. 這種攻擊方法通過(guò)兩個(gè)限制條件確保了惡意軟件的對(duì)抗樣本保留其原始功能, 同時(shí)能有效規(guī)避檢測(cè)系統(tǒng). 由于雅可比矩陣的計(jì)算需要知道目標(biāo)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 因此這種攻擊方法屬于白盒攻擊.

5.4 可解釋性對(duì)抗樣本

對(duì)抗樣本的提出源自于對(duì)深度學(xué)習(xí)可解釋性的探索, 而后發(fā)展成針對(duì)基于深度學(xué)習(xí)檢測(cè)服務(wù)的逃逸攻擊及其防御. 而在文獻(xiàn)[25] 中, Ilyas 等人將對(duì)輸入樣本的特征劃分為魯棒性特征和非魯棒性特征. 魯棒性特征是指人類(lèi)視覺(jué)可以理解的特征(例如鼻子、眼睛、嘴等), 其他特征為非魯棒性特征. 基于這一劃分,他們利用對(duì)抗攻擊解釋了對(duì)抗樣本存在的原因: 對(duì)抗脆弱性由非魯棒性特性引起. 為證明這一結(jié)論, Ilyas等人[25]構(gòu)建了以下兩個(gè)實(shí)驗(yàn).

實(shí)驗(yàn)1: 構(gòu)建由魯棒性特征組成的訓(xùn)練樣本并訓(xùn)練深度學(xué)習(xí)模型. 如果該模型的魯棒性更強(qiáng), 說(shuō)明通過(guò)刪除非魯棒性特征能夠提升模型魯棒性.

實(shí)驗(yàn)2: 構(gòu)建由非魯棒性特征組成的訓(xùn)練樣本并訓(xùn)練深度學(xué)習(xí)模型. 如果該模型有效, 說(shuō)明深度學(xué)習(xí)模型使用到了非魯棒性特征, 對(duì)抗樣本是有價(jià)值的特征.

為構(gòu)建由魯棒性特征組成的訓(xùn)練樣本, 實(shí)驗(yàn)1 對(duì)輸入樣本集(X,L) 展開(kāi)對(duì)抗攻擊, 得到對(duì)抗樣本集(X′,L′). 由于對(duì)抗攻擊破壞了輸入樣本X 的非魯棒性特征、保留其魯棒性特征, 因此可以構(gòu)建魯棒性特征樣本集(X′,L). 實(shí)驗(yàn)分別利用魯棒性特征樣本集(X′,L) 和原始樣本集(X,L) 訓(xùn)練同一深度學(xué)習(xí)模型. 結(jié)果表明, 利用魯棒性特征樣本集(X′,L) 訓(xùn)練的模型魯棒性更強(qiáng), 從而證明刪除樣本中的非魯棒性特征能夠有效提升深度學(xué)習(xí)模型的魯棒性.

為構(gòu)建由非魯棒性特征組成的訓(xùn)練樣本, 實(shí)驗(yàn)2 利用對(duì)抗攻擊方法得到對(duì)抗樣本集(X′,L′), 并以此作為非魯棒性特征樣本集, 此時(shí)可以認(rèn)為對(duì)抗樣本X′保留了類(lèi)別L 的魯棒性特征和類(lèi)別L′的非魯棒性特征. 實(shí)驗(yàn)利用非魯棒性特征樣本集(X′,L′) 訓(xùn)練深度學(xué)習(xí)模型, 并在原始測(cè)試樣本集進(jìn)行精確度測(cè)試.結(jié)果發(fā)現(xiàn)在CIFAR 數(shù)據(jù)集的精確度高達(dá)43%, 說(shuō)明深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到了輸入樣本的非魯棒性特征.

該方法巧妙地利用對(duì)抗攻擊從正反兩方面證明了輸入樣本的非魯棒性特征是有價(jià)值的特征, 而不是有限樣本過(guò)擬合的產(chǎn)物, 進(jìn)而解釋了對(duì)抗樣本現(xiàn)象是由輸入樣本的非魯棒性特性引起. 如果不明確地阻止深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入樣本的非魯棒性特征, 深度學(xué)習(xí)將始終面臨對(duì)抗攻擊的安全威脅.

6 挑戰(zhàn)與展望

對(duì)抗樣本現(xiàn)象吸引了學(xué)術(shù)界和產(chǎn)業(yè)界的共同關(guān)注. 隨著對(duì)抗攻擊技術(shù)的發(fā)展, 對(duì)抗樣本的防御手段得到重視. 主流的對(duì)抗樣本防御技術(shù)包括蒸餾神經(jīng)網(wǎng)絡(luò)[17]、對(duì)抗訓(xùn)練[26,27]、梯度掩蓋[28,29]等, 但這些防御手段大多最終都被成功破解或被證明無(wú)效[30,31]. 對(duì)抗樣本的檢測(cè)技術(shù)作為一種防御手段的補(bǔ)充應(yīng)運(yùn)而生, 例如, 利用深度神經(jīng)網(wǎng)絡(luò)對(duì)合法樣本與對(duì)抗樣本進(jìn)行二分類(lèi)[32], 在深度神經(jīng)網(wǎng)絡(luò)中加入檢測(cè)機(jī)制[33],打造平臺(tái)以評(píng)估樣本面向?qū)构舻聂敯粜缘萚34]. 但這些檢測(cè)技術(shù)無(wú)法完全區(qū)分合法樣本和對(duì)抗樣本,對(duì)抗攻擊的安全隱患仍然存在. 因此, 在深度學(xué)習(xí)的可解釋性沒(méi)有完全揭曉之前, 針對(duì)深度學(xué)習(xí)的對(duì)抗攻擊仍然值得重視.

對(duì)抗攻擊技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了顯著的成績(jī), 其未來(lái)可能的發(fā)展方向至少包括以下3 個(gè)方面.一是生成具備高魯棒性[19,35,36]、隱蔽性[19,37]和可遷移性[15,38]的對(duì)抗樣本, 保障對(duì)抗攻擊在復(fù)雜環(huán)境和低控制權(quán)場(chǎng)景下的部署和實(shí)施; 二是注重對(duì)抗攻擊的應(yīng)用價(jià)值[20–24,39], 例如, 生成病毒的對(duì)抗樣本規(guī)避惡意軟件檢測(cè)系統(tǒng)[23,24], 生成惡意文件的對(duì)抗樣本攻擊文件分類(lèi)器[39]等; 三是利用對(duì)抗攻擊技術(shù)探索深度神經(jīng)網(wǎng)絡(luò)的工作原理, 從本質(zhì)上揭示深度學(xué)習(xí)的可解釋性[1,25].

7 結(jié)語(yǔ)

本文介紹了針對(duì)深度學(xué)習(xí)的對(duì)抗攻擊基本原理和分類(lèi)方法, 重點(diǎn)選取了計(jì)算機(jī)視覺(jué)領(lǐng)域中8 類(lèi)主流的對(duì)抗攻擊算法進(jìn)行詳細(xì)解讀和分析, 并著重介紹了對(duì)抗攻擊在自然語(yǔ)言處理、語(yǔ)音識(shí)別、惡意軟件檢測(cè)和解釋對(duì)抗樣本現(xiàn)象等4 個(gè)方面的應(yīng)用. 回顧其發(fā)展歷程, 對(duì)抗樣本現(xiàn)象的發(fā)現(xiàn)源于對(duì)深度學(xué)習(xí)可解釋性的探索, 初期的對(duì)抗攻擊方法重點(diǎn)關(guān)注攻擊行為的可用性, 而后向可遷移性、隱蔽性、魯棒性等多方面發(fā)展, 同時(shí)注重對(duì)抗攻擊在各種復(fù)雜環(huán)境和低控制權(quán)場(chǎng)景下的實(shí)際應(yīng)用, 并逐步延申至針對(duì)深度學(xué)習(xí)檢測(cè)服務(wù)的逃逸攻擊. 在總結(jié)其發(fā)展歷程的基礎(chǔ)上, 本文分析了對(duì)抗攻擊面臨的主要挑戰(zhàn), 并指出了該技術(shù)未來(lái)3 個(gè)重要的研究方向.