孫 浩 陳 進(jìn) 雷 琳 計(jì)科峰 匡綱要

①(國防科技大學(xué)電子信息系統(tǒng)復(fù)雜電磁環(huán)境效應(yīng)國家重點(diǎn)實(shí)驗(yàn)室 長(zhǎng)沙 410073)

②(北京市遙感信息研究所 北京 100192)

1 引言

近年來以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的聯(lián)結(jié)主義智能化[1]圖像識(shí)別方法取得巨大進(jìn)展，不斷刷新光學(xué)和SAR圖像場(chǎng)景分類、目標(biāo)檢測(cè)與識(shí)別、語義分割、變化檢測(cè)等多任務(wù)性能水平[2–5]。智能化的一個(gè)重要特征就是能夠跨任務(wù)、跨領(lǐng)域、跨類別進(jìn)行知識(shí)泛化。然而，現(xiàn)有深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型依賴統(tǒng)計(jì)學(xué)習(xí)，只有在訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)服從獨(dú)立同分布的假設(shè)前提下泛化性能才能得到有效保證[6]。深度卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型在面對(duì)多種不同類型的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)間分布漂移時(shí)，預(yù)測(cè)性能水平會(huì)大大下降，缺乏對(duì)輸入擾動(dòng)的魯棒性。研究表明[7,8]：在輸入圖像數(shù)據(jù)中添加細(xì)微對(duì)抗擾動(dòng)，對(duì)于人類視覺感知信息變化過于微小不可分辨，但是卻會(huì)導(dǎo)致深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別結(jié)果產(chǎn)生大范圍的波動(dòng)變化，甚至是嚴(yán)重的錯(cuò)誤輸出。深度卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型的對(duì)抗脆弱性給其在安全敏感領(lǐng)域的廣泛部署帶來巨大安全隱患[1,9–11]。

圖1給出了深度卷積神經(jīng)網(wǎng)絡(luò)SAR圖像識(shí)別模型不同輸入擾動(dòng)對(duì)比示例。對(duì)于來自MSTAR數(shù)據(jù)集[12]的SAR圖像目標(biāo)切片，以俯仰角17°切片作為訓(xùn)練集學(xué)習(xí)VGG-16網(wǎng)絡(luò)[13]深度識(shí)別模型。如圖1所示，測(cè)試圖像目標(biāo)真實(shí)類別為BMP2，當(dāng)無噪聲干擾時(shí)，識(shí)別模型預(yù)測(cè)輸出為真實(shí)類別；當(dāng)在測(cè)試圖像中添加不同形式的噪聲擾動(dòng)后導(dǎo)致模型預(yù)測(cè)輸出為錯(cuò)誤類別。對(duì)抗擾動(dòng)或墮化噪聲并沒有改變輸入圖像的語義內(nèi)容，因此深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型不應(yīng)該因其存在而改變決策行為。但事實(shí)上深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型很容易被很小的局部變化所迷惑，改變決策行為，以高置信度給出錯(cuò)誤判斷[7,8]。與墮化噪聲相比較，由于對(duì)抗擾動(dòng)產(chǎn)生機(jī)理更加復(fù)雜、擾動(dòng)幅度小，人類視覺通常不可分辨、機(jī)器統(tǒng)計(jì)量很難可靠檢測(cè)，在安全敏感領(lǐng)域危害性更強(qiáng)。與光學(xué)圖像相比，SAR圖像視覺解譯變化量更多、解譯難度更大，因此對(duì)抗擾動(dòng)潛在攻擊面更廣。特別是在數(shù)字域?qū)箶_動(dòng)的視覺不可感知范圍更大，在物理域擾動(dòng)實(shí)現(xiàn)手段更加多樣化。

圖1 SAR圖像深度神經(jīng)網(wǎng)絡(luò)識(shí)別模型典型擾動(dòng)對(duì)比示例Fig.1 Different perturbations for deep neural networks based SAR image recognition models

針對(duì)深度神經(jīng)網(wǎng)絡(luò)的對(duì)抗脆弱性，文獻(xiàn)[9]從模型防御角度綜述了圖像分類對(duì)抗機(jī)器學(xué)習(xí)攻防技術(shù)，重點(diǎn)強(qiáng)調(diào)設(shè)計(jì)和評(píng)估對(duì)抗防御手段應(yīng)該遵循的基本原則。文獻(xiàn)[10]對(duì)目標(biāo)識(shí)別應(yīng)用中的對(duì)抗樣本技術(shù)進(jìn)行了總結(jié)與分析，討論了對(duì)抗樣本對(duì)于神經(jīng)網(wǎng)絡(luò)安全性和魯棒性的影響，并重點(diǎn)分析了對(duì)抗樣本的存在性假說及其在多個(gè)機(jī)器學(xué)習(xí)模型之間的遷移特性。文獻(xiàn)[11]從網(wǎng)絡(luò)安全角度回顧了針對(duì)智能化應(yīng)用場(chǎng)景的對(duì)抗攻擊技術(shù)，重點(diǎn)關(guān)注增強(qiáng)學(xué)習(xí)和聯(lián)邦學(xué)習(xí)場(chǎng)景中智能化模型存在的對(duì)抗脆弱性。與現(xiàn)有的相關(guān)綜述相比，本文聚焦深度卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型對(duì)抗魯棒性技術(shù)研究進(jìn)展，本文的特色和創(chuàng)新之處在于：(1)從智能化圖像識(shí)別系統(tǒng)部署和應(yīng)用流程出發(fā)，以信息安全視角全面分析系統(tǒng)存在的安全威脅和潛在攻擊面，重點(diǎn)討論了投毒攻擊和逃避攻擊特性及對(duì)抗脆弱性成因；(2)以對(duì)抗動(dòng)態(tài)博弈視角分別建立對(duì)抗攻擊與防御的威脅模型，按照攻防模型要素梳理現(xiàn)有研究方法，并以SAR圖像深度識(shí)別模型對(duì)抗攻擊為例分析典型方法特性；(3)系統(tǒng)介紹了對(duì)抗魯棒性基本定義、對(duì)抗攻擊、對(duì)抗防御、對(duì)抗魯棒性評(píng)估的一般思路和指導(dǎo)原則，并結(jié)合團(tuán)隊(duì)研究工作進(jìn)展，討論未來研究趨勢(shì)。

本文的組織形式如下：第2節(jié)從信息安全的角度分析深度卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別系統(tǒng)面臨的多樣化安全風(fēng)險(xiǎn)和脆弱性成因；第3節(jié)給出對(duì)抗魯棒性的基本定義，系統(tǒng)總結(jié)深度神經(jīng)網(wǎng)絡(luò)對(duì)抗攻擊與防御技術(shù)研究進(jìn)展，分析對(duì)抗魯棒性評(píng)估的基本準(zhǔn)則和指標(biāo)體系；第4節(jié)歸納現(xiàn)有研究存在的不足，指出一些開放性問題，為下一步研究提供參考。

2 深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)安全風(fēng)險(xiǎn)

2.1 深度學(xué)習(xí)圖像識(shí)別系統(tǒng)安全威脅

以衛(wèi)星、無人機(jī)等為代表的多源空天圖像偵察近年來發(fā)展迅猛，不斷持續(xù)獲取海量高分辨率圖像數(shù)據(jù)，僅依賴專家判讀的數(shù)據(jù)分析模式已無法滿足情報(bào)生成的時(shí)效性要求。一方面，基于人工智能和深度學(xué)習(xí)算法的大規(guī)模圖像內(nèi)容自動(dòng)分析已逐步被引入離線情報(bào)生產(chǎn)過程中。另一方面，考慮到通信帶寬、數(shù)據(jù)傳輸效率、情報(bào)生成實(shí)時(shí)性和區(qū)域拒止電磁對(duì)抗等多因素的影響，未來大量基于深度神經(jīng)網(wǎng)絡(luò)模型的多源圖像目標(biāo)檢測(cè)與識(shí)別算法將被部署在邊緣計(jì)算平臺(tái)，進(jìn)行在線目標(biāo)識(shí)別和感興趣數(shù)據(jù)篩選。

與傳統(tǒng)的基于專家系統(tǒng)的符號(hào)主義智能化識(shí)別系統(tǒng)不同，基于深度卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)結(jié)主義智能化圖像識(shí)別系統(tǒng)涉及全鏈路的數(shù)據(jù)復(fù)雜處理操作、預(yù)訓(xùn)練系統(tǒng)、機(jī)器學(xué)習(xí)框架多個(gè)方面，這些方面在軍事對(duì)抗場(chǎng)景中都可能涉及安全問題[1]。深度神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)開發(fā)部署過程可以分為任務(wù)規(guī)劃、數(shù)據(jù)采集、模型訓(xùn)練、模型推理和系統(tǒng)部署5個(gè)階段，如圖2所示。

圖2 深度學(xué)習(xí)圖像識(shí)別系統(tǒng)潛在安全風(fēng)險(xiǎn)Fig.2 Security risks for deep learning based image recognition system

在現(xiàn)實(shí)應(yīng)用中，各個(gè)環(huán)節(jié)間并不一定是序貫的，多個(gè)環(huán)節(jié)間通常會(huì)涉及反饋和循環(huán)。

(1) 任務(wù)規(guī)劃階段：開發(fā)智能化識(shí)別系統(tǒng)的首要問題是明確解決任務(wù)的邊界條件，明確系統(tǒng)的期望圖像輸入數(shù)據(jù)及其分布，估計(jì)系統(tǒng)的準(zhǔn)確性、魯棒性、計(jì)算資源和運(yùn)行時(shí)效性等指標(biāo)。然后，對(duì)任務(wù)進(jìn)行模塊化分解，選擇機(jī)器學(xué)習(xí)模型和框架。任務(wù)規(guī)劃階段面臨的主要安全風(fēng)險(xiǎn)形式有學(xué)習(xí)框架后門和漏洞攻擊、預(yù)訓(xùn)練模型投毒攻擊等[14]。

(2) 數(shù)據(jù)采集階段：在確定好問題的邊界條件后，需要采集和整理用于深度識(shí)別模型的大規(guī)模標(biāo)注訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。為了提升模型的準(zhǔn)確性指標(biāo)和收斂速度，通常會(huì)采用圖像幾何變換和光度變換、物理仿真、對(duì)抗圖像生成等方式進(jìn)行訓(xùn)練數(shù)據(jù)擴(kuò)充。數(shù)據(jù)采集與預(yù)處理階段面臨的主要安全風(fēng)險(xiǎn)形式有數(shù)據(jù)投毒攻擊[15]、標(biāo)注投毒攻擊、圖像尺度變換攻擊[16]、數(shù)據(jù)集偏差攻擊等。

(3) 模型訓(xùn)練階段：對(duì)訓(xùn)練數(shù)據(jù)集合進(jìn)行合理劃分，在固定邊界條件下進(jìn)行模型架構(gòu)或參數(shù)學(xué)習(xí)，確定迭代輪次、停止準(zhǔn)則、學(xué)習(xí)率等超參數(shù)。資源受限應(yīng)用場(chǎng)景中還需要考慮模型的剪枝和壓縮問題。模型訓(xùn)練階段面臨的主要安全風(fēng)險(xiǎn)形式有云端攻擊、木馬攻擊和超參數(shù)攻擊等[17]。

(4) 模型推理階段：對(duì)訓(xùn)練完成后的深度模型進(jìn)行準(zhǔn)確性和魯棒性測(cè)試，以期滿足預(yù)設(shè)指標(biāo)。模型推理階段面臨的安全風(fēng)險(xiǎn)最大，常見的攻擊形式有逃避攻擊、模仿攻擊和逆向攻擊[18]。推理階段的許多攻擊方法不需要獲取數(shù)據(jù)和模型的先驗(yàn)信息，采用黑盒方法，基于遷移性進(jìn)行攻擊，安全危害極大。逃避攻擊的代表形式是深度識(shí)別模型的對(duì)抗樣本。通過在目標(biāo)外部添加特定設(shè)計(jì)的圖案可以有效地逃避自動(dòng)化算法的探測(cè)識(shí)別，與傳統(tǒng)的電磁隱身偽裝不同，基于對(duì)抗樣本的智能擾動(dòng)逃避攻擊成本更低、部署和應(yīng)用更加靈活。

(5) 系統(tǒng)部署階段：將測(cè)試完成后的模型部署到相應(yīng)的軟硬件平臺(tái)中，并完成真實(shí)物理環(huán)境中用戶交互驗(yàn)證。系統(tǒng)部署階段面臨的主要安全風(fēng)險(xiǎn)有軟件系統(tǒng)攻擊、硬件系統(tǒng)漏洞、操作系統(tǒng)后門等[19]。

所有潛在攻擊樣式中，針對(duì)深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練階段的數(shù)據(jù)投毒攻擊和針對(duì)模型推理階段的逃避攻擊在圖像處理領(lǐng)域研究受到廣泛關(guān)注，其攻擊時(shí)機(jī)與攻擊能力如圖3所示。隨著攻擊知識(shí)的減少，投毒攻擊的攻擊能力按照邏輯破壞、數(shù)據(jù)修改、數(shù)據(jù)注入和數(shù)據(jù)讀取等幾個(gè)層次依次遞減；逃避攻擊的攻擊能力按照網(wǎng)絡(luò)架構(gòu)、模型參數(shù)、模型逼近、查詢攻擊等幾個(gè)層次依次遞減。投毒攻擊的實(shí)施可以是離線數(shù)據(jù)采集與模型學(xué)習(xí)階段，也可以是在模型在線微調(diào)階段；逃避攻擊的實(shí)施可以是在物理域中構(gòu)建光電或射頻擾動(dòng)，也可以在數(shù)字域中添加對(duì)抗噪聲。

圖3 深度學(xué)習(xí)訓(xùn)練階段和測(cè)試階段攻擊對(duì)比Fig.3 Comparison of training stage attacks and testing stage attacks for deep learning

數(shù)據(jù)投毒攻擊通過在訓(xùn)練數(shù)據(jù)集合中注入虛假數(shù)據(jù)或混淆性標(biāo)記信息，影響深度模型的歸納偏差，造成模型推理性能下降。如圖4所示，通過在訓(xùn)練集中添加污染后的有毒數(shù)據(jù)，造成正確模型的決策邊界出現(xiàn)偏離，從而造成測(cè)試樣本的類別識(shí)別出現(xiàn)錯(cuò)誤。逃避攻擊不干擾訓(xùn)練數(shù)據(jù)，僅在推理階段調(diào)整測(cè)試樣本。逃避攻擊的典型實(shí)現(xiàn)方式是生成對(duì)抗樣本，通過在測(cè)試樣本中添加微小非隨機(jī)性擾動(dòng)造成模型錯(cuò)誤輸出。對(duì)抗擾動(dòng)通過面向識(shí)別模型的對(duì)抗攻擊優(yōu)化算法生成，通過細(xì)微擾動(dòng)跨越模型的決策邊界。

圖4 投毒攻擊與逃避攻擊基本原理Fig.4 Illustration of poisoning attack and evasion attack

2.2 投毒攻擊和逃避攻擊脆弱性成因

深度圖像識(shí)別系統(tǒng)可能在多個(gè)階段和層次被攻擊，其中許多潛在安全風(fēng)險(xiǎn)是信息安全領(lǐng)域的普遍問題，本節(jié)重點(diǎn)分析與深度學(xué)習(xí)過程緊密相關(guān)的投毒攻擊和逃避攻擊脆弱性成因。

2.2.1 訓(xùn)練數(shù)據(jù)依賴性

深度神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型的準(zhǔn)確率和魯棒性高度依賴訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量。只有在訓(xùn)練數(shù)據(jù)是無偏的情形下，深度識(shí)別模型才能達(dá)到理想的性能。深度識(shí)別模型僅僅從數(shù)據(jù)中學(xué)習(xí)得到了相關(guān)關(guān)系，而相關(guān)關(guān)系往往會(huì)隨著數(shù)據(jù)分布的變化而變化，模型本身無法將虛假的相關(guān)與真實(shí)的因果區(qū)分開來。在許多安全敏感領(lǐng)域，大規(guī)模高質(zhì)量訓(xùn)練數(shù)據(jù)嚴(yán)重稀缺，僅有的少量訓(xùn)練數(shù)據(jù)中還存在類別不平衡性和標(biāo)注不確定性等問題，這些因素都嚴(yán)重加劇了模型的泛化風(fēng)險(xiǎn)和對(duì)抗脆弱性。與標(biāo)準(zhǔn)深度識(shí)別模型相比，魯棒深度識(shí)別模型的樣本采樣復(fù)雜度更高，對(duì)標(biāo)注數(shù)據(jù)的依賴性更強(qiáng)。采用預(yù)訓(xùn)練模型進(jìn)行參數(shù)初始化可以加速模型收斂、提升模型性能，但同時(shí)會(huì)將預(yù)訓(xùn)練模型所采用數(shù)據(jù)集中的偏差、虛假相關(guān)、投毒數(shù)據(jù)等引入后續(xù)模型。在線微調(diào)階段，物理域或數(shù)字域所產(chǎn)生的對(duì)抗樣本都可以應(yīng)用于投毒過程。

2.2.2 輸入與狀態(tài)空間高維特性

復(fù)雜的深度識(shí)別模型包含數(shù)百萬量級(jí)參數(shù)，為了逼近決策函數(shù)這些參數(shù)需要在訓(xùn)練過程中進(jìn)行迭代更新。參數(shù)的組合空間巨大，模型對(duì)輸入數(shù)據(jù)的決策邊界只能逼近求解。由于模型的高度非線性，因此輸入數(shù)據(jù)的微小擾動(dòng)可能會(huì)產(chǎn)生巨大的輸出差異。訓(xùn)練數(shù)據(jù)一般情況下位于完備輸入空間的低維流形，該現(xiàn)象通常也稱為“維度災(zāi)難”。以VGG-16模型為例，16層深度的模型參數(shù)約135 M，采用二進(jìn)制比特表示時(shí)輸入空間維度為2224×224×3×8=21204224(模型輸入圖像空間大小為224像素×224像素，波段通道為3個(gè)，數(shù)字值量化為8比特位)，因此訓(xùn)練數(shù)據(jù)集合僅僅覆蓋了輸入空間中非常小的一部分，大量可能的輸入數(shù)據(jù)，在訓(xùn)練過程中并沒有利用。一方面，如果給模型輸入訓(xùn)練過程中未觀測(cè)到的良性數(shù)據(jù)，并且該數(shù)據(jù)與訓(xùn)練數(shù)據(jù)差別較大，那么模型可能無法泛化到這些輸入數(shù)據(jù)，造成模型的安全風(fēng)險(xiǎn)。另一方面，當(dāng)故意設(shè)計(jì)的對(duì)抗樣本輸入模型時(shí)會(huì)造成系統(tǒng)錯(cuò)誤輸出。文獻(xiàn)[20]認(rèn)為對(duì)抗樣本存在于數(shù)據(jù)流形的低概率空間，很難通過隨機(jī)采樣輸入數(shù)據(jù)的近鄰空間得到，對(duì)抗樣本所在區(qū)域是模型預(yù)測(cè)不確定性的盲點(diǎn)。盡管主流的深度卷積網(wǎng)絡(luò)模型為了提升魯棒性，在訓(xùn)練過程中都進(jìn)行了數(shù)據(jù)增廣，但變換后的數(shù)據(jù)與原始輸入數(shù)據(jù)高度相關(guān)，且來自同樣的數(shù)據(jù)分布，然而對(duì)抗樣本通常呈現(xiàn)非相關(guān)和非同分布特性。此外，對(duì)抗樣本生成過程中，向正常干凈樣本添加非隨機(jī)噪聲違背了模型訓(xùn)練過程中關(guān)于統(tǒng)計(jì)噪聲的隱性假設(shè)。

由于理論上理想的任務(wù)決策邊界通常在實(shí)際中只能通過模型決策邊界近似，因此圖像解譯過程中無論是人類判讀還是深度識(shí)別模型都是會(huì)出現(xiàn)錯(cuò)誤的。模型通過數(shù)據(jù)和進(jìn)化過程進(jìn)行訓(xùn)練。在訓(xùn)練得到的模型中，傳感器輸入或其他邊界條件的微小變化都有可能會(huì)導(dǎo)致狀態(tài)改變，在狀態(tài)空間中跨越?jīng)Q策邊界。例如輸入中出現(xiàn)的傳感器微小噪聲可能導(dǎo)致輸出的巨大改變。任務(wù)決策邊界與模型決策邊界之間并不一定總是能夠重合，在兩者不同的區(qū)域，輸入空間中常常存在對(duì)抗樣本。圖5表示輸入空間二維投影中存在的對(duì)抗樣本。輸入空間中，存在4個(gè)類別的數(shù)據(jù)樣本，類別A的深度識(shí)別模型決策邊界由3個(gè)決策邊界共同構(gòu)成。類別A的任務(wù)決策邊界與模型決策邊界存在差異，在跨越或不跨越任務(wù)決策邊界前提下，位于模型決策邊界周圍的樣本都很容易受到微小擾動(dòng)的影響造成模型輸出錯(cuò)誤。在高維空間中，搜索非重合區(qū)域內(nèi)的樣本很容易構(gòu)造對(duì)抗樣本。

圖6為MSTAR圖像目標(biāo)識(shí)別性能評(píng)估策略的對(duì)比示意圖[5,21]，這些評(píng)估準(zhǔn)則確定了標(biāo)準(zhǔn)操作條件和擴(kuò)展操作條件。標(biāo)準(zhǔn)操作條件是由現(xiàn)有數(shù)據(jù)集合構(gòu)成的訓(xùn)練條件和測(cè)試條件，擴(kuò)展操作條件是由建模條件定義。可見，不同條件下的輸入空間存在部分不重疊區(qū)域和未覆蓋區(qū)域，這些區(qū)域內(nèi)的數(shù)據(jù)點(diǎn)都很容易被用于生成攻擊樣本。

圖6 MSTAR性能評(píng)估策略[21]Fig.6 Performance evaluation strategy for MSTAR[21]

2.2.3 黑盒特性與難解釋性

基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別模型結(jié)構(gòu)設(shè)計(jì)和參數(shù)優(yōu)化過程復(fù)雜，缺乏可解釋性。用于解決圖像處理任務(wù)的傳統(tǒng)計(jì)算機(jī)程序是很容易理解的，對(duì)于具有充分知識(shí)背景的編程人員來說，系統(tǒng)是透明的。然而由于深度神經(jīng)網(wǎng)絡(luò)巨大的參數(shù)空間，復(fù)雜的深度識(shí)別模型不具備這一特性。編程人員仍然可以理解任務(wù)邊界條件和解決任務(wù)的方法，但無法直接將神經(jīng)網(wǎng)絡(luò)的內(nèi)部表示轉(zhuǎn)換為理解其行為特性的工具。從信息安全的角度來看，這意味著只能通過模型的錯(cuò)誤行為(而不是模型本身)來檢測(cè)攻擊，而模型的錯(cuò)誤行為描述仍然是一個(gè)困難的問題。因此訓(xùn)練過程結(jié)束后，由于模型缺乏透明性，很難檢測(cè)訓(xùn)練數(shù)據(jù)中存在的投毒攻擊。

在安全敏感領(lǐng)域中需要提升深度識(shí)別模型的透明性和可解釋性，特別是在軍事應(yīng)用領(lǐng)域，需要建立用戶與智能識(shí)別模型之間的信任關(guān)系，輔助用戶進(jìn)行決策?？山忉屝陨疃茸R(shí)別模型的研究有兩類典型思路[22–24]：一類是分析模型的動(dòng)態(tài)特性，通過在輸入變量中添加擾動(dòng)或調(diào)整模型參數(shù)，對(duì)系統(tǒng)的輸出進(jìn)行統(tǒng)計(jì)分析，推測(cè)模型的決策依據(jù)。另一類是直接構(gòu)建結(jié)構(gòu)化和可解釋性更強(qiáng)的深度網(wǎng)絡(luò)模型。

3 深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)抗魯棒性研究進(jìn)展

3.1 對(duì)抗魯棒性定義

深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型可以描述為一個(gè)函數(shù)：fθ:X →Y，將輸入圖像空間中的一個(gè)向量x ∈X映射到標(biāo)記空間中y ∈Y，其中θ ∈W是函數(shù)的參數(shù)變量，W,X和Y分別表示深度卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重空間、輸入空間和輸出空間。深度識(shí)別模型將整個(gè)輸入空間劃分為一組區(qū)域，每個(gè)區(qū)域具有唯一性的類別標(biāo)記，識(shí)別模型的決策邊界可以利用兩組不同標(biāo)記區(qū)域的交匯點(diǎn)集來定義。在有監(jiān)督學(xué)習(xí)條件下，給定數(shù)據(jù)對(duì)(x,y)的分布D，學(xué)習(xí)算法的目標(biāo)是尋找一個(gè)分類器將任意的輸入x映射到標(biāo)記y，使得在分布D上的期望風(fēng)險(xiǎn)最小化，即

其中，L(x,y;θ)表示特定形式的損失函數(shù)。實(shí)際應(yīng)用中我們無法獲取所有的數(shù)據(jù)分布D，僅僅利用一組訓(xùn)練樣本集合因此無法通過最小化期望風(fēng)險(xiǎn)獲得fθ。通常求解經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化問題，即

深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型通常由多個(gè)前饋神經(jīng)網(wǎng)絡(luò)復(fù)合構(gòu)成，其中第t層的輸出zt ∈RDk依賴前一層輸出：

神經(jīng)網(wǎng)絡(luò)識(shí)別模型輸出結(jié)果是最高概率密度的標(biāo)記索引：

深度識(shí)別模型對(duì)隨機(jī)噪聲擾動(dòng)具有一定的魯棒性；但對(duì)于對(duì)抗擾動(dòng)，神經(jīng)網(wǎng)絡(luò)表現(xiàn)出極差的對(duì)抗脆弱性[7–11]。對(duì)抗擾動(dòng)是輸入x的最壞情形微小擾動(dòng)，經(jīng)過精心設(shè)計(jì)用于欺騙神經(jīng)網(wǎng)絡(luò)。而且現(xiàn)有研究表明：對(duì)于任意的x和 識(shí)別模型fθ總是可以找到對(duì)抗擾動(dòng)，表明神經(jīng)網(wǎng)絡(luò)的決策邊界在某些方向上靠近給定的數(shù)據(jù)樣本，因此在這些方向上添加很小的擾動(dòng)就可以改變分類器的輸出結(jié)果。

定義對(duì)抗擾動(dòng)δ(x)∈RD是下述優(yōu)化問題的解[25]：

其中，Q(δ)表示目標(biāo)函數(shù)的一般形式，Δ表示刻畫擾動(dòng)特性的一組約束集合。不同類型對(duì)抗擾動(dòng)主要差別在于Q(δ)和Δ，例如最小?p范數(shù)對(duì)抗擾動(dòng)定義為

式(7)表示在?p范數(shù)度量下，跨越識(shí)別模型決策邊界的最小加性擾動(dòng)。

ε約束對(duì)抗擾動(dòng)定義為

式(8)表示在給定數(shù)據(jù)樣本x的ε鄰域內(nèi)最大化損失函數(shù)的最壞情形擾動(dòng)，ε的取值使得最終的擾動(dòng)盡可能小，視覺不可感知。文獻(xiàn)中還有其他形式的距離度量來定義對(duì)抗樣本，例如數(shù)據(jù)流形測(cè)地線距離、感知度量和Wasserstein距離等。在現(xiàn)有的對(duì)抗擾動(dòng)研究中，?p擾動(dòng)研究得最為廣泛和深入。

對(duì)抗樣本很容易計(jì)算且大量存在，暴露出深度神經(jīng)網(wǎng)絡(luò)識(shí)別模型的脆弱性。為了解決這個(gè)問題，需要定義客觀的度量來量化神經(jīng)網(wǎng)絡(luò)對(duì)于對(duì)抗擾動(dòng)輸入的魯棒性。根據(jù)應(yīng)用場(chǎng)景和任務(wù)的不同，fθ對(duì)抗魯棒性的定義可以有多種形式，一種常用的定義是基于對(duì)抗場(chǎng)景中分類器的泛化能力，即對(duì)抗擾動(dòng)輸入時(shí)神經(jīng)網(wǎng)絡(luò)的最壞情形準(zhǔn)確率。

考慮神經(jīng)網(wǎng)絡(luò)決策函數(shù)的幾何特性，可以通過計(jì)算任意樣本到神經(jīng)網(wǎng)絡(luò)的決策邊界的平均距離定義對(duì)抗魯棒性：

幾何視角描述對(duì)抗魯棒性的優(yōu)勢(shì)是魯棒性的計(jì)算與對(duì)抗擾動(dòng)產(chǎn)生算法無關(guān)，對(duì)抗魯棒性是分類器的特性。采用幾何測(cè)度，提升分類器的對(duì)抗魯棒性意味著將決策邊界與數(shù)據(jù)樣本遠(yuǎn)離。采用式(9)測(cè)量分類器的魯棒性還存在很多挑戰(zhàn)，例如現(xiàn)有對(duì)抗攻擊方法在計(jì)算擾動(dòng)δ(x)時(shí)并非最優(yōu)。然而，我們可以通過計(jì)算所有樣本和神經(jīng)網(wǎng)絡(luò)決策邊界的安全距離來驗(yàn)證分類器的魯棒性。分類器如果是?p范數(shù)下ε認(rèn)證魯棒的，那么分類器在任意樣本的半徑為ε的?p超球鄰域內(nèi)輸出穩(wěn)定的標(biāo)記信息。在高維空間中進(jìn)行魯棒性認(rèn)證，需要大量的計(jì)算代價(jià)，因此目前一般都是針對(duì)特定形式的分類器。

3.2 對(duì)抗攻擊研究進(jìn)展

3.2.1 對(duì)抗攻擊模型

聚焦深度模型推理階段的安全風(fēng)險(xiǎn)，建立對(duì)抗攻擊威脅模型如圖7所示，主要包括對(duì)抗攻擊目標(biāo)、對(duì)抗攻擊知識(shí)、對(duì)抗攻擊能力和對(duì)抗攻擊策略4個(gè)方面[26,27]。對(duì)抗攻擊的目標(biāo)可采用安全破壞程度和攻擊專一性進(jìn)行描述。安全破壞程度主要是指對(duì)抗攻擊者期望破壞深度識(shí)別系統(tǒng)的完整性、可用性或隱私性；攻擊專一性主要包括定向攻擊和非定向攻擊兩類。例如對(duì)抗攻擊的目標(biāo)可以是產(chǎn)生一個(gè)特定類別的識(shí)別錯(cuò)誤攻擊或非定向性的系統(tǒng)識(shí)別功能破壞攻擊。對(duì)抗攻擊的知識(shí)根據(jù)攻擊者獲取的先驗(yàn)信息來進(jìn)行考慮，通?？梢苑譃榘缀泄艉秃诤泄簟０缀泄魣?chǎng)景下，攻擊者已知識(shí)別模型的架構(gòu)與參數(shù)、訓(xùn)練數(shù)據(jù)、預(yù)訓(xùn)練模型等信息，攻擊效果最強(qiáng)。黑盒攻擊場(chǎng)景下，攻擊者僅通過有限的查詢?cè)L問或?qū)箻颖镜倪w移特性實(shí)現(xiàn)攻擊。攻擊能力采用攻擊時(shí)效和攻擊層級(jí)兩個(gè)維度描述。對(duì)抗攻擊時(shí)效可分為迭代型攻擊和單次性攻擊，雖然迭代型攻擊效果較好，但軍事應(yīng)用場(chǎng)景中單次性攻擊的危害性也需要重點(diǎn)關(guān)注。對(duì)抗攻擊策略是指攻擊者為了達(dá)到攻擊目的而采取的圖像內(nèi)容或特征修改措施，典型策略有對(duì)抗擾動(dòng)生成和變換攻擊。基于對(duì)抗擾動(dòng)生成的逃避攻擊，通常稱為對(duì)抗攻擊。在許多安全敏感領(lǐng)域，攻擊者很難獲取訓(xùn)練階段數(shù)據(jù)或相關(guān)信息，基于對(duì)抗樣本的深度識(shí)別模型推理階段對(duì)抗攻擊威脅性更高，因此受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

圖7 對(duì)抗攻擊威脅模型Fig.7 Threat model for adversarial attacks

3.2.2 對(duì)抗樣本生成

圖8描述了對(duì)抗樣本生成的一般流程[18]。在白盒攻擊場(chǎng)景中，攻擊者通過求解梯度優(yōu)化或約束優(yōu)化問題、敏感性分析、生成模型采樣等方式構(gòu)造對(duì)抗樣本[7–11,18,19,26,27]；在黑盒攻擊場(chǎng)景中，攻擊者通過多次查詢被攻擊模型獲取相關(guān)信息，然后訓(xùn)練替代模型進(jìn)行白盒攻擊，或者估計(jì)梯度和近似決策邊界來尋找對(duì)抗樣本[7–11,18,19]。

圖8 對(duì)抗樣本生成流程Fig.8 Flowchart for adversarial example generation

表1歸納總結(jié)了典型對(duì)抗樣本生成方法的攻擊知識(shí)、攻擊目標(biāo)、攻擊策略、擾動(dòng)度量和擾動(dòng)范圍。對(duì)抗樣本主要包括個(gè)體擾動(dòng)對(duì)抗樣本和通用擾動(dòng)對(duì)抗樣本兩類。個(gè)體擾動(dòng)對(duì)抗樣本是指對(duì)于給定的測(cè)試圖像，根據(jù)優(yōu)化算法生成特定的擾動(dòng)，不同圖像擾動(dòng)模式不同；通用擾動(dòng)對(duì)抗樣本是指在特定數(shù)據(jù)集上或針對(duì)特定識(shí)別模型產(chǎn)生的擾動(dòng)模式，對(duì)于數(shù)據(jù)集中的所有圖像該擾動(dòng)模式保持不變。對(duì)抗攻擊策略主要包括圖像空間擾動(dòng)、特征空間擾動(dòng)和決策空間擾動(dòng)3類，在圖像空間和特征空間進(jìn)行擾動(dòng)通常采用生成模型、梯度優(yōu)化和敏感性分析算法實(shí)現(xiàn)，在決策空間進(jìn)行擾動(dòng)常采用約束優(yōu)化算法實(shí)現(xiàn)。

為了說明典型攻擊方法對(duì)雷達(dá)圖像深度目標(biāo)識(shí)別模型的影響，在MSTAR數(shù)據(jù)集上，以俯仰角17°目標(biāo)切片圖像作為訓(xùn)練集學(xué)習(xí)VGG-16深度識(shí)別模型，攻擊目標(biāo)設(shè)定為定向攻擊，采用PGD (Projected Gradient Descent)[36],DeepFool[30],C&W[34]3種方法的定向攻擊版本生成對(duì)抗擾動(dòng)。PGD攻擊噪聲范數(shù)選用L∞，攻擊強(qiáng)度設(shè)定為0.3；Deep-Fool攻擊步長(zhǎng)設(shè)定為10–6，最大迭代次數(shù)設(shè)定為100次；C&W攻擊方法學(xué)習(xí)率設(shè)定為0.01，最大迭代次數(shù)設(shè)定為100。采用Grad-CAM方法[57]對(duì)3種方法生成的定向攻擊樣本、無擾動(dòng)干凈樣本(原始類別和定向攻擊目標(biāo)類別)在VGG-16識(shí)別模型的激活響應(yīng)進(jìn)行可視化，第2,4,7,10,13卷積層特征激活結(jié)果如圖9所示。其中第1行圖像分別為真實(shí)類別(BTR70)的測(cè)試圖像、采用3種攻擊方法生成的定向攻擊個(gè)體擾動(dòng)對(duì)抗樣本(BTR70定向攻擊為ZIL131)、真實(shí)類別為ZIL131的測(cè)試圖像(作為參考對(duì)照)，由于對(duì)抗擾動(dòng)的幅度微小，因此3種方法生成的定向攻擊樣本與原始圖像人眼無法分辨其中差別。觀察特征層的激活情況容易發(fā)現(xiàn)：基于梯度優(yōu)化的PGD攻擊對(duì)抗樣本從低層(第2層)卷積特征開始就與定向攻擊類別的激活響應(yīng)具有較高的相似性，攻擊目標(biāo)實(shí)現(xiàn)依賴多隱層特征空間擾動(dòng)；基于約束優(yōu)化的DeepFool攻擊方法和C&W攻擊方法產(chǎn)生的對(duì)抗樣本僅在高層(第13層)卷積特征激活與真實(shí)類別具有較高的特征激活相似度，攻擊目標(biāo)實(shí)現(xiàn)更多依賴決策空間擾動(dòng)。

圖9 SAR圖像目標(biāo)識(shí)別定向?qū)构襞e例Fig.9 Targeted adversarial attacks for SAR image target recognition

圖10展示了來自FUSAR-Ship數(shù)據(jù)集[58]的4幅SAR艦船目標(biāo)圖像切片及典型攻擊方法產(chǎn)生的對(duì)抗擾動(dòng)(實(shí)驗(yàn)細(xì)節(jié)見文獻(xiàn)[59])，4幅圖像的類別從上至下依次為集裝箱船、貨船、漁船和油輪。為了顯示效果，所有的對(duì)抗擾動(dòng)都進(jìn)行了放大?；谔荻葍?yōu)化的對(duì)抗擾動(dòng)(FGSM,PGD)、稀疏對(duì)抗擾動(dòng)(JSMA，單像素)和基于約束優(yōu)化的對(duì)抗擾動(dòng)(DeepFool,C&W)在擾動(dòng)模式上呈現(xiàn)明顯的差異。FGSM和PGD擾動(dòng)模式更加聚焦原始圖像中的圖像灰度變化劇烈區(qū)域，與圖像梯度緊密相關(guān)。JSMA和單像素?cái)_動(dòng)僅僅改變了少量像素，但對(duì)抗擾動(dòng)幅值較大。DeepFool擾動(dòng)和C&W擾動(dòng)改變了大量像素，但對(duì)抗擾動(dòng)幅值較小。

圖10 FUSAR-Ship數(shù)據(jù)子集對(duì)抗擾動(dòng)舉例[59]Fig. 10 Adversarial perturbations on images from FUSAR-Ship dataset[59]

3.3 對(duì)抗防御研究進(jìn)展

3.3.1 對(duì)抗防御模型

大量對(duì)抗樣本生成方法的不斷提出，催生深度神經(jīng)網(wǎng)絡(luò)識(shí)別模型防御技術(shù)迭代演進(jìn)，兩者之間形成對(duì)抗攻防競(jìng)賽。根據(jù)防御目標(biāo)的不同，對(duì)抗防御技術(shù)可以分為主動(dòng)性防御和被動(dòng)性防御兩類[60,61]，兩者之間的區(qū)別如圖11所示。主動(dòng)性防御技術(shù)是深度識(shí)別模型的開發(fā)者主動(dòng)進(jìn)行仿真攻擊發(fā)現(xiàn)模型缺陷，并對(duì)模型進(jìn)行魯棒性提升。模型開發(fā)者首先通過分析敵手對(duì)抗攻擊過程，建立對(duì)抗攻擊威脅模型；然后仿真不同攻擊目標(biāo)、攻擊知識(shí)、攻擊策略和攻擊能力情形下的攻擊樣式，對(duì)識(shí)別模型進(jìn)行對(duì)抗攻擊魯棒性評(píng)估；最后設(shè)計(jì)并開發(fā)相關(guān)手段對(duì)模型進(jìn)行加固，消除潛在的對(duì)抗風(fēng)險(xiǎn)。主動(dòng)性防御技術(shù)的實(shí)現(xiàn)過程中不涉及真實(shí)的攻擊敵手，是模型開發(fā)者自我模擬博弈對(duì)抗過程。被動(dòng)性防御技術(shù)涉及真實(shí)對(duì)抗場(chǎng)景中模型攻擊方與模型開發(fā)者之間的動(dòng)態(tài)博弈進(jìn)化。一方面，深度識(shí)別模型的攻擊方通過分析模型的對(duì)抗脆弱性，設(shè)計(jì)并執(zhí)行對(duì)抗攻擊。為了達(dá)到更好的攻擊效果，對(duì)抗攻擊機(jī)理和樣式不斷演變，例如復(fù)合攻擊和自動(dòng)化攻擊。另一方面，模型開發(fā)者通過分析對(duì)抗攻擊給識(shí)別模型帶來的多樣化影響，研究提出新的對(duì)抗防御方法，并及時(shí)更新識(shí)別系統(tǒng)安全措施。

圖11 對(duì)抗攻擊防御模型[60]Fig.11 Defense model for adversarial attacks[60]

3.3.2 對(duì)抗攻擊防御與檢測(cè)

根據(jù)防御策略的不同，對(duì)抗攻擊防御方法可以分為修改數(shù)據(jù)、修改模型和增加輔助模型等[26]，如圖12所示。修改數(shù)據(jù)類方法基本思想是通過在訓(xùn)練階段或測(cè)試階段修改數(shù)據(jù)及特征實(shí)現(xiàn)防御，典型方法包括通過圖像樣本重建消除對(duì)抗擾動(dòng)、壓縮特征空間減小被攻擊概率、引入對(duì)抗樣本到訓(xùn)練集合中進(jìn)行模型重訓(xùn)練、易干擾特征添加掩模、利用數(shù)據(jù)的不同屬性關(guān)聯(lián)提取魯棒性特征、輸入圖像投影到訓(xùn)練數(shù)據(jù)流形等。修改模型類方法基本思想是修改從數(shù)據(jù)學(xué)習(xí)得到的模型結(jié)構(gòu)或參數(shù)信息實(shí)現(xiàn)防御，典型方法包括網(wǎng)絡(luò)蒸餾、網(wǎng)絡(luò)驗(yàn)證、梯度正則化、魯棒分類模型、可解釋性機(jī)器學(xué)習(xí)模型和模型安全性掩模等。增加輔助模型方法通過引入額外的網(wǎng)絡(luò)模型增強(qiáng)魯棒性，典型策略包括對(duì)抗樣本檢測(cè)網(wǎng)絡(luò)、多防御策略集成網(wǎng)絡(luò)、生成模型網(wǎng)絡(luò)等。

圖12 對(duì)抗攻擊典型防御方法分類[26]Fig.12 Taxonomy of defense methods for adversarial attack[26]

按照防御目標(biāo)和防御策略的不同，表2對(duì)典型對(duì)抗攻擊防御方法進(jìn)行了總結(jié)分析。如表2所示，所有的防御方法都是在假設(shè)特定對(duì)抗攻擊下進(jìn)行評(píng)估的，PGD通常被認(rèn)為是白盒攻擊場(chǎng)景下評(píng)估防御方法的一種有效基準(zhǔn)攻擊?；赑GD攻擊樣本的對(duì)抗訓(xùn)練防御策略目前是對(duì)大多數(shù)攻擊方法防御效果最好的一類防御方法。但是對(duì)抗訓(xùn)練會(huì)導(dǎo)致模型在干凈數(shù)據(jù)集上泛化性能的下降，此外對(duì)抗訓(xùn)練過程涉及最大最小優(yōu)化問題，訓(xùn)練過程十分耗時(shí)，在大規(guī)模數(shù)據(jù)集上的應(yīng)用受限。

表2 對(duì)抗攻擊防御方法Tab.2 Defense methods for adversarial attack

對(duì)抗樣本檢測(cè)方法可以看成是一類被動(dòng)防御方法，對(duì)推理階段的所有測(cè)試樣本首先進(jìn)行診斷，判斷是否可能為惡意對(duì)抗樣本。對(duì)抗樣本檢測(cè)與深度模型預(yù)測(cè)不確定性、分布外檢測(cè)等領(lǐng)域緊密相關(guān)，核心思想是利用集成策略、度量方法、不一致性準(zhǔn)則和生成性方法在推理階段檢測(cè)可靠泛化區(qū)域外的異常樣本[122]。對(duì)抗樣本檢測(cè)4類典型方法的基本原理如圖13所示。集成檢測(cè)方法同時(shí)利用多個(gè)經(jīng)過不同訓(xùn)練過程的深度神經(jīng)網(wǎng)絡(luò)識(shí)別模型。在推理階段，多個(gè)識(shí)別模型分別獨(dú)立產(chǎn)生輸入數(shù)據(jù)的預(yù)測(cè)結(jié)果。多個(gè)網(wǎng)絡(luò)的預(yù)測(cè)輸出差別越大，那么該輸入樣本的決策錯(cuò)誤可能性就越大。由于多個(gè)網(wǎng)絡(luò)的決策邊界之間存在差別，所以當(dāng)對(duì)抗樣本在分布內(nèi)并且靠近決策邊界時(shí)，該檢測(cè)策略效果較好。但是分布外對(duì)抗樣本或者特定類型的對(duì)抗樣本有可能在特征空間中遠(yuǎn)離決策邊界，對(duì)于這些對(duì)抗樣本需要采用其他的檢測(cè)方法。如果測(cè)試樣本的動(dòng)態(tài)激活特性與訓(xùn)練數(shù)據(jù)集合中泛化區(qū)域內(nèi)的樣本動(dòng)態(tài)激活特性相似，則度量檢測(cè)方法判斷該樣本為正常樣本；動(dòng)態(tài)激活特性的大差異性表明對(duì)抗樣本在可靠泛化區(qū)域外。生成檢測(cè)方法是利用采用數(shù)據(jù)生成策略，判斷測(cè)試樣本是否在訓(xùn)練數(shù)據(jù)的生成流形上，通過計(jì)算偏移程度檢測(cè)對(duì)抗攻擊。度量檢測(cè)方法通常涉及輸入數(shù)據(jù)、多個(gè)隱含層、輸入輸出組合損失函數(shù)梯度等多個(gè)環(huán)節(jié)的變換比較。不一致性方法是采用圖像變換方法將一個(gè)測(cè)試樣本變換成多個(gè)不同版本，然后比較多版本增強(qiáng)圖像是否存在輸出不一致的問題，從而判斷測(cè)試樣本是否為對(duì)抗樣本。

圖13 對(duì)抗樣本檢測(cè)方法[122]Fig.13 Adversarial example detection methods[122]

3.4 對(duì)抗魯棒性評(píng)估進(jìn)展

為了嚴(yán)格評(píng)估深度神經(jīng)網(wǎng)絡(luò)的對(duì)抗魯棒性，文獻(xiàn)中已經(jīng)提出了大量評(píng)估準(zhǔn)則或基準(zhǔn)數(shù)據(jù)集[34,123–132]。防御評(píng)估的準(zhǔn)則主要有：針對(duì)敵手進(jìn)行防御、測(cè)試最壞情形下的魯棒性、以人類識(shí)別能力衡量深度模型的進(jìn)步等。防御評(píng)估的建議主要有：同時(shí)采用定向攻擊和非定向攻擊、進(jìn)行消融實(shí)驗(yàn)、多樣化測(cè)試設(shè)置、在多領(lǐng)域進(jìn)行防御評(píng)估、采用隨機(jī)性集成策略、利用遷移攻擊、提供魯棒性上限等?，F(xiàn)有的對(duì)抗攻防評(píng)價(jià)測(cè)度通常采用簡(jiǎn)單的攻擊成功率或分類正確率指標(biāo)，導(dǎo)致模型輸出評(píng)估不充分。例如在特定擾動(dòng)幅度下攻擊分類正確率不能衡量模型在對(duì)抗場(chǎng)景中的內(nèi)在行為特性。針對(duì)圖像分類任務(wù)中面向Lp范數(shù)約束對(duì)抗擾動(dòng)和常見墮化擾動(dòng)的深度模型魯棒性評(píng)估，文獻(xiàn)[127]提出了一組評(píng)估指標(biāo)，如表3所示。表3的評(píng)估指標(biāo)主要可以分為面向數(shù)據(jù)的評(píng)估測(cè)度和面向模型的評(píng)估測(cè)度，按照行為特性、架構(gòu)、對(duì)抗擾動(dòng)、墮化擾動(dòng)、攻擊知識(shí)和攻擊模型等維度對(duì)評(píng)估指標(biāo)進(jìn)行細(xì)化分解。由于模型魯棒性評(píng)估是采用一組擾動(dòng)測(cè)試樣本進(jìn)行，因此首先采用神經(jīng)元覆蓋和數(shù)據(jù)不可感知度等面向數(shù)據(jù)的測(cè)度衡量測(cè)試樣本的完整性。其次，采用決策邊界距離變化、模型神經(jīng)元敏感性和不確定性、墮化性能等指標(biāo)評(píng)估模型在對(duì)抗場(chǎng)景中的動(dòng)態(tài)特性。

在FUSAR-Ship數(shù)據(jù)集中我們通過人工選擇4類數(shù)據(jù)樣例數(shù)目較多、圖像質(zhì)量較好的SAR艦船目標(biāo)圖像420幅[59]，其中集裝箱船122幅、貨船158幅、漁船94幅和油輪46幅。每個(gè)類別選取80%樣本作為訓(xùn)練樣本，20%樣本作為測(cè)試樣本，選擇在該數(shù)據(jù)子集上對(duì)抗魯棒性較好[59]的ResNet101對(duì)4類白盒攻擊方法(FGSM,PGD,DeepFool,C&W)和2類黑盒攻擊(HSJA、單像素)方法進(jìn)行評(píng)估，其中FGSM,PGD攻擊無窮范數(shù)閾值設(shè)置為16，其他攻擊方法為最小擾動(dòng)。從深度模型誤識(shí)別和擾動(dòng)不可感知兩個(gè)方面，從表3中選取代表性指標(biāo)進(jìn)行評(píng)估，其量化評(píng)估見表4，其中，分類正確率指標(biāo)有：平均分類正確率、對(duì)抗類別平均置信度

表3 對(duì)抗魯棒性評(píng)估指標(biāo)體系[127]Tab.3 Adversarial evaluation for deep models[127]

表4 SAR艦船目標(biāo)識(shí)別深度模型對(duì)抗魯棒性評(píng)估實(shí)例[59]Tab.4 Adversarial robustness evaluation of deep models for SAR ship recognition[59]

(Average Confidence for Adversarial Class,ACAC)、正確類別平均置信度(Average Confidence for True Class,ACTC)；平均Lp失真度(Average Lp Distortion,ALDp)衡量對(duì)抗樣本與原始圖像間的p范數(shù)距離，值越小失真越小，代表攻擊效果更好；平均結(jié)構(gòu)相似度(Average Structural Similarity,ASS)衡量攻擊成功的對(duì)抗樣本與原始圖像間的自相似性，值越大代表對(duì)抗樣本越難以用人眼進(jìn)行識(shí)別；擾動(dòng)敏感距離(Perturbation Sensitivity Distance,PSD)衡量人類感知擾動(dòng)的指標(biāo)，值越小代表越難以被人類視覺察覺；誤分類與最大概率差(Noise Tolerance Estimation,NTE)衡量對(duì)抗樣本在保持錯(cuò)誤分類不變的情況下所能忍受的噪聲，值越大代表攻擊方法更加穩(wěn)健。

4 開放性問題

深度卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型的對(duì)抗魯棒性與其泛化性、安全性、隱私性和可解釋性等特性緊密相關(guān)，近年來在學(xué)術(shù)界和工業(yè)界都進(jìn)行了廣泛而深入的研究，大量研究成果不斷涌現(xiàn)，然而仍有許多開放性問題值得重點(diǎn)關(guān)注。

(1) 深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型的對(duì)抗脆弱性成因在理論上還需要進(jìn)一步深入研究[133–139]。目前關(guān)于對(duì)抗樣本在理論上為何存在及其特性描述等基礎(chǔ)性問題學(xué)術(shù)界研究還沒有形成統(tǒng)一的認(rèn)識(shí)。深度卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型對(duì)抗魯棒性與模型泛化性、模型墮化噪聲魯棒性之間的關(guān)系在理論上和實(shí)踐中仍需進(jìn)一步研究。

(2) 利用無監(jiān)督數(shù)據(jù)提升深度識(shí)別模型的對(duì)抗魯棒性是未來重要研究方向[140–144]。目前對(duì)抗魯棒性最有效的提升方法是采用最大化模型損失的對(duì)抗樣本重訓(xùn)練深度網(wǎng)絡(luò)模型，對(duì)抗訓(xùn)練過程十分耗時(shí)。此外，魯棒深度識(shí)別模型的樣本采樣復(fù)雜度要比標(biāo)準(zhǔn)模型更高，因此需要更大規(guī)模的高質(zhì)量標(biāo)記數(shù)據(jù)集。在許多應(yīng)用領(lǐng)域中，大規(guī)模高質(zhì)量標(biāo)記數(shù)據(jù)集獲取不僅十分耗時(shí)，而且代價(jià)昂貴。充分挖掘無標(biāo)記數(shù)據(jù)中的潛在語義關(guān)系和因果關(guān)系將大大降低魯棒識(shí)別模型學(xué)習(xí)算法對(duì)標(biāo)記數(shù)據(jù)的嚴(yán)重依賴。圖14為本研究團(tuán)隊(duì)開展的基于無監(jiān)督對(duì)抗擾動(dòng)的深度識(shí)別模型對(duì)抗魯棒性提升結(jié)果。在NWPU-RESISC45數(shù)據(jù)集上[145]，采用ResNet18網(wǎng)絡(luò)結(jié)構(gòu)[146]，利用 BYOL對(duì)比學(xué)習(xí)過程的梯度下降產(chǎn)生無監(jiān)督對(duì)抗擾動(dòng)[147,148]，并最大化每個(gè)實(shí)例圖像與其無監(jiān)督對(duì)抗擾動(dòng)版本間的相似性，構(gòu)造更加穩(wěn)健的預(yù)訓(xùn)練特征編碼網(wǎng)絡(luò)。特征編碼器的訓(xùn)練過程無需任何標(biāo)記數(shù)據(jù)，每個(gè)類別選取400幅圖像，訓(xùn)練過程不使用標(biāo)記信息。在經(jīng)過微調(diào)(每個(gè)類別選取200幅圖像進(jìn)行有監(jiān)督學(xué)習(xí))后，可以獲得魯棒性更強(qiáng)的識(shí)別模型。對(duì)比標(biāo)準(zhǔn)模型(每個(gè)類別選取600幅有監(jiān)督圖像進(jìn)行訓(xùn)練)和無監(jiān)督魯棒提升模型(每個(gè)類別選取400幅圖像進(jìn)行無監(jiān)督對(duì)抗對(duì)比預(yù)訓(xùn)練，200幅圖像進(jìn)行有監(jiān)督微調(diào))在正常樣本及PGD攻擊樣本的激活情況，可以看到：通過無監(jiān)督數(shù)據(jù)可以將深度模型的特征編碼更加聚焦在顯著目標(biāo)區(qū)域，減小非魯棒性特征對(duì)識(shí)別結(jié)果的影響。

圖14 無監(jiān)督數(shù)據(jù)提升對(duì)抗魯棒性Fig.14 Unlabeled data for improving adversarial robustness

(3) 多傳感器耦合對(duì)抗攻擊與防御將更具實(shí)際應(yīng)用價(jià)值[149–153]。在自動(dòng)駕駛和軍事偵察等多種應(yīng)用場(chǎng)景同時(shí)存在光電和微波等多類圖像傳感器，現(xiàn)有的攻擊算法重點(diǎn)關(guān)注光電對(duì)抗智能擾動(dòng)技術(shù)，很容易在其他波段暴露。深度學(xué)習(xí)在多源圖像處理任務(wù)結(jié)構(gòu)上的相似性會(huì)導(dǎo)致耦合攻擊風(fēng)險(xiǎn)。在So2Sat LCZ42標(biāo)準(zhǔn)數(shù)據(jù)集上[154]選擇居民區(qū)(訓(xùn)練樣本256幅，測(cè)試樣本266幅)、工業(yè)區(qū)(訓(xùn)練樣本860幅，測(cè)試樣本905幅)、林區(qū)(訓(xùn)練樣本2287幅，測(cè)試樣本2365幅)、沙地(訓(xùn)練樣本672幅，測(cè)試樣本570幅)和水體(訓(xùn)練樣本2609幅，測(cè)試樣本2530幅) 5類數(shù)據(jù)子集，數(shù)據(jù)子集中的示例圖像如圖15所示，第1行為地物空間分布示意，第2行為SAR樣例圖像，第3行為SAR樣例圖像對(duì)應(yīng)的光學(xué)圖像(已完成空間幾何配準(zhǔn))。

圖15 So2Sat LCZ42數(shù)據(jù)子集示例[154]Fig. 15 Examples images from the So2Sat LCZ42 dataset[154]

實(shí)驗(yàn)中選擇光學(xué)圖像(RGB波段)和SAR圖像(垂直極化)數(shù)據(jù)分別訓(xùn)練ResNet18模型，優(yōu)化器選用Adam優(yōu)化器，學(xué)習(xí)率設(shè)為10–3，batch_size大小設(shè)為256，得到光學(xué)識(shí)別模型和SAR識(shí)別模型。采用修改后的單像素對(duì)抗樣本生成方法[52]攻擊兩個(gè)識(shí)別模型，首先對(duì)初代種子的參數(shù)進(jìn)行初始化，其中噪聲點(diǎn)位置初始化為32×32圖像中均勻隨機(jī)分布，噪聲強(qiáng)度信息初始化服從高斯分布，初代投放100個(gè)種子，經(jīng)100次種群選擇，最終挑選出攻擊效果最佳的對(duì)抗樣本。如圖16所示，僅僅擾動(dòng)同一個(gè)像素位置的數(shù)字值，光學(xué)圖像和SAR圖像添加的擾動(dòng)幅度不同，便可以同時(shí)欺騙光學(xué)和SAR圖像識(shí)別模型。統(tǒng)計(jì)結(jié)果表明：在協(xié)同攻擊同一位置像素的情況下，可以將光學(xué)識(shí)別模型的正確率由92.36%降低到30.98%，同時(shí)將SAR識(shí)別模型的正確率由81.24%降低到42.07%。

圖16 多傳感器耦合對(duì)抗攻擊實(shí)例Fig.16 Adversarial attacks for multiple sensors

5 結(jié)語

基于深度卷積神經(jīng)網(wǎng)絡(luò)模型的新一代智能化圖像識(shí)別系統(tǒng)已逐步在醫(yī)療、安防、自動(dòng)駕駛和軍事等安全敏感領(lǐng)域廣泛部署。然而現(xiàn)有深度識(shí)別模型依賴大規(guī)模高質(zhì)量的訓(xùn)練數(shù)據(jù)，只能提供有限的可靠性能保證，并且缺乏可解釋性，給模型在復(fù)雜電磁環(huán)境下強(qiáng)對(duì)抗場(chǎng)景中的實(shí)際應(yīng)用帶來嚴(yán)重安全隱患。本文從信息安全、對(duì)抗攻防威脅模型兩個(gè)方面系統(tǒng)總結(jié)了深度神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型對(duì)抗脆弱性成因與對(duì)抗魯棒性研究進(jìn)展，重點(diǎn)梳理了對(duì)抗樣本生成、主被動(dòng)對(duì)抗防御、對(duì)抗魯棒性評(píng)估等方面的技術(shù)思路與典型方法，為下一步建立魯棒可信的高性能智能化圖像識(shí)別系統(tǒng)提供參考。