王燁奎，曹鐵勇，鄭云飛，3，4，方 正，王 楊，劉亞九，付炳陽，陳 雷

1.陸軍工程大學(xué) 指揮控制工程學(xué)院，南京210007

2.中國(guó)人民解放軍31401部隊(duì)

3.陸軍炮兵防空兵學(xué)院，南京211100

4.安徽省偏振成像與探測(cè)重點(diǎn)實(shí)驗(yàn)室，合肥230031

深度神經(jīng)網(wǎng)絡(luò)（DNNs）的優(yōu)越性能推動(dòng)了計(jì)算機(jī)視覺領(lǐng)域的快速發(fā)展，深度模型在圖像分類、目標(biāo)檢測(cè)等任務(wù)上識(shí)別檢測(cè)目標(biāo)的能力達(dá)到了與人類相當(dāng)?shù)乃?。但研究表明這種深度神經(jīng)網(wǎng)絡(luò)體系容易受對(duì)抗樣本影響，輸入一個(gè)微小的擾動(dòng)就會(huì)導(dǎo)致模型出錯(cuò)，給深度神經(jīng)網(wǎng)絡(luò)的安全性能帶來了極大挑戰(zhàn)。

針對(duì)圖像分類網(wǎng)絡(luò)的對(duì)抗攻擊研究主要可分為兩類：一類是白盒攻擊，攻擊者可以訪問目標(biāo)模型的所有信息，包括目標(biāo)模型的網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)、梯度信息等，可以充分利用模型信息來精心制作對(duì)抗樣本。FGSM[1]是基于梯度優(yōu)化的經(jīng)典白盒攻擊方法，BIM[2]、MI-FGSM[3]、DIM[4]、PGD[5]等以FGSM為基礎(chǔ)，對(duì)優(yōu)化策略和梯度計(jì)算等方面進(jìn)行改進(jìn)，進(jìn)一步提升了對(duì)抗攻擊能力。目前關(guān)于白盒攻擊的研究較為廣泛，因?yàn)檫@類方法針對(duì)模型構(gòu)造和參數(shù)進(jìn)行攻擊，有助于人們深入了解DNN模型的弱點(diǎn)。另一類方法稱為黑盒攻擊，攻擊者無法獲取目標(biāo)模型的細(xì)節(jié)信息，與白盒攻擊相比，黑盒攻擊難度更大。因?yàn)楝F(xiàn)實(shí)中的攻擊模型一般都是黑盒模型，該類方法也更有研究的價(jià)值。替代黑盒攻擊[6]（substitute blackbox attack，SBA）、零階優(yōu)化[7]（zeroth order optimization，ZOO）、邊界攻擊[8]（boundary attack，BDA）等是常用的黑盒攻擊方法。

雖然對(duì)抗樣本在圖像分類網(wǎng)絡(luò)取得了巨大的成功，但目標(biāo)檢測(cè)模型不同于分類網(wǎng)絡(luò)，攻擊檢測(cè)模型還存在以下三個(gè)方面困難：一是其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，對(duì)對(duì)抗樣本的魯棒性更好，在分類網(wǎng)絡(luò)成功的攻擊方法在攻擊檢測(cè)模型時(shí)效果不佳；二是目標(biāo)檢測(cè)模型種類較多且不同目標(biāo)檢測(cè)模型之間結(jié)構(gòu)差異較大，導(dǎo)致了生成的對(duì)抗樣本遷移性不強(qiáng)；三是目標(biāo)檢測(cè)模型使用了特征金字塔（feature pyramid network，F(xiàn)PN）、非極大值抑制（nonmaximum suppression，NMS）等組件，能夠有效抑制噪聲干擾，進(jìn)一步加大了攻擊的難度。

Xie等人和Li等人分別針對(duì)Faster-RCNN[9]提出了DAG[10]（dense adversary generation）和RAP[11]（robust adversarial perturbation）方法，Wang等人針對(duì)YOLO[12]提出了Daedalus[13]方法，Wei等人基于生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）框架提出了UEA[14]（unified and efficient adversary）方法。這些對(duì)抗攻擊方法在攻擊目標(biāo)檢測(cè)模型上取得了一定的效果，但這些攻擊方法大多針對(duì)某一類特定的檢測(cè)器進(jìn)行攻擊，而不同目標(biāo)檢測(cè)模型之間差異較大，導(dǎo)致對(duì)抗樣本遷移性不強(qiáng)。

綜上所述，本文提出了一種具有一定遷移能力的，能夠?qū)崟r(shí)生成對(duì)抗樣本的目標(biāo)檢測(cè)攻擊方法TEA（transferable and efficient adversary）。該方法采用GAN網(wǎng)絡(luò)框架，能夠?qū)崟r(shí)生成對(duì)抗樣本；針對(duì)檢測(cè)模型中常用的NMS機(jī)制和與檢測(cè)模型預(yù)測(cè)目標(biāo)相關(guān)的特征圖關(guān)注區(qū)域兩個(gè)方面設(shè)計(jì)了位置回歸攻擊損失，通過提升候選區(qū)域的置信度，減小其尺寸大小來保留更多的冗余框，使非極大值抑制機(jī)制失效，并基于梯度加權(quán)的類激活映射[15]（gradient-weighted class activation mapping，Grad-CAM）方法獲取圖像的熱力圖，對(duì)其進(jìn)行處理得到與模型預(yù)測(cè)目標(biāo)相關(guān)的特征圖關(guān)注區(qū)域，減小候選區(qū)域與這些關(guān)注區(qū)域的IoU值，引導(dǎo)候選區(qū)域偏離關(guān)注區(qū)域，從而導(dǎo)致模型檢測(cè)失??；引入特征圖損失進(jìn)一步優(yōu)化對(duì)抗樣本生成過程，較好地提高了對(duì)抗樣本的遷移能力。在VOC數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，TEA能夠有效攻擊

Faster-RCNN（VGG16、Swin-Transformer）、YOLOv5、SSD300[16]、SSD512、RetinaNet[17]（ResNet50、Swin-Transformer）、One-Net[18]等多種目標(biāo)檢測(cè)模型，驗(yàn)證了TEA具有較強(qiáng)的遷移能力。

1 相關(guān)工作

1.1 目標(biāo)檢測(cè)

近年來，隨著深度學(xué)習(xí)領(lǐng)域的不斷發(fā)展，目標(biāo)檢測(cè)模型的檢測(cè)精度和速度均取得了顯著突破。目前，目標(biāo)檢測(cè)模型已被廣泛應(yīng)用于人臉識(shí)別、車輛檢測(cè)、無人駕駛等領(lǐng)域。

現(xiàn)有目標(biāo)檢測(cè)模型根據(jù)是否進(jìn)行候選框提取大致分為兩類：?jiǎn)坞A段算法和雙階段算法。RCNN[19]、Faster-RCNN、Cascade-RCNN[20]等算法是經(jīng)典的雙階段算法，該類算法將檢測(cè)過程分為兩步，先進(jìn)行候選框的提取，再對(duì)提取的候選框進(jìn)行分類和位置回歸；單階段算法直接在特征圖上進(jìn)行分類和回歸，SSD系列、YOLO系列、RetinaNet等算法是其典型代表。上述算法均使用了Anchor機(jī)制，又被稱為Anchor-based算法，F(xiàn)cos[21]、Corner-Net[22]、One-Net[23]等Anchor-free算 法 舍 棄 了Anchor機(jī)制，在目標(biāo)檢測(cè)領(lǐng)域也取得了不錯(cuò)的效果。

根據(jù)使用主干網(wǎng)絡(luò)的不同，檢測(cè)方法又可分為基于CNN和基于Transformer兩類。隨著ViT[24]首次將Transformer從自然語言處理領(lǐng)域引入目標(biāo)檢測(cè)領(lǐng)域，研究者們發(fā)現(xiàn)了Transformer在目標(biāo)檢測(cè)領(lǐng)域的巨大潛力，并掀起了研究熱潮，以Swin-Transformer[25]為代表的基于Transformer的目標(biāo)檢測(cè)方法相繼出現(xiàn)，并取得了優(yōu)異的表現(xiàn)，如Swin-Transformer在coco數(shù)據(jù)集上取得了最佳性能。

綜上所述，目標(biāo)檢測(cè)模型的種類繁多，發(fā)展迅速，不同類別之間的目標(biāo)檢測(cè)模型的機(jī)制原理差異較大，同一類別模型所使用的組件也各有不同，這些差異給對(duì)抗樣本攻擊帶來了巨大挑戰(zhàn)。

1.2 目標(biāo)檢測(cè)對(duì)抗樣本定義

假設(shè)原始輸入為x，在添加特定的擾動(dòng)后生成對(duì)抗樣本x′，并將x′作為目標(biāo)檢測(cè)模型的輸入，欺騙目標(biāo)檢測(cè)器。與分類不同，攻擊目標(biāo)檢測(cè)器的目標(biāo)是使模型對(duì)輸入的類別判斷錯(cuò)誤或預(yù)測(cè)的位置坐標(biāo)與真實(shí)標(biāo)簽的IoU值低于閾值。具體過程如公式（1）所示：

其中，p可取0、1、2、∞等值，在大部分方法中p取2，采用L2范數(shù)約束擾動(dòng)，定義原始輸入x的預(yù)測(cè)輸出為B(x)=(Ci,bi)，對(duì)抗樣本x′的預(yù)測(cè)輸出為和Ci分別為檢測(cè)模型對(duì)x′和x預(yù)測(cè)的類別標(biāo)簽，b'i和bi分別為檢測(cè)模型對(duì)x′和x預(yù)測(cè)的矩形框，α為檢測(cè)閾值，一般取0.5。

1.3 針對(duì)目標(biāo)檢測(cè)的對(duì)抗攻擊方法

Xie等人將對(duì)抗樣本從圖像分類擴(kuò)展到更加困難的語義分割和目標(biāo)檢測(cè)，針對(duì)Faster-RCNN提出DAG（dense adversary generation），保留所有RPN生成的被標(biāo)記為正樣本的候選區(qū)域，并丟棄其余的候選區(qū)域，然后設(shè)定閾值條件，人工選取高質(zhì)量的候選區(qū)域進(jìn)行攻擊，為每個(gè)候選區(qū)域隨機(jī)分配一個(gè)錯(cuò)誤標(biāo)簽，導(dǎo)致模型錯(cuò)誤分類；Li等人提出了RAP（robust adversarial perturbation），該方法設(shè)計(jì)了一種結(jié)合分類損失和位置損失的損失函數(shù)，通過破壞雙階段目標(biāo)檢測(cè)模型特有的RPN網(wǎng)絡(luò)達(dá)到攻擊檢測(cè)器的目的；Liao等人[26]針對(duì)anchorfree目標(biāo)檢測(cè)模型提出CA（category-wise attack），通過檢測(cè)器的熱力圖找到富含高級(jí)語義信息的關(guān)鍵像素區(qū)域，對(duì)其進(jìn)行類別攻擊；Wang等人提出了一種破壞NMS的攻擊方法——Daedalus，該方法通過減小回歸框面積、增大不同框之間的距離使得NMS模塊失效，成功攻擊了YOLOv3等檢測(cè)模型。Wei等人基于生成對(duì)抗網(wǎng)絡(luò)框架提出了UEA（unified and efficient adversary）方法，該方法結(jié)合分類損失和特征損失聯(lián)合訓(xùn)練生成對(duì)抗樣本，較好提升了對(duì)抗樣本生成速度，并對(duì)Faster-RCNN和SSD檢測(cè)器均能攻擊成功。

目前，針對(duì)目標(biāo)檢測(cè)的對(duì)抗攻擊方法取得了一定的發(fā)展，但現(xiàn)有方法大多針對(duì)某一種或某一類特定的目標(biāo)檢測(cè)模型進(jìn)行攻擊，在白盒攻擊時(shí)取得了較好的攻擊效果，但在黑盒攻擊時(shí)，其生成對(duì)抗樣本的遷移能力較差。而在實(shí)際應(yīng)用中，攻擊模型一般都是未知的，人們更加看重對(duì)抗攻擊方法的黑盒攻擊能力，因此如何提升目標(biāo)檢測(cè)對(duì)抗攻擊方法的遷移能力是一個(gè)需要關(guān)注的問題。

1.4 Grad-CAM

Grad-CAM是一種基于梯度加權(quán)的類激活映射方法，可以對(duì)任何基于CNN的分類網(wǎng)絡(luò)進(jìn)行可視化，用于定位圖像中與網(wǎng)絡(luò)預(yù)測(cè)相關(guān)的重要區(qū)域。如公式（2）、（3）所示，Grad-CAM使用CNN中卷積層的梯度信息來理解每個(gè)神經(jīng)元對(duì)于類別識(shí)別的重要性，即Grad-CAM利用網(wǎng)絡(luò)反向傳播的梯度計(jì)算出特征圖中每一個(gè)通道的權(quán)重，將不同神經(jīng)元的權(quán)重乘上各自的特征值，然后對(duì)所有神經(jīng)元的對(duì)應(yīng)值進(jìn)行求和，并使用ReLU函數(shù)處理，保留對(duì)分類具有積極作用的像素值，抑制對(duì)分類具有消極作用的像素值，通過上述操作獲得該類別的定位熱圖。

式中，c表示類別，yc是該類別對(duì)應(yīng)的logits（即還未經(jīng)過Softmax的輸出值），A表示特征圖，k表示特征圖A的通道，i、j分別表示特征圖A的橫、縱坐標(biāo)，Z表示特征圖A中長(zhǎng)寬相乘之積。

2 TEA方法

2.1 網(wǎng)絡(luò)框架

現(xiàn)有的攻擊方法大都基于改變損失函數(shù)的梯度，通過反向傳播不斷迭代優(yōu)化，直到達(dá)到一定的效果，所需迭代次數(shù)多，導(dǎo)致對(duì)抗樣本生成時(shí)間長(zhǎng)。在圖像轉(zhuǎn)換（image-to-image translation）領(lǐng)域，不少研究者使用GAN框架來快速實(shí)現(xiàn)圖像到圖像的轉(zhuǎn)換，GAN由兩個(gè)“對(duì)抗性”模型組成：生成器G和判別器D，通過兩者之間的不斷對(duì)抗學(xué)習(xí)來生成指定圖像。對(duì)抗樣本生成本質(zhì)上也是一個(gè)圖像到圖像的轉(zhuǎn)換問題，輸入干凈圖像，輸出對(duì)抗樣本。因此，TEA基于GAN框架來生成對(duì)抗樣本，這種訓(xùn)練方式只需將前饋網(wǎng)絡(luò)訓(xùn)練好，就可以對(duì)任何輸入實(shí)例產(chǎn)生對(duì)抗性擾動(dòng)，而不需要再訪問模型本身，大大提升了對(duì)抗樣本生成速度。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 TEA網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of TEA

2.1.1 生成器

TEA基于文獻(xiàn)[27]構(gòu)建生成器，在編碼器、解碼器結(jié)構(gòu)基礎(chǔ)上，添加了瓶頸層，強(qiáng)化生成器的特征提取能力，其具體結(jié)構(gòu)如圖2（a）所示：編碼器由3層卷積模塊構(gòu)成，卷積模塊由卷積層、歸一化層、激活函數(shù)構(gòu)成；瓶頸層共有4個(gè)殘差塊組成，每個(gè)殘差塊包含兩個(gè)卷積模塊；解碼器由3層反卷積模塊構(gòu)成，前兩個(gè)反卷積模塊包含反卷積層、歸一化層和Relu激活函數(shù)，最后一個(gè)反卷積模塊由反卷積層和Tanh激活函數(shù)組成；其中，生成器的歸一化層均采用實(shí)例歸一化替代傳統(tǒng)的批量歸一化。

2.1.2 判別器

判別器用于區(qū)分輸入圖像是生成圖像還是真實(shí)圖像，監(jiān)督生成器生成更加接近真實(shí)的圖像。其具體結(jié)構(gòu)如圖2（b）所示，共由5個(gè)卷積模塊構(gòu)成，第1個(gè)卷積模塊由卷積層和Relu激活函數(shù)構(gòu)成；第2～4個(gè)卷積模塊由卷積層、歸一化層和Relu激活函數(shù)構(gòu)成；第5個(gè)卷積模塊由卷積層和Sigmod函數(shù)構(gòu)成。

圖2 GAN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of GAN

TEA使用生成器生成對(duì)抗樣本，然后使用判別器對(duì)生成的對(duì)抗樣本與真實(shí)圖像進(jìn)行比較，鑒別真?zhèn)?，通過判別結(jié)果對(duì)生成器進(jìn)行優(yōu)化，進(jìn)一步提升生成器生成的圖像對(duì)判別器的欺騙能力，通過這種博弈來不斷提升生成對(duì)抗樣本的質(zhì)量，其具體損失如公式（4）所示：

D為判別器，G為生成器，x為輸入的干凈樣本，G(x)為生成的擾動(dòng)。

2.2 損失函數(shù)介紹

為了提高生成對(duì)抗樣本的攻擊成功率和遷移能力，并使生成的對(duì)抗樣本盡可能地接近真實(shí)圖像，TEA引入了擾動(dòng)損失和UEA中的特征損失，并設(shè)計(jì)了一種位置回歸攻擊損失來優(yōu)化對(duì)抗樣本。

2.2.1 擾動(dòng)損失

為了減小對(duì)抗樣本與原始圖像的差異，TEA添加了擾動(dòng)損失，如公式（5）所示，x為輸入的干凈樣本，x′為生成的對(duì)抗樣本，采用L2范數(shù)進(jìn)行約束。

2.2.2 特征圖損失

DAG、RAP損失僅針對(duì)Faster-RCNN的結(jié)構(gòu)特點(diǎn)設(shè)計(jì)，從而導(dǎo)致生成對(duì)抗樣本的遷移性較差，為了進(jìn)一步提升對(duì)抗樣本的遷移能力，TEA引入了UEA中的特征圖損失，具體內(nèi)容如公式（6）所示：

式中，Xf為特征網(wǎng)絡(luò)第f層提取的特征圖。Rf是預(yù)定的隨機(jī)特征圖，在訓(xùn)練過程中是固定的。與UEA不同，TEA沒有擾動(dòng)添加掩模，所以它的特征圖損失直接計(jì)算輸入對(duì)抗樣本獲得的特征圖與隨機(jī)特征圖之間的L2距離，通過特征損失，約束Xf盡可能接近Rf，使特征信息趨于隨機(jī)排列，減少對(duì)被攻擊模型的擬合程度，進(jìn)而提升對(duì)抗樣本的遷移能力。在實(shí)驗(yàn)中，選擇VGG16中conv3-3和conv4-2來進(jìn)行操作。

2.2.3 位置回歸損失

引入特征圖損失后，一定程度上提升了TEA的攻擊遷移能力，但目標(biāo)檢測(cè)模型中使用的主干特征網(wǎng)絡(luò)種類較多，不同種類的主干網(wǎng)絡(luò)差異較大。為了進(jìn)一步提升遷移能力，TEA設(shè)計(jì)了一種位置回歸攻擊損失，該損失主要針對(duì)非極大值抑制（non-maximum suppression，NMS）機(jī)制和與模型預(yù)測(cè)相關(guān)的特征圖關(guān)注區(qū)域兩個(gè)方面進(jìn)行攻擊。

NMS機(jī)制是現(xiàn)有目標(biāo)檢測(cè)模型中普遍使用的一種后處理過程，可以消除同一個(gè)目標(biāo)上的冗余預(yù)測(cè)框，提升模型檢測(cè)精度，其機(jī)制原理為先對(duì)置信度得分進(jìn)行篩選，低于一定閾值的候選區(qū)域會(huì)被丟棄，然后選取得分最高的候選框，將其余候選框分別與得分最高的候選框計(jì)算IoU值，如果IoU值大于閾值，則將該候選框去除；重復(fù)這個(gè)過程，直到候選框?yàn)榭?。一旦NMS機(jī)制失效，許多冗余預(yù)測(cè)框就無法被消除，模型檢測(cè)結(jié)果中會(huì)出現(xiàn)很多錯(cuò)誤預(yù)測(cè)。

Faster-RCNN模型分別在RPN網(wǎng)絡(luò)和預(yù)測(cè)輸出前使用了NMS機(jī)制，在TEA中主要針對(duì)RPN網(wǎng)絡(luò)的NMS進(jìn)行了攻擊。為使NMS機(jī)制失效，保留更多的冗余候選框，NMS攻擊損失主要從兩個(gè)方面入手設(shè)計(jì)：一是提高候選框的包含目標(biāo)的置信度得分，減少因置信度過低而被丟棄的候選框數(shù)量；二是減小候選框之間的IoU值，使其低于閾值，從而保留更多的候選框。但RPN網(wǎng)絡(luò)生成的候選框數(shù)目較多，兩兩計(jì)算IoU閾值需要耗費(fèi)大量計(jì)算資源，因此TEA借鑒了Daedalus中的NMS損失，通過減小候選框的尺寸大小來達(dá)到降低候選框之間的IoU值的目的，這種優(yōu)化方式所需計(jì)算資源很少，對(duì)設(shè)備的硬件要求不高，在實(shí)際應(yīng)用中均能使用該策略來實(shí)現(xiàn)對(duì)NMS機(jī)制的攻擊。其具體內(nèi)容如公式（7）所示：

式中，W、H分別為輸入圖像的長(zhǎng)和寬；定義R={r1,r2,…,rn}是所有RPN生成的候選區(qū)域的集合，F(xiàn)(ri)=為第i個(gè)候選區(qū)域的信息，其中，Si、分別為候選框的得分、長(zhǎng)和寬。

雖然NMS機(jī)制是現(xiàn)有目標(biāo)檢測(cè)模型中應(yīng)用最為廣泛的組件之一，但FCOS、One-Net等檢測(cè)模型舍棄了NMS處理，NMS損失可能無法對(duì)此類檢測(cè)模型造成有效攻擊。因此，為了進(jìn)一步提升對(duì)抗樣本的遷移能力，TEA通過熱力圖捕獲與檢測(cè)模型預(yù)測(cè)相關(guān)的特征圖關(guān)注區(qū)域，引導(dǎo)候選區(qū)域偏離預(yù)測(cè)關(guān)注區(qū)域，導(dǎo)致模型預(yù)測(cè)錯(cuò)誤。

Grad-CAM是一種基于梯度加權(quán)的類激活映射方法，它可以定位圖像中與CNN分類網(wǎng)絡(luò)預(yù)測(cè)相關(guān)的重要區(qū)域。但該方法無法直接用于檢測(cè)模型，TEA方法結(jié)合Faster-RCNN特點(diǎn)對(duì)其進(jìn)行了改進(jìn)，選取RPN網(wǎng)絡(luò)中得分排名前300位的候選區(qū)域，分別進(jìn)行梯度加權(quán)激活映射計(jì)算權(quán)重值，并對(duì)獲取的權(quán)重值累加，得到檢測(cè)模型的關(guān)注區(qū)域熱力圖，然后選定一個(gè)合適的閾值對(duì)該熱力圖進(jìn)行二值化處理，得到連通區(qū)域，再對(duì)該連通區(qū)域進(jìn)行篩選，獲得模型預(yù)測(cè)相關(guān)的特征圖關(guān)注區(qū)域；最后，使用這些關(guān)鍵區(qū)域與RPN生成的候選區(qū)域分別進(jìn)行IoU計(jì)算，引導(dǎo)候選區(qū)域偏離檢測(cè)模型預(yù)目標(biāo)相關(guān)的特征圖關(guān)注區(qū)域，致使模型預(yù)測(cè)錯(cuò)誤。其具體操作如公式（8）～（13）所示：

定義S={g1,g2,…,g300}為RPN網(wǎng)絡(luò)中得分排名前300位的候選區(qū)域的集合，gi為其中第i個(gè)候選區(qū)域，αif為特征圖A的第f個(gè)通道對(duì)第i個(gè)候選區(qū)域的權(quán)重，yi是第i個(gè)候選區(qū)域的包含目標(biāo)的概率，Af為特征圖A的第f個(gè)通道，M為歸一化后得到的熱力圖；R={r1,r2,…,rn}為RPN網(wǎng)絡(luò)生成的所有候選區(qū)域的集合，ri為其中第i個(gè)候選區(qū)域，ε為選取的閾值系數(shù)，在本實(shí)驗(yàn)中取0.15，Mmax為M中的最大像素值，threshold為閾值函數(shù)，對(duì)M進(jìn)行二值化處理，大于εMmax的像素點(diǎn)其值取255，小于εMmax的像素點(diǎn)其值取0；regionprops為連通區(qū)域篩選函數(shù)，獲取G中的連通區(qū)域分布，得到特征圖關(guān)注區(qū)域。

如圖3所示，（a）為原始圖片，（b）為獲取的關(guān)注區(qū)域熱力圖，（c）為原始圖片和關(guān)注區(qū)域熱力圖的疊加。從圖中結(jié)果可得，改進(jìn)的熱力圖獲取方式，無論是對(duì)單目標(biāo)還是多目標(biāo)，單一類別還是多種類別，均能有效捕獲檢測(cè)模型的關(guān)注區(qū)域熱力圖。

圖3 關(guān)注區(qū)域熱力圖Fig.3 Heatmap of concerned region

因此，最終的位置回歸攻擊損失由NMS攻擊損失和特征圖關(guān)注區(qū)域攻擊損失兩部分組成，其中λ為特征圖關(guān)注區(qū)域損失的權(quán)重，本實(shí)驗(yàn)中λ=10，具體公式如下所示：

綜上所述，TEA算法的損失函數(shù)有GAN損失、擾動(dòng)損失、特征圖損失和位置回歸攻擊損失四部分組成。GAN損失用于優(yōu)化GAN網(wǎng)絡(luò)中的生成器和鑒別器；擾動(dòng)損失用于約束擾動(dòng)生成，確保生成的對(duì)抗樣本的圖片質(zhì)量；特征圖損失使對(duì)抗樣本輸入模型得到的特征信息趨于隨機(jī)排列，減少對(duì)被攻擊模型的擬合程度，進(jìn)而提升對(duì)抗樣本的遷移能力；位置回歸損失針對(duì)NMS機(jī)制和與模型預(yù)測(cè)相關(guān)的特征圖關(guān)注區(qū)域兩個(gè)方面進(jìn)行攻擊，將對(duì)抗樣本適用的檢測(cè)模型類型進(jìn)一步擴(kuò)展，更好地提升了對(duì)抗樣本的遷移能力。具體內(nèi)容如公式（15）所示：

α、β、γ分別為擾動(dòng)損失、特征圖損失和位置回歸攻擊損失的權(quán)重，用于平衡各項(xiàng)損失。

2.3 算法流程

整個(gè)攻擊方法采用生成器和訓(xùn)練器輪流訓(xùn)練更新的方式，先訓(xùn)練生成器，固定判別器參數(shù)，然后再訓(xùn)練判別器，固定生成器參數(shù)，采用Adam優(yōu)化方式，具體流程如算法1所示。

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集和攻擊模型介紹

本文使用目標(biāo)檢測(cè)常用的VOC2007、VOC2012訓(xùn)練集進(jìn)行訓(xùn)練，使用VOC2007測(cè)試集進(jìn)行測(cè)試。VOC2007數(shù)據(jù)集共包含20個(gè)類別9 963張圖片。VOC2012數(shù)據(jù)集共包含20個(gè)類別11 540張圖片。

本實(shí)驗(yàn)中，將攻擊如下模型：（1）白盒攻擊，F(xiàn)aster-RCNN（VGG16）；（2）黑盒攻擊，SSD300、SSD512、Retinanet（ResNet50）、RetinaNet（Swin）、YOLOv5、One-Net、Faster-RCNN（Swin）。黑盒攻擊模型中，代碼均為Github上復(fù)現(xiàn)的pytorch版本代碼，對(duì)比算法均使用默認(rèn)參數(shù)，SSD300、SSD512、Retinanet（ResNet50）的權(quán)重為官方開源版本，YOLOv5、One-Net、Faster-RCNN（Swin）、RetinaNet（Swin）的權(quán)重均在VOC2007、VOC2012訓(xùn)練集進(jìn)行訓(xùn)練得到。

3.2 評(píng)價(jià)指標(biāo)介紹

3.2.1 攻擊成功率

目標(biāo)檢測(cè)常用的性能評(píng)價(jià)指標(biāo)為平均準(zhǔn)確度均值（mean average precision，mAP），所以把被攻擊檢測(cè)模型的mAP下降程度，即攻擊成功率（attack success rate，ASR）作為衡量攻擊算法的性能指標(biāo)，ASR值越大表示目標(biāo)檢測(cè)模型的mAP值下降越大，攻擊算法的性能越好，其具體計(jì)算方法如公式（16）所示：

其中，mAPadv為輸入對(duì)抗樣本時(shí)檢測(cè)模型的mAP值，mAPori為輸入原始圖片時(shí)檢測(cè)模型的mAP值，ASR值的范圍為0到1之間。

3.2.2 攻擊遷移性

使用攻擊轉(zhuǎn)移比率（attack transfer ratio，ATR）來作為衡量遷移性的指標(biāo)，如公式（17）所示：

其中，ASRtarget是遷移目標(biāo)攻擊成功率，ASRorigin是白盒模型攻擊成功率。

3.2.3 圖像質(zhì)量評(píng)價(jià)指標(biāo)

均方誤差（mean square error，MSE）、峰值信噪比（peak signal-to-noise ratio，PSNR）都是基于對(duì)應(yīng)像素點(diǎn)間的誤差，是使用最廣泛的圖像客觀評(píng)價(jià)指標(biāo)，具體計(jì)算方式如下所示：

3.3 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

文中算法在深度學(xué)習(xí)框架pytorch1.7.1上運(yùn)行，工作站配置為Nvidia RTX 2080Ti 12G，Batch（批次）設(shè)置為1，迭代次數(shù)為9輪，圖像大小為300×300像素，初始學(xué)習(xí)率設(shè)置為0.1，使用Adam（adaptive moment estimation，自適應(yīng)矩估計(jì)）優(yōu)化方法，學(xué)習(xí)率衰減系數(shù)為0.001；mAP計(jì)算所用IoU閾值為0.5。

3.4 實(shí)驗(yàn)結(jié)果分析

本節(jié)分別對(duì)不同參數(shù)設(shè)置對(duì)算法性能的影響、TEA的白盒攻擊能力、黑盒攻擊遷移性及位置回歸攻擊損失對(duì)提升攻擊遷移能力的效果進(jìn)行了對(duì)比實(shí)驗(yàn)。

3.4.1 參數(shù)對(duì)比實(shí)驗(yàn)

本文通過實(shí)驗(yàn)分析得到TEA損失函數(shù)中α、β、γ這3個(gè)參數(shù)對(duì)算法性能的影響，并為選擇合適的參數(shù)提供依據(jù)。

UEA中擾動(dòng)損失和特征圖損失的權(quán)重分別為0.05和[0.000 1，0.000 2]（分別為VGG16中conv3-3和conv4-2層的權(quán)重），TEA將該取值作為其擾動(dòng)損失和特征圖損失的權(quán)重初始值，為了減少不同損失之間的數(shù)量級(jí)差異，將位置回歸損失權(quán)重初始值設(shè)為10。在上述初始值的上下區(qū)間分別取值，共設(shè)置了7組參數(shù)進(jìn)行對(duì)比實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)結(jié)果選取最優(yōu)參數(shù)值。實(shí)驗(yàn)中設(shè)置的7組參數(shù)在3.1節(jié)中的數(shù)據(jù)集和攻擊模型上進(jìn)行訓(xùn)練測(cè)試，采用3.2節(jié)中的評(píng)價(jià)指標(biāo)進(jìn)行衡量對(duì)比。

為了確保對(duì)抗樣本的實(shí)用性，在選擇不同參數(shù)組合時(shí)，既要保證最后生成的對(duì)抗樣本具有較強(qiáng)的攻擊能力，也要確保其與原圖差異不要過大，保持一定的圖片質(zhì)量，因此實(shí)驗(yàn)首先對(duì)設(shè)置的7種參數(shù)組合生成的對(duì)抗樣本的PSNR、MSE進(jìn)行了計(jì)算。具體結(jié)果如表1所示。

表1 對(duì)抗樣本的PSNR和MSETable 1 PSNR and MSE of adversarial examples

由表1結(jié)果可得，當(dāng)α值過小或當(dāng)β值過大時(shí)，特征圖損失占比過大，擾動(dòng)損失占比過小，模型對(duì)擾動(dòng)的約束不夠，導(dǎo)致最終生成的對(duì)抗樣本的圖片質(zhì)量不高。根據(jù)結(jié)果，舍棄了圖片質(zhì)量較差的三種參數(shù)組合，篩選PSNR大于25 dB的4種參數(shù)組合進(jìn)一步進(jìn)行遷移能力測(cè)試。具體結(jié)果如表2所示。

分析表2結(jié)果可得，模型在這4種權(quán)重參數(shù)組合下都取得了一定的效果，但仍存在一些差異。從整體來看，當(dāng)參數(shù)α、β值選取一定時(shí)，適當(dāng)增大γ值，對(duì)7種檢測(cè)模型的攻擊效果較好，表明在聯(lián)合損失中適當(dāng)增大位置回歸攻擊損失的權(quán)重對(duì)模型效果有一定提升。

表2 參數(shù)對(duì)比實(shí)驗(yàn)Table 2 Parameter comparison experiment

由上述實(shí)驗(yàn)分析可得，在選取的7種參數(shù)設(shè)置中，當(dāng)α=0.05,β=[0.000 01,0.000 02],γ=10時(shí)，對(duì)抗樣本在保持一定圖片質(zhì)量的同時(shí)，取得了最佳的攻擊效果。在后續(xù)實(shí)驗(yàn)中，均設(shè)置α=0.05,β=[0.000 01,0.000 02],γ=10。

3.4.2 白盒攻擊實(shí)驗(yàn)

為了驗(yàn)證該方法的白盒攻擊能力，在數(shù)據(jù)集VOC2007上進(jìn)行實(shí)驗(yàn)，使用TEA方法攻擊白盒模型Faster-RCNN，F(xiàn)aster-RCNN采用pytorch復(fù)現(xiàn)的代碼，主干網(wǎng)絡(luò)采用VGG16。預(yù)訓(xùn)練好的Faster-RCNN對(duì)原始輸入的mAP值達(dá)到了0.7，經(jīng)過9輪訓(xùn)練之后，TEA對(duì)Faster-RCNN的攻擊效果達(dá)到了最大，mAP值降到了0.01。圖4為Faster-RCNN檢測(cè)VOC2007數(shù)據(jù)集中20個(gè)類別的mAP值，其中，藍(lán)色線條為原始輸入，紅色線條為對(duì)抗樣本。可以看到，經(jīng)過TEA攻擊之后，各類別的精度值都有了大幅度下降。

圖4 各類別mAPFig.4 mAP of different categories

為進(jìn)一步驗(yàn)證TEA的白盒攻擊能力，選取了兩種經(jīng)典的目標(biāo)檢測(cè)對(duì)抗攻擊方法DAG、RAP進(jìn)行對(duì)比實(shí)驗(yàn)。采用相同的Faster-RCNN模型和數(shù)據(jù)集，DAG、RAP根據(jù)論文和官方代碼進(jìn)行重新復(fù)現(xiàn)。采用ASR評(píng)價(jià)指標(biāo)來衡量白盒攻擊性能，對(duì)比實(shí)驗(yàn)結(jié)果如表3所示。

表3 白盒攻擊成功率對(duì)比Table 3 Comparison of white box attack success rate

從表中結(jié)果可得，DAG、RAP、TEA的AR指標(biāo)分別為0.93、0.93、0.97，TEA的白盒攻擊率成功率最高，達(dá)到了0.97，有效欺騙了Faster-RCNN模型。

對(duì)比每張圖片的生成時(shí)間可得，TEA用時(shí)最短，僅需0.1 s，達(dá)到了實(shí)時(shí)生成對(duì)抗樣本；與其他兩種方法相比，TEA大幅縮短了對(duì)抗樣本生成時(shí)間，且具有更好的攻擊效果。

3.4.3 攻擊遷移能力實(shí)驗(yàn)

為了進(jìn)一步探索TEA方法的攻擊遷移能力，設(shè)置了黑盒模型攻擊實(shí)驗(yàn)，選取了SSD300、SSD512、RetinaNet（ResNet50）、RetinaNet（Swin）、YOLOv5、One-Net、Faster-RCNN（Swin）7種應(yīng)用廣泛的單階段和雙階段檢測(cè)模型作為黑盒模型，7種模型涵蓋了使用NMS和不使用NMS機(jī)制，主干網(wǎng)絡(luò)既有基于CNN結(jié)構(gòu)的，也有基于Transformer結(jié)構(gòu)的。采用ATR指標(biāo)來衡量其攻擊遷移能力，值越大，表明其遷移能力越強(qiáng)。具體對(duì)比結(jié)果如表4所示。

表4 攻擊遷移能力對(duì)比Table 4 Comparison of attack transferability

由表中結(jié)果可得，DAG和RAP在攻擊SSD300、

SSD512、RetinaNet（ResNet50）、YOLOv5、One-Net、Faster-RCNN（Swin）、RetinaNet（Swin）7種黑盒模型時(shí)，其ASR和ATR指標(biāo)均較低，遷移能力較差；TEA攻擊Faster-RCNN模型生成的對(duì)抗樣本在攻擊上述7種黑盒模型時(shí)均取得了較好的效果，ASR、ATR指標(biāo)遠(yuǎn)遠(yuǎn)高于DAG和RAP，說明其遷移能力較DAG和RAP得到了大幅提升。One-Net是一種未使用NMS機(jī)制的Anchor-Free的檢測(cè)模型，在攻擊該模型時(shí)，TEA方法的ATR指標(biāo)為0.693，驗(yàn)證了該方法在攻擊結(jié)構(gòu)差異較大的檢測(cè)模型也能取得較好的效果；在攻擊主干網(wǎng)絡(luò)為Swin-Transformer的Faster-RCNN和RetinaNet模型時(shí)，TEA方法的ATR指標(biāo)分別為0.84、0.81，驗(yàn)證了TEA對(duì)不同主干網(wǎng)絡(luò)檢測(cè)模型也具有較強(qiáng)的攻擊能力。綜上所述，TEA方法有效提升了目標(biāo)檢測(cè)對(duì)抗攻擊方法的遷移能力，且該方法對(duì)不同主干網(wǎng)絡(luò)和不同結(jié)構(gòu)的檢測(cè)模型均有攻擊效果。

3.4.4 消融實(shí)驗(yàn)

為了深入分析TEA方法的不同損失對(duì)算法性能的影響，選擇使用GAN損失、擾動(dòng)損失、特征圖損失作為基線模型，分別采用添加NMS損失，特征圖關(guān)注區(qū)域損失和將兩者結(jié)合的位置回歸攻擊損失3種策略進(jìn)行消融實(shí)驗(yàn)。表5為消融實(shí)驗(yàn)結(jié)果。

由表5結(jié)果可得，僅添加NMS損失，除One-Net外，對(duì)其他6種使用NMS機(jī)制的黑盒模型的ATR指標(biāo)均有所提升，表明針對(duì)Faster-RCNN的NMS機(jī)制進(jìn)行攻擊得到的對(duì)抗樣本，對(duì)其他使用NMS機(jī)制的檢測(cè)模型也具有一定的攻擊效果；僅添加特征圖關(guān)注區(qū)域損失后，對(duì)7種黑盒模型的ATR指標(biāo)均有所提升，且添加特征圖關(guān)注區(qū)域損失提升的幅度要大于NMS損失，表明基于特征圖關(guān)注區(qū)域的攻擊損失對(duì)各類檢測(cè)模型具有很好的遷移能力；而將兩者進(jìn)行結(jié)合，添加位置回歸損失后，對(duì)7種黑盒攻擊模型的ATR指標(biāo)均得到進(jìn)一步提升，驗(yàn)證了該損失對(duì)提升對(duì)抗樣本的遷移能力的作用。特別是在攻擊主干網(wǎng)絡(luò)為Swin-Transformer的Faster-RCNN、RetinaNet時(shí)，ATR指標(biāo)變化更為明顯，分別提升了29.2%、50%，說明當(dāng)主干網(wǎng)絡(luò)和結(jié)構(gòu)差異相差較大時(shí)，位置回歸損失相較于特征圖損失在提升攻擊遷移能力上發(fā)揮了更好的作用，較好地提升了對(duì)抗樣本的泛化能力。

表5 不同損失函數(shù)的攻擊遷移能力對(duì)比Table 5 Comparison of attack transferability of different loss functions

如圖5所示，（a）、（b）、（c）、（d）、（e）分別為原始圖像，檢測(cè)模型對(duì)原始圖像和對(duì)抗樣本預(yù)測(cè)的關(guān)鍵區(qū)域及原始圖像和對(duì)抗樣本的檢測(cè)結(jié)果。由圖可得，經(jīng)過本文的位置回歸損失攻擊之后，檢測(cè)網(wǎng)絡(luò)的特征圖關(guān)注區(qū)域較原始圖像有了較大的偏離，部分關(guān)注區(qū)域僅覆蓋少部分目標(biāo)，或者關(guān)注區(qū)域沒有覆蓋真實(shí)目標(biāo)，將背景識(shí)別為目標(biāo)，甚至出現(xiàn)了特征圖關(guān)注區(qū)域消失的情況，無法有效感知目標(biāo)；最終的檢測(cè)結(jié)果顯示，經(jīng)過位置回歸損失攻擊后，模型預(yù)測(cè)出現(xiàn)了漏檢、無法檢測(cè)到目標(biāo)的情況，進(jìn)一步驗(yàn)證了位置回歸攻擊損失的作用。

圖5 特征圖關(guān)注區(qū)域?qū)Ρ菷ig.5 Comparison of focus area of feature maps

4 結(jié)束語

針對(duì)現(xiàn)有目標(biāo)檢測(cè)對(duì)抗攻擊方法遷移能力較差的問題，本文提出了一種新的目標(biāo)檢測(cè)攻擊方法TEA，該方法能夠?qū)崟r(shí)生成對(duì)抗樣本，且生成的對(duì)抗樣本具有一定的遷移能力，能夠有效攻擊多種檢測(cè)模型。不同于DAG、RAP等方法，TEA沒有針對(duì)白盒攻擊模型的特點(diǎn)設(shè)計(jì)攻擊損失，而是針對(duì)檢測(cè)模型的通用組件NMS和深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像預(yù)測(cè)的關(guān)注區(qū)域設(shè)計(jì)了位置回歸攻擊損失，該損失能夠有效攻擊NMS機(jī)制，引導(dǎo)模型預(yù)測(cè)偏離關(guān)鍵區(qū)域從而導(dǎo)致其檢測(cè)目標(biāo)失敗，最后生成的對(duì)抗樣本沒有過于擬合白盒攻擊模型，具有較好的泛化能力，能夠有效攻擊基于卷積和基于Transformer等多種類別的檢測(cè)模型。