付 平,郭 玲,劉 冰,朱玉晴,鳳 雷

(哈爾濱工業(yè)大學 電子與信息工程學院，哈爾濱 150001)

0 引言

隨著深度學習理論知識的不斷擴大及硬件計算資源的發(fā)展，深度神經(jīng)網(wǎng)絡受到了廣泛的研究和應用。深度神經(jīng)網(wǎng)絡快速發(fā)展使得其在圖像分類[1]、目標檢測[2]、圖像分割[3]和目標跟蹤[4]等各項任務中均有出色的表現(xiàn)。在目標識別領域中，深度神經(jīng)網(wǎng)絡有大量的應用已經(jīng)落地，比如日常生活中的智能手機利用人臉識別技術[5]進行屏幕解鎖。深度神經(jīng)網(wǎng)絡已經(jīng)滲透進我們的日常生活中，而其本身具有的不可解釋性使得其行為難以解釋和控制[6]，因此關于其魯棒性和穩(wěn)定性的研究大量涌現(xiàn)。一些研究發(fā)現(xiàn)盡管深度神經(jīng)網(wǎng)絡具有準確性高和應用廣泛等優(yōu)勢，但其在受到一些外界干擾時易失效。

Szegedy等[6]首次發(fā)現(xiàn)在輸入圖像上添加一些特定的人眼無法察覺的擾動可以使深度神經(jīng)網(wǎng)絡模型無法正確識別，這種特定的微小擾動稱為對抗擾動，添加對抗擾動后的圖像稱為對抗樣本，生成對抗樣本并使模型識別錯誤的算法稱為對抗攻擊算法。對抗攻擊現(xiàn)象可能會對我們的人身及財產(chǎn)安全造成巨大的影響，只有充分研究對抗攻擊算法，才能發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡易失效的原因，促進對抗攻擊防御方法的完善和深度神經(jīng)網(wǎng)絡安全性方面研究的發(fā)展，從而有針對性的構建更加魯棒的深度神經(jīng)網(wǎng)絡模型。目標檢測作為計算機視覺的一個熱門方向，有著越來越多的應用，現(xiàn)有的針對目標檢測器的對抗攻擊方法都是基于梯度的攻擊或是基于置信度的攻擊，而工業(yè)界應用的目標檢測通常只為用戶提供最終的決策信息，不會提供過多模型內(nèi)部信息和帶有置信度的識別結(jié)果，所以以上攻擊方法將不再適用。

為了得到更適用于工業(yè)界應用的目標檢測器的對抗攻擊方法，本文提出了一種基于決策的目標檢測器黑盒對抗攻擊方法，該方法通過使目標檢測器定位錯誤來進行攻擊，在迭代優(yōu)化時，沿著對抗樣本與非對抗樣本的邊界執(zhí)行游走，保證其定位錯誤的前提下，減小對抗樣本的擾動。本文提出的對抗攻擊方法不需要用到目標檢測器的梯度信息以及輸出標簽和檢測框的置信度信息，僅利用其輸出的檢測框的位置信息即可實現(xiàn)高效的攻擊。

1 相關工作

近年來，研究人員在對抗攻擊方向進行了大量的研究，提出了多種對抗攻擊算法。

Szegedy等人[6]在2014年首次在圖像分類領域發(fā)現(xiàn)了對抗攻擊現(xiàn)象，并提出L-BFGS方法來生成對抗樣本。研究者在L-BFGS基礎上又相繼提出效果更好的FGSM方法[7]，DeepFool方法[8]、C&W方法[9]和JSMA 算法[10]，以上方法均為白盒攻擊方法，需要知道模型的內(nèi)部結(jié)構，利用其損失函數(shù)的梯度信息才能實現(xiàn)攻擊。Chen等人在2017年提出了一種黑盒攻擊方法——ZOO(Zeroth Order Optimization)方法[11]，這種方法不需要知道模型的梯度信息，而是通過與模型多次進行交互，利用大量模型輸出的置信度信息來對受攻擊模型進行梯度估計，從而生成對抗樣本。Su等提出了ONE-PIXEL黑盒攻擊方法[12]，僅通過改變圖像的一個像素就能實現(xiàn)對模型的攻擊，該方法應用微分進化來找到最優(yōu)解。以上黑盒攻擊方法均需利用模型輸出的置信度信息，而大多工業(yè)界應用的模型只會為用戶提供最終的決策，Brendel 等提出了一種邊界攻擊方法[13]，能夠高效攻擊更接近現(xiàn)實場景中的黑盒模型，該方法不需要使用梯度或置信度信息，利用決策邊界的幾何屬性，在獲得極少信息量的情況下對模型進行高效的攻擊。

對抗攻擊方法在圖像分類領域取得了一定的研究成果后，研究人員開始將對抗攻擊方法擴展到目標檢測領域。2017年，Lu等人[14]提出了DFool算法，是一種針對Faster R-CNN[15]的白盒對抗攻擊方法，其利用Faster R-CNN在所有STOP交通標志上進行得分測試，通過最小化所有圖像的平均預測得分，設計出STOP交通標志的對抗樣本。Xie等人[16]針對目標檢測器的分類損失函數(shù)提出了DAG攻擊方法，該方法首先得到每個目標物體的正確類別，然后再為目標物體設置一個不正確的標簽，通過迭代增大不正確的標簽的置信度，同時減小正確標簽的置信度，最終使得檢測器對輸入圖片的所有感興趣區(qū)域(RoI, region of interest)都分類錯誤。Wang等人[17]提出了一種針對YOLO目標檢測器[18]的對抗攻擊方法——Daedalus，通過攻擊YOLO的非極大值抑制機制來使YOLO檢測錯誤。Wu等人在2019年提出了一種針對目標檢測器的黑盒攻擊方法——G-UAP[19]，其是在UAP方法[20]的基礎上進行了改進，通過誘導RPN網(wǎng)絡[15]將前景目標誤認為是背景，即降低圖片中前景目標的置信度，同時增加背景的置信度從而實現(xiàn)攻擊。2020年，Chow等人[21]從目標檢測器的輸出結(jié)構考慮，提出了3種有針對性的對抗攻擊方法，稱為TOG，其利用模型的損失函數(shù)，通過3種類型的有目標攻擊來欺騙目標檢測器，包括目標消失、目標制造和目標標簽錯誤。

僅利用模型的決策信息進行對抗攻擊的方法目前只在圖像分類領域有相關研究，現(xiàn)有的針對目標檢測器的對抗攻擊方法都需要知道模型的內(nèi)部結(jié)構或者知道其輸出的置信度信息才能實現(xiàn)高效的攻擊，而工業(yè)界應用的目標檢測器通常不會為用戶提供過多的信息，因此本文提出了一種適用于工業(yè)界應用的目標檢測器的對抗攻擊方法。

2 對抗邊界與對抗樣本標準的設計

本文提出的對抗攻擊方法通過沿著對抗邊界游走以找到最優(yōu)對抗樣本，使目標檢測器定位準確度降低。為了更好的描述本文方法，現(xiàn)給出定位準確度評價指標以及對抗邊界與對抗樣本標準的設計。

2.1 定位準確度評價指標

目標檢測器的主要任務不僅是分類，同時還需要定位，目標檢測器對于單個目標的定位好壞通常用IoU來評價。IoU用于衡量預測框和人工標注的真實框的重合程度，其計算方法如下：

(1)

即預測回歸框與真實回歸框的交集比上預測回歸框與真實回歸框的并集。

通常，我們會設置一個IoU門限值，大于這個門限值的檢測框我們就認為其檢測到了目標，而小于這個門限值我們就認為其沒有檢測到目標，當IoU門限值設置為0.5時的檢測效果如圖1所示。

圖1 IoU門限值為0.5時檢測效果

利用對抗攻擊方法生成對抗樣本是針對整張圖片而言的，而不是一個目標，只能評價單個目標的定位好壞，對于一張圖片所有目標的定位結(jié)果我們引入平均作為評價指標，其計算公式如下：

(2)

其中:IoU1、…、IoUi、…、IoUN分別為第i個真實框所匹配的最大IoU值。

以圖2為例，兩個黑色的邊界框為我們標注的真實邊界框，4個灰色的邊界框為模型預測的邊界框，我們的目標就是為找到分別與所有真實邊界框IoU最大的預測框，并記錄IoU值，然后計算平均值。以圖2為例，我們首先選取真實框1，并遍歷4個預測框，找到與真實框1的IoU最大的預測框為預測框1，記錄IoU此為IoU1；然后選取真實框2，由于預測框1已經(jīng)被匹配了，我們就不再匹配它，所以遍歷剩下的3個預測框，找到與真實框2的IoU最大的預測框，記錄IoU此為IoU2(此時沒有預測框與真實框2相交，所以IoU2為0)。所以平均IoU為(IoU1+IoU2)/2。

圖2 計算IoU示例

2.2 對抗邊界

GA={Pi|avg_IoUA(Pi)>50%}

(3)

在一個目標檢測神經(jīng)網(wǎng)絡中，圖像A的對抗邊界指圖像A的對抗區(qū)域中最靠近其非對抗區(qū)域的圖像的集合，即圖像A的對抗區(qū)域的最內(nèi)層，進行極其微小的移動都會進入到非對抗區(qū)域。圖像A的對抗邊界為：

(4)

2.3 對抗樣本標準

在本文提出的攻擊方法中，判斷圖像為對抗樣本的標準為圖像的平均IoU小于50%。當受攻擊的目標圖像的平均IoU從50%以上降低到50%以下時，我們就認為目標檢測器定位失效了，其對該圖片的定位發(fā)生了錯誤。

3 目標檢測器決策攻擊方法

充分研究對抗攻擊算法有助于對對抗攻擊防御方法進行完善，增強深度神經(jīng)網(wǎng)絡模型的魯棒性，為了挖掘工業(yè)應用的目標檢測器易失效的原因以提高其魯棒性，本文提出了一種基于決策的目標檢測器黑盒對抗攻擊方，通過使目標檢測器定位錯誤來實現(xiàn)針對目標檢測器的對抗攻擊，借鑒了邊界攻擊[13]的思想，利用迭代搜索的方法尋找最優(yōu)對抗樣本。

3.1 總體流程

本文首次將邊界攻擊的思想應用于目標檢測任務，提出了針對目標檢測器的決策攻擊方法。該方法總體流程圖如圖3所示，在得到原始輸入圖像后，本文提出的方法需要使用已經(jīng)對抗的樣本進行初始化，首先粗略地尋找無擾動限制的初始對抗樣本，為了減小擾動大小，將初始對抗樣本朝著原圖的方向進行移動直到到達對抗邊界附近并保證圖像仍為對抗樣本，然后將當前對抗樣本沿著對抗邊界執(zhí)行迭代游走，游走的方向需要為與原始圖像距離更近的方向，同時仍停留對抗區(qū)域中，從而保證樣本仍是對抗樣本的同時降低與原始圖像的距離，為了使避免擾動難以收斂的問題，每迭代固定次數(shù)后將進行超參數(shù)調(diào)整，當?shù)螖?shù)達到我們所設置的次數(shù)上限后，得到最終對抗樣本。其中，本文采用歐氏距離衡量兩個圖像之間的距離，假設圖像A的像素點矩陣為X，每一個像素點值分別為x1,x2,…,xn，圖像B的像素點矩陣為Y，每一個像素點值分別為y1,y2,…,yn，則圖像A和圖像B之間的距離公式如下：

圖3 針對目標檢測器的決策攻擊方法流程圖

(4)

3.2 攻擊對象與初始對抗樣本生成

本文提出的攻擊方法主要攻擊的對象是平均IoU大于50%的圖像，即原始輸入圖像的平均IoU大于50%。通常認為目標檢測模型對平均IoU小于50%的圖像本身定位準確度就較低，所以沒有必要進行攻擊。

本文方法需要使用已經(jīng)對抗的樣本進行初始化，在尋找初始對抗樣本的過程中，我們首先需要在測試集中找到檢測結(jié)果與輸入圖像的真實回歸框平均IoU小于0.5的圖像，作為干擾圖像，與原始圖像進行疊加。令α為疊加系數(shù)，初始值為0.5，通過多次二分查找，保證仍是對抗樣本的同時盡可能降低α的值，以使初始對抗樣本與原始圖像的距離盡可能的小一些，減少后續(xù)迭代次數(shù)，搜索到合適的疊加系數(shù)α后，生成初始對抗樣本，其公式如下：

(6)

3.3 對抗樣本搜索策略

本文提出的方法通過沿著對抗邊界多次迭代搜索，使對抗樣本和原始圖像逐漸接近，以找到更優(yōu)的對抗樣本。為了保證每一次迭代都能得到更優(yōu)的對抗樣本，在第次迭代中，產(chǎn)生的擾動λk需受到以下約束：

1)保證新樣本合法：

(7)

2)新樣本仍為對抗樣本：

(8)

3)新樣本與原始圖像的距離減小：

(9)

我們將一次迭代過程分為兩步移動，如圖4所示，第一步進行正交移動，即沿著以原始圖像為中心的超球面上先走一步，這一步保證需要保證距離原始圖像的距離保持不變；第二步在第一步的基礎上朝著原始圖像點的方向前進，這一步的主要作用就是使對抗樣本和原始圖像之間的距離減小。我們將一次迭代過程分為兩步移動的主要原因是IoU大于50%的區(qū)域并不是以原始樣本為中心的一個圓，這意味著即使我們走到了區(qū)域邊界也不一定是距離原始圖像最近的地方，甚至擾動可能還非常大，如圖4所示的對抗樣本點，若我們直接朝著原始圖像點的方向進行移動，那么能移動的距離非常有限，稍微增加步長可能就會到IoU大于50%的區(qū)域，此時，不管迭代多少次，對抗樣本與原始樣本的距離都無法再減小了。而如箭頭所示，如果我們按照我們約束的方向分為兩步走，我們將會到達離原始圖像更近的地方，同時使樣本仍停留在對抗區(qū)域。

圖4 一次迭代移動過程

若我們在第k次迭代時失敗了，即走進了非對抗區(qū)域，那么我們這一次迭代就不進行移動，對抗樣本依然保持我們上一次(第k-1次)迭代后的狀態(tài)，調(diào)整方向或步長，然后繼續(xù)下一次迭代。

3.4 超參數(shù)更新方式

針對目標檢測器的決策攻擊方法在迭代過程中主要對兩個超參數(shù)進行動態(tài)調(diào)整，一個是正交移動的步長δ，另一個是朝原始圖像前進的步長η。為了使算法更快的收斂，我們在迭代的過程中自動調(diào)整超參數(shù)，調(diào)整策略如下：在n次迭代中，記錄正交移動成功的次數(shù)α，朝原始圖像移動成功的次數(shù)β，α/n為正交移動的成功率，其值越大，說明正交方向距離對抗邊界越遠，為了提高算法收斂速度，需增大δ，反之，α/n的值過小，說明多次移動都越過了決策邊界進入了非對抗區(qū)域，則需減小δ；朝原始圖像移動是在正交移動的基礎上進行的，所以其成功率需要在正交移動成功的條件下進行計算，即β/α，其值越大，說明朝原始圖像的方向距離對抗邊界越遠，需增大η以提高算法迭代效率，相反，當β/α的值越小，說明多次移動都失敗了，需減小η。

為了確定步長縮放系數(shù)，對其進行了對比實驗，實驗以樣本收斂所需的最少迭代次數(shù)為標準來評價算法的收斂速度，從而確定最佳參數(shù)設置。實驗結(jié)果顯示，步長縮放系數(shù)為3時，算法的收斂速度最快，同時，移動成功率在0.2～0.6時算法具有相對穩(wěn)定的收斂速度，因此，步長調(diào)整時機(即成功率為多少時進行調(diào)節(jié))設置為0.2和0.6。動態(tài)調(diào)整步長的具體策略如下：每迭代25次自動調(diào)整一次步長，若正交移動成功率大于0.6，那么我們就將δ增大為3δ，若我們的正交移動成功率小于0.2，就將δ減小為δ/3，若成功率在0.2和0.6之間，那么我們就維持該步長不變；同理，朝原圖移動的步長也是同樣的調(diào)整策略，如果成功率大于0.6，就增大η到原來的3倍，如果成功率小于0.2，就減小η為原來的1/3倍，若成功率在0.2和0.6之間，就維持η不變，然后進入下一個25次的迭代。

4 實驗結(jié)果與分析

4.1 實驗設置

1)數(shù)據(jù)集。

PASCAL VOC2012數(shù)據(jù)集是PASCAL VOC大賽中所提供的提供了一整套標準化的優(yōu)秀的數(shù)據(jù)集，是目標檢測任務的基準數(shù)據(jù)之一，在目標檢測任務中被頻繁使用。VOC2012數(shù)據(jù)集總共分為20類，共11 540張圖片，其中訓練集有5 717張圖片，驗證集有5 823張圖片。本文利用訓練集中所有圖片訓練目標檢測模型，并從驗證集中隨機抽取256張圖片作為原始圖片，利用本文提出的方法生成對抗樣本，并測試mAR與mAP。

2)目標檢測模型。

本文使用在VOC2012數(shù)據(jù)集上訓練的Faster-Rcnn目標檢測模型作為受攻擊模型，主干網(wǎng)絡(backbone)部分采用ResNet50和FPN組合的網(wǎng)絡結(jié)構。模型的閾值設置為0.5，即置信度高于0.5時才認為檢測到了目標。

4.2 實驗結(jié)果及分析

本實驗在VOC2012驗證集中隨機抽取的256張圖片進行了對抗樣本生成，圖5展示了利用本文方法生成對抗樣本的具體過程，從圖中可以看出，隨著迭代次數(shù)的增加，對抗樣本與原始圖像之間的距離逐漸減小。在迭代初期，距離減小的速度較快，到迭代后期時，對抗樣本逐漸趨于收斂，距離減小的速度變緩，迭代20 000次時，對抗樣本已經(jīng)收斂。

圖5 本文方法生成對抗樣本的具體過程

由于目標檢測問題中的每個圖像都可能具有不同類別的不同目標，模型的分類和定位都需要進行評估，因此，在圖像分類問題中所使用的標準度量不能直接應用于目標檢測問題。平均召回率(AR，average recall)表示某一類別檢出正樣本占實際正樣本總數(shù)的比例，即查全率，平均精度(AP，average precision)表示某一類別被分為正樣本的樣本中實際為正樣本的比例，即查準率。為了驗證本文方法的有效性，實驗采用全類平均召回率(mAR，mean average recall)和全類平均精度(mAP，mean average precision)評估目標檢測模型的檢測準確性，即對所有類別計算AR與AP的平均值，在VOC2012數(shù)據(jù)集上測得的mAR與mAP的值如表1所示。從表1可以看出，本文提出的攻擊方法使目標檢測器的mAR從0.636降低到0.131，mAP從0.801降低到0.071，表明了模型在受到本文提出的攻擊方法攻擊后，其檢測能力被有效降低，該方法使得目標檢測模型失效，且具有較好的攻擊性能。

表1 實驗結(jié)果對比

本文提出的攻擊算法在VOC2012數(shù)據(jù)集取得了理想的攻擊效果。為了驗證生成的對抗樣本只會使目標檢測器誤判而不會影響“人眼”的判斷，本實驗進行了定性分析，圖6展示了本文方法生成的對抗樣本示例，左邊是模型對原始圖像的檢測結(jié)果，右邊是模型對對抗樣本的檢測結(jié)果。模型受到攻擊后，已經(jīng)無法檢測出第一行樣本中的顯示器，第二行樣本的兩個牛的目標僅檢測出了一個，第三行樣本的中的人也沒有檢測到，第四行樣本中的兩只羊僅檢測出了一只。可以看到對抗樣本在視覺上與原始圖像十分接近，人眼無法察覺出干擾的存在，因此對抗樣本不會使人判斷錯誤，但使得模型對其檢測結(jié)果的平均IoU均降低到了50%以下，造成了模型的定位準確度降低。

圖6 生成對抗樣本示例

4.3 超參數(shù)選擇

為了確定步長縮放系數(shù)對實驗的影響，在VOC驗證集中隨機選取了三張圖片作為測試樣本，利用本文提出的攻擊方法進行攻擊，除了步長縮放系數(shù)外，其他參數(shù)均相同設置，通過調(diào)整步長縮放系數(shù)，進行對比實驗以觀察其對對抗樣本收斂所需迭代次數(shù)的影響，實驗結(jié)果如圖7所示。由曲線圖可以發(fā)現(xiàn)，隨著步長縮放系數(shù)的增大，三張測試集所生成的對抗樣本收斂所需的迭代次數(shù)均先減小后又增大，步長縮放系數(shù)設置為3左右時，三張對抗樣本所需迭代次數(shù)均最少。因此步長縮放系數(shù)選取為3，可以有效提高對抗樣本的生成效率。

圖7 收斂所需的迭代次數(shù)與步長縮放系數(shù)關系圖

5 結(jié)束語

為了揭示真實世界中大多只提供最終決策的商業(yè)目標檢測器的弱點以提高其魯棒性，本文提出了一種針對目標檢測器的決策攻擊方法，該方法的特點是不需要知道模型的梯度信息和置信度信息，僅需利用目標檢測器輸出的檢測框的位置信息，從使目標檢測器定位錯誤的角度實現(xiàn)高效的攻擊。但由于該方法了解模型的信息有限，需通過大量的訪問模型對對抗樣本進行迭代從而生成最終對抗樣本，該過程需耗費大量的時間，對抗樣本的生成速度還需進一步提升。