崔岳

[提要] 對抗樣本是指通過添加干擾產(chǎn)生能夠?qū)е聶C器學(xué)習(xí)模型產(chǎn)生錯誤判斷的樣本。過去幾年人工智能學(xué)者取得巨大的突破，深度學(xué)習(xí)更是讓冷冰冰的機器“耳聰目明”，不僅能夠從視頻中認出貓，還能識別路上的行人和交通信號燈?？茖W(xué)家和工程師在圖像、語音、自然語言處理等方面取得突破性進展，某些領(lǐng)域AI已經(jīng)超越人類。然而，研究者也發(fā)現(xiàn)，基于深度神經(jīng)網(wǎng)絡(luò)模型的系統(tǒng)，很容易被對抗樣本欺騙愚弄。在自動駕駛領(lǐng)域，研究對抗樣本的攻擊和防御情況，對自動駕駛行業(yè)的發(fā)展具有深遠影響。

關(guān)鍵詞：對抗樣本;自動駕駛;機器學(xué)習(xí);神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP3-05 文獻標(biāo)識碼：A

收錄日期：2019年1月10日

一、對抗樣本與對抗攻擊

從2013年開始，深度學(xué)習(xí)模型在多種應(yīng)用上已經(jīng)能達到甚至超過人類水平，比如人臉識別、物體識別、手寫文字識別等等。在這之前，機器在這些項目的準(zhǔn)確率很低，如果機器識別出錯了，沒人會覺得奇怪。但是現(xiàn)在，深度學(xué)習(xí)算法的效果好了起來，去研究算法犯的那些不尋常的錯誤變得有價值起來。其中一種錯誤就叫對抗樣本。

對抗樣本是機器學(xué)習(xí)模型的一個有趣現(xiàn)象，攻擊者通過在源數(shù)據(jù)上增加人類難以通過感官辨識到的細微改變，但是卻可以讓機器學(xué)習(xí)模型接受并做出錯誤的分類決定。一個典型的場景就是圖像分類模型的對抗樣本，通過在圖片上疊加精心構(gòu)造的變化量，在肉眼難以察覺的情況下，讓分類模型產(chǎn)生誤判。如圖1所示，對于一張熊貓的照片，分類模型可以正確地將其分類為熊貓，但是在加上人為設(shè)計的微小噪聲之后，雖然人眼是對兩張圖片看不出分別的，計算機卻會以99.3%的概率將其錯判為長臂猿。（圖1）

圖1 對抗樣本導(dǎo)致圖像錯誤識別圖

研究者們認為，大多數(shù)機器學(xué)習(xí)算法對于對抗干擾很敏感，只要從圖像空間中精心選取的方向增加輕微的干擾，就可能會導(dǎo)致這個圖像被訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型誤分類。這種被修改后人類無法明顯察覺，卻被機器識別錯誤的數(shù)據(jù)即為對抗樣本，而這整個過程就可以理解為對抗攻擊。

基于對抗樣本的此種特性，它的存在對于機器學(xué)習(xí)領(lǐng)域的發(fā)展是有潛在危險性的。例如，在自動駕駛領(lǐng)域，攻擊者可以通過對抗樣本的方法攻擊汽車：只要將自動駕駛汽車需要識別分類的標(biāo)識進行對抗攻擊，讓車輛將停車標(biāo)志解釋為“行駛”或其他標(biāo)志，就能讓汽車進行錯誤判斷。這對于自動駕駛領(lǐng)域的發(fā)展無疑是不利的。因此，研究對抗樣本的攻擊與防御方式對自動駕駛領(lǐng)域的發(fā)展具有重大意義。

二、對抗樣本在自動駕駛領(lǐng)域研究現(xiàn)狀

2016年5月7號，在美國的佛羅里達州，一輛特斯拉徑直撞上一輛行駛中的白色大貨車，釀成了世界上自動駕駛系統(tǒng)的第一起致命交通事故。照理說，特斯拉配備的是當(dāng)今最頂尖的自動駕駛技術(shù)，對這里的人工智能來說，區(qū)分好一朵白云和一輛白色大貨車，不該是最起碼的要求嗎？事實卻是，人工智能在很多地方都不如三歲的小孩，而且很容易被愚弄，黑客們也正在利用這一點。

（一）自動駕駛領(lǐng)域的對抗樣本。除了基于深度神經(jīng)網(wǎng)絡(luò)模型的分類系統(tǒng)，很容易被對抗樣本欺騙愚弄以外，近期的研究也發(fā)現(xiàn)，對抗樣本還具有一定的魯棒性。研究人員將對抗樣本打印到紙面上，仍然可以達到欺騙系統(tǒng)的效果。也就是說，對抗樣本可以通過打印等手段影響我們生活的真實環(huán)境中的。

對于汽車自動駕駛系統(tǒng)，攻擊者可以通過這樣的手段生成一個禁止通行標(biāo)志的對抗樣本，如圖2所示，雖然在人眼看來這兩張圖片沒有差別，但是自動識別系統(tǒng)會將其誤判為是可以通行的標(biāo)志。當(dāng)自動駕駛系統(tǒng)和人類駕駛員同時駕車行駛時，這足以造成災(zāi)難性的后果。（圖2）

圖2 正常的交通停止標(biāo)志（左）及其對抗樣本（右）圖

（二）針對自動駕駛領(lǐng)域?qū)箻颖居行缘挠懻?。在圖像識別領(lǐng)域，對抗樣本是一個非常棘手的問題，研究如何克服它們可以幫助避免潛在的危險。但是，當(dāng)圖像識別算法應(yīng)用于實際生活場景下時，對抗樣本的有效性是否不會降低，我們是否對真實世界的對抗樣本的危害性產(chǎn)生過度擔(dān)憂？來自UIUC的一篇論文《NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles》提出，應(yīng)用于停止標(biāo)志檢測的現(xiàn)有對抗擾動方法只能在非常仔細挑選的情況下才有效，在許多實際情況下，特別是無人駕駛不需要擔(dān)心，因為一個訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)絕大部分情況會從不同距離和角度拍攝對抗樣本。前面那些實驗忽略了現(xiàn)實世界中物體的關(guān)鍵性質(zhì)：相比虛擬場景下對圖片單一角度和距離的識別，在現(xiàn)實世界中，自動駕駛汽車的相機可以從不同的距離和角度拍下物體來進行識別。從移動觀察者的角度來看，目前現(xiàn)實世界中的對抗樣本不會對物體檢測造成干擾。（圖3）

圖3 實際場景中停車標(biāo)志都能被正確識別

他們?yōu)榇嗽趯嶋H環(huán)境下做了一系列實驗，他們收集了一系列停車標(biāo)志的圖像，然后用三種不同的對抗攻擊方法產(chǎn)生干擾樣本，同時攻擊圖像分類器和物體識別器。然后，打印出受到干擾的圖像，從不同的距離拍成照片。實驗發(fā)現(xiàn)，很多圖片不再具有對抗性。并檢查了不再具有對抗性的圖片中原來增加的干擾的受損程度。在大多數(shù)情況下，損壞率很高，并且隨著距離的增加而增加。這說明在真實環(huán)境中，距離的變化會對干擾的效果產(chǎn)生影響。最后，通過一個小實驗表明，照片拍攝的角度也可以改變對抗干擾的影響。

如圖3所示，實際環(huán)境下，在特定的距離和角度下拍攝的帶有對抗干擾的停車標(biāo)志可能會導(dǎo)致深度神經(jīng)網(wǎng)絡(luò)物體識別器誤識別，但對于大量從不同的距離和角度拍下的停車標(biāo)志的照片，對抗干擾就無法保證總能愚弄物體檢測器了。

為什么能正確識別大多數(shù)圖片呢？他們認為原因是干擾的對抗特征對受到干擾的圖片的大小比較敏感。如果從不同的距離進行識別，自動駕駛汽車就不能得出正確結(jié)論。另外，論文中提出了一個關(guān)鍵問題：是否有可能構(gòu)建出這樣的對抗性樣本，使得它在大多數(shù)不同的距離觀察條件下都能讓機器錯誤判斷？如果可能，這種對抗特征能夠?qū)θ祟惱斫馍疃葘W(xué)習(xí)網(wǎng)絡(luò)的內(nèi)部表征模式起到巨大的幫助。如果不能，就可以猜測對抗性樣本對現(xiàn)實世界包括自動駕駛領(lǐng)域的危害很小，不用過度擔(dān)憂。

從實驗結(jié)論來看，現(xiàn)有的對抗性干擾方法用于停車標(biāo)志的識別時（在他們的數(shù)據(jù)集和控制試驗之下）只在特定場景下適用。這似乎也表明，我們可能不需要擔(dān)心多數(shù)現(xiàn)實場景下的對抗樣本問題，尤其是在自動駕駛領(lǐng)域。

此文一發(fā)，立馬引起了爭議。OpenAI在第一時間便在自己的博客上進行了回擊，他們認為物理世界是有穩(wěn)定的對抗樣本的。隨后，來自華盛頓大學(xué)、密西根大學(xué)安娜堡分校、紐約州立大學(xué)石溪分校、加利福尼亞大學(xué)伯克利分校的8名工作人員，他們提出了一種新的攻擊算法，而這種算法能夠有效地攻擊無人駕駛的神經(jīng)網(wǎng)絡(luò)。

他們提出了一種新的對抗樣本攻擊算法——魯棒物理干擾（RP2）：這種算法產(chǎn)生干擾的方式是在不同的條件下拍攝圖像。通過此對抗算法，可以產(chǎn)生模擬破壞或藝術(shù)的空間約束性干擾，以減少偶然觀察者檢測到的似然值。他們通過實驗展示了此算法所產(chǎn)生的對抗樣本通過使用捕捉物理世界條件的評估方法，在各種條件下實現(xiàn)真正的道路標(biāo)志識別的高成功率。事實上，他們實現(xiàn)并評估了兩次攻擊，一個是以100%的概率將停車標(biāo)志錯誤分類為測試條件下的速度限制標(biāo)志;另一個是以100%的概率將右轉(zhuǎn)標(biāo)志錯誤分類為測試條件下的停車或添加車道標(biāo)志。（圖4）

圖4 帶有對抗性貼紙的停車標(biāo)志圖

順著這個思路，研究人員又針對對抗樣本對對象檢測工具的影響進行了實驗。與分類器相比，對象檢測工具在處理整個圖像面臨更多挑戰(zhàn)，對象檢測工具還需要預(yù)測上下文信息，如目標(biāo)對象在場景中的方位等。這次，如圖4所示，是進行實驗的實物對抗樣本。研究人員展示的是一個叫YOLO的對象檢測器，YOLO檢測器是一個流行的、實時的先進算法，擁有良好的實時性能。檢測的對象是一個現(xiàn)實場景中真正的停車標(biāo)志，為了更好地測試YOLO的檢測性能，研究人員還錄制了視頻進行動態(tài)檢測。逐幀分析視頻可以發(fā)現(xiàn)，YOLO在實驗中幾乎在所有幀上都完全沒有感知到停車標(biāo)志?？梢韵胂螅绻@發(fā)生在現(xiàn)實生活中，一輛自動駕駛汽車面對這樣一個標(biāo)志沒有正確識別導(dǎo)致沒有及時停下來，那之后發(fā)生的可能就是汽車相撞的慘劇，造成無法挽回的后果。

更為有趣的是，這個為YOLO生成的對抗樣本同樣也能欺騙標(biāo)準(zhǔn)的Faster-RCNN網(wǎng)絡(luò)。如圖5所示，研究人員同樣在Faster-RCNN上進行了基于實物的對抗樣本動態(tài)測試，發(fā)現(xiàn)它也很難正確對路牌進行識別。由于是黑盒攻擊，F(xiàn)aster-RCNN最終還是識別出了路牌上的STOP標(biāo)記，看起來不如YOLO實驗中那么成功，這也在預(yù)期結(jié)果之內(nèi)。雖然這是一次不成熟的黑盒攻擊，但隨著其他技術(shù)的改進，這樣的黑盒攻擊必將變得更加有效。（圖5）

圖5

此外，研究人員還發(fā)現(xiàn)當(dāng)YOLO和Faster-RCNN檢測到STOP時，相機和路牌的距離往往只有3～4英尺（約1米）了，事實上這么近的距離連觸發(fā)緊急制動都挽救不回來。

除此之外，近日，谷歌提出了一種生成對抗圖像patch的方法，這種方法可以欺騙分類器輸出任意選定的目標(biāo)類。此種方法還可以泛化至現(xiàn)實世界，實驗證明可以將patch打印出來，應(yīng)用到任意的現(xiàn)實場景中，即使在不同光線和方位的條件下，對于分類器仍然能造成對抗效果。如圖6所示，patch造成分類器錯誤識別。（圖6）

圖6 patch 造成分類器的錯位識別圖

這種攻擊方式的出現(xiàn)對對抗樣本的研究具有重大意義。因為攻擊者構(gòu)建攻擊時不需要知道所攻擊的圖像是什么。對抗patch被生成之后，可以在互聯(lián)網(wǎng)上廣泛傳播，其他攻擊者也可以打印和使用。此外，因為這種攻擊使用了大幅度的擾動，而現(xiàn)存的防御小幅度擾動攻擊的技術(shù)可能無法泛化到大幅度擾動的攻擊。因此，如何防御這種攻擊仍然有待進一步的研究。

三、對抗樣本的防御

鑒于數(shù)字和物理世界中的這些案例，相關(guān)防御措施也是一個廣泛研究的課題。雖然人們對對抗樣本已經(jīng)有了更多的了解，甚至找到了抵御攻擊的方法，但卻還沒有一個徹底的解決方案能讓神經(jīng)網(wǎng)絡(luò)不受對抗樣本的干擾。據(jù)我們所知，目前發(fā)表的對抗樣本防御系統(tǒng)在強大的優(yōu)化攻擊面前同樣非常脆弱。（圖7）

圖7 防御對抗攻擊的方法分類圖

如圖7所示，目前，在對抗攻擊防御上存在三個主要方向。其中，不同類型的對抗訓(xùn)練是最有效的方法之一。對抗性訓(xùn)練是一種暴力破解的解決方案。其中，我們只是簡單地生成很多對抗樣本，并明確訓(xùn)練模型不會被它們中的任何一個愚弄。首先是，Goodfellow等人最早提出用對抗訓(xùn)練提高神經(jīng)網(wǎng)絡(luò)魯棒性。之后，Tramèr等人又將其拓展為合奏對抗學(xué)習(xí)。再后來，Madry等人也通過迭代訓(xùn)練和對抗性樣本提出了魯棒的網(wǎng)絡(luò)。找到防御措施的前提是積累大量對抗樣本，這不僅能使對應(yīng)模型的防御效果更佳，如果樣本來自不同模型，這樣的數(shù)據(jù)集還能增加多樣性，使模型可以更充分地發(fā)掘?qū)箻颖镜目臻g。雖然還有其他大量方法，但現(xiàn)有方法在性能上還遠遠達不到應(yīng)用標(biāo)準(zhǔn)。

還有一種方式是防御性精煉，這是一種策略。我們訓(xùn)練模型來輸出不同類別的概率，而不是將哪個類輸出的決策。概率由早期的模型提供，該模型使用硬分類標(biāo)簽在相同的任務(wù)上進行訓(xùn)練。這就創(chuàng)建了一個模型，其表面在攻擊者通常會試圖開拓的方向上是平滑的，從而使它們難以發(fā)現(xiàn)導(dǎo)致錯誤分類的對抗輸入調(diào)整中作為模型壓縮的一種技術(shù)而被引入的，在這種技術(shù)中，一個小模型被訓(xùn)練以模仿一個大模型，以便節(jié)省計算量。

然而，即使是這些專門的防御算法，也可能被擁有了更多計算火力的攻擊者輕易破解。之所以難以防御對抗樣本，是因為難以構(gòu)建一個對抗樣本制作過程的理論模型。對于包括神經(jīng)網(wǎng)絡(luò)在內(nèi)的許多ML模型來說，對抗樣本是對非線性和非凸性的優(yōu)化問題的解決方案。因為我們沒有很好的理論工具來描述這些復(fù)雜的優(yōu)化問題的解決方案，所以很難做出任何理論上的論證來證明一個防御系統(tǒng)會排除一系列對抗樣本。除此之外，還因為它們要求機器學(xué)習(xí)模型為每一個可能的輸入產(chǎn)生良好的輸出。大多數(shù)情況下，機器學(xué)習(xí)模型運行得很好，但所能處理的只是它們可能遇到的所有可能輸入中的很小一部分。

總而言之，對抗樣本對機器學(xué)習(xí)產(chǎn)品是一個大問題，尤其是在視覺方面，比如自動駕駛汽車。研究人員正努力應(yīng)對上述問題，但結(jié)果證明這很有難度。目前來看，雖然此類攻擊只發(fā)生在實驗室中，沒有公開測試，但是我們?nèi)孕鑷烂C對待。自動駕駛汽車的視覺系統(tǒng)必須是可靠的。

主要參考文獻：

[1]李盼，趙文濤，劉強，et al.機器學(xué)習(xí)安全性問題及其防御技術(shù)研究綜述[J].計算機科學(xué)與探索，2017.11.21.

[2]Goodfellow I J，Shlens J，Szegedy C.Explaining and Harnessing Adversarial Examples[J].Computer Science，2014.

[3]Liu Y，Chen X，Liu C，et al.Delving into Transferable Adversarial Examples and Black-box Attacks[J].2016.

[4]Cisse M，Bojanowski P，Grave E，et al.Parseval Networks：Improving Robustness to Adversarial Examples[J].2017.

[5]Lu J，Sibai H，F(xiàn)abry E，et al.NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles[J].2017.

[6]Nguyen A，Yosinski J，Clune J.Deep Neural Networks are Easily Fooled：High Confidence Predictions for Unrecognizable Images[J].2014.

[7]Moosavi-Dezfooli S M，F(xiàn)awzi A，F(xiàn)rossard P.DeepFool：a simple and accurate method to fool deep neural networks[J].2015.

[8]Moosavi-Dezfooli S M，F(xiàn)awzi A，F(xiàn)awzi O，et al.2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）-Universal Adversarial Perturbations[J].2017.

[9]Fawzi A，Moosavi-Dezfooli S M，F(xiàn)rossard P.Robustness of classifiers：from adversarial to random noise[J].2016.

[10]曹仰杰，賈麗麗，陳永霞，等.生成式對抗網(wǎng)絡(luò)及其計算機視覺應(yīng)用研究綜述[J].中國圖象圖形學(xué)報，2018.23（10）.

[11]Kurakin，Alexey，Goodfellow，Ian，Bengio，Samy.Adversarial examples in the physical world[J].2016.

[12]Eykholt K，Evtimov I，F(xiàn)ernandes E，et al.Robust Physical-World Attacks on Deep Learning Models[J].2018.

[13]Athalye A，Carlini N，Wagner D.Obfuscated Gradients Give a False Sense of Security：Circumventing Defenses to Adversarial Examples[J].2018.

[14]Ivan Evtimov，Kevin Eykholt，Earlence Fernandes，Bo Li.Physical Adversarial Examples Against Deep Neural Networks.2017.