林點，潘理，易平

（上海交通大學網(wǎng)絡空間安全學院，上海 200240）

0 引言

機器學習的理論從20世紀中葉就已經(jīng)被提出和實踐，但是由于機能限制，當時機器學習在復雜問題上表現(xiàn)不盡如人意。而隨著計算機科學的不斷發(fā)展，計算機算力不斷提升，以及大數(shù)據(jù)時代的到來，限制機器學習發(fā)展的因素被逐個解決。1998年，Lecun[1]提出了卷積神經(jīng)網(wǎng)絡（CNN，convolutional neural network），并使用一種7層的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)LeNet-5成功解決了手寫數(shù)字識別的難題。這意味著機器學習可以解決以圖像識別為代表的復雜問題。2012年，Krizhevsky等[2]提出了一種新的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)AlexNet，在ImageNet圖像識別競賽上以高正確率獲得冠軍。從此以后，以卷積神經(jīng)網(wǎng)絡為代表的深度學習概念被廣泛研究和應用，各種新的網(wǎng)絡結(jié)構(gòu)和訓練方法被提出，其圖像識別能力也不斷提高。

大量圍繞卷積神經(jīng)網(wǎng)絡的研究被開展，大量以卷積神經(jīng)網(wǎng)絡為基礎(chǔ)的應用被開發(fā)，這引出了人們對其魯棒性的思考。對于神經(jīng)網(wǎng)絡而言，魯棒性意味著模型在面對異常輸入時仍有輸出正確結(jié)果的能力。對抗樣本[3]的發(fā)現(xiàn)讓所有神經(jīng)網(wǎng)絡暴露在被攻擊的風險中，研究者開始致力于提出抵抗對抗樣本的方法，這也是目前魯棒性研究的主要方向。

神經(jīng)網(wǎng)絡就是用計算機來模擬人腦神經(jīng)元，并將其相互連接構(gòu)建一個模擬神經(jīng)網(wǎng)絡，以此實現(xiàn)“類人工智能”。神經(jīng)網(wǎng)絡算法使計算機能夠在一定限度上模擬人類的記憶、運算、推理和識別能力。顯然，提高神經(jīng)網(wǎng)絡與人腦的相似性是神經(jīng)網(wǎng)絡自誕生以來就始終追求的目標。理論上，神經(jīng)網(wǎng)絡的判別結(jié)果應當以人類的判別結(jié)果為準繩，本文提出“視覺魯棒性”的概念，以衡量神經(jīng)網(wǎng)絡與人類視覺的相似性。

本文致力于對神經(jīng)網(wǎng)絡的魯棒性做一個全面的討論。對抗魯棒性是目前研究的熱點，相關(guān)的學術(shù)論文和綜述討論也較多，但相關(guān)研究正逐漸陷入困境。視覺魯棒性是本文提出的用以區(qū)別傳統(tǒng)魯棒性的概念，并從神經(jīng)科學與人工智能兩個方向介紹其進展。本文對神經(jīng)網(wǎng)絡魯棒性的發(fā)展現(xiàn)狀進行總結(jié)，并對其發(fā)展趨勢進行討論與展望。此外，本文關(guān)注的是圖像識別應用場景下的魯棒性問題，該應用場景下所使用的網(wǎng)絡結(jié)構(gòu)絕大多數(shù)是卷積神經(jīng)網(wǎng)絡及其變體，如果不做額外說明，本文提到的神經(jīng)網(wǎng)絡均指卷積神經(jīng)網(wǎng)絡。

1 神經(jīng)網(wǎng)絡魯棒性的研究現(xiàn)狀

1.1 對抗樣本和對抗魯棒性

Szegedy等[3]發(fā)現(xiàn)，可以給輸入圖像上添加精心設(shè)計過而人類無法察覺的擾動，從而使神經(jīng)網(wǎng)絡模型發(fā)生誤判，被添加過擾動的輸入稱作“對抗樣本”。對抗魯棒性是神經(jīng)網(wǎng)絡模型在對抗樣本攻擊下保持自身輸出正確結(jié)果的能力，一般使用對抗樣本的攻擊成功率來衡量神經(jīng)網(wǎng)絡模型的對抗魯棒性。

1.1.1 對抗樣本的生成方法

（1）白盒攻擊場景

白盒攻擊場景下，攻擊者擁有目標模型的全部信息，包括訓練集、模型參數(shù)、模型梯度、模型輸出等。Goodfellow等[4]提出了快速梯度符號法（FGSM，fast gradient sign method）算法，通過計算模型損失函數(shù)的梯度符號并依此為圖像添加擾動，以最小化分類模型的損失函數(shù)。此后，研究者提出了C&W算法[5]、投影梯度下降（PGD，projected gradient descent）算法[6]等攻擊性和隱蔽性更強的算法。白盒攻擊方法的存在，反映了模型魯棒性上存在的重大缺陷，以至于攻擊者可以無視人類對圖像的視覺感知，只通過對梯度計算等數(shù)學方法使模型的判斷出現(xiàn)錯誤，這是模型魯棒性研究的開端。

（2）黑盒攻擊場景

Papernot等[7]提出了“黑盒攻擊”的概念，使攻擊者能夠在不掌握目標模型具體信息的情況下生成對抗樣本，并提供了兩種核心思路：基于對抗樣本遷移性的算法和基于查詢的算法。對抗樣本遷移性指一些對抗樣本能同時作用于不同神經(jīng)網(wǎng)絡模型的現(xiàn)象[3,4,7]，往往通過集成[8]的方法實現(xiàn)?；诓樵兊乃惴▌t在于利用從目標模型接口查詢得到的信息[9]。相比白盒攻擊，黑盒攻擊更加貼合一些實用場景。黑盒攻擊算法的存在，說明對抗魯棒性無法通過保密模型信息的方式實現(xiàn)，必須提出有效的方法提高模型自身的魯棒性。

1.1.2 對抗樣本的防御方法

提升對抗魯棒性，即防御對抗樣本有兩條基本的思路：其一是削弱對抗樣本的攻擊性，間接地提高模型防御對抗樣本的能力；其二是通過對抗訓練、修改網(wǎng)絡結(jié)構(gòu)的方式直接提高神經(jīng)網(wǎng)絡模型的對抗魯棒性。對抗魯棒性提升方法如表1所示。

表1 對抗魯棒性提升方法比較Table 1 Comparison of adversarial robustness enhancement methods

（1）消除對抗擾動

對抗擾動在圖像上往往以高頻噪聲的方式呈現(xiàn)，所以采用降噪方法可以消除對抗擾動，常見的方法有圖像壓縮[10]、去噪自編碼器[11]等。

（2）對抗樣本檢測

有研究者認為，對抗樣本相比干凈樣本在特征層面具有顯著差異，可以據(jù)此識別出對抗樣本，如對降噪前后的樣本進行比較[12]，或直接使用深度神經(jīng)網(wǎng)絡進行檢測[13]，但該方法對攻擊力較強的攻擊方法效果較差[14]。

（3）對抗訓練

對抗訓練[4]核心思想來源于數(shù)據(jù)增強[15]，將對抗樣本加入訓練數(shù)據(jù)，改變訓練集的數(shù)據(jù)分布，增強神經(jīng)網(wǎng)絡模型的魯棒性。Tsipras等[16]認為對抗訓練會提高模型魯棒性，但會降低模型精度。Xie等[17]提出，對抗訓練可以提高模型的精度，但是由于對抗樣本具有與正常樣本不同的分布，所以應在訓練過程中給予兩類樣本不同的批標準化參數(shù)，且對抗訓練要達到理想的魯棒性，所需的模型深度遠遠超出一般模型。

（4）生物啟發(fā)模型

相比神經(jīng)網(wǎng)絡，人類視覺更具有魯棒性，因此更接近人類視覺系統(tǒng)結(jié)構(gòu)的模型應當更具有魯棒性。Reddy等[18]在網(wǎng)絡結(jié)構(gòu)中加入了模擬人類視網(wǎng)膜和視皮層注視點的結(jié)構(gòu)。Kim等[19]提出了模擬人類大腦的循環(huán)反饋結(jié)構(gòu)的生物啟發(fā)模型。

1.2 針對常見圖像失真的魯棒性

對抗樣本必須有一個惡意的攻擊者人為地生成，而圖像失真則無處不在，如有損壓縮、噪聲、曝光異常、顏色失真、圖像旋轉(zhuǎn)等問題，它們同樣會導致神經(jīng)網(wǎng)絡模型出現(xiàn)誤判。

幾何變換失真包含圖像的平移、旋轉(zhuǎn)、縮放、翻轉(zhuǎn)、變形等，一般不改變圖像的像素值，但會改變圖像像素的分布情況。幾何不變性反映了一個模型接收經(jīng)過幾何變換后的輸入時保持自身輸出不變的能力[20]。卷積神經(jīng)網(wǎng)絡具有平移不變性，因為網(wǎng)絡中卷積層與池化層的特點決定了卷積神經(jīng)網(wǎng)絡可以保證在識別圖像中不同位置上的同一特征的一致性；同時，這一結(jié)構(gòu)特性使其無法對旋轉(zhuǎn)、縮放等變換保持不變性[21]。

膠囊網(wǎng)絡由Hinton等[22]提出，使用向量代替標量作為一層的輸出，使模型具有更強的空間不變性。然而，由于膠囊層結(jié)構(gòu)本質(zhì)上屬于一種全連接結(jié)構(gòu)，當神經(jīng)元數(shù)量增加時，參數(shù)數(shù)量會顯著增大，難以應用于復雜數(shù)據(jù)集[23]。經(jīng)過若干版本的迭代，膠囊網(wǎng)絡的性能有了顯著提高[24-25]，考慮到其結(jié)構(gòu)本身具有的幾何不變性，它依舊是十分具有研究價值的網(wǎng)絡結(jié)構(gòu)。

像素擾動失真一般不改變像素的幾何分布，而是直接改變像素的數(shù)值。Hendrycks等[26]建立了一個失真圖像數(shù)據(jù)集，包含若干種常見的像素擾動失真，包括噪聲、模糊、天氣影響、數(shù)字化處理等，并提出了應對這些失真的有效方法。

1.3 神經(jīng)網(wǎng)絡模型缺乏魯棒性的原因

對抗樣本的廣泛存在和遷移性說明，目前幾乎所有的深度神經(jīng)網(wǎng)絡不具備足夠的魯棒性，且深度神經(jīng)網(wǎng)絡算法本身的不完善，很有可能是這種脆弱性的源頭。

理想中的分類模型往往是連續(xù)而平滑的——充分訓練的模型會將相近的樣本判別為同一個分類。然而，Szegedy等[3]認為，深度神經(jīng)網(wǎng)絡并不平滑，對抗樣本是輸入樣本的低維流形中的“不連續(xù)口袋”，且泛化良好的模型中不存在對抗樣本。但Goodfellow等[4]認為，線性才是對抗樣本存在的原因，一個有著巨大輸入維數(shù)的神經(jīng)網(wǎng)絡會放大輸入的微小改變，最終導致輸出的巨大變化。這兩種觀點從模型的數(shù)學性質(zhì)角度討論其魯棒性，成為后來許多梯度掩蔽[27]防御方法的理論基礎(chǔ)，但簡單地將魯棒性歸結(jié)于模型的線性與非線性，難以反映復雜的深度神經(jīng)網(wǎng)絡的魯棒性本質(zhì)。因此，梯度掩蔽方法被認為不可靠[28]。

McDaniel等[29]認為對抗樣本源自機器模型分類邊界與真實數(shù)據(jù)邊界之間的差別，其原因是訓練數(shù)據(jù)集與真實數(shù)據(jù)的偏差。這個觀點是文獻[3]中觀點的延伸，認為模型魯棒性與泛化能力是相關(guān)的。

Stutz等[30]認為，正常的輸入樣本存在于高維輸入空間的低維流形，而對抗樣本則處在流形之外，泛化問題則討論的是模型對于流形上樣本的判別能力，對抗樣本問題則相反。這個觀點區(qū)分了泛化能力和對抗魯棒性的概念。

Ilyas等[31]認為，對抗樣本并不是一種錯誤，而是一種非魯棒性的特征，如圖1所示。這些特征可以完全脫離原圖而存在，并以高置信度造成神經(jīng)網(wǎng)絡的錯誤識別。對抗擾動被視為一種可利用的特征，而神經(jīng)網(wǎng)絡模型似乎總是傾向于優(yōu)先提取對抗擾動特征作為判別的基礎(chǔ)。

圖1 魯棒性特征與非魯棒性特征Figure 1 Robust feature and non-robust feature

將文獻[30]中的流形觀點與文獻[31]中的非魯棒性特征觀點結(jié)合，可以更加接近對抗樣本的本質(zhì)。深度神經(jīng)網(wǎng)絡提供端到端的識別模式，簡化了特征工程的工作，這使人們無法解析海量參數(shù)的含義，也就無法準確地得知深度神經(jīng)網(wǎng)絡究竟是以什么特征為依據(jù)進行推理和判斷。

圖像識別任務的特點之一是輸入數(shù)據(jù)維數(shù)高，其中包含的必要信息量的維數(shù)小于輸入數(shù)據(jù)的維數(shù)，多出來的維數(shù)，存儲了不為人類所認知的冗余信息，即文獻[31]中的非魯棒性特征?？紤]到總維數(shù)可能遠大于流形維數(shù)，冗余信息也會對神經(jīng)網(wǎng)絡有重大影響。事實上，如果單純地討論神經(jīng)網(wǎng)絡模型對自然樣本的分類任務，這些冗余信息未必完全有害，甚至可能提高分類準確率[32]，畢竟自然樣本中并不存在對抗樣本。但這些冗余信息是難以被人類所感知的，這就必然造成神經(jīng)網(wǎng)絡模型與人類認知之間的分歧。神經(jīng)網(wǎng)絡的魯棒性或許體現(xiàn)在這種對于不同類型特征的認知偏好中，即接近人類認知偏好的模型更具有魯棒性。

1.4 神經(jīng)網(wǎng)絡魯棒性的研究困境

對抗樣本自提出以來就受到了廣泛的關(guān)注，以至于“魯棒性”的概念常常被用來特指“對抗魯棒性”。但是這一方向上的研究愈發(fā)陷入一種 “軍備競賽”[33]。對抗訓練和數(shù)據(jù)增強[15,34]方法依舊是最有效的能夠穩(wěn)定提高模型魯棒性的方法，但這類方法意味著大量時間和算力的消耗，也可能會導致模型在原始數(shù)據(jù)上欠擬合[35]，在許多場合下并不是一個優(yōu)先的選擇。

而其他方法則像是在走 “捷徑”，以低成本提高模型魯棒性，缺點是防御能力十分有限。以對抗樣本的降噪和檢測方法為例，這類方法總體可以分為兩類：基于特征工程的方法和基于深度學習的方法。前者嘗試用傳統(tǒng)的方法高效地尋找和排除對抗樣本的影響，但由于深度神經(jīng)網(wǎng)絡的復雜性和糟糕的可解釋性，這些方法很容易受到人類認知局限性的影響而不能有效解決問題，即非“深度”方法很難解決“深度”神經(jīng)網(wǎng)絡的問題。后者使用深度學習模型的同時想要限制時間和算力上的開銷，但簡單模型根本無法處理復雜的對抗樣本，而使用復雜模型來處理和識別對抗樣本，又成了另一種形式的對抗訓練，此時討論回到了魯棒性和訓練成本的權(quán)衡上。因此，魯棒性的研究需要探索一條新的道路。

2 視覺魯棒性

目前最有效的魯棒性提升的方法是數(shù)據(jù)增強，這和研究神經(jīng)網(wǎng)絡的出發(fā)點并不一致——神經(jīng)網(wǎng)絡本質(zhì)是為了模擬人類的大腦，從而使機器模型具備人類的認知能力，但是人類并不需要通過數(shù)據(jù)增強來提高自己的認知能力，因為人類的學習天然具有魯棒性。討論視覺魯棒性時，并不是討論模型處理某類特殊輸入的能力，而是討論其與人類視覺的相似性：模型判斷與人類認知相一致時體現(xiàn)出高魯棒性，反之則體現(xiàn)出低魯棒性。研究模型魯棒性的目的，是使模型具有和人類相近的判別能力。

視覺魯棒性與前文提到的魯棒性概念并不沖突，而是更進一步的討論。例如，當討論對抗魯棒性時，常常有一個前提條件，即對抗樣本中包含的擾動是微小的，人類難以察覺這些擾動。但是如果對抗擾動幅度增大到人類可認知的程度，甚至能夠改變圖像中一部分特征時，應當如何討論模型的魯棒性？例如，Hosseini等[36]在圖像的顏色空間進行擾動，生成了具有語義特征的對抗樣本，這樣的擾動可以輕易被人類感知，但又沒有顯著改變圖像的分類特征。此時，如果脫離人類視覺系統(tǒng)本身的特點，只是從數(shù)學或計算機的角度討論和優(yōu)化模型的魯棒性，往往不能得出令人信服的結(jié)果。

這里給出視覺魯棒性的形式化定義。給定圖像分類模型F，人類標注員H，輸入數(shù)據(jù)全體為D，則?x∈D，有

顯然，對于任意變換A，當A(x)∈D，則

即對于任意可被標注的輸入數(shù)據(jù)，具有視覺魯棒性的模型輸出應當與人類嚴格保持一致。視覺魯棒性的定義中不再限制變換的效果，且一旦數(shù)據(jù)的變化導致人類對數(shù)據(jù)的標注發(fā)生改變時，模型相應做出改變，如圖2所示。

圖2 一般魯棒模型（左）與視覺魯棒模型（右）的差異Figure 2 Difference between common robust model (left) and visual robust model (right)

進一步地，考慮到視覺魯棒性的定義涉及人類的主觀判斷，可能在人類標注員之間存在差異。例如，對于一張介于兩個分類之間的（非自然）圖像，不同的人可能做出不同的判斷?？梢赃M一步優(yōu)化上述定義，使其符合現(xiàn)實情況。給定圖像分類模型F，人類標注員H，輸入數(shù)據(jù)全體為D，則?x∈D，y為任意有效分類，E表示數(shù)學期望，對于給定的魯棒性閾值ε>，0有

其中，F(xiàn)(y|x)表示分類模型在輸入圖像x時在分類y上得出的置信度，H(y|x)表示人類標注員將圖像x判斷為分類y的概率。在該定義下，一個具有魯棒性的模型對于任意輸入所給出的在有效分類下的置信度應當與人類的判斷結(jié)果在統(tǒng)計學上相近。

2.1 基于神經(jīng)科學的人類視覺系統(tǒng)研究進展

1962年，Hubel等[37]提出了視覺皮層概念，并系統(tǒng)闡述了其作用機制。1992年，Goodale等[38]提出，大腦中存在“兩條通路”：視覺信號進入大腦后，經(jīng)由初級視皮層處理，一部分會沿著大腦背側(cè)的通道傳到到頂葉皮層，稱為背側(cè)通路，又叫“where通路”，主要負責運動、空間位置識別等；另一部分則沿著腹側(cè)的通道傳導到下顳葉皮層(IT cortex, inferior temporal cortex)，稱為腹側(cè)通路，又叫“what通路”，主要負責物體識別、記憶等。

“what通路”大致經(jīng)過初級視皮層V1、次級視皮層V2、高級視皮層V4等腦區(qū)[38]，視覺信號傳輸過程中，大腦會逐層地由低到高地提取其中的各種特征，以供更高級的腦區(qū)進行處理，如圖3所示。雖然上述描述非常簡單，但大腦視覺皮層的復雜度遠超常人想象，核磁共振的實驗結(jié)果表明，視覺皮層中至少包含30個功能區(qū)域，每個區(qū)域都能夠獨立執(zhí)行特定的視覺處理任務[39]。目前，相關(guān)的神經(jīng)科學研究主要集中在少數(shù)較為初級的視皮層中，尚待進一步發(fā)掘。

圖3 “what通路”涉及的主要區(qū)域及其大致功能Figure 3 Areas in “what pathway” and their general functions

下顳葉皮層是大腦中識別行為的核心區(qū)域，視覺信號經(jīng)過各個視覺皮層的處理之后會匯總到此處，進行識別和記憶。其在微觀上可以分解為若干毫米級的區(qū)域，每一個小區(qū)域都會對物體的識別產(chǎn)生特定影響[40]。大腦對于視覺信號具有相當強的高級特征提取能力。例如，人腦對于特定刺激有額外的強化，如人臉、身體、文字等[41]，因此人類可以快速地識別出面部圖像。Konkle等[42]發(fā)現(xiàn)，大腦會根據(jù)被識別物體在現(xiàn)實世界中的正常尺寸對物體進行聚類分析，大小相近的物體會激活的腦區(qū)也較近。Kriegeskorte等[43]發(fā)現(xiàn)，下顳葉皮層對人臉和動物具有相似的響應模式，而對人造物和植物等則有另一種相似的響應模式，說明其可以分辨被識別物體的“活力程度”（animate or inanimate）。Proklova等[44]對此進行了進一步的研究，發(fā)現(xiàn)輪廓和紋理等初級視覺特征并不能完全解釋這一機制。

2.2 人腦視覺皮層與神經(jīng)網(wǎng)絡的結(jié)構(gòu)相似性

從線性判別模型[45]，到神經(jīng)網(wǎng)絡模型[46]再到卷積神經(jīng)網(wǎng)絡[1]，機器學習算法在發(fā)展過程中不斷地提高自己與大腦視覺結(jié)構(gòu)的相似性。腦科學研究者也看到了這一相似性，開始嘗試從神經(jīng)網(wǎng)絡中獲取科研的靈感，來進一步研究人腦視覺皮層。

Eickenberg等[47]與Horikawa等[48]分別嘗試使用卷積神經(jīng)網(wǎng)絡對人類大腦的核磁共振信號進行編碼，從而證明人腦的視覺神經(jīng)信號與卷積神經(jīng)網(wǎng)絡具有相關(guān)性。St-Yves等[49]研究了人腦視覺系統(tǒng)的感受野特征，提出人腦中也存在類似于卷積神經(jīng)網(wǎng)絡中不同尺寸的特征圖機制。Wen等[50]研究了人類動態(tài)視覺的核磁共振影像與卷積神經(jīng)網(wǎng)絡的相關(guān)性。Cadieu等[51]的研究表明，即使不是生物啟發(fā)模型，深度神經(jīng)網(wǎng)絡在視覺對象識別任務中的表現(xiàn)與IT皮層相當。Bashivan等[52]構(gòu)造了卷積神經(jīng)網(wǎng)絡模型到人腦視覺皮層的映射，并成功通過神經(jīng)網(wǎng)絡模型構(gòu)造樣本控制了受試猴大腦中特定神經(jīng)元的激活。這些基于腦科學的研究說明，人腦的視覺機制與卷積神經(jīng)網(wǎng)絡在結(jié)構(gòu)、功能等各個方面確實具有一定的相似性，這為深度神經(jīng)網(wǎng)絡算法的進一步發(fā)展提供了理論基礎(chǔ)。

2.3 對抗樣本與人類視覺

人類視覺比神經(jīng)網(wǎng)絡更具有魯棒性。例如，人類可以識別更加局部的圖像特征[53]，面對失真圖像也能保持比CNN更高的識別正確率[34]。對抗樣本是衡量神經(jīng)網(wǎng)絡模型魯棒性的重要工具，但在定義上與人類視覺不相容。Elsayed等[54]提出的觀點為對抗樣本的研究提供了一種新思路，他們拓展了傳統(tǒng)對于對抗樣本的定義，使之適用于人類視覺：對抗擾動不再是人類無法察覺的，而是有可能對人類的認知過程產(chǎn)生影響，此時必須考慮和研究對抗擾動與人類視覺之間的互動。他們根據(jù)這一定義，生成了多模型大擾動的對抗樣本，發(fā)現(xiàn)有目標的攻擊算法可能會導致人類對圖像的判斷受到影響[54]。

Zhou等[55]在人類與神經(jīng)網(wǎng)絡模型的認知一致性上做了廣泛的實驗。他們生成了無實際意義但會被神經(jīng)網(wǎng)絡模型以高置信度分類的“愚弄”圖像，并研究人類與機器模型的判斷，發(fā)現(xiàn)人類以顯著的高概率給出與機器模型相同的判斷；在純擾動圖像和對抗樣本圖像的識別實驗中，人類表現(xiàn)出與機器模型極高的一致性[55]。這一系列的實驗說明，人類視覺系統(tǒng)相比卷積神經(jīng)網(wǎng)絡模型，除了表現(xiàn)出極高的魯棒性之外，還能夠以一種近乎直覺的方式“理解”卷積神經(jīng)網(wǎng)絡模型的非魯棒性。

Santurkar等[56]基于經(jīng)過對抗訓練的魯棒性模型進行了圖像生成實驗，他們使用PGD算法[6]分別對正常樣本、隨機初始化圖像、區(qū)域損壞圖像和草圖圖像等進行有目標的攻擊、優(yōu)化或轉(zhuǎn)換，成功在原始圖像上添加和生成了人類可識別的語義特征。這說明，魯棒的神經(jīng)網(wǎng)絡模型能夠?qū)W習到更多接近于人類認知的特征，魯棒模型的損失梯度與人類的感知一致[15]。

對抗樣本最初是專為神經(jīng)網(wǎng)絡模型設(shè)計的攻擊手段，但當允許其被人類所感知時，它能夠反映神經(jīng)網(wǎng)絡模型與人類視覺機制在某種限度上的一致性。這樣的研究突破了傳統(tǒng)上對于對抗樣本的研究僅限于對神經(jīng)網(wǎng)絡模型進行形式化和數(shù)學化分析的范疇，而開始觸及基于神經(jīng)網(wǎng)絡的人工智能技術(shù)的本質(zhì)。神經(jīng)網(wǎng)絡模型和人類視覺都在圖像中學習可用的特征用于圖像識別，但生理機能的限制使人類與機器對特征的感知和選擇存在差異。神經(jīng)網(wǎng)絡模型魯棒性的提升意味著其對特征的選擇更加接近于人類，即從非魯棒性的特征轉(zhuǎn)向魯棒性的特征[31]。

2.4 神經(jīng)網(wǎng)絡的特征偏好

Ritter等[57]使用認知心理學的研究方法研究人類與神經(jīng)網(wǎng)絡模型對于顏色特征與形狀特征的感知，實驗結(jié)果說明，在這兩個特征上，人類視覺與神經(jīng)網(wǎng)絡表現(xiàn)出一致性，都偏好于形狀特征。Hosseini等[58]則進一步評估了CNN在顏色和形狀上的偏好，他們在保持形狀的前提下對輸入圖像進行不同的顏色處理，發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡并不是天然對形狀魯棒的，而是需要合適的數(shù)據(jù)集和訓練的支撐。

相比顏色，圖像的紋理特征包含了更多更復雜的視覺信息。Geirhos等[59]對圖像進行了去除顏色、去除紋理等變換，并交給人類和機器模型進行判斷，發(fā)現(xiàn)顏色信息對二者的判斷并不造成太大影響，但在去除形狀信息的圖像上，人類的判斷準確率遠遠高于機器模型，這說明相比人類，機器模型極大地依賴于圖像的紋理信息。他們使用風格遷移算法[60]，將不同圖像的紋理信息與形狀信息相融合，進一步論證了人類在圖像識別中偏向于形狀特征，而機器模型更依賴紋理特征，并證明使用去紋理化的數(shù)據(jù)集可以改善機器模型的這一偏向，使機器模型更具有魯棒性[59]。

Wang等[61]的研究發(fā)現(xiàn)，CNN在圖像識別任務中注重高頻分量，而人類注重低頻分量和魯棒性，CNN對高頻特征的重視提升了其訓練準確率，但代價是魯棒性和泛化能力的降低，放棄高頻特征會導致準確率下降，這和文獻[31]的觀點相通；通過研究普通模型和對抗魯棒性模型特征層的差異，發(fā)現(xiàn)對抗魯棒性模型的卷積核比普通模型更加平滑，說明對抗魯棒的卷積模型不容易受到對抗擾動的影響。

CNN對高頻紋理特征的偏好可能是其魯棒性較差的原因之一，研究者也嘗試改善這一特性。Shi等[62]認為紋理特征會在小區(qū)域內(nèi)以高概率重復出現(xiàn)從而降低自信息率，提出信息丟棄方法來降低模型對紋理信息的獲取，實驗證明，該方法可以提高模型對加性噪聲失真和對抗樣本的魯棒性。Li等[63]考慮到高頻紋理特征和低頻的形狀特征都在CNN的圖像識別中起到重要作用，任何偏見都會導致網(wǎng)絡的性能下降，所以提出形狀?紋理去偏見化的訓練方法。他們使用風格遷移算法[60]將兩個不同類型的圖像進行混合，得到混合圖像作為訓練數(shù)據(jù)；標簽方面，不使用硬標簽，而使用軟標簽，同時標識圖像的紋理信息和形狀信息的來源；該方法在ResNet模型和ImageNet數(shù)據(jù)集上同時提高了模型的分類正確率和對抗魯棒性[63]。

2.5 人類視覺系統(tǒng)的相對優(yōu)勢

相比人工神經(jīng)網(wǎng)絡，人類的視覺系統(tǒng)具有獨特的優(yōu)勢。

一是其精細的模塊劃分。初級視覺皮層提取出的特定視覺特征會以生物電的形式傳送到高級視覺皮層的特定位置，且僅激活特定腦區(qū)而不影響其他部位。這使大腦能夠?qū)π畔⑦M行針對性揚棄，提高處理效率，降低能耗。大腦對于一些較為低級的特征也有精細的處理，如顏色會在V1皮層進行初步處理，而直到V4皮層才會生成對顏色色相的感知[64]。

二是人腦具有極強的抽象能力。大腦在進行物體識別之前，會根據(jù)一定的特征對視覺信號進行聚類分析，如前文提到的“現(xiàn)實世界尺寸[42]”或“活力程度[43]”，而這類特征是如何抽象出來的還尚待研究。人類對于臉的識別則是大腦抽象能力的集中體現(xiàn)，一個剛學會畫畫的孩子畫人臉時，往往會用抽象的線條來呈現(xiàn)，而其他人類不需要任何額外的辨認即可知道這是一張臉，這是現(xiàn)在的神經(jīng)網(wǎng)絡所做不到的。

視覺皮層進化出這些特征可能是對視覺系統(tǒng)本身的補償。人類視網(wǎng)膜中有兩類接收光信號的細胞（視錐細胞和視桿細胞），前者決定了在正常光線情況下的視覺分辨率。人類約有460萬個視錐細胞，其中絕大多數(shù)集中在視網(wǎng)膜的中央凹處，其他部位則分布稀疏[65]，無法提供足夠的分辨能力。這一生理機能限制導致人類只能清晰地識別一小部分視野，而大腦則用強大的特征提取算法來優(yōu)化視覺。

2.6 關(guān)于神經(jīng)網(wǎng)絡魯棒性的進一步討論

可以得出這樣一個結(jié)論：在圖像識別的應用場景下，卷積神經(jīng)網(wǎng)絡傾向于學習高頻的紋理特征，而人類的生理特性決定了其對高頻特征不敏感，這使神經(jīng)網(wǎng)絡在認知層面與人類存在偏差。而脆弱的高頻特征更容易被擾動破壞，這是神經(jīng)網(wǎng)絡缺乏魯棒性的根本原因。

跳出圖像識別這一領(lǐng)域，再討論神經(jīng)網(wǎng)絡與人類的差異，會發(fā)現(xiàn)神經(jīng)網(wǎng)絡應用場景有一個特點：它擅長完成對于人類來說十分困難的計算和記憶任務，如下圍棋、語言翻譯等；而對于模式識別類問題，如圖像識別、語音識別等，人類可以輕松完成這些任務，但神經(jīng)網(wǎng)絡的表現(xiàn)卻與人類有很大差距?？疾爝@兩類問題的特點，會發(fā)現(xiàn)前者問題雖然復雜，但是在有限和離散的輸入維度之內(nèi)進行計算，如下圍棋只需要考慮每一步361個點的狀態(tài)，語言翻譯的場景下單詞的數(shù)量也是有限的，現(xiàn)有機器的算力足以應對這些場景。而后者的輸入維度，以224×224像素的RGB圖像識別為例，假設(shè)每一個像素點的單個顏色深度是8位，那么整個輸入空間大小為256150528，近乎是無限的。人類由于本身生理機能的限制，只能獲取精度有限的視覺信息，但大腦的抽象能力使人類能輕易地掌握圖像中物體所具有的高層次特征，而不至于被細節(jié)所誤導。但神經(jīng)網(wǎng)絡的結(jié)構(gòu)決定了它必須接受和處理圖像中的每一個像素點，優(yōu)點是可以使用細節(jié)來提高自己的準確度，缺點在于算力不足以支持細粒度分析的情況下，這些細節(jié)會導致其有效特征提取不足，對高級、抽象的特征缺乏感知，最終體現(xiàn)為魯棒性的缺失。

另外，神經(jīng)網(wǎng)絡的魯棒性與具體的應用場景和目標任務也有關(guān)。對于下圍棋這一任務而言，一方面其評價標準是客觀的，另一方面數(shù)據(jù)中幾乎所有的信息是有效的，此時神經(jīng)網(wǎng)絡強大的記憶和計算能力使其比人類具有更大的優(yōu)勢，所以基于神經(jīng)網(wǎng)絡的人工智能比人類更具有魯棒性。而復雜模式識別任務的評價標準較為主觀，神經(jīng)網(wǎng)絡在抽象能力方面的不足使其難以學習足夠的有效信息，從而表現(xiàn)為魯棒性的缺失。神經(jīng)網(wǎng)絡模型與人類視覺系統(tǒng)比較如表2所示。換言之，目前的神經(jīng)網(wǎng)絡結(jié)構(gòu)足以勝任類似于下圍棋這樣的任務，但尚不能完美地解決復雜模式識別問題，仍需要優(yōu)化和改進。綜上所述，對于復雜模式識別問題，要提高神經(jīng)網(wǎng)絡模型魯棒性，應當從抽象能力出發(fā)，讓神經(jīng)網(wǎng)絡能夠有效地學習魯棒的高級語義特征。

表2 神經(jīng)網(wǎng)絡模型與人類視覺系統(tǒng)比較Table 2 Comparison of neural network and human visual system

3 魯棒性研究展望

魯棒性的研究正處在一個交叉路口，其中一條路是繼續(xù)分析模型的數(shù)學性質(zhì)，建立新的更加復雜的數(shù)學模型來描述模型的魯棒性，這也是大多數(shù)人所走的路；另一條路則是從人類視覺系統(tǒng)中尋找靈感，這條路更加困難，但無可否認的是，以往人工智能算法的重大革新正是設(shè)計出了與人類神經(jīng)系統(tǒng)更相似的模型[1,45-46]。在這一方向上，有互相交叉的兩條路徑：一是神經(jīng)科學的研究，直接從大腦結(jié)構(gòu)出發(fā)，討論人腦與神經(jīng)網(wǎng)絡的關(guān)系；另一條是以機器學習模型為基礎(chǔ)，先提出新的算法或模型結(jié)構(gòu)，再設(shè)計人類參與的心理學實驗來評估模型或者算法的效果。事實上，由于人類的大腦很難被直接研究，目前神經(jīng)科學領(lǐng)域的研究要借助動物實驗。在腦科學的深入探索方面，人工智能學家受到的限制更少，可能在某些方面比腦科學家更有優(yōu)勢，甚至給予腦科學意想不到的啟發(fā)。

在這一方向上的研究，可以思考以下兩個問題。

（1）先驗還是后驗

對于目前的神經(jīng)網(wǎng)絡模型，其訓練的超參數(shù)和網(wǎng)絡結(jié)構(gòu)本身是先驗的，訓練得到的參數(shù)則是后驗的。人類大腦具有復雜的結(jié)構(gòu)，每一個腦區(qū)又能夠分解成若干子功能分區(qū)，一個重要的課題就是研究在這些分區(qū)中，哪些結(jié)構(gòu)是由基因先天決定的，哪些能力是經(jīng)過后天學習獲得的。在這些問題上，神經(jīng)科學在初級的特征提取方面有了初步的成果，但在高級特征的分類和識別上仍有待探索[49]。如果能用一定的方法將相關(guān)的結(jié)論運用在神經(jīng)網(wǎng)絡的結(jié)構(gòu)中，甚至做出進一步優(yōu)化，必然能夠有效地提高神經(jīng)網(wǎng)絡的效率和魯棒性。He等[66]提出的ResNet網(wǎng)絡是一個典型的例子，其中的殘差結(jié)構(gòu)能夠讓網(wǎng)絡通過學習來降低不合理的網(wǎng)絡結(jié)構(gòu)帶來的負面影響。

（2）模塊化還是高耦合

目前的神經(jīng)網(wǎng)絡模型的一大特點是端到端的訓練：輸入端無須進行任何的特征提取，直接輸入經(jīng)過簡單處理的原始數(shù)據(jù)，然后在輸出端獲取結(jié)果。這樣的好處是節(jié)省了大量人力成本，缺陷則是人們對訓練得到的參數(shù)缺乏認識，難以找到模型中的缺點并進行改良。所有的數(shù)據(jù)和參數(shù)混在一起無法區(qū)分，這是高耦合的典型特征。如果能夠參考人腦視覺皮層中結(jié)構(gòu)特性，對神經(jīng)網(wǎng)絡模型結(jié)構(gòu)進行模塊化的改進，或許能夠提升模型的性能和可解釋性。Szegedy等[67]提出的Inception網(wǎng)絡結(jié)構(gòu)中使用不同大小的卷積核提取不同尺度的特征，具有類似的效果。

4 結(jié)束語

對于機器學習的研究，大致上可以分成3個方向：提升通用任務的性能、對特定任務進行優(yōu)化、提升魯棒性。前兩個方向的研究，已經(jīng)在許多方面達成“超越人類”的效果，而魯棒性研究則一直是短板。大多數(shù)魯棒性研究的關(guān)注點在對抗魯棒性上，體現(xiàn)為各種攻擊方法和防御方法的“矛盾”之爭。對抗訓練效果顯著，但由于其成本太高，無法推廣。

模型的視覺魯棒性是本文在傳統(tǒng)的魯棒性研究的基礎(chǔ)上提出的概念，研究人類視覺系統(tǒng)與神經(jīng)網(wǎng)絡模型的一致性，是對魯棒性更深入的討論。學術(shù)界對于魯棒性的研究尚未得出一個公認的結(jié)論，但就目前的趨勢而言，相關(guān)研究最終要“以人為本”，回歸人類與模型的差異，而根本上的解決方法是提出更接近人類視覺機制的機器學習模型和算法?？偠灾?，對于魯棒性的研究是接下來機器學習算法研究的重中之重，需要研究者在這一領(lǐng)域更有創(chuàng)造性地工作。