韋 璠, 宋云飛, 邵明莉, 劉 天, 陳小紅, 王祥豐, 陳銘松

(上海市高可信計算重點實驗室(華東師范大學(xué)),上海 200062)

近年來,物聯(lián)網(wǎng)設(shè)備的數(shù)量在不斷飆升.據(jù)IoT Analysis 網(wǎng)站發(fā)表的2018 第一、第二季度的物聯(lián)網(wǎng)發(fā)展?fàn)顟B(tài)統(tǒng)計[1],全球聯(lián)網(wǎng)設(shè)備數(shù)量已達170 億,其中,物聯(lián)網(wǎng)設(shè)備占70 億;并且該統(tǒng)計不包含固定電話、智能手機、平板以及筆記本電腦,也不包含過去加入到連接中但目前已不再使用的設(shè)備.盡管如此,這一數(shù)據(jù)也呈現(xiàn)出不斷攀升的趨勢,預(yù)計會在2020 年達到100 億以及2025 年達到220 億.大量的物聯(lián)網(wǎng)設(shè)備會產(chǎn)生海量的數(shù)據(jù),圖像是其中一種重要的數(shù)據(jù)形式,使用深度神經(jīng)網(wǎng)絡(luò)處理海量圖像數(shù)據(jù)[2-5]已是大勢所趨.不可否認(rèn),深度神經(jīng)網(wǎng)絡(luò)經(jīng)過近幾十年的發(fā)展,在很多任務(wù)上都有了長足的進步,在圖像分類領(lǐng)域的表現(xiàn)尤為突出.但這些高性能分類器在面對對抗樣本攻擊時卻暴露了其脆弱性[6]:這些對抗樣本只在原始圖片上加了微小量的擾動,通常情況下,這些擾動是人眼無法發(fā)覺的,并不會對人的判斷造成影響,但卻能成功愚弄深度神經(jīng)網(wǎng)絡(luò)分類器,使其做出錯誤的分類判斷.所以說,如何提高模型對對抗樣本攻擊的防御能力,就成為了一個非常重要的課題.

提高模型的魯棒性,是目前應(yīng)對對抗樣本攻擊的一個重要方法.模型魯棒性是一個用于分析模型對于微小擾動的抵抗能力的評判標(biāo)準(zhǔn),在相同擾動下,模型的判斷準(zhǔn)確率越高,魯棒性越好.根據(jù)使用模型數(shù)量的不同,可以將現(xiàn)有工作分為兩類:基于單模型的魯棒性提升方法和基于組合模型的魯棒性提升方法.根據(jù)對抗樣本處理方式的不同,又可以將基于單模型的魯棒性提升方法分為對抗樣本檢測和對抗樣本防御.

· 對抗樣本檢測方法是在原模型之外構(gòu)造一個單獨的樣本探測器,樣本輸入到目標(biāo)模型之前必須先經(jīng)過探測器判斷,只有被判斷為干凈的樣本才能輸入到目標(biāo)模型中[7,8].這不僅需要額外的資源消耗,而且樣本探測器本身也存在受到攻擊的風(fēng)險.Carlini 等人[9]甚至通過研究指出:目前大多數(shù)的對抗樣本探測器都是無效的,并且它們也能被輕易攻擊;

· 對抗樣本防御方法一般著眼于提升網(wǎng)絡(luò)本身的魯棒性,以使其能夠正確分類對抗樣本,相較于對抗樣本檢測方法而言更有效且資源消耗更低,更適用于物聯(lián)網(wǎng)應(yīng)用場景.

基于組合模型的魯棒性提升方法則是綜合評估多個模型的預(yù)測結(jié)果得到最終輸出,通常情況下,相比于基于單模型的防御方式而言會有更好的防御表現(xiàn)[10].特別是清華團隊最近提出的基于組合模型的提升模型整體多樣性方法[11],通過分離組合成員的非極大預(yù)測的分布,能夠在不影響模型準(zhǔn)確率的情況下提升組合內(nèi)各個成員之間的多樣性,降低成員間的相似程度,從而使得對抗樣本難以在各個成員之間遷移,更進一步地提高了組合模型的整體魯棒性.盡管如此,考慮到物聯(lián)網(wǎng)設(shè)備有限的資源配置、計算能力以及實時性要求等,基于組合模型的防御方式很難落實到物聯(lián)網(wǎng)應(yīng)用中.

基于以上情況并受到組合模型整體多樣性的啟發(fā),本文提出了一種在單模型上使用組合模型防御方式的模型魯棒性提升方法:依據(jù)分支網(wǎng)絡(luò)(branchynet)[12]中淺層出口也可以達到較好的預(yù)測準(zhǔn)確率理論,給原始模型添加額外的分支模擬組合模型效果;在分支之間加入特征金字塔[13]實現(xiàn)特征融合,消除了各分支輸出的尺度差異;針對多分支單模型改進了整體多樣性計算方式,提高了單模型內(nèi)各個分支間的整體多樣性,有效避免了對抗樣本在各分支之間的遷移.本文對圖像分類模型Resnet-32[14]做了以上改造及訓(xùn)練,通過在MNIST 和CIFAR-10數(shù)據(jù)集上使用目前流行的攻擊方式進行防御實驗,以證明本方法的可行性與有效性.

本文第1 節(jié)主要介紹目前已有的在單模型上應(yīng)對對抗樣本攻擊、提高模型防御能力的相關(guān)研究工作.第2節(jié)從模型改造、多分支單模型的整體多樣性計算以及訓(xùn)練過程這3 個方面詳細(xì)闡述本文提出的模型魯棒性提升方法.第3 節(jié)通過在MNIST 和CIFAR-10 這兩個圖像分類領(lǐng)域最常用的數(shù)據(jù)集上對比目前流行的7 種白盒攻擊方式下的分類正確率,證明本方法能夠在不影響原模型分類效果的前提下,顯著提高模型的魯棒性.第4 節(jié)對本文工作做出總結(jié)并給出未來的工作展望.

1 相關(guān)工作

對抗樣本防御是目前在單模型上應(yīng)對對抗樣本攻擊的一個有效方法.對抗樣本攻擊是指使用經(jīng)過惡意微小調(diào)整的樣本輸入到神經(jīng)網(wǎng)絡(luò),使其給出完全不同于真實樣本的錯誤結(jié)果.這些調(diào)整通常是人眼無法察覺的,但卻能成功愚弄神經(jīng)網(wǎng)絡(luò)使其做出錯誤判斷,這就會對機器學(xué)習(xí)模型支持的系統(tǒng),特別是安全攸關(guān)的應(yīng)用帶來極大的安全威脅.對抗樣本防御方法的主要思想是:提升模型自身的魯棒性,以使其能夠?qū)箻颖咀龀稣_判斷.根據(jù)Rajeev 等人[15]的理論,可將其分為3 類:對抗訓(xùn)練、對輸入降噪預(yù)處理以及直接修改目標(biāo)模型的網(wǎng)絡(luò)結(jié)構(gòu)或優(yōu)化訓(xùn)練過程.

對抗訓(xùn)練是把對抗樣本加入到訓(xùn)練集中對模型進行訓(xùn)練.例如Miyato 等人提出的虛擬對抗訓(xùn)練方法(VAT)[16],他們基于虛擬對抗性損失提出了一種新的正則化方法,定義了沒有標(biāo)簽信息的對抗方向,將對抗訓(xùn)練擴展到了半監(jiān)督學(xué)習(xí)任務(wù)中;Kurakin 等人則成功地將對抗訓(xùn)練擴展到大型模型和數(shù)據(jù)集中[17],并解決了對抗訓(xùn)練過程中的”標(biāo)簽泄露”效應(yīng);在Google Brain 組織的NIPS 2017 競賽中,也有許多參賽隊伍使用了對抗訓(xùn)練方法并取得了不錯的成績[18].盡管如此,對抗訓(xùn)練卻有其難以規(guī)避的顯著缺點,即:這種訓(xùn)練方式下生成的模型的防御效果不具有普適性,意味著它只能應(yīng)對訓(xùn)練過程中使用的攻擊方式,當(dāng)攻擊方式發(fā)生變化時,模型的脆弱性就會再次體現(xiàn),將其運用到物聯(lián)網(wǎng)設(shè)備中也會遇到同樣的問題.

對輸入進行降噪預(yù)處理是在將樣本輸入到目標(biāo)模型之前先去掉樣本上的惡意擾動.例如Samangouei 等人提出的Defense-GAN 模型[19],它是一個利用生成模型的表達能力來保護深度神經(jīng)網(wǎng)絡(luò)免受對抗樣本攻擊的新框架,在將給定圖像輸入到目標(biāo)模型推理之前,利用生成器找到該圖像的一個不包含對抗性變化的相近輸出,然后再把這個輸出交由分類器處理;Guo 等人[20]也研究了這種在將輸入樣本饋送到系統(tǒng)之前轉(zhuǎn)換輸入來抵御圖像分類系統(tǒng)上的對抗樣本攻擊策略,他們在把圖像輸入到卷積網(wǎng)絡(luò)分類器之前,應(yīng)用諸如比特深度縮減、JPEG壓縮、總方差最小化和圖像絎縫之類的變換,通過在ImageNet 數(shù)據(jù)集上的實驗證明,總方差最小化和圖像絎縫能夠有效提高系統(tǒng)防御能力.但總體而言,這種解決方案實際上也需要在將輸入樣本輸送到目標(biāo)模型之前添加額外的預(yù)處理過程,增加了物聯(lián)網(wǎng)設(shè)備的計算負(fù)擔(dān).

直接修改目標(biāo)模型的網(wǎng)絡(luò)結(jié)構(gòu)或者優(yōu)化訓(xùn)練過程,是另一種有效提高模型魯棒性的方法.例如Lamb 等人提出的強化網(wǎng)絡(luò)[21],它是對現(xiàn)有網(wǎng)絡(luò)的一個簡單轉(zhuǎn)化,通過識別隱藏狀態(tài)在數(shù)據(jù)流中斷開的時間,把這些隱藏狀態(tài)映射回網(wǎng)絡(luò)中運行良好的數(shù)據(jù)流部分,加強了深度網(wǎng)絡(luò)的隱藏層,并通過實驗證明了強化這些隱藏狀態(tài)可以提高深度網(wǎng)絡(luò)的魯棒性.但是,強化網(wǎng)絡(luò)只有在與對抗訓(xùn)練同時使用時才能提高魯棒性,這對于迭代攻擊而言是非常昂貴的.Rajeev 等人則認(rèn)為,可以通過緊湊特征學(xué)習(xí)(compact feature learning)[15]來中和對抗攻擊.他們認(rèn)為,在一個封閉有界的區(qū)間里來學(xué)習(xí)特征能夠提升網(wǎng)絡(luò)的魯棒性,并由此提出了一種創(chuàng)新的卷積方式——緊湊卷積,保證了每層的特征有界且彼此相似.最后,通過實驗證明使用此方法構(gòu)造的新的緊湊卷積網(wǎng)絡(luò)能夠抵御多種攻擊方式,并且與CNN 相比不會產(chǎn)生額外的訓(xùn)練開銷,但這種改進方式也只對卷積神經(jīng)網(wǎng)絡(luò)有效.

通過對比以上3 種基于單模型的對抗樣本防御方法,本文決定采取第3 種方式,直接修改目標(biāo)模型的網(wǎng)絡(luò)結(jié)構(gòu)并優(yōu)化訓(xùn)練過程.受到組合模型的防御表現(xiàn)一般優(yōu)于單模型[10]的論斷和基于組合模型的整體多樣性[11]定義的啟發(fā),通過給目標(biāo)模型添加分支并在訓(xùn)練過程中添加整體多樣性計算,提出了一種在單模型上實現(xiàn)組合模型魯棒性提升效果的方法.

2 提出的方法

本文提出了一種基于特征融合和整體多樣性的單模型魯棒性提升方法.本文認(rèn)為,在單個模型中進行均化的多分支預(yù)測可以提高模型魯棒性.該方法主要包含兩個部分:一是將基礎(chǔ)模型改造為均化多分支預(yù)測模型,二是提出針對在單模型中各分支長度不一致情況下的整體多樣性計算方法.下面將分別從結(jié)構(gòu)改造、基于多分支單模型的整體多樣性計算以及模型訓(xùn)練這3 個方面具體闡述.

2.1 結(jié)構(gòu)改造

深度神經(jīng)網(wǎng)絡(luò)中:淺層次的特征圖尺寸較大,蘊含了更多的信息,表達了輸入的細(xì)節(jié)特征;深層次的特征圖尺寸較小,內(nèi)容更抽象,表達了輸入的語義特征.由于語義特征可以更抽象、更徹底地描述一個物體,所以層次的加深使得模型可以更全面地認(rèn)識輸入的特征,達到更好的表現(xiàn).但很多物體只需要使用部分細(xì)節(jié)特征或不那么抽象的語義特征就可以辨認(rèn),所以淺層次的特征圖做預(yù)測亦可以達到較好的精度.一般來說,特征融合是指采用現(xiàn)有的多個特征集生成新的融合特征,它可以使兩組不同層次的特征圖信息互補,橫向鏈接的特征融合(如圖1(c)所示)需要淺層特征圖在不改變尺寸的同時增加到與深層相同的通道數(shù),而深層的特征圖需要使用上采樣的方法將尺寸擴大到與淺層一致,這樣可以使得淺層的最終特征圖獲得深層信息,提高自身的判斷精度.網(wǎng)絡(luò)通常為深層次的準(zhǔn)確率會更好,同時也由于淺到深會有尺寸變換,細(xì)節(jié)特征還是會被抽象化,而深到淺的上采樣則是均分?jǐn)U大,不會將語義特征具體化,所以在本文中,特征融合只需將深層特征融合到淺層.據(jù)此,定義了魯棒性提升方法的改造過程,如圖1 所示,具體過程如下.

1) 以現(xiàn)有模型(如圖1(a)所示)為基礎(chǔ),根據(jù)使用淺層特征圖也能達到較好的預(yù)測精度理論,在模型淺層添加額外分支如Pre1～Pre3,形成多預(yù)測結(jié)構(gòu)的分支網(wǎng)絡(luò)(如圖1(b)所示);

2) 對圖1(b)的分支網(wǎng)絡(luò)的各個分支做特征融合,從最深的出口開始,將做出預(yù)測前的特征上卷積融合進相對淺層的出口,遞歸執(zhí)行此步驟至最淺層出口處.在圖1(d)中的表現(xiàn)為pre3 處特征融合更深處的全部特征,pre2 處特征獲得融合后pre3 處特征的上卷積,pre1 處特征獲得融合后pre2 處特征的上卷積,完成全部的融合過程后,形成圖1(d)所示的特征金字塔結(jié)構(gòu).最終,淺層特征就融合了相對其的全部深層特征,可以更有效地輔助判斷,同時復(fù)雜化模型的線性過程;

3) 為了保證單模型的唯一出口,對圖1(d)中各個分支的預(yù)測做平均運算,獲得最終單出口輸出Final Out;

4) 除了計算最終單出口輸出Final Out 的誤差LCE之外,也對圖1(d)中各個分支的預(yù)測做誤差計算以提高各自的識別精度.為了降低分支之間預(yù)測的相似性,從而提高模型魯棒性,使用第2.2 節(jié)提出的基于多分支單模型的整體多樣性計算公式計算LED;最終,根據(jù)誤差結(jié)果完成模型參數(shù)優(yōu)化.

2.2 基于多分支單模型的整體多樣性計算

組合模型在訓(xùn)練過程中,會因為成員之間的信息交互導(dǎo)致各個成員的最終輸出表征相似,這一問題在圖1(d)所示的多分支單模型中表現(xiàn)更為明顯.這是因為分支預(yù)測之間有共享層,在簡單的訓(xùn)練下,分支之間的信息交互會比組合模型成員之間的更強.為了使訓(xùn)練出來的各個分支預(yù)測不趨同,提升分支之間的整體多樣性就顯得尤為重要.為此,本文設(shè)計了基于多分支單模型的整體多樣性計算方法,分為3 個部分.

· 第1 部分為確保每個分支的準(zhǔn)確率.

作為可以單獨輸出的預(yù)測,我們要保證分支預(yù)測的準(zhǔn)確性,準(zhǔn)確性的判斷一般由交叉熵來衡量.每個分支的交叉熵在反向傳播過程中都會影響其路徑上的參數(shù),而在單個模型中,這些路徑存在重疊(這些重疊的部分稱為共享層),因此會導(dǎo)致共享層的內(nèi)部參數(shù)同時,受多個分支影響.同時,由于各分支的路徑長度不一致,因此它們在訓(xùn)練中占有的比重也應(yīng)有所不同.所以,使用一個帶權(quán)重的組合交叉熵來保證各分支的預(yù)測準(zhǔn)確率:

其中,P={pn},n∈N是所有分支預(yù)測的集合;ωn是各分支的權(quán)重,一般由路徑長度的比例決定,或者按照實踐經(jīng)驗重新設(shè)定.

· 第2 部分為提高預(yù)測的置信度.

在有標(biāo)簽的交叉熵計算中,標(biāo)簽是一個獨熱碼(one-hot vector),所以計算結(jié)果省略了非正確標(biāo)簽的信息,而最終輸出的置信度也是可以評價模型精度的一種度量.香農(nóng)熵可以對信息量化,熵值越大,表示變量的不確定越大,使用其來作為置信度的計算,可以使訓(xùn)練過程考慮到輸出的總體分布帶來的不確定因素影響.雖然本文改進模型的最終輸出是均化值,但分支長度的不同依舊需要考慮,所以此階段的置信度計算對象結(jié)合了權(quán)重信息:

· 第3 部分為定義多樣性的度量.

本方法為使整體多樣性提升不影響正確標(biāo)簽的分布,采用修改非極大預(yù)測分布的策略,非極大預(yù)測分布即為分支預(yù)測分布去除正確標(biāo)簽對應(yīng)位后剩余的錯誤分類方向分布情況.將所有分支的非極大預(yù)測分布整合,構(gòu)成一個n-1 維的向量組.同樣考慮分支長度不一致,各分支在n-1 空間內(nèi)的指向在受到相同力量的分離時,相對與中心分離的角度會不一致,所以在組合向量組中引入各分支的權(quán)重,此處權(quán)重可定為與路徑長度比例一致,欲達到最優(yōu)效果,需要經(jīng)過角速度的計算獲得:

最終,對多分支單模型的整體多樣性計算為

其中:H(?)為香農(nóng)熵計算公式;γ和μ為超參,負(fù)責(zé)權(quán)衡多樣性的提高程度和準(zhǔn)確率,達到最優(yōu).

2.3 訓(xùn)練過程

一般的模型訓(xùn)練過程中,只會使用最終輸出和訓(xùn)練標(biāo)簽來計算誤差.但本文方法給原模型添加了額外分支,為了發(fā)揮各個分支的作用,還需要將分支預(yù)測結(jié)果添加到誤差計算過程中.針對改進后的模型結(jié)構(gòu),我們設(shè)計了算法1.在模型沒有完全擬合或者還沒有到達輪數(shù)上限時執(zhí)行以下操作.

1) 獲取各個分支的預(yù)測結(jié)果,保存到張量pk中;

2) 計算所有分支預(yù)測結(jié)果的平均值,保存到最終結(jié)果yf中;

3) 計算出模型的整體多樣性,輸入為各分支預(yù)測pk、已設(shè)定的整體多樣性超參γ,μ以及每個分支的權(quán)重;

4) 使用yf和訓(xùn)練標(biāo)簽y計算交叉熵,以提高模型的預(yù)測準(zhǔn)確率;

5) 累加LED和LCE作為模型此次推理的誤差,并求出模型所有訓(xùn)練參數(shù)的梯度;

6) 依據(jù)計算出的梯度,使用優(yōu)化器更新模型參數(shù).

7) 當(dāng)前訓(xùn)練輪數(shù)的值屬于預(yù)先設(shè)定的修改學(xué)習(xí)率輪數(shù)集Q時,將學(xué)習(xí)率降低為上一階段的十分之一.

算法1.基于多分支單模型的訓(xùn)練算法.

輸入:訓(xùn)練數(shù)據(jù)X,訓(xùn)練標(biāo)簽Y,批量大小m,出口數(shù)量K,優(yōu)化器參數(shù)α,輪數(shù)上限N,需要修改學(xué)習(xí)率的輪數(shù)集Q,整體多樣性超參γ,μ,ω;

輸出:分類器C.

3 實 驗

為了驗證本方法對單模型魯棒性提高的有效性及可用性,需要回答如下幾個問題.

· 問題1:本方法是否能夠提升模型的防御能力?即:改進后的模型在受到攻擊的情況下是否能夠比以前的模型得到更好的分類正確率?防御能力是否只是針對某種特定攻擊方式有效?

· 問題2:本方法會否損害原模型的分類效果?即,改進后的模型是否仍能對原始的干凈樣本正確分類?

· 問題3:本方法中,對分支的特征融合以及在訓(xùn)練過程中加入的整體多樣性正則項是否必須同時滿足?

· 問題4:本方法是否能與其他的模型防御方法組合使用,并且不會影響防御效果?

3.1 實驗設(shè)計

為了回答以上4 個問題,我們進行了如下設(shè)計.

· 首先構(gòu)造要對比的模型.

根據(jù)問題1 和問題2,只需要對比初始原模型(記為B 模型)和使用本文方法改造后的模型(記為F+D 模型);為了回答問題3,需要額外設(shè)計只使用了特征融合的模型(記為F 模型)和只使用了整體多樣性的模型(記為D 模型);為了回答問題4,我們選擇了一種常用的模型防御方法——對抗訓(xùn)練,它有助于使神經(jīng)網(wǎng)絡(luò)的函數(shù)從接近線性變化轉(zhuǎn)化為局部近似恒定,從而可以靈活地捕獲到訓(xùn)練數(shù)據(jù)中的線性趨勢,同時學(xué)習(xí)抵抗局部擾動,是一種廣泛使用的模型防御能力再提升方法.實驗需要對比只使用本文方法改造后的模型(記為F+D 模型)和綜合使用本文方法與對抗訓(xùn)練的模型(記為AdvT+F+D 模型).這些模型的具體構(gòu)造方式如下:B 模型選擇了Resnet-32 模型,不對其做任何改動;F 模型是對B 模型加入了額外分支和分支之間的特征金字塔,但在訓(xùn)練過程中不考慮分支的整體多樣性;D 模型是在B 模型中加入分支,并在訓(xùn)練過程中加入分支的整體多樣性正則項,但不添加分支之間的特征融合部分;F+D 模型則是綜合以上兩種方法,對原模型加入額外分支出口以及分支間的特征融合,同時在訓(xùn)練過程中使用整體多樣性的正則項;AdvT+F+D 模型是在F+D 模型的基礎(chǔ)上,綜合使用對抗訓(xùn)練而得到的模型.

· 其次,選擇攻擊方式以及對應(yīng)的參數(shù).

白盒攻擊是在攻擊者已知分類器的全部信息,包括訓(xùn)練數(shù)據(jù)、模型結(jié)構(gòu)和權(quán)重的情況下,生成對抗樣本攻擊神經(jīng)網(wǎng)絡(luò),相對于黑盒攻擊而言具有更強的攻擊能力.因此,使用白盒攻擊來驗證提高模型魯棒性帶來的防御能力具有更大的說服力.本文選擇了7 種流行的白盒攻擊方式:快速梯度符號法(fast gradient sign method,簡稱FGSM)[22]、基本迭代法(basic iterative method,簡稱BIM)[23]、投影梯度下降(project gradient descent,簡稱PGD)[24]、動量迭代法(momentum iterative method,簡稱MIM)[25]、基于雅可比矩陣的顯著圖攻擊(Jacobian-based saliency map attack,簡稱JSMA)[26]、Carlini & Wagner(C&W)[27]、彈性網(wǎng)絡(luò)攻擊(elastic-net attack,簡稱EAD)[28].此外,為了觀察模型在不同攻擊力度下防御表現(xiàn)的變化,每種攻擊方式都設(shè)置了3 種參數(shù).

接下來選擇實驗使用的數(shù)據(jù)集.我們選取了圖像分類領(lǐng)域兩個最常用的數(shù)據(jù)集MNIST 和CIFAR-10.MNIST 是一個黑白手寫數(shù)字?jǐn)?shù)據(jù)集,包含0～9 這10 類來自250 人的手寫數(shù)字,圖片尺寸為28×28.其中,訓(xùn)練集圖片數(shù)量為60 000 張,測試集圖片數(shù)量為10 000 張;CIFAR-10 是一個更接近于普適物體的彩色圖像數(shù)據(jù)集,包含飛機、汽車、鳥類、貓、鹿、狗、蛙類、馬、船和卡車這10 類數(shù)據(jù),圖片尺寸為32×32.其中,訓(xùn)練集圖片數(shù)量為50 000 張,測試集圖片數(shù)量為10 000 張.

本文認(rèn)為:使用這兩種數(shù)據(jù)集,能成功驗證本方法的可行性和有效性.

為了回答問題1 和問題3,我們設(shè)計了2(數(shù)據(jù)集)×7(攻擊方式)×3(攻擊參數(shù))×4(模型)=168 組對比實驗,在兩個數(shù)據(jù)集上分別使用上述7 種攻擊方式,對每種攻擊方式設(shè)置3 種攻擊參數(shù)調(diào)節(jié)攻擊力度,對比上述4 種模型的分類正確率.

為了回答問題2 和問題3,我們設(shè)計了2(數(shù)據(jù)集)×4(模型)=8 組對比實驗,在兩個干凈的數(shù)據(jù)集上對比上述4種模型的分類準(zhǔn)確率.同時,使用T-SNE 視圖[29]對各個模型的輸出降維可視化,進一步佐證了本方法的可用性.

為了回答問題4,我們設(shè)計了2(數(shù)據(jù)集)×4(攻擊方式)×3(攻擊參數(shù))×2(模型)=48 組對比實驗,在兩個數(shù)據(jù)集上分別使用FSGM,BIM,MIM,PGD 這4 種攻擊方式.之所以使用這4 種方式,是因為它們具有相似的攻擊原理,同樣,對每種攻擊方式設(shè)置3 種攻擊參數(shù),對比F+D 模型和AdvT+F+D 模型的防御表現(xiàn).

3.2 實驗過程

本次實驗所使用的CPU 型號為Intel i7 9700k,使用的圖形處理器型號為Nvidia RTX 2080Ti,操作系統(tǒng)為Linux 18.04,Python 版本為3.7,機器學(xué)習(xí)平臺為Tensorflow v1.12[30]以及Keras v2.4.

在訓(xùn)練模型之前,我們首先對數(shù)據(jù)集進行了歸一化預(yù)處理:將所有的訓(xùn)練樣本都?xì)w一化到0-1 范圍內(nèi).同時,為達到更好的訓(xùn)練效果并降低訓(xùn)練出來的模型的過擬合程度,在訓(xùn)練過程中也使用了數(shù)據(jù)增廣技術(shù),對原始圖像樣本分別進行水平翻轉(zhuǎn)、水平平移和豎直平移操作.在平移過程中,使用常量0 填充超出邊界的部分.

實驗選擇的B 模型為深度殘差網(wǎng)絡(luò)Resnet-32,它的基本結(jié)構(gòu)如圖2(a)所示,它包含3 組通道數(shù)依次為16,32,64 的殘差塊:第1 組殘差塊由5 個恒等殘差塊構(gòu)成,第2 組、第3 組殘差塊均由1 個卷積殘差塊和4 個恒等殘差塊構(gòu)成.恒等殘差塊和卷積殘差塊的差別在于塊中殘差分支是否做卷積操作,所以卷積殘差塊會改變特征圖的大小,從而滿足每個階段特征圖尺寸縮小的需求.這3 個殘差塊對應(yīng)的特征圖尺寸分別為32,16,8.最后,通過一個全連接層輸出10 分類結(jié)果.

F 模型的結(jié)構(gòu)如圖2(b)所示,它是在B 模型的基礎(chǔ)上,在第1 組和第2 組殘差塊之后分別加入額外分支,算上原出口,改動后的模型存在3 個出口.在模型中加入特征金字塔,實現(xiàn)特征融合的過程分為3 步.

· 第1 步在第3 組殘差塊的特征圖做上采樣后,達到與第2 組殘差塊的特征圖同一尺寸,再采用橫向連接的方法與第2 組的特征圖融合;

· 第2 步對第1 步得到的融合后特征圖再做上采樣到與第1 組殘差塊的特征圖同一尺寸,再次進行特征融合,并在融合過程中使用小卷積,以保證3 部分特征圖的通道數(shù)一致;

· 最后對3 個分支都進行小尺寸卷積核的特征壓縮,統(tǒng)一生成8×8 尺寸128 通道的特征圖,然后對其進行全局平均池化,生成1×128 的向量,分別經(jīng)過全連接層得到最后的10 分類預(yù)測(包含softmax 變換),最終輸出結(jié)果是3 個預(yù)測結(jié)果的平均值.

D 模型的結(jié)構(gòu)如圖2(c)所示,它同樣在B 模型的第1 組和第2 組殘差塊之后加入額外分支,與F 模型不同的是:它并不會對各個出口輸出的特征圖做特征融合,而是直接通過全連接層得到一個10 分類預(yù)測結(jié)果.為了削減共享層的影響,使訓(xùn)練出來的各個分支的預(yù)測結(jié)果不過于趨同,我們添加了整體多樣性計算:使用了一個帶權(quán)重的組合交叉熵來保證了各分支的預(yù)測準(zhǔn)確率,根據(jù)出口深度,由淺至深權(quán)重依次設(shè)置為1～3;最后,使用第3.2 節(jié)提出的單模型內(nèi)多分支預(yù)測的整體多樣性LED的計算公式為輸出結(jié)果添加了整體多樣性計算,公式中,超參數(shù)γ和μ的值分別設(shè)為1 和0.01.

F+D 模型的結(jié)構(gòu)如圖2(d)所示,它綜合了F 模型與D 模型的改造方法,對各個出口輸出的特征圖做特征融合之后再輸入到全連接層,得到一個10 分類預(yù)測結(jié)果;然后,對3 個出口的預(yù)測結(jié)果進行整體多樣性計算,參數(shù)設(shè)置與D 模型相同.AdvT+F+D 模型的結(jié)構(gòu)與F+D 模型一致,它與F+D 模型的區(qū)別只在于訓(xùn)練過程中動態(tài)地生成對抗樣本用作數(shù)據(jù)擴容,設(shè)置對抗樣本和正常樣本的比例為1:1,計算模型參數(shù)梯度的誤差由對抗樣本誤差和正常樣本誤差累加獲得.

在上述模型的訓(xùn)練過程中,我們將初始學(xué)習(xí)率α設(shè)置為0.001.指數(shù)衰減率β1,β2分別控制之前的時間步的梯度動量和梯度平方動量的影響情況.為了使對比結(jié)果更公平,將它們設(shè)置為領(lǐng)域內(nèi)默認(rèn)值.其中,β1設(shè)置為0.9,β2設(shè)置為0.999.在MNIST 訓(xùn)練集上的訓(xùn)練輪數(shù)為40,但會在20 輪之后,將學(xué)習(xí)率降低為初始的十分之一,直至降到10e-4數(shù)量級;在CIFAR-10 數(shù)據(jù)集上訓(xùn)練輪數(shù)為180,分別在80,120,160 輪之后降低學(xué)習(xí)率為前一時刻的十分之一,直至降到10e-6數(shù)量級.批量(batchsize)設(shè)置為128.此外,由于在訓(xùn)練過程中損失函數(shù)表示的誤差不可能歸為0,若出現(xiàn),則意味著模型過擬合了,所以我們使用了基于驗證集準(zhǔn)確率的模型保存機制.

實驗中,對抗樣本生成使用框架為cleverhans v2.1.0[31],cleverhans 是谷歌基于Tensorflow 開發(fā)的,集成了大多數(shù)現(xiàn)有對抗樣本生成方法.攻擊過程為針對要攻擊的模型圖結(jié)構(gòu),cleverhans 按照所需攻擊方法和設(shè)定的攻擊力度,生成對應(yīng)的數(shù)據(jù)流圖,輸入原始樣本后,輸出生成對抗樣本.防御實驗中,CIFAR-10 數(shù)據(jù)集上FGSM 擾動力度為0.01～0.04;BIM 等3 種迭代方法擾動力度設(shè)計為0.01～0.03;JSMA 設(shè)計擾動力度為0.1,而攻擊像素點占比為5%～15%;C&W 攻擊力度為0.001,0.01 和0.1;EAD 下,L1 正則的超參為0.01,攻擊力度為0.1,1,5.MNIST 數(shù)據(jù)集上,FGSM 擾動力度為0.1～0.3;BIM 等3 種迭代方法擾動力度設(shè)計為0.05～0.15;JSMA 設(shè)計擾動力度為0.2,而攻擊像素點占比為10%～40%;C&W 攻擊力度為0.1,1 和5;EAD 下,L1 正則的超參為0.01,攻擊力度為1,5,10.

3.3 實驗結(jié)果分析

3.3.1 對于對抗樣本的處理能力

為回答問題1 和問題3,首先在CIFAR-10 數(shù)據(jù)集和MNIST 數(shù)據(jù)集上測試B 模型、F 模型、D 模型以及F+D 模型對于7 種常用對抗樣本生成方法下白盒攻擊的防御效果.除每種攻擊方法的擾動參數(shù)設(shè)定之外,設(shè)置BIM,MIM 和PGD 這3 種攻擊的迭代次數(shù)為10,設(shè)置C&W 和EAD 攻擊的迭代次數(shù)為1 000,且學(xué)習(xí)率為0.01.實驗結(jié)果記錄在表1 中.

Table 1 Comparison of classification accuracy against adversarial examples on CIFAR-10 and MNIST (%)表1 CIFAR-10 和MNIST 數(shù)據(jù)集上對于對抗樣本分類正確率比較 (%)

表1 的第1 部分為在CIFAR-10 數(shù)據(jù)集上的實驗結(jié)果.

· B 模型在這7 種攻擊方式下的分類表現(xiàn)都受到了很大的影響,在擾動較低的情況下,準(zhǔn)確率大幅下降;擾動較高的情況下,準(zhǔn)確率甚至只有個位數(shù)水平;

· F 模型僅在FGSM 和JSMA 這兩種攻擊方式下,分類準(zhǔn)確率略有提升;但是對于其他的攻擊方式,防御效果并不明顯.在C&W 和EAD 這兩種比較相似的攻擊方式下,準(zhǔn)確率下降的跨度甚至超過了B 模型;

· D 模型相比于前兩種模型而言,對所有類型對抗樣本都有提高.在7 種攻擊方式下,準(zhǔn)確率都達到了B模型的兩倍以上.其中:對JSMA 和C&W 攻擊的防御表現(xiàn)提升了3～4 倍,對高擾動的EAD 攻擊防御效果甚至達到了B 模型的7 倍左右;

· 最后一列記錄了應(yīng)用本文提出的單模型魯棒性提高方法后形成的F+D 模型的防御結(jié)果.在前4 種攻擊方法下,該模型準(zhǔn)確率相比于D 模型都有成倍的提高;同時,3 種不同擾動值間的下降幅度也遠(yuǎn)小于D模型;后3 種攻擊方式下的防御表現(xiàn)完美繼承了D 模型的優(yōu)勢,JSMA 和EAD 攻擊下,面對各種擾動值都進一步提高,面對EAD 高擾動攻擊的分類準(zhǔn)確率更是達到了B 模型的15 倍以上;對C&W 兩種小擾動的防御表現(xiàn)略差于D 模型,但是實驗中的最高擾動下出現(xiàn)了反超,表明F+D 模型在擾動提高時防御表現(xiàn)的下降趨勢比較平緩.

表1 中,第2 部分為MNIST 數(shù)據(jù)集上實驗結(jié)果.在進行此部分實驗時,由于MNIST 數(shù)據(jù)集的樣本結(jié)構(gòu)比較簡單,所以各種攻擊方式的擾動范圍較于CIFAR-10 數(shù)據(jù)集上有大幅提高,而迭代次數(shù)和C&W 的學(xué)習(xí)率和前部分實驗相同.在如此高的擾動范圍下.

· B 模型對對抗樣本的分類準(zhǔn)確率都大幅下降,特別在實驗中設(shè)定的第1 種、第2 種擾動值間,出現(xiàn)了3～4倍的極速下滑;甚至在C&W 和EAD 這兩種有目標(biāo)的攻擊方式下,受較高擾動攻擊后的分類準(zhǔn)確率下降到了1 以下;

· F 模型的防御表現(xiàn)在前5 種攻擊方式下都有較大提升,特別是面對擾動幅度變大情況,下降趨勢相對平緩;而對C&W 和EAD 兩種相似攻擊的防御表現(xiàn)只有略微提高;

· D 模型對FGSM 等前5 種對抗樣本的防御表現(xiàn)雖然略高于B 模型,卻比F 模型又有下降;而在C&W 和EAD 兩種攻擊下表現(xiàn)良好,抑制住了不同幅度間快速下降的趨勢;

· 而本文方法得到的F+D 模型在所有攻擊方式下的防御表現(xiàn)都得到了非常大的提升,多種攻擊下的表現(xiàn)提高了超過60 個點;甚至在C&W 和EAD 這兩種B 模型表現(xiàn)極差的情況下,幾乎保持了對原始樣本的分類準(zhǔn)確率,不同擾動幅度間的下降趨勢也更加平緩.

觀察整張表發(fā)現(xiàn):面對C&W 和EAD 攻擊,整體多樣性可以提供更好的防御效果;而FGSM 等前5 種攻擊方法則會受到樣本復(fù)雜程度的影響.在相對復(fù)雜的CIFAR-10 數(shù)據(jù)集上,整體多樣性帶來的提升高于特征融合;而在相對簡單的MNIST 數(shù)據(jù)集上,特征融合會提供更好的幫助.本文方法結(jié)合特征融合和整體多樣性,最終達到了1+1 大于2 的優(yōu)秀表現(xiàn).在整個實驗中,一直保持較優(yōu)的防御表現(xiàn),完美解答了問題3.在兩種測試集下進行對4 種模型的白盒攻擊防御實驗中,回答了問題1,證明本文提出的方法可以大幅提升模型的魯棒性,對常見對抗樣本攻擊方法均可做出有效防御.3.3.2 對于干凈樣本的處理能力

為回答問題2,實驗評估了B 模型、F 模型、D 模型以及F+D 模型在干凈測試集上面的表現(xiàn),實驗結(jié)果記錄在表2 中.其中,

· B 模型在MNIST 和CIFAR-10 的識別率分別為99.59%和91.17%,達到了現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)分類器的基本水平;

· F 模型在兩個數(shù)據(jù)集上的分類準(zhǔn)確率則是99.65%和91.41%,可以看出:特征融合使得最終分類可以同時考慮語義特征和細(xì)節(jié)特征,模型能達到更好的精度;

· D 模型沒有加入特征融合,考慮了整體多樣性,但由于是在一個模型內(nèi),各分支路線有共享層,可以預(yù)見,分類準(zhǔn)確率會受到一定的影響,最終結(jié)果99.53%和89.14%,也符合預(yù)期;

· F+D 模型作為本文方法改進并訓(xùn)練的模型,在CIFAR-10 數(shù)據(jù)集上的分類準(zhǔn)確率達到了91.05%,比D模型表現(xiàn)優(yōu)秀,較于B 模型也基本沒有準(zhǔn)確率的下降,甚至在MNIST 數(shù)據(jù)集上的表現(xiàn)超過了F 模型,達到了99.7%.上述結(jié)果表明,本文方法改進并訓(xùn)練的模型仍能保證對原始樣本的分類精度.

Table 2 Comparison of classification accuracy on clean examples from MNIST and CIFAR-10 (%)表2 MNIST 和CIFAR-10 上干凈樣本分類準(zhǔn)確率比較 (%)

為更好地展現(xiàn)整體多樣性的效果,實驗打印了各模型最終輸出的T-SNE 視圖.T-SNE 利用條件概率表示相似性,使用相對熵訓(xùn)練,可將高維分布的點映射到低維空間中,明確地顯示出輸入的聚類狀況.圖3 繪制了對比的4 種模型最終輸出在低維的分布情況.圖中每一種顏色代表一種分類,此實驗在CIFAR-10 驗證集(10 000 張)上進行,所以顏色數(shù)目為10.從圖中可以看出:在同類的點中間參雜其他顏色的點,表示這些點是分類出錯的部分.因為本實驗輸入是原始樣本,可以看出,圖中的錯誤點僅是少數(shù).圖3(a)是B 模型輸出的T-SNE 視圖,可以看出:每種分類并沒有完全聚集在一起,會有部分零散分布在其他位置,總體分布得雜亂無章,甚至有幾類出現(xiàn)了交融.從這里可以認(rèn)為B 模型對對抗樣本很敏感,符合前一實驗的結(jié)果.圖3(b)是F 模型輸出的視圖,可以看出:在同時利用了語義特征和細(xì)節(jié)特征之后,各類自己的聚集相對基本模型已經(jīng)有了改善,但是依舊存在不同類交叉的問題,分離程度不足.圖3(c)是D 模型輸出的視圖,可以看出:各分類之間已經(jīng)有了分離的趨勢,但錯誤的點也明顯增加.推測是由于在一個模型內(nèi),因為各分支存在共同層,多樣性的加入可能影響了擬合,所以準(zhǔn)確率有所下降.圖3(d)則是本文方法改進并訓(xùn)練的模型,同時引入了特征金字塔和改進的整體多樣性,相比于前幾種的結(jié)果,同類之間的聚集程度得到了極大的提高;且不同類之間有明顯的分離,錯誤的點基本沒有增加,符合表2 中的實驗結(jié)果.這部分同樣證明了本文方法成功地提高了模型的魯棒性,并且基本沒有影響模型對原始樣本精度.

3.3.3 與對抗訓(xùn)練方法組合使用的效果

為回答問題4,測試了F+D 模型以及額外加入了對抗訓(xùn)練后的AdvT+F+D 模型在受到相同攻擊下的分類正確率,結(jié)果記錄在表3 中.CIFAR-10 和MNIST 上的對抗模型訓(xùn)練都使用PGD 方法,對抗訓(xùn)練過程中,CIFAR-10數(shù)據(jù)集下設(shè)置PGD 的擾動值為0.01～0.05 隨機采樣,MNIST 數(shù)據(jù)集下設(shè)置0.05～0.2 隨機采樣.隨后測試了與前部分相同參數(shù)的FGSM,BIM,MIM 和PGD 這4 種攻擊.實驗結(jié)果表明:在使用對抗訓(xùn)練之后,模型的防御表現(xiàn)進一步提高.其中,使用PGD 作為訓(xùn)練中的擴容方式時提高最為明顯:CIFAR-10 下,準(zhǔn)確率都提升了近1 倍;而MNIST 下,對于0.15 擾動攻擊,更是近3 倍的提高.BIM 和MIM 除基本原理相似外,與PGD 同樣使用迭代方法,測試中,防御表現(xiàn)都有一定程度的提高.

· MNIST 下,基本達到了對干凈樣本的辨識水平;FGSM 攻擊下,對于前兩種較小的擾動情況都有提高;

· 但是同時,在CIFAR-10 和MNIST 下,對第3 種較大擾動出現(xiàn)準(zhǔn)確率下降的情況.我們認(rèn)為:相比于迭代的攻擊方式,FGSM 在大擾動下對圖片的破壞情況相對嚴(yán)重;而使用PGD 攻擊方式做對抗訓(xùn)練,模型達到的局部恒定比較適合圖片未被嚴(yán)重破壞的情況.

總體上,本文方法改進并訓(xùn)練的模型在對抗訓(xùn)練前后防御表現(xiàn)有提高,可證明本文方法不與對抗訓(xùn)練沖突.

Table 3 Comparison of classification accuracy against corresponding adversarial examples before and after using adversarial training with PGD (%)表3 PGD 對抗訓(xùn)練前后對相似對抗樣本的分類正確率的比較 (%)

4 結(jié)論與展望

針對深度神經(jīng)網(wǎng)絡(luò)對于對抗樣本的脆弱性問題,本文提出了一種基于特征融合和整體多樣性的單模型魯棒性提升方法.該方法受組合模型防御效果優(yōu)于單模型的啟發(fā),依據(jù)分支網(wǎng)絡(luò)中淺層出口也可以達到較好的預(yù)測準(zhǔn)確率理論,在現(xiàn)有模型基礎(chǔ)上添加額外的分支模擬組合模型效果,同時在分支之間加入特征融合實現(xiàn)特征金字塔,并引入改進后的多分支單模型整體多樣性計算輔助訓(xùn)練,以提高模型魯棒性,使其具有更好的防御能力.通過在MNIST 和CIFAR-10 兩種數(shù)據(jù)集上的實驗結(jié)果表明:本文方法改進并訓(xùn)練的模型防御效果顯著,對對抗樣本的防御能力比改進前的原模型在FGSM 等4 種基于梯度的攻擊下有5 倍以上的提高,JSMA,C&W 以及EAD 攻擊下可達到10 倍的提升;同時不干擾對干凈樣本的分類精度,也與對抗訓(xùn)練方法不抵觸,可以聯(lián)合使用,獲得更好的防御效果.證明了本文提出的提升魯棒性方法是可行且有效的.此外,實驗中還發(fā)現(xiàn):在不同復(fù)雜度的樣本上,特征融合和整體多樣性帶來的魯棒性影響不同.在今后的工作中,我們會對此方面做深入的研究,以改進本文提出的方法,獲得更好的效果.