冼卓瀅,陳國明,羅家梁,梁偉堂
(廣東第二師范學(xué)院計算機(jī)學(xué)院,廣州 510303)
隨著深度學(xué)習(xí)理論的不斷發(fā)展,特別是深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)算法取得的巨大成功,人工智能在自動駕駛以及人臉識別等圖像領(lǐng)域的應(yīng)用越來越廣泛。如自動駕駛中對交通標(biāo)志、障礙物等圖像的識別,安保系統(tǒng)中對人臉圖像的檢測,以及場景識別中對各場景圖片的分類等。與此同時,數(shù)據(jù)投毒[1]、模型竊取、后門攻擊、對抗樣本[2]等攻擊也層出不窮。其中,對抗樣本攻擊最為流行,指的是在原始圖像數(shù)據(jù)中添加肉眼無法察覺的干擾噪聲。這些細(xì)微的干擾極易使深度分類模型受到干擾而得出錯誤結(jié)果。分類器把構(gòu)造對抗樣本對深度神經(jīng)網(wǎng)絡(luò)的分類識別進(jìn)行干擾稱為對抗攻擊(adversarial attack)。相關(guān)研究表明對抗攻擊不僅可以在數(shù)字域產(chǎn)生攻擊效果,在物理域也被用來攻擊深度學(xué)習(xí)系統(tǒng)[3]。例如,攻擊者將路標(biāo)改造成相應(yīng)的對抗樣本,造成自動駕駛系統(tǒng)對路標(biāo)產(chǎn)生錯誤判斷。同時,對抗樣本具有遷移性,同一個對抗樣本可以對不同的分類器模型進(jìn)行“誘騙”,對抗樣本的存在嚴(yán)重影響到智能系統(tǒng)的分類與判斷。
為了提高識別準(zhǔn)確率,深度模型需要調(diào)整參數(shù)或繼續(xù)增加自身網(wǎng)絡(luò)層數(shù),深度網(wǎng)絡(luò)通常層數(shù)多且結(jié)構(gòu)復(fù)雜,需要花費大量的精力和時間進(jìn)行調(diào)參,同時要求較高的資源配置。靈活高效的寬度學(xué)習(xí)系統(tǒng)應(yīng)運而生,其不但可以應(yīng)用到圖像分類領(lǐng)域,還可以通用到其它網(wǎng)絡(luò)結(jié)構(gòu)中。充分識別并挖掘輸入數(shù)據(jù)中的有效信息后,能夠在保證原始網(wǎng)絡(luò)性能的基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)重構(gòu)。寬度學(xué)習(xí)的提出為人工智能的研究開辟了新的思路,具有良好的發(fā)展前景。
針對深度網(wǎng)絡(luò)黑箱,前人在圖像分類可解釋性[4]方面得到了許多研究成果。比如,基于CAM 模型并通過熱力圖解釋網(wǎng)絡(luò)關(guān)注區(qū)域的優(yōu)化算法Grad-CAM[5],首先對可解釋的代理模型進(jìn)行訓(xùn)練,在此基礎(chǔ)上再對預(yù)測結(jié)果行為進(jìn)行解釋的局部可解釋模型(local interpretable modelagnostic explanations,LIME)[6];將深度模型的輸出對輸入圖像的梯度作為解釋結(jié)果,并對原始梯度進(jìn)行處理提升可視化效果的敏感性分析算法Saliency Map。本文提出基于位平面切割的可解釋性方法,能夠從不同的角度解釋分類器的工作過程,提高分類系統(tǒng)的可靠性。
Chen 等[7]率先研究并提出了寬度學(xué)習(xí)系統(tǒng)(broad learning system,BLS),這是一種新的基于隨機(jī)的學(xué)習(xí)算法[8],由三層系統(tǒng)結(jié)構(gòu)——輸入層、隱藏層和輸出層組成,與傳統(tǒng)的深度學(xué)習(xí)方法有很大區(qū)別。BLS 傾向于以“廣度”為導(dǎo)向擴(kuò)展網(wǎng)絡(luò),首先對輸入數(shù)據(jù)進(jìn)行隨機(jī)特征映射,分別提取特征節(jié)點和擴(kuò)展節(jié)點。然后在輸入層中合并這兩個節(jié)點來連接輸出層,最后用嶺回歸逆求出輸出層與輸入層之間的連接權(quán)重。BLS 的學(xué)習(xí)過程可以分為無增量學(xué)習(xí)和增量學(xué)習(xí)過程。無增量學(xué)習(xí)的BLS 無異于大多數(shù)常見的神經(jīng)網(wǎng)絡(luò),導(dǎo)致網(wǎng)絡(luò)模型與數(shù)據(jù)集的訓(xùn)練過程擬合性很差,所以增量學(xué)習(xí)算法應(yīng)運而生。圖1 表示無增量學(xué)習(xí)的具體運算方法與過程,首先將輸入的原始數(shù)據(jù)X乘以隨機(jī)權(quán)重W,再映射到映射特征(Mapped Feature)。與此同時,一個Mapped Feature 包含多個映射節(jié)點,第i組Mapped Feature可以表示為
圖1 無增量學(xué)習(xí)的BLS的學(xué)習(xí)過程
圖2 增量學(xué)習(xí)的過程
其中,Zi∈Rn×G,βi表示偏置,d表示特征節(jié)點的組數(shù),G表示每組特征節(jié)點的維度,φ(?)表示激活函數(shù)。映射特征Z乘以隨機(jī)權(quán)重W,再加上偏置β,經(jīng)過激活函數(shù)φ,得到增強(qiáng)節(jié)點特征(Enhancement Nodes),從而實現(xiàn)橫向拓寬網(wǎng)絡(luò)。公式表示為
其中,q表示增強(qiáng)節(jié)點數(shù),H表示增強(qiáng)節(jié)點特征且H∈Rn×q,n代表特征映射數(shù)。最終得出無增量學(xué)習(xí)的網(wǎng)絡(luò)輸出結(jié)果為
設(shè)定無增量學(xué)習(xí)原始的網(wǎng)絡(luò)結(jié)構(gòu)由d組特征映射節(jié)點和q組增強(qiáng)節(jié)點組成,網(wǎng)絡(luò)結(jié)構(gòu)就可以表示成Aq=[Zd|Hq]。在該基礎(chǔ)上添加m個增強(qiáng)節(jié)點,那么特征映射節(jié)點和新添加的增強(qiáng)節(jié)點之間的關(guān)系可以表達(dá)為
并且隨機(jī)產(chǎn)生特征映射節(jié)點與新增m個增強(qiáng)節(jié)點間的權(quán)重Wq+1∈Rnk×m和偏置βq+1∈Rm,k為每個特征映射包含的特征節(jié)點數(shù)。最終添加增強(qiáng)節(jié)點后的網(wǎng)絡(luò)結(jié)構(gòu)可表示為
本節(jié)將公共對抗樣本DAmageNet[9]與寬度學(xué)習(xí)系統(tǒng)相結(jié)合,提出一種將深度神經(jīng)網(wǎng)絡(luò)GoogleNet 的Inception 部分進(jìn)行縮減,并將最后一個block 逐級進(jìn)行橫向拓寬,依次進(jìn)行訓(xùn)練從而找到最優(yōu)解的寬度學(xué)習(xí)方法。DAmageNet 是具有高度可轉(zhuǎn)移性的通用對抗性數(shù)據(jù)集,被深度學(xué)習(xí)模型分類的錯誤率高達(dá)90%,可以作為研究和提高DNN 魯棒性的基準(zhǔn)。充分利用寬度學(xué)習(xí)系統(tǒng)無須迭代與執(zhí)行高效的特點,最終解決深度學(xué)習(xí)模型在訓(xùn)練對抗樣本時由于不斷加深網(wǎng)絡(luò)而導(dǎo)致模型過擬合、計算復(fù)雜度過高等問題。
STM32有USART_CR1~3三個串口控制寄存器,USART_CR1是最常用的,其中RXNEIE為接受緩沖區(qū)非空中斷使能.系統(tǒng)采用串口中斷法進(jìn)行串口通信.首先在程序中啟用USART中斷功能,當(dāng)數(shù)據(jù)接收完之后,USART_CR1寄存器中的RXNEIE置為‘1’,然后產(chǎn)生中斷,可以在中斷函數(shù)中將數(shù)據(jù)讀出,然后清除中斷標(biāo)志.串口中斷法的優(yōu)點在于擺脫了對CPU的實時依賴,當(dāng)數(shù)據(jù)接收完畢之后,自動進(jìn)入中斷函數(shù),然后CPU去執(zhí)行數(shù)據(jù)處理,通過中斷法,大大提高了CPU的執(zhí)行速率.同時串口中斷法大大降低了CPU的占用率,各個串口按照中斷優(yōu)先級協(xié)調(diào)工作,數(shù)據(jù)有條不紊地進(jìn)行接收處理顯示.
首先減少GoogleNet 的Inception 部分作為初始網(wǎng)絡(luò),然后對初始網(wǎng)絡(luò)的最后一個block 塊結(jié)構(gòu)進(jìn)行橫向擴(kuò)寬從而構(gòu)成新的寬度網(wǎng)絡(luò),驗證寬度學(xué)習(xí)對于對抗數(shù)據(jù)集的有效分類,初始網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
圖3 初始網(wǎng)絡(luò)結(jié)構(gòu)
實驗采用公共對抗數(shù)據(jù)集DAmageNet,挑選的測試樣本數(shù)量有500個。首先初始網(wǎng)絡(luò)對該數(shù)據(jù)集進(jìn)行分類訓(xùn)練,把圖像分成兩部分,分別為訓(xùn)練集和測試集,比例為3∶7。將數(shù)據(jù)集輸入分類器中,經(jīng)過210次迭代,圖像的分類準(zhǔn)確率為57.33%,初始的網(wǎng)絡(luò)對抗數(shù)據(jù)集分類準(zhǔn)確率較低,準(zhǔn)確率曲線呈上升趨勢但未達(dá)到收斂狀態(tài),不能有效抵御攻擊,網(wǎng)絡(luò)結(jié)構(gòu)仍有改進(jìn)余地。
接下來逐步對初始網(wǎng)絡(luò)的最后一個塊結(jié)構(gòu)block3 進(jìn)行多個節(jié)點橫向擴(kuò)寬,構(gòu)成新的網(wǎng)絡(luò)進(jìn)行多次訓(xùn)練,探究不同寬度的網(wǎng)絡(luò)對驗證準(zhǔn)確率的影響,寬度網(wǎng)絡(luò)最優(yōu)解的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。實驗結(jié)果見表1。
表1 加寬前后實驗準(zhǔn)確率對比
圖4 橫向加寬后的網(wǎng)絡(luò)結(jié)構(gòu)
由實驗結(jié)果可知,隨著寬度的不斷增加,圖像分類的驗證準(zhǔn)確率總體呈現(xiàn)遞增的趨勢。對比于初始網(wǎng)絡(luò)結(jié)構(gòu),在block3 結(jié)構(gòu)橫向分別增加一個、兩個、三個、四個、五個和六個block3 時,驗證準(zhǔn)確率比初始網(wǎng)絡(luò)依次提高了13.34、15.3、16.00、20.00、18.67 和23.34 個百分點。實驗結(jié)果見表1,訓(xùn)練結(jié)果表明,網(wǎng)絡(luò)加寬后圖像分類的驗證準(zhǔn)確率有顯著提高,對于公共的對抗數(shù)據(jù)集DAmageNet 最高驗證準(zhǔn)確率能夠達(dá)到80.67%,準(zhǔn)確率曲線呈上升趨勢并呈現(xiàn)收斂狀態(tài),對比初始網(wǎng)絡(luò)的驗證準(zhǔn)確率最高可提升23.34 個百分點。同時,隨著寬度的增加,其訓(xùn)練損失率也呈現(xiàn)下降的趨勢,加寬后損失率最多可下降1.20%。
本文對初始網(wǎng)絡(luò)結(jié)構(gòu)的block3 進(jìn)行橫向擴(kuò)寬操作,一共進(jìn)行了數(shù)十次實驗,實驗結(jié)果見表1。其中,橫向增加六個block3 的網(wǎng)絡(luò)結(jié)構(gòu)效果最顯著,相比原始網(wǎng)絡(luò)結(jié)構(gòu)的驗證準(zhǔn)確率最多可提高23.34 個百分點。而且與深度網(wǎng)絡(luò)結(jié)構(gòu)相比,訓(xùn)練時間上也有一定的優(yōu)勢。
在此基礎(chǔ)上再往后擴(kuò)寬并進(jìn)行了多次實驗,驗證準(zhǔn)確率沒有明顯提高,訓(xùn)練時長卻有所增加。對此可得出,橫向拓寬六個block3 的網(wǎng)絡(luò)結(jié)構(gòu)是本文進(jìn)行寬度學(xué)習(xí)得出的最優(yōu)解。根據(jù)該結(jié)果可分析出,寬度學(xué)習(xí)對于抵御對抗數(shù)據(jù)集的攻擊具有顯著效果,但并不是越寬越好。當(dāng)寬度達(dá)到一定數(shù)量時再進(jìn)行加寬,分類準(zhǔn)確率沒有提高且具有下降趨勢,同時訓(xùn)練時長也有所增加。
融合攻擊是指采用多種攻擊方法對一個類別的數(shù)據(jù)集進(jìn)行攻擊,并形成按照攻擊方法分類的對抗數(shù)據(jù)集。對該類型數(shù)據(jù)集進(jìn)行訓(xùn)練,有利于提升分類器對于攻擊方法的識別準(zhǔn)確率,從而更好地抵御現(xiàn)實場景中各種各樣的攻擊。本文提出的融合攻擊采用三分類的乳腺攝影圖(MIAS)數(shù)據(jù)集,分別為正常、異常良性、異常惡性。在該數(shù)據(jù)集中,選取異常良性(Bb)和異常惡性(Mb)這兩個類別,分別用FGSM、CW、JSMA、Deepfool 四種攻擊方法對這兩個類別的圖像進(jìn)行攻擊,從而形成兩個按照攻擊方法分類的四分類測試數(shù)據(jù)集,分別命名為融合攻擊Bb數(shù)據(jù)集、融合攻擊Mb數(shù)據(jù)集。
快速梯度符號法(fast gradient sign method,F(xiàn)GSM)是一種基于梯度的對抗樣本產(chǎn)生方法,由Goodfellow 等[10]提出。在近幾年出現(xiàn)的各種對抗攻擊算法中,以梯度算法最為經(jīng)典,也最為流行。該方法既可以在白盒模型上生成對抗樣本,又可以在黑盒模型上有較強(qiáng)的攻擊性。
基于雅可比矩陣的顯著圖攻擊方法(Jacobianbased saliency map attack,JSMA)是一種包含前向?qū)?shù)計算、對抗顯著圖計算、對抗干擾添加三個過程的對抗攻擊算法,可以將其應(yīng)用到圖像識別中,實現(xiàn)對分類模型的“誘騙”。Papernot等[11]認(rèn)為,神經(jīng)網(wǎng)絡(luò)模型的輸出受輸入特征的影響,為了提高產(chǎn)生的對抗樣本屬于預(yù)定目標(biāo)類的概率,可以在輸入樣本中添加相應(yīng)的輸入特征。
Deepfool算法是由Moosavi-Dezfooli 等[12]提出的一種白盒攻擊方法,利用幾何的思想來增加干擾。使用二分類問題舉例,若決策邊界是一條直線,那么直線兩側(cè)就代表兩個不同的分類標(biāo)簽,跨越界線代表著分類結(jié)果的改變。Deepfool算法通過向樣本添加擾動向量使得模型將其誤分類為另一側(cè),以達(dá)到跨越邊界的目的。擾動向量增加的距離則經(jīng)過計算目標(biāo)樣本和邊界之間的距離求得。
C&W(Carlini and Wagner attack methods)攻擊方法是由Carlini 等[13]提出的以優(yōu)化為目的的攻擊方法,該算法將對抗樣本看作一個變量,認(rèn)為攻擊成功不僅要使對抗樣本和原始樣本差距盡可能小,而且要使模型分類錯的概率盡可能高。
防御與攻擊應(yīng)該是相互促進(jìn)的,本節(jié)將使用加寬后的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行遷移學(xué)習(xí),并在此基礎(chǔ)上進(jìn)行調(diào)整與不斷優(yōu)化。探究寬度學(xué)習(xí)對于混合多種攻擊的對抗數(shù)據(jù)集的有效分類。
我們在寬度學(xué)習(xí)優(yōu)化后的網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行遷移學(xué)習(xí),分別用初始網(wǎng)絡(luò)以及加寬后的神經(jīng)網(wǎng)絡(luò)對融合攻擊Bb 數(shù)據(jù)集、融合攻擊Mb 數(shù)據(jù)集進(jìn)行訓(xùn)練,把圖像分為訓(xùn)練集和測試集,劃分比例為3∶7。將數(shù)據(jù)集輸入分類器中,分別經(jīng)過了84次、108次迭代,融合攻擊Bb數(shù)據(jù)集、融合攻擊Mb 數(shù)據(jù)集最終訓(xùn)練的驗證準(zhǔn)確率結(jié)果分別如表2 和表3 所示。將表2、表3 中驗證準(zhǔn)確率最高的寬度網(wǎng)絡(luò)進(jìn)行對比可得出,對于不同的數(shù)據(jù)集,寬度網(wǎng)絡(luò)結(jié)構(gòu)的最優(yōu)解有所不同,網(wǎng)絡(luò)結(jié)構(gòu)并不是越寬越好。對于融合攻擊Bb 數(shù)據(jù)集,加寬后的網(wǎng)絡(luò)相比于初始網(wǎng)絡(luò)驗證準(zhǔn)確率最多可提高25.75 個百分點,融合攻擊Mb 數(shù)據(jù)集最多可提高25.33 個百分點,其中融合攻擊Bb數(shù)據(jù)集用GoogleNet 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分類時驗證準(zhǔn)確率僅有50%。實驗結(jié)果均表明寬度學(xué)習(xí)對于攻擊方法分類的有效性。
表2 融合攻擊Bb數(shù)據(jù)集加寬前后驗證準(zhǔn)確率對比圖
表3 融合攻擊Mb數(shù)據(jù)集加寬前后驗證準(zhǔn)確率對比圖
實驗結(jié)果表明,在混合了多種攻擊的乳腺癌數(shù)據(jù)集中,寬度學(xué)習(xí)對于抵御對抗樣本的攻擊均有較好的效果。在使用第一節(jié)優(yōu)化后的網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)訓(xùn)練時驗證準(zhǔn)確率有顯著的提高。在此基礎(chǔ)上再次進(jìn)行加寬優(yōu)化,加寬的部分如圖5 所示,命名為add_block。按照圖示部分為一組進(jìn)行加寬形成新的網(wǎng)絡(luò)并進(jìn)行訓(xùn)練,由實驗結(jié)果可知,融合攻擊Bb 數(shù)據(jù)集和融合攻擊Mb 數(shù)據(jù)集在第一節(jié)的寬度網(wǎng)絡(luò)上再次增加add_block后驗證準(zhǔn)確率都有所提高并趨于穩(wěn)定。對于不同的對抗數(shù)據(jù)集寬度的最優(yōu)解有所不同,不是越寬越好,當(dāng)寬度達(dá)到一定數(shù)量再進(jìn)行加寬時驗證準(zhǔn)確率沒有提高并且訓(xùn)練時間有所增加。其中,對于融合攻擊Bb 數(shù)據(jù)集,寬度網(wǎng)絡(luò)block_5+2add_block 訓(xùn)練效果最好,該網(wǎng)絡(luò)表示在拓寬五個block 的基礎(chǔ)上再增加兩組add_block,與初始網(wǎng)絡(luò)相比準(zhǔn)確率最多可提高25.75個百分點。而對于融合攻擊Mb 數(shù)據(jù)集,寬度網(wǎng)絡(luò)block_5+1add_block 訓(xùn)練效果最好,該網(wǎng)絡(luò)表示在拓寬五個block 的基礎(chǔ)上再增加一組add_block,與初始網(wǎng)絡(luò)相比準(zhǔn)確率最多可提高25.33 個百分點。同時,該對抗數(shù)據(jù)集用深度網(wǎng)絡(luò)GoogleNet 進(jìn)行訓(xùn)練時,驗證準(zhǔn)確率僅有50.00%,加寬后能夠達(dá)到82.00%并趨于穩(wěn)定,與深度網(wǎng)絡(luò)相比準(zhǔn)確率提高了32.00 個百分點。由此可見,寬度學(xué)習(xí)與融合攻擊的對抗樣本相結(jié)合,再次驗證了寬度學(xué)習(xí)對于抵御對抗樣本的攻擊具有顯著的效果。在抵御對抗攻擊上有了新的突破,同時在訓(xùn)練時間上較深度網(wǎng)絡(luò)具有一定的優(yōu)越性。在節(jié)約時間和資源的同時,使智能系統(tǒng)更加可靠,具有極高的研究價值。
針對神經(jīng)網(wǎng)絡(luò)“黑盒子”的不透明性,其中隱藏的層數(shù)目、神經(jīng)元數(shù)目、激活函數(shù)等難以應(yīng)用[14]。對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行解釋有利于理解該模型的學(xué)習(xí)分類過程、決策結(jié)果以及依據(jù)的合理,提高智能系統(tǒng)性能的效果。本文創(chuàng)新性地提出了基于位平面分割的可解釋性,是針對優(yōu)化后的寬度網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練,把訓(xùn)練結(jié)果導(dǎo)出并針對不同攻擊強(qiáng)度的對抗樣本進(jìn)行解釋,驗證寬度網(wǎng)絡(luò)對攻擊方法分類的有效性。該方法從圖像的多個角度進(jìn)行解釋,使分類過程更加清晰,一定程度上提高了分類系統(tǒng)的可靠性。
對于混合攻擊的數(shù)據(jù)集,不同攻擊方法分類過程的解釋顯得尤為重要。對網(wǎng)絡(luò)分類操作的解釋有助于我們更好地了解目標(biāo)網(wǎng)絡(luò)對于不同的攻擊方法如何進(jìn)行對抗和識別。本文旨在通過遮擋輸入解釋方法去解釋加寬效果最優(yōu)網(wǎng)絡(luò)的分類操作,首先采用快速梯度符號方法對融合攻擊Bb 數(shù)據(jù)集進(jìn)行四種不同強(qiáng)度的攻擊,并隨機(jī)選取一張圖片,對該圖片及其經(jīng)過不同強(qiáng)度攻擊后的副本分別進(jìn)行位平面分解,最后通過遮擋輸入的解釋方法對分類行為進(jìn)行解釋。
通過運用可視化的方式觀察圖像的重要特征,從而判斷寬度網(wǎng)絡(luò)對于攻擊方法的分類依據(jù)是否正確,使加寬后網(wǎng)絡(luò)的分類行為更加透明清晰,易于理解。這對寬度網(wǎng)絡(luò)識別對抗樣本的不同攻擊方法以及優(yōu)化寬度網(wǎng)絡(luò)具有重要意義。
位平面分解[15]是將每個灰度值都分解為二進(jìn)制,然后把具有同一權(quán)值的位進(jìn)行重新組合,最后構(gòu)成圖像的不同位平面。本文創(chuàng)新性地提出將位平面分解與FGSM 的四種攻擊強(qiáng)度相結(jié)合,構(gòu)成如圖6所示的表格,對于原始圖像,攻擊強(qiáng)度不斷增加,我們?nèi)庋鄄⒉荒懿煊X圖像發(fā)生的細(xì)微變化。而在選取不同的位平面時,就能夠觀察到不同攻擊強(qiáng)度圖像之間的區(qū)別,其中位平面5~8 最為明顯。因此,不同的位平面對于對抗樣本具有不同程度的重要性,要從多個角度來觀察圖像。
圖6 圖像的位平面分解
圖7 網(wǎng)絡(luò)解釋結(jié)果圖
如圖6所示,縱坐標(biāo)表示快速梯度符號方法(FGSM)對圖像的四種不同攻擊強(qiáng)度,圖中增加了我們?nèi)庋蹮o法識別的干擾,橫坐標(biāo)表示位平面復(fù)雜度的變化。沿著橫坐標(biāo)方向的b7~b0 代表位平面8~1,位平面圖像的特征隨著位平面復(fù)雜度的變化而不斷改變,同時干擾噪聲也逐漸增加。由圖6可以看出,原始圖像的輪廓漸漸變得模糊直至徹底消失,當(dāng)選取位平面4時,背景噪聲完全覆蓋圖像原有的輪廓。由此得出,不同的位平面對原始圖像的重要性不同,不能只從一個平面來觀察圖像。
遮擋敏感度[16]用于分析圖像哪些部分對深度網(wǎng)絡(luò)分類的影響具有重要作用。采用深度學(xué)習(xí)系統(tǒng)中的occlusionSensitivity 函數(shù)對神經(jīng)網(wǎng)絡(luò)的閉塞敏感圖進(jìn)行計算。該函數(shù)通過閉塞掩碼對輸入的小區(qū)域進(jìn)行替換以達(dá)到干擾的目的。當(dāng)圖像的重要特征部分被遮擋時,預(yù)測類別的結(jié)果將急劇下降。遮擋敏感圖中紅色區(qū)域的數(shù)值最高,當(dāng)紅色部分被遮擋時,分類結(jié)果的準(zhǔn)確率顯著下降,表明該區(qū)域的圖像特征對分類具有積極作用。而當(dāng)圖中的藍(lán)色區(qū)域被遮擋時,分類結(jié)果準(zhǔn)確率有所提高,這些區(qū)域會混淆網(wǎng)絡(luò),對圖像分類具有消極作用。
本文使用上述加寬效果最優(yōu)的網(wǎng)絡(luò)block_5+1add_block對不同攻擊強(qiáng)度下的不同位平面采用可視化的遮擋敏感度圖進(jìn)行解釋,并對結(jié)果進(jìn)行分析。由解析結(jié)果圖可知,對于不同攻擊強(qiáng)度的原始圖像,紅色區(qū)域的關(guān)鍵特征集中在干擾部分,而且隨著攻擊強(qiáng)度的增加,紅色區(qū)域關(guān)注的錯誤特征也不斷增加,這表明寬度網(wǎng)絡(luò)能夠有效識別FGSM攻擊的強(qiáng)度。與此同時,對原始圖像進(jìn)行位平面分解并解釋,由解釋結(jié)果圖可知,當(dāng)位平面選取6~8 時,紅色區(qū)域集中在圖像的關(guān)鍵區(qū)域而不是噪聲干擾的區(qū)域,表明寬度網(wǎng)絡(luò)正在對圖像的錯誤特征進(jìn)行學(xué)習(xí)。顯然,這與該寬度網(wǎng)絡(luò)的高度分類準(zhǔn)確性相矛盾。當(dāng)選取位平面5時,隨著攻擊強(qiáng)度不斷加強(qiáng),紅色區(qū)域也朝著噪聲干擾區(qū)域靠近,表明FGSM攻擊強(qiáng)度越強(qiáng),寬度網(wǎng)絡(luò)對于攻擊方法的分類就越準(zhǔn)確。當(dāng)選取位平面1~4時,原始圖像的輪廓已經(jīng)無法用肉眼識別,根據(jù)敏感度圖可以分析出,寬度網(wǎng)絡(luò)正在對噪聲干擾部分進(jìn)行正確的學(xué)習(xí)分類,能夠有效地對攻擊方法進(jìn)行區(qū)分,同時說明訓(xùn)練結(jié)果的準(zhǔn)確性。采用位平面分解的可解釋性方法,當(dāng)分類結(jié)果有誤時,可以通過遮擋圖分析錯誤原因。尤其是對于經(jīng)過處理的對抗樣本,可以根據(jù)遮擋圖找出該網(wǎng)絡(luò)強(qiáng)烈關(guān)注的干擾部分,從而分析出該網(wǎng)絡(luò)學(xué)習(xí)了哪些攻擊方法的錯誤特征并進(jìn)行對應(yīng)的抵御[17]。
由上述解釋結(jié)果可知,寬度學(xué)習(xí)能夠?qū)W習(xí)對抗樣本的重要特征并進(jìn)行有效分類。同時,本文提出在融合攻擊中,對攻擊方法進(jìn)行分類以及位平面切割解釋方法也為抵御混合攻擊提供了可靠的依據(jù),能夠更有針對性地優(yōu)化網(wǎng)絡(luò)。將寬度學(xué)習(xí)系統(tǒng)應(yīng)用于對抗數(shù)據(jù)集來抵御圖像的干擾和攻擊[18],能夠有效減少人工智能操作過程中對抗數(shù)據(jù)集帶來的威脅。借用寬度學(xué)習(xí)思想,擴(kuò)展神經(jīng)網(wǎng)絡(luò)的寬度能夠有效解決深度學(xué)習(xí)訓(xùn)練過程中耗時的不足,但提高分類器的準(zhǔn)確率要以消耗一定時間為代價。靈活高效的寬度學(xué)習(xí)系統(tǒng)十分具有研究價值[19],運用寬度網(wǎng)絡(luò)不僅能夠有效抵御對抗樣本的攻擊,還能有效識別不同的攻擊方法。在節(jié)約資源配置的同時優(yōu)化智能系統(tǒng)的性能,提高系統(tǒng)可靠性,具有十分重要的研究意義。