呂小玲 仇曉蘭 俞文明 徐 豐

①(中國(guó)科學(xué)院空天信息創(chuàng)新研究院 北京 100094)

②(中國(guó)科學(xué)院空間信息處理與應(yīng)用系統(tǒng)技術(shù)重點(diǎn)實(shí)驗(yàn)室 北京 100190)

③(中國(guó)科學(xué)院大學(xué)電子電氣與通信工程學(xué)院 北京 100049)

④(東南大學(xué)毫米波國(guó)家重點(diǎn)實(shí)驗(yàn)室 南京 210096)

⑤(復(fù)旦大學(xué)電磁波信息科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室 上海 200433)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)是一種主動(dòng)式微波遙感成像系統(tǒng)，具有全天時(shí)、全天候的觀測(cè)能力。隨著SAR成像技術(shù)的不斷發(fā)展，SAR自動(dòng)目標(biāo)識(shí)別(Automatic Target Recognition,ATR)成為SAR圖像智能解譯的一個(gè)重要組成部分。SAR ATR主要由3個(gè)階段組成：檢測(cè)、鑒別和分類[1]。近年來，隨著深度學(xué)習(xí)的快速發(fā)展，SAR ATR領(lǐng)域也涌現(xiàn)了很多基于深度學(xué)習(xí)的優(yōu)秀算法[2,3]。

然而，目前將深度學(xué)習(xí)應(yīng)用于SAR ATR領(lǐng)域主要面臨兩方面的問題：一是深度神經(jīng)網(wǎng)絡(luò)往往需要大量標(biāo)注數(shù)據(jù)才能有效提取目標(biāo)特征，但SAR樣本標(biāo)注難度大、成本高，標(biāo)注數(shù)量嚴(yán)重不足，很難達(dá)到和自然圖像領(lǐng)域相當(dāng)?shù)臉?biāo)注樣本量級(jí)；二是深度學(xué)習(xí)方法一直以來被視為“黑盒模型”，內(nèi)部工作機(jī)理不透明，缺乏可解釋性，難以為SAR ATR提供可靠的、可信任的應(yīng)用服務(wù)。

針對(duì)SAR目標(biāo)識(shí)別中標(biāo)注樣本不足的問題，Chen等人[2]提出了全卷積網(wǎng)絡(luò)(All-Convolutional Networks,A-ConvNets)，使用卷積層代替全連接層，減少了需要訓(xùn)練的參數(shù)，有效緩解了直接使用SAR數(shù)據(jù)訓(xùn)練CNN容易導(dǎo)致過擬合的情況，在MSTAR數(shù)據(jù)集上取得了很好的分類效果。Pan等人[4]提出了一種基于度量學(xué)習(xí)(Metric learning)的孿生網(wǎng)絡(luò)(Siamese network)，以樣本對(duì)的形式輸入訓(xùn)練圖像，顯著增加了訓(xùn)練數(shù)據(jù)量。但這些方法仍然不能完全擺脫對(duì)標(biāo)注樣本的依賴。

為此，已有研究者嘗試?yán)梅抡娴腟AR圖像樣本來支撐真實(shí)樣本的分類任務(wù)。關(guān)于SAR圖像仿真技術(shù)的研究已有很多，其中經(jīng)典方法是建立物體的3D模型，結(jié)合電磁計(jì)算和計(jì)算機(jī)圖形學(xué)方法，得到SAR仿真圖像[5]。隨著SAR仿真技術(shù)的發(fā)展，對(duì)于某些目標(biāo)而言，仿真圖像與實(shí)際圖像可以達(dá)到目視難以分辨的程度。然而，利用仿真圖像訓(xùn)練的神經(jīng)網(wǎng)絡(luò)很難直接對(duì)真實(shí)圖像精確分類，文獻(xiàn)[6]和文獻(xiàn)[7]都指出SAR仿真圖像與實(shí)測(cè)圖像屬于非同源圖像，在背景紋理、目標(biāo)結(jié)構(gòu)等方面不可避免地存在一定差異，其實(shí)驗(yàn)結(jié)果也表明仿真圖像難以直接支撐零標(biāo)注樣本下的真實(shí)圖像分類任務(wù)。目前已有一些在小樣本或零樣本情況下提升仿真輔助SAR目標(biāo)分類性能的相關(guān)研究。文獻(xiàn)[8]首次探討了結(jié)合仿真圖像進(jìn)行遷移學(xué)習(xí)實(shí)現(xiàn)真實(shí)SAR目標(biāo)分類的可行性，其結(jié)果表明，當(dāng)真實(shí)樣本標(biāo)注數(shù)量不足時(shí)，利用仿真數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練可以有效加快模型收斂。Zhang等人[9]提出了一種雙流深度網(wǎng)絡(luò)結(jié)構(gòu)，通過利用方位角、幅度和相位信息等SAR領(lǐng)域知識(shí)進(jìn)行數(shù)據(jù)增強(qiáng)，提升小樣本情況下SAR目標(biāo)識(shí)別的性能。這些研究表明，在小樣本情況下，SAR仿真樣本可以為實(shí)測(cè)SAR目標(biāo)分類任務(wù)提供可用信息，但未對(duì)零樣本情況下的仿真輔助SAR目標(biāo)分類的效果進(jìn)行驗(yàn)證。Song等人[6]提出了一種非必要因素抑制的方法，對(duì)仿真圖像和真實(shí)圖像進(jìn)行非極大值抑制、風(fēng)格調(diào)整和分割這一系列預(yù)處理后輸入神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了仿真輔助的零樣本SAR目標(biāo)識(shí)別。然而，其實(shí)驗(yàn)中只是將MSTAR數(shù)據(jù)集中10類目標(biāo)之一T72目標(biāo)圖像替換為仿真圖像，這對(duì)仿真圖像支撐真實(shí)圖像分類效果的驗(yàn)證是有限的。

筆者認(rèn)為，為提高仿真輔助SAR圖像分類的性能，需要找到一種可以有效拉近仿真圖像和真實(shí)圖像特征分布距離的方法以實(shí)現(xiàn)特征遷移。如何解決不同來源數(shù)據(jù)之間的特征遷移問題，是域自適應(yīng)(Domain Adaptation)方法的研究?jī)?nèi)容。無監(jiān)督域適應(yīng)(Unsupervised Domain Adaptation,UDA)方法可以實(shí)現(xiàn)從帶標(biāo)注源域(Source domain)數(shù)據(jù)集到無標(biāo)注目標(biāo)域(Target domain)數(shù)據(jù)集上的信息遷移，找到不同域之間通用的分類特征提取方法?，F(xiàn)有的UDA方法主要可分為4種[10]：(1)基于領(lǐng)域分布差異的方法[11–14]；(2)基于對(duì)抗學(xué)習(xí)的方法[15–19]；(3)基于重構(gòu)的方法[20,21]；(4)基于樣本生成的方法[22]。

目前已有一些將域自適應(yīng)方法應(yīng)用到SAR目標(biāo)識(shí)別領(lǐng)域的研究[23–26]。Huang等人[23]從遷移什么、遷移到哪、如何遷移3方面展開探討，提出了一種結(jié)合多源數(shù)據(jù)的域適應(yīng)傳遞方法。Wang等人[24]提出了一個(gè)結(jié)合域?qū)褂?xùn)練和元學(xué)習(xí)(Meta-learning)的模型，使用大量仿真數(shù)據(jù)預(yù)訓(xùn)練網(wǎng)絡(luò)后再使用少量帶標(biāo)簽真實(shí)數(shù)據(jù)微調(diào)網(wǎng)絡(luò)，實(shí)現(xiàn)了跨域和跨任務(wù)的遷移學(xué)習(xí)。Zhang等人[25]提出了一種基于對(duì)抗學(xué)習(xí)的多級(jí)無監(jiān)督域適應(yīng)方法，用以解決多波段SAR圖像分類問題。Xu等人[26]提出的基于判別適應(yīng)正則化的遷移學(xué)習(xí)方法D-ARTL實(shí)現(xiàn)了由自動(dòng)識(shí)別系統(tǒng)AIS信息到SAR圖像域艦船分類任務(wù)的知識(shí)遷移。

上述研究表明，域適應(yīng)的方法在SAR遙感領(lǐng)域有很好的應(yīng)用前景，但這些研究更多地關(guān)注了不同域之間的特征遷移是否成功，對(duì)域適應(yīng)前后模型提取特征的變化分析不足。

為此，本文針對(duì)利用SAR仿真樣本來實(shí)現(xiàn)無須實(shí)測(cè)標(biāo)注樣本的SAR目標(biāo)分類問題開展研究，提出了一個(gè)集成域?qū)褂?xùn)練和距離度量的神經(jīng)網(wǎng)絡(luò)模型；同時(shí)，對(duì)模型進(jìn)行了可解釋性分析，結(jié)合逐層相關(guān)性傳播(Layer-wise Relevance Propagation,LRP)[27]和對(duì)比層關(guān)聯(lián)傳播(Contrastive Layer-wise Relevance Propagation,CLRP)[28]分析了域適應(yīng)前后模型決策依據(jù)的變化。實(shí)驗(yàn)表明，本文方法能夠顯著提升仿真輔助SAR目標(biāo)分類的準(zhǔn)確率，可解釋性分析的結(jié)果證明本文方法通過修正模型關(guān)注區(qū)域來提升仿真輔助SAR圖像分類的性能，具有一定的合理性。本文的主要貢獻(xiàn)可以概括如下：

(1) 提出了一種新的基于無監(jiān)督域適應(yīng)的仿真輔助SAR目標(biāo)分類的網(wǎng)絡(luò)框架，不同于以往的利用仿真數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)或網(wǎng)絡(luò)預(yù)訓(xùn)練工作的方法[6–8]，本文方法不需要人為設(shè)計(jì)復(fù)雜的圖像預(yù)處理過程，而是通過網(wǎng)絡(luò)學(xué)習(xí)來提升域混淆程度、縮小仿真樣本和實(shí)測(cè)樣本的域差異，在完全不使用實(shí)測(cè)數(shù)據(jù)類別標(biāo)簽的情況下實(shí)現(xiàn)了較高精度的仿真輔助SAR目標(biāo)分類，為當(dāng)下SAR樣本標(biāo)注少、目標(biāo)識(shí)別難的問題提供了新的解決思路；

(2) 本文通過LRP,CLRP等神經(jīng)網(wǎng)絡(luò)可解釋性方法定位同類目標(biāo)仿真和實(shí)測(cè)SAR圖像中導(dǎo)致網(wǎng)絡(luò)做出不同決策的區(qū)域，分析了域適應(yīng)前后模型決策依據(jù)的變化，從可解釋性角度分析了本文方法提升仿真輔助SAR目標(biāo)分類性能的原因，可以為仿真方法的優(yōu)化調(diào)整提供思路。

本文的其余部分內(nèi)容安排如下：第2節(jié)介紹了本文提出的基于無監(jiān)督域適應(yīng)的仿真輔助SAR圖像分類方法；第3節(jié)介紹了本文采用的可解釋性方法；第4節(jié)給出了實(shí)驗(yàn)數(shù)據(jù)、實(shí)驗(yàn)結(jié)果以及詳細(xì)的解釋分析；第5節(jié)進(jìn)行總結(jié)與展望。

2 無監(jiān)督域適應(yīng)的仿真輔助SAR目標(biāo)分類

如圖1所示，當(dāng)網(wǎng)絡(luò)提取到的特征越是局限于特定的域，就越難找到兩個(gè)域可共用的分類邊界；而當(dāng)提取到的特征越能體現(xiàn)不同域間的共性，就越易于找到可共用的分類邊界。為了使特征提取器提取到域不變特征且盡量縮小域間差異，本文提出了一種集成域?qū)褂?xùn)練和域差異度量多核最大均值差異(Multi-Kernel Maximum Mean Discrepancy,MKMMD)[29]的模型。其中，域?qū)褂?xùn)練是指特征提取器和域判別器之間的對(duì)抗訓(xùn)練，域判別器通過最小化域分類損失來提升域判別能力，特征提取器則致力于學(xué)習(xí)可以“欺騙”域判別器的特征提取方法，以提取到域不變特征。域?qū)褂?xùn)練雖然可以促進(jìn)域混淆，但是不能保證拉近不同域樣本在分類器隱藏層中的特征差異，為此本文方法在模型中添加域差異度量器，使用MK-MMD進(jìn)行域差異計(jì)算，并以此為優(yōu)化目標(biāo)訓(xùn)練模型。2.1節(jié)對(duì)所提模型框架和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行介紹，2.2節(jié)給出了模型優(yōu)化目標(biāo)。

圖1 特征是否具備域不變性對(duì)找到不同域通用分類器的影響Fig.1 The influence of domain invariance of features on finding a general classifier between different domains

2.1 模型框架和網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示，本文提出的網(wǎng)絡(luò)模型可分為4個(gè)部分：特征提取器、目標(biāo)分類器、域判別器和域差異度量器。本文方法使用帶標(biāo)簽的仿真數(shù)據(jù)(即源域S)訓(xùn)練得到可以對(duì)仿真數(shù)據(jù)準(zhǔn)確分類的特征提取器和分類器；同時(shí)利用無標(biāo)簽的實(shí)測(cè)樣本(即目標(biāo)域T)同仿真樣本一起進(jìn)行域?qū)褂?xùn)練，幫助特征提取器提取到域不變特征，并結(jié)合MK-MMD度量進(jìn)一步縮小仿真數(shù)據(jù)特征和真實(shí)數(shù)據(jù)特征在網(wǎng)絡(luò)隱層中的差異；完成訓(xùn)練后，由特征提取器和分類器最終實(shí)現(xiàn)對(duì)實(shí)測(cè)樣本的分類。圖3給出了本文所提方法的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，其中虛線所示結(jié)構(gòu)僅在訓(xùn)練過程中激活，考慮到仿真SAR圖像直接訓(xùn)練網(wǎng)絡(luò)容易導(dǎo)致過擬合，特征提取器的網(wǎng)絡(luò)層數(shù)不宜過多，因此參考了AlexNet[30]的卷積層設(shè)計(jì)，分類器和域判別器由兩個(gè)全連接層組成。

圖2 模型框架示意圖Fig.2 Schematic diagram of the model framework

圖3 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 Schematic diagram of the model structure

在網(wǎng)絡(luò)訓(xùn)練過程中，源域S為網(wǎng)絡(luò)模型提供帶標(biāo)簽仿真樣本，其中為源域的第i個(gè) 樣本，為該樣本的類別標(biāo)簽，1,2,...,N}，N代表類別數(shù)目；目標(biāo)域T提供無標(biāo)簽實(shí)測(cè)樣本。同時(shí)每個(gè)訓(xùn)練樣本帶有域標(biāo)簽di，當(dāng)樣本來自源域即xi～Ds時(shí)，di=0 ；當(dāng)xi～Dt時(shí)，di=1。對(duì)于每個(gè)輸入樣本x，特征提取器計(jì)算得到其特征向量f，分類器對(duì)f進(jìn)行類別預(yù)測(cè)得到，域判別器對(duì)f進(jìn)行域判別得到。對(duì)于來自不同域的樣本xs和xt，域差異度量器計(jì)算二者在全連接層fc1,fc2處的MK-MMD，作為域差異優(yōu)化目標(biāo)。使用θe,θc和θd分別代表特征提取器、分類器和域判別器的參數(shù)，Ge(·),Gc(·),Gd(·)表示對(duì)應(yīng)的映射函數(shù)，則有特征向量f=Ge(x;θe)，類別預(yù)測(cè)結(jié)果=Gc(f;θc)，域預(yù)測(cè)結(jié)果=Gd(f;θd)。

訓(xùn)練時(shí)，將仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)同時(shí)輸入到網(wǎng)絡(luò)模型。首先，基于仿真數(shù)據(jù)的標(biāo)簽真值和分類器預(yù)測(cè)輸出計(jì)算得到L osscls，以此優(yōu)化分類器和特征提取器。其次，引入梯度反轉(zhuǎn)層(Gradient Reversal Layer,GRL)[15]實(shí)現(xiàn)特征提取器和域判別器之間的對(duì)抗訓(xùn)練，以使特征提取器提取到域不變特征。最后，使用MK-MMD在分類器全連接層(fc1,fc2)處計(jì)算每層輸入特征的域差異(記為L(zhǎng) ossdd)，以更好地拉近網(wǎng)絡(luò)深層處不同域樣本特征的距離。此處 Losscls,L ossdd以及域?qū)褂?xùn)練的優(yōu)化目標(biāo)Lossda將在2.2節(jié)給出說明。

2.2 優(yōu)化目標(biāo)

本文所提模型的整體優(yōu)化目標(biāo)可分為3部分：一是源域樣本分類損失 L osscls最小化，保證特征提取器和分類器可以實(shí)現(xiàn)源域樣本的精確分類；二是域?qū)褂?xùn)練損失 L ossda最小化，以實(shí)現(xiàn)域混淆，使特征提取器提取到域不變特征；三是域差異Lossdd最小化，進(jìn)一步縮小不同域樣本在網(wǎng)絡(luò)隱層中的特征距離。下面分別給出計(jì)算公式。

源域樣本分類損失 Losscls的計(jì)算方法如式(1)所示。

其中，n是源域訓(xùn)練樣本總數(shù)量，Jy(·)為softmax交叉熵?fù)p失函數(shù)，Ge(·)和Gc(·)分別代表特征提取器和分類器的映射函數(shù)，θe和θc分別為特征提取器和分類器的參數(shù)，yi為樣本類別標(biāo)簽。

本文方法借助GRL實(shí)現(xiàn)域?qū)褂?xùn)練，文獻(xiàn)[15]最早將生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)[31]中對(duì)抗學(xué)習(xí)的思想引入到域適應(yīng)任務(wù)中，通過GRL實(shí)現(xiàn)特征提取器和域判別器之間的博弈訓(xùn)練，之后的很多域適應(yīng)模型都使用了這一結(jié)構(gòu)[32,33]。GRL不影響網(wǎng)絡(luò)訓(xùn)練的前向傳播過程，只是在反向傳播的過程中將后一層的梯度乘以一個(gè)負(fù)常數(shù)(-λ)，完成梯度反轉(zhuǎn)后再傳遞給前一層，這樣使得在訓(xùn)練過程中域判別器致力于分辨特征來自源域還是目標(biāo)域，特征提取器則致力于提取到可以騙過域判別器的特征，通過二者之間的對(duì)抗訓(xùn)練使特征提取器提取到域不變的特征。域?qū)褂?xùn)練損失Lossda根據(jù)式(2)計(jì)算得來，域?qū)褂?xùn)練的目標(biāo)則可表示為。

其中，q是源域和目標(biāo)域的訓(xùn)練樣本總數(shù)量，Jd(·)是二元交叉熵?fù)p失函數(shù)，Ge(·)和Gd(·)分別代表特征提取器和域判別器的映射函數(shù)，G RLλ(·)代表梯度反轉(zhuǎn)層的映射函數(shù)，θe和θd分別為特征提取器和域判別器的參數(shù)，di為樣本域標(biāo)簽。

為進(jìn)一步縮小域間樣本特征差異，本文方法使用基于MK-MMD的域差異度量器計(jì)算分類器中每個(gè)全連接層輸入特征的域差異。MMD是一種常用的度量不同域數(shù)據(jù)分布差異的方法，簡(jiǎn)單來說，就是將源域S和目標(biāo)域T中數(shù)據(jù)的特征表示映射到再生核希爾伯特空間(Reproducing Kernel Hilbert Space,RKHS)中后，計(jì)算二者均值的距離。深度域混淆(Deep Domain Confusion,DDC)方法[11]最早將MMD引入到神經(jīng)網(wǎng)絡(luò)中，將源域特征和目標(biāo)域特征之間的MMD作為域混淆度量加入到網(wǎng)絡(luò)的目標(biāo)函數(shù)當(dāng)中。但DDC只對(duì)網(wǎng)絡(luò)中的一層進(jìn)行域適配，且只采用單核計(jì)算MMD，適配程度不夠。為此，深度適配網(wǎng)絡(luò)(Deep Adaptation Network,DAN)[12]對(duì)網(wǎng)絡(luò)的多層進(jìn)行適配，且引入了表征能力更強(qiáng)的MK-MMD，其為MMD的多核版本，表現(xiàn)出了比DDC更好的減小域差異的能力。受此啟發(fā)，本文設(shè)計(jì)的域差異度量器使用MK-MMD對(duì)分類器中兩個(gè)全連接層的輸入同時(shí)進(jìn)行域差異計(jì)算。本文的多層MK-MMD域差異L ossdd計(jì)算方法如式(3)所示。

其中，l1和l2表示域差異度量器對(duì)應(yīng)的網(wǎng)絡(luò)層起止位置，表 示輸入在第l層 的隱層表示，dk(Ds,Dt)表示源域分布和目標(biāo)域分布在RKHS中均值的距離，其定義如式(4)所示。

其中，E*[·] 代表對(duì)應(yīng)分布D*的數(shù)學(xué)期望，x*和x′*獨(dú) 立同分布，xs～Ds,xt～Dt,Hk表 示與核k相關(guān)的RKHS，φ(·)表 示與核k相關(guān)的特征映射，有。核k為U個(gè)高斯核{(lán)ku}的凸組合，如式(5)所示。

其中，{wu}的 相關(guān)約束是為了保證生成的多核k是特有的，本文方法中U=5 。使用核k后式(4)的經(jīng)驗(yàn)估計(jì)如式(6)所示。

其中，n為源域訓(xùn)練樣本數(shù)量，m為目標(biāo)域訓(xùn)練樣本數(shù)量。

3 深度學(xué)習(xí)的可解釋性方法

本文針對(duì)SAR目標(biāo)分類網(wǎng)絡(luò)的可解釋性研究，采用了LRP系列可解釋性方法作為工具。相比于一些其他可解釋性方法[34,35]，LRP可以生成像素級(jí)的解釋，能夠更精細(xì)地刻畫輸入圖像中影響決策的區(qū)域。SAR圖像中目標(biāo)和背景干擾大多以離散散射點(diǎn)的形式呈現(xiàn)，目標(biāo)和背景之間、不同類別的目標(biāo)之間可分性不強(qiáng)，使用LRP這種像素級(jí)解釋的方法更利于分析。為便于對(duì)后文實(shí)驗(yàn)結(jié)果的理解，本節(jié)結(jié)合第2節(jié)提出的網(wǎng)絡(luò)模型，簡(jiǎn)單介紹LRP和CLRP方法的原理和應(yīng)用。

3.1 LRP方法

圖4給出了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)中前向傳播過程和LRP后向傳播過程，在神經(jīng)網(wǎng)絡(luò)中，第L+1 層第j個(gè)神經(jīng)元的輸出可以表示為，其中φ代表神經(jīng)元的激活函數(shù)，是連接神經(jīng)元i到神經(jīng)元j的權(quán)重，是對(duì)應(yīng)的偏差。為了識(shí)別每個(gè)輸入像素點(diǎn)的相關(guān)性，LRP將softmax歸一化之前的激活值從指定神經(jīng)元逐層傳播回輸入空間。表示第L+1層第j個(gè)神經(jīng)元的相關(guān)性，它可以分解到第L層的全部神經(jīng)元上，如式(7)所示。第L層第i個(gè)神經(jīng)元的相關(guān)性可以理解為第L+1層全部神經(jīng)元的相關(guān)性分解后再求和，見式(8)。LRP的傳播規(guī)則由整流神經(jīng)元網(wǎng)絡(luò)的深度泰勒分解推導(dǎo)得來[36]。實(shí)際應(yīng)用中，常用的計(jì)算規(guī)則有兩種：z+-rule和zβ -rule，如式(9)和式(10)所示。

圖4 LRP原理示意圖Fig.4 An overview of LRP

3.2 CLRP方法

文獻(xiàn)[28]指出，LRP生成的解釋僅特定于實(shí)例，卻不具備類別區(qū)分性，也即對(duì)于不同的類別，LRP生成的解釋幾乎是相同的。產(chǎn)生這一情況的原因，是LRP在解釋的過程中使用了相同的特定于實(shí)例的結(jié)構(gòu)信息(Instance-Specific Structure Information,ISSInfo)，主要是指神經(jīng)網(wǎng)絡(luò)中的ReLU和池化操作。這使得前文中提到的只在最后一層成立，在其他層均不滿足這一條件。換言之，對(duì)于不同的類別i,LRP的反向傳遞過程是類似的，接收到非零相關(guān)性的神經(jīng)元也相同，只是絕對(duì)值可能不相等。因此，無論選擇哪個(gè)類別對(duì)應(yīng)的得分進(jìn)行反向傳播，接收到非零相關(guān)性的神經(jīng)元始終保持不變，這使得LRP生成的解釋獨(dú)立于類別信息。

CLRP通過構(gòu)建虛擬類以剔除LRP生成的解釋中與目標(biāo)類別不相關(guān)的信息，進(jìn)而生成具備類別區(qū)分性的解釋。圖5給出了使用CLRP解釋網(wǎng)絡(luò)的基本流程，其中紅色路徑表示與目標(biāo)類別無關(guān)的LRP解釋，藍(lán)色路徑表示對(duì)目標(biāo)類別直接進(jìn)行LRP解釋得到的信息。定義與第j類相關(guān)的神經(jīng)元nj描述了一個(gè)視覺概念O,nj通過權(quán)重W={W1,W2,...,WL-1與 輸入形成連接，其中WL表示連接第L–1層和第L層的權(quán)重，表示連接第L–1層和第L層中第j個(gè)神經(jīng)元的權(quán)重。對(duì)于輸入樣本X，LRP將神經(jīng)網(wǎng)絡(luò)得分映射回輸入空間，得到相關(guān)向量R=。使用對(duì)偶虛擬概念描述與O相反的視覺信息，文獻(xiàn)[28]給出了兩種對(duì)建模的方法：一是選擇除與O對(duì)應(yīng)類之外的其余所有類，也即Oˉ對(duì) 應(yīng)的權(quán)重表示為Wˉ={W1,W2,...,WL-1,}，其中表示連接第L–1層和第L層除神經(jīng)元j外的權(quán)重；二是對(duì)權(quán)重求反直接構(gòu)建一個(gè)虛擬類，即的相關(guān)性可由式(11)計(jì)算得到，那么CLRP生成的解釋如式(12)所示。

圖5 CLRP原理示意圖Fig.5 An overview of CLRP

相比于LRP,CLRP更適用于分析一張圖像中存在多個(gè)不同類別目標(biāo)或待分類目標(biāo)結(jié)構(gòu)相似的情況，但是LRP生成的解釋在語義上更完整，更利于理解?？紤]到SAR圖像中不同目標(biāo)相似性較高，目視上難以區(qū)分，本文在進(jìn)行模型可解釋性分析時(shí)，將以CLRP解釋為主、以LRP解釋為輔。在解釋時(shí)，主要關(guān)注圖2(b)所示的網(wǎng)絡(luò)模型的分類過程，也即主要關(guān)注特征提取器和分類器兩部分。首先使用LRP分析網(wǎng)絡(luò)模型在分類過程中更關(guān)注哪些區(qū)域，分析網(wǎng)絡(luò)模型決策依據(jù)的語義意義；然后利用CLRP進(jìn)一步生成具有類別區(qū)分性的解釋，結(jié)合域適應(yīng)前的錯(cuò)分樣本分析域適應(yīng)后網(wǎng)絡(luò)模型分類性能提升的可能原因。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中使用的仿真數(shù)據(jù)(即源域數(shù)據(jù))由東南大學(xué)毫米波國(guó)家重點(diǎn)實(shí)驗(yàn)室提供，利用該實(shí)驗(yàn)室自研軟件通過目標(biāo)電磁建模和散射計(jì)算的方式生成。仿真數(shù)據(jù)包括3類目標(biāo)：BMP2,BTR70,T72。為保證仿真樣本的多樣性，仿真數(shù)據(jù)包括2個(gè)俯仰角(15°,17°)和3種背景：(1)仿真軟件自動(dòng)生成的草地背景；(2)參考光學(xué)圖像手動(dòng)設(shè)置參數(shù)生成的草地背景；(3)參考光學(xué)圖像手動(dòng)設(shè)置參數(shù)生成的沙地背景。圖6給出了3類目標(biāo)的光學(xué)圖像及典型方位角和俯仰角下的仿真與真實(shí)圖像。每類目標(biāo)在每個(gè)背景下每隔0.5°方位角生成一張仿真圖像，仿真數(shù)據(jù)集共有12978張圖像，按4:1劃分仿真訓(xùn)練集和測(cè)試集。

圖6 SAR目標(biāo)光學(xué)圖像及典型角度下的真實(shí)圖像和仿真圖像Fig.6 Optical images of SAR targets and the corresponding simulated and real SAR images under typical azimuths and depressions

以移動(dòng)與靜止目標(biāo)獲取識(shí)別(Moving and Stationary Target Acquisition and Recognition,MSTAR)數(shù)據(jù)集作為實(shí)驗(yàn)的目標(biāo)域數(shù)據(jù)，MSTAR數(shù)據(jù)集通常分為標(biāo)準(zhǔn)工作條件(Standard Operating Condition,SOC)和擴(kuò)展工作條件(Extended Operating Condition,EOC)兩類。其中SOC指訓(xùn)練集和測(cè)試集的數(shù)據(jù)成像條件相似；EOC指訓(xùn)練集和測(cè)試集的數(shù)據(jù)成像條件存在一定差異，一般又可分為3類情況，第1類為大俯仰角情況，如訓(xùn)練集數(shù)據(jù)成像俯仰角為17°，測(cè)試集為30°，記為EOC-1；第2類指車輛配置不同，即車輛上某些部件的增加和拆除，如T72移除車上的油罐，記為EOC-2；第3類指車輛版本和功能不同，如原始車輛變化為運(yùn)輸車、偵察車等，記為EOC-3。實(shí)驗(yàn)用到的全部數(shù)據(jù)集大小見表1，其中目標(biāo)域數(shù)據(jù)集的SOC數(shù)據(jù)集、EOC測(cè)試集見表2—表5。

表1 數(shù)據(jù)集Tab.1 Dataset

表2 SOC數(shù)據(jù)集Tab.2 SOC dataset

表3 EOC-1測(cè)試集(大俯仰角)Tab.3 EOC-1 test set (large depression variation)

表4 EOC-2測(cè)試集(配置變化)Tab.4 EOC-2 test set (configuration variant)

表5 EOC-3測(cè)試集(版本變化)Tab.5 EOC-3 test set (version variant)

表6 網(wǎng)絡(luò)訓(xùn)練過程中參數(shù)設(shè)置Tab.6 Parameters for the model training procedure

其中，lr0為 初始學(xué)習(xí)率，j為 當(dāng)前的輪次數(shù)，epoch為總的訓(xùn)練輪次數(shù)。

4.2 消融實(shí)驗(yàn)

為驗(yàn)證所提方法的有效性，本文利用不同背景下的SAR仿真圖像進(jìn)行訓(xùn)練，在SOC數(shù)據(jù)集上進(jìn)行測(cè)試，開展了消融實(shí)驗(yàn)，以比較MK-MMD多層自適應(yīng)正則器和域?qū)褂?xùn)練模塊對(duì)模型分類性能的影響。消融實(shí)驗(yàn)的結(jié)果見表7。為避免單次訓(xùn)練的隨機(jī)性，每組進(jìn)行了3次實(shí)驗(yàn)，表7記錄了3次實(shí)驗(yàn)結(jié)果的平均準(zhǔn)確率及其標(biāo)準(zhǔn)差，其中仿真背景①、②、③對(duì)應(yīng)4.1節(jié)提到的3種仿真背景，表格最后一行指的是同時(shí)使用3種背景下的仿真訓(xùn)練集圖像。可以看出，本文方法對(duì)不同仿真背景SAR圖像構(gòu)成的源域訓(xùn)練集都能有效提升真實(shí)樣本的分類精度，且除只使用仿真背景①圖像的情況外，本文方法優(yōu)于只使用多層MK-MMD自適應(yīng)正則器或只采用域?qū)褂?xùn)練的方法。對(duì)于在只使用仿真背景①圖像時(shí)本文方法未能達(dá)到最好性能這一現(xiàn)象，筆者認(rèn)為可能是由仿真軟件自動(dòng)生成的背景與目標(biāo)所處的實(shí)際背景差異較大，直接由仿真背景①樣本訓(xùn)練得到的模型對(duì)實(shí)測(cè)數(shù)據(jù)的分類性能較差，只有28.00%左右的準(zhǔn)確率。對(duì)于本文實(shí)驗(yàn)中的3分類任務(wù)，仿真背景①圖像似乎未能為該任務(wù)提供正信息，這可能導(dǎo)致訓(xùn)練過程中以MK-MMD為度量縮減域差異時(shí)，也拉近了不同域中不同類別樣本的距離，進(jìn)而導(dǎo)致分類準(zhǔn)確率提升效果不好，甚至不如只使用域?qū)褂?xùn)練方法的提升效果好。

表7 結(jié)合不同背景仿真SAR圖像的消融實(shí)驗(yàn)結(jié)果Tab.7 Results of ablation experiments with simulation SAR images of different backgrounds

4.3 SOC實(shí)驗(yàn)與EOC實(shí)驗(yàn)

為深入評(píng)估模型的分類性能，本文在SOC和EOC測(cè)試集上進(jìn)行了分類測(cè)試，圖7，圖8給出了利用本文所提方法進(jìn)行域適應(yīng)前后的混淆矩陣，其中深色行對(duì)應(yīng)域適應(yīng)前的識(shí)別結(jié)果，淺色行對(duì)應(yīng)域適應(yīng)后。實(shí)驗(yàn)結(jié)果表明，本文方法能顯著提升模型在SOC和EOC數(shù)據(jù)上的分類準(zhǔn)確率。

圖7 SOC測(cè)試集的混淆矩陣Fig.7 The confusion matrix of the SOC test set

圖8 EOC測(cè)試集的混淆矩陣Fig.8 The confusion matrixes of the EOC test set

表8給出了使用不同仿真背景數(shù)據(jù)時(shí)，本文所提域適應(yīng)方法和條件域?qū)?Conditional Domain Adversarial Network,CDAN)[19]及深度子域?qū)R(Deep Subdomain Adaptation Network,DSAN)[14]在SOC測(cè)試集上的準(zhǔn)確率對(duì)比。實(shí)驗(yàn)結(jié)果表明，針對(duì)不同仿真背景情況下的數(shù)據(jù)，本文方法都能較好地提升仿真輔助SAR目標(biāo)分類的準(zhǔn)確率，尤其在使用全部仿真背景數(shù)據(jù)時(shí)，本文方法分類準(zhǔn)確率顯著高于CDAN和DSAN方法。表明本文方法集成了域?qū)褂?xùn)練和域差異度量?jī)煞N域適應(yīng)策略，比使用單一域適應(yīng)策略的方法具有更好的域適配能力。

表8 使用不同仿真背景數(shù)據(jù)時(shí)，各方法在SOC測(cè)試集上的分類準(zhǔn)確率對(duì)比Tab.8 Comparison of the classification accuracy on the SOC test set when using different methods with simulated data under different backgrounds

4.4 模型可解釋性分析

圖9給出了使用t-SNE[37]對(duì)特征提取器提取到的仿真數(shù)據(jù)特征和真實(shí)數(shù)據(jù)特征降維可視化的結(jié)果，可見本文方法有效地拉近了仿真和真實(shí)SAR圖像的特征分布。

圖9 使用t-SNE進(jìn)行特征可視化Fig.9 Visualization of extracted features using t-SNE

為了對(duì)模型的決策機(jī)制有更深層次的理解，本文使用LRP和CLRP可視化了輸入像素對(duì)模型決策結(jié)果的影響。實(shí)驗(yàn)過程中，參照文獻(xiàn)[36]的設(shè)置，第1層卷積層應(yīng)用zβ -rule，其余的卷積層和全連接層使用z+-rule。對(duì)于最大池化層，將相關(guān)性系數(shù)重新分配到池化區(qū)域內(nèi)值最大的神經(jīng)元。相關(guān)性傳播過程中，忽略偏差和標(biāo)準(zhǔn)化層。

首先，在由真實(shí)數(shù)據(jù)訓(xùn)練得到的模型上對(duì)LRP和CLRP方法進(jìn)行對(duì)比評(píng)估，結(jié)果如圖10、圖11所示。圖中最左側(cè)一列為輸入圖像，右側(cè)3列依次為對(duì)應(yīng)類別BMP2,BTR70,T72的解釋，其中左上角標(biāo)注了對(duì)應(yīng)類別的預(yù)測(cè)得分。LRP生成的解釋雖然不具備類別區(qū)分性，卻能對(duì)影響網(wǎng)絡(luò)決策的區(qū)域有一個(gè)語義上比較完整的表示，從LRP的解釋結(jié)果可以看出，影響真實(shí)數(shù)據(jù)分類的關(guān)鍵在于SAR圖像中強(qiáng)散射點(diǎn)的分布區(qū)域，而這些一般對(duì)應(yīng)于目標(biāo)中結(jié)構(gòu)或裝配復(fù)雜的地方，如炮筒、炮臺(tái)等。CLRP的結(jié)果則更有助于理解模型“認(rèn)為”不同目標(biāo)之間的異同之處，從圖11可以看出，模型認(rèn)為BMP2和BTR70在背景上更加相似，而BMP2和T72在結(jié)構(gòu)上更相似，這也與MSTAR提供的光學(xué)圖像(圖6)中反映出來的目標(biāo)實(shí)際結(jié)構(gòu)和所處背景中體現(xiàn)出來的信息一致。從結(jié)構(gòu)上來說，BMP2和T72均為履帶式車輛且裝有圓形炮臺(tái)和炮筒，BTR70為輪式運(yùn)輸車，沒有裝配火炮；從背景上來看，BMP2和BTR70目標(biāo)所處的背景相近，而T72與之相異。

圖10 LRP可視化真實(shí)數(shù)據(jù)訓(xùn)練得到的模型決策依據(jù)Fig.10 Using LRP to visualize the decision basis of the model trained by the real data

圖11 CLRP可視化真實(shí)數(shù)據(jù)訓(xùn)練得到的模型決策依據(jù)Fig.11 Using CLRP to visualize the decision basis of the model trained by the real data

圖12展示了仿真數(shù)據(jù)訓(xùn)練所得模型對(duì)不同背景下仿真圖像的LRP解釋及對(duì)應(yīng)真值類別的CLRP解釋，其中從左至右依次對(duì)應(yīng)仿真背景①、②、③。可以看出，LRP和CLRP解釋對(duì)于同一目標(biāo)的不同圖像關(guān)注區(qū)域大體一致，一定程度上可以證明這兩種解釋方法的有效性和魯棒性。此外，從圖12的解釋結(jié)果中也可以看出仿真數(shù)據(jù)訓(xùn)練的模型也學(xué)習(xí)到了不同目標(biāo)之間結(jié)構(gòu)上的差異，較少關(guān)注背景區(qū)域。

圖12 LRP和CLRP可視化仿真數(shù)據(jù)訓(xùn)練得到的模型決策依據(jù)Fig.12 Using LRP and CLRP to visualize the decision basis of the model trained by the simulated data

前文提到，由于仿真圖像和真實(shí)圖像之間的域偏移，直接用仿真數(shù)據(jù)訓(xùn)練得到的模型對(duì)真實(shí)數(shù)據(jù)分類結(jié)果并不理想，本文嘗試結(jié)合可解釋性方法對(duì)仿真輔助真實(shí)數(shù)據(jù)分類任務(wù)中的域偏移問題給出一個(gè)具象的解釋。圖7所示的混淆矩陣中，在域適應(yīng)前，T72的目標(biāo)圖像中有相當(dāng)一部分被誤判為BMP2。從這一現(xiàn)象出發(fā)，本文使用LRP和CLRP分析由仿真數(shù)據(jù)訓(xùn)練得到的模型(即域適應(yīng)前的模型)對(duì)仿真和真實(shí)T72圖像判斷依據(jù)的異同，并結(jié)合CLRP進(jìn)一步分析域適應(yīng)前后模型對(duì)真實(shí)T72圖像判斷依據(jù)的變化。圖13給出了域適應(yīng)前的模型對(duì)仿真和真實(shí)圖像的分類結(jié)果及對(duì)應(yīng)的解釋，其中CLRPT72表示由CLRP分析得到的模型“認(rèn)為”輸入樣本像T72的地方，CLRP可視化圖像中左上方標(biāo)注了對(duì)應(yīng)類別的得分。圖13用紅色標(biāo)注出了模型決策依據(jù)中存在較大差異的區(qū)域，圖13(a)中這一區(qū)域大致對(duì)應(yīng)T72目標(biāo)的炮臺(tái)結(jié)構(gòu)，可以看出，在仿真圖像中這一區(qū)域散射強(qiáng)度較大，而實(shí)測(cè)圖像中散射較弱，仿真圖像訓(xùn)練的網(wǎng)絡(luò)模型在仿真圖像上關(guān)注到了該區(qū)域特征，而應(yīng)用到實(shí)測(cè)圖像上則關(guān)注不到該區(qū)域特征，從而導(dǎo)致誤判；圖13(b)中差異較大的區(qū)域大致對(duì)應(yīng)車頭和車尾，實(shí)測(cè)圖像中對(duì)應(yīng)區(qū)域的散射強(qiáng)度高于仿真圖像，對(duì)模型決策造成干擾，從而導(dǎo)致誤判。

圖13 域適應(yīng)前模型對(duì)T72圖像的LRP及CLRP解釋Fig.13 The predicted results of the T72 images by the model before domain adaptation and the corresponding explanations generated by LRP and CLRP

圖14給出了域適應(yīng)前后的模型對(duì)真實(shí)T72圖像判斷依據(jù)的變化，其中圖14(a)對(duì)應(yīng)域適應(yīng)前后模型決策由錯(cuò)到對(duì)的T72樣本，圖14(b)則對(duì)應(yīng)域適應(yīng)后模型仍舊給出錯(cuò)誤判斷的樣本。結(jié)合圖13來看，圖14(a)中域適應(yīng)后的模型小范圍修正了關(guān)注區(qū)域，提取到了炮臺(tái)等區(qū)域的特征，給出了更準(zhǔn)確的決策。但對(duì)于域適應(yīng)后仍舊錯(cuò)分的樣本，可能是域適應(yīng)前的關(guān)注區(qū)域與應(yīng)該關(guān)注的區(qū)域偏離較大，使得網(wǎng)絡(luò)在域適應(yīng)訓(xùn)練后對(duì)該樣本的關(guān)注區(qū)域無法有效修正，反而引入了較多的背景區(qū)域，導(dǎo)致網(wǎng)絡(luò)依然只能給出錯(cuò)誤的判別結(jié)果。

圖14 域適應(yīng)前后模型對(duì)T72真實(shí)圖像的預(yù)測(cè)結(jié)果及CLRP解釋Fig.14 The predicted results of the real T72 image by the model before and after domain adaptation and the corresponding explanations generated by CLRP

5 結(jié)束語

本文針對(duì)深度學(xué)習(xí)在SAR目標(biāo)識(shí)別領(lǐng)域面臨的標(biāo)注樣本少、標(biāo)注樣本難的問題，提出了一種集成域?qū)褂?xùn)練和MK-MMD的無監(jiān)督域適應(yīng)方法，以充分利用仿真SAR圖像可以快速生成且天然具備標(biāo)簽的優(yōu)勢(shì)，實(shí)現(xiàn)較高精度的仿真輔助的SAR目標(biāo)分類。

同時(shí)，考慮到深度學(xué)習(xí)可解釋性差、可信任程度不足等問題，本文使用可解釋性方法LRP和CLRP對(duì)所提出的模型進(jìn)行深入分析。結(jié)果表明，本文神經(jīng)網(wǎng)絡(luò)是通過修正模型關(guān)注區(qū)域來提升仿真輔助SAR圖像分類的性能，具有一定的合理性。

但是，從可解釋性分析的結(jié)果來看，模型并非對(duì)所有樣本都找到了可靠的決策依據(jù)，且當(dāng)仿真樣本訓(xùn)練模型對(duì)真實(shí)數(shù)據(jù)直接分類效果較差時(shí)(如仿真背景①訓(xùn)練的模型)，本文方法提升效果不明顯，仍舊存在一定的局限性。未來的工作中，考慮從以下兩方面繼續(xù)優(yōu)化本文方法：(1)本文方法雖然在MSTAR 3分類任務(wù)上表現(xiàn)出了不錯(cuò)的提升效果，但目前仿真目標(biāo)類別較少，缺少在更多類別上的實(shí)驗(yàn)驗(yàn)證；(2)本文使用可解性方法分析了模型性能提升的原因，也找到了可能導(dǎo)致仿真和真實(shí)圖像之間域偏移的目標(biāo)主要結(jié)構(gòu)，后續(xù)將考慮利用解釋結(jié)果指導(dǎo)仿真方法調(diào)整和優(yōu)化，并利用可解釋性方法引導(dǎo)網(wǎng)絡(luò)訓(xùn)練，幫助網(wǎng)絡(luò)模型找到可靠的決策依據(jù)。