陳華杰，呂丹妮，周梟，劉俊

杭州電子科技大學(xué) 通信信息傳輸與融合技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室,杭州 310018

1 引言

遙感艦船的目標(biāo)識(shí)別問(wèn)題在國(guó)家安全監(jiān)護(hù)、海上交通管制等軍事和民用領(lǐng)域中具有非常重要的現(xiàn)實(shí)意義。其主要是指利用目標(biāo)檢測(cè)技術(shù)（Wu等，2021）對(duì)可見(jiàn)光圖像中所包含的艦船目標(biāo)進(jìn)行定位，而后在此基礎(chǔ)上利用識(shí)別技術(shù)對(duì)定位目標(biāo)進(jìn)行分類。傳統(tǒng)的目標(biāo)識(shí)別方法（Lu等，2011；Demirci 和Kacka，2016）主要依賴人工設(shè)計(jì)進(jìn)行特征提取，需要有專業(yè)知識(shí)及復(fù)雜的調(diào)參過(guò)程，同時(shí)每個(gè)方法都是針對(duì)具體應(yīng)用，泛化能力及魯棒性較差。隨著卷積神經(jīng)網(wǎng)絡(luò)，計(jì)算機(jī)視覺(jué)等方向的發(fā)展，基于深度學(xué)習(xí)的目標(biāo)識(shí)別（Hayat等，2018）在精度和實(shí)時(shí)性方面都遠(yuǎn)遠(yuǎn)趕超傳統(tǒng)方法，然而隨著遙感圖像分辨率的提高，艦船識(shí)別的層次逐漸細(xì)化至具體的艦型或艦級(jí)，與此同時(shí)每一細(xì)類可用的樣本隨之減少，不足以支撐深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，容易引發(fā)小樣本學(xué)習(xí)問(wèn)題（Zhong等，2020；趙凱琳等，2021；陳杰虎等，2022）。

作為小樣本學(xué)習(xí)研究的一大主流分支，遷移學(xué)習(xí)（Zhuang等，2021）旨在利用數(shù)據(jù)、任務(wù)、或模型之間的相似性，將在舊領(lǐng)域（源域）學(xué)習(xí)到的知識(shí)，應(yīng)用于新領(lǐng)域（目標(biāo)域），其通過(guò)知識(shí)遷移的方式較好地解決了由于缺乏足夠的數(shù)據(jù)帶來(lái)的模型泛化能力不足的問(wèn)題。

根據(jù)源域與目標(biāo)域類別空間是否一致，遷移學(xué)習(xí)方法大致可分為以下兩類：（1）當(dāng)兩者類別空間一致或目標(biāo)域?yàn)樵从虻淖蛹瘯r(shí)，一般使用領(lǐng)域自適應(yīng)的方法實(shí)現(xiàn)域到域的對(duì)齊，或是類別到類別的對(duì)齊，如：Long等（2017）提出的JAN和Long等（2019）提出的DAN算法，Pei等（2018）提出的MADA 算法；（2）當(dāng)源域和目標(biāo)域的類別空間交集為空時(shí)（跨域遷移），Yosinski 等（2014）提出Fine-tune（微調(diào)）算法：任意選取公共數(shù)據(jù)集作為源域樣本對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，然后使用目標(biāo)域樣本對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)以實(shí)現(xiàn)遷移學(xué)習(xí)；Tan 等（2015）提出TTL 算法：引入中間域的概念，將源域的特征信息先傳遞給中間域，由中間域傳遞給目標(biāo)域以實(shí)現(xiàn)知識(shí)遷移；而后Tan 等（2017）在TTL 算法基礎(chǔ)上提出DDTL 算法：使用自編碼器處理不同類別的輸入，然后逐漸從中間域中選擇有用的數(shù)據(jù)作為橋梁，打破兩個(gè)遠(yuǎn)域之間知識(shí)傳遞的巨大分布差距。

對(duì)于遙感圖像小樣本艦船目標(biāo)識(shí)別而言，其難以滿足類別空間一致的約束，因此希望能利用現(xiàn)有公開(kāi)數(shù)據(jù)集進(jìn)行跨域遷移學(xué)習(xí)。當(dāng)前主流的跨域遷移學(xué)習(xí)算法中TTL 算法和DDTL 算法利用聯(lián)合矩陣分解和深度神經(jīng)網(wǎng)絡(luò)，將遷移學(xué)習(xí)應(yīng)用于不相似領(lǐng)域之間的知識(shí)共享，取得了良好的效果，具有較好的理論支撐；Fine-tune 算法實(shí)現(xiàn)簡(jiǎn)單，不需要針對(duì)新任務(wù)從頭開(kāi)始訓(xùn)練網(wǎng)絡(luò)，能較好地節(jié)省時(shí)間成本。然而將這些方法直接應(yīng)用于遙感艦船識(shí)別時(shí)仍然存在以下局限：（1）TTL 和DDTL算法通常只在領(lǐng)域間分布差異較小時(shí)有效，因此對(duì)自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等任務(wù)效果并不理想，而且這兩種算法僅能處理單個(gè)類別的源域樣本，而公開(kāi)數(shù)據(jù)集往往是多個(gè)類別的，使用該算法無(wú)法充分利用公開(kāi)數(shù)據(jù)集的信息；（2）Finetune算法在預(yù)訓(xùn)練時(shí)直接使用了所有源域樣本，未剔除其中可能造成負(fù)遷移的樣本，學(xué)習(xí)能力較為有限。

針對(duì)上述問(wèn)題，本文提出了一種從公開(kāi)數(shù)據(jù)集（源域）中篩選強(qiáng)相關(guān)樣本，并利用此樣本輔助目標(biāo)域分類任務(wù)的跨域遷移學(xué)習(xí)方法：首先將目標(biāo)域樣本加入源域的分類任務(wù)中，以加入前后源域中各類別樣本的識(shí)別精度變化情況為依據(jù)，對(duì)源域樣本進(jìn)行相關(guān)性排序，篩選出強(qiáng)相關(guān)源域樣本，剔除弱/負(fù)相關(guān)源域樣本以避免負(fù)遷移；其次對(duì)目標(biāo)域的訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行適應(yīng)性調(diào)整：將自監(jiān)督角度預(yù)測(cè)任務(wù)（Gidaris等，2019；Jing 和Tian，2021）引入目標(biāo)域分類網(wǎng)絡(luò)中作為輔助分支，通過(guò)將強(qiáng)相關(guān)源域樣本參與此分支的訓(xùn)練，充分利用其有效信息以輔助目標(biāo)域分類任務(wù)。

2 基于源域樣本相關(guān)性排序的跨域遷移學(xué)習(xí)算法

2.1 總體設(shè)計(jì)方案

基于源域樣本相關(guān)性排序的跨域遷移學(xué)習(xí)算法總體方案如圖1所示，具體包括源域樣本相關(guān)性排序和自監(jiān)督聯(lián)合學(xué)習(xí)兩個(gè)模塊。

圖1 總體設(shè)計(jì)方案Fig.1 The overall design scheme

圖2 源域樣本相關(guān)性排序算法流程圖Fig.2 Flowchart of correlation sorting algorithm for source data

區(qū)別于常規(guī)從源域到目標(biāo)域的單向遷移，算法采用雙向遷移的方式：先將目標(biāo)域樣本逆向加入源域的分類任務(wù)，通過(guò)相關(guān)性排序篩選出強(qiáng)相關(guān)源域樣本，然后假定源域樣本和目標(biāo)域樣本間的相關(guān)性是雙向的，將強(qiáng)相關(guān)源域樣本參與目標(biāo)域自監(jiān)督任務(wù)分支的訓(xùn)練中進(jìn)行輔助學(xué)習(xí)。

2.2 源域樣本相關(guān)性排序與遷移樣本選擇

2.2.1 源域樣本相關(guān)性排序

選取常規(guī)的交叉熵（李航，2012）作為損失函數(shù)，源域分類任務(wù)的損失函數(shù)有如下兩種情況：

式中，Z為源域訓(xùn)練樣本總數(shù)，M為源域樣本類別數(shù)，表示第i個(gè)樣本屬于第k類的概率，是第i個(gè)樣本標(biāo)簽的one-hot表示，當(dāng)樣本屬于類別k時(shí)，=1，否則=0。

（2）將目標(biāo)域訓(xùn)練樣本加入源域分類任務(wù)中，此時(shí)損失函數(shù)由源域訓(xùn)練樣本和目標(biāo)域訓(xùn)練樣本兩部分組成，即：

對(duì)比式（1）、（2），將目標(biāo)域訓(xùn)練樣本加入源域分類任務(wù)后，相當(dāng)于為該任務(wù)添加了一項(xiàng)額外的正則化約束條件，這勢(shì)必會(huì)對(duì)其歸納偏置（泛化方向）產(chǎn)生一定的影響。對(duì)源域中不同類別樣本的分類任務(wù)來(lái)說(shuō)，額外約束產(chǎn)生的影響可能是正向或負(fù)向的，也有可能對(duì)某些類別而言并未產(chǎn)生明顯的影響。

由此，相關(guān)性定義為目標(biāo)域樣本對(duì)各類別源域樣本分類任務(wù)的歸納偏置產(chǎn)生影響的方向。即：分類任務(wù)的識(shí)別性能受到目標(biāo)域樣本正向影響的為正相關(guān)源域樣本，受到負(fù)向影響的為負(fù)相關(guān)源域樣本，其中正相關(guān)源域樣本又可根據(jù)其受影響的程度分為強(qiáng)/弱相關(guān)樣本，具體如下：

若dsk≥δ，表示該類別樣本與目標(biāo)域強(qiáng)相關(guān)，命名為強(qiáng)相關(guān)源域樣本，設(shè)為P；

若0 ≤dsk＜δ，表示該類別樣本與目標(biāo)域弱相關(guān)，命名為弱相關(guān)源域樣本，設(shè)為E；

若dsk＜0，表示該類別樣本與目標(biāo)域負(fù)相關(guān)，命名為負(fù)相關(guān)源域樣本，設(shè)為N。

為了排除每次模型訓(xùn)練時(shí)的偶然因素，閾值不宜設(shè)置得過(guò)小，一般選取10%—20%。相關(guān)性排序模塊兩次訓(xùn)練的目的是為了對(duì)比目標(biāo)域樣本加入前后，各類別源域樣本的識(shí)別精度變化情況，而并非為了得到最終識(shí)別結(jié)果，因此分類網(wǎng)絡(luò)結(jié)構(gòu)不必過(guò)于復(fù)雜，選取層數(shù)較為適中的基礎(chǔ)網(wǎng)絡(luò)即可，如Resnet18（He等，2016）。

2.2.2 遷移樣本選擇

理論上來(lái)說(shuō)，源域樣本與目標(biāo)域樣本間的相關(guān)性是雙向的，若目標(biāo)域樣本對(duì)源域中部分樣本學(xué)習(xí)任務(wù)的歸納偏置具有正向影響作用，那源域中此部分樣本對(duì)目標(biāo)域?qū)W習(xí)任務(wù)的歸納偏置也應(yīng)具有正向影響作用，二者互為彼此學(xué)習(xí)任務(wù)的正則化約束條件，可以在特征層面進(jìn)行相互補(bǔ)充，相互增強(qiáng)。

所以對(duì)源域樣本進(jìn)行相關(guān)性排序后，可選取其中強(qiáng)相關(guān)源域樣本參與目標(biāo)域的學(xué)習(xí)任務(wù)中進(jìn)行輔助訓(xùn)練。該樣本選擇策略的合理性、以及源域樣本與目標(biāo)域樣本間相關(guān)性的雙向性在后續(xù)實(shí)驗(yàn)部分進(jìn)行了定量驗(yàn)證。

2.3 自監(jiān)督聯(lián)合學(xué)習(xí)

自監(jiān)督學(xué)習(xí)主要通過(guò)人的先驗(yàn)知識(shí)構(gòu)造額外的監(jiān)督信息，為模型的訓(xùn)練提供額外的學(xué)習(xí)任務(wù)，從而提高模型泛化能力。本文在常規(guī)分類任務(wù)的基礎(chǔ)上，選取自監(jiān)督角度預(yù)測(cè)作為輔助分支引入目標(biāo)域分類網(wǎng)絡(luò)中，并將強(qiáng)相關(guān)源域樣本參與此輔助分支的訓(xùn)練，以此在不破壞主分類網(wǎng)絡(luò)結(jié)構(gòu)的前提下提高目標(biāo)域樣本的識(shí)別精度。

2.3.1 自監(jiān)督任務(wù)的選擇

作為自監(jiān)督學(xué)習(xí)的一種方法，角度預(yù)測(cè)主要通過(guò)訓(xùn)練深度網(wǎng)絡(luò)識(shí)別輸入圖像的二維旋轉(zhuǎn)來(lái)學(xué)習(xí)圖像特征。選取Resnet18 作為分類網(wǎng)絡(luò)，引入自監(jiān)督角度預(yù)測(cè)輔助分支后，訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure diagram of training network

從網(wǎng)絡(luò)結(jié)構(gòu)來(lái)看，分類任務(wù)分支和角度預(yù)測(cè)分支共享同一個(gè)特征提取網(wǎng)絡(luò)，二者在完成各自任務(wù)的同時(shí)相互之間必然存在一定的關(guān)系：對(duì)遙感艦船目標(biāo)而言，引入角度預(yù)測(cè)分支后，模型在學(xué)習(xí)過(guò)程中必然會(huì)強(qiáng)化一些對(duì)艦船角度預(yù)測(cè)有用的方向敏感的特征，如：輪廓等全局的結(jié)構(gòu)性特征，同時(shí)弱化對(duì)該分支任務(wù)無(wú)用的特征，如：局部紋理特征。而艦船本身屬于強(qiáng)結(jié)構(gòu)型目標(biāo)，其分類任務(wù)的完成也依賴于模型對(duì)其結(jié)構(gòu)性特征的提取，所以角度預(yù)測(cè)分支的加入可以使得模型最終提取出的特征對(duì)遙感艦船目標(biāo)的分類任務(wù)而言具有較好的泛化能力。此外，Gidaris 等（2019）也在質(zhì)量和數(shù)量上證明了角度預(yù)測(cè)這個(gè)看似簡(jiǎn)單的自監(jiān)督任務(wù)，實(shí)際上為語(yǔ)義特征學(xué)習(xí)提供了非常強(qiáng)大的監(jiān)督信號(hào)。

因此，本文在眾多自監(jiān)督學(xué)習(xí)方法中選擇將較為簡(jiǎn)單的角度預(yù)測(cè)作為輔助分支引入目標(biāo)域分類網(wǎng)絡(luò)中，力圖在不增加過(guò)高模型復(fù)雜度的同時(shí)提高模型泛化能力。

自監(jiān)督角度預(yù)測(cè)將原始圖像分別旋轉(zhuǎn)0°，90°，180°和270°后輸入到特征提取網(wǎng)絡(luò)中，再利用一個(gè)角度預(yù)測(cè)器預(yù)測(cè)當(dāng)前輸入圖像的角度信息，損失函數(shù)為

式中，X為參與訓(xùn)練的樣本集合，Xr為X旋轉(zhuǎn)r角度后的樣本，F(xiàn)θ為特征提取網(wǎng)絡(luò)，Rφ為角度預(yù)測(cè)器，θ和φ分別為特征提取網(wǎng)絡(luò)和角度預(yù)測(cè)器的參數(shù)，R=[00，900，1800，2700]。

分類任務(wù)的損失函數(shù)為

式中，X和Fθ的含義與式（3）保持一致，Y為訓(xùn)練樣本集中所包含的類別數(shù)，Cw為類別預(yù)測(cè)器，w為類別預(yù)測(cè)器的參數(shù)。

2.3.2 強(qiáng)相關(guān)源域樣本的使用策略

篩選出強(qiáng)相關(guān)源域樣本后，原則上其可同時(shí)參與目標(biāo)域分類任務(wù)分支和角度預(yù)測(cè)分支的訓(xùn)練，也可以僅參與其中一個(gè)分支的訓(xùn)練。但是由于強(qiáng)相關(guān)源域樣本所包含的樣本數(shù)遠(yuǎn)多于目標(biāo)域樣本，若將其加入目標(biāo)域分類任務(wù)分支會(huì)由于以下原因?qū)δ繕?biāo)域樣本的識(shí)別精度產(chǎn)生不利影響：（1）會(huì)加劇目標(biāo)域樣本間的不均衡性；（2）會(huì)破壞目標(biāo)域主分類網(wǎng)絡(luò)結(jié)構(gòu)的完整性。

對(duì)于遙感艦船目標(biāo)而言，角度預(yù)測(cè)和分類任務(wù)都依賴于特征提取網(wǎng)絡(luò)對(duì)艦船目標(biāo)結(jié)構(gòu)性特征的提取，當(dāng)共用同一個(gè)特征提取網(wǎng)絡(luò)時(shí)，二者在特征層面能相互促進(jìn)，所以通過(guò)分類任務(wù)篩選出來(lái)的強(qiáng)相關(guān)源域樣本參與目標(biāo)域角度預(yù)測(cè)分支的訓(xùn)練也能在特征層面上輔助目標(biāo)域分類任務(wù)的完成。

綜上所述，強(qiáng)相關(guān)源域樣本的使用采取如圖4所示自監(jiān)督聯(lián)合學(xué)習(xí)策略：目標(biāo)域訓(xùn)練樣本同時(shí)參與角度預(yù)測(cè)分支和分類任務(wù)分支的訓(xùn)練，而強(qiáng)相關(guān)源域樣本僅參與角度預(yù)測(cè)分支的訓(xùn)練，以此在充分利用其有效信息的同時(shí)，保持主分類網(wǎng)絡(luò)結(jié)構(gòu)的完整性。在測(cè)試目標(biāo)域樣本的識(shí)別精度時(shí)僅使用模型的分類任務(wù)分支。

圖4 自監(jiān)督聯(lián)合學(xué)習(xí)策略Fig.4 The self-supervised joint learning strategy

結(jié)合分類任務(wù)損失函數(shù)與自監(jiān)督角度預(yù)測(cè)損失函數(shù)，強(qiáng)相關(guān)源域樣本參與角度預(yù)測(cè)分支的訓(xùn)練前后，自監(jiān)督聯(lián)合學(xué)習(xí)的優(yōu)化目標(biāo)分別如式（5）和式（6）所示：

式中，Xt為目標(biāo)域訓(xùn)練樣本，為Xt旋轉(zhuǎn)r角度后的樣本，為旋轉(zhuǎn)r角度后的強(qiáng)相關(guān)源域樣本，α和β為自監(jiān)督角度預(yù)測(cè)損失函數(shù)所占的比重。經(jīng)多次實(shí)驗(yàn)驗(yàn)證，在本文使用數(shù)據(jù)集上，α和β均取2 時(shí)能獲得最好的實(shí)驗(yàn)結(jié)果。

對(duì)比式（5）和式（6），強(qiáng)相關(guān)源域樣本參與目標(biāo)域角度預(yù)測(cè)輔助分支的訓(xùn)練后，為模型的訓(xùn)練提供了一個(gè)額外的正則化約束條件。由于源域樣本與目標(biāo)域樣本間的相關(guān)性是雙向的，而且對(duì)于遙感艦船目標(biāo)而言，當(dāng)角度預(yù)測(cè)分支與分類任務(wù)共享同一個(gè)特征提取網(wǎng)絡(luò)時(shí)，二者在特征層面是能相互促進(jìn)的，因此強(qiáng)相關(guān)源域樣本參與角度預(yù)測(cè)分支的訓(xùn)練所帶來(lái)的約束是正向的：既又不破壞主分類網(wǎng)絡(luò)結(jié)構(gòu)，又能輔助目標(biāo)域的分類任務(wù)。后續(xù)將通過(guò)實(shí)驗(yàn)對(duì)這一理論加以定量驗(yàn)證。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)集

（1）MiniImagenet 數(shù)據(jù)集。MiniImageNet 數(shù)據(jù)集共包含100類樣本，其中每類有600張彩色圖像，本文從中隨機(jī)選取65 類作為源域樣本，并以2∶1的比例將其劃分為訓(xùn)練集和測(cè)試集進(jìn)行算法驗(yàn)證。

（2）遙感圖像艦船目標(biāo)數(shù)據(jù)集。本文遙感艦船原始數(shù)據(jù)集由論文作者Liu（2017）提供，每張圖像的尺寸在800 像素×700 像素到1200 像素×800像素之間不等，其中大都包含多個(gè)類別艦船或港口（圖5），所以需要對(duì)原始數(shù)據(jù)集進(jìn)行預(yù)處理，將圖像的艦船按類別單獨(dú)分離出來(lái)，重新構(gòu)造目標(biāo)識(shí)別數(shù)據(jù)集。處理方法包括切割、旋轉(zhuǎn)、降噪等，經(jīng)預(yù)處理后的部分樣例如圖6所示。

圖5 艦船目標(biāo)數(shù)據(jù)集樣本圖例Fig.5 Ship images′ examples in target data

圖6 預(yù)處理后的艦船目標(biāo)數(shù)據(jù)集樣本圖例Fig.6 Ship images′ examples in target data after preprocessing

經(jīng)數(shù)據(jù)預(yù)處理合并整理后，構(gòu)建了如表1所示遙感圖像艦船目標(biāo)數(shù)據(jù)集，數(shù)據(jù)集包含共13 個(gè)類別，大致以2∶1 的比例劃分為訓(xùn)練集和測(cè)試集，其中每張圖像的尺寸在64 像素×135 像素到265 像素×685 像素之間不等。數(shù)據(jù)集中存在樣本不均衡的情況，并非所有類別都屬于小樣本，所以在后續(xù)進(jìn)行算法驗(yàn)證時(shí)，以參與訓(xùn)練的樣本數(shù)小于200張為界限，僅統(tǒng)計(jì)小樣本類別的識(shí)別率（表1中未加粗類別）。

表1 遙感圖像艦船目標(biāo)數(shù)據(jù)集各類別樣本數(shù)Table 1 The number of various ship samples in remote-sensing images

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 源域樣本相關(guān)性排序結(jié)果

選取Resnet18作為分類網(wǎng)絡(luò)，設(shè)置閾值δ=10%，按圖2 所示流程對(duì)源域樣本進(jìn)行相關(guān)性排序得到：強(qiáng)相關(guān)源域樣本10類，弱相關(guān)源域樣本52類，負(fù)相關(guān)源域樣本3類，由于源域所包含的樣本類別較多，這里僅列出加入目標(biāo)域訓(xùn)練樣本前后強(qiáng)相關(guān)源域樣本的識(shí)別精度增益情況（表2）。

表2 加入目標(biāo)域樣本前后強(qiáng)相關(guān)源域樣本的識(shí)別精度增益情況Table 2 The gain of strong correlation source samples’recognition accuracy before and after the target data was added/%

強(qiáng)相關(guān)源域樣本示例如圖7所示，部分類別樣本中的目標(biāo)與艦船目標(biāo)在外形或構(gòu)件部分存在一些相似特征，如：航母、炮臺(tái)、坦克中均存在與艦船相同的構(gòu)件；校車、打印機(jī)和海獅等與艦船一樣形狀都接近于長(zhǎng)方形。同時(shí)其中也存在手槍、地毯和披肩這類從人的感知而言與艦船毫無(wú)關(guān)聯(lián)，但是利用深度網(wǎng)絡(luò)進(jìn)行相關(guān)性排序時(shí)卻與目標(biāo)域相關(guān)性較強(qiáng)的樣本。負(fù)相關(guān)源域樣本示例如圖8所示，這類樣本圖像中基本都存在較大的留白區(qū)域，沒(méi)有明顯可用物體特征。由于弱相關(guān)源域樣本過(guò)多，暫不予列出。

圖7 強(qiáng)相關(guān)源域樣本圖例Fig.7 Examples of strong correlation source samples

圖8 負(fù)相關(guān)源域樣本圖例Fig.8 Examples of negative correlation source samples

3.2.2 自監(jiān)督聯(lián)合學(xué)習(xí)策略定量分析

由2.3 節(jié)定性分析可知，篩選出強(qiáng)相關(guān)源域樣本后，其僅參與目標(biāo)域角度預(yù)測(cè)輔助分支的訓(xùn)練，而不參與分類任務(wù)，為了定量分析采取此策略的必要性和有效性，選取Resnet18 作為分類網(wǎng)絡(luò)，進(jìn)行如下兩組實(shí)驗(yàn)：

（1）引入自監(jiān)督角度預(yù)測(cè)分支的有效性驗(yàn)證。暫不考慮強(qiáng)相關(guān)源域樣本，通過(guò)對(duì)比引入自監(jiān)督角度預(yù)測(cè)分支前后，主分類網(wǎng)絡(luò)在本文遙感艦船小樣本目標(biāo)數(shù)據(jù)集上的識(shí)別性能進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果如表3所示，引入自監(jiān)督角度預(yù)測(cè)分支后，目標(biāo)數(shù)據(jù)集總識(shí)別精度從78.89%提升至89.74%，引入自監(jiān)督分支初見(jiàn)成效。

表3 引入自監(jiān)督角度預(yù)測(cè)分支前后目標(biāo)數(shù)據(jù)集識(shí)別精度Table 3 Recognition accuracy of the target data before and after introducing self-supervision angle prediction branch/%

由于美國(guó)尼米茲級(jí)航母和俄羅斯庫(kù)茲涅佐夫號(hào)航母在輪廓結(jié)構(gòu)上較為相似，二者的辨別主要依靠船體的紋理特征（圖9），而由2.3.2 節(jié)分析可知，對(duì)于遙感艦船而言，自監(jiān)督角度預(yù)測(cè)分支的引入會(huì)導(dǎo)致模型在學(xué)習(xí)過(guò)程中強(qiáng)化一些對(duì)艦船角度預(yù)測(cè)有用的方向敏感的特征，如：輪廓等全局的結(jié)構(gòu)性特征，同時(shí)弱化對(duì)該分支任務(wù)無(wú)用的特征，如：局部紋理特征。因此，加入自監(jiān)督角度預(yù)測(cè)后，美國(guó)尼米茲級(jí)航母和俄羅斯庫(kù)茲涅佐夫號(hào)航母之間較有區(qū)分度的紋理特征勢(shì)必會(huì)被弱化，從而容易產(chǎn)生混淆，導(dǎo)致識(shí)別率下降，各類別識(shí)別精度最高可達(dá)100%，而最低僅有61.54%。顯然，對(duì)目標(biāo)數(shù)據(jù)集的分類任務(wù)而言單純引入自監(jiān)督任務(wù)是不夠的。

圖9 美國(guó)尼米茲級(jí)航母和俄羅斯庫(kù)茲涅佐夫號(hào)航母Fig.9 Examples of American Nimitz carrier and Russian Kuznetsov carrier

（2）采取自監(jiān)督聯(lián)合學(xué)習(xí)策略的可行性驗(yàn)證。通過(guò)對(duì)比強(qiáng)相關(guān)源域樣本加入不同分支的訓(xùn)練，對(duì)目標(biāo)數(shù)據(jù)集識(shí)別精度所產(chǎn)生的影響進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明（表4）：對(duì)目標(biāo)域的分類任務(wù)而言，強(qiáng)相關(guān)源域樣本僅參與自監(jiān)督角度預(yù)測(cè)分支的訓(xùn)練最具輔助作用，即自監(jiān)督聯(lián)合學(xué)習(xí)策略是最優(yōu)的學(xué)習(xí)方式，在后續(xù)實(shí)驗(yàn)中均采取此學(xué)習(xí)策略。

表4 強(qiáng)相關(guān)源域樣本參與不同分支的訓(xùn)練時(shí)目標(biāo)數(shù)據(jù)集的識(shí)別精度對(duì)比Table 4 Recognition accuracy of target data when the strong correlation source samples participate in the training of different branches/%

3.2.3 遷移樣本選擇的合理性驗(yàn)證

由3.2.1 節(jié)源域樣本相關(guān)性排序結(jié)果，強(qiáng)相關(guān)源域樣本共10類，包含4000 張訓(xùn)練樣本，負(fù)相關(guān)源域樣本共3類，包含1200 張訓(xùn)練樣本，而弱相關(guān)源域樣本共52類，其所占比重較大，為了盡量排除樣本不均衡因素的干擾，在以下實(shí)驗(yàn)中采取各類別隨機(jī)選取的方式，除單獨(dú)使用負(fù)相關(guān)源域樣本以外，其余每次使用的樣本量均以4000 張為標(biāo)準(zhǔn)。選取Resnet18 作為分類網(wǎng)絡(luò)，具體實(shí)驗(yàn)設(shè)置及實(shí)驗(yàn)結(jié)果如下：

（1）實(shí)驗(yàn)1：分別將強(qiáng)弱相關(guān)源域樣本參與目標(biāo)域角度預(yù)測(cè)分支的訓(xùn)練，參與訓(xùn)練的樣本數(shù)須保持4000 張。由于負(fù)相關(guān)源域樣本較少，直接全部參與訓(xùn)練即可。實(shí)驗(yàn)結(jié)果表明（表5）：源域樣本與目標(biāo)域樣本之間的相關(guān)性確實(shí)是雙向的，且強(qiáng)相關(guān)源域樣本對(duì)目標(biāo)域分類任務(wù)的輔助作用最強(qiáng)，其參與角度預(yù)測(cè)分支的訓(xùn)練后，目標(biāo)數(shù)據(jù)集識(shí)別精度達(dá)96.48%，與僅使用目標(biāo)域樣本進(jìn)行訓(xùn)練相比，識(shí)別精度提升近7%，因此選取強(qiáng)相關(guān)源域樣本作為最終的遷移樣本是合理的。

表5 不同源域樣本參與角度預(yù)測(cè)分支的訓(xùn)練時(shí)目標(biāo)數(shù)據(jù)集的識(shí)別精度Table 5 Recognition accuracy of target data when different source data participate in the training of angle prediction branch/%

（2）實(shí)驗(yàn)2：保持參與訓(xùn)練的源域樣本總數(shù)為4000張，采取各類別隨機(jī)選擇的方式，將源域樣本進(jìn)行如下兩種組合，并將組合后的樣本參與目標(biāo)域角度預(yù)測(cè)分支的訓(xùn)練。

組合1：強(qiáng)相關(guān)源域樣本2000 張+弱相關(guān)源域樣本2000張。

組合2：強(qiáng)相關(guān)源域樣本1400 張+弱相關(guān)源域樣本1400張+負(fù)相關(guān)源域樣本1200張。

實(shí)驗(yàn)結(jié)果顯示（表6）：由于弱/負(fù)相關(guān)源域樣本與目標(biāo)域樣本之間的相關(guān)性較低，在強(qiáng)相關(guān)源域樣本中加入弱/負(fù)相關(guān)源域樣本后，其對(duì)目標(biāo)域分類任務(wù)的輔助作用在一定程度上被削弱了，且加入的樣本與目標(biāo)域樣本的相關(guān)性越低，削弱程度就越強(qiáng)。進(jìn)一步驗(yàn)證了源域樣本與目標(biāo)域樣本相關(guān)性的雙向性以及選取強(qiáng)相關(guān)源域樣本作為最終遷移樣本的合理性。

表6 組合后的源域樣本參與角度預(yù)測(cè)分支的訓(xùn)練時(shí)目標(biāo)數(shù)據(jù)集的識(shí)別精度Table 6 Recognition accuracy of target data when the combined source data participate in the training of angle prediction branch/%

3.2.4 其他對(duì)比實(shí)驗(yàn)

本節(jié)實(shí)驗(yàn)分為3個(gè)小組進(jìn)行。（1）與Fine-tune（微調(diào)）算法的對(duì)比：因操作簡(jiǎn)單且性能表現(xiàn)不錯(cuò)，F(xiàn)ine-tune 算法在遷移學(xué)習(xí)中得以廣泛應(yīng)用，本組實(shí)驗(yàn)首先跟該算法進(jìn)行對(duì)比。選取Resnet18 作為分類網(wǎng)絡(luò)，使用所有源域樣本進(jìn)行預(yù)訓(xùn)練，然后使用遙感艦船目標(biāo)數(shù)據(jù)集對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)。實(shí)驗(yàn)結(jié)果顯示（表7）：對(duì)于遙感圖像小樣本艦船目標(biāo)識(shí)別而言，本文提出的跨域遷移學(xué)習(xí)算法優(yōu)于遷移學(xué)習(xí)中廣泛應(yīng)用的Fine-tune算法。

表7 Fine-tune算法實(shí)驗(yàn)結(jié)果Table 7 Experimental result of Fine-tune algorithm/%

（2）強(qiáng)相關(guān)源域樣本與其他艦船樣本對(duì)目標(biāo)域分類任務(wù)的輔助作用對(duì)比。依然選擇Resnet18作為分類網(wǎng)絡(luò)，與表1所示遙感艦船目標(biāo)數(shù)據(jù)集的大類保持相同，隨機(jī)選取如圖10 所示共7 類艦船樣本參與目標(biāo)域角度預(yù)測(cè)分支的訓(xùn)練。實(shí)驗(yàn)結(jié)果顯示（表8）：對(duì)目標(biāo)域的分類任務(wù)而言，以相關(guān)性排序?yàn)榛A(chǔ)篩選出的強(qiáng)相關(guān)源域樣本比遙感艦船同一大類下的樣本更具輔助作用。

表8 其他類別艦船樣本參與角度預(yù)測(cè)分支的訓(xùn)練時(shí)目標(biāo)數(shù)據(jù)集的識(shí)別精度Table 8 Recognition accuracy of target data when other ship samples participate in the training of angle prediction branch/%

圖10 其他類別遙感艦船樣例Fig.10 Examples of other ship samples in remote-sensing images

（3）不同分類網(wǎng)絡(luò)下的相關(guān)性排序算法對(duì)比?？紤]到選用不同的分類網(wǎng)絡(luò)進(jìn)行相關(guān)性排序得到結(jié)果可能不一樣，本組實(shí)驗(yàn)將源域樣本相關(guān)性排序的分類網(wǎng)絡(luò)分別更換為Resnet50 和PCB 分塊網(wǎng)絡(luò)（Sun等，2018），按圖2 所示流程對(duì)源域樣本重新進(jìn)行相關(guān)性排序后篩選出的強(qiáng)相關(guān)源域樣本類別如表9所示。為了與之前的實(shí)驗(yàn)保持一致，篩選出強(qiáng)相關(guān)源域樣本后，依然使用Resnet18 作為目標(biāo)域分類網(wǎng)絡(luò)進(jìn)行自監(jiān)督聯(lián)合學(xué)習(xí)，實(shí)驗(yàn)結(jié)果如表10所示。

表9 不同分類網(wǎng)絡(luò)篩選出的強(qiáng)相關(guān)源域樣本對(duì)比Table 9 Comparison of the strong correlation source samples screened by different classification networks

表10 在不同分類網(wǎng)絡(luò)篩選出的強(qiáng)相關(guān)源域樣本輔助下目標(biāo)數(shù)據(jù)集的識(shí)別精度Table 10 Recognition accuracy of target data with the help of the strong correlation source samples screened by different classification networks/%

從表9 和表10 可以看出，選用不同的分類網(wǎng)絡(luò)進(jìn)行相關(guān)性排序篩選出的強(qiáng)相關(guān)源域樣本不完全相同，其類別重合度接近60%，但對(duì)目標(biāo)域的分類任務(wù)均具有輔助作用。

3.3 總結(jié)分析

選取miniImageNet 數(shù)據(jù)集作為源域樣本，由3.2節(jié)實(shí)驗(yàn)結(jié)果可得出以下結(jié)論：

（1）論文提出的相關(guān)性排序算法可以從現(xiàn)有公開(kāi)數(shù)據(jù)集中有效篩選出一些人眼無(wú)法感知，但實(shí)際對(duì)艦船目標(biāo)識(shí)別任務(wù)具有輔助作用的樣本，該思想也可適當(dāng)擴(kuò)展到其他識(shí)別場(chǎng)景；

（2）對(duì)遙感艦船目標(biāo)的分類任務(wù)而言，篩選出輔助樣本（強(qiáng)相關(guān)源域樣本）后，僅將其加入目標(biāo)域的自監(jiān)督角度預(yù)測(cè)任務(wù)分支是最優(yōu)的學(xué)習(xí)方式，既不破壞主分類網(wǎng)絡(luò)結(jié)構(gòu)的完整性，又能輔助目標(biāo)域的分類任務(wù)，提高識(shí)別精度；

（3）論文提出的跨域遷移學(xué)習(xí)算法優(yōu)于遷移學(xué)習(xí)中廣泛應(yīng)用的Fine-tune 算法，且對(duì)目標(biāo)域的分類任務(wù)而言，使用相關(guān)性排序算法篩選出的強(qiáng)相關(guān)源域樣本比遙感艦船同一大類下的樣本更具輔助作用，這也進(jìn)一步驗(yàn)證了論文提出算法的可靠性。

3.4 特征可視化分析

考慮到分類器的最終決策由全連接層的輸入所決定，本文將全連接層的輸入視為網(wǎng)絡(luò)模型從原始輸入樣本中所提取的特征，對(duì)強(qiáng)相關(guān)源域樣本參與目標(biāo)域角度預(yù)測(cè)分支的訓(xùn)練前后，目標(biāo)數(shù)據(jù)集中識(shí)別精度上升較為明顯的“美國(guó)尼米茲級(jí)航母”和“俄羅斯庫(kù)茲涅佐夫號(hào)航母”特征進(jìn)行了可視化（由于特征通道數(shù)較多，這里僅列舉部分通道）。

如圖11和圖12所示，每個(gè)通道圖中，左/右分別為強(qiáng)相關(guān)源域樣本參與訓(xùn)練前/后的特征可視化結(jié)果。從圖中可以看出，相較于單獨(dú)使用目標(biāo)域樣本訓(xùn)練的模型而言，強(qiáng)相關(guān)源域樣本參與訓(xùn)練后所得的模型提取出的特征明顯更加豐富，在更大程度上保持了圖像的空間結(jié)構(gòu)和邊緣特征，因此在目標(biāo)數(shù)據(jù)集上也具有更高的識(shí)別精度。這也意味著通過(guò)相關(guān)性排序算法挑選出的強(qiáng)相關(guān)源域樣本能有效提高模型的泛化能力，為目標(biāo)域的分類任務(wù)帶來(lái)有力的輔助作用。

圖11 強(qiáng)相關(guān)源域樣本參與角度預(yù)測(cè)分支的訓(xùn)練前后“美國(guó)尼米茲級(jí)航母”特征可視化結(jié)果Fig.11 Features visualization results for the “American Nimitz carrier” before and after the strong correlation source samples participating in the training of angle prediction branch

圖12 強(qiáng)相關(guān)源域樣本參與角度預(yù)測(cè)分支的訓(xùn)練前后“俄羅斯庫(kù)茲涅佐夫號(hào)航母”特征可視化結(jié)果Fig.12 Features visualization results for the “Russian Kuznetsov carrier” before and after the strong correlation source samples participating in the training of angle prediction branch

4 結(jié)論

區(qū)別于傳統(tǒng)從源域到目標(biāo)域的單向遷移學(xué)習(xí)，本文采取雙向遷移的方式，首先將目標(biāo)域樣本逆向加入源域的學(xué)習(xí)任務(wù)中，利用深度網(wǎng)絡(luò)自身對(duì)數(shù)據(jù)強(qiáng)大的表征能力自適應(yīng)地從源域中篩選有用樣本，然后通過(guò)引入自監(jiān)督輔助分支，充分利用所篩選出樣本的有效信息以輔助目標(biāo)域的學(xué)習(xí)任務(wù)，提高目標(biāo)域樣本的識(shí)別精度。

實(shí)驗(yàn)結(jié)果顯示該算法在遙感圖像小樣本艦船目標(biāo)數(shù)據(jù)集上的識(shí)別精度為97.65%，其性能表現(xiàn)優(yōu)于遷移學(xué)習(xí)中廣泛使用的Finetune算法，且對(duì)于目標(biāo)域的分類任務(wù)而言，通過(guò)本文相關(guān)性排序算法篩選出的樣本甚至比目標(biāo)域同一大類下的樣本更具輔助作用。

雖然提出的算法在遙感艦船小樣本目標(biāo)識(shí)別問(wèn)題上具有較好的性能表現(xiàn)，但是整個(gè)算法流程至少需要訓(xùn)練3次，操作步驟較為繁瑣，后續(xù)的工作考慮從簡(jiǎn)化算法流程方面入手，進(jìn)一步增強(qiáng)算法的實(shí)用性。