柳長源，李 婷，蘭朝鳳

（哈爾濱理工大學(xué) 測控技術(shù)與通信工程學(xué)院，黑龍江 哈爾濱 150080）

1 引言

艦船在現(xiàn)代化海域中扮演著重要的角色。軍事方面，精準(zhǔn)的艦船識(shí)別可以增強(qiáng)近海防御和遠(yuǎn)洋打擊能力，民用方面，艦船識(shí)別技術(shù)可以幫助相關(guān)部門進(jìn)行海上搜救和交通管制等活動(dòng)［1］。所以對艦船目標(biāo)精準(zhǔn)、高效地識(shí)別是智能化海洋監(jiān)控應(yīng)用中非常重要的研究方向［2］。

由于不同類別的艦船之間形態(tài)較為相似而同類別的艦船之間形態(tài)差異較大，并且遙感艦船圖像中的目標(biāo)主體較小很難從周圍環(huán)境中辨識(shí)出來，因此對艦船的精細(xì)識(shí)別具有較高的難度。目前，遙感艦船細(xì)粒度分類的關(guān)鍵在于局部微小的差異，而常規(guī)方法受到先驗(yàn)知識(shí)和弱特征表達(dá)的限制，難以處理復(fù)雜背景下的圖像，且提取到的特征大多是全局特征，缺少對局部微小差異部分的重點(diǎn)關(guān)注［3］。因此，需要將細(xì)粒度目標(biāo)的識(shí)別方法引入到艦船的細(xì)粒度分類中。

Lin 等人［4］提出了雙線性卷積神經(jīng)網(wǎng)絡(luò)（Bilinear Convolutional Neural Network，BCNN），模型由兩個(gè)子網(wǎng)絡(luò)組成，一個(gè)子網(wǎng)絡(luò)用于提取目標(biāo)區(qū)域，另一個(gè)用于獲取區(qū)域內(nèi)的特征，以此來捕獲不同子類間的微小差異，但是該模型忽略了不同卷積層之間的交互。Jianlong FU 等人［5］結(jié)合了區(qū)域定位和區(qū)域內(nèi)特征學(xué)習(xí)提出了循環(huán)注意力卷積 神經(jīng)網(wǎng) 絡(luò)（Recurrent Attention Convolutional Neural Network，RA-CNN）。該網(wǎng)絡(luò)由三個(gè)尺度構(gòu)成，每個(gè)尺度均由注意力網(wǎng)絡(luò)（Attention Proposal Sub-Network，APN）和分類子網(wǎng)絡(luò)構(gòu)成，其中注意力網(wǎng)絡(luò)用于定位注意力區(qū)域，此模型的缺點(diǎn)是三個(gè)尺度參數(shù)不共享，模型計(jì)算較復(fù)雜。Chen 等人［6］提出了破壞與重構(gòu)模型（Destruction and Construction Learning，DCL），使用區(qū)域混 亂機(jī)制（Region Confusion Mechanism，RCM）擾亂了由輸入圖像分割成的多個(gè)區(qū)域，迫使網(wǎng)絡(luò)更多的關(guān)注判別性區(qū)域以此提高分類準(zhǔn)確性。以上方法雖然對于細(xì)粒度遙感艦船的分類取得了較好的效果，但是受客觀因素的限制，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)幾乎不可能收集到所有的艦船類別，而傳統(tǒng)的細(xì)粒度遙感艦船分類方法都具有閉集性，即對于未知的類別，分類器會(huì)作出錯(cuò)誤的分類，將其強(qiáng)行劃分成某種已知的類別，最終降低識(shí)別的準(zhǔn)確率。

為了使細(xì)粒度艦船分類更好適用于現(xiàn)實(shí)場景，本文設(shè)計(jì)了細(xì)粒度遙感艦船開集識(shí)別模型。通過帶有幾何空間注意模塊的主干網(wǎng)絡(luò)提取深度特征，利用基分支學(xué)習(xí)更緊湊的類中心分布，元嵌入分支重新定位類中心，將細(xì)粒度遙感艦船的分類問題推向開放環(huán)境，打破了傳統(tǒng)的基于閉集假設(shè)下分類問題的局限。

2 相關(guān)方法

2.1 開集識(shí)別

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Net-works，CNN）由于使用Softmax 函數(shù)將輸出類標(biāo)簽對應(yīng)于訓(xùn)練類的最大規(guī)范化概率作為預(yù)測結(jié)果。因此，當(dāng)出現(xiàn)訓(xùn)練數(shù)據(jù)集中沒有的未知類別時(shí)，分類器會(huì)錯(cuò)誤地將其歸為與已知類別最相似一類。由于現(xiàn)實(shí)場景中的物體多種多樣很難獲取所有的類別用于訓(xùn)練，為此許多學(xué)者提出開放集識(shí)別（Open-set Recognition，OSR）的 概念［7］，并提出了許多基于深度學(xué)習(xí)的OSR 方法，以緩解傳統(tǒng)CNN 的閉集特性。開放集識(shí)別描述了一種場景，即在拒絕未知的類別的同時(shí)還能精準(zhǔn)識(shí)別出已知類別，如圖1 所示。OSR 方法原理是優(yōu)化最小化訓(xùn)練數(shù)據(jù)集U和開放空間風(fēng)險(xiǎn)以及經(jīng)驗(yàn)風(fēng)險(xiǎn)，其定義如公式（1）所示：

圖1 開放集識(shí)別場景Fig.1 Open set identification scenario

其中，λr是一個(gè)正則化常數(shù)。

現(xiàn)有的OSR 方法有判別模型［8-9］和生成模型兩種［10-11］。判別模型側(cè)重于校準(zhǔn)模型的潛在特征表示或模型的后驗(yàn)概率分布。而生成模型一般是通過變分自動(dòng)編碼器（Variational Autoencoder，VAE）或者生成式對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）對數(shù)據(jù)施加先驗(yàn)概率分布。雖然以上兩種模型將CNN 應(yīng)用到一個(gè)未知的開放世界中，但是細(xì)粒度遙感艦船具有類內(nèi)的多樣性和類間的相似性，并且艦船通常與周圍的環(huán)境相融合。將其應(yīng)用于細(xì)粒度遙感艦船的識(shí)別更為復(fù)雜，識(shí)別的準(zhǔn)確率也不高。

2.2 注意力機(jī)制

注意力機(jī)制是使計(jì)算機(jī)能夠像人類一樣自主獲取重點(diǎn)關(guān)注區(qū)域，從而過濾掉無關(guān)的信息。現(xiàn)有的注意力有兩種分別為硬注意［12］和軟注意［13-16］。由于軟注意力具有可微性使其在網(wǎng)絡(luò)的正向傳播和反向傳播過程中能夠?qū)崟r(shí)進(jìn)行更新，因此在CNN 中被廣泛使用。

Hu 等人［13］提出了可自由嵌入到其他網(wǎng)絡(luò)中的壓縮 激活模 塊（Squeeze and Excitation Network，SE-Net），該模塊通過擠壓、激勵(lì)和尺度操作在通道維度上對特征進(jìn)行處理，使得信息量較大的通道特征被更多的關(guān)注。借鑒Hu 等人的思想Wang 等人［14］提出了一種高效通道注意力模塊（Efficient Channel Attention Module，ECA），該模塊是不降維式的跨通道交互模塊，僅僅利用了通道維 度上的特征。Woo S［15］等人整合了通道注意力和空間注意力提出了輕量級(jí)的注意力模塊（Convolutional Block Attention Module，CBAM），雖然以上注意力模塊在分類任務(wù)中表現(xiàn)良好，但是不能將所關(guān)注的重點(diǎn)區(qū)裁剪出來使輸入圖片變成理想的圖片。為了在過濾背景信息的同時(shí)更突出目標(biāo)主體，Jader-berg 等人［16］提出了一種空間變換網(wǎng)絡(luò)（Spatial Transformer Networks，STN），在空間域內(nèi)進(jìn)行空間變換來提取關(guān)鍵信息。經(jīng)過訓(xùn)練的STN 可以找到感興趣區(qū) 域（Region Of Interest，ROI）的區(qū)域，并具有旋轉(zhuǎn)、縮放和變換的功能。因此，本文將STN 引入到特征提取網(wǎng)絡(luò)前，用于去除艦船背景信息的干擾，將艦船目標(biāo)主體裁剪出來并放大到標(biāo)準(zhǔn)尺寸。

3 算法設(shè)計(jì)

本文的分支融合網(wǎng)絡(luò)模型由基分支和元嵌入分支構(gòu)成。首先采用STN 提取細(xì)粒度遙感艦船圖像中的艦船目標(biāo)，之后使用特征提取網(wǎng)絡(luò)提取艦船目標(biāo)圖像的深度特征分別作為基分支和元嵌入分支的輸入，基分支用于減小艦船圖像的類內(nèi)差異，元嵌入分支用于增大艦船圖像的類間差異并加強(qiáng)對小樣本的學(xué)習(xí)能力，同時(shí)也對基分支的分類結(jié)果進(jìn)行校準(zhǔn)。最后對兩個(gè)分支的分類結(jié)果決策融合，根據(jù)設(shè)定的閾值判別已知類和未知類，若為已知類則進(jìn)一步細(xì)分出具體類別。模型的總體框圖如圖2 所示。

圖2 模型整體結(jié)構(gòu)框圖Fig.2 Model overall structure block diagram

3.1 多尺度STN-Resnet 網(wǎng)絡(luò)

STN 主要由三部分構(gòu)成分別是：參數(shù)預(yù)測（localisation net）、坐標(biāo)映射（grid generator）和像素采集（sampler），基本架構(gòu)如圖3 所示。

圖3 STN 基本架構(gòu)Fig.3 Basic architecture of STN

參數(shù)預(yù)測模塊的輸入U(xiǎn)，輸出變換矩陣，決定STN 模塊對輸入圖像或特征圖做哪種變換；坐標(biāo)映射用于做矩陣運(yùn)算，該運(yùn)算以目標(biāo)圖像V中的所有坐標(biāo)點(diǎn)為自變量，θ為參數(shù)計(jì)算輸入圖像U的坐標(biāo)點(diǎn)，具體計(jì)算過程如式（2）所示：

STN 可以任意位置、任意數(shù)量的插入到現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)中，使得網(wǎng)絡(luò)能夠自主的對整張圖像或特征圖進(jìn)行平移、縮放、剪裁和旋轉(zhuǎn)等空間變換。由于該模塊在選擇圖像中重點(diǎn)關(guān)注區(qū)域的同時(shí)，還可以將該區(qū)域放大到標(biāo)準(zhǔn)尺寸。故本文將其插入到特征提取網(wǎng)絡(luò)Resnet34［17］前，用于提取艦船目標(biāo)主體。

由于卷積核大小不同獲得的輸入圖像中的感知域也不同，而細(xì)粒度艦船的分類關(guān)鍵在于細(xì)小差異。僅使用一種尺度的卷積核，提取到的信息比較單一，在一定程度上限制了細(xì)粒度遙感艦船的分類準(zhǔn)確性。因此，本文使用1×1，3×3 和5×5 不同大小的卷積核構(gòu)建了兩個(gè)并行的卷積通道來提取不同尺度的信息，其中第一條通道由1×1，3×3 卷積和BN 層構(gòu)成；第二條通道由1×1，5×5 卷積和BN 層構(gòu)成，最后將兩個(gè)通道的輸出進(jìn)行拼接經(jīng)過一個(gè)1×1 卷積降維輸入到Resnet34 網(wǎng)絡(luò)。并行卷積模塊結(jié)構(gòu)示意圖如圖4所示。

圖4 并行卷積模塊結(jié)構(gòu)示意圖Fig.4 Structure diagram of parallel convolution module

3.2 基分支結(jié)構(gòu)

對于細(xì)粒度分類而言僅利用特征提取網(wǎng)絡(luò)得到不同類別之間的潛在特征，區(qū)分性不是很好，而利用STN 先去除背景信息的干擾，由特征提取網(wǎng)絡(luò)得到的深度特征辨別能力依舊不強(qiáng)，以此進(jìn)行分類也很難達(dá)到令人滿意的效果。Wen等人在2016 年提出中心損失函數(shù)（Center Loss）［18］。Center Loss 最初應(yīng)用在人臉這種復(fù)雜的數(shù)據(jù)分布，使得同種類別間的特征更加緊湊，公式如式（3）所示：

其中：xi是由特征提取網(wǎng)絡(luò)提取到的第i個(gè)特征，cyi∈Rd是類別yi的特征中心，d是特征維數(shù)，m為批量處理的大小。

特征中心cyi隨深度特征的變化而變化，越靠近最近類中心的特征，越屬于相應(yīng)的類。為了提高網(wǎng)絡(luò)的訓(xùn)練效率，訓(xùn)練時(shí)基于小批量m更新中心，并在每次迭代的過程中，通過平均相應(yīng)類的特征來計(jì)算中心，目的是避免更新所有類中心導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)間的增加。

LC梯度和類中心的更新方程［18］如式（4）和式（5）所示：

其中：yi=j為判斷δ狀態(tài)的條件，當(dāng)條件成立，δ=1；如果不成立，δ=0。當(dāng)yi和cj的類別j不同時(shí)，不需要更新，只有類別相同時(shí)才更新。如果單獨(dú)使用Center Loss 來監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)，會(huì)使得深度學(xué)習(xí)的特征和類中心退化為零，導(dǎo)致?lián)p失非常小。又由于該損失函數(shù)和Softmax Loss 一樣不需要對樣本進(jìn)行復(fù)雜的重組，兩者的要求幾乎相同。因此，本文將Center Loss 加到基分支中，和Softmax Loss 聯(lián)合監(jiān)督，加強(qiáng)對辨別特征的學(xué)習(xí)，提高識(shí)別的準(zhǔn)確率。故基分支中的總損失函數(shù)LBase為LSoftMax和LC的加和，如式（6）和式（7）所示：

其中：Wj∈Rd表示最后一個(gè)全連接層中權(quán)重W∈Rd×n的 第j列，d是特征維度，n是類別 數(shù)，b∈Rn是偏置項(xiàng)，標(biāo)量λC在［0，1］中受限，主要用于平衡兩個(gè)損失函數(shù)。λC的值影響了不同特征之間的可分性，λC值越大，會(huì)導(dǎo)致同類之間的特征更緊湊，反之，同類間的特征更分散。

該分支的輸入為Resnet 網(wǎng)絡(luò)最后一個(gè)卷積層的輸出特征fbackbone，采用雙損失共同監(jiān)督，其中，Center Loss 用于減小同類間的差異，Softmax Loss 用于學(xué)習(xí)類間的差異，兩者的聯(lián)合加強(qiáng)了對深度特征的辨別能力的學(xué)習(xí)，使網(wǎng)絡(luò)更適用于類間差異小的目標(biāo)。

3.3 元嵌入分支

細(xì)粒度艦船具有較大的類內(nèi)差異的同時(shí)具有較小的類間差異。雖然基分支有效解決了同類別艦船圖像之間差異較大的問題，但是由于不同類別艦船之間的差異很小，單獨(dú)使用基分支對有細(xì)微差異的艦船分類準(zhǔn)確率較低。為了減小艦船圖像類內(nèi)變化的同時(shí)增加其類間的差異，使特征在不受相應(yīng)類中心影響的同時(shí)還增大了與其他類中心之間的距離。本文的元嵌入分支借鑒類結(jié)構(gòu)分析方法［19］，采用判別中心作為基本構(gòu)造塊。將訓(xùn)練的主干特征fbackbone作為元嵌入分支的輸入，讓M=表示所有訓(xùn)練數(shù)據(jù)的視覺記憶，N為訓(xùn)練類別數(shù)目。在訓(xùn)練過程中，隨機(jī)抽取一定的樣本數(shù)據(jù)用于更新中心ci，最大限度地提高訓(xùn)練樣本和其他類中心之間的距離。

由于細(xì)粒度艦船圖像采集困難，所以數(shù)據(jù)分布大多數(shù)是不均衡的。對于開放環(huán)境下的數(shù)據(jù)量較少的類別缺少監(jiān)督更新的能力。借鑒文獻(xiàn)［20］的思想，在元嵌入分支中使用記憶特征fmemory豐富主干特征。使用幻覺（hallucinated）系數(shù)O∈RN評(píng)估每個(gè)類別的中心和fbackbone之間的權(quán)重關(guān)系如式（8）所示：

幻覺系數(shù)通過一個(gè)輕量級(jí)的全連接網(wǎng)絡(luò)從主干特征中獲得的，并通過γ對特征fmemory進(jìn)行縮放，得到元特征fmeta。如式（9）所示：

其中，γ 為主干特征fbackbone與其最近的類中心之間的距離如式（10）所示：

當(dāng)γ較大時(shí)認(rèn)為輸入的樣本是未知的即遠(yuǎn)離每個(gè)類的中心，并且它的元特征在所有維度上均被縮到近似于零，這進(jìn)一步體現(xiàn)了開放集類樣本的特征表示與已知訓(xùn)練類樣本的特征有顯著差異。相反，γ較小認(rèn)為輸入的是一個(gè)已知類的樣本，此時(shí)每個(gè)維度的差異都保持不變。元嵌入分支作為訓(xùn)練的第二階段，總損失函數(shù)Lmeta為交叉熵?fù)p失函數(shù)LCE與最大邊際損失函數(shù)LM的加和，如式（11）所示：

其中，λm為最大邊際損失的權(quán)重。

此分支使用由余弦相似度設(shè)計(jì)的分類器［21］替換傳統(tǒng)的Softmax 分類器，這使得該模型能夠統(tǒng)一對已知類和未知類進(jìn)行識(shí)別，其中分類結(jié)果PM由余弦相似度算子計(jì)算，如公式（12）所示：

3.4 分支融合

在大多數(shù)情況下，先融合多個(gè)特征，再送入分類器進(jìn)行分類。這種特征融合的方法在閉集假設(shè)下的分類任務(wù)中取得了較好的效果，但是對于開集的識(shí)別任務(wù)效果并不理想。開集的識(shí)別常常會(huì)出現(xiàn)未知的類別。按照人類對未知物體的感知角度，融合它最終的分類結(jié)果，而不是它應(yīng)該屬于的類別即特性。因此，本文通過端對端融合兩個(gè)分支的最終識(shí)別結(jié)果來確定艦船的所屬類別。最終兩個(gè)分支融合的分類結(jié)果PD如式子（13）所示，即將基分支的分類結(jié)果PB和元嵌入分支的分類結(jié)果PM進(jìn)行決策融合。

其中，α表示校準(zhǔn)度。

為了更好地拒絕未知類別，在融合分類結(jié)果PD后設(shè)定一個(gè)閾值，用于判別是否為已知類別，最終分類結(jié)果y如式（14）所示：

其中，δ是區(qū)分已知類和未知樣本的鑒別概率閾值。

4 測量實(shí)驗(yàn)與結(jié)果

4.1 數(shù)據(jù)集預(yù)處理

FGSCR-42 數(shù)據(jù)集［22］是一個(gè) 廣泛的 光學(xué)遙感圖像中細(xì)粒度艦船分類的公共數(shù)據(jù)集，包含類別較多的軍用艦船和民用艦船的圖像。為了驗(yàn)證本文方法的有效性，選取了FGSCR-42 數(shù)據(jù)集的一部分進(jìn)行評(píng)估?？紤]到民用船易于采集、軍用艦船采集困難，選取7 種民用船為已知類別作為訓(xùn)練樣本，將多種軍用艦船的混合作為未知類別和7 種已知類的民用船一起作為測試類別。每類樣本示例如圖5 所示。

圖5 樣本示例Fig.5 Sample example

OSR 方法中的測試集類要比訓(xùn)練集類多，故在本研究中將多種軍用艦船的混合統(tǒng)一當(dāng)作未知類別，和7 種已知類別一起作為測試類。為了更適用于現(xiàn)實(shí)場景，在實(shí)驗(yàn)中將數(shù)據(jù)集設(shè)置為平衡和不平衡分布兩種，平衡分布的訓(xùn)練數(shù)據(jù)集中每個(gè)類別有400 個(gè)，共2 800 個(gè)樣本如表1 所示，不平衡的訓(xùn)練數(shù)據(jù)集如表2 所示。

表1 平衡分布數(shù)據(jù)集Tab.1 Dataset of balanced distribution

表2 不平衡分布數(shù)據(jù)集Tab.2 Datasets of the unbalanced distribution

由于遙感圖像的目標(biāo)識(shí)別需要不同視角的識(shí)別能力，因此每類選取60 多個(gè)方向的測試樣本，按照開放度公式［23］如式（15），設(shè)置了4 種不同的開放度分別為9.25%，14.16%，18.35% 和21.98%，每種開放度下的對應(yīng)的未知類別中分別包含3，5，7 和9 種軍用艦船。

其中：CTR為訓(xùn)練類別的標(biāo)簽數(shù)量，CTE為測試類別的標(biāo)簽數(shù)量。

測試集的設(shè)置見表3 所示，以此評(píng)估本文方法的有效性。

表3 測試數(shù)據(jù)集Tab.3 Test dataset

對處理后的數(shù)據(jù)集采取常用的圖像處理方法，首先對細(xì)粒度遙感艦船圖像進(jìn)行水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)并旋轉(zhuǎn)90°，180°和270°來增加數(shù)據(jù)的多樣性。之后對光學(xué)RGB 圖像中的每個(gè)像素用平均值μx和標(biāo)準(zhǔn)差σx進(jìn)行標(biāo)準(zhǔn)化，如式（16）所示，得到泛化效果：

其中，x和分別表示原始圖像和標(biāo)準(zhǔn)化圖像的像素值。

4.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)硬件環(huán)境采用IntelCore i9-13900K 處理器，RTX4080 魔鷹顯卡，顯存為16 G。軟件環(huán)境為 Ubuntu22.04.2 和 CUDA11.7，使 用 pytorch1.8 深度學(xué)習(xí)框架。初始學(xué)習(xí)率設(shè)置為0.001，每50 輪收縮1/10，一階段訓(xùn)練100 輪，二階段訓(xùn)練200 輪，在這個(gè)階段中凍結(jié)主干網(wǎng)絡(luò)的參數(shù)，即優(yōu)化器只更新與元記憶分支相關(guān)的參數(shù)。以上兩個(gè)階段中batch-size 均設(shè)置為24。λC和λm控制了來自相應(yīng)類中心的吸引力，分別設(shè)置為0.01 和0.1。α決定元嵌入分支對基分支分類結(jié)果的校準(zhǔn)程度，將α從0 變化到0.5，同樣在兩種數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)如圖6 所示。

圖6 不同α 下的識(shí)別準(zhǔn)確率曲線圖Fig.6 Graph of recognition accuracy under different α

通過觀察發(fā)現(xiàn)隨著α值的變化而最終的識(shí)別精度并不那么穩(wěn)定，α值越高，識(shí)別的精度越低，而α值越低，不會(huì)顯著提高精度，綜合考慮將其設(shè)置為0.3。

鑒別概率閾值δ表示已知類和未知類之間的界限，在一定程度上影響網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。而本文中已知類占比較多，因此同樣在低開放度下將從0.5 到0.9 在平衡分布和不平衡分布的兩種數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，將識(shí)別的準(zhǔn)確率用折線圖表示如圖7 所示。

圖7 不同δ 下的識(shí)準(zhǔn)確率曲線圖Fig.7 Different δ recognition accuracy curves

通過觀察發(fā)現(xiàn)δ為0.9 時(shí)在兩種數(shù)據(jù)集下的識(shí)別準(zhǔn)確率均較好，故本研究δ選取為0.9。

4.3 消融實(shí)驗(yàn)

為了驗(yàn)證STN 模塊和中心損失函數(shù)LC對該模型整體性能的貢獻(xiàn)，本文在不平衡數(shù)據(jù)集上用準(zhǔn)確率作為評(píng)價(jià)指標(biāo)來評(píng)估該模型性能。因?yàn)楝F(xiàn)實(shí)場景中所能采集的不同類別圖像數(shù)量很難達(dá)到均衡，所以采用不平衡數(shù)據(jù)集進(jìn)行驗(yàn)證，更加符合實(shí)際的情況，實(shí)驗(yàn)的結(jié)果如圖8 所示。

圖8 不同開放度下STN 實(shí)驗(yàn)對比圖Fig.8 Comparison of STN experiments under different openness

從圖8 中可以看出，加入STN 模塊后SResNet34 網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率整體高于多尺度Resnet 網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率，可見背景信息的干擾較大的影響了艦船識(shí)別。在加入STN 模塊的基礎(chǔ)上使用LC中心損失函數(shù)聚合類內(nèi)特征，使得網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率得到了進(jìn)一步提升，由此可知，LC也能夠提升該模型整體性。

為了更直觀地看出STN 模塊對網(wǎng)絡(luò)性能的影響，將輸入ResNet34 網(wǎng)絡(luò)和SResNet34 網(wǎng)絡(luò)的原始圖像和注意力圖進(jìn)行對比，如圖9 所示（彩圖見期刊電子版）。注意力圖中紅色部分表示網(wǎng)絡(luò)更多關(guān)注的區(qū)域，由圖可知加入STN 模塊后的SResNet34 網(wǎng)絡(luò)受背景信息干擾明顯減小，更多關(guān)注目標(biāo)主區(qū)域。

圖9 ResNet34 網(wǎng)絡(luò)和SResNet34 網(wǎng)絡(luò)的原始圖像注意力圖Fig.9 ResNet34 network and SResNet34 network original image attention diagram

元嵌入分支中的元特征主要由reachability和幻覺（hallucinated）系數(shù)兩個(gè)模塊構(gòu)成。為了驗(yàn)證這兩個(gè)模塊對該模型整體性能的貢獻(xiàn)。同樣在不平衡分布的數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果如圖10 所示。

圖10 不同開放度下hallucinated和reachability實(shí)驗(yàn)對比圖Fig.10 Experimental comparison of hallucinated inated and reachability under different degrees of openness

通過觀察，可以發(fā)現(xiàn)當(dāng)未知類數(shù)量較少時(shí)，僅包含幻覺（hallucinated）系數(shù)的模型比僅包含reachability 模塊的模型具有較好的識(shí)別結(jié)果。然而，隨著未知類的增加，它的性能不如包含reachability 模塊的網(wǎng)絡(luò)模型好，因?yàn)楫?dāng)未知類別較少時(shí)，該模型的精度主要取決于已知類別的分類準(zhǔn)確率。由圖10 可知，單獨(dú)使用這兩者并沒有顯著提高網(wǎng)絡(luò)模型的性能，但將這兩者的結(jié)合對模型的性能有很大提升。

4.4 對比實(shí)驗(yàn)及結(jié)果分析

為了更好地驗(yàn)證本文方法的泛化性能，首先在21.98%的開放度下將本文模型分別應(yīng)用在處理后的細(xì)粒度遙感艦船F(xiàn)GSC-23 數(shù)據(jù)集和FGSCR-42 數(shù)據(jù)集上，并對其結(jié)果進(jìn)行比較，如表4所示。可以看到本文方法在FGSC-23 和FGSCR-42 數(shù)據(jù)集上的識(shí)別準(zhǔn)確率均高于其他幾個(gè)對比模型。

表4 不同數(shù)據(jù)集上準(zhǔn)確率的比較Tab.4 Comparison on accracy of different data sets（%）

為了全面評(píng)價(jià)本文提出的細(xì)粒度圖像分類與開集融合方法的有效性，單獨(dú)將本文模型應(yīng)用到處理后的細(xì)粒度遙感艦船圖像FGSCR-42 數(shù)據(jù)集上，評(píng)價(jià)指標(biāo)為準(zhǔn)確率、F1-score 和混淆矩陣。表5 表示在平衡數(shù)據(jù)集下不同模型的性能比較。觀察結(jié)果發(fā)現(xiàn)，Resnet 和BCNN 的總體精度接近于測試樣本中已知類樣本的比例，這充分證明了傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度遙感艦船分類方法具有閉集性，即全部開放的未知類樣本均被歸為已知類樣本；Openmax，Center Loss和OLTR 方法改善了傳統(tǒng)的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類的閉集性，使其更適應(yīng)于開放環(huán)境。然而，隨著開放類的增加，準(zhǔn)確率和F1-score 的性能都有顯著下降。由表5 可知，本文的方法整體性能最好，在9.25% 開放度下相比于Center Loss 模型準(zhǔn)確率提升1.5%，F(xiàn)1-score 提升0.8%；21.98%開放度下準(zhǔn)確率提升6.8%，F(xiàn)1-score 提升3.6%。本文模型隨著未知類的增加平均準(zhǔn)確率和F1-score 值降低的較少。

表5 平衡數(shù)據(jù)集上各方法的比較Tab.5 Comparison of methods on the balanced datasets

在不平衡數(shù)據(jù)集上訓(xùn)練的不同模型的性能比較見表6 所示。由于訓(xùn)練數(shù)據(jù)分布不平衡，各模型的準(zhǔn)確性在一定程度上有所下降，因?yàn)榇藭r(shí)除了區(qū)分已知類樣本和未知類樣本外，尾部類和未知類的有效區(qū)分也增加了識(shí)別的難度。從表中可以觀察到，基于閉集假設(shè)下的Resnet 和BCNN 模型對細(xì)粒度遙感艦船分類精度較低，有些尾部類被識(shí)別為未知樣本。OpenMax，Center Loss 和OLTR 等方法隨著開放程度的增加識(shí)別的準(zhǔn)確率和F1-score 值均比對應(yīng)開放程度下基于閉集假設(shè)的識(shí)別準(zhǔn)確率高，但與平衡數(shù)據(jù)集下的識(shí)別準(zhǔn)確率相比降低的較多，由此可知以上3種方法易受數(shù)據(jù)分布的影響。

表6 不平衡數(shù)據(jù)集上各方法的比較Tab.6 Comparison of methods on the unbalanced datasets

圖11 表示開放度為9.25%時(shí)的混淆矩陣，其中（a）表示在平衡分布的數(shù)據(jù)集下標(biāo)準(zhǔn)化的混淆矩陣，（b）表示在不平衡數(shù)據(jù)集下標(biāo)準(zhǔn)化的混淆矩陣。每個(gè)類別的召回率由混淆矩陣的對角線表示，且每一行的概率加和為1。

圖11 開放度9.25%時(shí)的混淆矩陣Fig.11 Confusion matrix at 9.25% openness

由混淆矩陣可直觀地看出開放度相同的情況下模型在平衡與不平衡分布的數(shù)據(jù)集上識(shí)別準(zhǔn)確率相差較小。進(jìn)一步證明了本文的方法受數(shù)據(jù)分布影響較小。

綜上所述，本文的方法無論在平衡分布的數(shù)據(jù)集下還是不平衡分布的數(shù)據(jù)集下均優(yōu)于先進(jìn)的判別OSR 方法和細(xì)粒度圖像分類方法，并且在未知類的數(shù)量增加和數(shù)據(jù)不均衡時(shí)具有較強(qiáng)的泛化能力。

5 結(jié)論

本文將開集識(shí)別方法融入到細(xì)粒度圖像分類中，有效解決了傳統(tǒng)細(xì)粒度遙感艦船分類的局限性。通過STN 模塊提取艦船目標(biāo)主體，利用損失函數(shù)減小類內(nèi)差異的同時(shí)增加類間差異，最后將基分支和元嵌入分支的分類結(jié)果進(jìn)行決策融合。在開放程度不同時(shí)對平衡分布和不平衡分布的數(shù)據(jù)集進(jìn)行了充分實(shí)驗(yàn)，結(jié)果表明，本文方法在開放度為9.25%時(shí)平衡分布和不平衡分布的數(shù)據(jù)集上識(shí)別準(zhǔn)確率偏差最小是0.5%，開放度為18.35%時(shí)識(shí)別準(zhǔn)確率偏差最大是1.4%，與基于判別模型OSR 中表現(xiàn)較好的CenterLoss 模型相比，在平衡數(shù)據(jù)集的4 種開度下準(zhǔn)確率分別提升1.5%，3.1%，5.6%，6.8%，F(xiàn)1-score 提升0.8%，1.2%，3.3%，3.6%，不平衡的數(shù)據(jù)集下準(zhǔn)確率分別提升4.5%，6.6%，6.5%，7.6%，F(xiàn)1-scoree 提升4.3%，5.3%，3.2%，4.2%。綜上，本文方法具有較高的準(zhǔn)確率和較好的泛化能力。在未來的工作中，可考慮雨雪和濃霧天氣，引入更加復(fù)雜背景，再結(jié)合本文模型設(shè)計(jì)一個(gè)整體的識(shí)別系統(tǒng)，使得其更符合實(shí)際情況。