張磊，陳文，王岳環(huán)

華中科技大學(xué)人工智能與自動化學(xué)院多譜信息處理國家重點(diǎn)實(shí)驗(yàn)室，武漢 430074

0 引言

海洋具有巨大的經(jīng)濟(jì)及軍事安全價(jià)值，隨著人類社會的發(fā)展，海洋活動對國家發(fā)展的影響越來越大。自20 世紀(jì)后半葉以來，隨著衛(wèi)星技術(shù)的高速發(fā)展，遙感衛(wèi)星成像技術(shù)大幅提升，遙感圖像憑借探測范圍廣、獲取信息速度快和周期短等優(yōu)點(diǎn)，不論在國防領(lǐng)域還是民用領(lǐng)域都有廣泛的應(yīng)用，通過遙感圖像對重點(diǎn)海域艦船目標(biāo)進(jìn)行識別監(jiān)控對國防與經(jīng)濟(jì)發(fā)展具有十分重要的意義。隨著遙感圖像數(shù)據(jù)量的大幅增加，對自動化遙感圖像艦船檢測與識別算法的需求大幅上升。

艦船細(xì)粒度檢測與識別指在艦船檢測的基礎(chǔ)上對艦船目標(biāo)進(jìn)行更精細(xì)的子類類別劃分，識別出艦船的具體類型，例如阿利伯克級導(dǎo)彈驅(qū)逐艦、尼米茲級航空母艦等，在港口海域監(jiān)視與情報(bào)搜集等應(yīng)用中有很高的實(shí)際應(yīng)用價(jià)值。

目前的艦船檢測與識別方法依照其所用的特征提取方式可以分為基于人工設(shè)計(jì)特征的傳統(tǒng)方法與基于卷積神經(jīng)網(wǎng)絡(luò)提取特征的方法。其中，傳統(tǒng)方法依照所用的特征類型大致可以分為3 種。1）基于圖像灰度信息的方法。例如，Xia等人（2014）使用局部二值模式（local binary pattern，LBP）算子進(jìn)行艦船檢測，Shi 等人（2014）利用梯度直方圖（histogram of oriented gradient，HOG）特征進(jìn)行艦船檢測。2）基于目標(biāo)紋理形狀的方法。例如，Xu 等人（2014）使用魯棒性廣義霍夫變換（robust invariant generalized Hough transform，RIGHT）進(jìn)行艦船形狀提取，Liu 等人（2014）使用Harris 角點(diǎn)確定疑似的“V”形艦首位置。3）基于視覺顯著性的方法。例如，Xie 等人（2016）基于全局對比顯著模型、李文娟等人（2017）將多尺度分形維特征與視覺顯著性相結(jié)合、Qi 等人（2015）利用相位譜傅里葉變換（phase spectrum of Fourier transform，PFT）顯著性圖進(jìn)行艦船目標(biāo)檢測。

人工設(shè)計(jì)的特征多為低層次特征，有一定局限性，難以應(yīng)對復(fù)雜背景場景且泛化能力不夠。與傳統(tǒng)方法不同，基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）提取特征的方法以數(shù)據(jù)為驅(qū)動，自動從圖像中學(xué)習(xí)提取高層語義特征，更加魯棒，檢測效果更好。由于相比傳統(tǒng)方法優(yōu)勢明顯，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法發(fā)展迅速，以Faster RCNN（region-CNN）（Ren 等，2017）、Mask R-CNN（He等，2017）、YOLO（you only look once）（Redmon 等，2016）及FCOS（fully convolutional one-stage）（Tian等，2019）等為代表的算法取得了巨大的成功。在艦船檢測領(lǐng)域，基于卷積神經(jīng)網(wǎng)絡(luò)的方法也取得了很大的進(jìn)展，Liu 等人（2017a）提出了RR-CNN（rotated region based CNN），使用旋轉(zhuǎn)感興趣區(qū)域池化（rotation region of interest pooling，RRoI Pooling）來提取旋轉(zhuǎn)艦船候選區(qū)域的特征。Yang 等人（2018a）提出了稠密特征金字塔網(wǎng)絡(luò)（dense feature pyramid networks，DFPN）結(jié)構(gòu)，將高層特征與低層特征進(jìn)行拼接融合以提升對小尺寸艦船目標(biāo)的檢測性能。Liu等人（2018）在YOLOv2 網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)，使用集成特征圖來提升艦船目標(biāo)的檢測效果。Yang 等人（2018b）使用神經(jīng)網(wǎng)絡(luò)對船頭方向進(jìn)行預(yù)測并使用旋轉(zhuǎn)非極大值抑制（rotation nonmaximumsuppression，R-NMS）以獲得更精確的檢測結(jié)果。余東行等人（2018）提出一種聯(lián)合視覺顯著性特征與卷積神經(jīng)網(wǎng)絡(luò)的海面艦船目標(biāo)檢測方法，有效提高了復(fù)雜背景下艦船目標(biāo)的檢測率和船只類型的精細(xì)化識別率。Guo 等人（2020）提出了平衡特征金字塔（balanced feature pyramid）和交并比平衡采樣（intersection over union balanced sampling）來提升網(wǎng)絡(luò)面對尺寸差異非常大的艦船目標(biāo)時(shí)的魯棒性。

一些不同種類艦船目標(biāo)，尤其是軍用艦船目標(biāo)，整體的形狀、顏色及紋理特征相近。如圖1 所示，圖中的艦船目標(biāo)從上往下依次為奧斯汀級、惠德貝島級和圣安東尼奧級兩棲船塢登陸艦。可以看到，每一列艦船之間整體的形狀、顏色及紋理相差較小，除非是該領(lǐng)域相關(guān)專家，否則很難進(jìn)行區(qū)分。這主要是由于屬于不同類型但用途相近的艦船其上層建筑布局相近，紋理上存在很大的相似性，并且軍用艦船涂裝顏色較為單一，難以從顏色上進(jìn)行分辨。這給艦船細(xì)粒度檢測與識別帶來了巨大的挑戰(zhàn)。

圖1 不同種類艦船目標(biāo)示例Fig.1 Examples of different types of ship targets（（a）Austen class amphibious transport docks；（b）Whidbey island class landing crafts；（c）San Antonio class amphibious transport docks）

然而，現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)檢測與識別算法主要將注意力集中于目標(biāo)位置的定位上，在類別分類上的設(shè)計(jì)比較簡單，僅利用目標(biāo)的整體特征進(jìn)行分類，導(dǎo)致這些方法在諸如HRSC2016（high resolution ship collection）（Liu 等，2017a）數(shù)據(jù)集L3 任務(wù)這種采用細(xì)粒度標(biāo)簽標(biāo)注的數(shù)據(jù)集上進(jìn)行檢測與識別時(shí)，性能大幅下降（Li等，2021）。而現(xiàn)有的針對艦船目標(biāo)進(jìn)行細(xì)粒度分類的算法，如Gallego等人（2018）和Zhang等人（2020）的方法，通常在人工獲得的理想的艦船目標(biāo)切片圖像上進(jìn)行，與檢測過程完全割裂，需要對檢測過程得到的每一個(gè)疑似目標(biāo)區(qū)域都重新使用骨干網(wǎng)絡(luò)提取一次特征，港口區(qū)域遙感圖像中往往包含多艘艦船，會產(chǎn)生大量疑似目標(biāo)區(qū)域，大幅增加了計(jì)算時(shí)間。

不同類型的艦船之間雖然整體特征相似，但是可以通過局部的某些組件有效地進(jìn)行分辨，例如醫(yī)療船的紅十字標(biāo)志、導(dǎo)彈驅(qū)逐艦的垂直發(fā)射裝置等，所以含有判別性組件子區(qū)域特征的提取對于艦船目標(biāo)細(xì)粒度識別非常重要。遙感圖像與自然圖像最大的不同之處是遙感圖像是固定的俯視視角，圖像中看到的都是物體的頂部，并且由于艦船及其組件是剛性物體，不會產(chǎn)生形變，因此在不同遙感圖像中整體外形是穩(wěn)定不變的，同時(shí)在遙感圖像中艦船目標(biāo)幾乎不會被其他物體遮擋，有利于觀察其自身組成部件。而艦船目標(biāo)定位目的在于回歸目標(biāo)整體的邊框，更需求目標(biāo)的全局信息。有鑒于此，本文提出了關(guān)鍵子區(qū)域特征融合網(wǎng)絡(luò)（key sub-region feature fusion network，KSFFN），使用整體特征進(jìn)行候選目標(biāo)區(qū)域定位。然后在候選目標(biāo)區(qū)域提取整體、局部子區(qū)域兩個(gè)層次的特征，結(jié)合候選目標(biāo)中所有子區(qū)域的信息計(jì)算每個(gè)子區(qū)域的判別性顯著度，對關(guān)鍵子區(qū)域進(jìn)行挖掘。最后基于判別性顯著度將兩個(gè)層次的特征進(jìn)行自適應(yīng)融合形成表征能力更強(qiáng)的多層次特征。本文方法可以使檢測與識別子網(wǎng)絡(luò)共享同一個(gè)骨干網(wǎng)絡(luò)提取的特征圖的同時(shí)，根據(jù)目標(biāo)定位與細(xì)粒度識別任務(wù)內(nèi)在差異性采用不同的特征處理方式，提高了檢測與識別的效果，并且所有疑似目標(biāo)區(qū)域的特征提取過程只需要經(jīng)過一次骨干網(wǎng)絡(luò)計(jì)算，大幅降低了計(jì)算時(shí)間。同時(shí)融合后的特征包含對艦船目標(biāo)辨識具有重要意義的局部組件信息，有利于提高艦船目標(biāo)細(xì)粒度識別的準(zhǔn)確性。本文方法與其他現(xiàn)有的先進(jìn)遙感圖像艦船目標(biāo)檢測與識別算法相比，在HRSC2016 數(shù)據(jù)集L3 任務(wù)以及FGSAID（fine-grained ships in aerial images dataset）數(shù)據(jù)集上取得了領(lǐng)先的檢測結(jié)果，表明本文方法可以有效提高對艦船目標(biāo)細(xì)粒度檢測與識別的準(zhǔn)確率。

綜上所述，本文主要?jiǎng)?chuàng)新點(diǎn)如下：1）提出一種基于關(guān)鍵子區(qū)域特征的艦船細(xì)粒度檢測與識別網(wǎng)絡(luò)，對于檢測網(wǎng)絡(luò)得到的候選目標(biāo)區(qū)域，利用其關(guān)鍵子區(qū)域的特征進(jìn)行艦船細(xì)粒度識別，可以有效提高識別的準(zhǔn)確率。同時(shí)檢測與識別子網(wǎng)絡(luò)采用端到端的一體化結(jié)構(gòu)，訓(xùn)練時(shí)參數(shù)同時(shí)進(jìn)行優(yōu)化且無須分階段進(jìn)行處理，效率高，更具有實(shí)用性。2）提出的多層次特征融合識別網(wǎng)絡(luò)根據(jù)遙感圖像中艦船目標(biāo)的特點(diǎn)沿軸線方向劃分子區(qū)域，并在特征金字塔中不同尺度層上提取整體與局部子區(qū)域特征，所有區(qū)域特征的提取過程只需要經(jīng)過一次骨干網(wǎng)絡(luò)計(jì)算，大幅減少了計(jì)算量。3）提出的基于組件判別性顯著度的自適應(yīng)特征融合方法通過計(jì)算子區(qū)域判別性顯著度，可以有效判別子區(qū)域?qū)δ繕?biāo)識別是否有幫助，據(jù)此對子區(qū)域特征設(shè)定權(quán)重并與整體區(qū)域特征融合，可以形成表征能力更強(qiáng)的特征，有利于提高艦船目標(biāo)細(xì)粒度識別的準(zhǔn)確性。

1 算法詳細(xì)說明

1.1 網(wǎng)絡(luò)整體結(jié)構(gòu)

KSFFN 的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，網(wǎng)絡(luò)整體分為3 部分：1）主干網(wǎng)絡(luò)以及特征金字塔網(wǎng)絡(luò)，用于提取多尺度特征；2）候選區(qū)域定位網(wǎng)絡(luò)，用來獲得候選目標(biāo)區(qū)域的位置信息；3）多層次特征融合識別網(wǎng)絡(luò)（multi-level feature fusion recognition network，MLFFRN），對候選區(qū)域進(jìn)行目標(biāo)類別的細(xì)粒度識別。候選區(qū)域定位網(wǎng)絡(luò)由粗到精對旋轉(zhuǎn)候選目標(biāo)框進(jìn)行回歸，可以獲得更準(zhǔn)確的位置信息。識別子網(wǎng)絡(luò)在更準(zhǔn)確的候選區(qū)域上提取特征，有利于識別準(zhǔn)確率的提升。同時(shí)，候選區(qū)域定位過程濾除了絕大部分背景區(qū)域，提高了后續(xù)細(xì)粒度識別過程的處理效率。

圖2 KSFFN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Architecture of proposed KSFFN

KSFFN 使用ResNet-50（resdual network）（He 等，2016）作為主干網(wǎng)絡(luò)來進(jìn)行特征提取，骨干網(wǎng)絡(luò)中的Conv2_x、Conv3_x、Conv4_x 及Conv5_x 層相對于輸入圖像的下采樣倍率分別為4、8、16及32，將這些層的特征輸入到特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）（Lin 等，2017）中得到圖像的多尺度特征。為了獲得更精確的候選目標(biāo)區(qū)域位置信息，KSFFN 在Faster R-CNN（Ren 等，2017）的基礎(chǔ)上，結(jié)合感興趣區(qū)域變換（region of interest Transformer，RoI Transformer）（Ding 等，2019）構(gòu)建候選區(qū)域定位網(wǎng)絡(luò)，由粗到精對旋轉(zhuǎn)候選目標(biāo)框進(jìn)行回歸。具體步驟如下：

1）在Faster R-CNN 的區(qū)域生成網(wǎng)絡(luò)中，以艦船旋轉(zhuǎn)框外接水平矩形為目標(biāo)對水平候選區(qū)域進(jìn)行回歸，得到水平候選區(qū)域的中心點(diǎn)坐標(biāo)、寬與高xp、yp、wp與hp。

式中，｛x*，y*，w*，h*，θ*｝分別代表標(biāo)注中旋轉(zhuǎn)目標(biāo)框的中心點(diǎn)坐標(biāo)、寬、高以及角度。

3）利用Faster R-CNN 的檢測分支對感興趣區(qū)域變換得到的旋轉(zhuǎn)感興趣區(qū)域進(jìn)行進(jìn)一步精調(diào)，學(xué)習(xí)位置回歸變量及前景概率。位置回歸變量｛tx，ty，tw，th，tθ｝計(jì)算為

式中，｛x*，y*，w*，h*，θ*｝分別代表標(biāo)注中真實(shí)目標(biāo)框的中心點(diǎn)坐標(biāo)、寬、高以及角度，xr、yr、wr、hr與θr則代表旋轉(zhuǎn)感興趣區(qū)域的對應(yīng)參數(shù)。

多層次特征融合識別網(wǎng)絡(luò)在特征金字塔中候選區(qū)域定位網(wǎng)絡(luò)得到的候選目標(biāo)區(qū)域?qū)?yīng)位置上提取整體與局部子區(qū)域特征，將子區(qū)域提取的特征與整體特征進(jìn)行融合后進(jìn)行目標(biāo)分類，得到最終的細(xì)粒度目標(biāo)識別結(jié)果。在測試階段將所有候選區(qū)域依照前景概率進(jìn)行排序，將得分最高的400 個(gè)候選區(qū)域送入多層次特征融合識別網(wǎng)絡(luò)，并使用多層次特征融合識別網(wǎng)絡(luò)的輸出得分進(jìn)行非極大值抑制，去除冗余候選目標(biāo)區(qū)域。

1.2 多層次特征融合識別網(wǎng)絡(luò)處理流程

多層次特征融合識別網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，進(jìn)行目標(biāo)識別時(shí)，首先將候選目標(biāo)區(qū)域按層次結(jié)構(gòu)分為整體與局部子區(qū)域兩個(gè)層次，在每個(gè)層次上的對應(yīng)區(qū)域分別進(jìn)行特征提取。之后為了獲得更好的識別效果，需對局部子區(qū)域的特征進(jìn)行篩選。多層次特征融合識別網(wǎng)絡(luò)采用兩個(gè)步驟完成子區(qū)域篩選，第1 步利用NTS-Net（navigator-teacher-scrutinizer network）（Yang等，2018c）中的自監(jiān)督機(jī)制，使用指導(dǎo)網(wǎng)絡(luò)與挖掘網(wǎng)絡(luò)挖掘包含判別性組件的子區(qū)域，濾除不包含判別性組件的子區(qū)域，避免對識別造成干擾。第2 步根據(jù)挖掘網(wǎng)絡(luò)得到的信息進(jìn)一步計(jì)算組件判別性顯著度，據(jù)此設(shè)定子區(qū)域的權(quán)重，將子區(qū)域特征與整體區(qū)域特征進(jìn)行自適應(yīng)融合，可以更有效地利用有助于提高目標(biāo)識別準(zhǔn)確率的子區(qū)域的特征。最后將融合后的多層次特征送入類別預(yù)測網(wǎng)絡(luò)進(jìn)行分類，得到最終的分類結(jié)果。

圖3 多層次特征融合識別網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Architecture of proposed MLFFRN

提取特征時(shí)，首先使用旋轉(zhuǎn)感興趣區(qū)域?qū)R（rotation region of interest align，RRoI Align）（Huang等，2018）對整個(gè)候選區(qū)域進(jìn)行池化操作得到候選區(qū)域的整體特征。然后按艦船目標(biāo)軸線方向?qū)⒑蜻x目標(biāo)區(qū)域分成M×N個(gè)矩形子區(qū)域，其中M代表沿艦船長軸方向劃分的區(qū)域個(gè)數(shù)，N代表沿艦船短軸方向劃分的區(qū)域個(gè)數(shù)。設(shè)整個(gè)候選區(qū)域的中心坐標(biāo)為（xc，yc），候選區(qū)域的角度為θ，則索引為（i，j）（i=0，1，…，M-1；j=0，1，…，N-1）的組件子區(qū)域的中心點(diǎn)坐標(biāo)（xij，yij）計(jì)算為

子區(qū)域的短軸長度wp及長軸長度hp分別為

式中，α為擴(kuò)展系數(shù)，在本算法中取值為1.2。將區(qū)域長度乘以擴(kuò)展系數(shù)α，使相鄰子區(qū)域之間相互有一定的重疊區(qū)域，可以防止重要的組件因?yàn)槲挥趨^(qū)域的邊界上而被分割成兩部分。由于子區(qū)域相對于整體候選目標(biāo)區(qū)域尺寸更小，且核心組件的語義層級要更低，因此在對子區(qū)域進(jìn)行特征提取時(shí)，使用特征金字塔中整體目標(biāo)對應(yīng)的特征層的低一層特征層。使用RRoI Align 操作，將子區(qū)域?qū)?yīng)位置的特征進(jìn)行池化，得到尺寸為7 × 7 × 256的子區(qū)域特征。

艦船目標(biāo)中，大部分子區(qū)域并不包含判別性組件，將這些區(qū)域提取到的特征融合進(jìn)整體特征對于目標(biāo)識別并沒有正面作用，因此需要對子區(qū)域進(jìn)行篩選，挖掘出包含判別性組件的子區(qū)域以提高目標(biāo)識別的準(zhǔn)確率。為此，多層次特征融合識別網(wǎng)絡(luò)使用NTS-Net 中的自監(jiān)督機(jī)制，加入指導(dǎo)模塊學(xué)習(xí)子區(qū)域包含判別性核心組件的可能性。

指導(dǎo)模塊包括挖掘網(wǎng)絡(luò)和指導(dǎo)網(wǎng)絡(luò)。挖掘網(wǎng)絡(luò)對每一個(gè)子區(qū)域進(jìn)行處理，得到該區(qū)域所含信息量的評分（I00，I01，…，IMN），信息量越大，表示子區(qū)域包含的內(nèi)容對目標(biāo)的細(xì)粒度識別越有幫助。如圖4 所示，為了減少計(jì)算量，挖掘網(wǎng)絡(luò)采用如下方法獲得全部子區(qū)域的評分：首先將整個(gè)區(qū)域使用RRoI Align池化成尺寸為（2 ×M+1）×（2 ×N+1）× 256 的特征，對于池化后的特征，采用大小為3 × 3 的卷積核以2 為步長進(jìn)行卷積運(yùn)算，得到大小為M×N的矩陣，矩陣中的數(shù)值對應(yīng)M×N個(gè)子區(qū)域上相應(yīng)子區(qū)域的信息量評分。然后將信息量從大到小進(jìn)行排序，對于得分最高的L個(gè)區(qū)域，將對應(yīng)子區(qū)域的特征送入指導(dǎo)網(wǎng)絡(luò)。

圖4 挖掘網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Architecture of proposed mining network

指導(dǎo)網(wǎng)絡(luò)則由全連接層與softmax 函數(shù)級聯(lián)組成。NTS-Net 的自監(jiān)督機(jī)制根據(jù)子區(qū)域特征對于目標(biāo)識別的有效性對每個(gè)子區(qū)域分別得出一個(gè)置信度得分（C1，C2，…，CL），以此指導(dǎo)信息量的評分。置信度得分具體計(jì)算為

式中，Ci表示該子塊的置信度得分，LCE為多類別交叉熵?fù)p失函數(shù)。Fi表示索引為i的子區(qū)域的特征，T（Fi）表示指導(dǎo)網(wǎng)絡(luò)對該子區(qū)域進(jìn)行目標(biāo)識別的輸出結(jié)果，y為該目標(biāo)的真實(shí)類別標(biāo)簽。

使用該子區(qū)域特征對目標(biāo)進(jìn)行識別的結(jié)果與真實(shí)標(biāo)簽越接近，交叉熵?fù)p失越小，置信度得分越高。所含特征對目標(biāo)識別的效果越好，代表該子區(qū)域的信息量越大，因此子區(qū)域之間信息量與置信度得分的大小相對排序關(guān)系應(yīng)保持一致性。為了能夠?qū)W習(xí)置信度與信息量之間這種一致性關(guān)系，指導(dǎo)模塊依據(jù)NTS-Net 的自監(jiān)督機(jī)制采用順序?qū)W習(xí)，以對判斷法（pair-wise）的方式進(jìn)行訓(xùn)練（Burges等，2005）。該方法將順序?qū)W習(xí)問題轉(zhuǎn)化為分類問題，對送入指導(dǎo)網(wǎng)絡(luò)的子區(qū)域的所有排序?qū)M(jìn)行枚舉，學(xué)習(xí)判斷任意一對數(shù)據(jù)的相對大小關(guān)系。

最后，根據(jù)挖掘網(wǎng)絡(luò)輸出的信息量，計(jì)算出每一個(gè)子區(qū)域的組件判別性顯著度，然后選擇判別性顯著度最高的K（K＜L）個(gè)子區(qū)域，基于組件判別性顯著度與整體特征進(jìn)行自適應(yīng)融合，融合后的特征送入由全連接層組成的類別預(yù)測網(wǎng)絡(luò)得到最終的分類結(jié)果。

1.3 基于組件判別性顯著度的自適應(yīng)特征融合

并非所有類型的艦船目標(biāo)都擁有判別性足夠顯著的核心組件，例如某些民用船只并不包含具有明顯外觀特征的組件，同時(shí)在遙感圖像中，由于目標(biāo)尺寸或圖像質(zhì)量的限制，艦船目標(biāo)的細(xì)節(jié)可能會變得模糊，導(dǎo)致組件的判別性不夠顯著。在這種情況下，局部子區(qū)域?qū)τ谶@些目標(biāo)的識別幫助較小，將這些子區(qū)域的特征以固定的權(quán)重與整體特征進(jìn)行融合不利于提升艦船目標(biāo)細(xì)粒度檢測與識別的準(zhǔn)確率。因此，本文提出了基于組件判別性顯著度的自適應(yīng)特征融合機(jī)制，結(jié)合候選目標(biāo)區(qū)域內(nèi)所有子區(qū)域信息量的分布計(jì)算該子區(qū)域組件判別性顯著度，據(jù)此選擇子區(qū)域并決定該子區(qū)域特征的權(quán)重系數(shù)以獲得更好的多層次特征。

NTS-Net 的自監(jiān)督機(jī)制采用順序?qū)W習(xí)的方式來學(xué)習(xí)信息量，該信息量更側(cè)重于表示不同子區(qū)域特征對目標(biāo)識別的有效性的相對關(guān)系。圖5 列舉出了采用NTS-Net 的自監(jiān)督機(jī)制學(xué)習(xí)到的部分候選目標(biāo)及背景樣本中子區(qū)域信息量的分布圖。所有樣本中，子區(qū)域數(shù)量按M取值為5、N取值為3，劃分為15個(gè)子區(qū)域，并在分布圖中將各子區(qū)域按信息量從小到大進(jìn)行排序。

圖5 不同候選目標(biāo)子區(qū)域信息量分布圖Fig.5 The information distribution map of different candidate targets（（a）medical ship；（b）Arleigh Burke-class destroyer；（c）background samples）

從信息量分布圖可以看到，采用NTS-Net 的自監(jiān)督機(jī)制學(xué)習(xí)到的子區(qū)域自身信息量的絕對數(shù)值與該區(qū)域判別性顯著程度的相關(guān)程度較低，圖5（c）中的海面背景信息量最高，但顯然并不包含具有顯著判別性的組件。圖5（b）中的船只組件辨識度不高，但大部分子區(qū)域信息量高于圖5（a）中具有顯著紅十字標(biāo)志的醫(yī)療船。說明采用NTS-Net 的自監(jiān)督機(jī)制學(xué)習(xí)到的信息量絕對數(shù)值大小與子區(qū)域是否包含具有顯著判別性的組件關(guān)聯(lián)較弱，不能直接采用信息量絕對數(shù)值大小作為判斷子區(qū)域判別性是否足夠顯著的依據(jù)。

對子區(qū)域信息量分布圖進(jìn)一步研究發(fā)現(xiàn)，候選目標(biāo)區(qū)域內(nèi)所有子區(qū)域信息量的分布離散程度與候選目標(biāo)是否含有顯著判別性組件存在緊密聯(lián)系。圖5（a）圖像中帶有顯著的紅十字標(biāo)志的醫(yī)療船相較于圖5（b）圖像中細(xì)節(jié)模糊、沒有明顯特征的艦船子區(qū)域之間信息量的差異明顯更大，分布離散程度更高。而圖5（c）中的海面背景，所有子區(qū)域的信息量更是整體上呈現(xiàn)出接近均勻分布的趨勢。這是因?yàn)榇嬖陲@著判別性組件的目標(biāo)由于含有這些組件的區(qū)域?qū)δ繕?biāo)識別的影響遠(yuǎn)大于其他區(qū)域，使得子區(qū)域之間信息量差異變大，在分布上表現(xiàn)為離散程度更大。受此啟發(fā)，本文結(jié)合所有子區(qū)域信息量的統(tǒng)計(jì)分布來計(jì)算每個(gè)子區(qū)域組件的判別性顯著度X，具體計(jì)算為

式中，I代表子區(qū)域的信息量，S為sigmoid 函數(shù)，由于信息量的值可能為負(fù)數(shù)，因此使用該函數(shù)將信息量的值歸一化到（0，1）區(qū)間，μ與σ分別代表經(jīng)過歸一化后的目標(biāo)所有子區(qū)域信息量的均值以及標(biāo)準(zhǔn)差。組件判別性顯著度使用標(biāo)準(zhǔn)差來衡量所有子區(qū)域信息量的離散程度，離散程度越高，說明某些子區(qū)域?qū)δ繕?biāo)識別的影響遠(yuǎn)大于其他子區(qū)域，則目標(biāo)包含判別性顯著組件的可能性越大，而子區(qū)域信息量與均值的比值則可以有效地反映出子區(qū)域自身信息量在所有子區(qū)域中的相對位置。

根據(jù)挖掘網(wǎng)絡(luò)輸出的信息量，分別計(jì)算出每一個(gè)子區(qū)域的組件判別性顯著度X，然后選擇判別性顯著度最高的K（K＜L）個(gè)子區(qū)域，將子區(qū)域的特征進(jìn)行自適應(yīng)加權(quán)并與整體特征進(jìn)行拼接，形成尺寸為7 × 7 × 256 ×（K+1）的特征，最后將融合后的特征送入全連接網(wǎng)絡(luò)得到最終的分類結(jié)果。具體為

式中，F(xiàn)1，…，F(xiàn)K，F(xiàn)A與F分別代表子區(qū)域的特征、整體特征以及融合后的特征。由于對信息量使用了sigmoid 函數(shù)進(jìn)行歸一化處理，判別性顯著度的整體數(shù)值較小，需要進(jìn)行放大，因此本文加入了固定常數(shù)λ作為權(quán)重調(diào)節(jié)因子，取值固定為1.5。根據(jù)組件判別性顯著度對子區(qū)域特征進(jìn)行自適應(yīng)加權(quán)有利于突出對艦船目標(biāo)識別作用重大的子區(qū)域，進(jìn)而提升艦船目標(biāo)細(xì)粒度識別的準(zhǔn)確性。

1.4 多層次特征融合識別網(wǎng)絡(luò)損失函數(shù)

多層次特征融合識別網(wǎng)絡(luò)的整體損失函數(shù)為

式中，L代表多層次特征融合識別網(wǎng)絡(luò)的整體損失，LC代表網(wǎng)絡(luò)最終利用融合特征做分類的損失，LT代表指導(dǎo)網(wǎng)絡(luò)指導(dǎo)下挖掘網(wǎng)絡(luò)的損失，LP代表指導(dǎo)網(wǎng)絡(luò)置信度的損失，LA代表整體候選區(qū)域特征的分類損失，λ1、λ2和λ3為權(quán)重超參數(shù)，在本文算法中都設(shè)置為1。

具體地，LP為送入指導(dǎo)網(wǎng)絡(luò)的L個(gè)子區(qū)域的分類損失之和，其計(jì)算為

式中，T（Fi）代表指導(dǎo)網(wǎng)絡(luò)對一子區(qū)域目標(biāo)識別的輸出結(jié)果，F(xiàn)i代表該子區(qū)域特征，LCE代表交叉熵?fù)p失函數(shù)。LA計(jì)算為

式中，A代表整個(gè)候選目標(biāo)區(qū)域的特征。LT計(jì)算（Yang等，2018c）為

式中，I為子區(qū)域信息量，C為對應(yīng)子區(qū)域置信度，即將送入指導(dǎo)網(wǎng)絡(luò)的L個(gè)子區(qū)域的所有排序?qū)M(jìn)行枚舉，當(dāng)挖掘網(wǎng)絡(luò)得到的兩個(gè)區(qū)域信息量與指導(dǎo)網(wǎng)絡(luò)的置信度大小相反時(shí)，損失函數(shù)值較大，以促使挖掘網(wǎng)絡(luò)學(xué)習(xí)與置信度相對大小一致的信息量。當(dāng)挖掘網(wǎng)絡(luò)與指導(dǎo)網(wǎng)絡(luò)對兩個(gè)區(qū)域信息量的相對大小判斷相同時(shí)，如果挖掘網(wǎng)絡(luò)對兩個(gè)區(qū)域的信息量評分的差值小于一定的閾值，則同樣會產(chǎn)生一個(gè)較小的損失函數(shù)，以激勵(lì)挖掘網(wǎng)絡(luò)輸出差異性更大的評分，在本文中將閾值Th設(shè)置為1。

由于在公開的遙感圖像數(shù)據(jù)庫中難以找到某些型號船只的樣本，導(dǎo)致艦船數(shù)據(jù)集中這些類型的船只樣本數(shù)明顯偏少，整個(gè)數(shù)據(jù)集各類別樣本數(shù)量分布呈現(xiàn)出長尾趨勢。而數(shù)據(jù)集不同類別樣本數(shù)量差距太大會導(dǎo)致分類器在樣本數(shù)量較少的類別上訓(xùn)練不充分，導(dǎo)致識別精度下降。由于采用重采樣策略擴(kuò)充樣本會引入大量無效重復(fù)樣本，欠采樣則可能會丟失一些對細(xì)粒度識別具有重要價(jià)值的樣本，不適用于本文的應(yīng)用場景。因此，多層次特征融合識別網(wǎng)絡(luò)通過在最終的分類損失函數(shù)上加入類別平衡損失（class-balanced loss）（Cui 等，2019），對不同類別目標(biāo)添加不同的權(quán)重來解決這一問題，最終得到LC計(jì)算為

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)細(xì)節(jié)

本文使用HRSC2016 數(shù)據(jù)集的L3 任務(wù)（Liu 等，2017a）開展消融實(shí)驗(yàn)，以分析本文所提出的各項(xiàng)改進(jìn)方法對檢測效果的影響，并在該數(shù)據(jù)集以及自建的FGSAID 數(shù)據(jù)集上與其他先進(jìn)方法進(jìn)行對比實(shí)驗(yàn)來證明本文方法的有效性。

HRSC2016 數(shù)據(jù)集是首個(gè)大型公開的包含細(xì)粒度標(biāo)簽標(biāo)注信息的遙感圖像艦船檢測數(shù)據(jù)集，L3 任務(wù)的標(biāo)注中共包含19 種艦船類別，數(shù)據(jù)集中的圖像來自谷歌地球，分辨率為0.4～2 m 不等。數(shù)據(jù)集共包含1 061 幅圖像，分為訓(xùn)練集、驗(yàn)證集及測試集，3個(gè)集合中分別含有436、181及444幅圖像。

自建的FGSAID 數(shù)據(jù)集的圖像來自谷歌地球，數(shù)據(jù)集共包含1 690 幅圖像與5 410 個(gè)目標(biāo)，劃分為訓(xùn)練集與測試集，前者包含844 幅圖像，后者包含846 幅圖像。標(biāo)注中共包含45 種艦船類別，涵蓋了多種類型的軍用船只與民用船只。

實(shí)驗(yàn)中，使用訓(xùn)練集與驗(yàn)證集的集合進(jìn)行訓(xùn)練，使用測試集進(jìn)行測試，并在訓(xùn)練與測試時(shí)先將圖像進(jìn)行等比例縮放操作，使圖像長邊不大于800 像素且短邊盡量為512像素。

本文方法使用深度學(xué)習(xí)框架PyTorch，使用的服務(wù)器操作系統(tǒng)為Ubuntu 20.04，CPU 為 Intel Xeon E5-2670，顯卡為2 塊Nvidia GeForce GTX 1080Ti。本文方法使用的特征提取網(wǎng)絡(luò)ResNet-50 均使用在ImageNet數(shù)據(jù)集上進(jìn)行的預(yù)訓(xùn)練后的權(quán)重參數(shù)進(jìn)行初始化。神經(jīng)網(wǎng)絡(luò)采用帶動量的隨機(jī)梯度下降法進(jìn)行訓(xùn)練，動量設(shè)置為0.9，權(quán)值衰減設(shè)置為0.000 1。在實(shí)驗(yàn)中，網(wǎng)絡(luò)在數(shù)據(jù)集上共訓(xùn)練60 輪（epoch），初始學(xué)習(xí)率設(shè)置為0.005，在第40 輪和第55 輪學(xué)習(xí)率均衰減為原來的10%。

采用平均準(zhǔn)確率（average precision，AP）作為評價(jià)指標(biāo)對檢測效果進(jìn)行評價(jià)。為了判斷算法得到的檢測框是否對應(yīng)數(shù)據(jù)集中標(biāo)注的目標(biāo)，使用交并比（intersection over union，IoU）作為判斷依據(jù)，只有檢測框與標(biāo)注框的IoU 大于一定閾值且為與該標(biāo)注框IoU 值最大的檢測框時(shí)才匹配成功，判定為真正例，當(dāng)檢測框未能成功匹配任何標(biāo)注框時(shí)則判定為假正例，而沒有被匹配到的標(biāo)注框則判定為假負(fù)例。在實(shí)驗(yàn)中，交并比閾值設(shè)置為0.5。設(shè)真正例數(shù)目為TP（true positives），假正例總數(shù)為FP（false positives），假負(fù)例總數(shù)為FN（false negatives），則準(zhǔn)確率（Precision）與召回率（Recall）計(jì)算為

將檢測框按置信度得分從高到低排列，判斷每個(gè)框?qū)儆谡嬲€是假正例，對其進(jìn)行累加并按照式（21）和式（22）計(jì)算準(zhǔn)確率以及召回率，每一對準(zhǔn)確率及召回率數(shù)據(jù)對應(yīng)準(zhǔn)確率—召回率曲線（precision-recall curve，PRC）中的一個(gè)點(diǎn)，而AP 即為這個(gè)曲線下的面積，AP 越大，意味著檢測器的性能越好。此外，實(shí)驗(yàn)中使用mAP（mean average precision）代表所有類別的平均AP。

2.2 消融實(shí)驗(yàn)

為了證明多層次特征融合識別網(wǎng)絡(luò)的有效性，去掉KSFFN 中的多層次特征融合識別網(wǎng)絡(luò)，更改微調(diào)分支網(wǎng)絡(luò)的輸出類別數(shù)目，并將其作為最終的輸出與KSFFN 在HRSC2016 數(shù)據(jù)集的L3 任務(wù)上進(jìn)行訓(xùn)練并對比，實(shí)驗(yàn)結(jié)果如表1 所示?？梢钥吹?，加入多層次特征融合識別網(wǎng)絡(luò)后，大幅提高了檢測的準(zhǔn)確率，證明了多層次特征融合識別網(wǎng)絡(luò)對目標(biāo)識別準(zhǔn)確性有顯著的提升作用。

表1 多層次特征融合識別網(wǎng)絡(luò)對檢測結(jié)果的影響Table 1 The effect to detection results caused by MLFFRN

多層次特征融合識別網(wǎng)絡(luò)中融合了局部判別性子區(qū)域的特征對目標(biāo)進(jìn)行識別，為了進(jìn)一步分析局部判別性子區(qū)域及其相關(guān)參數(shù)對檢測結(jié)果的影響，分別設(shè)置不同的子區(qū)域劃分?jǐn)?shù)量（N×M）、不同的送入指導(dǎo)網(wǎng)絡(luò)進(jìn)行排序訓(xùn)練的子區(qū)域數(shù)量（L）和不同的與整體特征進(jìn)行融合的子區(qū)域特征數(shù)量（K）對網(wǎng)絡(luò)進(jìn)行訓(xùn)練并對比。實(shí)驗(yàn)中以信息量大小選擇子區(qū)域，不使用判別性顯著度作為自適應(yīng)權(quán)重，所有子區(qū)域特征權(quán)重固定設(shè)置為1，實(shí)驗(yàn)結(jié)果如表2—表4所示。

表2 子區(qū)域劃分?jǐn)?shù)量對檢測結(jié)果的影響Table 2 Influence of the number of subareas

從表2 可以看到，由于艦船目標(biāo)為長條形，因此整體上M取值大于N時(shí)，檢測結(jié)果比M與N取值相等時(shí)要好。區(qū)域劃分?jǐn)?shù)量過少時(shí)，一個(gè)區(qū)域混雜很多不同的信息，因此判別性不佳；而區(qū)域劃分?jǐn)?shù)量過多時(shí)，則無法完整包含一些較大的組件，判別性同樣不好，M與N分別設(shè)置為5和3時(shí)檢測效果最佳。從表3 可以看到，一開始隨著送入指導(dǎo)網(wǎng)絡(luò)進(jìn)行排序訓(xùn)練的子區(qū)域數(shù)量的增加，指導(dǎo)網(wǎng)絡(luò)可以獲得更多的樣本，指導(dǎo)模塊能更好地進(jìn)行訓(xùn)練，檢測效果上升；但當(dāng)送入指導(dǎo)網(wǎng)絡(luò)進(jìn)行排序訓(xùn)練的子區(qū)域數(shù)量過多，超過整體區(qū)域數(shù)目的一半時(shí)，一些低質(zhì)量的樣本也被送入指導(dǎo)網(wǎng)絡(luò)中，反而使得整個(gè)指導(dǎo)模塊的訓(xùn)練效果下降，檢測效果下降。從表4 可以看到，相對于只使用整體區(qū)域的特征（K=0），融合判別性子區(qū)域特征對檢測效果有明顯的提升，同時(shí)對于艦船目標(biāo)，有決定性作用的判別性子區(qū)域數(shù)量有限，融合過多的子區(qū)域并不利于檢測效果的提升。

表3 參與指導(dǎo)網(wǎng)絡(luò)挖掘訓(xùn)練的子區(qū)域數(shù)量對檢測結(jié)果的影響Table 3 Influence of the number of subareas sent into guide network

表4 與整體特征融合的子區(qū)域特征數(shù)量對檢測結(jié)果的影響Table 4 Influence of the number of fused subareas feature

為了分析基于組件判別性顯著度的自適應(yīng)特征融合對檢測結(jié)果的影響，在HRSC2016 數(shù)據(jù)集的L3任務(wù)上采用該方法以及另外3 種特征融合方式的網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練并對比檢測結(jié)果。使用的3 種對比方法分別為固定權(quán)重方法、基于信息量方法以及基于信息量標(biāo)準(zhǔn)分?jǐn)?shù)方法。

固定權(quán)重方法將子區(qū)域特征權(quán)重固定設(shè)置為1?；谛畔⒘康姆椒ㄖ苯邮褂妹總€(gè)子區(qū)域的信息量絕對數(shù)值大小來度量組件判別性的顯著程度，具體計(jì)算為

式中，I代表該子區(qū)域的信息量，S代表用于歸一化的sigmoid函數(shù)。

基于信息量標(biāo)準(zhǔn)分?jǐn)?shù)的方法利用目標(biāo)所有子區(qū)域信息量的分布計(jì)算子區(qū)域的信息量偏離整體的程度來度量組件判別性的顯著程度，具體計(jì)算為

式中，μ與σ分別代表目標(biāo)所有子區(qū)域信息量的均值以及標(biāo)準(zhǔn)差，I代表子區(qū)域的信息量。實(shí)驗(yàn)中所有網(wǎng)絡(luò)的子區(qū)域劃分?jǐn)?shù)量都設(shè)置為5 × 3，對比實(shí)驗(yàn)結(jié)果如表5所示。

表5 與特征融合方式對檢測結(jié)果的影響Table 5 Influence of the feature fusion methods

從表5 可以看到，固定權(quán)重方法因?yàn)闆]有根據(jù)子區(qū)域所含組件判別性的區(qū)別調(diào)整特征的權(quán)重，所以檢測與識別效果是所有方法中最差的?；谛畔⒘康姆椒ㄊ褂米訁^(qū)域的信息量對權(quán)重進(jìn)行調(diào)整，由于組件的判別性顯著程度與通過網(wǎng)絡(luò)學(xué)習(xí)到的信息量的絕對數(shù)值大小之間的關(guān)聯(lián)性不高，因此相對固定權(quán)重方法提升較小。基于信息量標(biāo)準(zhǔn)分?jǐn)?shù)的方法計(jì)算子區(qū)域信息量相對整體的偏離程度，綜合了所有子區(qū)域的信息，而非僅依據(jù)子區(qū)域信息量的絕對數(shù)值大小進(jìn)行加權(quán)，因此檢測結(jié)果較固定權(quán)重方法提升更加明顯。但基于信息量標(biāo)準(zhǔn)分?jǐn)?shù)的方法由于沒有考慮目標(biāo)整體信息量的離散程度，如果目標(biāo)自身整體信息量離散程度較低，則會錯(cuò)誤地高估子區(qū)域的判別性顯著程度。而基于判別性顯著度的方法同時(shí)考慮了子區(qū)域信息量相對整體的偏離程度以及整體信息量的離散程度，得到的判別性顯著度擁有與子區(qū)域組件的判別性顯著程度最高的關(guān)聯(lián)度，因此效果更好，在所有方法中平均準(zhǔn)確率最高。

2.3 對比實(shí)驗(yàn)

為了證明KSFFN 的有效性，選擇近年來的7 種先進(jìn)方法進(jìn)行對比，對比方法包括SRBBS（ship rotated bounding box space）（Liu 等，2017b）、RDFPN（rotation dense feature pyramid network）（Yang 等，2018a）、Faster R-CNN OBB（oriented bounding boxes）（Ren 等，2017）、R3det（refined rotation retinaNet）（Yang 等，2021）、Gliding Vertex（Xu 等，2021），S2ANet（single-shot alignment network）（Han 等，2021）和SHDRP（sequence local context hroi detection with resize and proposals simulation generator）（Feng 等，2019）。其中，F(xiàn)aster R-CNN OBB 加入了特征金字塔網(wǎng)絡(luò)（Lin 等，2017）。HRSC2016 數(shù)據(jù)集的L3任務(wù)檢測速度對比如表6 所示，檢測結(jié)果對比如表7 所示。FGSAID數(shù)據(jù)集的檢測結(jié)果對比如表8所示。

表6 與其他方法檢測速度對比Table 6 The comparison of speed with other methods

表7 與其他方法在HRSC2016數(shù)據(jù)集L3任務(wù)上檢測結(jié)果對比（AP@50）Table 7 The comparison of detection results with other methods on HRSC2016 L3 task（AP@50）/%

表8 與其他方法在FGSAID數(shù)據(jù)集上檢測結(jié)果對比（AP@50）Table 8 The comparison of detection results with other methods on FGSAID（AP@50）/%

從表7 與表8 中可以看到，SHDRP 以外的其他方法并沒有針對分類網(wǎng)絡(luò)進(jìn)行專門的設(shè)計(jì)，因此在L3 任務(wù)這種細(xì)粒度類別任務(wù)中檢測效果較差。而SHDRP 采用獨(dú)立的分類網(wǎng)絡(luò)對檢測網(wǎng)絡(luò)得到的每一個(gè)候選區(qū)域進(jìn)行類別識別，因此雖然檢測效果有很大提升但速度大幅下降。而KSFFN 在取得最好的檢測效果的同時(shí)依然有較高的檢測速度，證明了其有效性。

為了進(jìn)一步驗(yàn)證本文方法的性能，將FGSAID數(shù)據(jù)集中各類別目標(biāo)劃分為航空母艦與兩棲攻擊艦、其他軍艦和民船3 大類，分別統(tǒng)計(jì)并對比本文方法與其他方法對3 種不同用途艦船目標(biāo)的檢測與識別效果，結(jié)果如圖6 所示?？梢钥吹剑疚姆椒▽τ谲娕灥臋z測效果明顯領(lǐng)先于其他方法，與檢測結(jié)果排名第2 的S2ANet 相比，航空母艦與兩棲攻擊艦類型的AP@50領(lǐng)先16.7%，其他類型軍艦的AP@50領(lǐng)先11.1%。這主要是因?yàn)檐娪门灤垦b以深灰色和灰白色為主，顏色單調(diào)，并且作戰(zhàn)目的相近的艦船擁有相似的形狀與上層布局，整體特征相近，僅使用整體特征識別準(zhǔn)確率低。與此同時(shí)，軍用艦船尺寸較大且大部分具有辨識度高的組件，本文方法通過利用該組件對應(yīng)的子區(qū)域特征可以顯著地提升目標(biāo)檢測結(jié)果。但是對民船的檢測結(jié)果本文方法僅比S2ANet 領(lǐng)先1.1%，幅度較小，主要是由于該大類下Yacht（快艇）、Tow.（拖船）及Others 等3 個(gè)類別的目標(biāo)大部分尺寸很小，組件辨識度不高，導(dǎo)致本文方法無法提取有效的局部子區(qū)域特征，對這3 個(gè)類別目標(biāo)的檢測效果一般。

圖6 不同方法對FGSAID數(shù)據(jù)集上的3種類型船舶目標(biāo)檢測結(jié)果對比圖Fig.6 The comparison of detection results of three types of ships in FGSAID using different methods

圖7 和圖8 分別展示了KSFFN 在HRSC2016數(shù)據(jù)集L3 任務(wù)以及FGSAID 數(shù)據(jù)集的部分檢測結(jié)果?？梢钥吹剑琄SFFN 可以對包含尼米茲級航空母艦、塔拉瓦級兩棲攻擊艦和佩里級護(hù)衛(wèi)艦等在內(nèi)的多種艦船目標(biāo)進(jìn)行準(zhǔn)確地檢測與識別。

圖7 KSFFN在HRSC2016 L3任務(wù)的部分檢測結(jié)果Fig.7 Detection results of KSFFN on HRSC2016 L3 task

圖8 KSFFN在FGSAID的部分檢測結(jié)果Fig.8 Detection results of KSFFN on FGSAID

3 結(jié)論

本文針對遙感圖像中不同種類的艦船目標(biāo)整體顏色、形狀與紋理特征相近導(dǎo)致細(xì)粒度識別困難的問題，提出了基于關(guān)鍵子區(qū)域特征的艦船細(xì)粒度檢測與識別網(wǎng)絡(luò)KSFFN。該網(wǎng)絡(luò)通過判別性顯著度將候選目標(biāo)區(qū)域中包含辨識度高的組件的關(guān)鍵子區(qū)域的特征與整體特征進(jìn)行自適應(yīng)融合，獲得的特征表征能力更強(qiáng)，可以提高細(xì)粒度識別準(zhǔn)確率。由于KSFFN 將檢測與細(xì)粒度識別網(wǎng)絡(luò)融合進(jìn)一個(gè)整體的端到端框架，且多層次特征融合識別網(wǎng)絡(luò)算法復(fù)雜度相對較低，因此在大幅提高檢測與識別結(jié)果的同時(shí)，整體仍然具有相對較快的速度，具有很高的實(shí)際應(yīng)用價(jià)值。

本文在HRSC2016 數(shù)據(jù)集和FGSAID 數(shù)據(jù)集上對該方法進(jìn)行測試，并與其他先進(jìn)方法進(jìn)行對比實(shí)驗(yàn)。結(jié)果表明，KSFFN 在兩個(gè)數(shù)據(jù)集上對遙感圖像中艦船目標(biāo)細(xì)粒度檢測與識別性能都優(yōu)于R3det、S2ANet 等基于卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典方法，證明了本文所提出方法的有效性。

對于一些組件辨識度不高的民用船只，本文方法因?yàn)闊o法提取有利于目標(biāo)識別的子區(qū)域特征，所以識別效果一般。后續(xù)可以考慮在如下幾個(gè)方面展開研究：1）改進(jìn)骨干網(wǎng)絡(luò)，使之可以適應(yīng)旋轉(zhuǎn)目標(biāo)提取出更好的特征，以進(jìn)一步提高網(wǎng)絡(luò)的檢測與識別效果；2）結(jié)合目標(biāo)長寬比等先驗(yàn)知識進(jìn)一步提升細(xì)粒度識別的準(zhǔn)確性；3）利用不同細(xì)粒度類別艦船目標(biāo)之間的子類父類關(guān)系輔助細(xì)粒度艦船目標(biāo)識別。