李孟洋 孫煒瑋 張?bào)汴?姚立波*

基于全局—局部特征聯(lián)合的光學(xué)衛(wèi)星遙感圖像艦船目標(biāo)細(xì)粒度識(shí)別

李孟洋1,2孫煒瑋1張?bào)汴?姚立波*1

（1 海軍航空大學(xué)，煙臺(tái) 264000）（294592部隊(duì)，徐州 050003）（3 遙感信息研究所，北京 100096）

針對(duì)光學(xué)遙感圖像艦船目標(biāo)類間差異小，需要豐富艦船目標(biāo)的特征表示能力提高其細(xì)粒度識(shí)別準(zhǔn)確率的問(wèn)題，文章提出了一種基于全局—局部特征聯(lián)合的艦船目標(biāo)細(xì)粒度識(shí)別方法，設(shè)計(jì)了雙分支特征提取與融合模型。首先，全局特征提取分支通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取圖像的全局特征；其次，局部特征增強(qiáng)分支將淺層特征圖打亂并重構(gòu)，加入對(duì)抗性損失函數(shù)，訓(xùn)練網(wǎng)絡(luò)識(shí)別局部重點(diǎn)區(qū)域特征的能力，提取目標(biāo)局部特征；最后，將全局特征和局部特征進(jìn)行融合，利用全連接層對(duì)特征進(jìn)行降維處理去除冗余信息，增加魯棒性，并利用融合特征完成分類任務(wù)。實(shí)驗(yàn)表明，該方法可以兼顧全局特征和局部特征，在FGSC-23艦船目標(biāo)數(shù)據(jù)集上準(zhǔn)確率達(dá)到86.36%，優(yōu)于其他方法。

艦船目標(biāo) 細(xì)粒度識(shí)別 特征融合 遙感圖像 遙感應(yīng)用

0 引言

隨著海洋資源的開(kāi)發(fā)和利用，對(duì)海上艦船目標(biāo)實(shí)現(xiàn)精準(zhǔn)識(shí)別對(duì)于維護(hù)海洋安全具有重要意義。面對(duì)廣闊的海洋，光學(xué)遙感衛(wèi)星具有覆蓋范圍廣、空間分辨率高、與人類視覺(jué)表征相符合等優(yōu)勢(shì)[1]。因此，利用高分辨率光學(xué)遙感圖像可以更好的完成艦船目標(biāo)細(xì)粒度識(shí)別任務(wù)[2-3]。然而，受光照、天氣等因素影響，不同平臺(tái)光學(xué)遙感器對(duì)同一艦船目標(biāo)的成像差別較大，導(dǎo)致艦船目標(biāo)類內(nèi)差異大；同時(shí)，光學(xué)遙感圖像通常只有俯視的平面影像，缺少其他角度信息，這都為艦船目標(biāo)精細(xì)識(shí)別任務(wù)帶來(lái)困難。

遙感圖像艦船目標(biāo)識(shí)別分為三個(gè)級(jí)別：元識(shí)別，判斷有無(wú)艦船；粗粒度識(shí)別，判別民船、軍艦、航母等；細(xì)粒度識(shí)別，判別艦船具體類別，如巡洋艦、護(hù)衛(wèi)艦等。傳統(tǒng)的遙感圖像艦船目標(biāo)識(shí)別方法主要分為特征提取[4-8]、特征選擇[9-10]以及判別分類三個(gè)步驟，但對(duì)人工特征依賴較大，無(wú)法提取深層次信息，速度慢且識(shí)別率較低。近年來(lái)，發(fā)展迅速的深度學(xué)習(xí)技術(shù)被引入到遙感圖像艦船目標(biāo)識(shí)別任務(wù)中。文 獻(xiàn)[3]提出了基于二維傅里葉變換的深度網(wǎng)絡(luò)（2D-DFrFT based Deep Network，F(xiàn)DN），通過(guò)變換域豐富圖像細(xì)節(jié)信息，在僅有四類艦船目標(biāo)的BCCT-2000數(shù)據(jù)集上進(jìn)行驗(yàn)證；文獻(xiàn)[11]提出的基于卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Network）的合成孔徑雷達(dá)圖像（Synthetic Aperture Radar，SAR）艦船識(shí)別算法，解決了數(shù)據(jù)分布不平衡的問(wèn)題；文獻(xiàn)[12]提出了一種基于CNN的多波段艦船目標(biāo)融合識(shí)別方法，完成了六類艦船的分類。但僅通過(guò)CNN提取目標(biāo)全局特征，缺少對(duì)目標(biāo)局部重點(diǎn)區(qū)域特征的關(guān)注。此外，這些工作僅針對(duì)艦船目標(biāo)粗粒度識(shí)別，不適合艦船目標(biāo)細(xì)粒度識(shí)別任務(wù)。

在計(jì)算機(jī)視覺(jué)中，目標(biāo)細(xì)粒度識(shí)別任務(wù)的重點(diǎn)在于找到其關(guān)鍵的判別性區(qū)域，隨著深度學(xué)習(xí)的蓬勃發(fā)展，發(fā)展出基于關(guān)鍵位置的分類網(wǎng)絡(luò)[13-17]和端到端特征編碼[18-20]的兩種框架。文獻(xiàn)[21-22]等通過(guò)對(duì)層間特征交互處理，提高網(wǎng)絡(luò)局部特征學(xué)習(xí)的能力；文獻(xiàn)[23]通過(guò)破壞重建的方式加強(qiáng)網(wǎng)絡(luò)對(duì)關(guān)鍵判別位置的響應(yīng)；文獻(xiàn)[24]訓(xùn)練得到一系列卷積核探測(cè)具有判別性的特征模塊。以上方法均在細(xì)粒度自然圖像識(shí)別任務(wù)中取得了不錯(cuò)的成績(jī)。卷積網(wǎng)絡(luò)[23-24]僅通過(guò)重點(diǎn)關(guān)注目標(biāo)的局部特征就可以有效提高細(xì)粒度識(shí)別準(zhǔn)確率，為遙感圖像艦船目標(biāo)細(xì)粒度識(shí)別任務(wù)提供了借鑒，但其主要基礎(chǔ)是自然圖像具有豐富的局部特征以及空間維多角度的成像。遙感數(shù)據(jù)與自然場(chǎng)景圖像存在較大的域差異，受艦船剛體目標(biāo)特性和光學(xué)遙感成像的限制，艦船目標(biāo)不同類別之間可能存在相似的全局特征或局部特征，為細(xì)粒度識(shí)別任務(wù)帶來(lái)困難。目前，利用光學(xué)遙感圖像對(duì)艦船目標(biāo)進(jìn)行元識(shí)別和粗粒度識(shí)別已有所成果，但細(xì)粒度識(shí)別任務(wù)尚處于探索階段。

針對(duì)高分辨率光學(xué)衛(wèi)星遙感圖像艦船目標(biāo)細(xì)粒度識(shí)別問(wèn)題，本文提出了一種基于全局—局部特征聯(lián)合的雙通道艦船目標(biāo)識(shí)別方法。首先，通過(guò)全局增強(qiáng)單元學(xué)習(xí)艦船目標(biāo)的全局特征；其次，通過(guò)局部增強(qiáng)單元訓(xùn)練卷積網(wǎng)絡(luò)，使其關(guān)注重點(diǎn)集中在局部特征；第三，將全局特征和局部特征進(jìn)行融合，增強(qiáng)不同特征之間的互補(bǔ)性，提高特征穩(wěn)健性，完成識(shí)別任務(wù)；最后，基于FGSC-23數(shù)據(jù)集[3]，對(duì)算法性能進(jìn)行測(cè)試驗(yàn)證。

1 特征圖重構(gòu)算法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計(jì)的模型分三個(gè)模塊，分別為全局特征提取分支、局部特征增強(qiáng)分支以及特征融合模塊，算法結(jié)構(gòu)如圖1所示。全局特征提取分支中，選取Restnet50網(wǎng)絡(luò)[25]作為目標(biāo)全局特征提取網(wǎng)絡(luò)，提取艦船目標(biāo)深層語(yǔ)義特征，并經(jīng)過(guò)全連接層得到艦船目標(biāo)的全局特征。局部特征增強(qiáng)分支，設(shè)計(jì)了特征圖重構(gòu)算法，將提取的局部特征打亂重構(gòu)作為網(wǎng)絡(luò)輸入，同時(shí)設(shè)計(jì)對(duì)抗性損失函數(shù)，通過(guò)訓(xùn)練，加強(qiáng)網(wǎng)絡(luò)對(duì)目標(biāo)局部特征的響應(yīng)能力，提取艦船目標(biāo)的局部特征。特征融合模塊，將全局特征和增強(qiáng)的局部特征在特征維進(jìn)行融合，設(shè)計(jì)融合方法并對(duì)融合特征進(jìn)行降維處理，去除冗余信息，降低計(jì)算量，送入分類網(wǎng)絡(luò)得到識(shí)別結(jié)果。針對(duì)數(shù)據(jù)集可能存在的樣本不均衡問(wèn)題，采用優(yōu)化的交叉熵?fù)p失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。下面對(duì)模型中的局部特征增強(qiáng)分支、特征融合模塊以及模型訓(xùn)練損失函數(shù)分別進(jìn)行分析。

圖1 雙分支全局與局部特征提取和融合模型結(jié)構(gòu)

1.2 局部特征增強(qiáng)分支

如圖2所示，對(duì)于某些艦船，如散裝貨船和集裝貨船、驅(qū)逐艦和護(hù)衛(wèi)艦具有相似的全局特征，即類間差異??；而受光照、涂層等因素影響，即使同種類別的艦船（如不同的登陸艦）在遙感圖像中也會(huì)呈現(xiàn)出較大差異，即類內(nèi)差異大。對(duì)艦船目標(biāo)識(shí)別任務(wù)來(lái)說(shuō)，考慮到艦船的剛體結(jié)構(gòu)，具有固定的幾何形狀、尺度等全局特征，某些類間差異較大的艦船，如航母、兩棲攻擊艦，僅憑全局特征就可以完成類型識(shí)別。在類間差異小的情況下，重點(diǎn)局部特征將對(duì)艦船目標(biāo)的細(xì)粒度識(shí)別起到關(guān)鍵作用。

圖2 不同類型艦船光學(xué)遙感圖像

原始圖像中包括艦船目標(biāo)的邊緣、紋理等細(xì)節(jié)特征，相比而言，CNN特征圖經(jīng)過(guò)卷積池化操作，得到更為抽象的語(yǔ)義特征，利于艦船目標(biāo)識(shí)別。某散裝貨船圖像切片經(jīng)Resnet50網(wǎng)絡(luò)第一層卷積得到的特征圖前16維如圖3所示，可以看出，不同通道的特征圖包含有圖像的不同信息，有的特征圖中艦船目標(biāo)部分區(qū)域得到銳化，有的特征則更抽象。如何讓網(wǎng)絡(luò)自適應(yīng)從中提取目標(biāo)重點(diǎn)局部特征是本文研究的重點(diǎn)。

本文受破壞重構(gòu)學(xué)習(xí)（Destruction and Construction Learning，DCL）[23]啟發(fā)，對(duì)特征圖進(jìn)行打亂重構(gòu)，得到重構(gòu)特征圖，將其和原特征圖送入共享網(wǎng)絡(luò)進(jìn)行訓(xùn)練，若訓(xùn)練后，網(wǎng)絡(luò)能夠通過(guò)重構(gòu)特征圖準(zhǔn)確地判別艦船目標(biāo)類別，則證明該網(wǎng)絡(luò)具備自適應(yīng)提取目標(biāo)重點(diǎn)局部特征的能力。為此，設(shè)計(jì)對(duì)抗性損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，引導(dǎo)網(wǎng)絡(luò)僅通過(guò)局部特征來(lái)完成識(shí)別任務(wù)，使該分支向局部特征分配更多注意力，忽略其它位置，從而提取局部特征。

圖3 特征圖前16通道展示

圖4 基于特征圖的打亂與重構(gòu)

1.3 特征融合

全局特征提取分支得到的特征主要集中在艦船目標(biāo)輪廓、顏色等全局特征，可以完成某些類間差異大的艦船識(shí)別；局部特征增強(qiáng)分支得到的特征主要針對(duì)局部關(guān)鍵位置，可以完成某些類間差異小、類內(nèi)差異大的艦船目標(biāo)識(shí)別。全局特征和局部特征通過(guò)串聯(lián)組成融合特征，從而實(shí)現(xiàn)艦船目標(biāo)在不同級(jí)別下的特征信息融合，具有互補(bǔ)性和穩(wěn)健性。本文模型利用全連接層、RELU激活層、DROPOUT層組合對(duì)融合特征進(jìn)行類降維處理，加速收斂過(guò)程，提高泛化能力，去除冗余信息和噪聲，提高網(wǎng)絡(luò)識(shí)別的準(zhǔn)確率。

1.4 模型訓(xùn)練與損失函數(shù)

為實(shí)現(xiàn)端到端訓(xùn)練，綜合考慮各組成部分對(duì)網(wǎng)絡(luò)的影響，更好的發(fā)揮全局特征與局部特征作用，同時(shí)減少數(shù)據(jù)不平衡的影響，設(shè)計(jì)損失函數(shù)。網(wǎng)絡(luò)損失函數(shù)由全局支路損失函數(shù)g、局部支路損失函數(shù)p、融合模塊損失函數(shù)c三部分構(gòu)成

全局特征提取分支產(chǎn)生的損失函數(shù)為

局部特征增強(qiáng)分支產(chǎn)生的損失函數(shù)p為

局部特征增強(qiáng)分支產(chǎn)生的對(duì)抗性損失函數(shù)a

融合模塊損失函數(shù)c為

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

本節(jié)采用了公開(kāi)的光學(xué)遙感圖像艦船目標(biāo)識(shí)別數(shù)據(jù)集FGSC-23對(duì)所提方法進(jìn)行驗(yàn)證。數(shù)據(jù)集的圖像分辨率介于0.4～2.0m，共包含22類、3 636個(gè)艦船目標(biāo)，分別為航母、驅(qū)逐艦、登陸艦、護(hù)衛(wèi)艦、兩棲運(yùn)輸艦、巡洋艦、塔拉瓦級(jí)兩棲攻擊艦、兩棲攻擊艦、指揮艦、潛艇、醫(yī)療船、戰(zhàn)斗艇、軍輔船、集裝箱船、汽車運(yùn)輸船、氣墊船、散裝貨船、油船、漁船、客船、液化氣體船以及駁船，依次對(duì)應(yīng)類別序號(hào)0至21。實(shí)驗(yàn)按照4:1的比例劃分訓(xùn)練集和測(cè)試集，各個(gè)類別樣本數(shù)如表1所示。

表1 FGSC-23各類別樣本數(shù)目表

Tab.1 The numbers of each category in FGSC-23

實(shí)驗(yàn)平臺(tái)為搭載ubantu16.04系統(tǒng)的計(jì)算機(jī)，配置1080Ti顯卡，采用Pytorch深度學(xué)習(xí)框架。實(shí)驗(yàn)采用了包括隨機(jī)旋轉(zhuǎn)、隨機(jī)水平翻轉(zhuǎn)在內(nèi)的數(shù)據(jù)增強(qiáng)手段，并將圖像統(tǒng)一映射為448像素×448像素矩形以適應(yīng)模型結(jié)構(gòu)的輸入。以Resnet50作為特征提取網(wǎng)絡(luò)的基本結(jié)構(gòu)，采用在ImageNet數(shù)據(jù)集上訓(xùn)練的模型作為初始化權(quán)重，再利用實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行微調(diào)。經(jīng)過(guò)多次試驗(yàn)調(diào)試，參數(shù)設(shè)置迭代次數(shù)300次，初始學(xué)習(xí)率0.001，每迭代60輪學(xué)習(xí)率下降為50%，采用隨機(jī)梯度下降訓(xùn)練優(yōu)化方法，動(dòng)量取0.9。

2.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)評(píng)價(jià)指標(biāo)采用準(zhǔn)確率和混淆矩陣。準(zhǔn)確率為被識(shí)別正確的總數(shù)與目標(biāo)總數(shù)之商。混淆矩陣的縱列代表樣本標(biāo)簽，橫行代表該樣本經(jīng)過(guò)分類被判別成的類別，故對(duì)角線元素代表各類別的準(zhǔn)確率，其他位置代表被錯(cuò)誤分類的概率。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 不同參數(shù)的影響

首先，驗(yàn)證不同網(wǎng)絡(luò)參數(shù)對(duì)識(shí)別結(jié)果的影響。本文選取Resnet50作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。Resnet50的結(jié)構(gòu)共5個(gè)模塊，分別命名為conv1、conv2_x、conv3_x、conv4_x、conv5_x，輸出特征圖分別為fea1、fea2_x、fea3_x、fea4_x、fea5_x。為研究局部特征增強(qiáng)分支中打亂不同卷積層特征圖以及不同的打亂參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響，本文分別在原圖、fea1、fea2_x、fea3_x上針對(duì)不同進(jìn)行實(shí)驗(yàn)，結(jié)果如表2所示。

表2 不同參數(shù)的結(jié)果對(duì)比

Tab.2 Comparison with different parameters

實(shí)驗(yàn)結(jié)果表明，即使局部特征增強(qiáng)分支在原圖上進(jìn)行打亂重構(gòu)，融合結(jié)果也要優(yōu)于單分支模型，證明融合方法有效。同時(shí)，可以看到，局部支路選取基于fea1打亂的重構(gòu)操作，效果要優(yōu)于在原圖基礎(chǔ)上進(jìn)行，在fea2_x、fea3_x特征圖的打亂重構(gòu)效果不明顯。

由圖5可以看出，在fea1特征圖上，隨著的增大，準(zhǔn)確率經(jīng)歷了先上升后下降的階段。當(dāng)較小時(shí)，特征圖分的塊較大，局部支路的卷積核對(duì)關(guān)鍵位置的識(shí)別尚不敏感，隨著的增大有所改善。但當(dāng)>3時(shí)，準(zhǔn)確率開(kāi)始下降，這是因?yàn)榇w的部分關(guān)鍵區(qū)域分塊時(shí)被分開(kāi)了，破壞了重點(diǎn)區(qū)域的整體性，網(wǎng)絡(luò)的識(shí)別能力降低。故在后續(xù)實(shí)驗(yàn)中均取=3。

圖5 不同參數(shù)結(jié)果對(duì)比柱狀圖

2.3.2 不同的特征融合方法

通過(guò)對(duì)特征融合以及結(jié)果融合兩種方式下艦船目標(biāo)細(xì)粒度識(shí)別結(jié)果來(lái)驗(yàn)證融合模塊中不同融合方法對(duì)識(shí)別結(jié)果的影響。特征融合為在特征維上，對(duì)全局特征和局部特征進(jìn)行串聯(lián)，而后利用全連接層、ReLU激活函數(shù)、Dropout層對(duì)特征進(jìn)行處理，加快收斂速度，提高泛化能力，減少冗余，達(dá)到降維效果；決策級(jí)融合是對(duì)不同支路的分類結(jié)果，采取一定的融合方式進(jìn)行得到的最終分類結(jié)果。

利用決策級(jí)得到的融合結(jié)果為

經(jīng)實(shí)驗(yàn)可得，特征級(jí)融合的準(zhǔn)確率為86.36%，決策級(jí)融合的準(zhǔn)確率為85.03%，說(shuō)明特征級(jí)融合相對(duì)決策級(jí)融合效果較好。全局特征和局部特征融合得到的特征對(duì)艦船目標(biāo)具有更全面的表征性，故識(shí)別效果優(yōu)于決策級(jí)融合。

2.3.3 與其他方法的對(duì)比

最后，為驗(yàn)證本文所提框架的有效性，分別采用經(jīng)典的Resnet50、Vgg16，以及專門針對(duì)細(xì)粒度識(shí)別的RCNN[18]、DCL[23]方法以及本文方法在FGSC-23數(shù)據(jù)集上進(jìn)行艦船目標(biāo)細(xì)粒度識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同框架的識(shí)別結(jié)果

Tab.3 Results of different methods

從表中可以看出，在FGSC-23數(shù)據(jù)集上本文所提方法取得了86.36%的準(zhǔn)確率，優(yōu)于其他經(jīng)典的深度學(xué)習(xí)方法。

各方法的混淆矩陣如圖6所示。橫坐標(biāo)是正確的標(biāo)簽，縱坐標(biāo)是識(shí)別的標(biāo)簽，因此，對(duì)角線是正確識(shí)別的，其他位置為錯(cuò)誤識(shí)別的。

通過(guò)混淆矩陣，可以看出，相比經(jīng)典的識(shí)別方法，本文所提方法對(duì)于類間差異較小的類別，如散裝貨船和集裝貨船，具有更高的準(zhǔn)確率，同時(shí)，相比細(xì)粒度識(shí)別方法，對(duì)于類間差異較大的類別，如航母和兩棲攻擊艦，識(shí)別更具包容性。簡(jiǎn)言之，本文所提方法可以兼顧全局特征和局部特征，以此實(shí)現(xiàn)對(duì)目標(biāo)的分類，達(dá)到更好的識(shí)別效果。

圖6 混淆矩陣

3 結(jié)束語(yǔ)

針對(duì)遙感圖像艦船目標(biāo)細(xì)粒度識(shí)別任務(wù)，本文提出了一種雙分支全局與局部特征提取和融合模型。該模型融合了艦船目標(biāo)的全局特征和局部特征，獲得更豐富全面的特征表示，增強(qiáng)了特征的互補(bǔ)性和魯棒性。局部支路通過(guò)對(duì)特征圖進(jìn)行打亂重構(gòu)，構(gòu)造對(duì)抗性損失函數(shù)，使網(wǎng)絡(luò)獲得識(shí)別判別性區(qū)域的能力。最后，基于FGSC-23數(shù)據(jù)集驗(yàn)證所提模型的細(xì)粒度識(shí)別能力，實(shí)驗(yàn)結(jié)果表明，該模型準(zhǔn)確率達(dá)到了86.36%，優(yōu)于DCL、RCNN等經(jīng)典模型。本文模型受數(shù)據(jù)集限制，針對(duì)部分樣本較少的類別，識(shí)別能力仍有待提高。未來(lái)將關(guān)注如何優(yōu)化小樣本艦船目標(biāo)細(xì)粒度識(shí)別、增強(qiáng)特征表能力，進(jìn)而提高識(shí)別精度。

[1] 王小勇. 空間光學(xué)技術(shù)發(fā)展與展望[J]. 航天返回與遙感, 2018, 39(4): 79-86.

WANG Xiaoyong. Development and Prospect of Space Optical Technology[J]. Space Recovery & Remote Sensing, 2018, 39(4): 79-86. (in Chinese)

[2] 王昌安. 遙感影像中的近岸艦船目標(biāo)檢測(cè)和細(xì)粒度識(shí)別方法研究[D]. 武漢: 華中科技大學(xué), 2019.

WANG Chang'an. Detection and Fine-grained Recognition of Ship Targets in Remote Sensing Images[D]. Wuhan: Huazhong University of Science and Technology, 2019. (in Chinese)

[3] SHI Q, LI W, TAO R. 2D-DFrFT Based Deep Network for Ship Classification in Remote Sensing Imagery[C]//2018 10th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS), Augest 19-20, 2018, Beijing, China. IEEE, 2018.

[4] ZHANG X, LYU Y. A New Benchmark and an Attribute-guided Multi-level Feature Representation Network for Fine-grained Ship Classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13(1): 1271-1285.

[5] LOWE D. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[6] LESA J, BEAMER, STEPHEN F, et al. The BPI/LBP Family of Proteins: A Structural Analysis of Conserved Regions[J]. Protein Science, 2008, 7(4): 906-914.

[7] JORGE S, FLORENT P, THOMAS M, et al. Image Classification with the Fisher Vector: Theory and Practice[J]. Int J Comput Vis, 2013, 105(3): 222-245.

[8] WANG Y, CHOI J, MORARIU V, et al. Mining Discriminative Triplets of Patches for Fne-grained Classi?cation[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016.

[9] 蔣定定, 許兆林, 李開(kāi)端. 應(yīng)用基本遺傳算法進(jìn)行水面艦船目標(biāo)識(shí)別研究[J]. 中國(guó)工程科學(xué), 2002, 6(8): 79-81.

JIANG Dingding, XU Zhaolin, LI Kaiduan. Application of Basic Genetic Algorithm to Target Recognition of Surface Ships[J]. Strategic Study of CAE, 2002, 6(8): 79-81. (in Chinese)

[10] 李娜, 劉方. 基于模糊聚類視區(qū)劃分的SAR目標(biāo)識(shí)別方法[J]. 電子學(xué)報(bào), 2012, 40(2): 394-399.

LI Na, LIU Fang. SAR Target Recognition Method Based on Fuzzy Clustering Viewing Zone Division[J]. Acta Electronica Sinica, 2012, 40(2): 394-399. (in Chinese)

[11] HUANG L, LIU B, LI B, et al. Open SAR Ship: A Dataset Dedicated to Sentinel-1 Ship Interpretation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(1): 195-208.

[12] 劉峰, 沈同圣, 馬新星. 特征融合的卷積神經(jīng)網(wǎng)絡(luò)多波段艦船目標(biāo)識(shí)別[J].光學(xué)學(xué)報(bào), 2017, 37(10): 240-248.

LIU Feng, SHEN Tongsheng, MA Xinxing. Feature Fusion Convolutional Neural Network Multi-band Ship Target Recognition[J]. Acta Optics Sinica, 2017, 37(10): 240-248. (in Chinese)

[13] LI J W, QU C W, SHAO J Q, et al. Ship Classification for Unbalanced SAR Dataset Based on Convolutional Neural Network[J]. Applied Remote Sensing, 2018, 12(3): 10-35.

[14] HUANG S, XU Z, TAO D, et al. Part-stacked CNN for Fine-grained Visual Categorization[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June27-30, 2016, Las Vegas, NV, USA.IEEE, 2016.

[15] ZHANG H, XU T, ELHOSEINY M, et al. SPDA-CNN: Unifying Semantic Part Detection and Abstraction for ?ne-Grained Recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016.

[16] FU J, ZHENG H, MEI T. Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition[C]//2017 IEEE Conference on Computer Vision & Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017.

[17] ZHENG H, FU J, MEI T, et al. Learning Multi-attention Convolutional Neural Network for Fine-grained Image Recognition[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. IEEE, 2017.

[18] LIN T, ROYCHOWDHURY A, MAJI S. Bilinear Convolutional Neural Networks for Fine-grained Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(6): 1309-1322.

[19] XING W, ZHANG Y, GONG Y, et al. Grassmann Pooling as Compact Homogeneous Bilinear Pooling for Fine-grained Visual Classi?cation[C]//15th European Conference on Computer Vision, September 8-14, 2018, Munich, Germany. ECCV, 2018: 365-380.

[20] KONG S, FOWLKES C. Low-rank Bilinear Pooling for Fne Grained Classi?cation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017.

[21] ZHENG H, FU J, ZHA Z J, et al. Looking for the Devil in the Details: Learning Trilinear Attention Sampling Network for Fine-grained Image Recognition[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019.

[22] YU C, ZHAO X, ZHENG Q, et al. Hierarchical Bilinear Pooling for Fine-grained Visual Recognition[C]//Computer Vision — ECCV 2018: 11220. ECCV, 2018: 595-610.

[23] CHEN Y, BAI Y, ZHANG W, et al. Destruction and Construction Learning for Fine-grained Image Recognition[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA. IEEE, 2019.

[24] WANG Y, MORARIU V I, DAVIS L S. Learning a Discriminative Filter Bank within a CNN for Fine-grained Recognition[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-22, 2018, Salt Lake City, UT, USA. IEEE, 2018: 4148-4157.

[25] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[EB/OL]. [2020-07-11]. https://arxiv.org/pdf/1512.03385.pdf.

Fine-grained Recognition of Ship Targets in Optical Satellite Remote Sensing Images Based on Global-local Features

LI Mengyang1,2SUN Weiwei1ZHANG Xiaohan3YAO Libo*1

（1 Naval Aviation University, Yantai 264000, China）（2 Unit 94559 of the Chinese People's Liberation Army, Xuzhou 050003, China）（3 Institute of Remote Sensing Information, Beijing 100096, China）

In view of the small intra-class diversity in ship targets, the need to enrich the target's feature representation capability to improve the accuracy of fine-grained recognition is necessary, thus this paper propose a method for fine-grained recognition of ship targets based on combination of global-local features. The model consists two branches: firstly, the global feature extraction branch extracts the global features of the image through a convolutional neural network; secondly, the local feature enhancement branch shuffles and reconstructs the shallow feature map, then trains the network to extract the local feature of discriminative regions by an adversarial loss function; finally, the global feature and local feature are fused together to complete the classification task through the fully connected layer , which removes the redundant information as well as increases the robustness. Experiments show that this method can take both global and local features into account, and the accuracy rate on the FGSC-23 dataset is 86.36%, which is superior to others.

ship target; fine-grained recognition; feature fusion; remote sensing image; remote sensing application

TP75

A

1009-8518(2021)03-0138-10

10.3969/j.issn.1009-8518.2021.03.015

2020-07-20

國(guó)家自然科學(xué)基金重大研究計(jì)劃重點(diǎn)項(xiàng)目（91538201）；國(guó)家自然科學(xué)基金重大項(xiàng)目（61790554）

李孟洋, 孫煒瑋, 張?bào)汴? 等. 基于全局—局部特征聯(lián)合的光學(xué)衛(wèi)星遙感圖像艦船目標(biāo)細(xì)粒度識(shí)別[J]. 航天返回與遙感, 2021, 42(3): 138-147. LI Mengyang, SUN Weiwei, ZHANG Xiaohan, et al. Fine-grained Recognition of Ship Targets in Optical Satellite Remote Sensing Images Based on Global-local Features[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(3): 138-147. (in Chinese)

李孟洋，女，1993年生，2015年獲軍械工程學(xué)院雷達(dá)工程專業(yè)學(xué)士學(xué)位，2020年獲海軍航空大學(xué)信息與通信工程專業(yè)碩士學(xué)位，現(xiàn)任職于中國(guó)人民解放軍94592部隊(duì)。主要研究方向?yàn)樯疃葘W(xué)習(xí)、目標(biāo)識(shí)別。E-mail：502295312@qq.com。

（編輯：龐冰）