趙春暉，肖舒勻，宿 南

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

0 引 言

近年來，遙感圖像廣泛應(yīng)用于各個(gè)領(lǐng)域[1-2]。艦船遙感圖像的目標(biāo)檢測(cè)是遙感圖像研究領(lǐng)域重要的內(nèi)容。實(shí)現(xiàn)艦船目標(biāo)的精準(zhǔn)檢測(cè)對(duì)保證海上安全、漁業(yè)管理以及海域監(jiān)管具有重要意義。艦船目標(biāo)識(shí)別不僅要實(shí)現(xiàn)通常意義上的艦船檢測(cè)，還要實(shí)現(xiàn)對(duì)于艦船型號(hào)的細(xì)粒度級(jí)分類。由于海洋環(huán)境多變、海岸艦船排列緊密，艦船船型復(fù)雜、目標(biāo)較小等多種因素，艦船的目標(biāo)檢測(cè)中特征信息的提取以及利用受到復(fù)雜現(xiàn)象的抑制，容易導(dǎo)致漏檢以及錯(cuò)檢等問題，因此艦船的定位及識(shí)別更加具有挑戰(zhàn)性。

傳統(tǒng)的艦船目標(biāo)檢測(cè)算法通過先驗(yàn)信息首先選擇海洋作為研究區(qū)域[3-4]，然后利用模板匹配、監(jiān)督分類等方式在尋找感興趣區(qū)域進(jìn)行目標(biāo)檢測(cè)。但是，傳統(tǒng)方式對(duì)遙感圖像的質(zhì)量要求較高且方法魯棒性較差，難以滿足實(shí)際生產(chǎn)生活應(yīng)用的要求。基于深度學(xué)習(xí)的艦船目標(biāo)檢測(cè)算法更為高效，檢測(cè)算法主要分為雙階段和單階段兩種類型。單階段目標(biāo)檢測(cè)算法以YOLO系列[5]作為代表，直接在圖像上對(duì)目標(biāo)進(jìn)行定位以及預(yù)測(cè)出類別置信度，該類算法速度更優(yōu)；雙階段目標(biāo)檢測(cè)算法以Faster R-CNN[6]系列作為代表，具有區(qū)域建議網(wǎng)絡(luò)結(jié)構(gòu)，先預(yù)測(cè)一些可能存在目標(biāo)的候選框，該類算法檢測(cè)準(zhǔn)確率更具優(yōu)勢(shì)。

深度學(xué)習(xí)算法目標(biāo)檢測(cè)中，特征信息的提取及利用決定了算法的檢測(cè)效果。特征金字塔(Feature Pyramid Networks，F(xiàn)PN)[7]的提出實(shí)現(xiàn)了對(duì)多尺度特征新的融合，更充分的保留和利用了不同特征層中語義信息和位置信息。注意力機(jī)制可增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力。SENet(Squeeze-and-Excitation Networks)[8]網(wǎng)絡(luò)是最早提出的成型的基于注意力機(jī)制的網(wǎng)絡(luò)，Hu等通過將SENet結(jié)構(gòu)插入到分類網(wǎng)絡(luò)中通過對(duì)特征通道信息進(jìn)行加權(quán)提升了網(wǎng)絡(luò)的分類能力。CBAM(Convolutional Block Attention Module)[9]模塊是利用通道和空間的關(guān)系，增強(qiáng)特征層的空間信息。ECAM(Efficient Channel Attention Module)[10]在SENet網(wǎng)絡(luò)基礎(chǔ)上主要通過全局平均池化和全連接層對(duì)通道信息進(jìn)行加權(quán)，可以高效快速的改善網(wǎng)絡(luò)對(duì)不同通道的注意力。

FPN模塊是目標(biāo)檢測(cè)算法中常用的特征融合模塊，見圖1，巧妙地融合了多尺度的特征信息[11]，但其不足之處：①在FPN中，特征層以自上而下的方式進(jìn)行融合，高層的特征信息可以對(duì)低層特征進(jìn)行指導(dǎo)，豐富低層的語義信息，最頂層的特征層缺乏其他層信息的補(bǔ)充以及1x1的卷積降維導(dǎo)致部分信息丟失;②FPN特征融合后，每個(gè)候選區(qū)域的特征是根據(jù)預(yù)測(cè)框的尺寸大小選擇的，即大目標(biāo)選用高層特征層提取目標(biāo)特征，小目標(biāo)選用低層特征層提取目標(biāo)特征[12]，導(dǎo)致其它特征層對(duì)于某個(gè)目標(biāo)的語義信息被忽略，不利于目標(biāo)檢測(cè)的檢測(cè)精度。

圖1 FPN結(jié)構(gòu)

本文主要針對(duì)FPN存在的兩個(gè)特定性問題進(jìn)行改進(jìn)?；谧⒁饬C(jī)制的特征增強(qiáng)架構(gòu)被提出來以改進(jìn)FPN的不足，架構(gòu)中包含兩個(gè)改進(jìn)模塊：頂層特征增強(qiáng)和自適應(yīng)ROI特征增強(qiáng)。頂層特征增強(qiáng)模塊是一個(gè)通道和空間信息雙重注意力網(wǎng)絡(luò)，最頂層的特征層{C5}經(jīng)過通道注意力和空間注意力之后進(jìn)行融合為一個(gè)新的特征層，以此保證頂層特征層的特征信息更完整的得到保留，將得到的新特征層與后續(xù)的特征層再進(jìn)行融合。自適應(yīng)ROI特征增強(qiáng)模塊為每一個(gè)ROI匯集所有特征金字塔層的特征，從特征融合之后的特征金字塔{P2,P3,P4,P5}中的每一層學(xué)習(xí)生成更好的ROI特征，ROIFE為不同層的ROI特征生成不同的空間權(quán)重，將ROI特征加權(quán)相融合。

1 方 法

1.1 算法介紹

以深度學(xué)習(xí)目標(biāo)檢測(cè)算法作為基礎(chǔ)網(wǎng)絡(luò)[13]，對(duì)網(wǎng)絡(luò)中特征融合部分FPN進(jìn)行改進(jìn)，結(jié)構(gòu)見圖2。骨干網(wǎng)絡(luò)提取特征之后送入FPN進(jìn)行特征融合，在特征融合的過程中，從最高層{C5}的語義信息保留不完整的角度出發(fā)，設(shè)計(jì)增加TLFE模塊，{C5}通過并聯(lián)的通道注意力和空間注意力模塊，賦予其更多的語義和空間信息。在特征融合之后，從受ROI預(yù)測(cè)框的尺度限制僅從固定某一層獲取特征信息導(dǎo)致其他層語義信息遺漏這一角度出發(fā)，設(shè)計(jì)增加ROIFE模塊，對(duì)于任意一個(gè)ROI預(yù)測(cè)，提取出該ROI在{P2,P3,P4,P5}上的所有對(duì)應(yīng)的特征，然后利用網(wǎng)絡(luò)本身學(xué)習(xí)權(quán)重參數(shù)，將不同層的特征求和作為這個(gè)ROI最終的特征。

圖2 算法整體結(jié)構(gòu)

1.2 頂層特征增強(qiáng)

頂層特征圖具有較大的感受野[14]，對(duì)圖像中目標(biāo)的位置以及大目標(biāo)的定位識(shí)別都具有重要的意義[15]。遙感圖像中的艦船目標(biāo)由于排列緊密以及海洋背景復(fù)雜等原因，定位艦船目標(biāo)的位置是一個(gè)難點(diǎn)[16]，極易發(fā)生漏檢的現(xiàn)象。因此，設(shè)計(jì)頂層特征增強(qiáng)的注意力機(jī)制，更大程度的保留頂層特征圖的語義信息時(shí)十分有必要的。頂層特征增強(qiáng)模塊結(jié)構(gòu)見圖3，上半部分是空間注意力機(jī)制，操作原理見式(1)。C5特征層經(jīng)過一系列的卷積操作得到關(guān)于空間信息的權(quán)重信息，將該空間權(quán)重信息與原始C5特征圖相乘，突出C5特征圖中更具信息的部分。下半部分是通道注意力機(jī)制，機(jī)制過程見式(2)。為了有效計(jì)算通道注意力，需要對(duì)輸入特征圖的空間維度進(jìn)行壓縮[17]。對(duì)于空間信息的聚合，本文利用的是全局平均池化。Global average pooling與average pooling的差別就在“global”是對(duì)整個(gè)feature map求平均值，編碼了全局的統(tǒng)計(jì)信息。從空間的角度來看，通道注意力是全局的，而空間注意力是局部的。通道注意力順著通道維度對(duì)C5進(jìn)行全局平均池化壓縮，獲取全局感受野，經(jīng)過Sigmoid非線性處理，將輸出結(jié)果作為每個(gè)通道的權(quán)重值。最后將原始的C5與通道權(quán)重值相乘，使網(wǎng)絡(luò)對(duì)不同的通道信息施加不同的關(guān)注度，以此針對(duì)性的獲取更豐富的通道語義信息。

圖3 頂層特征增強(qiáng)模塊結(jié)構(gòu)

outputspatial=Sigmoid(Conv1×1(C5))

(1)

其中，Conv為卷積操作。

outputchannel=Sigmoid(GAP(C5))

(2)

其中，GAP為全局平均池化操作；Sigmoid為激活函數(shù)。

C5在得到空間注意力和通道注意力的權(quán)重，權(quán)重值與原始C5相乘得到2個(gè)有關(guān)注度的新特征層之后，將空間關(guān)注度與通道關(guān)注度的特征圖相融合構(gòu)成特征層P6:

P6=(C5?outputchannel)⊕(C5?outputspatial)

(3)

P6相比于C5保留了更豐富的頂層特征層信息。在特征融合過程中，將P6融入到P5中，以此可以保證后續(xù)ROI可以更充分的得到頂層的特征信息。

1.3 自適應(yīng)ROI特征增強(qiáng)

FPN中特征融合之后得到{P2,P3,P4,P5}4層特征層，然而在后續(xù)ROI進(jìn)行特征選取，網(wǎng)絡(luò)根據(jù)ROI預(yù)測(cè)框的大小只選定某一層特征層進(jìn)行特征提取，通常大目標(biāo)會(huì)選擇頂層特征層，小目標(biāo)會(huì)選擇低層特征層。這導(dǎo)致對(duì)于任意一個(gè)ROI來講，其他3層特征層上的特征信息無法被利用，提取到的特征缺乏多尺度信息及特定性的某些特征。因此，設(shè)計(jì)一個(gè)注意力模塊，可以讓任意一個(gè)ROI充分利用4層的特征信息，自適應(yīng)提取到4個(gè)特征層的特征信息，會(huì)最大程度的保證對(duì)目標(biāo)有利的特征信息都被提取到。

自適應(yīng)ROI特征增強(qiáng)模塊原理見圖4，對(duì)于任意一個(gè)ROI目標(biāo)，模塊聚集{P2,P3,P4,P5}4層的特征信息，4層特征信息進(jìn)行concat操作，經(jīng)過全局最大池化保留通道信息，而后經(jīng)過一系列的卷積以及sigmoid激活函數(shù)，得到關(guān)于4層特征的注意力權(quán)重，通過網(wǎng)絡(luò)不斷自適應(yīng)的更新權(quán)重信息。在網(wǎng)絡(luò)中第1次的1×1卷積，是為了縮放通道值，減少網(wǎng)絡(luò)計(jì)算量，對(duì)通道數(shù)合理的較少，可以兼顧網(wǎng)絡(luò)的計(jì)算效率和檢測(cè)性能[18]。第2次1×1卷積是為了恢復(fù)通道信息值。權(quán)重分別與原始4層特征圖相乘將注意力信息融入特征層中，ROI目標(biāo)對(duì)應(yīng)的特征信息進(jìn)行融合，得到最終ROI的目標(biāo)特征信息:

圖4 自適應(yīng)ROI特征增強(qiáng)模塊內(nèi)部結(jié)構(gòu)

Pset=concat(P2+P3+P4+P5)

(4)

output=Sigmoid(Conv1×1(Conv1×1(Pset)))

(5)

在特征圖層次上，4層特征圖分別與注意力權(quán)重相乘得到含有注意力加權(quán)的特征圖，在ROI層次上，含有注意力加權(quán)的特征圖相加融合為ROI對(duì)應(yīng)的目標(biāo)特征信息，F(xiàn)ROI為某個(gè)ROI目標(biāo)最終提取到的特征信息,表示為

FROI=ROI⊕(Pset?output)

(6)

自適應(yīng)ROI特征增強(qiáng)模塊僅利用了幾層卷積操作即可實(shí)現(xiàn)對(duì){P2,P3,P4,P5}的4層特征信息進(jìn)行加權(quán)融合，既保證了ROI目標(biāo)可聚合4層的特征信息，充分提取各個(gè)特征層的特征信息進(jìn)行特征信息的學(xué)習(xí)，又保證增加較小的網(wǎng)絡(luò)的計(jì)算量。

2 實(shí) 驗(yàn)

為驗(yàn)證本文提出的基于注意力機(jī)制的特征增強(qiáng)架構(gòu)得有效性，將基于注意力機(jī)制的特征增強(qiáng)架構(gòu)插入FPN中，以Faster R-CNN作為基礎(chǔ)算法，以resnet50和resnext101 2種網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)。

2.1 實(shí)驗(yàn)數(shù)據(jù)集

HRSC2016作為艦船識(shí)別研究的數(shù)據(jù)集，圖像分辨率在0.4～2 m，圖像大小為300～1 500。該數(shù)據(jù)集包含兩級(jí)標(biāo)簽，父級(jí)標(biāo)簽全部艦船目標(biāo)標(biāo)記為ship類，子級(jí)標(biāo)簽為對(duì)艦船型號(hào)的細(xì)分共含有24類。在子級(jí)標(biāo)簽中，因在訓(xùn)練數(shù)據(jù)中沒有Kitty Hawk和Blue Ridge類別，選擇余下22類作為目標(biāo)類別進(jìn)行驗(yàn)證實(shí)驗(yàn)。數(shù)據(jù)集共有有436張訓(xùn)練圖片(1 197個(gè)樣本)和453個(gè)測(cè)試圖片(1 219個(gè)樣本)，子級(jí)類別分布見圖5。利用父級(jí)標(biāo)簽對(duì)基于注意力機(jī)制的特征增強(qiáng)架構(gòu)可以對(duì)艦船目標(biāo)的位置及共性特征信息起到增強(qiáng)作用進(jìn)行驗(yàn)證，利用子級(jí)標(biāo)簽對(duì)基于注意力機(jī)制的特征增強(qiáng)架構(gòu)可以對(duì)艦船型號(hào)間細(xì)粒度的差異特征起到增強(qiáng)作用進(jìn)行驗(yàn)證。

圖5 HRSC2016數(shù)據(jù)分布

2.2 評(píng)價(jià)指標(biāo)

精確召回曲線(PRC)和平均精確度(AP)被用作衡量船舶識(shí)別的指標(biāo)[19]。Recall和precision的定義為

(7)

(8)

(9)

其中，TP為預(yù)測(cè)正確的真值；FP為預(yù)測(cè)錯(cuò)誤；FN為未成功預(yù)測(cè)的真值；AP為PRC曲線下的面積；AP越高代表船舶識(shí)別效果越好。

2.3 艦船共性特征對(duì)比實(shí)驗(yàn)結(jié)果及分析

對(duì)HRSC2016數(shù)據(jù)集中父級(jí)標(biāo)簽(所有艦船標(biāo)簽類別均為ship)進(jìn)行實(shí)驗(yàn)研究基于注意力機(jī)制的特征增強(qiáng)架構(gòu)的有效性。艦船不同型號(hào)之間包含某些部件的差異性，因此對(duì)于混合型ship數(shù)據(jù)集，提取艦船的共性特征信息、忽略部件差異特征信息是重點(diǎn)[20]。所有算法實(shí)驗(yàn)環(huán)境、算法初始化參數(shù)設(shè)置相同。實(shí)驗(yàn)結(jié)果見表1。

實(shí)驗(yàn)利用FasterR-CNN、Cascade R-CNN、RetinaNet 3種算法，以及Resnet50和Reanext101 2種骨干網(wǎng)絡(luò)驗(yàn)證FBAM的有效性。由表1可見，3種算法嵌入FBAM的實(shí)驗(yàn)精度均高于嵌入FPN，F(xiàn)asterR-CNN(Resnet50)提高1.2%、Cascade R-CNN提高0.8%、RetinaNet提高0.5%。實(shí)驗(yàn)驗(yàn)證了FBAM無論是嵌入到雙階段目標(biāo)檢測(cè)算法還是但階段目標(biāo)檢測(cè)算法，都能夠提高對(duì)特征信息的利用率，增強(qiáng)目標(biāo)的共性特征信息。當(dāng)Faster R-CNN分別使用resnet50和resnext101兩種骨干網(wǎng)絡(luò)提取艦船共性特征時(shí)，F(xiàn)BAM分別可以實(shí)現(xiàn)1.2%和1.8%的提高，都可以具有較明顯的優(yōu)勢(shì)。算法提取特征的骨干網(wǎng)絡(luò)可以通過連接FBAM實(shí)現(xiàn)特征信息更充分的利用。此外，嵌入FBAM模塊遠(yuǎn)比網(wǎng)絡(luò)改變骨干網(wǎng)絡(luò)更方便，且不會(huì)造成訓(xùn)練計(jì)算量的大幅增多。與原始FPN相比，F(xiàn)BAM架構(gòu)的引入，有效的提高了FPN網(wǎng)絡(luò)對(duì)于特征信息的利用率，在艦船識(shí)別中，由于頂層信息的充分保留以及多尺度信息對(duì)ROI的充分指導(dǎo)，可以提高對(duì)艦船的定位能力。

表1 艦船共性特征增強(qiáng)實(shí)驗(yàn)結(jié)果

可視化結(jié)果見圖6和圖7。由圖6可見，對(duì)于艦船小目標(biāo)的定位，F(xiàn)BAM也有所提高。由于目標(biāo)尺寸過小的限制，小目標(biāo)的特征信息較難被學(xué)習(xí)到[21]，ROIFE模塊對(duì)于各層信息的融合，網(wǎng)絡(luò)對(duì)注意力參數(shù)的自適應(yīng)更新，使小目標(biāo)與海洋背景的區(qū)別特征更加明顯。小目標(biāo)艦船的邊緣信息更充分的被學(xué)習(xí)利用。對(duì)于緊密排列的艦船目標(biāo)FBAM也可以提高檢測(cè)效果。頂層信息的充分保留可以提供豐富的上下文信息，對(duì)于艦船的邊緣特征都可以起到促進(jìn)學(xué)習(xí)的作用。由圖7可見，艦船外在特征發(fā)生改變(艦船船身顏色、不同的集裝箱的裝卸)的情況下，本章所提出的特征提取模塊依然可提取艦船的共性特征，準(zhǔn)確檢測(cè)艦船。

圖6 FPN和FBAM(本文)算法的艦船定位可視化結(jié)果(基于Faster R-CNN，Resnext101)

圖7 艦船外在顏色改變、艦船目標(biāo)與背景相似情況下FBAM算法的檢測(cè)結(jié)果可視化(基于Faster R-CNN，Resnext101)

2.4 艦船型號(hào)細(xì)粒度級(jí)特征的對(duì)比實(shí)驗(yàn)結(jié)果及分析

對(duì)HRSC2016數(shù)據(jù)集子級(jí)標(biāo)簽(艦船標(biāo)簽類別為型號(hào)級(jí))進(jìn)行實(shí)驗(yàn)研究基于注意力機(jī)制的特征增強(qiáng)架構(gòu)的有效性。不同型號(hào)間的差異通常都體現(xiàn)在某些部件上的差異，實(shí)現(xiàn)艦船型號(hào)級(jí)的識(shí)別，更需要網(wǎng)絡(luò)在特征信息的提取及融合上能夠關(guān)注到細(xì)粒度級(jí)別的差距，網(wǎng)絡(luò)能夠?qū)Σ煌悇e間的差異特征施加更多的關(guān)注度。算法FPN作為對(duì)比算法，算法實(shí)驗(yàn)環(huán)境、算法初始化參數(shù)設(shè)置相同。實(shí)驗(yàn)結(jié)果見表2。

表2 艦船型號(hào)識(shí)別實(shí)驗(yàn)結(jié)果

表2中共包含22種艦船型號(hào)，F(xiàn)BAM架構(gòu)對(duì)于多數(shù)艦船型號(hào)的識(shí)別準(zhǔn)確率都有提高，例如Hovercraft和Santoantonio分別提高了10%左右。從整體mAP來看，F(xiàn)BAM比FPN在resnet50上提高3.2%，在resnext101上提高3.5%。FBAM在頂層信息得到充足的保留的條件下，一定程度上保證了艦船位置定位的準(zhǔn)確率。另一方面，充足的頂層信息和自適應(yīng)學(xué)習(xí)的ROI特征，可以使網(wǎng)絡(luò)充分關(guān)注到細(xì)粒度級(jí)別的特征差異，不同型號(hào)的部件差異權(quán)重值被提高。FBAM中的注意力機(jī)制可以在網(wǎng)絡(luò)反向傳播過程中不斷更新權(quán)重參數(shù)，針對(duì)性的增加差異性特征的重要性。

可視化結(jié)果見圖8。由圖8可見，某些艦船型號(hào)在對(duì)比算法中被誤檢，而在FBAM架構(gòu)中可以被正確識(shí)別，提高了艦船細(xì)粒度級(jí)別識(shí)別的準(zhǔn)確率?？梢暬Y(jié)果表明了當(dāng)不同類別的艦船較為相似(圖8(a)、圖8(b))，例如Perry、Arleigh Burke、Ticonderoga和WarshipA型號(hào)的艦船外在形狀較為相似；shipA和Car carrierA型號(hào)較為相似。經(jīng)典的網(wǎng)絡(luò)很容易將兩種型號(hào)誤檢為同一型號(hào)，特征增加架構(gòu)通過對(duì)差異特征信息的增強(qiáng)，一定程度上減少了誤檢概率，將較為相似的型號(hào)也可以更多的區(qū)分出型號(hào)間的不同點(diǎn)，正確進(jìn)行型號(hào)分類。此外，由圖8(c)可見，在Car carrierB類別樣本數(shù)量相對(duì)來講較少的情況下，本章提出的基于注意力機(jī)制的特征增強(qiáng)架構(gòu)也可以增強(qiáng)差異特征，提高了對(duì)于型號(hào)的識(shí)別準(zhǔn)確率。

圖8 基于艦船差異特征增強(qiáng)的艦船型號(hào)識(shí)別可視化結(jié)果(基于Faster R-CNN，Resnext101)

3 結(jié) 論

在遙感圖像艦船識(shí)別中，特征信息的充分利用是準(zhǔn)確定位艦船的位置以及識(shí)別出艦船型號(hào)的關(guān)鍵。針對(duì)FPN網(wǎng)絡(luò)結(jié)構(gòu)頂層特征信息丟失以及各個(gè)特征層無法被ROI充分提取特征的問題，從注意力機(jī)制的角度出發(fā)，提出了基于注意力機(jī)制的特征增強(qiáng)架構(gòu)，該架構(gòu)對(duì)于艦船目標(biāo)識(shí)別的兩大任務(wù)，即艦船位置定位以及艦船型號(hào)細(xì)粒度級(jí)分類都具有提升效果。該架構(gòu)主要包含2個(gè)模塊：頂層特征增強(qiáng)模塊和自適應(yīng)的ROI特征增強(qiáng)。頂層特征增強(qiáng)模塊通過將通道注意力和空間注意力并聯(lián)，充分將頂層特征圖的語義信息和位置信息得以保留；自適應(yīng)ROI特征增強(qiáng)模塊將融合后的特征金字塔中每層特征信息進(jìn)行匯集，通過權(quán)重對(duì)不同的特征信息施加不同的關(guān)注度。利用HRSC2016艦船數(shù)據(jù)集，對(duì)本文提出的基于注意力機(jī)制的特征增強(qiáng)架構(gòu)進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果充分證明了基于注意力機(jī)制的特征增強(qiáng)架構(gòu)可以有效提高艦船識(shí)別的精度，既對(duì)艦船的共性特征起到增強(qiáng)作用，又對(duì)型號(hào)間的差異特征起到提高關(guān)注度的作用。