吳湘寧，賀 鵬，鄧中港，李佳琪，王 穩(wěn)，陳 苗

(中國地質大學(武漢)計算機學院,湖北 武漢 430078)

1 引言

在目標檢測領域，小目標通常指尺寸小于32×32像素的目標[1]。小目標檢測的難點在于圖像中目標的分辨率低、圖像模糊、信息量少，能提取到的特征信息少。傳統(tǒng)目標檢測常用的特征提取算法有SIFT[2]、HOG[3]和圖像金字塔[4]等，這類算法難以從海量的數(shù)據集中學習出一個有效的分類器來充分挖掘數(shù)據之間的關聯(lián)，不適合解決圖像的小目標檢測問題。

近年來，深度卷積神經網絡ConvNet(Convolutional neural Network)[5]用于目標檢測并取得了很大的進展，ConvNet實現(xiàn)了特征、候選區(qū)域、邊界框的提取以及對象類別的判別，然而ConvNet檢測器不太適合檢測小目標，這是因為在卷積神經網絡中，特征圖的分辨率比原始輸入圖像的分辨率要低得多，分辨率會變?yōu)樵驾斎雸D像的1/16，這使得分類和邊界框回歸非常困難[6]。因此，不論是一段式的YOLO[7]和SSD[8]，還是兩段式的FasterR-CNN[9]，對小目標檢測效果都不理想。此后深度學習領域出現(xiàn)了專門針對小目標檢測的改進方法，如多尺度融合、尺度不變性等方法。特征金字塔網絡FPN(Feature Pyramid Network)[10]將低層位置信息與高層語義信息融合，解決了以往的深度學習目標檢測算法只采用頂層特征映射進行分類預測，而忽略了低層特征的位置信息的問題。圖像金字塔尺度歸一化模型SNIP(Scale Normalization for Image Pyramids)[11]實現(xiàn)了多尺寸圖像輸入，提高了預選框精度，對提升小目標檢測效果有一定的促進作用。

Figure 1 Architecture of AM-R-CNN model圖1 AM-R-CNN模型的體系結構

此外，在計算視覺領域出現(xiàn)了注意力思想，注意力機制可以有效捕捉圖像中有用的區(qū)域，通過給關鍵特征標識權重，使模型能學習到需要關注的區(qū)域。視覺注意力分為軟注意力(Soft Attention)和強注意力(Hard Attention)。軟注意力關注的是區(qū)域和通道，是一個完全可微的確定性機制，可以通過網絡模型求出梯度并反向轉播學習到注意力的權重。而強注意力則更關注圖像中的點，具有不確定性。軟注意力可分為空間域注意力、通道域注意力和混合域注意力。空間域注意力的代表有空間轉換網絡模型STN(Spatial Transformer Network)[12]。通道域注意力的代表有擠壓及激勵網絡模型SENet(Squeeze and Excitaton Network)[13]，該模型通過學習每個通道的權重產生通道域的注意力?；旌嫌蜃⒁饬Φ拇碛惺Ｓ嘧⒁饩W絡模型模型[14]，使用注意力掩碼，對空間域或通道域以及每個特征元素找出其對應的注意力權重。這些模型被證明可有效捕捉關鍵區(qū)域。

本文提出了一種基于注意力的掩碼區(qū)域卷積神經網絡AM-R-CNN(Attention based Mask R-CNN)模型，該模型使用數(shù)據增強技術和多尺度特征融合技術，保證小目標的特征得到加強且不易流失，并在卷積神經網絡中引入注意力感知機制，使得不同模塊的特征會隨著網絡的加深產生適應性改變。實驗結果表明，本文所提模型提高了遙感影像中船只目標識別的準確性。

2 AM-R-CNN模型實現(xiàn)及在遙感影像小目標識別中的應用

2.1 模型結構

AM-R-CNN模型采用了Mask R-CNN[15]作為基本框架，這是因為Mask R-CNN是一個靈活的目標檢測框架，它是對Faster R-CNN的擴展，在預測分支和邊界框分支上添加了一個用于預測目標掩碼的分支，適用于目標檢測、語義分割和人體姿態(tài)識別等領域。

AM-R-CNN模型整體結構如圖1所示，分為以下幾個主要部分：

(1)數(shù)據預處理模塊：對原始圖像進行預處理和數(shù)據增強。

(2)ResNet101骨干(Backbone)網絡：將ResNet101和特征金字塔結合后構成ResNet101 FPN,負責從輸入的數(shù)據中提取特征，輸出為特征圖集合。

(3)候選區(qū)域推薦網絡RPN(Region Proposal Network)：從特征圖中提取候選區(qū)域。

(4)混合注意力模塊：為ResNet101和RPN提供通道域注意力和空間域注意力機制。

(5)頭部網絡：是對Faster R-CNN進行改進和擴展的網絡，包含ROI (Region Of Interest，感興趣區(qū)域) Align和3個分支網絡。ROI Align使用雙線性插值來更精確地找到每個塊對應的特征，它從特征圖中提取出固定長度的特征向量和并列的掩碼。每個特征向量都會被輸送到全連接FC(Full Connection)層序列中，F(xiàn)C層又分為2個同級輸出分支，一個是分類分支，用來產生Softmax概率分布，以對目標進行分類，輸出每一個ROI中的目標關于K個分類(包括背景類)的概率分布。另一個分支是邊框回歸分支，可輸出K個類的精確邊界框位置(4個實數(shù)編碼值)。而掩碼分支采用掩碼編碼來識別目標的空間布局。每一個ROI定義了多任務損失：L=Lclass+Lboxes+Lmask，3個損失參數(shù)分別對應3個分支。

2.2 特征金字塔網絡ResNet101 FPN的實現(xiàn)

模型將特征金字塔與ResNet101有效地結合，構成了一個特征金字塔網絡FPN，用于提取8×8～64×64像素的小目標的語義特征。

Figure 2 Structrue of ResNet101 FPN圖2 ResNet101 FPN的結構

FPN實現(xiàn)過程如圖2所示，左邊“自底向上”路徑是卷積網絡的前饋計算，計算由不同比例的特征映射組成的特征圖，其縮放步長為2，ResNet塊Conv1、CS-Res2、CS-Res3、CS-Res4和CS-Res5的步距(Stride)分別設置為2，4，8，16，32，輸出的特征圖為{C2，C3，C4，C5}。而右邊的“自頂向下”路徑，通過對更抽象但語義更強的高層特征圖進行上采樣來減輕高分辨率特征對檢測的影響。對于上層鄰近的特征空間做2倍最近鄰上采樣，然后將“自底向上”路徑中的特征圖經過1×1的卷積變換后的結果與上層的上采樣結果相加合并，再對合并結果{M2，M3，M4，M5}使用3×3的卷積，以減少上采樣帶來的混疊效應，最終得到多尺度特征圖集合{P2，P3，P4，P5}，這些特征圖與{C2，C3，C4，C5}中對應的特征圖有相同的尺寸。

2.3 注意力機制的實現(xiàn)

在AM-R-CNN模型中，ResNet101和RPN 均使用了混合注意力，包含通道域注意力和空間域注意力，其中通道域注意力思想借鑒了Inception[16]和MobileNet[17]網絡。

通道域注意力的原理是首先將一個通道上整個空間特征編碼聚合為一個全局特征，再通過另一種運算提取通道之間的關系。假設V=[v1,v2,…,vC]表示學習到的卷積核矩陣，其中vc表示第c個卷積核的參數(shù)，卷積核vc在原圖上進行卷積生成的特征圖輸出為U=[u1,u2,…,uC]，計算公式如式(1)所示：

(1)

通道域注意力的計算公式如式(2)所示：

Mc(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))=

(2)

通道域注意力模塊的實現(xiàn)過程如圖3所示。AM-R-CNN模型借鑒了SENet模型[13]的方法，選用全局平均池化來實現(xiàn)簡單的聚合運算，單一的全局平均池化聚合的特征信息對特征圖中每個像素都有反饋，引入全局最大值進行梯度反向傳播，計算特征圖中響應最大的區(qū)域，并將2個池化得到的一維矢量相加，豐富全局平均池化提取的信息。

Figure 3 Channel attention module圖3 通道域注意力模塊

除了通道間存在相關注意力信息，圖像在空間層面上也存在著注意力信息?？臻g域的注意力用于準確定位空間中的目標特征，在目標檢測數(shù)據集中，小目標像素的占比很小，添加空間域注意力能準確定位小目標，提高檢測的準確率?？臻g域注意力模塊的計算公式如式(3)所示：

MS(F)=σ(f7*7([AvgPool(F);MaxPool(F)]))=

(3)

Figure 4 Spatial attention module圖4 空間域注意力模塊

空間域注意力模塊的實現(xiàn)如圖4所示。首先，使用全局平均池化和全局最大值池化對輸入的特征圖F進行壓縮操作，對輸入特征分別在通道維度上做平均值和最大值操作。然后將得到的2個特征圖按通道維度拼接，再經過一個卷積操作，降維為1個通道，保證得到的特征圖在空間維度上與輸入的特征圖一致。最后經過Sigmoid函數(shù)生成空間域注意力特征MS。

在ResNet101網絡的ResNet塊中添加混合注意力的方法如圖5所示。將上一個模塊產生的特征圖做一次卷積計算產生輸入特征圖F，F(xiàn)經過通道域注意力模塊后得到通道域注意力特征Mc，將F與Mc進行逐元素乘法操作得到新的特征圖F′，然后將F′輸入到空間域注意力模塊得到空間域注意力特征MS，再將MS與F′進行逐元素乘法操作，得到的混合注意力特征圖F″與F進行相加操作，保留ResNet的殘差模塊，最后生成的特征圖F?作為下一個模塊的輸入。

Figure 5 ResNet module with attention圖5 添加了注意力的ResNet模塊

在RPN中添加混合注意力機制的方法如圖6所示。F表示從FPN輸出的多尺度特征圖，F(xiàn)通過一層卷積計算和ReLu激活函數(shù)后得到特征圖F1，將F1輸入通道域注意力模塊后得到通道域注意力特征Mc，F(xiàn)1與Mc進行逐元素乘法操作后得到F′，將F′輸入到空間域注意力模塊后得到空間域注意力特征MS，再將MS與F′進行逐元素乘法操作，得到混合注意力特征圖F″，然后再通過一批歸一化和池化層后得到最終的混合注意力特征圖F?。

Figure 6 Attention in RPN圖6 RPN的注意力結構示意圖

RPN實現(xiàn)了一個滑動窗口式的目標檢測器，RPN將輸入由單一尺寸的特征圖替換成了FPN生成的具有多尺度的金字塔特征圖，在特征金字塔的每一層添加與RPN相同的頭部結構(3*3 卷積和2個并列的1*1 卷積)。由于頭部會在特征金字塔中所有層級的所有位置上滑動，因此不需要在每個層級上使用多尺度的錨框。RPN依靠一個在共享特征圖上滑動的窗口，為每個位置生成9種預先設置好長寬比與面積的錨框。這9種初始錨框包含3種面積(128×128，256×256，512×512)，每種面積又包含3種長寬比(1∶1，1∶2，2∶1)。

2.4 數(shù)據增強

本文使用遙感影像海洋船只檢測數(shù)據集，遙感影像已進行去噪、平滑和濾波等預處理，數(shù)據集包含訓練集和測試集，訓練集有1 925 526 幅圖像，測試集有15 606幅圖像。csv文件為訓練圖像提供行程長度編碼，用來定位船只，并生成圖像的掩碼和邊界框。

根據不同的交并比IoU(Intersection over Union)閾值下的F2分值對模型進行評估，IoU用于預測區(qū)域目標像素個數(shù)和真實的目標像素個數(shù)的重疊度，計算公式如式(4)所示：

(4)

其中，A和B分別表示預測區(qū)域和真實區(qū)域。IoU閾值為0.5～0.95，步長為0.05，在預測閾值為0.5時，預測目標與真實目標的IoU大于0.5時表示“命中”。根據預測目標與所有真實目標比較得到的真陽性(TP)、假陰性(FN)和假陽性(FP)共3個指標來計算F2分值。F2分值的計算公式如式(5)所示：

β=2

(5)

其中,Fβ(t)表示精確率和召回率的調和值，β表示召回率的重要程度相對于精準率的重要程度的倍數(shù)，當β為1時，精確率和召回率都很重要，權重相同，得數(shù)被稱為F1分值。本文認為召回率更重要些，因此將β設為2，因而得數(shù)被稱為F2分值。t表示數(shù)據樣本，TP指單個預測目標與真值目標匹配時的IoU高于閾值的樣本個數(shù)，F(xiàn)P表示有預測目標卻沒有相關真實目標的樣本個數(shù)，F(xiàn)N表示存在真實目標卻沒有相關聯(lián)預測目標的樣本個數(shù)。

訓練集圖像的編碼信息和船只統(tǒng)計結果如表1所示。表1中編碼表示一些矩形框，用來框定圖像中的船只，若編碼為NaN表示圖像中沒有船只。編碼的字符串格式為：起點，長度，起點，長度，…，其中每對(起點，長度) 表示從起點開始繪制一定長度的像素線。起始位置不是二維坐標，而是一維數(shù)組的索引，從而將二維圖像壓縮為一維像素序列。讀取行程長度編碼，解碼后數(shù)組中的1表示掩碼，0表示背景，將得到的掩碼信息覆蓋到對應的圖像中，并使用透明的顏色實現(xiàn)可視化。處理后的結果如圖7所示。

Table 1 Encoded information of the training set images表1 訓練集中圖像的編碼信息

Figure 7 Parts of ships in training sets圖7 訓練集中的船只示意圖

Figure 8 Statistics of ships in training set圖8 訓練集船只個數(shù)統(tǒng)計圖

圖8是訓練集中圖像的統(tǒng)計圖，可以看出有船只的圖像占比為78%，所有圖像中包含的船只數(shù)量為81 723。由于樣本存在類別不平衡的問題，因此，本文對沒有船只的圖像進行了下采樣處理，以防止模型訓練時引入過多噪聲。在有船只的圖像中，出現(xiàn)1～2只船的圖像占絕大多數(shù)，小目標的數(shù)量太少意味著小目標信息量很少，可能導致訓練出的模型更加關注其他信息特征。因此，本文針對包含某些數(shù)量船只的樣本進行過采樣，以保證樣本種類相對平衡。

圖9是從訓練集的掩碼中提取的船只邊界框(bbox)。bbox用于后續(xù)模型的訓練，格式為(min_row,min_col,max_row,max_col)。

Figure 9 Bounding boxes extracted from masks of ships in training set圖9 從訓練集中船只的掩碼提取的邊界框

Figure 10 Positive samples after data augmentation圖10 增強后的正樣本數(shù)據

遙感圖像中被檢測目標存在角度的多樣性，例如遙感圖像中船、汽車的方向都可能與常規(guī)目標檢測算法使用的檢測框的方向存在較大的差別[18]，這會增加檢測的難度，因此需要對遙感圖像進行尺度變換、旋轉等數(shù)據增強操作。同時，使用過采樣來解決包含小目標的圖像較少的問題，將小目標從原始位置復制后粘貼到不同的位置，通過人為增加小目標的數(shù)量，使匹配的錨數(shù)增加，從而有效提高對小目標檢測的性能。圖10所示為如何對有船只的圖像進行隨機90°倍數(shù)旋轉，以增加樣本的數(shù)量和提高方位多樣性。

2.5 模型訓練及評估

遙感圖像經過數(shù)據增強處理后被劃分為訓練數(shù)據集和驗證數(shù)據集，訓練數(shù)據集用于訓練得到AM-R-CNN模型驗證數(shù)據集作為輸入來驗證和評估AM-R-CNN模型。

Figure 11 Records of training loss圖11 訓練損失記錄圖

AM-R-CNN模型采用添加注意力模塊后的ResNet101作為骨干網絡，訓練過程使用隨機梯度下降進行優(yōu)化。RPN邊框的尺度分別為4,8,16,32,64。Batch-size設置為8，掩碼的尺寸為28×28，類別個數(shù)為2，權重衰減系數(shù)為0.000 1，權重損失初始化為[‘rpn class loss’:30.0,‘rpn bbox loss’:0.8,‘mrcnn class loss’:6.0，‘mrcnn bbox loss’:1.0，‘mrcnn mask loss’:1.2]，輸入圖像大小為800×800，學習率為0.001，圖像的通道數(shù)為3，每幅圖像的ROI數(shù)為200，驗證步數(shù)為50，Top-Down金字塔尺寸為256。代碼采用Python實現(xiàn)，實驗平臺為NVIDIA Telsa K40C，Intel Xeon E5 CPU，32 GB RAM。

訓練模型時，先加載上下文通用對象COCO(Common Objects in COntext)的預訓練權重，使用預訓練模型可使模型訓練收斂更快，效果更好，訓練更少的輪數(shù)，而且有可能獲得低誤差模型，避免陷入局部最優(yōu)點。

隨著訓練的深入，模型的各項損失逐漸降低并最終收斂。模型的損失曲線如圖11所示。實線表示訓練集上的損失，虛線表示測試集上的損失。圖中記錄的損失包括整體損失、RPN分類損失、RPN邊界框回歸損失、mrcnn分類損失、mrcnn邊界框回歸損失和mrcnn的掩碼損失。由圖11可以看出，所有損失呈整體下降的趨勢，訓練過程中，最好的輪數(shù)為18，驗證集的整體損失達到最小值，值為1.410 276 660 442 352 2。

圖12顯示了不同卷積層的圖像特征表示，從左到右分別為原始圖像、圖像掩碼和ResNet的Layer25、Layer35和Layer45卷積層的輸出特征圖。從圖12中可以看出，隨著模型越來越深，圖像的空間信息逐漸模糊，而背景的位置信息逐漸明顯。

圖13是FPN到RPN的訓練過程，將FPN輸出的特征圖P2,P3,P4和P5輸入到RPN中，對應錨框大小分別為322,642,1 282和2 562，每一層錨框寬高比例為{1∶2,1∶1,2∶1}，共有12個錨框，錨框通過ROI Align層后分別得到Mask分支和特征向量，特征向量再分支為分類和邊界框回歸。訓練時根據IoU的大小為每個錨框貼上正負樣本的淺標簽。頭部的參數(shù)在特征金字塔各層級中共享，可以使用一個通用的頭部分類在任意圖像尺寸中進行預測[10]。

Figure 12 Convolutional feature maps of each layer in ResNet圖12 ResNet各層的卷積特征圖

Figure 13 Training process from FPN to RPN圖13 FPN到RPN的訓練過程

在圖14中，從左到右特征圖的輸出尺度分別為391×391,548×548,768×768。小尺度的特征圖像素信息更少，位置信息更明顯，而大尺度的特征圖像素信息更多，圖像相對模糊。在訓練階段，如果ROI與真實框的IoU大于0.5,則樣本被認為是正樣本，否則為負樣本，通過計算Lmask得到正樣本上的掩碼損失。在預測階段，RPN從每個樣本中提取的ROI數(shù)量為300，然后進行邊框預測，并使用Soft-NMS算法[19]消除多余(交叉重復)的邊框，找出目標最佳檢測位置，本文選擇得分最高的100個邊框，再對這些邊框應用掩碼分支，每個ROI預測出K個掩碼，并將其縮放到ROI的尺寸大小，然后依據閾值0.5對掩碼的像素值進行二值化操作，將ROI分為前景和背景。

Figure 14 Multi-scale feature map圖14 多尺度特征圖

Figure 15 Comparison of real data and verification results圖15 真實數(shù)據和驗證結果的對比圖

在驗證階段，本文加載訓練第18輪所得到的權重來初始化注意力ResNet101-FPN，使用AM-R-CNN模型對驗證集進行驗證，樣本數(shù)據在經過AM-R-CNN模型驗證后，輸出回歸邊界框、類別概率和掩碼。圖15所示是驗證數(shù)據和預測結果的對比，左邊的圖表示原始圖像和標注的船舶掩碼前景及其邊界框，而右邊的圖表示模型識別出的船舶掩碼前景、邊界框以及作為“ship”類的概率。從圖15中可以看出，AM-R-CNN模型在驗證數(shù)據集上的檢測精度還是比較高的。

最后，將測試數(shù)據集加載到經過驗證的模型中，用于預測真實遙感圖像中的船舶目標，設置最大值抑制的閾值為0.45，最后得到的F2分值為0.817，預測結果如圖16所示，其中左圖是識別出的船只邊框，右圖是船只的灰度圖掩碼，掩碼的可能性為0.985。

Figure 16 Result of predicting ship using testing set圖16 測試集船只預測結果

為了驗證注意力機制對小目標檢測的有效性，將AM-R-CNN模型與Mask R-CNN、U-Net[20]、RetinaNet[21]和YOLOv3[22]這4個模型進行比較。這些模型所采用的主干網絡均為ResNet101。各個模型采用相同的航拍遙感圖像作為檢測數(shù)據集。

不同模型的處理過程保持相同，在取不同閾值的情況下訓練并測試，記錄其F2分值，最后將F2分值的平均值作為該模型的最后F2分值。

表2是5種模型的評估結果。評估包括召回率、精確率、F2分值和評估時間。召回率表示實際正樣本被預測為正樣本的比例，定義為Recall=TP/(TP+FN)，精確率表示被預測為正樣本的實例中實際為正樣本的比例，定義為Precision=TP/(TP+FP)。YOLOv3和RetinaNet的精確率和召回率不如其他2個模型的，是因為此類模型屬一段式檢測模型，本身更注重算法的實時性，模型的準確率比不上Mask R-CNN 等模型的。U-Net 模型結構雖然簡單，但船只檢測本身屬于像素級特征檢測，而U-Net模型的編碼器-解碼器結構更容易得到較高的準確率，實際上，U-Net與Mask R-CNN有融合的可能。Mask R-CNN有效利用了數(shù)據集中的掩碼信息，因此其各項指標較其它3個對比模型都要好，但時間的消耗略高。AM-R-CNN模型在多個階段添加了注意力機制，得到的推薦區(qū)域錨框更準確，因此各項指標明顯優(yōu)于其他模型，但是評估時間也略長一點。實驗結果表明，將注意力機制與RPN相結合，可有效提高小目標檢測效果。

Table 2 Evaluation results of each model表2 模型評估結果

3 結束語

基于注意力機制的小目標檢測深度學習模型AM-R-CNN，在目標檢測框架Mask R-CNN的基礎上引入了混合注意力機制。AM-R-CNN模型在ResNet網絡和RPN中添加了注意力模塊，通過注意力掩碼將圖像中小目標的關鍵特征標識出來，從而幫助模型學習到需要關注的小目標區(qū)域。同時，AM-R-CNN模型設計了針對小目標的、可實現(xiàn)多尺度特征融合的FPN，可以更好地提取8×8～64×64像素的小目標的特征。在經過數(shù)據增強的遙感圖像數(shù)據集上的實驗對比表明，AM-R-CNN模型對船只的檢測識別具有更好的表現(xiàn)。