王春平， 韓子碩， 付 強

(陸軍工程大學(xué) 石家莊校區(qū)，河北 石家莊 050003)

合成孔徑雷達(Synthetic aperture radar, SAR)是一種主動式微波成像傳感器，可以全天候、全天時地執(zhí)行遙感監(jiān)視任務(wù)，其多極化和高分辨率成像模式，為對地監(jiān)測提供了大量可利用數(shù)據(jù)[1]。目標(biāo)檢測作為SAR的一項前沿技術(shù)，已被廣泛應(yīng)用于戰(zhàn)場態(tài)勢監(jiān)測、軍事目標(biāo)搜索、水上目標(biāo)檢測和城市交通管控等多個軍事及民用領(lǐng)域。

由于SAR獨特的成像機制和復(fù)雜的電磁波散射過程，導(dǎo)致所成圖像中的地物存在幾何畸變和陰影，且充斥著大量的相干斑噪聲，使得傳統(tǒng)的目標(biāo)檢測算法[2-4]收效甚微。近年來，隨著深度學(xué)習(xí)算法的崛起，許多優(yōu)異的目標(biāo)檢測模型[5-7]脫穎而出。然而，當(dāng)將其應(yīng)用于SAR圖像目標(biāo)檢測時，檢測性能往往會急劇下降。究其原因，一是受相干斑噪聲和復(fù)雜環(huán)境影響，許多目標(biāo)特征淹沒于背景當(dāng)中，導(dǎo)致目標(biāo)視覺線索匱乏；二是地物成像畸變和諸多假目標(biāo)干擾檢測器判斷，導(dǎo)致虛警和漏警；三是目標(biāo)特性及其分布多變，給檢測任務(wù)帶來巨大挑戰(zhàn)。顯然，增強目標(biāo)的顯著性特征和優(yōu)化檢測器的判別能力是提高網(wǎng)絡(luò)性能的有效途徑。此外，提高檢測效率也是至關(guān)重要的。大多數(shù)現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)模型通常需要一組具有預(yù)定尺寸和縱橫比的錨框，然后借助真實目標(biāo)將其回歸至所需位置，再通過非極大值抑制(Non-maxima suppression, NMS)消除對同一目標(biāo)的重復(fù)檢測。盡管此類基于錨框的檢測算法已經(jīng)取得巨大成功，但這種思想不僅需要根據(jù)不同的應(yīng)用背景手動設(shè)定合適的錨框參數(shù)，而且還需要枚舉所有可能的目標(biāo)位置，大量的錨框冗余令檢測器耗時耗力，也限制了其通用性。

無錨框模型通過直接預(yù)測目標(biāo)關(guān)鍵點和相關(guān)元素(如分類概率、目標(biāo)置信度等)實現(xiàn)目標(biāo)檢測。CornerNet[8]通過預(yù)測目標(biāo)框的左上角和右下角兩個關(guān)鍵點得到預(yù)測邊框，ExtremeNet[9]通過預(yù)測目標(biāo)的中心點以及4個頂點共5個關(guān)鍵點實現(xiàn)目標(biāo)檢測。然而，這兩種算法都需要增設(shè)一個分組模塊將預(yù)測的眾多關(guān)鍵點分配給所屬目標(biāo)，這無疑降低了檢測速度。CenterNet[10]將目標(biāo)建模成單個中心點，并回歸所有其他坐標(biāo)參數(shù)(如目標(biāo)寬度、高度和分類概率等)完成目標(biāo)檢測任務(wù)，其摒棄了關(guān)鍵點分組，提高了檢測效率。在此基礎(chǔ)上，BBAVectorst[11]通過預(yù)測目標(biāo)的中心點以及對應(yīng)的10維參數(shù)向量實現(xiàn)旋轉(zhuǎn)目標(biāo)定向檢測，但由于預(yù)測參數(shù)較多，其檢測速度也不夠理想。

基于以上分析，針對SAR圖像目標(biāo)檢測困難以及錨框機制所引起的計算冗余和應(yīng)用場景受限問題，提出了一種基于無錨框機制的中心點、尺度和旋轉(zhuǎn)角度預(yù)測網(wǎng)絡(luò)(Center, scale and angle prediction network, CSAP-Net)。CSAP-Net將目標(biāo)檢測轉(zhuǎn)化為中心點估計問題，然后在中心點位置直接預(yù)測目標(biāo)的其他坐標(biāo)參數(shù)，如寬度、高度、旋轉(zhuǎn)角度等，其具有快速準確的特點，可以高效完成多場景、多類型SAR圖像目標(biāo)定向檢測。

1 算法設(shè)計

CSAP-Net為無錨框單階段網(wǎng)絡(luò)模型，以ResNet-101的為主干網(wǎng)絡(luò)，并利用U型跳躍連接和注意力模塊提取輸入圖像極具表征能力的高分辨率語義特征圖，檢測層輸出用于估計中心點的熱力圖(Heatmap)、計算中心點偏移量(Center offset)的特征圖和邊框參數(shù)(Box param)特征圖，三者聯(lián)合完成目標(biāo)定向檢測。訓(xùn)練過程中，通過優(yōu)化損失函數(shù)來增強邊框約束，并利用“翻轉(zhuǎn)+剪切”的數(shù)據(jù)增強技術(shù)擴增訓(xùn)練數(shù)據(jù)集以提升模型檢測性能。圖1展示了該網(wǎng)絡(luò)的基本框架。

1.1 特征提取

CSAP-Net的特征提取網(wǎng)絡(luò)是一個U型結(jié)構(gòu)，以ResNet-101為主干，ResNet-101的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。為了得到特征更加豐富的預(yù)測特征層，將主干網(wǎng)絡(luò)殘差模塊Ⅴ的輸出經(jīng)上采樣后與殘差模塊IV的輸出進行跳躍連接，并利用基于注意力機制的特征層級聯(lián)(Attention-based concatenation, AC)策略將兩者特征進行融合。同理，將融合后的特征圖與殘差模塊III的輸出進行連接融合。最后，共經(jīng)3次上采樣和3個AC后得到高分辨率語義特征圖。融合過程中的上采樣用于統(tǒng)一兩層特征圖的尺寸大小，跳躍連接可以將網(wǎng)絡(luò)深層特征與淺層特征結(jié)合起來，共享高層語義特征和淺層細節(jié)信息，AC模塊將網(wǎng)絡(luò)注意力聚焦于信息量較大的區(qū)域，抑制無關(guān)區(qū)域。

表1 ResNet-101的網(wǎng)絡(luò)結(jié)構(gòu)

AC模塊共有兩路輸入，一路是待上采樣的特征圖，即ResNet-101殘差模塊V或前一個AC模塊的輸出，另一路是由殘差模塊II～IV輸出的高分辨率特征圖。假設(shè)ResNet-101殘差模塊II～V的輸出分別為F2～F5，則3個AC模塊的輸出Ai(i∈[2,3，4)可表示為

1.2 中心點預(yù)測

圖2 真實目標(biāo)中心點設(shè)置

圖3 中心點周圍負樣本的懲罰衰減量

(3)

(4)

1.3 目標(biāo)坐標(biāo)參數(shù)預(yù)測

(5)

(6)

Ltotal=Lh+Lo+Lb+LGIoU

(7)

圖4 不同邊框重疊情況時的平滑L1損失、IoU和GIoU損失

2 實驗設(shè)置及評估

2.1 數(shù)據(jù)集

為了驗證所提算法的有效性，實驗中使用了MSTAR數(shù)據(jù)集和SSDD數(shù)據(jù)集，其中前者為公開的軍事車輛數(shù)據(jù)集，后者為艦船數(shù)據(jù)集。

MSTAR數(shù)據(jù)集由美國國防高級研究計劃局和空間實驗室發(fā)布。該數(shù)據(jù)集由X波段、HH極化方式、高分辨率聚束式星載合成孔徑雷達采集得到，共包括10類典型軍事目標(biāo)在0～360°不同姿態(tài)角下的靜止切片圖像和100幅場景圖(圖像尺寸為1 784像素×1 478像素)。為了獲得大場景SAR圖像下的軍事車輛樣本，利用合成的方法制作包含BMP2、BTR70和T72三類目標(biāo)的大場景SAR圖像。首先，建立包含100個場景的背景庫和包含1 283個目標(biāo)的目標(biāo)庫，其中587個目標(biāo)的SAR入射角為15°、696個目標(biāo)的SAR入射角為17°。然后，每次選取一幅背景圖像和若干個目標(biāo)合成一幅場景圖，共合成340幅大場景SAR圖像，圖5給出了合成示例。其中，包含2 730個目標(biāo)(SAR入射角為15°)的300幅場景圖用于模型訓(xùn)練，其余包含696個目標(biāo)(SAR入射角為17°)的40幅場景圖用于測試。訓(xùn)練過程中，一幅場景圖將被分割成一系列尺寸為400×400的子圖像(重疊率為20%)。在此基礎(chǔ)之上，對原始的SAR入射角為15°的587個目標(biāo)切片周圍的像素進行隨機填充，以匹配子圖像的大小，并為每個切片選擇兩個擴展圖像作為擴展數(shù)據(jù)集。數(shù)據(jù)集的詳細信息見表2。

圖5 大場景SAR圖像合成示例

表2 MSTAR數(shù)據(jù)集詳細信息

SSDD數(shù)據(jù)集包含由Radarsat-2、TerraSAR-X和Sentinel-1 SAR衛(wèi)星收集的總共1 160幅SAR圖像，含有2 456個尺度變化范圍較大的艦船目標(biāo)，場景類型包含港口、島礁、遠海區(qū)域等，適合驗證檢測算法對不同大小目標(biāo)的檢測能力以及對不同背景的適應(yīng)能力。該數(shù)據(jù)集中圖像的分辨率和尺寸均不固定，樣例如圖6所示, 詳細信息如表3所示。

圖6 SSDD數(shù)據(jù)集樣例

表3 SSDD數(shù)據(jù)集詳細信息

2.2 實驗設(shè)置

本文所有實驗均在配置為E5-2630v4 CPU，NVIDIA GTX-1080Ti GPU (11 GB顯存)，64 GB RAM的圖像工作站上進行，以深度學(xué)習(xí)框架Tensorflow為編譯工具完成。

網(wǎng)絡(luò)接收視野固定為608×608，則預(yù)測特征圖尺寸為152×152。訓(xùn)練過程中，利用基于ImageNet數(shù)據(jù)集訓(xùn)練的ResNet-101預(yù)訓(xùn)練模型初始化網(wǎng)絡(luò)參數(shù)，并采用“翻轉(zhuǎn)+裁剪”的數(shù)據(jù)增強技術(shù)擴增訓(xùn)練數(shù)據(jù)集，提升模型的魯棒性。MSTAR數(shù)據(jù)集訓(xùn)練80輪次，SSDD數(shù)據(jù)集訓(xùn)練50輪次，并采用初始學(xué)習(xí)率為1.25×10-4的Adam優(yōu)化器優(yōu)化損失函數(shù)。

2.3 消融實驗分析

CSAP-Net借助旋轉(zhuǎn)檢測(Rotation detection, RD)技術(shù)、基于注意力機制的特征層級聯(lián)策略(AC)和GIoU損失(LGIoU)實現(xiàn)了不同應(yīng)用場景下的目標(biāo)定向檢測。為了探究以上3種功能策略對檢測結(jié)果的影響，分別在MSTAR大場景數(shù)據(jù)集和SSDD數(shù)據(jù)集上進行了6組實驗，各組實驗的檢測結(jié)果如表4所示，其中“√”表示采用某項策略，而“×”表示不采用某項策略，AP表示平均準確率，mAP表示均值平均精度，兩者用于衡量模型的檢測精度，F(xiàn)PS(幀/s)表示檢測器每秒處理的圖像數(shù)量，用于衡量模型的檢測速度。

表4 CSAP-Net采用不同功能策略模塊的檢測結(jié)果

由表4可知，實驗1未附加任何策略，相當(dāng)于一個以ResNet-101的U型網(wǎng)絡(luò)結(jié)構(gòu)為特征提取網(wǎng)絡(luò)的CenterNet無錨框檢測模型，在MSTAR數(shù)據(jù)集上的mAP值達到了84.20%，檢測速度為18.21 FPS，在SSDD數(shù)據(jù)集上的AP值達到了90.29%，檢測速度為18.96 FPS。實驗2在實驗1的基礎(chǔ)上引入了旋轉(zhuǎn)角度θ，實現(xiàn)了對任意向目標(biāo)的旋轉(zhuǎn)檢測。如圖7所示，盡管θ能夠指示目標(biāo)的朝向信息，為觀測者提供更多的可依據(jù)判定信息，然而由于預(yù)測邊框與真實邊框之間的IoU對θ十分敏感，而實驗2的檢測模型對θ的約束力又略有不足，致使檢測性能有所下降，相較于實驗1，在兩個數(shù)據(jù)集上的檢測精度分別降低了3.24%、5.97%。在實驗2基礎(chǔ)上，實驗3將基于注意力機制的特征層級聯(lián)策略引入檢測模型中，構(gòu)建信息豐富的高分辨率語義特征圖，為目標(biāo)預(yù)測提供強力支撐，相較于前者，在兩個數(shù)據(jù)集上的檢測精度分別提升了3.87%、4.55%。實驗4在實驗2的基礎(chǔ)上，將GIoU損失加入總損失當(dāng)中，增強檢測器對目標(biāo)位置參數(shù)尤其是旋轉(zhuǎn)角度θ的約束，兩個數(shù)據(jù)集上的檢測精度分別提升了8.32%、5.03%。實驗5的檢測模型即為CSAP-Net，在兩個數(shù)據(jù)集上的檢測精度達到了最優(yōu)，分別為93.93%、92.07%，且保持了16 FPS以上的檢測速度，達到了精度與速度的最佳均衡。

圖7 水平邊框和旋轉(zhuǎn)邊框檢測效果

2.4 與其他算法比較

為了驗證CSAP-Net在眾多檢測模型中的優(yōu)越性，將其與SSD[12]、R2CNN[13]、Faster RCNN++[14]、RRPN[15]、YOLOv3[7]、LRTDet[16]、R-DFPN[17]、CenterNet[10]、BBAVectors[11]等9種檢測模型進行比較。各種方法在MSTAR和SSDD數(shù)據(jù)集上的檢測結(jié)果定量比較如表5所示。

表5 不同算法的檢測結(jié)果比較

分析表5檢測結(jié)果，F(xiàn)aster RCNN++雖然采用了多層融合策略，在一定程度上綜合了高層語義信息和淺層細粒度特征，但主干網(wǎng)絡(luò)由5層卷積堆疊而成，其泛化能力不足以處理復(fù)雜的SAR圖像環(huán)境，導(dǎo)致檢測效果不理想。但由于其結(jié)構(gòu)簡單，檢測速度優(yōu)于其他雙階段網(wǎng)絡(luò)。R2CNN和RRPN均以ResNet-50作為主干網(wǎng)絡(luò)，并通過旋轉(zhuǎn)角度因子實現(xiàn)任意朝向目標(biāo)的定向檢測，但兩者對目標(biāo)特征的刻畫能力有限，在MSTAR和SSDD數(shù)據(jù)集上的檢測精度均低于83%。相較于前三者，R-DFPN與LRTDet在兩個數(shù)據(jù)集上的表現(xiàn)有所改善，但兩者均以復(fù)雜的模型結(jié)構(gòu)來換取性能的提升，從精度-速度效能以及檢測效率的角度來看，這是非常不明智的。SSD和YOLOv3作為應(yīng)用最為廣泛的單階段網(wǎng)絡(luò)，檢測速度比雙階段網(wǎng)絡(luò)有了大幅提高。然而，由于Mobilenet-v1削弱了SSD的泛化能力，致使其在兩個數(shù)據(jù)集上檢測效果較差，mAP(或AP)僅達57.50%和61.00%。YOLOv3以Darknet-53為主干網(wǎng)絡(luò)，且采用多層預(yù)測模式，有益于多尺度目標(biāo)檢測，在MSTAR上的mAP為78.19%、檢測速度為10.20 FPS，在SSDD上的AP為83.56%、檢測速度為11.60 FPS。以上網(wǎng)絡(luò)模型均為基于錨框的檢測方法，由于大量的錨框和計算冗余，導(dǎo)致其檢測速度較慢。CenterNet和BBAvectors是當(dāng)前性能比較優(yōu)異的無錨框檢測模型，CenterNet在SSDD上的性能要優(yōu)于BBAVectors，而后者在MSTAR上的表現(xiàn)更佳。BBAVectors通過直接預(yù)測一個包含12個參數(shù)的坐標(biāo)向量實現(xiàn)目標(biāo)定向檢測，在兩個數(shù)據(jù)集上的mAP(或AP)分別達91.94%、89.21%，但由于預(yù)測參數(shù)量的增大致使其檢測速度略輸于CenterNet。后者通過直接預(yù)測目標(biāo)中心點、寬和高實現(xiàn)目標(biāo)檢測，在兩個數(shù)據(jù)集上的mAP(或AP)分別達84.20%、90.29%，且檢測速度均高于18 FPS。值得注意的是，CenterNet是水平框檢測，而BBAVectors為旋轉(zhuǎn)框檢測(可提供目標(biāo)朝向信息)。CSAP-Net通過引入旋轉(zhuǎn)角度實現(xiàn)目標(biāo)定向檢測，并利用跳躍連接和注意力結(jié)構(gòu)提取極具表征力的高分辨率語義特征，訓(xùn)練過程引入GIoU損失和“翻轉(zhuǎn)+裁剪”的數(shù)據(jù)增強技術(shù)提升模型檢測性能，在兩個測試數(shù)據(jù)集上的mAP(或AP)分別達93.93%、92.07%，且保持了16 FPS以上的檢測速度。相較于具有相同功能的BBAVectors，CSAP-Net不僅檢測精度高，而且檢測速度提升了3.4 FPS。圖8展示了所提模型在不同應(yīng)用背景下的目標(biāo)檢測可視化結(jié)果，說明所提方法可有效完成不同背景下的多尺度、多類型目標(biāo)的定向檢測任務(wù)。

圖8 聯(lián)合模型在不同場景下的目標(biāo)檢測可視化結(jié)果

2.5 模型抗噪性分析

中心點預(yù)測是 CSAP-Net 的首要任務(wù)和關(guān)鍵，一旦中心點丟失，則會造成目標(biāo)漏檢。SAR圖像中存在著大量的相干斑噪聲，而且目標(biāo)與背景的對比度較低，這無疑給檢測器預(yù)測中心點帶來很大挑戰(zhàn)。因此分析檢測模型的抗噪性能至關(guān)重要。下面，對CSAP-Net的抗噪性能進行驗證，首先使用不同噪聲比(Noise ratio)的椒鹽噪聲污染原始測試集中的樣本，噪聲比分別設(shè)置為2%、4%、8%、10% 和 12%，而后利用原數(shù)據(jù)集訓(xùn)練的檢測模型對噪聲污染的測試集進行目標(biāo)檢測，測試結(jié)果如圖9所示。

圖9 CSAP-Net和CenterNet的檢測性能與噪聲比關(guān)系圖

由圖9可知，隨著噪聲比的增加，CSAP-Net和CenterNet都產(chǎn)生了不同程度的性能下降。當(dāng)噪聲比達到 6% 時，CSAP-Net 在兩個數(shù)據(jù)集上的 mAP 值仍然可以保持在 70% 以上甚至接近 80%，而 CenterNet 的 mAP 值則下降到 60% 以下。此外，當(dāng)噪聲比達到 12% 時，CSAP-Net 的 mAP 值保持在 50% 以上，遠遠高于CenterNet。說明CSAP-Net對噪聲有一定的抑制作用，驗證了其抗噪聲能力。結(jié)合2.3節(jié)中的消融實驗分析可推斷出，CSAP-Net的抗噪能力主要得益于3個方面：(1)注意力模塊可以抑制背景、突顯前景，引導(dǎo)檢測器關(guān)注包含更多目標(biāo)信息的區(qū)域，進而起到消除背景及噪聲干擾的目的；(2)旋轉(zhuǎn)定向檢測標(biāo)注的是目標(biāo)最小外接矩形，減小了邊框冗余，進一步降低了噪聲干擾；(3)GIoU 損失增強了對回歸邊框的約束，使檢測器更加穩(wěn)健。比較CSAP-Net在SSDD和MSTAR上的抗噪表現(xiàn)不難發(fā)現(xiàn)，隨著噪聲比的增加，檢測器性能在MSTAR數(shù)據(jù)集上的下降速度比SSDD數(shù)據(jù)集快。原因是在SSDD數(shù)據(jù)集中，目標(biāo)和背景之間的對比度較高，令其能夠承受一定程度的噪聲污染。相反，在 MSTAR 數(shù)據(jù)集中，目標(biāo)和背景的對比度本身并不占優(yōu)，而噪聲無疑會加劇這一劣勢。

3 結(jié)論

針對錨框機制所引起的大量冗余計算和模型通用性受限問題，本文提出了一種單階段無錨框深度學(xué)習(xí)框架CSAP-Net。該模型利用ResNet-101的U型結(jié)構(gòu)和特別設(shè)計的注意力模塊提取輸入樣本的高分辨率語義特征圖，突顯前景、抑制背景；在訓(xùn)練過程中引入GIoU損失消除旋轉(zhuǎn)角度θ引起的IoU誤差，彌補了平滑L1損失的不足，并采用“翻轉(zhuǎn)+裁剪”的數(shù)據(jù)增強技術(shù)擴增訓(xùn)練集，提升模型檢測能力，實現(xiàn)目標(biāo)定向檢測。CSAP-Net具有簡單、快速、準確的特點。在SSDD和MSTAR數(shù)據(jù)集上的實驗結(jié)果驗證了所提方法對不同復(fù)雜背景下的多類型目標(biāo)檢測的有效性和通用性。