方小宇, 黃麗佳,*

(1. 中國科學(xué)院空天信息創(chuàng)新研究院, 北京 100190; 2. 中國科學(xué)院空間信息處理與應(yīng)用系統(tǒng)技術(shù)重點(diǎn)實(shí)驗(yàn)室, 北京 100190; 3. 中國科學(xué)院大學(xué)電子電氣與通信工程學(xué)院, 北京 100049)

0 引 言

合成孔徑雷達(dá)(synthetic aperture radar, SAR)作為一種全天時(shí)全天候的主動(dòng)成像系統(tǒng),對于云霧具有很強(qiáng)的穿透性,非常適合用于海上目標(biāo)檢測[1-2]。由于SAR圖像船舶目標(biāo)尺度不一,且SAR圖像背景復(fù)雜,船舶目標(biāo)容易受到海面、地面雜波、相干斑噪聲等干擾影響,在檢測過程中容易造成漏檢和較高的虛警。因此,實(shí)現(xiàn)SAR圖像船舶目標(biāo)的精準(zhǔn)定位識別具有廣泛且可觀的應(yīng)用前景[3-5]。

傳統(tǒng)的SAR圖像船舶目標(biāo)檢測算法主要基于目標(biāo)與背景雜波之間的對比度差異來實(shí)現(xiàn)檢測,包括恒虛警率(constant false-alarm rate, CFAR)檢測算法[6]、模板匹配算法[7]、尾跡檢測算法[8]等。CFAR檢測是目前最常用的檢測技術(shù)之一。文獻(xiàn)[9]結(jié)合了實(shí)際應(yīng)用情況,在估計(jì)精度和速度之間取得了很好的平衡。文獻(xiàn)[10]引入了一種用于船舶探測的雙邊CFAR算法,減小了SAR圖像模糊度和背景雜波的影響。上述算法基于手工設(shè)計(jì)特征,效率較低,泛化性能較差,并且不適合復(fù)雜的檢測場景。隨著深度學(xué)習(xí)在光學(xué)圖像目標(biāo)檢測識別領(lǐng)域的迅速發(fā)展[11-16],在目標(biāo)檢測領(lǐng)域凝練出單階段、雙階段、無錨框、Transformer等思想,深度學(xué)習(xí)思想開始應(yīng)用于SAR圖像,取得了一系列顯著的效果。文獻(xiàn)[17]將區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region convolutional neural network, R-CNN)結(jié)構(gòu)應(yīng)用于SAR圖像目標(biāo)識別中,并使用較大的卷積核抑制SAR圖像中的相干斑噪聲。文獻(xiàn)[18]采用可變形CNN,通過改變卷積核對目標(biāo)的采樣點(diǎn)位置,增強(qiáng)了目標(biāo)的特征提取能力。文獻(xiàn)[19]采用無錨框的方法檢測船舶目標(biāo)來更好地適應(yīng)所檢測目標(biāo)的大小。文獻(xiàn)[20]使用強(qiáng)化學(xué)習(xí)思想自適應(yīng)搜索特征圖中可能含有目標(biāo)的區(qū)域,減少了背景雜波的影響,并降低了計(jì)算量。文獻(xiàn)[21]提出了一種淺層特征增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu),該結(jié)構(gòu)使用Inception結(jié)構(gòu),同時(shí)采用空洞卷積技術(shù)擴(kuò)大特征圖的視覺感受野,以增強(qiáng)網(wǎng)絡(luò)對小尺度船舶目標(biāo)的適應(yīng)性。

特征是目標(biāo)檢測算法迭代學(xué)習(xí)的主要依據(jù),因此優(yōu)化送入檢測網(wǎng)絡(luò)的特征可以最直接地提升算法的各項(xiàng)性能,其中被廣泛使用的模塊包括使用注意力機(jī)制聚焦關(guān)鍵特征和使用特征金字塔網(wǎng)絡(luò)(feature pyramid network, FPN) 融合多尺度特征。在注意力機(jī)制方面,文獻(xiàn)[22]使用SE(squeeze-and-excitation),將圖像中的空間信息轉(zhuǎn)化為掩模,并對其進(jìn)行評分,以提取關(guān)鍵信息,進(jìn)而供檢測網(wǎng)絡(luò)參考;文獻(xiàn)[23]引入轉(zhuǎn)移注意力機(jī)制,具體思想是對于每個(gè)注意力模塊,設(shè)計(jì)一個(gè)覆蓋所有位置的注意力掩膜,凸顯正確的語義特征區(qū)域。在FPN方面,文獻(xiàn)[24]采用自上而下的方式構(gòu)建了一個(gè)四層尺度的FPN,該網(wǎng)絡(luò)可以利用候選區(qū)域及其周圍上下文信息,為檢測器提供更高質(zhì)量的分類置信度和目標(biāo)最終得分,從而增強(qiáng)對小目標(biāo)的語義信息提取能力;文獻(xiàn)[25]將FPN擴(kuò)展為四部分,高度融合了主干網(wǎng)絡(luò)提取的不同尺度的特征,提高了網(wǎng)絡(luò)對小目標(biāo)船舶的檢測能力。

雖然上述方法的使用在多個(gè)方面提升了對于SAR圖像船舶目標(biāo)的檢測性能,但仍有一定不足:一是這些方法大多使用SE[26]或者卷積塊注意力機(jī)制(convolutional block attention module, CBAM)[27]進(jìn)行關(guān)鍵特征提取,這些基于局部信息的卷積模塊強(qiáng)調(diào)目標(biāo)及其周邊范圍的局部灰度信息,然而受到復(fù)雜海況和陸況的影響,這些局部信息往往包含了許多背景信息,從而極大地影響了網(wǎng)絡(luò)對船舶特征的提取;二是SAR圖像的復(fù)雜背景使得網(wǎng)絡(luò)提取的特征具有語義歧義問題,造成嚴(yán)重的漏檢和虛警,而特征金字塔融合過程加劇了復(fù)雜場景下的語義歧義問題,現(xiàn)有的研究大多是從加深特征融合程度的角度開展研究,無法解決特征融合導(dǎo)致的歧義加劇問題。

針對以上問題,本文在Faster R-CNN的基礎(chǔ)上,提出了基于全局位置信息和殘差特征融合的SAR船舶目標(biāo)檢測網(wǎng)絡(luò)(SAR ship target detection network, SSDNet)算法,其特點(diǎn)包括:① 設(shè)計(jì)高-寬注意力機(jī)制(height-width attention mechanism, HWAM),通過將傳統(tǒng)通道維度的權(quán)重系數(shù)拆分為一組沿著高度和寬度維度編碼得到的權(quán)重系數(shù),利用船舶自身的灰度特征和形狀特征提取目標(biāo)在SAR圖像中的全局位置,提高網(wǎng)絡(luò)特征的表達(dá)能力;② 提出一個(gè)帶有殘差連接的雙向FPN(bi-directional FPN with resdual connection, ResFPN),在充分融合淺層像素信息和深層語義信息的基礎(chǔ)上,基于殘差連接的思想,通過融合原始特征圖減輕復(fù)雜背景下特征融合加深語義歧義的問題。最后開展多組實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明本文所提算法有效提取了SAR圖像船舶目標(biāo)的多維特征,有效削弱了特征融合引發(fā)的語義歧義,提升了船舶目標(biāo)的檢測性能和泛化性能。

1 SSDNet

1.1 整體網(wǎng)絡(luò)框架

本文算法的基準(zhǔn)方法為帶有FPN的Faster R-CNN算法[28],整體框架如圖1(a)所示。該方法首先利用一組普通卷積和stride為2的池化層對輸入圖片分別進(jìn)行特征提取和下采樣操作,對于每一層尺度不同的特征層都進(jìn)行FPN融合處理,然后將處理過的特征圖送入?yún)^(qū)域建議網(wǎng)絡(luò)(region proposal network, RPN)提取候選框,經(jīng)感興趣區(qū)域池化(region of interest align, RoIAlign)處理后送入檢測頭(detection head, DetHead)執(zhí)行檢測任務(wù)。該算法在執(zhí)行SAR船舶檢測任務(wù)中面臨兩個(gè)問題:一是特征提取階段只使用了簡單的卷積操作,對于船舶這類相對尺度較小的目標(biāo),難以學(xué)習(xí)到有效特征;并且對于復(fù)雜背景下的船舶目標(biāo),易受雜波和噪聲的干擾,影響提取到的特征。二是傳統(tǒng)的FPN通過一條自頂向下的特征融合通道,將高層的語義信息融合進(jìn)低層的像素信息中,忽略了像素信息對語義信息的作用,針對不同尺度的艦船目標(biāo),檢測效果不佳。本文在Faster R-CNN的基礎(chǔ)上提出一個(gè)基于HWAM和ResFPN的SSDNet,整體結(jié)構(gòu)圖如圖1(b)所示。主要改進(jìn)點(diǎn)如下:一是設(shè)計(jì)HWAM來增強(qiáng)網(wǎng)絡(luò)對船舶目標(biāo)多維特征的提取;二是設(shè)計(jì)ResFPN對高層語義特征和低層像素特征進(jìn)行更充分的融合,并減輕語義歧義。

1.2 注意力機(jī)制

SAR船舶目標(biāo)檢測中存在著建筑物、島嶼等具有類似灰度分布的物體被誤認(rèn)為船舶目標(biāo),以及網(wǎng)絡(luò)對于重疊的船舶缺乏鑒別能力,導(dǎo)致虛警、漏檢等問題。為了解決這些問題,注意力機(jī)制被引入到深度學(xué)習(xí)網(wǎng)絡(luò)中。該機(jī)制源于人類視覺特點(diǎn),使網(wǎng)絡(luò)模擬人眼選擇性地關(guān)注圖像的重要部分,并將有限的資源分配給這些部分,一定程度上可以提高網(wǎng)絡(luò)檢測的準(zhǔn)確性和穩(wěn)定性。與自然圖像不同,SAR圖像中的船舶目標(biāo)通常表現(xiàn)為強(qiáng)散射目標(biāo),因此在網(wǎng)絡(luò)中引入注意力機(jī)制可以對網(wǎng)絡(luò)進(jìn)行優(yōu)化。通過多次迭代學(xué)習(xí),注意力機(jī)制可以對原特征圖的各區(qū)域賦予不同的重要性,從而突出真正值得關(guān)注的船舶目標(biāo),逐漸削弱干擾目標(biāo)。這種方法適用于各種復(fù)雜的海況和陸況環(huán)境,可以提高船舶目標(biāo)檢測的準(zhǔn)確性和穩(wěn)定性。借鑒文獻(xiàn)[29]的思想,本文提出HWAM。在特征提取階段逐層使用HWAM,通過引入船舶目標(biāo)在圖像中的全局位置信息,增強(qiáng)對船舶特征的提取,其結(jié)構(gòu)如圖2所示。其中,C、H、W分別表示輸入的通道、高度和寬度維度;R為調(diào)節(jié)參數(shù),一般取16。

圖2 HWAM結(jié)構(gòu)圖Fig.2 HWAM structure diagram

HWAM將通道維度全局池化的二維操作分解為高度維度和寬度維度兩個(gè)獨(dú)立的一維操作。HWAM采用全局最大池化(global max pooling, GMP)而非全局平均池化(global average pooling, GAP)來對高度和寬度維度進(jìn)行全局池化。船舶目標(biāo)擁有復(fù)雜的結(jié)構(gòu),電磁波照射到船體之后會形成一個(gè)單次散射、二次散射、體散射等多種混合散射組成的散射集合,且船舶目標(biāo)的雷達(dá)散射截面較大,擁有較強(qiáng)的后向散射能力,具體在圖像中表現(xiàn)為灰度值較大的區(qū)域,因此使用GMP選取通道內(nèi)最大灰度值的像素點(diǎn),可以最大限度保留真實(shí)的艦船目標(biāo),過濾出假目標(biāo)。針對高度和寬度為H和W的特征圖,用尺度為H×1和1×W的全局池化卷積核沿著圖像水平和垂直兩個(gè)方向進(jìn)行編碼,分別保留指定維度所有輸入值中的最大值,特征圖中每一個(gè)通道的輸出均為具有方向感知能力的特征圖。得到的特征圖的每個(gè)像素點(diǎn)的值分別表示如下:

(1)

(2)

這一對特征圖分別經(jīng)過兩組1×1卷積和激活函數(shù)的通道壓縮與拉伸后,生成C×1×W和C×H×1兩個(gè)分別對應(yīng)特征圖高、寬兩個(gè)維度的權(quán)重圖,最后與經(jīng)過5×5卷積調(diào)整的原始特征圖同時(shí)進(jìn)行兩個(gè)維度的乘法運(yùn)算,達(dá)到同時(shí)對特征圖通道和空間特征進(jìn)行增強(qiáng)的效果。HWAM的詳細(xì)計(jì)算過程如下所示:

(3)

(4)

F(x)=conv(Relu(conv(x)))

(5)

out(xi,j)=F(xi,j)*Wwidth(j)*Wheight(i)

(6)

式中:xi,j∈RC×H×W為輸入的特征圖;maxpool()為全局池化操作,高、寬兩個(gè)分支的全局池化分別將特征圖的H和W兩個(gè)維度壓縮為1;Fw()和Fh()是通用卷積函數(shù),主要作用是對通道信息進(jìn)行融合;通過Relu激活函數(shù)將輸入值轉(zhuǎn)換為非負(fù)權(quán)值,解決非線性問題,得到權(quán)重系數(shù)。Relu激活函數(shù)不存在梯度彌散問題,計(jì)算簡單、收斂速度快,是目前最常用的激活函數(shù),其計(jì)算過程如下所示:

f(x)=max{0,x}

(7)

最終,輸出的特征圖是原特征圖和高、寬兩個(gè)分支的權(quán)重系數(shù)的乘積。

如圖3(b)所示,基于局部信息的注意力機(jī)制(如CBAM)的思想是通過卷積運(yùn)算由目標(biāo)中心向周圍擴(kuò)散,最終捕獲一片正方形區(qū)域的信息,這種方式會將船舶周圍的背景雜波和噪聲也捕獲進(jìn)去,導(dǎo)致檢測結(jié)果中出現(xiàn)大量重疊的虛警。HWAM對高度維度和寬度維度進(jìn)行編碼壓縮后得到一對具有方向感知能力的特征圖,使網(wǎng)絡(luò)捕獲到沿著某一空間方向的變化情況。通過這種水平和垂直的交叉捕獲方式,讓網(wǎng)絡(luò)在決策感興趣目標(biāo)時(shí),關(guān)注其水平和垂直維度的特征,而不僅僅關(guān)注目標(biāo)的灰度特征。如圖3(c)所示,船舶目標(biāo)作為一種典型的近似狹長橢圓形目標(biāo),充分利用這一形狀特征,使用水平和垂直的交叉捕獲方式,可以很好地將船舶目標(biāo)與其他干擾物區(qū)分開。

圖3 注意力機(jī)制定位原理示意圖Fig.3 Schematic diagram of positioning principle of attention mechanism

在特征提取網(wǎng)絡(luò)中使用HWAM綜合利用了目標(biāo)的位置信息和灰度值信息,在迭代過程中不斷朝著船舶部分聚焦,并逐漸削弱會引起虛警的噪聲和背景干擾物,有效增強(qiáng)了特征圖的細(xì)節(jié)表現(xiàn),有利于后續(xù)特征融合和目標(biāo)檢測。

1.3 FPN

FPN可以實(shí)現(xiàn)對不同尺度的特征進(jìn)行聚合,核心思想是通過一條自頂向下的線路將高層的語義特征添加到每一層特征圖上,因此對于尺度較大的目標(biāo)具有顯著的檢測性能提升,而船舶目標(biāo)尺度通常較小,因此傳統(tǒng)的FPN對于小尺度船舶檢測能力幾乎沒有提升。文獻(xiàn)[30]提出的路徑聚合網(wǎng)絡(luò)(path aggregation network, PANet)在一定程度上解決了這一問題,通過添加自底向上的特征融合路徑,將底層像素級特征添加到高層語義特征中,加強(qiáng)對小尺度目標(biāo)的檢測能力。但是,PANet對于復(fù)雜情況下的SAR船舶目標(biāo)檢測存在語義歧義加重的問題,在往復(fù)的特征融合過程中,船舶目標(biāo)和周圍的干擾物逐漸模糊,導(dǎo)致網(wǎng)絡(luò)無法對其進(jìn)行區(qū)分,容易造成漏檢和虛警。

為了得到更好的檢測性能,本文提出了ResFPN,該模塊首先延用了PANet中的雙向特征融合網(wǎng)絡(luò),使得低層特征圖保留了較多的對小目標(biāo)檢測有利的像素級特征,這些特征傳遞到高層有助于在語義信息中添加像素級信息,綜合提升了對于中小目標(biāo)的檢測能力。針對存在的語義歧義加重問題,添加了一個(gè)殘差連接來增強(qiáng)原始特征,由于殘差特征來自于同一層,增加的計(jì)算量可以忽略不計(jì)。圖4(a)給出殘差特征加入后增強(qiáng)特征的示意圖,新增的殘差連接發(fā)生在特征融合之后,目的是讓網(wǎng)絡(luò)學(xué)習(xí)新加入特征的重要性,通過設(shè)置適當(dāng)?shù)臋?quán)重α讓網(wǎng)絡(luò)分清哪些是原始特征,哪些是雙向FPN融合生成的新特征,在迭代過程中逐漸重視對目標(biāo)判別有利的新特征。在經(jīng)過金字塔特征融合后,原始特征發(fā)生模糊;在加入原始特征圖后,目標(biāo)的特征又重新突出。表1以全類平均正確率(mean average precision, mAP)作為評價(jià)標(biāo)準(zhǔn),實(shí)驗(yàn)表明不同的權(quán)重α代表了對原有特征和新特征賦予不同的重要性,對最后的檢測結(jié)果影響也不同。

圖4 ResFPN的特征融合過程Fig.4 Feature fusion process of ResFPN

表1 不同α的取值對檢測結(jié)果的影響Table 1 Influence of different α value on detection results

本文中權(quán)重α不隨網(wǎng)絡(luò)迭代而變化,因?yàn)樵趯?shí)驗(yàn)中發(fā)現(xiàn),變化權(quán)重α?xí)尵W(wǎng)絡(luò)變得不穩(wěn)定,當(dāng)α取值為0.5時(shí),取得最高的檢測性能。

文獻(xiàn)[21]發(fā)現(xiàn)在CNN中,卷積核的大小越大,輸出的每一個(gè)元素所擁有的感受野越大,包含的原始特征信息量越多,在SAR圖像中對相干斑噪聲的抑制效果就越強(qiáng)。原文中通過使用5×5卷積替換3×3卷積實(shí)現(xiàn)了感受野的加大,但是這種方式增加了參數(shù)量,且提升效果也不夠明顯。ResFPN在不提升參數(shù)量的前提下,采用改良的Inception模塊[31]替換原本的3×3卷積,提升感受野,增強(qiáng)深度特征。

如圖4(b)所示,將通道數(shù)為C的輸入特征圖拆解為卷積核尺度分別為1×1、3×3、兩組3×3、5×5的普通卷積層,每個(gè)卷積后都有一組批歸一化(batch normalization, BN)處理和Relu激活函數(shù),最后再將這些通道連接起來,提高特征圖的語義信息。這些卷積層的通道數(shù)均為C/4。使用普通卷積的參數(shù)量和使用改良Inception結(jié)構(gòu)的參數(shù)量分別為9C2和4.25C2,參數(shù)量幾乎降低為原先的二分之一:

3×3×C×C=9C2

(8)

(9)

圖4(c)為ResFPN特征層的融合連接圖。當(dāng)前特征層Ci經(jīng)過Inception卷積增強(qiáng)后,與下采樣的上層Ci+1線性相加;整體再次經(jīng)過Inception卷積調(diào)整后再與經(jīng)過上采樣的下層Bi-1和當(dāng)前層Ci加權(quán)融合得到待檢測層Pi。最后將不同尺度的待檢測層以級聯(lián)的方式送入RPN提取候選區(qū)域。過程如下所示:

Pi=αCi⊕up(Bi-1)⊕inception(down(Ci+1)⊕inception(Ci))

(10)

Candidates=RPN(P1,P2,P3,P4,P5)

(11)

使用ResFPN模塊一方面增強(qiáng)了各層特征圖中像素級特征的占比,抽象的語義特征和直觀的像素特征得到更充分的融合,有利于檢測船舶這樣相對尺度減小的目標(biāo)。另一方面,殘差連接使最終送入檢測網(wǎng)絡(luò)的特征圖中保留下對船舶檢測有利的特征,同時(shí)這些特征被自底向上的通道加入到高層特征圖中,過濾無效信息,船舶的一些關(guān)鍵特征變得清晰。檢測網(wǎng)絡(luò)憑借關(guān)鍵特征定位船舶位置,減少漏檢和虛警,提升網(wǎng)絡(luò)的檢測性能。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)平臺與超參數(shù)設(shè)置

本文實(shí)驗(yàn)均運(yùn)行在Ubuntu20.04系統(tǒng)中,所用語言主要為Python;所用深度學(xué)習(xí)開發(fā)框架為Pytorch 1.9.0,torchvison版本為0.10.0。本文所有實(shí)驗(yàn)都使用相同的參數(shù),具體設(shè)置如下:

(1) 訓(xùn)練階段的batch_size為8,訓(xùn)練次數(shù)為60輪,并采用期間表現(xiàn)最好的網(wǎng)絡(luò)權(quán)重文件進(jìn)行驗(yàn)證。

(2) 采用隨機(jī)梯度下降(stochastic gradient descent, SGD)優(yōu)化器更新網(wǎng)絡(luò)參數(shù),初始學(xué)習(xí)率為0.005,權(quán)重衰減系數(shù)為0.000 5,動(dòng)量因子為0.9,每經(jīng)過3輪訓(xùn)練學(xué)習(xí)率會降低為原來的1/3。

(3) 所有圖片樣本在準(zhǔn)備階段統(tǒng)一調(diào)整為512×512,對于大場景實(shí)驗(yàn)數(shù)據(jù)采用滑窗法獲得切片樣本,滑動(dòng)步長為256×256。

2.2 數(shù)據(jù)集介紹

為了驗(yàn)證本文所提方法的檢測性能,選取公開的SAR船舶檢測數(shù)據(jù)集(SAR ship detection dataset, SSDD)[32],該數(shù)據(jù)集圖像來源包括RadarSar-2、TerraSAR-X 和 Sentinel-1衛(wèi)星,分辨率在1～15 m不等,圖像尺寸為500像素×500像素,共計(jì)1 160張SAR圖像。數(shù)據(jù)集模仿PASCAL VOC數(shù)據(jù)集構(gòu)建,本文隨機(jī)將數(shù)據(jù)集按照7∶1∶2分為訓(xùn)練集、驗(yàn)證集和測試集。

為了驗(yàn)證本文方法的泛化性能,選取高分三號衛(wèi)星雷達(dá)數(shù)據(jù),使用SSDD的預(yù)訓(xùn)練模型進(jìn)行泛化實(shí)驗(yàn)。

2.3 評價(jià)指標(biāo)

目標(biāo)檢測任務(wù)中常用的評價(jià)指標(biāo)是精度均值(average precision, AP),取值范圍在[0,1]之間,代表在不同召回率下精確率的均值。本文使用COCO評價(jià)指標(biāo)來對方法的檢測精度進(jìn)行評價(jià),主要關(guān)注mAP50和mAP75兩個(gè)指標(biāo),分別代表交并比(intersection over union, IoU)為50%和75%時(shí)的AP,說明了算法的目標(biāo)檢測能力和邊框回歸能力。此外,根據(jù)準(zhǔn)確率和召回率繪制各算法的準(zhǔn)確率-召回率(precision-recall, PR)曲線:

(12)

其中,準(zhǔn)確率和召回率的定義分別為

(13)

(14)

式中:TP是預(yù)測為真實(shí)際為真的真正例;FP是預(yù)測為真實(shí)際為假的假正例;FN是預(yù)測為假實(shí)際為真的假反例。PR曲線的飽滿程度代表了方法的檢測性能的優(yōu)秀程度。

本文實(shí)驗(yàn)使用iter/s作為檢測速度評價(jià)標(biāo)準(zhǔn),代表網(wǎng)絡(luò)在1 s內(nèi)可以完成訓(xùn)練的batch_size數(shù),值越大表示模型的檢測速度越快。

2.4 對比實(shí)驗(yàn)

為了評估本文方法的檢測性能,與文獻(xiàn)[28]提出的帶有FPN結(jié)構(gòu)的Faster R-CNN目標(biāo)檢測算法、文獻(xiàn)[22]提出的基于回歸模型與注意力的輕量化SAR艦船檢測模型(簡稱為ImShips)和文獻(xiàn)[25]提出的4層FPN(quad FPN, QUAD-FPN)目標(biāo)檢測算法在SSDD上進(jìn)行對比實(shí)驗(yàn)。其中,文獻(xiàn)[29]是本文的基準(zhǔn)方法,文獻(xiàn)[23]使用了SE作為注意力機(jī)制,文獻(xiàn)[26]設(shè)計(jì)了復(fù)雜的FPN結(jié)構(gòu),均是近兩年效果優(yōu)秀的SAR船舶目標(biāo)檢測算法。表2給出了本文方法在SSDD與上述方法的對比實(shí)驗(yàn)結(jié)果。結(jié)果顯示,本文方法在mAP、mAP50、mAP75、小目標(biāo)、中目標(biāo)和大目標(biāo)6個(gè)指標(biāo)中均取得最優(yōu),相較于次優(yōu)的艦船目標(biāo)檢測網(wǎng)絡(luò)QUAD-FPN分別取得了2.0%、2.4%、4.6%、2.7%、2.3%和2.2%的提升。在檢測速度方面,本文模型在Faster R-CNN的基礎(chǔ)上添加了諸多模塊,因此檢測速度略有下降,但并不影響實(shí)際的應(yīng)用體驗(yàn),具有較高的綜合檢測性能。

表2 在SSDD上與其他方法的比較Table 2 Comparison with other methods on SSDD

圖5繪制了ImShips、QUAD-FPN和本文方法在SSDD的驗(yàn)證集上的PR曲線,本文方法的PR曲線在IoU=0.5和IoU=0.75兩種情況下繪制得均更加飽滿,表明本文方法的檢測性能和錨框的定位效果均更出色。

圖5 不同方法的PR曲線Fig.5 PR curves of different methods

為了充分展示本文算法的各項(xiàng)性能,圖6給出了各方法在SSDD中5種典型困難場景下的檢測情況。在岸邊停泊的尺度不一的船舶目標(biāo)檢測場景下,其他方法對于小尺度船舶都存在漏檢問題,ImShips出現(xiàn)岸邊的虛警,本文算法全部檢測出圖中的3艘船舶;在包含岸邊建筑物干擾的檢測場景下,Faster R-CNN將港口內(nèi)的船認(rèn)定為建筑物而漏檢,ImShips和QUAD-FPN產(chǎn)生少量虛警,本文算法全部檢測出港口內(nèi)的船舶和岸邊的船舶;在船舶重疊并伴隨大量相干斑噪聲場景下,本文算法相比其他方法實(shí)現(xiàn)更高的檢測率,并產(chǎn)生最少的虛警;在包含島嶼的船舶檢測場景下,本文算法學(xué)習(xí)到島嶼與船舶的區(qū)別,沒有產(chǎn)生虛警。在較為復(fù)雜的場景下,本文算法在沒有漏檢的前提下實(shí)現(xiàn)最少虛警,并且以最高的置信度標(biāo)注出真實(shí)船舶目標(biāo)。

圖6 SSDD中的5種典型場景檢測效果對比Fig.6 Comparison of five typical scene detection effects in SSDD

綜上所述,本文算法改善了多尺度船舶目標(biāo)檢測能力,實(shí)現(xiàn)了不同場景下的船舶檢測,提高了多種復(fù)雜場景下的檢測準(zhǔn)確率,并且均以較高的置信度標(biāo)注出船舶目標(biāo),證明本文算法具有較好的目標(biāo)檢測能力和邊框回歸能力。

2.5 消融實(shí)驗(yàn)

為了分析本文設(shè)計(jì)使用的兩個(gè)模塊的有效性,本節(jié)實(shí)驗(yàn)分別對基準(zhǔn)算法Faster R-CNN、僅使用HWAM、僅使用ResFPN和兩個(gè)模塊均使用這4種組合進(jìn)行消融實(shí)驗(yàn)。表3和圖7分別給出了在SSDD上的實(shí)驗(yàn)結(jié)果表和各算法組合的PR曲線圖。

表3 在SSDD上的消融實(shí)驗(yàn)Table 3 Ablation experiments on SSDD %

圖7 消融實(shí)驗(yàn)的PR曲線圖Fig.7 PR curves in ablation experiments

由表3可知,使用HWAM的方法對各尺度船舶目標(biāo)的檢測均有提升,因?yàn)镠WAM更好地提取了船舶目標(biāo)的特征,抑制了背景雜波和干擾物,對重疊的船舶和密集的船舶都達(dá)到更好的區(qū)分作用。使用ResFPN的方法對于小尺度和大尺度船舶均取得優(yōu)秀的檢測效果,因?yàn)楸疚脑O(shè)計(jì)的特征融合策略使得底層像素級特征和頂層語義級特征更充分地融合,充足的特征讓網(wǎng)絡(luò)更容易學(xué)習(xí)到船舶目標(biāo)的關(guān)鍵特征。最后,本文算法融合二者的特點(diǎn),在AP方面取得最佳的檢測效果。

圖8給出了不同組合的實(shí)際場景檢測圖。圖8(b)是使用Faster R-CNN進(jìn)行檢測的結(jié)果,由于特征沒有被充分的提取,產(chǎn)生很多漏檢。圖8(c)是新增使用HWAM作為注意力機(jī)制的檢測結(jié)果,成功提取出港口內(nèi)的船舶目標(biāo),但是邊框回歸不夠準(zhǔn)確,且依舊存在少量虛警。圖8(d)是新增使用ResFPN的檢測結(jié)果,相比較Faster R-CNN大幅度提升了檢測率。圖8(f)是在HWAM的基礎(chǔ)上使用ResFPN的結(jié)果,殘差特征的引入明顯使得虛警得到進(jìn)一步的抑制,并且由于ResFPN充分融合高層和低層的特征,目標(biāo)的邊框回歸也更準(zhǔn)確。

圖8 消融實(shí)驗(yàn)檢測結(jié)果對比圖Fig.8 Comparison diagram of ablation experiment detection results

本文在第1.3節(jié)使用改良的Inception結(jié)構(gòu)替換了原始的3×3卷積來提升感受野,如表4所示,使用改良Inception結(jié)構(gòu)在AP方面提升了1.8%。圖8(e)為使用3×3卷積的實(shí)際場景檢測結(jié)果,圖8(f)為使用改良Inception結(jié)構(gòu)的實(shí)際場景檢測結(jié)果。網(wǎng)絡(luò)的感受野加大后,進(jìn)一步增強(qiáng)了特征的提取能力,有效提升了網(wǎng)絡(luò)的檢測性能。

表4 不同卷積結(jié)構(gòu)檢測結(jié)果對比Table 4 Comparison of different convolutional structures detection results %

圖9給出了不同組合在預(yù)測過程中同一時(shí)刻的特征圖。HWAM模塊的加入使得船舶目標(biāo)和非船舶目標(biāo)之間產(chǎn)生清晰的界限,網(wǎng)絡(luò)權(quán)值更加有效地定位到船舶目標(biāo);進(jìn)一步加入ResFPN后,特征圖中的船舶目標(biāo)和背景完全分隔開來,方法的最終檢測性能得到提升。綜上所述,本文提出的HWAM模塊和ResFPN模塊對于SAR船舶目標(biāo)檢測任務(wù)均有提升。

圖9 消融實(shí)驗(yàn)特征圖Fig.9 Feature map of ablation experiments

2.6 泛化實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文算法的泛化性能和實(shí)際應(yīng)用能力,選取高分三號數(shù)據(jù)進(jìn)行泛化實(shí)驗(yàn)。具體實(shí)驗(yàn)方式是使用第2.4節(jié)本文算法在SSDD數(shù)據(jù)集上的網(wǎng)絡(luò)權(quán)重文件,將驗(yàn)證集替換為高分三號數(shù)據(jù),訓(xùn)練25個(gè)epoch得到COCO驗(yàn)證指標(biāo)。實(shí)驗(yàn)結(jié)果如表5所示,本文算法在25個(gè)epoch后獲得80.2%的AP,相比較次優(yōu)的QUAD-FPN提升了5.8%,在其他5項(xiàng)指標(biāo)中均取得最優(yōu)的檢測精度。

表5 在AIR-SARShip數(shù)據(jù)集上的泛化實(shí)驗(yàn)Table 5 Generalization experiment on AIR-SARShip dataset %

圖10為泛化實(shí)驗(yàn)的實(shí)際場景檢測圖。在近岸場景中,Faster R-CNN、ImShips和QUAD-FPN算法均出現(xiàn)不同程度的虛警,本文算法沒有虛警;在遠(yuǎn)海場景下,Faster R-CNN和ImShips算法在平靜海面上均出現(xiàn)不同程度的漏檢,QUAD-FPN算法雖然將船舶目標(biāo)全部檢出,但是產(chǎn)生了虛警。圖10(e)代表的本文算法達(dá)到最好的檢測效果,漏檢率和虛警率都是最低的。

圖10 泛化實(shí)驗(yàn)檢測結(jié)果對比圖Fig.10 Comparison diagram of generalization experiments detection results

綜上所述本文算法在泛化性能上也超過其他SAR船舶目標(biāo)檢測算法,具有較高的實(shí)用性。

3 結(jié) 論

SAR船舶檢測將持續(xù)作為海面目標(biāo)檢測的熱點(diǎn)問題,針對目前存在的問題:一是SAR圖像船舶目標(biāo)尺度不一,難以提取目標(biāo)的多尺度特征;二是在復(fù)雜場景下船舶目標(biāo)容易受背景雜波和相干斑噪聲的干擾,造成漏檢和虛警。本文基于Faster R-CNN提出SSDNet。該算法針對SAR圖像船舶目標(biāo)的特點(diǎn),首先提出HWAM來提取目標(biāo)的全局位置信息,基于水平和垂直維度的交叉捕獲方式突出圖像中的真實(shí)船舶目標(biāo);其次提出ResPFN來增強(qiáng)有用特征的提取能力和高低維特征的融合能力,并使用Inception結(jié)構(gòu)擴(kuò)大卷積感受野,適當(dāng)減輕相干斑噪聲的影響。通過大量對比實(shí)驗(yàn)、消融實(shí)驗(yàn)和泛化實(shí)驗(yàn),本文算法相比于基準(zhǔn)算法和部分主流SAR船舶目標(biāo)檢測算法,漏檢率和虛警率明顯降低,SSDNet的平均準(zhǔn)確率達(dá)到了98.2%。在高分三號數(shù)據(jù)上的平均準(zhǔn)確率達(dá)到了80.2%,表明本文算法具有較高的檢測性能和泛化性能。實(shí)際檢測場景圖表明,本文方法有效減少了不同場景下的船舶目標(biāo)的漏檢和虛警,提高了邊框回歸能力,具有較高的實(shí)用性。