李利杰，鄒國兵

(1.寧波城市職業(yè)技術(shù)學(xué)院，浙江 寧波 315100；2.上海大學(xué) 計算機(jī)工程與科學(xué)學(xué)院，上海 200444)

0 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)是一種主動式遙感傳感器，具有全天時、全天候、遠(yuǎn)距離和超幅寬等工作特性，在艦船檢測領(lǐng)域具有不可替代的優(yōu)勢和地位[1]，可用于輔助海上交通管控、海盜監(jiān)控和規(guī)范捕魚等海事活動。因此，世界各國在SAR艦船檢測技術(shù)的研究上開展了大量的工作，該領(lǐng)域的競爭也日益激烈。

傳統(tǒng)的SAR圖像艦船檢測算法的性能依賴于業(yè)界專家的先驗知識，針對特定的目標(biāo)類型需要設(shè)計相適應(yīng)的特征提取模型，模型的場景通用性差，且計算復(fù)雜耗時、檢測效果不佳。如恒虛警(Constant False Alarm Ratio，CFAR)類檢測算法[2-4]以海雜波建模為基礎(chǔ)，將艦船目標(biāo)認(rèn)為是異常像素從雜波中提取出來，再依據(jù)隨機(jī)森林、支持向量機(jī)(Support Vector Machine，SVM)和Adaboost等分類器進(jìn)行分類識別。此類方法無法正確描述目標(biāo)特征，不能對艦船和虛假目標(biāo)進(jìn)行有效區(qū)分。基于特征的檢測算法[5-7]主要采用人工設(shè)計的特征(如SIDI特征、SURF特征和HOG特征等)，通過抽取一種或組合多種特征(如灰度、幾何、紋理和對比度等)來表征目標(biāo)，完成目標(biāo)檢測。此類方法提取的是簡單特征，易造成表征不足、魯棒性差等問題，導(dǎo)致檢測任務(wù)存在很大的不確定性。近年來，隨著深度學(xué)習(xí)算法的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)在大規(guī)模視覺識別挑戰(zhàn)賽上拔得頭籌，迅速成為目標(biāo)檢測領(lǐng)域一大研究熱點(diǎn)，并隨之拓展出一系列性能優(yōu)異的檢測模型，如R-CNN系列[8-10]、YOLO系列[11-13]和SSD系列[14-15]等。但將其應(yīng)用于SAR圖像艦船檢測時，檢測性能往往會急劇下降，原因可歸納為3點(diǎn)：一是艦船目標(biāo)尺度動態(tài)范圍大，檢測模型無法形成有效的分級特征表達(dá)；二是小尺度目標(biāo)占比多，難以提取高層語義特征；三是視覺線索匱乏，艦船存在“空洞”“斷裂”等結(jié)構(gòu)缺失，且邊緣信息不完善。

針對SAR圖像艦船目標(biāo)檢測中存在的問題，并根據(jù)艦船目標(biāo)自身特性，本文提出了一種基于深度學(xué)習(xí)與非下采樣剪切波的SAR圖像艦船檢測算法。通過非下采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)提取SAR圖像的高頻子帶圖像，并與原始圖像構(gòu)成RGB三通道偽彩色圖像，豐富目標(biāo)特征；在此基礎(chǔ)上，構(gòu)建了基于深度卷積模型YOLOv3的四尺度特征金字塔目標(biāo)檢測網(wǎng)絡(luò)，通過分層的特征表征和獨(dú)立預(yù)測，提升了檢測器對多尺度目標(biāo)的檢測能力。所提檢測模型兼顧了速度和精度，可高效完成SAR圖像艦船檢測任務(wù)。

1 基于NSST的偽彩色SAR圖像構(gòu)建過程

1.1 NSST變換

圖像的幾何紋理結(jié)構(gòu)特性是提取表征特征的關(guān)鍵。然而，SAR利用電磁波干涉原理成像，成像過程中伴隨著透視收縮、疊掩和陰影現(xiàn)象，且不可避免地產(chǎn)生大量相干斑噪聲[16]，導(dǎo)致目標(biāo)特征嚴(yán)重缺失、視覺線索匱乏。針對以上問題，研究人員通常采用小波變換、曲波變換、輪廓波變換和剪切波變換等分解圖像中的高低頻信息，試圖抑制噪聲的同時增強(qiáng)圖像的幾何紋理特征。盡管上述方法在一定程度上改善了圖像信息，但缺少平移不變性,導(dǎo)致應(yīng)用場景受限。為此，Easley等[17]于2008年以多分辨率和仿射變換理論為基礎(chǔ)提出了NSST理論，不僅具備平移不變性，而且可以捕獲更多的圖像細(xì)節(jié)和紋理信息。處理二維圖像時，其仿射模型定義為：

NSST變換分為多尺度分解和方向局部化2部分,前者通過非下采樣金字塔濾波器組(Non-sub Sampled Laplacian Pyramid，NSLP)實現(xiàn);后者通過剪切濾波器(Shear Filter，SF)實現(xiàn)。原圖像經(jīng)過NSST的l級分解，即可得到1個低頻子帶圖像和l個高頻子帶圖像，這些子帶圖像均與原圖像具有相同尺寸。3級NSST分解如圖1所示。

圖1 NSST分解示意Fig.1 Schematic diagram of NSST decomposition

1.2 SAR偽彩色圖像構(gòu)建過程

SAR特殊的成像機(jī)理使其圖像的幾何特性與光學(xué)圖像存在顯著差異，可讀性差、特征線索少是制約SAR應(yīng)用的重要因素。尤為明顯的是，三通道(RGB)的光學(xué)圖像中，目標(biāo)具有完整的紋理結(jié)構(gòu)，而單通道SAR圖像中，地物目標(biāo)紋理結(jié)構(gòu)缺失。因此，利用NSST分解原圖像，并提取高頻子帶信息，以增強(qiáng)SAR圖像可利用特征線索，彌補(bǔ)紋理結(jié)構(gòu)。SSDD公開艦船數(shù)據(jù)集[18]中一個經(jīng)NSST分解后的各子帶圖像樣例如圖2所示。原圖像為SAR圖像近岸場景，港口艦船?？棵芗?，邊緣信息相互交織。經(jīng)NSST分解后的低頻子帶圖像保留了大部分艦船和海岸信息，但缺少高頻分量導(dǎo)致清晰度下降，使艦船輪廓難以被區(qū)分。反觀高頻子帶圖像，雖然視覺信息減少，但輪廓特征顯著，尤其是2級和3級高頻子帶圖像體現(xiàn)更佳。此外，高頻子帶圖像中的相干斑噪聲顯著降低，進(jìn)一步增強(qiáng)了其可利用價值。

圖2 SAR圖像3級NSST分解示例Fig.2 Example of 3-level NSST decomposition of SAR images

基于以上分析，利用原始圖像與歸一化后的2級和3級高頻子帶圖像構(gòu)建3通道RGB偽彩色圖像，如圖3所示。

圖3 SAR偽彩色圖像合成過程Fig.3 Process of SAR pseudo-color image composition

與單通道原始圖像相比，偽彩色圖像中不僅包含了所有的原圖像信息，而且增強(qiáng)了目標(biāo)輪廓的顯著性。與僅由原始圖像構(gòu)建的三通道圖像相比，偽彩色圖像降低了相干斑噪聲的負(fù)面影響。檢測模型訓(xùn)練過程中，CNN可以自主學(xué)習(xí)權(quán)重參數(shù)深度挖掘圖像特征，進(jìn)而捕捉目標(biāo)細(xì)節(jié)信息，提升檢測器準(zhǔn)確性。

2 多尺度艦船檢測的深度卷積框架

2.1 多尺度艦船檢測深度卷積網(wǎng)絡(luò)結(jié)構(gòu)

針對艦船目標(biāo)尺度動態(tài)范圍大、小尺度目標(biāo)占比大的特點(diǎn)，設(shè)計了一種基于YOLOv3的多尺度艦船檢測模型。原始YOLOv3模型以Darknet-53為主干網(wǎng)絡(luò)，并采用全局到局部的思想構(gòu)建多尺度金字塔完成目標(biāo)檢測，有利于檢測多尺度(尤其是小尺度)目標(biāo)[19]，且Darknet-53具備一定的泛化能力，進(jìn)一步提升了檢測性能。雖然YOLOv3的性能優(yōu)越，但對于目標(biāo)尺度差異大、小目標(biāo)占比多的SAR圖像艦船的檢測效果仍然不足。YOLOv3的接收視野為416 pixel×416 pixel×3，通過構(gòu)建3尺度的特征金字塔，在不同分辨率的特征圖上獨(dú)立預(yù)測目標(biāo)來提升網(wǎng)絡(luò)的特征分級表達(dá)能力。特征金字塔的下采樣步長分別為8，16，32，YOLOv3理論上所檢測目標(biāo)的分辨率應(yīng)大于8 pixel×8 pixel。然而，以應(yīng)用比較廣泛的SSDD數(shù)據(jù)集為例，其包含的艦船目標(biāo)中有136個目標(biāo)的高或者寬小于8 pixel，如圖4所示。此類目標(biāo)漏檢風(fēng)險較大，因此需要進(jìn)一步增大特征金字塔的分辨率。

圖4 SSDD數(shù)據(jù)集艦船目標(biāo)長寬分布Fig.4 Distribution of ship target length and width for SSDD dataset

因此，針對SAR圖像中艦船目標(biāo)尺度動態(tài)范圍大、小型目標(biāo)占比多的特點(diǎn)，重新設(shè)計檢測網(wǎng)絡(luò)，將Darknet-53中具有更高分辨率的低層特征圖融入原始YOLOv3的特征金字塔結(jié)構(gòu)中，形成四尺度的預(yù)測特征圖，提升網(wǎng)絡(luò)對小尺度目標(biāo)的敏感度。整個目標(biāo)檢測網(wǎng)絡(luò)框架如圖5所示。卷積操作(Convs)由二維卷積層(Conv)、批歸一化層(BN)以及非線性激活函數(shù)(Leaky_ReLU)組成，其中，卷積層用于提取圖像特征，批歸一化層可以將各卷積層的輸入約束在同一分布下，從而提升網(wǎng)絡(luò)的泛化能力和訓(xùn)練速度，非線性激活函數(shù)用于增強(qiáng)網(wǎng)絡(luò)的非線性描述能力，三者共同完成輸入到輸出的非線性映射。卷積模塊(Conv Block)由2個卷積核大小分別為3×3，1×1的卷積操作組成，用于進(jìn)一步整合圖像特征。上采樣模塊(Upsample Block)由一個卷積操作和2倍上采樣組成，用于統(tǒng)一特征圖的尺度和通道數(shù)，為特征圖融合疊加(Concatenate，C)提供支撐。殘差模塊由2個卷積核大小分別為1×1，3×3的卷積操作和一個捷徑連接構(gòu)成，其中，1×1卷積操作對輸入進(jìn)行降維，以減少參數(shù)量；3×3卷積操作用于提取特征和恢復(fù)特征維度；捷徑連接用于構(gòu)建殘差，添加恒等映射分支，防止網(wǎng)絡(luò)加深引起的梯度消失和網(wǎng)絡(luò)退化問題。頭模塊(Head)同樣由2個卷積操作組成，最后輸出包括目標(biāo)位置坐標(biāo)、邊框置信度和分類概率的預(yù)測結(jié)果。網(wǎng)絡(luò)采用的損失函數(shù)與YOLOv3相同。

圖5 多尺度艦船檢測深度卷積框架Fig.5 Deep convolution framework for multi-scale ship detection

多尺度艦船檢測模型以偽彩色SAR圖像作為輸入，通過主干網(wǎng)絡(luò)Darknet-53提取輸入圖像的分層級特征表達(dá)，構(gòu)建4尺度特征金字塔(y1～y4)并獨(dú)立預(yù)測目標(biāo)。y1～y4的下采樣步長分別為32，16，8，4，此時，該網(wǎng)絡(luò)能檢測到的最小目標(biāo)分辨率在4 pixel×4 pixel左右，相較于原始模型降低了小尺度目標(biāo)的漏檢風(fēng)險。

2.2 艦船檢測原理

為了檢測出SAR圖像中多尺度艦船目標(biāo)，所提網(wǎng)絡(luò)模型在4個不同尺度的特征圖(即圖5中的y1～y4)上生成錨框，并獨(dú)立進(jìn)行目標(biāo)分類和邊框回歸，進(jìn)而預(yù)測出邊框坐標(biāo)(tx,ty,tw,th)、邊框置信度Pobj和分類概率Pk，其中tx,ty,tw,th分別表示目標(biāo)邊框的中心點(diǎn)橫縱坐標(biāo)、寬度和高度，k是目標(biāo)類別索引。在分辨率為13 pixel×13 pixel的特征圖y4上實現(xiàn)艦船檢測的基本原理如圖6所示，其他尺度特征圖上的檢測原理與此相同。待檢測圖像輸入CNN之前首先調(diào)整尺寸至416 pixel×416 pixel，經(jīng)主干網(wǎng)絡(luò)Darknet-53特征提取后輸出四尺度特征金字塔，其中y4分辨率為13 pixel×13 pixel，其每個像素點(diǎn)對應(yīng)輸入圖像32 pixel×32 pixel大小的區(qū)域，以每個像素點(diǎn)為錨點(diǎn)產(chǎn)生3種錨框，根據(jù)錨框在特征圖上的特征映射計算出邊框坐標(biāo)、置信度以及分類概率，從而得到目標(biāo)預(yù)測結(jié)果，再將預(yù)測結(jié)果映射至原始圖像完成目標(biāo)檢測。

圖6 艦船檢測原理Fig.6 Principle of ship detection

3 實驗驗證

3.1 數(shù)據(jù)集

SSDD公開艦船數(shù)據(jù)集被廣泛應(yīng)用于技術(shù)研究和算法測試，共包含1 160張SAR圖像，有2 456個艦船目標(biāo)，場景類型包含港口、島礁和海上區(qū)域等，目標(biāo)尺度分布動態(tài)范圍大，與真實場景相近，適合用于測試本文算法。該數(shù)據(jù)集中的SAR圖像分辨率和尺寸均不固定，數(shù)據(jù)集樣例及其相應(yīng)的偽彩色圖像如圖7所示。實驗選用包含2 000個目標(biāo)的900張圖像樣本作為訓(xùn)練集，選用包含456個目標(biāo)的260張圖像樣本作為測試集。

(a) 靠岸背景SAR圖像

3.2 實驗設(shè)置

實驗環(huán)境為Ubuntu18.04操作系統(tǒng)，E5-2630v4 CPU，NVIDIA GTX-1080Ti GPU (11 GB顯存)，64 GB RAM，以深度學(xué)習(xí)框架Tensorflow為編譯工具。網(wǎng)絡(luò)訓(xùn)練過程中，采用經(jīng)ImageNet數(shù)據(jù)集訓(xùn)練的Darknet-53預(yù)訓(xùn)練模型初始化網(wǎng)絡(luò)參數(shù)，并使用Adam優(yōu)化器進(jìn)行優(yōu)化。訓(xùn)練過程共分為2個階段：第1個階段凍結(jié)Darknet-53主干網(wǎng)絡(luò)，訓(xùn)練其他網(wǎng)絡(luò)層參數(shù)，訓(xùn)練30輪次；第2個階段開放所有卷積層參數(shù)，訓(xùn)練50輪次。

為了設(shè)置合理的錨框，通過k-means算法對SSDD數(shù)據(jù)集中的標(biāo)注邊框的高寬進(jìn)行聚類運(yùn)算，共設(shè)置12個聚類中心，每個聚類中心對應(yīng)一種錨框類型，分別分配給4個不同尺度的特征圖，以特征圖上的每個像素點(diǎn)為中心產(chǎn)生3種不同大小的錨框。預(yù)估錨框設(shè)置如表1所示，其中錨框1～3分配給特征圖y4，錨框4～6分配給特征圖y3，錨框7～9分配給特征圖y2，錨框10～12分配給特征圖y1。

表1 SSDD數(shù)據(jù)集中12個錨框的高寬設(shè)置Tab.1 Height and width settings for 12 anchor boxes in SSDD dataset 單位：pixel

3.3 實驗結(jié)果及分析

本節(jié)通過與SSD[14]，YOLOv3[13]，四尺度的YOLOv3，F(xiàn)aster RCNN[8]和YOLOv4[20]進(jìn)行比較來驗證所提模型的有效性和優(yōu)異性，其中，YOLOv3，四尺度YOLOv3和所提算法可以看作一次消融實驗，用于分析高頻子帶圖像與四尺度金字塔結(jié)構(gòu)的作用。各檢測網(wǎng)絡(luò)模型在SSDD數(shù)據(jù)集上的檢測結(jié)果定量評估如表2所示，其中精確率(P)、召回率(R)和平均準(zhǔn)確率(AP)用于衡量模型的檢測精度，Rate(幀/秒)用于衡量模型的檢測速度。

表2 不同網(wǎng)絡(luò)模型的艦船檢測結(jié)果定量比較Tab.2 Quantitative comparison of ship detection results for different network models

由各檢測模型的性能定量比較可知，相較于其他檢測模型，所提算法的檢測精度最優(yōu)，P達(dá)到了93.42%，R達(dá)到了94.93%，AP達(dá)到了94.71%。SSD采用的主干網(wǎng)絡(luò)泛化能力較弱，在特征提取上不占優(yōu)勢，導(dǎo)致目標(biāo)漏檢和錯檢嚴(yán)重，AP僅達(dá)到61.00%。YOLOv3雖然應(yīng)用了特征金字塔結(jié)構(gòu)，但基于三尺度特征圖的目標(biāo)預(yù)測仍不足以滿足多尺度艦船目標(biāo)檢測的需求，AP值為83.56%。在原始YOLOv3模型的基礎(chǔ)上，四尺度YOLOv3將具有更高分辨率的特征層加入了特征金字塔中，形成四尺度預(yù)測網(wǎng)絡(luò)，較前者目標(biāo)漏檢數(shù)量得以下降，但錯檢數(shù)量有所上升，AP值為86.24%，比YOLOv3提升了2.68%。Faster RCNN由于采用單個預(yù)測特征圖檢測目標(biāo)，目標(biāo)漏檢情況嚴(yán)重，R值僅為82.35%，AP值為87.69%，但由于其是雙階段網(wǎng)絡(luò)，增加了候選目標(biāo)提取過程，相較于SSD和YOLOv3的單階段預(yù)測模式，在檢測精度上具有一定優(yōu)勢。YOLOv4是YOLOv3的改進(jìn)版本，增加了SPP和PANet等諸多特征增強(qiáng)結(jié)構(gòu)和數(shù)據(jù)增強(qiáng)手段，模型復(fù)雜度較高，AP值達(dá)到次優(yōu)的92.09%。所提算法首先通過NSST分解并提取圖像高頻分量，與原圖組成RGB三通道偽彩色圖像，豐富了圖像所含信息量；再以YOLOv3為基礎(chǔ)構(gòu)建四尺度特征金子塔結(jié)構(gòu)，并獨(dú)立預(yù)測目標(biāo)，提升了網(wǎng)絡(luò)對不同尺度目標(biāo)的敏感度，模型復(fù)雜度不僅比YOLOv4低，而且檢測精度也得到了大幅提升。

比較YOLOv3和四尺度YOLOv3的檢測結(jié)果可以得知，由于增加了一層淺層特征，目標(biāo)漏檢現(xiàn)象得以改善且AP值有明顯提升，說明具有高分辨率的淺層特征圖有益于小尺寸目標(biāo)檢測。比較四尺度YOLOv3和所提算法的檢測結(jié)果可以得知，NSST分解的高頻子帶圖像與原始圖像構(gòu)建的偽彩色圖像，可以為網(wǎng)絡(luò)提供足備的判定信息，彌補(bǔ)SAR圖像紋理結(jié)構(gòu)缺失問題，大幅提升檢測器性能。

從各方法的檢測速率來看，SSD以單階段網(wǎng)絡(luò)結(jié)構(gòu)和簡單的主干網(wǎng)絡(luò)在檢測速度上占據(jù)絕對優(yōu)勢，F(xiàn)aster RCNN的雙階段網(wǎng)絡(luò)結(jié)構(gòu)使其檢測速度居于末尾。YOLOv4模型復(fù)雜度較高，導(dǎo)致檢測速度略低。所提算法在YOLOv3基礎(chǔ)上加入了高頻分量提取和一層目標(biāo)預(yù)測特征圖，致使檢測速度較YOLOv3略有不足，但仍處于前列?？傊?，所提算法以較快的檢測速度取得了最優(yōu)AP值，性能表現(xiàn)足以勝任SAR圖像多尺度艦船檢測任務(wù)。

為了更加直觀地對以上6種方法進(jìn)行比對，圖8給出了不同方法在SSDD數(shù)據(jù)集中的3幅不同背景圖像上的檢測可視化結(jié)果，圖中共包含39個艦船目標(biāo)。其中，綠色框為正確檢測的艦船目標(biāo)，紅色框為漏檢目標(biāo)，黃色框為錯檢目標(biāo)。由圖8可知，SSD正確檢測23個目標(biāo)、錯檢3個目標(biāo)、漏檢16個目標(biāo)；YOLOv3正確檢測26個目標(biāo)、錯檢2個目標(biāo)、漏檢13個目標(biāo)；四尺度YOLOv3正確檢測27個目標(biāo)、錯檢5個目標(biāo)、漏檢12個目標(biāo)；Faster RCNN正確檢測24個目標(biāo)、錯檢2個目標(biāo)、漏檢15個目標(biāo)；YOLOv4正確檢測31個目標(biāo)、錯檢2個目標(biāo)、漏檢8個目標(biāo)；所提算法正確檢測32個目標(biāo)、錯檢1個目標(biāo)、漏檢7個目標(biāo)，其檢測性能得到進(jìn)一步驗證。

(a) SSD

4 結(jié)束語

本文針對SAR圖像中艦船目標(biāo)尺度動態(tài)范圍大、小型目標(biāo)占比多及目標(biāo)紋理結(jié)構(gòu)缺失等問題，提出了一種基于深度學(xué)習(xí)和NSST的目標(biāo)檢測算法。該方法利用NSST提取原始圖像的高頻子帶圖像，并與原圖構(gòu)建RGB三通道偽彩色圖像，增強(qiáng)圖像的邊緣紋理結(jié)構(gòu)，從根源豐富圖像所含信息量；構(gòu)建了基于YOLOv3的四尺度特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，并在不同分辨率的特征層上獨(dú)立預(yù)測目標(biāo)，提升網(wǎng)絡(luò)對不同尺度目標(biāo)的敏感度。檢測網(wǎng)絡(luò)通過自主學(xué)習(xí)可以合理選擇圖像高低頻分量、深度挖掘目標(biāo)特征，為最終檢測結(jié)果判定提供足備信息，且四尺度的目標(biāo)預(yù)測特征層能夠很好地適應(yīng)目標(biāo)尺度動態(tài)范圍大的特點(diǎn)，從而提升檢測性能。相較于SSD，YOLOv3，四尺度YOLOv3，F(xiàn)aster RCNN和YOLOv4，所提算法能夠更加高效地提取和利用目標(biāo)特征，大幅提升檢測精度，AP值高達(dá)94.71%。