劉 劍,田立業(yè),范學(xué)滿

(海軍潛艇學(xué)院,山東 青島 266199)

遙感圖像中的艦船檢測問題一直是圖像處理和模式識別領(lǐng)域的熱門課題,在軍用和民用領(lǐng)域都有廣闊的應(yīng)用前景[1]。對遙感圖像中艦船目標(biāo)的航向進(jìn)行識別和檢測,是對艦船目標(biāo)特征信息的深度挖掘,是遙感圖像信息從特征圖轉(zhuǎn)向態(tài)勢圖識別與利用的重要環(huán)節(jié),對于在此基礎(chǔ)上的時敏艦船目標(biāo)運(yùn)動態(tài)勢判斷、艦船編隊(duì)隊(duì)形識別與跟蹤，以及戰(zhàn)術(shù)意圖判斷等都具有重要的作用。

光學(xué)遙感圖像細(xì)節(jié)特征豐富且光學(xué)遙感衛(wèi)星的分辨率正在不斷提高,為海域內(nèi)艦船小目標(biāo)的航向識別提供了必要的信息基礎(chǔ)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,特別是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[2]能夠自動學(xué)習(xí)結(jié)構(gòu)化特征,在計(jì)算機(jī)視覺領(lǐng)域發(fā)展迅速。利用Faster R-CNN[3]、Mask R-CNN[4-5]等技術(shù),已較好地實(shí)現(xiàn)了對艦船小目標(biāo)位置的檢測和定位,但在此基礎(chǔ)上進(jìn)行航向識別的研究還不多。文獻(xiàn)[6]采用卷積神經(jīng)網(wǎng)絡(luò),將目標(biāo)航向空間按15°范圍大小均勻劃分為24個集合,將目標(biāo)航向識別問題轉(zhuǎn)化為一個航向分類問題,但是如果將此方法直接用于編隊(duì)寬幅光學(xué)遙感圖像背景下的艦船隊(duì)形與態(tài)勢識別,由于艦船目標(biāo)尺寸較小且結(jié)構(gòu)特征退化減弱,卷積網(wǎng)絡(luò)提取的深層特征在航向上表現(xiàn)不明顯,影響分類識別的準(zhǔn)確度,難以構(gòu)造更為細(xì)分和精確的航向分類,無法滿足海上艦船編隊(duì)航向檢測與態(tài)勢識別的需求。本文充分利用艦船小目標(biāo)的尺度特征,采用改進(jìn)Hough變換和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的檢測方法,對艦船小目標(biāo)航向識別檢測進(jìn)行了研究。

1 艦船航向識別基本原理方法

1.1 深度卷積網(wǎng)絡(luò)

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)基于尺度不變特征轉(zhuǎn)換、梯度方向直方圖特征的支持向量機(jī) (Support Vector Machine,SVM)等方法相比,在圖像識別領(lǐng)域取得了更好的效果[7-9]。CNN通過多層網(wǎng)絡(luò)直接通過對圖像卷積和池化操作來提取圖像本質(zhì)特征,為圖像特征提取帶來全新的解決方法,其將圖像小塊區(qū)域作為底層輸入數(shù)據(jù)通過卷積核運(yùn)算,將計(jì)算結(jié)果信息通過前向傳播并采用池化、丟失等操作,以獲得觀測數(shù)據(jù)的一些高層顯著特征和相關(guān)特性,較好地解決了圖像處理和理解的難題。因此通過CNN提取艦船編隊(duì)航行的光學(xué)遙感圖像特征,利用滑動窗、Faster R-CNN、Mask R-CNN,yolo(you only look once)[4，6，10]等技術(shù)方法,對艦船編隊(duì)以航渡或戰(zhàn)斗隊(duì)形航行時的寬幅中/高分辨率可見光遙感圖像中進(jìn)行處理,利用CNN可以較好地進(jìn)行艦船小目標(biāo)檢測識別并確定艦船航行位置[11]。艦船編隊(duì)航渡的遙感圖像如圖1所示。

圖1 艦船編隊(duì)橫隊(duì)隊(duì)形航行示意圖

圖1為三艘艦船組成的艦艇編隊(duì)以橫隊(duì)隊(duì)形展開戰(zhàn)斗航行,由于艦船間距通常從數(shù)鏈到幾十鏈不等,因此其光學(xué)遙感圖像是一個包括艦船小目標(biāo)與海洋雜波環(huán)境的寬幅圖像。目標(biāo)尺寸較小,艦船圖像特征不明顯,考慮艦船航向從0°～360°范圍分布,因此利用卷積神經(jīng)網(wǎng)絡(luò)可以直接對原始圖像進(jìn)行處理以識別航向或者進(jìn)行較為精確的航向分類將變得尤為困難。雖然通過原始圖像分割獲得圖1右側(cè)所示的三艘艦船的局部對象以減小海洋雜波背景影響,甚至更高分辨率的局部遙感圖像,但在此基礎(chǔ)上進(jìn)一步利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行航向檢測和識別的效果仍然得不到較大改善。究其原因是因?yàn)榘灤∧繕?biāo)的編隊(duì)遙感圖像隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加,底層的圖像基礎(chǔ)信息不斷減少,而高層結(jié)構(gòu)信息難以支持方向敏感且較為精確的航向檢測識別。因此，需要有一種適用于編隊(duì)航行遙感圖像下艦船小目標(biāo)航向特征的提取方法。

1.2 Hough變換

傳統(tǒng)的梯度方向直方圖、外接矩形判斷等方法可以檢測獲得目標(biāo)的總體輪廓和估計(jì)航向,但是用于航向檢測精確度還不足。Hough 變換是圖像處理中的一種特征提取技術(shù),可用于特定圖像形狀的特征識別、圖像分析、計(jì)算機(jī)視覺和數(shù)字圖像處理領(lǐng)域,對目標(biāo)線性特征的檢測和提取相比具有優(yōu)勢,已廣泛應(yīng)用于車道線這樣的邊緣檢測[12-13]?，F(xiàn)代戰(zhàn)斗艦船其長度通常在一二百米以上,寬度相對較小,遙感圖像中的艦船小目標(biāo)仍具有較為明顯的直線特征,因此本文提出采用Hough 變換方法以計(jì)算和獲取艦船航向信息。

Hough 變換的基本思想是利用點(diǎn)線的對偶性,采用極坐標(biāo)方程對圖像空間中的直線進(jìn)行表示,建立某直線的極坐標(biāo)方程:

ρ=xcosθ+ysinθ

(1)

其中，(x,y)為像素點(diǎn)坐標(biāo);

ρ為極徑,表示該直線到原點(diǎn)的距離;

θ為極角,表示該直線的垂線與x軸的夾角,其范圍為[0°,180°)。

通過統(tǒng)計(jì)θi近似相等且ρi近似相等的點(diǎn)的數(shù)目,從而確定圖像中存在某條直線(ρi,θi)。Hough變換的具體實(shí)現(xiàn)步驟如下:

1)建立一個參數(shù)(ρ,θ)空間的二維的累加器數(shù)組；

2)搜索圖像中所有目標(biāo)像素,對應(yīng)每一個目標(biāo)像素,在參數(shù)空間中根據(jù)式(1)找到對應(yīng)位置,然后對累加器對應(yīng)位置進(jìn)行累加；

3)求出參數(shù)空間對應(yīng)累加的最大值,其位置為(ρj,θj)；

4)通過參數(shù)空間位置(ρj,θj),得到圖像空間中相對應(yīng)的直線參數(shù)。

對編隊(duì)寬幅遙感圖像分割出的原始艦船圖像進(jìn)行Canny邊緣檢測[14],然后采用Hough變換顯示檢測出的艦船直線特征,其效果如圖2所示。

圖2 艦船航向Hough檢測示意

Hough 變換應(yīng)用于艦船小目標(biāo)航向識別時仍然有如下幾個需要解決的問題:

1)海面雜波對Hough變換計(jì)算的影響,海洋雜波特別是高海況條件下會對艦船的線性特征識別造成干擾,檢測獲得雜波干擾形成的直線;

2)Hough變換計(jì)算所檢測出的艦船直線特征無法區(qū)分船首向和船尾向,導(dǎo)致艦船航向呈真北軸對稱的180°差異,例如檢測出的直線極角為60°時,無法區(qū)分船首指向?qū)?yīng)的航向?yàn)?40°或是60°,這是Hough變換的固有特性所導(dǎo)致的。

2 Hough變換聯(lián)合CNN對艦船航向檢測方法

對于上述問題,需要對Hough 變換進(jìn)行改進(jìn),同時卷積網(wǎng)絡(luò)雖然難以檢測識別艦船小目標(biāo)精確航向,但是可以對艦船航向范圍進(jìn)行較為準(zhǔn)確的估計(jì)。因此將兩者結(jié)合互補(bǔ)可有效解決艦船小目標(biāo)航向識別問題。

2.1 基于艦船尺度的Hough變換改進(jìn)

在海洋雜波背景下,采用Canny、sobel等算子提高或降低邊緣檢測的閾值,以減少海洋雜波的影響效果并不明顯。在編隊(duì)航行照片分辨率一定的條件下,對艦船位置所分割出的艦船小目標(biāo)圖像可以首先設(shè)定為固定尺寸大小以方便處理,例如80×80。由于艦船目標(biāo)在長度上的線性特征明顯強(qiáng)于周圍雜波可能形成的干擾,因此一種可行的方法是對Hough變換的檢測閾值根據(jù)艦船尺度自適應(yīng)調(diào)節(jié),篩選出圖像中最顯著的線性特征,其過程方法如下:

1)初始化參數(shù)(ρ,θ)空間,N(ρ,θ)=0表示對直線上像素點(diǎn)數(shù)賦值為0;

2)初始化檢測閾τ=Lmax,Lmax為圖像中根據(jù)艦船目標(biāo)長度設(shè)定的最大允許像素?cái)?shù)量;

3)Whilelines=0:

在參數(shù)空間尋找滿足ρ=xcosθ+ysinθ的(ρ,θ)參數(shù)對,累積N(ρ,θ);

N(ρ,θ)>τ時,累積直線數(shù)量lines;

Lmax←Lmax-Ldt

4)輸出檢測出的直線參數(shù)(ρ,θ)*。

圖3顯示了改進(jìn)后Hough對艦船小目標(biāo)檢測效果。這種基于艦船線性尺度的自適應(yīng)Hough變換,能夠保證檢測出圖像中最為顯著的直線特征,再經(jīng)坐標(biāo)變換得出直線方程并計(jì)算出艦船方向角。

圖3 改進(jìn)Hough變換艦船航向檢測示意

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的艦船航向分類

為了解決無法區(qū)分艦船直線特征左右對稱差異問題,通過卷積神經(jīng)網(wǎng)絡(luò)卷積、池化等操作以及網(wǎng)絡(luò)層次的合理設(shè)計(jì),構(gòu)造艦船目標(biāo)航向分類的卷積神經(jīng)網(wǎng)絡(luò),通過大量訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到具有較強(qiáng)泛化性的編隊(duì)航向類別特征。具體設(shè)計(jì)如下。

1)艦船目標(biāo)航向分類設(shè)計(jì)

對艦船目標(biāo)以真北為軸,將艦船航向劃分為[350°,10°)、[10°,170°)、[170°,190°)、[190°,350°)四個航向范圍。采用該航向四分類而沒有采用[0°,180°)、[180°,360°)兩分類是因?yàn)閮煞诸惙谴思幢说脑O(shè)計(jì),對分類錯誤樣本的航向計(jì)算會直接導(dǎo)致180°的航向反向差異,對后續(xù)運(yùn)動態(tài)勢識別產(chǎn)生較大的干擾;而采用四分類的設(shè)計(jì),增加航向0°和180°左右偏差10°的過渡類別,可以有效避免上述問題,將0°和180°航向線附近的航向等效為中間值0°或180°,雖然帶來了誤差,但是不影響編隊(duì)目標(biāo)整體運(yùn)動態(tài)勢判定,而且可以有效避免Hough變換中極角θ在0°和180°附近因橫向坐標(biāo)微小誤差導(dǎo)致的較大角度計(jì)算波動。

2)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

采用基于卷積神經(jīng)網(wǎng)絡(luò)加全鏈接網(wǎng)絡(luò)的艦船小目標(biāo)航向分類識別的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 艦船航向分類神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

輸入圖像首先經(jīng)過卷積基礎(chǔ)網(wǎng)絡(luò)提取特征,隨后進(jìn)行批歸一化處理,經(jīng)這樣的兩次大小為(3,3,64)的卷積核運(yùn)算,同時采用最大池化對特征信息降維和Dropout操作,再將結(jié)果送入全連接神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)艦船航向分類。

卷積神經(jīng)網(wǎng)絡(luò)可有效提取圖像高層特征,但是更多的卷積層和池化層操作容易忽略較低層次特征圖的基礎(chǔ)信息,降低對艦船航向識別的準(zhǔn)確度,因此采用兩層卷積網(wǎng)絡(luò),對輸入大小為(80,80,3)的圖形進(jìn)行處理,既降低了圖像特征提取復(fù)雜度，又保留了圖像足夠的基礎(chǔ)信息,再經(jīng)最大池化進(jìn)一步降維，以便于后續(xù)全連接網(wǎng)絡(luò)的分類處理,使艦船航向的空間特征更容易被檢測分類。

2.3 改進(jìn)Hough變換結(jié)合CNN的艦船航向聯(lián)合檢測流程

利用改進(jìn)后Hough變換對艦船小目標(biāo)直線特征的良好檢測能力,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)對艦船目標(biāo)航向分類,將兩者優(yōu)勢互補(bǔ),形成對艦船小目標(biāo)航向的聯(lián)合檢測,流程如圖5所示。

圖5 改進(jìn)Hough聯(lián)合CNN航向檢測流程

數(shù)據(jù)預(yù)處理首先通過成像時衛(wèi)星的星歷數(shù)據(jù),包括空間位置坐標(biāo)和時間等,計(jì)算衛(wèi)星到觀測點(diǎn)的觀測矢量及相應(yīng)衛(wèi)星攝影方位角,進(jìn)一步通過幾何校正處理,利用地面控制點(diǎn)GCP 使圖像符合地圖投影系統(tǒng),校正圖像經(jīng)度和維度誤差,獲得較為準(zhǔn)確的真北方位軸。

采用高斯濾波等中值濾波方法,濾除原始圖像中的噪聲,并采用Canny算子進(jìn)行邊緣檢測,以減少Hough變換計(jì)算量。對預(yù)處理后圖像進(jìn)行改進(jìn)Hough變換,計(jì)算得到當(dāng)前艦船小目標(biāo)的航向初步結(jié)果值。利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對艦船目標(biāo)航向進(jìn)行分類。如果航向在[350°,10°)范圍,則取航向范圍中間值0°;如果航向在[170°,190°)范圍,則取航向范圍中間值180°;如果航向在[10°,170°),保持Hough變換計(jì)算結(jié)果不變,否則若航向在[190°,350°)范圍,則將Hough變換計(jì)算結(jié)果加上180°進(jìn)行修正。采用這樣的分類設(shè)計(jì),相比兩分類,即使在分類錯誤情況下,仍能使錯誤分類結(jié)果較多地落入附近兩個分類中,最大程度地避免航向識別結(jié)果出現(xiàn)180°的顛覆性影響。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

由于艦船編隊(duì)航行以及相應(yīng)戰(zhàn)術(shù)態(tài)勢下的光學(xué)遙感圖片很難從公開數(shù)據(jù)上獲取,本文基于公開衛(wèi)星遙感照片,制作艦艇編隊(duì)航行數(shù)據(jù)集(Fleet Sailing Image Set,FSIS)用于編隊(duì)艦艇目標(biāo)航向分類的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練。該數(shù)據(jù)集以典型的三艦編隊(duì)為基礎(chǔ),構(gòu)建了類似圖1艦艇編隊(duì)航行圖片10 000余張圖片數(shù)據(jù),其中包括三艦編隊(duì)以橫隊(duì)、縱隊(duì)、方位隊(duì)、人字隊(duì)和反人字隊(duì)等隊(duì)形的編隊(duì)航渡圖片1 800張,由三艦編隊(duì)圖片經(jīng)前序艦艇位置識別分割獲得不同航向的單艘艦艇預(yù)處理圖片3500張供網(wǎng)絡(luò)訓(xùn)練使用。

3.2 圖像預(yù)處理

對單艘艦船小目標(biāo)圖形預(yù)處理可以提升Hough變換對艦船航向的檢測效果。首先采用中值濾波,以有效減少干擾像素并保護(hù)邊緣信息;隨后采用Canny算子進(jìn)行圖像邊緣檢測,利用OpenCV內(nèi)置函數(shù),對圖像平滑與熱點(diǎn)區(qū)域分割檢測圖像邊緣輪廓,再進(jìn)行改進(jìn)Hough變換。

艦船小目標(biāo)航向分類的卷積神經(jīng)網(wǎng)絡(luò)輸入圖像直接采用樣本中的原始圖像,無須進(jìn)行中值濾波和邊緣檢測,否則將丟失必要的圖像基礎(chǔ)結(jié)構(gòu)信息,降低卷積神經(jīng)網(wǎng)絡(luò)對艦船航向的分類正確性。

3.3 網(wǎng)絡(luò)訓(xùn)練

根據(jù)所建立的艦船目標(biāo)航向分類卷積神經(jīng)網(wǎng)絡(luò),利用Tensorflow2.0框架[15]在FSIS數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò),采用自適應(yīng)動量算法(Adaptive Moment Estimation,ADAM)進(jìn)行模型的參數(shù)更新。初始設(shè)置模型迭代次數(shù)為60次,在訓(xùn)練和測試階段對于任意圖像的縮放尺度設(shè)為(80,80,3),采用TensorFlow中ImageDataGenerator數(shù)據(jù)增強(qiáng)技術(shù),通過縮放、隨機(jī)旋轉(zhuǎn)、偏移和翻轉(zhuǎn)等處理手段增加訓(xùn)練樣本數(shù)量,按照80%的比例劃分訓(xùn)練集和驗(yàn)證集,同時為防止過擬合,設(shè)置網(wǎng)絡(luò)Dropout比例為0.5,該卷積神經(jīng)網(wǎng)絡(luò)模型能夠較快地學(xué)習(xí)到艦船目標(biāo)航向分類特征。

3.4 實(shí)驗(yàn)結(jié)果

在樣本訓(xùn)練集支持下,卷積神經(jīng)網(wǎng)絡(luò)經(jīng)多次訓(xùn)練后,對艦船目標(biāo)航向分類在驗(yàn)證集上的識別正確率在86%左右,在訓(xùn)練次數(shù)為10次時趨于穩(wěn)定,訓(xùn)練次數(shù)超過40次后出現(xiàn)震蕩的過擬合現(xiàn)象,如圖6所示。圖6中藍(lán)線為訓(xùn)練集識別正確率,黃線為驗(yàn)證集識別正確率。

圖6 卷積神經(jīng)網(wǎng)絡(luò)對艦船航向分類正確率

建立包含360個樣本的測試集進(jìn)行測試,樣本航向范圍為[0°,359°],樣本之間航向間隔1°。采用改進(jìn)Hough變換結(jié)合卷積神經(jīng)網(wǎng)絡(luò)聯(lián)合檢測獲得的艦船航向與樣本實(shí)際航向的誤差如圖7所示。

圖7 艦船航向檢測誤差

由圖7可見,測試集上聯(lián)合檢測獲得的艦船航向與樣本實(shí)際值偏差較小,其中大于5°偏差角的有6個樣本,占比1.6%;大于2°偏差角的有23個樣本,占比6.4%;其余92%的樣本偏差皆小于2°。對于航向分類,可以看到盡管計(jì)算結(jié)果總體偏差不大,但實(shí)際上卷積神經(jīng)網(wǎng)絡(luò)對艦船小目標(biāo)航向范圍分類仍然有一定誤差,如表1所示。

表1 前10個樣本分類結(jié)果 單位:°

以前10個較為特殊的樣本為例說明卷積神經(jīng)網(wǎng)絡(luò)對艦船航向分類仍然存在一定誤差。對于實(shí)際航向角在10°以內(nèi)的分類結(jié)果都應(yīng)該識別為第一類[350°,10°),并輸出航向檢測值0°,但實(shí)際后8個樣本都識別為第二類[10°,170°),此時直接采用改進(jìn)Hough變換計(jì)算結(jié)果,其計(jì)算值與實(shí)際值反而更為接近。在所有360個檢測樣本中,分類正確率為91.7%,錯誤率為8.3%,且測試樣本的偏差角度都在5°之內(nèi)，因此采用艦船小目標(biāo)航向過渡類的四分類卷積網(wǎng)絡(luò)識別設(shè)計(jì),可以使大部分的分類錯誤結(jié)果仍能落入預(yù)定分類的附近兩類中,這與兩分類在邊界0°和180°較大的航向誤差相比,大大減少了對艦船小目標(biāo)航向檢測誤差,提高了艦船小目標(biāo)航向檢測的準(zhǔn)確度。

4 結(jié)束語

本文基于艦船編隊(duì)航行遙感圖像,對艦船小目標(biāo)航向檢測檢測問題進(jìn)行了研究,針對編隊(duì)航行下艦船目標(biāo)小、航向特征弱、不易檢測識別的問題,采用了改進(jìn)Hough變換對艦船小目標(biāo)的線性特征進(jìn)行了有效檢測,有效減弱了海雜波對艦船航向檢測影響,將其與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,通過卷積神經(jīng)網(wǎng)絡(luò)對艦船航向分類,可有效辨別船首指向,減少了艦船航向檢測誤差,提高了艦船小目標(biāo)的航向檢測正確率,解決了基于編隊(duì)航行寬幅中艦船小目標(biāo)航向檢測問題,對于基于光學(xué)遙感圖像的艦船運(yùn)動態(tài)勢判斷、編隊(duì)隊(duì)形識別及戰(zhàn)術(shù)意圖判斷等研究具有積極的意義,同時也為基于SAR圖像的艦船目標(biāo)航向檢測與態(tài)勢識別提供了有價值的參考。