元海文， 肖長詩， 文元橋， 周春輝, 張康賀， 鄒 雄

(1.武漢理工大學(xué) 航運學(xué)院，武漢 430063；2.內(nèi)河航運技術(shù)湖北省重點實驗室，武漢 430063)

基于顯著性分析的HOG快速船舶檢測方法

元海文1,2， 肖長詩1,2， 文元橋1,2， 周春輝1,2, 張康賀1,2， 鄒 雄1,2

(1.武漢理工大學(xué) 航運學(xué)院，武漢 430063；2.內(nèi)河航運技術(shù)湖北省重點實驗室，武漢 430063)

為實現(xiàn)海事無人機在水上巡航過程中對船舶的檢測，提出一種基于顯著性分析的方向梯度直方圖(Histograms of Oriented Gradient, HOG)快速檢測方法。與大部分基于背景模型的運動檢測算法不同，該方法主要利用快速的全局圖像視覺顯著性分析，縮小檢測范圍和計算量，實現(xiàn)快速、可靠的船舶檢測。首先，從對整幅圖像的頻譜分析出發(fā)研究通航水域環(huán)境的分布特點；其次，采用高斯差分算子(Difference of Gaussian, DoG)組合濾波的方式實現(xiàn)水面顯著性特征的提取，即非水面與水面區(qū)域的分離；最后，采用自適應(yīng)分割技術(shù)對濾波圖像進(jìn)行后處理，從而直觀地展示圖像非水面區(qū)域。此外，當(dāng)圖像中存在船舶之外的其他目標(biāo)時，采取方向梯度直方圖算子對該區(qū)域進(jìn)行多尺度檢測，從而實現(xiàn)船舶與其他目標(biāo)的分離。試驗結(jié)果表明，所提算法具有良好的有效性和實時性。

水路運輸；船舶檢測；頻譜；組合濾波；HOG；分類器

Abstract: The visual saliency analysis and Histograms of Oriented Gradient(HOG) feature analysis are introduced into fast ship detection process for Maritime unmanned aerial vehicles, which rely on the ability of ship detection to perform there job in cruise. With the new method, the frequency spectrum and its distribution of the whole channel environment image are analyzed first and the salient region in image, i.e., non-water parts are separated with the band-pass filter approximated by a Difference of Gaussian(DoG) combined filter. The extracted salient region image is further processed by means of an adaptive segment algorithm to produce clear visual display of the salient areas. The ships are detected from the salient areas on dimension based with the AdaBoost classifier which was trained by HOG features of vast ship samples and non-ship samples. Test results show that the method of ship detection is effective and real-time. This method do not rely on the background model, as most target detectors do, therefore, can make unmanned aerial vehicles more autonomous.

Keywords: waterway transportation; ship detection; frequency spectrum; combined filter; HOG; classifier

采用小型無人機進(jìn)行海事“電子巡航”時，目標(biāo)檢測是其基于視覺監(jiān)控的關(guān)鍵技術(shù)。內(nèi)河或近海航道是無人機巡航的主要區(qū)域，其環(huán)境要素通常分為水面部分和非水面部分。在無人機視覺監(jiān)控的圖像中，水面部分作為背景占據(jù)大部分像素位置，而非水面部分則由所監(jiān)控的船舶及其他水上目標(biāo)組成。

近年來已有多種船舶檢測方案被提出。基于視覺的水上船舶檢測主要有岸基式(背景靜止)和巡航式(背景運動)2種方式。

1) 岸基式水上監(jiān)控主要利用架設(shè)在岸邊的攝像機對附近水域進(jìn)行檢測，采用的技術(shù)手段一般是基于背景建模和光流法的運動檢測算法。例如，葉玲利[1]通過將改進(jìn)的高斯混合模型(Gaussian Mixed Model, GMM)算法與視覺顯著性信息相結(jié)合來實現(xiàn)船舶和水域的分離；周靚[2]利用高斯統(tǒng)計模型對場景進(jìn)行分割獲取船舶區(qū)域，進(jìn)而以灰度直方圖信息作為特征和支持向量機(Support Vector Machine, SVM)對該區(qū)域進(jìn)行檢測。FEFILATYEV等[3]和萬磊等[4]采用圖像分割和邊緣檢測方法檢測水面上的目標(biāo)，雖然其攝像機是船載或移動的，但其處理算法是在單幀圖像內(nèi)完成的，可近似為“場景靜止”。柳圣軍[5]主要采用幀間差分法和光流算法分析內(nèi)河航道智能監(jiān)控系統(tǒng)中的船舶檢測問題。

2) 巡航式水上監(jiān)控主要指利用有人或無人操縱的航行器對某特定水域進(jìn)行覆蓋式監(jiān)控和定期搜索。由于攝像機的載體須保持運動狀態(tài)，因此不適用于要求場景較為恒定的背景建模算法。相關(guān)研究人員主要采用由目標(biāo)樣本特征訓(xùn)練過的分類器去檢測圖像區(qū)域中的目標(biāo)，用到的特征算子有LBP(局部二值模式)、方向梯度直方圖(Histograms of Oriented Gradient, HOG)和Harr等，用到的分類器主要有隨機森林SVM和AdaBoost等。要求精度越高，則該算法的計算量就越大，尤其是目標(biāo)在圖像中所占區(qū)域較小的情況下，無用的計算量被大大提高。解曉萌[6]提出一種自適應(yīng)權(quán)重更新Adaboost的運動目標(biāo)檢測算法，提高運動目標(biāo)檢測率并抑制背景的錯分類。TANG等[7-9]對航道船舶的衛(wèi)星圖像進(jìn)行分析，分別利用神經(jīng)網(wǎng)絡(luò)、形狀先驗知識和局部形狀特征等算法實現(xiàn)船舶檢測。這些研究對基于可見光視覺船舶檢測的研究具有很好的啟示作用。

然而，在環(huán)境噪聲大、船舶運動相對較慢、水面特征較單一等特殊情況下，對船舶進(jìn)行檢測的算法具有一定的特殊性。針對該情況，提出一種基于顯著性分析的HOG船舶快速檢測算法。與之前的船舶檢測算法相比，這里從整幅圖像的頻譜分布特性出發(fā)，研究船舶目標(biāo)顯著性特點和水面背景的特點，采用高斯差分算子(Difference of Ganssian, DoG)組合濾波的方式剔除水面背景成分，實現(xiàn)水面顯著性目標(biāo)檢測(即船舶檢測)。為展示檢測結(jié)果，采用自適應(yīng)分割技術(shù)對濾波之后的圖像進(jìn)行后處理；同時，假設(shè)圖像中存在與船舶大小相似的非水面目標(biāo)，采取HOG算子對該區(qū)域進(jìn)行進(jìn)一步精確檢測，從而實現(xiàn)船舶與其他非水面目標(biāo)的分離。

1 顯著性特征提取算法

通航水域主要組成成分通常包括船舶、橋梁和浮標(biāo)等結(jié)構(gòu)性物體及占據(jù)無人機大部分視野的水面。從圖像的頻譜特性看，水面具有顏色均勻、紋理弱和占據(jù)圖像比例大的特點，對應(yīng)圖像中的中、低頻部分；而船舶和橋梁等物體具有結(jié)構(gòu)明顯、顏色突出等顯著特點，對應(yīng)圖像中的其他頻率部分。因此，采用濾波的方式提取顯著性信息具有一定的可行性。

假設(shè)ωl為濾波器的低頻閾值，ωh為高頻閾值。為均勻地突出顯著目標(biāo)，原始圖像的低頻部分需要被考慮，ωl必須較低；為保護(hù)目標(biāo)完整的邊界信息，原始圖像的高頻部分亦應(yīng)被保留，即ωh必須較高。然而，為避免噪聲干擾和紋理模式，原始圖像的最高頻部分應(yīng)被丟棄。由于目標(biāo)占據(jù)一個較寬的頻域，因此檢測算法可通過帶寬為[ωl,ωh]的帶通濾波器[10]近似實現(xiàn)。

1.1組合帶通濾波器的近似

選擇DoG作為帶通濾波器，DoG濾波器是高斯拉普拉斯算子的有效近似，能很好地檢測圖像邊緣，用式(1)表示。

G(x,y,σ1)-G(x,y,σ2)

(1)

式(1)中：σ1和σ2為高斯方差，二者的比值ρ=σ1/σ2>1。

DoG濾波器是一個簡單的帶寬受ρ控制的帶通濾波器，而帶寬較寬的帶通濾波器可由N個窄帶DoG濾波器組合而成。若每個DoG濾波器的因子ρ大小一定，則其組合帶通濾波器可簡化成式(2)。

G(x,y,ρNσ)-G(x,y,σ)

(2)

可看出，對于N個高斯差分項，除第一項和最后一項外，所有的項相加為0，即帶通濾波器的方差比例為K=ρN。因此，通過選擇一個較大的K值，可模擬幾個帶通濾波器的組合結(jié)果。為獲得良好的邊緣檢測性能，ρ的大小應(yīng)恒定為1.6，然后將不同尺度下的幾個邊緣檢測算子(DoG濾波器)的輸出相加求和。這就解釋了為什么顯著目標(biāo)可被完整保留而非僅邊緣部分得以保留。

基于上述原理，當(dāng)計算顯著圖時，一個近似的帶通濾波器和圖像卷積能保留原始圖像中被期望的頻域成分。若σ1和σ2的差足夠大，則組合帶通濾波器的近似帶寬也較大。當(dāng)σ1>σ2時，ωl由σ1控制，而ωh由σ2控制。為使σ1與σ2的比例最大化，即保存原始圖像中完整的顯著性信息，定義σ1為無窮大，導(dǎo)致直流頻率被切除而其他頻率部分被保存。此外，為移除原始圖像中的高頻噪聲和紋理信息，采用較小的高斯核函數(shù)。對于這些小型核函數(shù)，DoG濾波器在離散處理方面能很好地近似高斯函數(shù)。

1.2顯著特征圖的計算

對于寬度為W像素、高度為H像素的圖像I的顯著特征圖S，可通過式(3)計算得到。

(3)

式(3)中：Iμ為圖像特征量的平均值；Iwh(x,y)為經(jīng)過高斯濾波后對應(yīng)圖像像素的特征值；‖‖為歐式距離公式。這里主要采用Lab空間中的顏色向量作為特征值，顯著特征圖的效果見圖1。

a)原始圖像b)顯著特征圖

圖1 顯著特征圖的效果

2 基于顯著特征的船舶檢測算法

根據(jù)得到的顯著特征圖，限定和分割原始圖像中的目標(biāo)候選區(qū)域?；陲@著性區(qū)域的船舶檢測算法主要用來對這些區(qū)域進(jìn)行進(jìn)一步的檢測和定位，方法是將局部特征描繪子與AdaBoost分類器相結(jié)合來實現(xiàn)精確檢測。這里選用HOG[11]作為船舶檢測的特征描繪子。HOG算子的核心思想是：原始圖像中局部物體的外貌和形狀能被光強梯度或邊緣方向的分布所描述。與其他特征描述方法相比，HOG算子具有以下優(yōu)點。

1)由于HOG是在圖像的局部方格單元上操作的，因此其對圖像幾何和光學(xué)形變能均保持很好的不變性。

2)在粗略的空域抽樣、精細(xì)的方向抽樣和較強的局部光學(xué)歸一化等條件下，只要目標(biāo)結(jié)構(gòu)不發(fā)生整體改變，不會影響檢測效果。

此外，HOG特征算子已在圖像行人檢測中取得巨大成功，其具體算法見圖2，圖中的輸入圖像為已得到的顯著性分割結(jié)果。這里在利用HOG算子檢測圖像船舶時采用9個通道的直方圖來統(tǒng)計細(xì)胞(cell)內(nèi)像素的梯度信息，每16×16個像素組成一個cell，每2×2個cell組成一個塊(block)。假設(shè)以8個像素為步長，則對于尺寸為32×24的圖片，HOG特征量共有216個。圖3給出圖像的HOG特征圖和HOG可視化圖像[12]。

圖2 基于顯著區(qū)域的HOG檢測算法

a)原始圖像b)HOG特征c)HOG可視化

圖3 HOG檢測算子及其可視化

3 試驗分析

為驗證所提算法的有效性，對原始圖像進(jìn)行測試，并與幾種傳統(tǒng)的分割或分類方法進(jìn)行對比。首先，給出基于顯著性分析的船舶分割算法的顯著圖和結(jié)果；其次，與自適應(yīng)灰度閾值分割算法、HSV分割算法、MeanShift分割算法及HSV聚類算法的結(jié)果進(jìn)行對比和分析；最后，將該算法和基于HOG特征的分類器相融合所得的結(jié)果與單獨基于HOG檢測算法所得結(jié)果進(jìn)行對比分析。這些計算統(tǒng)一在i7計算機(3.40 GHz)上利用軟件VS2010和OPENCV2.4.4完成。

3.1基于顯著性分析的船舶分割結(jié)果

對多張圖像進(jìn)行顯著性計算，提取出圖中每個像素對應(yīng)的顯著值，根據(jù)顯著信息進(jìn)行圖像分割。圖中船舶作為唯一的顯著性目標(biāo)，其對應(yīng)的顯著值與背景具有明顯差異。因此，在顯著性圖中采用自適應(yīng)分割算法對其進(jìn)行提取，實現(xiàn)船舶與其水面背景的分離。圖4為基于顯著性分析的船舶分割。

a)原始圖像b)顯著性圖c)分割結(jié)果

圖4 基于顯著性分析的船舶分割

3.2算法對比與分析

為比較不同目標(biāo)分割算法的性能，將分割結(jié)果和處理時間2個指標(biāo)作為評價標(biāo)準(zhǔn)。圖5通過3幅圖像樣本給出4種傳統(tǒng)的分割算法與所提算法的結(jié)果，其中：圖5a的自適應(yīng)灰度閾值分割算法在處理時易將船舶與背景混淆，無法完整保存目標(biāo)；圖5b～圖5d雖然結(jié)果看起來較好，但并沒有準(zhǔn)確把握背景的屬性和目標(biāo)的完整性(如船舶的倒影并沒有得到很好的區(qū)別)，同時這些算法存在一定程度的不穩(wěn)定性。而利用這里所提的算法(見圖5e)不僅能將船體與其倒影準(zhǔn)確地分離開來，認(rèn)定倒影部分屬于背景而非前景，而且具有一定的穩(wěn)定性。

a)灰度閾值化

b)HSV分割

c)MeanShitt分割

d)HSV聚類

e)顯著性分割

圖5 5種目標(biāo)分割算法的結(jié)果展示

此外，分析5種算法的處理時間，分別對5幅不同尺寸的圖像進(jìn)行處理，經(jīng)多次測量得到的平均處理時間見表1。

表1 5種目標(biāo)分割算法的平均處理時間 ms

3.3基于顯著性區(qū)域的HOG船舶檢測算法

圖6為基于顯著性區(qū)域的HOG船舶檢測結(jié)果。利用顯著性分割算法將船舶區(qū)域提取出來，用藍(lán)色矩形框表示。以2倍于藍(lán)色矩形框的紅色矩形框作為HOG檢測區(qū)域，經(jīng)多尺度檢測，最終結(jié)果用黃色矩形框表示。

a)檢測結(jié)果b)真實值

圖6 基于顯著性區(qū)域的HOG船舶檢測結(jié)果

圖6b為標(biāo)準(zhǔn)的目標(biāo)在圖中的位置和尺寸。需聲明，分類器訓(xùn)練所需要的大量正樣本和負(fù)樣本是由原始圖像仿射變換獲得的：從圖像中包含目標(biāo)的掃描窗口內(nèi)選擇10個矩形框，每個矩形框內(nèi)進(jìn)行±1%范圍的偏移、±1%范圍的尺寸變化和±1%范圍的平面內(nèi)旋轉(zhuǎn)，并增加方差為5的高斯噪聲，則每個矩形框需進(jìn)行20次幾何變化，20個矩形框可產(chǎn)生200個正樣本，然后重新定義均值為0的15×15像素的圖片；而負(fù)樣本也從原始圖像中獲取。由于除目標(biāo)區(qū)域外都是負(fù)樣本，因此無須仿射變換。

同時，通過120幅圖像對該算法與HOG檢測算法和Sift匹配算法進(jìn)行比較(見表2)，其中：檢測率指的是被正確檢測到的船舶圖片數(shù)量與所有圖片數(shù)量之比；誤判率為誤判的數(shù)量與圖片尺寸之比。對于尺寸為512×512像素的圖片，雖然三者都具有較高的檢測精度，但前者在計算時間上具有較大優(yōu)勢，適合于高速視頻檢測。

表2 算法比較

4 結(jié)束語

為使海事無人機能在巡航過程中對船舶進(jìn)行精確、實時的檢測，提出一種基于顯著性分析的快速船舶檢測算法。該算法首先根據(jù)航道水域環(huán)境的圖像頻譜分布特征，采用DoG組合帶通濾波器對原始輸入圖像進(jìn)行處理，得到顯著性圖譜，并通過自適應(yīng)分割獲取顯著性區(qū)域分割結(jié)果；然后利用HOG特征對AdaBoost分類器進(jìn)行參數(shù)訓(xùn)練，并使用該分類器對顯著區(qū)域進(jìn)行多尺度檢測，最終獲得精確的船舶檢測結(jié)果。試驗結(jié)果表明：該算法具有較好的準(zhǔn)確性和實時性，適用于背景動態(tài)變化的情況，且對光強干擾不敏感，具有一定的抗干擾能力。

[1] 葉玲利. 內(nèi)河視頻監(jiān)控中運動船舶檢測和遮擋分離算法研究[D]. 武漢：武漢理工大學(xué), 2013.

[2] 周靚. 航道監(jiān)控中船舶的檢測與跟蹤[D]. 南京：南京理工大學(xué), 2012.

[3] FEFILATYEV S, GOLDGOF D, SHREVE M,etal. Detection and Tracking of Ships in Open Sea with Rapidly Moving Buoy-mounted Camera System[J]. Ocean Engineering, 2012, 54(11): 1-12.

[4] 萬磊, 曾文靜, 秦再白，等. 海面目標(biāo)自適應(yīng)實時檢測[J]. 上海交通大學(xué)學(xué)報, 2012，46(9): 1421-1427.

[5] 柳圣軍. 基于計算機視覺的內(nèi)河航道智能監(jiān)控系統(tǒng)的研究[D]. 杭州：浙江工業(yè)大學(xué), 2009.

[6] 解曉萌. 復(fù)雜背景下運動目標(biāo)檢測和識別關(guān)鍵技術(shù)研究[D]. 廣州：華南理工大學(xué), 2012.

[7] TANG J, DENG C, HANG G,etal. Compressed-Domain Ship Detection on Spaceborne Optical Image Using Deep Neural Network and Extreme Learning Machine[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(3): 1174-1185.

[8] FROST D, TAPAMO J. Detection and Tracking of Moving Objects in a Maritime Environment Using Level Set with Shape Priors[J]. EURASIP Journal on Image and Video Processing, 2013(42): 15-18.

[9] SHI Z, YU X, JIANG Z,etal. Ship Detection in High-Resolution Optical Imagery Based on Anomaly Detector and Local Shape Feature[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52: 4511-4523.

[10] ACHANTA R, ACHANTA R, HEMAMI S,etal. Frequency-Tuned Salient Region Detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2009.

[11] DALAL N, TRIGGS B. Histograms of Oriented Gradients for Human Detection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005.

[12] VONDRICK C, KHOSLA A, MALISIEWICZ T,etal. HOGgles: Visualizing Object Detection Features[C]. IEEE International Conference on Computer Vision, 2013.

FastShipDetectionBasedonVisualSaliencyAnalysisandHOGFeature

YUANHaiwen1,2,XIAOChangshi1,2,WENYuanqiao1,2,ZHOUChunhui1,2,ZHANGKanghe1,2,ZOUXiong1,2

(1. School of Navigation, Wuhan University of Technology, Wuhan 430063, China；2. Hubei Key Laboratory of Inland Shipping Technology, Wuhan 430063, China)

2015-10-13

國家自然科學(xué)基金(51579204)；武漢理工大學(xué)自主創(chuàng)新基金(2016IVA064)

元海文(1988—),男,河南新鄉(xiāng)人，博士生，從事機器視覺及其在交通信息工程中的應(yīng)用研究。E-mail: hw_yuan@whut.edu.cn

1000-4653(2016)01-0069-05

TP391.41

A