趙　亮，王曉峰，袁逸濤（上海海事大學(xué) 信息工程學(xué)院，上海 201306）

基于深度卷積神經(jīng)網(wǎng)絡(luò)的船舶識(shí)別方法研究

趙亮，王曉峰，袁逸濤
（上海海事大學(xué) 信息工程學(xué)院，上海 201306）

為解決目前船舶識(shí)別率較低的問(wèn)題，基于深度卷積神經(jīng)網(wǎng)絡(luò)算法，提出一種在深度卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的改進(jìn)算法。利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)船舶圖片進(jìn)行深度特征提取，結(jié)合 HOG 算法得到準(zhǔn)確的邊緣特征，結(jié)合HSV算法得到顏色特征，通過(guò) SVM 分類(lèi)器對(duì)船舶進(jìn)行分類(lèi)。算法主要包括 2 個(gè)階段：訓(xùn)練階段實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練，將得到特征歸一化，PCA 降維，通過(guò) HOG 算法得到邊緣特征，最后訓(xùn)練 SVM 分類(lèi)器；測(cè)試階段則對(duì)算法的準(zhǔn)確性進(jìn)行核實(shí)。實(shí)驗(yàn)結(jié)果表明，該方法平均識(shí)別正確率達(dá)到 93.6%，可以很好地實(shí)現(xiàn)船舶識(shí)別。

深度卷積神經(jīng)網(wǎng)絡(luò)；船舶識(shí)別；邊緣梯度方向直方圖；支持向量機(jī)

0　引　言

隨著社會(huì)經(jīng)濟(jì)的發(fā)展，海上交通日益繁忙，發(fā)生事故在所難免，能否對(duì)船舶進(jìn)行有效的識(shí)別對(duì)經(jīng)濟(jì)發(fā)展有很大的作用。不僅如此，船舶識(shí)別技術(shù)為準(zhǔn)確跟蹤艦船目標(biāo)、實(shí)現(xiàn)精確制導(dǎo)也有軍事戰(zhàn)略上的意義［1］。

近年來(lái)，船舶識(shí)別技術(shù)發(fā)展至今，還未達(dá)到普及的地步，較為常見(jiàn)的船舶識(shí)別技術(shù)包括預(yù)處理 + 特征提取 + 分類(lèi)器，這類(lèi)方法的主要缺陷是需要用到復(fù)雜的圖像處理算法，且實(shí)驗(yàn)結(jié)果不太理想。除此之外，BP 神經(jīng)網(wǎng)絡(luò)也很好地應(yīng)用在船舶識(shí)別上，然而目前最新數(shù)據(jù)表明，識(shí)別精度只能達(dá)到 84% 左右［2］，提高船舶識(shí)別精度迫在眉睫。

目前，深度學(xué)習(xí)技術(shù)發(fā)展很快，深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征［3］。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是深度學(xué)習(xí)中的一種方法，已成功應(yīng)用在手寫(xiě)字符識(shí)別、人臉識(shí)別及行人檢測(cè)等識(shí)別任務(wù)中，實(shí)驗(yàn)結(jié)果表明 CNN 模型可以有效 提取特征［4］。

本文基于深度卷積神經(jīng)網(wǎng)絡(luò)提取特征的優(yōu)良特性，結(jié)合 HOG 算法得到準(zhǔn)確的邊緣特征，通過(guò) SVM分類(lèi)器對(duì)船舶進(jìn)行分類(lèi)。與傳統(tǒng)的船舶識(shí)別方法相比有以下優(yōu)勢(shì)：

1）無(wú)需復(fù)雜預(yù)處理，不需人為設(shè)置卷積核，降采樣降低了計(jì)算復(fù)雜度。

2）對(duì)位移、縮放和其他形式扭曲的不變性［5］；

3）提取船舶特征的同時(shí)，對(duì)這些圖片的邊緣特征進(jìn)行加強(qiáng)，得到表現(xiàn)原始圖像最佳的特征；

4）采用 SVM 分類(lèi)器，分類(lèi)效果更好，降低了計(jì)算的復(fù)雜度，提高了魯棒性。

1　船舶圖像的特征提取

特征提取是圖像識(shí)別的一個(gè)關(guān)鍵，特征提取直接影響到識(shí)別結(jié)果的準(zhǔn)確性。良好的特征應(yīng)該具備以下幾個(gè)特點(diǎn)：

1）可區(qū)分性，對(duì)于不同類(lèi)別的船舶，特征應(yīng)具有明顯的差異；

2）不變性，對(duì)于同一類(lèi)的船舶，特征應(yīng)該比較接近，不會(huì)發(fā)生明顯變化；

3）可拓展性，選取的特征之間不相關(guān)，可以進(jìn)行聯(lián)合；

4）魯棒性，具有旋轉(zhuǎn)不變性、尺度不變性等優(yōu)良特性［6］。

1.1HSV 特征提取

顏色特征是圖像最直觀的特征之一，相對(duì)其它特征來(lái)說(shuō)計(jì)算簡(jiǎn)單，提取更為容易。相較 RGB 顏色空間，HSV 空間更能與人眼的視覺(jué)特征相匹配，（H 表示色調(diào)，指光的顏色；S 表示飽和度，指顏色的深淺或濃淡程度，V 表示亮度，指人眼感受到光的明暗程度）。本文采取了視覺(jué)彩色模型中 HSV 模型進(jìn)行特征提取。

RGB 空間可以很容易轉(zhuǎn)換到 HSV 空間，本文采用較方便的等間隔量化方法，H 等間隔劃分為 16 塊，S等間隔劃分為 4 塊，V 等間隔劃分為 4 塊，最后得到一個(gè) 256 維的 HSV 特征向量。

1.2深度卷積神經(jīng)網(wǎng)絡(luò)特征提取

圖 1 給出了本文使用的卷積網(wǎng)絡(luò)結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)特征提取需要經(jīng)歷逐層構(gòu)建網(wǎng)絡(luò)、訓(xùn)練網(wǎng)絡(luò)和特征提取 3 個(gè)階段。

圖 1　卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1　Convolutional neural network structure

卷積層計(jì)算形式：

降采樣層計(jì)算形式：

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括以下 2 個(gè)階段：

1）正向傳播階段。將訓(xùn)練樣本通過(guò)卷積神經(jīng)網(wǎng)絡(luò)得到實(shí)際輸出。

2）后向傳播階段。計(jì)算實(shí)際輸出與相應(yīng)的理想輸出的差，按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。

卷積的過(guò)程就是特征提取的過(guò)程，大量實(shí)驗(yàn)已經(jīng)證實(shí)卷積神經(jīng)網(wǎng)絡(luò)可以很好提取圖像的紋理特征，然而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)只使用了最后的輸出層得到的特征，而卷積過(guò)程中產(chǎn)生的特征圖片也可以很好地對(duì)原始圖片進(jìn)行表現(xiàn)。本文將這部分的特征也合理利用起來(lái)，使特征更具表現(xiàn)力，具體實(shí)現(xiàn)如圖 2 所示。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段結(jié)束后，將卷積過(guò)程中得到的特征圖片通過(guò)特征提取得到特征向量，然后通過(guò) SVM 分類(lèi)器得到分類(lèi)結(jié)果。

1.3邊緣梯度方向直方圖特征提取

邊緣梯度方向直方圖特征主要對(duì)圖像的邊緣梯度方向以及大小等的性質(zhì)進(jìn)行統(tǒng)計(jì)，正是這種統(tǒng)計(jì)方式提高了圖片的平移、尺度和旋轉(zhuǎn)不變性，圖像的形狀能夠被梯度或邊緣的方向密度分布很好的描述，不同類(lèi)別的船舶邊緣特征差別也很大，于是采用邊緣梯度方向直方圖可以很好的提取出船舶的邊緣特征，圖 2中的特征提取方法本文就采用邊緣梯度方向直方圖來(lái)實(shí)現(xiàn)。

圖 2　卷積神經(jīng)網(wǎng)絡(luò)特征提取圖Fig. 2　Convolutional neural network feature extraction

邊緣梯度方向直方圖特征提取步驟如下：

1）歸一化。為了減少光照、局部陰影的影響，對(duì)整個(gè)圖像進(jìn)行歸一化，本文采用 gamma 壓縮方法，具體公式：

2）計(jì)算圖像梯度。計(jì)算圖像橫坐標(biāo)和縱坐標(biāo)方向的梯度，求導(dǎo)操作不僅能夠捕獲圖像的輪廓等紋理特征，還可以弱化光照影響，具體公式圖像中像素點(diǎn)（x，y）的梯度為：

使用 ［-1，0，1］ 梯度算子對(duì)原圖像做卷積運(yùn)算，得到 x 方向的梯度分量，然后用 ［-1，0，1］T梯度算子對(duì)原圖像做卷積運(yùn)算，得到 y 方向的梯度分量，最后可得像素點(diǎn)處梯度幅值和梯度方向?yàn)椋?/p>

3）為每個(gè)細(xì)胞單元構(gòu)建梯度方向直方圖。細(xì)胞是最小統(tǒng)計(jì)單元，例如：每個(gè)細(xì)胞為 8×8 個(gè)像素，采用9 個(gè)直方圖來(lái)統(tǒng)計(jì)這 8×8 個(gè)像素的梯度信息，也就是將細(xì)胞的梯度方向 360° 分成 18 個(gè)方向塊，如圖 3 所示，即 ［0，20］ 度數(shù)范圍統(tǒng)計(jì)為一個(gè)方向塊。

圖 3　梯度直方圖方向塊Fig. 3　Gradient histogram directional block

4）細(xì)胞單元組合成大的塊，塊內(nèi)歸一化梯度直方圖。將各個(gè)細(xì)胞單元組合成大的，連通的區(qū)域，一個(gè)塊由塊內(nèi)細(xì)胞的特征向量串聯(lián)起來(lái)，組合成整幅圖像的特征，為了實(shí)現(xiàn)方便本文將塊的大小設(shè)為圖像大小，于是特征向量的大小 = 方向塊個(gè)數(shù)×細(xì)胞單元數(shù)，圖 4 給出了由船舶圖片提取邊緣特征直方圖。

圖 4　船舶圖片提取邊緣特征直方圖Fig. 4　Edge feature histogram of ship image extraction

2　實(shí)驗(yàn)部分

2.1整體框架

本文設(shè)計(jì)的船舶識(shí)別系統(tǒng)如圖 5 所示。

圖 5　船舶識(shí)別系統(tǒng)框圖Fig. 5　Block diagram of ship identification system

訓(xùn)練階段：首先，將訓(xùn)練樣本通過(guò)卷積神經(jīng)網(wǎng)絡(luò)得到預(yù)訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)，然后提取訓(xùn)練樣本特征；其次，將得到的特征進(jìn)行歸一化，PCA（Principal Component Analysid）降維；最后，結(jié)合得到的訓(xùn)練特征和標(biāo)簽，訓(xùn)練 SVM（Support Vector Machine）分類(lèi)器。

測(cè)試階段：測(cè)試樣本直接通過(guò)預(yù)訓(xùn)練好的網(wǎng)絡(luò)，提取得到特征，然后進(jìn)行歸一化，降維等操作，最后通過(guò)訓(xùn)練階段得到的SVM分類(lèi)器，輸出就是預(yù)測(cè)標(biāo)簽。

2.2數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

以 Fleetmoom 船舶圖像庫(kù)中的船舶圖像作為實(shí)驗(yàn)中識(shí)別對(duì)象，為了實(shí)驗(yàn)的準(zhǔn)確和可靠，人工提取并標(biāo)注了其中的集裝箱船、客船、漁船、帆船和軍艦圖像共 5 類(lèi)作為訓(xùn)練和測(cè)試樣本，其中訓(xùn)練樣本共 500張，測(cè)試樣本共 310 張，且每類(lèi)圖像分辨率均在200×200 像素以上，部分圖像樣本如表 1 所示。

表 1　實(shí)驗(yàn)圖庫(kù)樣本部分實(shí)例Tab. 1　The samples of experimental images

實(shí)驗(yàn)全部在 MatlabR2014a 環(huán)境下完成，Windows7操作系統(tǒng)，Intel Core i5-4300U CPU，主頻 2.50 GHU，內(nèi)存 8 G，SVM 工具箱選擇林智仁教授開(kāi)發(fā)的 LIBSVM，實(shí)驗(yàn)中選用 RBF 核函數(shù)，其中 gamma 參數(shù)和懲罰系數(shù)由網(wǎng)格尋優(yōu)所得。

2.3實(shí)驗(yàn)結(jié)果及分析

使用深度卷積神經(jīng)網(wǎng)絡(luò)提取特征前，數(shù)據(jù)集中所有彩色圖像統(tǒng)一變成 200×200 大小的灰度圖。為節(jié)省篇幅，給出部分卷積過(guò)程中的特征圖像如圖 6 所示。

圖 6　卷積神經(jīng)網(wǎng)絡(luò)部分特征圖Fig. 6　Convolutional neural network part of the feature map

表 2 給出了不同特征的識(shí)別率，表 3 給出了實(shí)驗(yàn)中使用的具體參數(shù)值，圖 7 給出了表 3 對(duì)應(yīng)分類(lèi)結(jié)果的 ROC 曲線(xiàn)。使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)達(dá)到的準(zhǔn)確率不到 85%。由表 2 可知，當(dāng)單獨(dú)運(yùn)用 ①②③ 中的某種特征時(shí)，深度卷積神經(jīng)網(wǎng)絡(luò)提取特征，得到的準(zhǔn)確率可達(dá) 90.00%；邊緣特征直方圖特征，得到的準(zhǔn)確率可達(dá) 88.06%；HSV 顏色特征，得到的準(zhǔn)確率只有61.94%；當(dāng)綜合考慮 ①②③ 時(shí)，船舶平均識(shí)別率達(dá)93.55%。由于實(shí)驗(yàn)所采用的圖片背景較為復(fù)雜，都是現(xiàn)實(shí)生活中實(shí)時(shí)拍攝，于是采用單一的 HSV 顏色特征來(lái)進(jìn)行特征提取得到的分類(lèi)效果并不是太好。由于不同類(lèi)別的船舶，船型存在一定的差異，通過(guò) HOG 很好地得到船舶的邊緣特征，就可以將不同的船舶分開(kāi)。將以上 2 種特征提取方法與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，得到了多層次，更有深度的船舶特征，進(jìn)而更好地將船舶進(jìn)行識(shí)別。

表 2　幾種特征的識(shí)別率比較Tab. 2　Comparison of recognition rates of several features

表 3　特征具體參數(shù)Tab. 3　Characteristic parameters

本文還有待改進(jìn)的地方如下：

1）文中所用的 HSV 特征量化是等間隔量化，可以根據(jù)顏色空間特點(diǎn)，合理的改為非等間隔量化。

2）文中 SVM 分類(lèi)器采用的是 RBF 核函數(shù)，可以通過(guò)使用更加優(yōu)秀的核函數(shù)來(lái)達(dá)到更好的分類(lèi)效果，如卡方核函數(shù)及直方圖相交核函數(shù)等。

3）文中 SVM 分類(lèi)器使用的是網(wǎng)格尋優(yōu)得到最優(yōu)參數(shù)，可以嘗試其他較好的尋優(yōu)算法得到使分類(lèi)效果更好的最佳懲罰系數(shù) C 及核函數(shù)參數(shù) G，如粒子群尋優(yōu)及遺傳算法尋優(yōu)等。

圖 7　分類(lèi)結(jié)果 ROC 曲線(xiàn)Fig. 7　Classification result ROC curve

3　結(jié)　語(yǔ)

本文通過(guò)構(gòu)建 7 層卷積神經(jīng)網(wǎng)絡(luò)對(duì)船舶圖像進(jìn)行訓(xùn)練，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)船舶圖片進(jìn)行深度特征提取，結(jié)合 HOG 算法得到準(zhǔn)確的邊緣特征，結(jié)合 HSV算法得到顏色特征，通過(guò) SVM 分類(lèi)器對(duì)船舶進(jìn)行分類(lèi)，很好的解決了目前船舶識(shí)別率較低的問(wèn)題。由于特征本身具有一定的局限性，不可能完全表現(xiàn)圖像的全部特征，本文將多種特征有效的結(jié)合，最終對(duì)船舶識(shí)別精度達(dá)到 93.55% 左右。當(dāng)然文中還存在不足和可以改進(jìn)的地方，核函數(shù)的選取，參數(shù)的設(shè)定都有待進(jìn)一步的研究。本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的船舶識(shí)別方法對(duì)民生、經(jīng)濟(jì)，甚至在軍事上具有一定參考價(jià)值，為海上絲綢之路的發(fā)展保駕護(hù)航。

［1］陳練，蘇強(qiáng)，董亮，等. 國(guó)內(nèi)外海洋調(diào)查船發(fā)展對(duì)比分析［J］. 艦船科學(xué)技術(shù)，2014，36（S1）：2-7. CHEN Lian，SU Qiang，DONG Liang，et al. Comparative analysis of the development of research vessel at home and abroad［J］. Ship Science and Technology，2014，36（S1）：2-7.

［2］梁錦雄，王刻奇. 基于 BP 神經(jīng)網(wǎng)絡(luò)的船艦?zāi)繕?biāo)識(shí)別分類(lèi)［J］.艦船科學(xué)技術(shù)，2015，37（3）：206-209. Liang Jin-xiong，Wang Ke-qi. Ship recognition based on BP network［J］. Ship Science and Technology，2015，37（3）：206-209.

［3］冀中，劉青，聶林紅，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的紋理分類(lèi)方法研究［J］. 計(jì)算機(jī)科學(xué)與探索，2016，10（3）：389-397. JI Zhong，LIU Qing，NIE Lin-hong，et al. Texture classification with convolutional neural network［J］. Journal of Frontiers of Computer Science & Technology，2016，10（3）：389-397.

［4］鄧柳. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的車(chē)型識(shí)別［D］. 成都：西南交通大學(xué)，2015. DENG Liu. Deep convolutional neural networks for vehicle classification［D］. Chengdu：Southwest Jiaotong University，2015.

［5］劉建偉，劉媛，羅雄麟. 深度學(xué)習(xí)研究進(jìn)展［J］. 計(jì)算機(jī)應(yīng)用研究，2014，31（7）：1921-1930，1942. LIU Jian-wei，LIU Yuan，LUO Xiong-lin. Research and development on deep learning［J］. Application Research of Computers，2014，31（7）：1921-1930，1942.

［6］安博文，李丹，龐然. 基于 SVM 分類(lèi)器的集裝箱箱號(hào)識(shí)別法［J］. 上海海事大學(xué)學(xué)報(bào)，2011，32（1）：25-29. AN Bo-wen，LI Dan，PANG Ran. Recognition method of container code based on SVM classifier［J］. Journal of Shanghai Maritime University，2011，32（1）：25-29.

Research on ship recognition method based on deep convolutional neural network

ZHAO Liang，WANG Xiao-feng，YUAN Yi-tao
（Information Engineering College，Shanghai Maritime University，Shanghai 201306，China）

In order to solve the problem of low recognition rate of ships，a new algorithm based on the deep convolutional neural network is proposed.Using the convolutional neural network to extract the depth of the ship image，the HOG algorithm is used to get the accurate edge feature，combining the HSV algorithm to get the color characteristics，and the ship is classified by SVM classifier. The algorithm mainly consists of two stages：the training stage to achieve the pre training of convolutional neural network，will get the feature normalization，PCA dimension reduction，through the HOG algorithm to get edge features，and finally trained SVM classifier.In the test stage，the accuracy of the algorithm is verified. Experimental results show that the average recognition accuracy of the proposed method is 93.6%，which can be very good to achieve the recognition of the ship.

deep convolutional neural network；ship recognition；edge gradient direction histogram；support vector machine

TP391.4

A

1672 - 7619（2016）08 - 0119 - 05

10.3404/j.issn.1672 - 7619.2016.08.025

2016 - 02 - 19；

2016 - 04 - 12

國(guó)家海洋公益專(zhuān)項(xiàng)資助項(xiàng)目（201305026）

趙亮（1992 - ），男，碩士研究生，研究方向?yàn)樯疃葘W(xué)習(xí)與模式識(shí)別。