戚 超，王曉峰

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

基于卷積神經(jīng)網(wǎng)絡(luò)的運輸船舶分類識別方法

戚 超，王曉峰

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

為了解決運輸船的精細分類識別問題，針對在港口、航道拍攝的大量運輸船圖像，將一個8層卷積神經(jīng)網(wǎng)絡(luò)和支持向量機結(jié)合起來，通過用運輸船訓(xùn)練集對網(wǎng)絡(luò)進行監(jiān)督訓(xùn)練，然后提取卷積神經(jīng)網(wǎng)絡(luò)第一個全連接層的特征，訓(xùn)練支持向量機后便可以對運輸船進行分類識別，最后與其他全連接層的特征進行對比。實驗結(jié)果表明，該方法能夠?qū)崿F(xiàn)運輸船類型精細分類識別，平均檢測準確率達到88.6%。

船舶識別；卷積神經(jīng)網(wǎng)絡(luò)；支持向量機

0 引言

近年來，隨著我國對外經(jīng)濟貿(mào)易的不斷增長，以及一帶一路和海上絲綢之路戰(zhàn)略的實施，海上交通日益繁忙，船舶數(shù)量、水域交通密度及危險貨物的裝載不斷增加，港口的船舶出入頻繁，各種海上交通事故及海難時有發(fā)生。對船舶進行有效的識別，不僅對船舶的安全駕駛和海上交通安全管理具有重要作用，并且可以將其技術(shù)應(yīng)用到VTS系統(tǒng)中，快速識別各種船只，有利于提高港口通航以及巡航救助的能力，對國家的海上安全也具有重大的應(yīng)用價值。

船舶識別一直是模式識別領(lǐng)域的研究熱點之一。2014年蔣少峰等提出基于結(jié)構(gòu)特征的SAR商用船舶分類算法[1]，可對散貨船、集裝箱船和漁船進行分類；隨著神經(jīng)網(wǎng)絡(luò)方法的興起，2015年梁錦雄用BP神經(jīng)網(wǎng)絡(luò)對航空母艦、驅(qū)逐艦、護衛(wèi)艦、客船、集裝箱船、油船這6類船舶的紅外圖像進行識別[2]；2016年Katie Rainey設(shè)計了針對衛(wèi)星船舶圖像分類的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)，并達到一個較好的分類效果[3]。相比于SAR圖像和紅外圖像，數(shù)字圖像能夠提供更為豐富的視覺信息，2016年趙亮等人利用卷積神經(jīng)網(wǎng)絡(luò)對數(shù)字船舶圖像提取特征，然后融合HOG和HSV特征構(gòu)建船舶圖像特征，再用支持向量機(Support Vector Machine，SVM)方法對集裝箱船、客船、漁船、軍艦、帆船進行分類[4]。

現(xiàn)有的這些研究雖然取得了較好的識別效果，但是其針對的主要是船舶形狀差異大、背景單一的船舶圖像庫。在現(xiàn)實港口、航道拍攝的大量運輸船圖像，背景復(fù)雜、船體形狀差異較小以及拍攝角度造成相似度高，使得傳統(tǒng)的方法對船舶圖像進行分類識別并不能得到較好的效果。如何有效提高這類船舶圖像識別的效果是目前船舶圖像識別研究的一個難點。

隨著深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類任務(wù)中取得突破性的進展，吸引了許多學(xué)者和研究人員投入其中，其中賈楊清等人研究表明，利用ImageNet上分類訓(xùn)練好的深度CNN模型提取深度卷積激活特征[5](Deep Convolution Activation Feature，DeCAF)，結(jié)合不同的分類器在場景識別、鳥類識別等任務(wù)都取得了很好的效果，實驗表明基于AlexNet[6]網(wǎng)絡(luò)的第六層全連接層(DeCAF6)的特征無論在鳥類識別、目標識別任務(wù)中都表現(xiàn)出優(yōu)于其他層特征。為此，本文采用AlexNet網(wǎng)絡(luò)，引入深度卷積激活特征，針對具有復(fù)雜背景的運輸船數(shù)據(jù)集進行網(wǎng)絡(luò)訓(xùn)練，然后提取該網(wǎng)絡(luò)的DeCAF6特征，結(jié)合SVM分類器，對集裝箱船、散裝貨船、油氣船三類相似程度高的運輸船進行精細分類識別。本文嘗試在卷積神經(jīng)網(wǎng)絡(luò)中尋找最好的特征表示層，結(jié)合SVM分類器，通過提取圖像的高級語義特征提高CNN對特征的分類能力。

1 識別方法描述

1.1主要思想

簡略地說，深度卷積神經(jīng)網(wǎng)絡(luò)的主要工作原理是利用卷積核、下采樣和池化的方法逐層、逐級地抽取待識別的圖像特征，在網(wǎng)絡(luò)輸出端對最終特征進行分類處理。層數(shù)的選擇和特征提取密切相關(guān)且對分類效果影響極大，是運用CNN進行模式分類的關(guān)鍵問題之一。

本文所使用的深度卷積神經(jīng)網(wǎng)絡(luò)是基于AlexNet模型構(gòu)建的一個8層網(wǎng)絡(luò)結(jié)構(gòu)，通過在本文構(gòu)建的運輸船數(shù)據(jù)集上訓(xùn)練，得到卷積神經(jīng)網(wǎng)絡(luò)全連接層的特征圖，提取深度卷積激活特征，用SVM分類器進行分類。由于在該網(wǎng)絡(luò)結(jié)構(gòu)中總共有3個全連接層，選擇哪一層作為SVM分類器的輸入能得到更好的分類效果，根據(jù)賈楊清等人研究實驗表明：處在卷積神經(jīng)網(wǎng)絡(luò)前面的卷積層的特征圖包含的語義有限，后面全連接層的特征圖是由底層到中層的卷積層局部特征激活得到的，包含的語義信息更豐富，DeCAF6特征無論在物體分類、識別，還是在細粒度物體分類中都表現(xiàn)出優(yōu)于其他層特征，因此本文采用深度卷積神經(jīng)網(wǎng)絡(luò)的DeCAF6層特征，將其用于SVM分類器的輸入端，以便獲得一個較好的分類效果。

本文的船舶識別系統(tǒng)結(jié)構(gòu)如圖1所示。在訓(xùn)練階段，首先利用自己創(chuàng)建的船舶圖像數(shù)據(jù)集對AlexNet模型進行有監(jiān)督訓(xùn)練，待訓(xùn)練結(jié)束后，提取該網(wǎng)絡(luò)的第六層網(wǎng)絡(luò)特征應(yīng)用于SVM分類器進行訓(xùn)練；測試階段，測試圖像經(jīng)過與訓(xùn)練階段相同的預(yù)處理、CNN特征提取，然后將所得的圖像特征作為訓(xùn)練階段已訓(xùn)練好的SVM分類器的輸入，其輸出就是船舶圖像的預(yù)測標簽。

圖1 船舶識別系統(tǒng)結(jié)構(gòu)

1.2圖像預(yù)處理

CNN作為一種神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)是相對固定的，但是船舶圖像尺寸大小各異，因此需要對圖像進行預(yù)處理，以便能夠使不同大小的圖像輸入到固定結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練。

預(yù)處理過程主要包括兩個步驟：

(1)將所有的船舶圖像的尺寸統(tǒng)一調(diào)整為CNN在訓(xùn)練時所設(shè)計的輸入大小。針對本文構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)輸入有3個通道，圖像大小縮放為227×227。

(2)去均值，即對圖像上的每個像素的值減去平均值，對于本文的RGB圖像，要分別處理RGB三個通道上的像素值。

1.3 CNN結(jié)構(gòu)設(shè)計

本文所使用的深度卷積神經(jīng)網(wǎng)絡(luò)是ImageNet平臺上的AlexNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)有5個卷積層、3個池化層和3個全連接層，從表1所給出的參數(shù)可知，由于船舶圖像的分辨率大小不一致，對圖片進行預(yù)處理，在第一層卷積層中用96個不同的大小為11×11的卷積核對輸入層進行卷積，滑動窗口步長為4，得到第一層卷積層，之后對這層卷積層進行線性偏移函數(shù)的轉(zhuǎn)置和池化操作，激活函數(shù)選用的是線性修正單元函數(shù)[7](Rectified Linear Unit, ReLU)。池化過程選擇重疊池化，對卷積層3×3的鄰域點中取最大值，滑動窗口步長為2，最后再進行局部響應(yīng)歸一化后得到第一層的特征圖，通過相同的操作就可以得到第二層的特征圖；第三、四層只有卷積和池化過程且參數(shù)都是一樣的；第五層卷積操作之后經(jīng)過線性偏移函數(shù)轉(zhuǎn)置再進行池化操作，最終得到256個6×6的特征圖，緊接著的第六層是第一個全連接層，將第五層所得全部特征圖進行連接得到4 096維的向量。通過相同的操作得到第七層特征向量，第八層是Softmax，輸出決策結(jié)果。

本文使用的局部響應(yīng)歸一化(Local Response Normalization, LRN)方法，能夠提升網(wǎng)絡(luò)的泛化能力。另外為了防止過擬合，在每個全連接層后面使用了“dropout”[8]的技術(shù)，使網(wǎng)絡(luò)學(xué)習到更為魯棒的特征。

1.4 CNN訓(xùn)練

本文用彩色的運輸船圖像數(shù)據(jù)訓(xùn)練AlexNet模型，在已訓(xùn)練好的AlexNet模型的基礎(chǔ)上，再用運輸船圖像庫的訓(xùn)練集對這個模型進行再訓(xùn)練，通過觀察測試圖像集上的圖像精度判斷訓(xùn)練效果[9-10]。在開始訓(xùn)練前,模型每一層權(quán)值的初始化都要通過一個均值為0、均方差為0.01的高斯分布進行初始化。

表1 本文深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練分為兩個階段：

(1)前向傳播階段。從圖像庫訓(xùn)練樣本集中抽取一個樣本(x,y),將x輸入到CNN網(wǎng)絡(luò)上，上一層的輸出就是當前層的輸入，逐層傳遞下去，最后得到Softmax層的輸出y′。y′是一個3維的向量，其元素分別代表著x被分到給定類別的概率。

(2)后向傳播階段。比較Softmax層的輸出y′與給定樣本集的類別標簽向量y的誤差，并使用最小化均方誤差代價函數(shù)的方法調(diào)整權(quán)值參數(shù)，其他層的誤差只能從輸出層向輸入層方向逐層后推得到。

通過這兩個階段的訓(xùn)練，可以得到該網(wǎng)絡(luò)所有層的權(quán)值參數(shù)，從而得到卷積神經(jīng)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)采用隨機梯度下降的方法，將批量尺寸設(shè)置為100，動量系數(shù)為0.9，權(quán)值衰減系數(shù)為0.000 5，初始學(xué)習率為0.000 1，通過90次的循環(huán)訓(xùn)練便得到了卷積神經(jīng)網(wǎng)絡(luò)。

1.5 SVM訓(xùn)練

實驗表明，用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型對運輸船圖像提取特征，由于SVM分類器對大數(shù)據(jù)高維特征的分類支持較好，而且研究表明SVM效果比模型中的Softmax分類器直接分類效果好很多，因此本文選擇SVM分類器，通過在運輸船數(shù)據(jù)集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到卷積神經(jīng)網(wǎng)絡(luò)的模型，然后提取第六層的船舶圖像特征，結(jié)合訓(xùn)練集船舶圖像標簽訓(xùn)練并得到一個SVM分類器。然后使用這個訓(xùn)練好的SVM分類器進行船舶識別。

2 實驗

2.1數(shù)據(jù)集和實驗環(huán)境

本文所采用的運輸船圖像庫是從中國海事網(wǎng)船舶圖像集中以及百度圖片、Google圖片中收集，分別收集了集裝箱船、油氣船、散裝貨船這3類船舶圖像，如圖2所示，這些運輸船在拍攝角度不同、背景復(fù)雜以及船舶形狀差異小等因素下都造成船舶圖像區(qū)別難度高。本文實驗船舶圖像總共3 000張，每類1 000張，隨機選取2 400張圖像作為訓(xùn)練集，600張作為測試集。

圖2 船舶圖像庫部分樣例(原圖為彩色)

實驗全部在MATLAB2014a平臺上進行，使用Matconvnet[11]和LibSVM這兩個第三方包，Matconvnet是專門為訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的使用MATLAB的第三方開源包，LibSVM是臺灣林智仁教授2001年開發(fā)的一套支持向量機的庫，可以快速、簡便地對數(shù)據(jù)做分類或回歸。

2.2實驗結(jié)果及分析

本文采用8層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，有5個卷積層，如圖3所示，5個不同的卷積層對應(yīng)著不同的特征圖，將本文網(wǎng)絡(luò)結(jié)構(gòu)中前5個卷積層所得到的特征圖可視化。第一、二層卷積層學(xué)習到的基本是顏色、邊緣等低層特征，從第三層到第五層開始，特征的可解釋性變差，特征變得局部且稀疏。

圖3 不同卷積層得到的特征圖

表2給出了本文中不同方法對運輸船的識別率，從表2給出的數(shù)據(jù)可知，使用傳統(tǒng)的8層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方法對運輸船的識別效率達到83.33%，而使用卷積神經(jīng)網(wǎng)絡(luò)提取特征，將在第六層所提取的特征應(yīng)用到SVM分類器中，即DeCAF6+SVM方法達到88.66%的識別率，使用第七層的圖像特征對運輸船的識別率達到84.17%，實驗驗證了本網(wǎng)絡(luò)第六層特征對運輸船識別效率最好。從表2中數(shù)據(jù)可知，散裝貨船和油氣船的識別率相對較低，這是由于拍攝角度、運輸船形狀相似的原因造成散裝貨船和油氣船不好區(qū)分，而且這兩個類型的運輸船和集裝箱船相比，集裝箱船最明顯的特征是集裝箱，所以集裝箱船比其他兩種識別率高。為了驗證本文方法的有效性，在本文數(shù)據(jù)集上又測試了趙亮等人所提出的船舶識別方法，將卷積神經(jīng)網(wǎng)絡(luò)提取的特征、HOG和HSV特征三者融合起來，從表2可以看出，其船舶識別方法的識別率只有85%，HOG和HSV特征并不能很好地區(qū)分運輸船，文獻[4]所提出的方法主要是針對船舶形狀差異大的船舶類型，使用全局特征對運輸船進行精細分類效果不佳。而本文使用層次更深的卷積神經(jīng)網(wǎng)絡(luò)進行識別，旨在得到更有區(qū)別性的局部特征。

表2 運輸船分類識別結(jié)果 (%)

復(fù)雜背景的運輸船舶精細分類是一個具有挑戰(zhàn)性的問題，本文雖然取得了較好的分類效果，也存在一些不足：

(1)在圖像庫的建立方面，為使研究更加有實際意義和使用價值，應(yīng)進行更多類別的實驗，完善船舶圖像數(shù)據(jù)庫。

(2)在圖像特征選取方面，應(yīng)該進一步研究具有辨別性的局部特征，與卷積神經(jīng)網(wǎng)絡(luò)提取的特征進行融合，提高圖像識別的精度。

3 結(jié)論

本文通過基于AlexNet構(gòu)建的8層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對運輸船圖像進行訓(xùn)練，利用卷積神經(jīng)網(wǎng)絡(luò)能夠提供較好的局部特征，提取該網(wǎng)絡(luò)第六層的特征，通過SVM分類器進行分類識別，很好地解決了這些由于拍攝角度、背景復(fù)雜以及船體形狀相似等原因造成識別難度大的運輸船精細分類的問題，并最終達到平均識別率為88.6%。本文不僅驗證了該方法在船舶類型精細分類具有較高的檢測準確率，也說明了卷積神經(jīng)網(wǎng)絡(luò)在船舶識別具有較好的特征提取能力，同樣該方法對于實現(xiàn)船舶航行安全也具有重要意義。

[1] 蔣少峰, 王超, 吳樊,等. 基于結(jié)構(gòu)特征分析的COSMO-SkyMed圖像商用船舶分類算法[J]. 遙感技術(shù)與應(yīng)用, 2014, 29(4):607-615.

[2] 梁錦雄,王刻奇.基于BP神經(jīng)網(wǎng)絡(luò)的船艦?zāi)繕俗R別分類[J].艦船科學(xué)技術(shù), 2015, 37(3):206-209.

[3] RAINEY K, REEDER J D, CORELLI A G. Convolution neural networks for ship type recognition[C]. SPIE Defense+Security, 2016,9844:09.

[4] 趙亮, 王曉峰, 袁逸濤. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的船舶識別方法研究[J]. 艦船科學(xué)技術(shù), 2016, 38(15):119-123.

[5] DONAHUE J, JIA Y, VINYALS O, et al. DeCAF: a deep convolutional activation feature for generic visual recognition[J]. Computer Science, 2013, 50(1):815-830.

[6] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems, Curran Associates Inc, 2012:1097-1105.

[7] NAIR V, HINTON G E. Rectified linear units improve restricted boltzmann machines[C]. International Conference on Machine Learning, 2015:807-814.

[8] HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012, 3(4): 212-223.

[9] RAZAVIAN A S, AZIZPOUR H, SULLIVAN J, et al. CNN features off the shelf: an astounding baseline for recognition[C]. CVPR2014, DeepVision Workshop, 2014:512-519.

[10] YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[J]. Eprint Arxiv, 2014, 27:3320-3328.

[11] VEDALDI A, LENC K. MatConvNet: Convolutional Neural Networks for MATLAB[J]. Eprint Arxiv, 2014:689-692.

Transport ships recognition method based on convolution neural networks

Qi Chao, Wang Xiaofeng

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

In order to solve the problems of the fine classification of transport ships, this article combined 8 layers convolution neural network and Support Vector Machine (SVM). Firstly introduced 8 layers convolution neural network structure, and it was obtained by supervised training with labeled training data, then extracted the feature of the first full connection layer of convolution neural network, after training SVM, the transport ships can be classified and identified. Finally, we compared the performance with other full connection layer. Experimental results show that the proposed method can realize fine classification of transport ships, and detection accuracy is 88.66% on average.

ship recognition; convolution neural network; support vector machine

TP391.41

：A

10.19358/j.issn.1674- 7720.2017.17.015

戚超，王曉峰.基于卷積神經(jīng)網(wǎng)絡(luò)的運輸船舶分類識別方法[J].微型機與應(yīng)用，2017,36(17)：52-55.

2017-03-11)

戚超(1992-)，男，碩士研究生，主要研究方向：圖像識別與深度學(xué)習。

王曉峰(1958-)，男,工學(xué)博士，教授，主要研究方向：人工智能、數(shù)據(jù)挖掘與深度學(xué)習。