屈雯怡

(蘇州大學電子信息學院,江蘇 蘇州 215000)

0 引 言

隨著船舶自動化技術的不斷進步和發(fā)展,船舶制造業(yè)發(fā)生了巨大的變化，船舶系統(tǒng)的自動化程度不斷提高，無人化機艙系統(tǒng)的應用日益廣泛，與此同時也對船舶的安全駕駛和船舶駕駛智能化提出了更高的要求。船舶監(jiān)測和預警系統(tǒng)主要完成船舶周圍環(huán)境的監(jiān)測，并進行合理的預警，是保證船舶安全和高效運行的重要組成部分。

船舶監(jiān)測和預警系統(tǒng)中基于數(shù)字圖像的目標識別、實時監(jiān)測與跟蹤是一項非常重要的技術，目前國內(nèi)外學者關于船舶目標識別也已做了大量研究。目標檢測在近20年得到了飛速的發(fā)展，經(jīng)歷了人工特征提取+SVM分類器、DPM等經(jīng)典方法；AlexNet[1]、VGG[2]、GoogleNet[3]、R-CNN系列等候選區(qū)域結合非端到端檢測的兩階段(two-stage)方法，之后Girshick[4]提出的Fast R-CNN和Ren等人[5]提出的Faster R-CNN在速度上有很大提升，也常被用于遙感交通監(jiān)測[6]；最新的是Liu等人[7]提出的基于回歸算法的SSD和Redmon等人[8]提出的YOLO系列的檢測框架。最早的目標識別的檢測框架是HOG+SVM，被廣泛應用在數(shù)字圖像模式識別相關領域，如手寫字體識別、圖像檢索、人臉識別、目標檢測與識別等領域[9]；接下來隨著DPM、R-CNN和其他改進版本Fast R-CNN等[10]的出現(xiàn)，在2016年，Arel等人[11]學者利用CNN的深度特征結合HOG和HSV特征，通過SVM支持向量機對集裝箱船、客船、漁船、軍艦和帆船進行分類，將最初的多特征融合深度學習進行了一定改進；在2004年黃廣斌等人[12]提出了單隱層前向神經(jīng)網(wǎng)絡(SLFNs)的ELM算法，并進行相關的研究與應用[12]。閆河等人[13]將CNN與ELM相結合，并應用于船舶分類識別。

隨著人工智能技術的實用化，有望實現(xiàn)船舶航行時的自動監(jiān)測和預警。目前的船舶航行時的監(jiān)測系統(tǒng)還存在遠處微小型船舶的漏檢問題和現(xiàn)有算法實時多目標處理能力較差等問題。

針對上述問題，本文將研究并改善YOLOv3目標檢測框架在船舶實時識別與跟蹤方面的表現(xiàn)。該技術可應用于無人駕駛船舶的主要支撐系統(tǒng)，也可應用于普通船舶駕駛的輔助操作系統(tǒng)，實現(xiàn)船舶周圍航道的船舶識別、監(jiān)控監(jiān)測、分析等功能。

1 船舶實時監(jiān)測與預警系統(tǒng)應用實例

船舶實時監(jiān)測與預警系統(tǒng)通常包含視頻采集、視頻分析、預警判決和警報輸出4個部分。下面是基于YOLOv3的船舶實時監(jiān)測識別技術的一種應用實例，圖1為該應用實例的技術路線。船載攝像頭采集視頻后綜合應用本文技術和紅外、雷達等測距傳感技術進行目標檢測，輸出預測框、分類信息和目標距離，通過對綜合信息的判決最終以所需形式輸出報警信號。該船舶預警系統(tǒng)可實現(xiàn)船舶的實時監(jiān)測與多分類識別，具有高效、高精度和可靠的特點。

圖1 船舶預警系統(tǒng)技術路線

2 YOLO算法原理

在交通目標的檢測與預警系統(tǒng)中，處理效率和識別準確率是最為關鍵的2個評價指標。在之前的模式識別中，F(xiàn)aster R-CNN等算法在識別準確率方面做得相對完善，但始終不能滿足視頻實時處理的需求[14]。Benjdira等人[15]基于UAV航拍圖片識別地面汽車，發(fā)現(xiàn)在NVIDIA GTX1080的支持下處理速度約為每一幀圖像1.39 s，遠遠不能達到對視頻實時處理的速度。但是自從YOLO框架出現(xiàn)，視頻輸入的實時處理速度得到了飛躍提升，同樣的GPU配置下，YOLOv3框架的處理速度能達到每一幀圖像0.056 ms[15]。

R-CNN系列是典型的two-stage算法，在目標檢測時會先選擇候選區(qū)域框定目標，再對目標進行分類。而YOLO系列和SSD、DetectNet等算法是端到端的one-stage算法，即僅通過一遍卷積神經(jīng)網(wǎng)絡就能確定目標的位置和類別信息，檢測速度會快非常多。在提升速度的同時，YOLOv3的準確率也與Faster R-CNN持平，甚至在大部分公開數(shù)據(jù)集(mscoco2017、VOC2007、VOC2012)上略微高于Faster R-CNN[16]。

YOLOv3通過其主干網(wǎng)絡Darknet-53，將輸入圖片計算為一個輸出向量，該向量中包含了物體的位置信息和分類信息，再通過錨點框將網(wǎng)絡輸出的向量進行檢測，最終輸出物體的具體位置和分類。YOLO算法流程圖如圖2所示。

2.1 網(wǎng)絡結構

YOLOv3采用Darknet-53作為主干網(wǎng)絡對輸入圖像進行特征提取，該網(wǎng)絡雜糅了YOLOv2、Darknet-19、Resnet-101和Resnet-152[17]中效果最佳部分[18]，加深了網(wǎng)絡深度，能夠提取更豐富的空間特征。

一般的卷積神經(jīng)網(wǎng)絡包含ReLU層、池化層、Dropout層、卷積層、全連接層等，而YOLO系列對網(wǎng)絡進行了簡化。YOLOv3用步長為2，卷積核為3×3的卷積層替代了池化層，減少提取的特征信息的丟失；同時全連接層通過卷積方式進行降維，相當于也被卷積層取代。因此整個網(wǎng)絡中主要的組成部分就是卷積層，而卷積層以殘差網(wǎng)絡的方式連接。

整個網(wǎng)絡采用了一系列的卷積核為3×3和1×1的卷積層，并且在卷積層中選用了leaky ReLU作為激活函數(shù)，對于所有負值都賦予非零的斜率。而從YOLOv2開始卷積層中就增加了BN操作優(yōu)化模型[19]，即批量歸一化(Batch Normalization)。對于神經(jīng)網(wǎng)絡的某一層，梯度更新訓練時參數(shù)在不停改變，因此輸出數(shù)據(jù)的分布也可能隨之改變，對于下一層會發(fā)生變量位移，進行批量歸一化使得最終均值為0，從而能夠盡可能提升模型的容納能力，保證整個網(wǎng)絡的穩(wěn)定和梯度下降的平穩(wěn)。

如圖3所示，圖中卷積核大小為3×3/2的都是降采樣層，即代替了池化層的卷積層。除此之外，YOLOv3沒有使用Dropout層，利用上述的BN和全局平均池化進行正則化，加快了網(wǎng)絡收斂，提高了訓練速度和穩(wěn)定性。

圖3 網(wǎng)絡結構圖

從卷積網(wǎng)絡的結構中可以看到Darknet-53最顯著的特征是含有Residual層，即殘差網(wǎng)絡，在這一層輸入與輸出保持一致，并且除求差外不進行其他操作。它將深層的神經(jīng)網(wǎng)絡分為多個子網(wǎng)絡，每個子網(wǎng)絡包含的網(wǎng)絡層數(shù)減少，避免網(wǎng)絡過于復雜帶來的準確率飽和后迅速下降的問題，也因此可以解決網(wǎng)絡的梯度彌散或者梯度爆炸的現(xiàn)象[19]。殘差網(wǎng)網(wǎng)絡結構如圖4所示。

圖4 殘差網(wǎng)網(wǎng)絡結構圖

最終卷積核為3×3和1×1的卷積層實現(xiàn)特征交互，代替全連接層實現(xiàn)局部的特征交互，并形成3個尺度的特征輸出。

2.2 目標檢測

YOLOv3算法框架對圖片輸入規(guī)格有要求，首先需要將輸入圖像處理成416×416像素大小的RGB三通道的圖片。接著圖片被分為S×S個網(wǎng)格[20]。

同時YOLOv3參考了FPN[21]，支持多尺度預測，經(jīng)過多次步長為2的降采樣可輸出3種大小的特征圖，因此S取值為13、26和52。每一個網(wǎng)格負責預測中心落在該網(wǎng)格內(nèi)的目標，克服了滑動窗口需要大量時間選定候選區(qū)域的問題。

圖片分為網(wǎng)格可以將目標的位置預測固定給某些落有目標中心的網(wǎng)格負責，從而提高檢測的效率和準確性。除網(wǎng)格之外，錨點框也能達到這一目的。網(wǎng)格對檢測位置進行了約束，而錨點框則是對檢測的目標大小進行了約束。YOLOv3中有3種錨點框，錨點框均是在數(shù)據(jù)集上做K-means聚類得到的。每種錨點框有3種尺寸，多尺度的預測因此能夠實現(xiàn)，即相當于有9種錨點框。較大的錨點框包含深層語義特征的信息，負責預測大物體；較小的錨點框包含淺層幾何特征的信息，負責預測小物體。由于多尺度的錨點框的影響，YOLOv3被證實在微小物體上檢測效果明顯高于同系列的YOLOv2[8]和YOLOv1[16]。

于是大小為416×416、有RGB三通道的輸入圖像經(jīng)過網(wǎng)絡將輸出3個尺度的S×S×3×(C+1+4)的特征圖(如圖5)，其中S為本節(jié)提到的網(wǎng)格數(shù)，C為所有分類的類別，在本次實驗中C=6，3代表3種錨點框，1表示輸出的置信度，4表示預測框的4個坐標參數(shù)。

圖5 一個尺度的特征圖

目標的位置由4個坐標參數(shù)確定，這4個參數(shù)分別為bx,by,bw,bh。bx和by確定預測框的中心位置，而bw和bh確定預測框的寬和高。已知錨點框寬為pw，高為ph，預測框的中心坐標值偏移為dx和dy，預測框對于錨點框的偏移為dw和dh，負責預測的網(wǎng)格相對于圖片左上角的位置為cx和cy，如圖6所示。

圖6 坐標參數(shù)示意圖

則可得到坐標參數(shù)分別為：

bx=sigmoid(dx)+cx

by=sigmoid(dy)+cy

bw=pw×edw

bh=ph×edh

YOLOv3算法中類別的確定沒有使用多分類檢測中常用的softmax函數(shù)[22]，而是對每一個類別都使用了二分類的sigmoid函數(shù)，當概率大于某一閾值(一般取值為0.5)時，則判定為某一分類。這一改變主要是為了解決多標簽分類的問題。當一個樣本具有多個標簽，如“快艇”也屬于“船”這一大標簽時，sigmoid函數(shù)會同時標注這2個標簽，而softmax函數(shù)則會確定唯一的置信度最高的標簽。

輸出的置信度是該預測框含有目標的概率和該預測框的準確度2個部分的乘積。若預測框含有的目標符合多個標簽，即多個類別的概率都超過了閾值，則將對每一個標簽都輸出一個置信度。

最終輸出信息有目標的位置參數(shù)、置信度和分類類別。

3 訓練過程

3.1 數(shù)據(jù)來源

本次實驗的訓練樣本和測試樣本來源為Singapore Maritime Dataset[13]，共獲取10 s～20 s的視頻片段40個。其中30個作為訓練樣本，間隔3幀讀取訓練圖片，最終獲得圖片總數(shù)為4505張，包含船只總個數(shù)為31674。

數(shù)據(jù)集的40個視頻片段分為岸上拍攝和船上拍攝2種，是真實的海面動態(tài)記錄。其中岸上拍攝的視頻鏡頭平穩(wěn)，且多含遠處航行的船只，畫面變化較慢；船上拍攝的視頻的部分是在小型船舶上拍攝的，受海浪起伏影響大，畫面抖動，除此之外，相向而行的船舶相對速度較大，畫面中船舶位置變化也迅速且明顯。在獲取的圖片中，每一幅包含的船舶數(shù)量在3至14之間不等，其間有相近顏色的船舶互相重疊，光線昏暗和水面起薄霧等情況，可考察分類模型的魯棒性。數(shù)據(jù)集中船舶共分為6類：渡船(Ferry)、大型船(Vessel/Ship)、快艇(Speed Boat)、小型船(Boat)、劃艇(Kayak)、帆船(Sail Boat)，如圖7所示。

本實驗樣本集中各類船舶的數(shù)量如表1所示，可以明顯看到其中大型船的數(shù)量高于其他類別，小型船數(shù)量最少。數(shù)據(jù)集中的樣本圖片具有一定差異性，按環(huán)境條件可分為晴天白天、霧天白天和傍晚，按船舶距離拍攝點的遠近也可分為2類，其中遠小船只存在于晴天白天的環(huán)境條件下。若圖片中船舶小于30×30 pixel，則判斷為遠小船。

圖7 船舶分類

表1 樣本分類

樣本船舶種類船舶數(shù)量圖片環(huán)境分類圖片數(shù)量渡船2027晴天白天(近)2022大型船27069霧天白天(近)412快艇1662傍晚(近)729小型船199晴天白天(遠)1342劃艇453帆船264總計31674總計4505

由于霧天白天、傍晚和遠小船舶在后期實驗中發(fā)現(xiàn)是較難識別的目標，因此將它們歸類成難識別樣本，與晴天白天的較近船舶區(qū)別開來，在訓練時進行特殊處理。最終在實驗中難識別樣本為18458個，而易識別樣本(晴天白天較大船舶)13216個。同時在訓練過程中將4505張圖片中1500張作為測試集，剩余3005張作為訓練集。

3.2 訓練過程

本實驗的實驗操作系統(tǒng)是Ubuntu。16 GB RAM，CPU處理器的主頻是3.2 GHz，GPU為Nvidia Quadro M4000，實驗工具是PyCharm(2018版)。

實驗以Darknet-53作為主干網(wǎng)絡，YOLOv3作為檢測模型進行樣本的訓練。

訓練過程中的損失主要分為4個部分：物體中心坐標定位損失xyloss、anchor寬高回歸損失whloss、置信度損失confidenceloss和分類損失classloss，最終的總損失是這4部分的總和。根據(jù)前節(jié)的介紹，最終的坐標位置中預測框的中心是由sigmoid函數(shù)計算得到的，而預測框的寬高是通過指數(shù)運算得到的，因此位置損失包含了二值交叉熵(binary cross-entropy)損失和均方差(MSE)損失；同理可得，置信度和類別都由sigmoid函數(shù)得到，因此這2類損失函數(shù)均為二值交叉熵(binary cross-entropy)損失。

xyloss=bool×(2-areapred)×BCE

whloss=bool×(2-areapred)×(whtrue-whpred)

confidenceloss=bool×BCE+(1-bool)×BCE×ignore

classloss=bool×BCE

loss=xyloss+whloss+confidenceloss+classloss

上式中，bool為置信度，為相應的二值交叉熵，ignore表示交并比(IOU)低于一定閾值但確實存在的物體。

訓練中前50次迭代選擇開源的預訓練權重yolo3.weights初始化卷積層獲得的預訓練模型，凍結部分網(wǎng)絡層，加快起步的訓練速度。yolo3.weights是在ImageNet[21]數(shù)據(jù)集上迭代了10000次左右獲得的初步權重，有效提高訓練效率。訓練過程中初始學習率為10-3，隨著損失的下降曲線趨于平穩(wěn)，學習率以10-1的比例間隔不斷下降，直到網(wǎng)絡收斂。訓練的批樣本數(shù)量(Batch)受到硬件條件的限制，因此調(diào)到了偏小的16，因此本文也是在控制預算的前提下進行的相關實驗。

在整個訓練樣本集訓練迭代至網(wǎng)絡收斂后，針對霧天、傍晚和含有遠小船舶的樣本，即難識別樣本再次進行了精細的訓練，從開始就進入學習率分步下降階段。整個模型的總體損失又經(jīng)歷一次下降，最終平穩(wěn)時損失達到12左右。

4 實驗分析

4.1 準確率分析

訓練樣本的環(huán)境條件中，晴天白天占樣本總數(shù)的44.8%，大約為一半，但霧天白天、傍晚和夜間絕對數(shù)量都較大，因此識別分類的結果較理想。

對于各類船舶都進行了單類目標的平均準確率(mean Average Precision, mAP)的計算，并對總體測試集進行了計算。該項準確率計算的閾值為0.5，即預測框與真值框的交并比(IOU)達到50%判斷為正確目標。不同船舶類別的平均準確率如圖8所示。

圖8 不同船舶類別的平均準確率

而準確率召回率(Precision-Recall, P-R)曲線是更全面角度的系統(tǒng)分析指標。圖9中橫軸為召回率(Recall)，縱軸為準確率(Precision)，兩者同時趨于1的概率越大，整個系統(tǒng)性能越好。

圖9 各類船的P-R曲線

總體上，該檢測算法在本測試集上的平均準確率(mAP)達到了71.96%，其中由于樣本數(shù)量龐大，大型船的平均準確率最高，可達到91.82%。同時也可以從大型船的P-R曲線[22]看出，隨著準確率達到91.82%的同時召回率也接近90%，是很優(yōu)秀的模型。

4.2 對比分析

實驗中還進行了對比測試，如圖10～圖12所示，圖中(a)為在整個數(shù)據(jù)集上訓練好的模型的識別效果，圖中(b)為精細訓練后的模型的識別效果。其中在最初的實驗僅有船(boat)這一個類別，未進行多分類訓練，并且遠小樣本和霧天、傍晚樣本沒有單獨列出進行重點訓練。

圖10 遠小船識別對比

圖11 霧天白天識別對比

圖12 傍晚識別對比

從3組對比圖中可以明顯看出，未經(jīng)過重點訓練的模型測試中有較多漏檢的情況，同時對比測試數(shù)據(jù)發(fā)現(xiàn)，在同樣的整體樣本集上總體準確率從43.62%提升到71.96%，在難識別樣本集上準確率從11.76%提升到63.18%，可以得出結論：本文精細訓練的模型在難識別樣本上有顯著優(yōu)勢。

5 結束語

本文將YOLOv3應用于一種船舶監(jiān)測與預警系統(tǒng)實例，可輔助實現(xiàn)全方位多角度的船舶實時識別分類與預警功能。

在本文中，將環(huán)境條件較差和含有遠小目標的樣本進行重點訓練，提高了在霧天白天和傍晚環(huán)境下的識別準確率，也進一步提高了該框架多尺度檢測在遠小目標上的準確率。通過一般訓練加特殊樣本重點訓練后，提高了整個模型的魯棒性，能夠適應海上多變天氣和情況。

由于樣本中不同類型船舶的樣本數(shù)量差距較大，小船(Boat)和渡船(Ferry)由于外形較為相似，同時樣本數(shù)量都偏少，因此存在分類誤差的問題，這也是后期需要不斷改善的。