姚磊

（長江重慶航道工程局，重慶 400010）

傳統(tǒng)的目標(biāo)檢測算法特征提取麻煩，一般需要手工制作特征，因此它的檢測精度低，速度慢。使用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測的開創(chuàng)性工作來自 ICCV2015 的一種基于區(qū)域候選的卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）[1]。它首先是在圖像中篩選出所需的候選區(qū)域，接著將這些候選區(qū)域統(tǒng)一為指定大小，通過 CNN 網(wǎng)絡(luò)來提取出特征向量，最后通過SVM 分類器輸出相應(yīng)的分類結(jié)果，并用 NMS消除不準(zhǔn)確以及多余的檢測框。由于CNN 的輸入大小必須統(tǒng)一，對候選區(qū)域進(jìn)行放大或者縮小操作都將會導(dǎo)致最終的檢測結(jié)果不 準(zhǔn)確。因此何愷明等人[2]提出了 SPP-Net 層來解決輸入尺寸不統(tǒng)一的問題，通過增加SPP 層解決了輸入尺寸不統(tǒng)一的問題，而后就可以將網(wǎng)絡(luò)的輸入更變?yōu)槿我獬叽缍?出依然是一個固定維數(shù)的矢量。然后，又針對R-CNN 速度比較慢、訓(xùn)練步驟多、需要額外的分類器等缺點(diǎn)，出現(xiàn)了Fast R-CNN 網(wǎng)絡(luò)框架，加入了ROI(Region of Interesting) 池化層進(jìn)行尺寸變換。并且采用基于VGG16 的神經(jīng)網(wǎng)絡(luò)來進(jìn)行分類識別，直接對整張圖像進(jìn)行卷積操作，與R-CNN 網(wǎng)絡(luò)框架比較，F(xiàn)ast R-CNN 的速度有了很大的進(jìn)步。Faster R-CNN[3]是使用區(qū)域候選再加上 CNN 分類的目標(biāo)檢測框架。檢測時(shí)就是通過滑動窗口對圖片進(jìn)行遍歷，通過 RPN 網(wǎng)絡(luò)在最后的卷積層上遍歷一次，有效的代替了選 擇性搜索。區(qū)域推薦網(wǎng)絡(luò)替代選擇性搜索提取候選框，采用共享的計(jì)算，進(jìn)一步加快目標(biāo)檢測效率。另外一種深度學(xué)習(xí)目標(biāo)檢測算法是通過端到端的方式，省去區(qū)域候選提名這一步驟，使用這種方式檢測速度快，采用回歸的思想能夠直接從圖像中檢測出指定的目標(biāo)，YOLO 是比較典型的目標(biāo)檢測框架，YOLO(You Only Look Once)采用了一種非常激進(jìn)的檢測方法，完成了整個圖像 bounding box 和類別概率的預(yù)測。極大提高了系統(tǒng)的速度。

隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展與完善，近年來越來越多的研究人員也將這項(xiàng)技術(shù)運(yùn)用到船舶跟蹤識別這一領(lǐng)域。2010 年，AREL I 等[4]利用神經(jīng)網(wǎng)絡(luò)對集裝箱船、客船、漁船、軍艦和帆船進(jìn)行分類。2016 年，魏娜[5]將模板匹配和BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用在了船舶的識別中。2017 年，肖志良[6]提出了基于有源RFIn 技術(shù)的船舶識別與控制終端系統(tǒng)研究。同年楊名[7]也提出了一種基于高速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的船舶視頻檢測方法，王培玉則在復(fù)雜碼頭環(huán)境下對船舶進(jìn)行了檢測與跟蹤。2018 年，劉寶龍?jiān)诨趫D像分析和深度學(xué)習(xí)下，利用神經(jīng)網(wǎng)絡(luò)對船名標(biāo)識字符進(jìn)行了精確的識別。2019 年，聞河優(yōu)化了先前的檢測的神經(jīng)網(wǎng)絡(luò)，提出了一種CNN 與ELM 相結(jié)合的船舶分類識別方法。

1 船舶自動識別系統(tǒng)（AIS）概述

船舶自動識別系統(tǒng)(Automatic Identification System，簡稱AIS)是指一種應(yīng)用在岸—船、船一船以及船一岸之間的海事安全與通信助航系統(tǒng)。船舶自動識別系統(tǒng)（AIS）設(shè)備能將本船的動態(tài)信息如經(jīng)緯度、航速、航向等和靜態(tài)信息如海上移動業(yè)務(wù)標(biāo)識MMSI (Maritime Mobile Service Identity)碼、船名、呼號等，經(jīng)信息處理器處理后在VHF 信道向外播發(fā)，本船周圍船舶只要安裝了AIS 設(shè)備就可以自動接收這些船舶信息并顯示;同時(shí)，本船也可將其他船的識別信息和本船信息一起存儲并向范圍內(nèi)其他目標(biāo)船發(fā)送。

初始階段船舶自動識別系統(tǒng)（AIS）的應(yīng)用是為了幫助識別船舶，協(xié)助跟蹤目標(biāo)，簡化信息交換(如減少口頭必須的船舶報(bào)告)，提供船舶附加信息有助于了解各方面的情況。為了防止航行船舶在狹窄的航道中交會時(shí)的碰撞，航行中的船舶彼此在了解了對方船舶的航向、航速、船型和位置后，可以迅速作出正確判斷，從而操作船舶避免碰撞，增加航行的安全系數(shù)。

近階段，由于無線電技術(shù)的不斷進(jìn)步，制約無線數(shù)據(jù)交換的技術(shù)障礙被克服，AIS 系統(tǒng)由原先為防止船舶避碰目的而推出，到目前已延伸出對航行船舶的監(jiān)管、航標(biāo)和搜救等方面的應(yīng)用。

在本文中船舶自動識別系統(tǒng)（AIS）運(yùn)用在船舶要素的提取，輔助機(jī)器視覺對船舶的跟蹤識別。

2 船舶目標(biāo)檢測算法及相關(guān)技術(shù)

YOLO（yolo only look once）是目標(biāo)檢測領(lǐng)域的非常具有代表性的單階段卷積網(wǎng)絡(luò)目標(biāo)檢測算法，是目前廣泛投入實(shí)際場景使用的很廣泛的單階段檢測算法。

YOLOv3 提出了Darknet53 特征提取網(wǎng)絡(luò)結(jié)構(gòu)，Darknet53 借鑒了ResNet 的思想，采用殘差塊及殘差連接形成更深網(wǎng)絡(luò)層，緩解網(wǎng)絡(luò)的梯度消散并提升網(wǎng)絡(luò)的表征能力，網(wǎng)絡(luò)由一系列的1×1 和3×3 卷積核組成53個卷積層，包括5 次卷積層對特征圖進(jìn)行每次尺寸縮小1/2 的降采樣。在特征圖檢測部分，YOLOv3 引入類似FPN(Feature Pyramid Networks)結(jié)構(gòu)的上采樣特征融合實(shí)現(xiàn)多尺度檢測，對其中降采樣的13×13、26×26、52×52 的3 個尺度特征圖進(jìn)行預(yù)測，對于13×13 特征圖是在第74 層網(wǎng)絡(luò)經(jīng)過多層卷積之后，于第82 層進(jìn)行檢測；對于26×26 特征圖通過第83 層連接79 層、第86 層網(wǎng)絡(luò)融合第61 層的特征圖與第85 層的上采樣特征圖進(jìn)行檢測；對于52×52 特征圖，通過第95 層連接第91 層、第98 層網(wǎng)絡(luò)融合第36 層的特征圖與第97 層的上采樣特征圖后進(jìn)行檢測。在損失函數(shù)方面，Yolov3的損失函數(shù)包括目標(biāo)預(yù)測框定位損失coord、置信度損失obj、分類損失cls。

YOLOv3 根據(jù)不同的輸入目標(biāo)尺寸，將包含深層特征和淺層特征單向融合，強(qiáng)化淺層特征的語義信息，特征圖尺寸分別為原始輸入的1/8、1/16、1/32，實(shí)現(xiàn)了不同尺度的目標(biāo)檢測，但也導(dǎo)致在尺寸較小的目標(biāo)的檢測上仍存在不足，易造成目標(biāo)的漏檢，在港口場景船舶目標(biāo)檢測問題上，多種船舶在姿態(tài)和尺度差異較大。原YOLOv3 的目標(biāo)損失函數(shù)對預(yù)測框的寬高進(jìn)行單獨(dú)的均方差損失計(jì)算，雖然能夠回歸大小合適的預(yù)測框，但使得網(wǎng)絡(luò)對港口目標(biāo)尺度變化敏感，在考慮預(yù)測框與目標(biāo)框的整體定位的準(zhǔn)確性方面需優(yōu)化。為了進(jìn)一步增強(qiáng)對船舶視覺監(jiān)測效果，滿足復(fù)雜港口場景的視覺監(jiān)測任務(wù)需求，本文在原YOLOv3 模型基礎(chǔ)上進(jìn)行了針對性的設(shè)計(jì)。

3 數(shù)據(jù)集

港口目標(biāo)檢測算法的研究重要基礎(chǔ)是一定規(guī)模已標(biāo)注的數(shù)據(jù)集，考慮到港口場景的多樣性，參考港口規(guī)范，本節(jié)通過收集多個港口場地的不同港口背景不同拍攝角度和距離、不同目標(biāo)間位置關(guān)系以及盡可能收集實(shí)驗(yàn)室的數(shù)據(jù)資料，共計(jì)整理2187 張圖片，并采用標(biāo)注工具對數(shù)據(jù)集進(jìn)行荷載目標(biāo)的邊界標(biāo)注，標(biāo)注完成的數(shù)據(jù)集轉(zhuǎn)化為YOLOv3 算法所要求的YOLO 格式，該類格式包括了標(biāo)注邊界框位置信息，并經(jīng)過歸一化的轉(zhuǎn)換以實(shí)現(xiàn)模型網(wǎng)絡(luò)的圖像數(shù)據(jù)處理。YOLOv3 模型在訓(xùn)練過程中隨機(jī)改變目標(biāo)間的尺度和位置關(guān)系，降低模型對單一的港口場景下的圖像特征依耐性，從而提高模型在多個港口場景中目標(biāo)的檢測識別的能力。

如何對港口的船舶進(jìn)行視頻流的目標(biāo)跟蹤是實(shí)現(xiàn)荷載位置獲取的第二步，在前面的港口船舶定位基礎(chǔ)上，處理港口視頻是已經(jīng)能夠較好得檢測識別船舶目標(biāo)，接下來采用了計(jì)算機(jī)視覺研究領(lǐng)域中研究應(yīng)用較為廣泛的DeepSORT 算法，來對檢測的目標(biāo)位置實(shí)現(xiàn)時(shí)空維度上的連續(xù)跟蹤。

在港口船舶的位置運(yùn)動預(yù)測部分，卡爾曼濾波算法首先對目標(biāo)的位置運(yùn)動信息估計(jì)一方面估計(jì)得到一個確定的目標(biāo)的位置信息，由YOLOv3 檢測到的荷載目標(biāo)邊界框的中心坐標(biāo)()，框的寬高比，高，以及各自的速度變化量，由8 維向量的位置運(yùn)動信息表示為，然后這些信息對應(yīng)了一個位置運(yùn)動的協(xié)方差矩陣來表示荷載位置信息的不確定性，其具體的形式通過對角矩陣來表示，對角位置中數(shù)字與信息的不確定性程度相關(guān)。那么在具體的預(yù)測環(huán)節(jié)，預(yù)測基于前一個時(shí)刻的狀態(tài)來預(yù)測下一個時(shí)刻的狀態(tài)，對于變量的運(yùn)算就包括將上一時(shí)刻的位置運(yùn)動信息與狀態(tài)轉(zhuǎn)移矩陣相乘，其中狀態(tài)轉(zhuǎn)移矩陣中包括了是連續(xù)時(shí)刻幀之間的信息差值，運(yùn)算過程矩陣運(yùn)算展開后，可以得到關(guān)于位置橫縱坐標(biāo)的考慮荷載勻速的模型。狀態(tài)量預(yù)測后，進(jìn)一步通過所對應(yīng)的協(xié)方差和設(shè)置的噪聲矩陣之間的運(yùn)算來進(jìn)一步預(yù)測時(shí)刻的位置信息。

在港口荷載目標(biāo)跟蹤實(shí)現(xiàn)上主要是將港口視頻的前一幀畫面中的跟蹤邊界位置與經(jīng)過YOLOv3 檢測器所得到的當(dāng)前畫面中的檢測邊界回歸框進(jìn)行一個匹配的關(guān)聯(lián)計(jì)算，對于關(guān)聯(lián)的指標(biāo)而言，相較于基礎(chǔ)的SORT 算法，本文采用的方法的特點(diǎn)在于指標(biāo)信息一方面是融入了帶有外觀信息的對比，這部分主要是通過重識別卷積網(wǎng)絡(luò)來對比像素視覺特征上的相似性來為跟蹤提供參考，另一方面是基于跟蹤邊界和檢測邊界的幾何維度的馬氏距離，該距離指標(biāo)是基于兩框之間的位置交互程度的指標(biāo)來計(jì)算代價(jià)矩陣，以計(jì)算在幾何位置上跟蹤與檢測結(jié)果的關(guān)聯(lián)性。

在港口場景的船舶的跟蹤過程中，本文基于DeepSORT 算法實(shí)現(xiàn)對船舶的連續(xù)穩(wěn)定跟蹤，那么在這個基礎(chǔ)上，實(shí)現(xiàn)了連續(xù)的每個目標(biāo)的位置信息的輸出，回顧整個DeepSORT 的算法可知，檢測器的檢測邊界框作為重要的輸入值，在整個跟蹤信息預(yù)測和匹配關(guān)聯(lián)的過程中，無論是外觀的圖像特征還是邊框位置，都直接關(guān)系到了軌跡預(yù)測和匹配的結(jié)果，因此，對于港口船舶的跟蹤重點(diǎn)仍然在于目標(biāo)檢測器的性能。在計(jì)算機(jī)視覺的檢測和跟蹤環(huán)節(jié)，本文都是基于二維圖像數(shù)據(jù)的處理，因此得到的是圖像像素維度的二維位置信息，在實(shí)際的港口場景應(yīng)用中，荷載的位置信息一般以空間位置的形式使用。

對于定位系統(tǒng)的構(gòu)建，本文從港口平臺上的監(jiān)控?cái)z像機(jī)獲取港口船舶圖像，然后使用港口船舶檢測、港口船舶跟蹤和坐標(biāo)變換來獲取港口船舶的空間和時(shí)間分布信息。監(jiān)測系統(tǒng)訪問港區(qū)的視頻流后，本節(jié)的系統(tǒng)通過YOLOv3 快速獲取港口船舶的位置和類型，然后結(jié)合DeepSORT 方法跟蹤幀中的每個港口船舶對象，獲取每個港口船舶目標(biāo)在時(shí)間段內(nèi)的移動速度和方向，將跟蹤目標(biāo)的像素坐標(biāo)轉(zhuǎn)換為區(qū)域平面坐標(biāo)，最后得到荷載空間位置信息。

4 結(jié)果分析

在本文數(shù)據(jù)集涉及的各種場景的港口目標(biāo)檢測中，多尺度的目標(biāo)檢測效果通過實(shí)驗(yàn)結(jié)果可知，在各種復(fù)雜視覺條件下的港口場景中，對于的小尺寸目標(biāo)和畫面占比較大的大型機(jī)械荷載在圖像中分布較多的情況，這需要模型的多尺度檢測具備較強(qiáng)的魯棒性，此外YOLOv3通過預(yù)測框中心點(diǎn)和長寬大小差異損失函數(shù)計(jì)算網(wǎng)絡(luò)回傳梯度，這使得損失函數(shù)對目標(biāo)尺度比較敏感。本文的模型通過圖像混疊增強(qiáng)使得網(wǎng)絡(luò)訓(xùn)練出對于局部密集目標(biāo)和遮擋存在時(shí)的抗干擾能力，加上對網(wǎng)絡(luò)檢測尺度的擴(kuò)展，4 個尺度的雙向金字塔單元雙向特征融合，增加了特征圖8 倍下采樣小目標(biāo)檢測尺度的同時(shí)也在一定程度上解決了低層特征語義信息不足分類不準(zhǔn)確和高層特征位置信息不足定位誤差較大的問題，即擴(kuò)展了多尺度檢測也增強(qiáng)了對小目標(biāo)檢測精度。同時(shí)特征提取網(wǎng)絡(luò)Ghost 網(wǎng)絡(luò)模型的引入優(yōu)化了模型的檢測速度。隨著進(jìn)一步在預(yù)測層引入了DIoU 損失函數(shù)加入和對應(yīng)的非極大值抑制方法后使得預(yù)測框定位加入了中心點(diǎn)距離懲罰項(xiàng)而更加合理，降低了網(wǎng)絡(luò)對目標(biāo)框尺度變化的敏感性，緩解了目標(biāo)遮擋時(shí)密集預(yù)測框之間的錯誤抑制，整體上使得模型對港口多尺度目標(biāo)檢測準(zhǔn)確性有較好的提升。