楊正

（南京暢淼科技有限責(zé)任公司 江蘇省南京市 211106）

1 相關(guān)背景

水上船舶的監(jiān)管和執(zhí)法是保障水上航道安全暢通的重要手段，是綜合行政執(zhí)法監(jiān)督局水上執(zhí)法監(jiān)督局的主要工作。對(duì)船舶身份識(shí)別以及對(duì)船行行為監(jiān)管是水上監(jiān)管和執(zhí)法工作的重要一環(huán)。然而，當(dāng)前水上執(zhí)法和監(jiān)管工作中主要存在如下問題：

（1）船舶監(jiān)管效率低下，僅依靠人工查看視頻的方式容易出現(xiàn)疏漏，并且人工查看視頻的方式耗時(shí)耗力效率低下。

（2）視頻保存時(shí)間短，高清視頻數(shù)據(jù)量很大，過大的信息量、較短的保存時(shí)間給調(diào)查取證、追查回溯帶來很大不便-常常找不到視頻數(shù)據(jù)。

（3）船名遮擋、涂改、不按規(guī)定懸掛，關(guān)閉或篡改船舶自動(dòng)識(shí)別系統(tǒng)(AIS)等行為屢見不鮮。

因此，在當(dāng)今現(xiàn)狀下，亟需引入人工智能的手段替代人工監(jiān)管。依托高清視頻，應(yīng)用視頻分析、圖像處理等技術(shù)，自動(dòng)從視頻數(shù)據(jù)中高效、甚至實(shí)時(shí)地提取有價(jià)值的信息，更好地利用視頻資源，實(shí)現(xiàn)對(duì)船舶身份的識(shí)別以及航行行為識(shí)別，從而大大提升水上監(jiān)管和執(zhí)法動(dòng)作的效率。

2 研究現(xiàn)狀

2.1 船舶身份識(shí)別現(xiàn)狀

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，從監(jiān)控視頻中自動(dòng)提取出所需的有效信息越來越方便。文章以AIS信息作為參考，對(duì)視頻序列中的運(yùn)動(dòng)船舶進(jìn)行檢測(cè)，可實(shí)現(xiàn)對(duì)船舶目標(biāo)身份進(jìn)行快速判別并且對(duì)人船舶侵入?yún)^(qū)域進(jìn)行警告。文章采用了船舶遙感圖像的特征分析以及遙感圖像的噪聲過濾與增強(qiáng)等圖像處理技術(shù)對(duì)船舶遙感圖像進(jìn)行系統(tǒng)性的研究，可大大提高船舶遙感圖像的目標(biāo)識(shí)別精度。通過對(duì)基于智能自組網(wǎng)的船舶衛(wèi)星定位技術(shù)和船舶身份識(shí)別技術(shù)的研究，文章提出船載OBU的概念，船載OBU通過將智能自組網(wǎng)與船舶衛(wèi)星定位技術(shù)和船舶身份識(shí)別技術(shù)相結(jié)合，實(shí)現(xiàn)了船舶的信息化和網(wǎng)絡(luò)化。

2.2 船行行為識(shí)別現(xiàn)狀

船舶超載判別大致有四種方法，第一類是通過在船舶上安裝特定的傳感器進(jìn)行檢測(cè)，第二類類主要依靠視頻分析進(jìn)行超載測(cè)量，第三類是基于聲吶、超聲波陣列等技術(shù)的水下測(cè)量方法，第四類基于激光雷達(dá)等方式。

文獻(xiàn)采用了于激光雷達(dá)掃描和視頻分析的超載超吃水自動(dòng)監(jiān)測(cè)系統(tǒng)，可大大提升船舶超載的檢測(cè)效果，最近幾年在多地的海事局都取得了較好的應(yīng)用效果。文獻(xiàn)設(shè)計(jì)并實(shí)現(xiàn)了一套基于激光掃描和視頻分析的船舶超載超吃水自動(dòng)監(jiān)測(cè)系統(tǒng)，并在鎮(zhèn)江市地方海事局轄區(qū)水域?qū)崿F(xiàn)了應(yīng)用。文獻(xiàn)提出了一種基于多波束聲納對(duì)超載船只進(jìn)行快速、有效的檢測(cè)方法。論文介紹了系統(tǒng)的整體設(shè)計(jì)和基本工作原理，并分別對(duì)水下檢測(cè)分系統(tǒng)和岸端分系統(tǒng)做了詳細(xì)論述。文獻(xiàn)[提出基于壓力傳感器與船載陀螺儀相結(jié)合監(jiān)測(cè)船舶吃水和裝載狀態(tài)的方法，采用壓力傳感器測(cè)得水深，利用船載陀螺儀獲得傾斜狀態(tài)，并結(jié)合船體結(jié)構(gòu)求得船舶吃水，進(jìn)而得到載重量。文獻(xiàn)提出了基于激光掃描的船舶干舷測(cè)量方案，將船舶干舷值定義為船舶甲板到水面的距離，提出了基于Hough變換和均值漂移的船舶干舷值測(cè)量算法。

3 船舶身份識(shí)別技術(shù)

3.1 基于YOLO V3的船名定位技術(shù)

YOLO V3算法是Joseph Redmon所提出的一種單階段的目標(biāo)檢測(cè)算法，在保證模型具有較好的檢測(cè)準(zhǔn)確率的同時(shí)擁有著十分出色的實(shí)時(shí)性。在船舶身份識(shí)別任務(wù)中，我們可以將yolo v3模型運(yùn)用到船名的定位中去，方便我們進(jìn)行后續(xù)的船名識(shí)別處理。

YOLO V3網(wǎng)絡(luò)由骨干網(wǎng)絡(luò)Darknet-53以及特征圖金字塔網(wǎng)絡(luò)(FPN)構(gòu)成。Darknet-53主要用于對(duì)輸入圖像的特征提取，將輸入的RGB圖像轉(zhuǎn)換為高層抽象特征圖，網(wǎng)絡(luò)結(jié)構(gòu)由多個(gè)殘差模塊堆疊而成。Darknet-53總共含有53層卷積層，還引入了Batch Normalization層以及Leaky ReLU激活函數(shù)。Batch Normalization層可以加快網(wǎng)絡(luò)的訓(xùn)練，并且可以較好的防止訓(xùn)練過程中出現(xiàn)過擬合。高層抽象特征圖語義信息比較豐富，而其細(xì)粒度信息較不足；低層特征圖語義信息較少，但其細(xì)粒度信息較為豐富。FPN可以較好的結(jié)合二者的優(yōu)點(diǎn)，大幅提升目標(biāo)檢測(cè)的效果。模型最終輸出三種尺寸的特征圖，分別為[13, 13]、[26, 26]以及[52,52]。

YOLO V3引入了Anchor機(jī)制來擬合先驗(yàn)框，其中Anchor邊界框的預(yù)設(shè)大小根據(jù)K-Means算法在COCO數(shù)據(jù)集上對(duì)標(biāo)注框大小進(jìn)行聚類而得，其結(jié)果為：[116, 90]，[156,198]，[373, 326]，[30, 61]，[62, 45]，[59, 119]，[10, 13]，[16,30]，[33, 23]。yolo v3算法則在這些預(yù)設(shè)的Anchor邊界框的基礎(chǔ)上進(jìn)行相應(yīng)的坐標(biāo)偏移以及尺度拉伸。YOLO V3的損失函數(shù)如下：

3.2 基于crnn的單行船名識(shí)別技術(shù)

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，文字識(shí)別任務(wù)可充分利用深度學(xué)習(xí)模型的自動(dòng)特征提取能力，使得識(shí)別的準(zhǔn)確率得到大幅度的提升。相比較于傳統(tǒng)的多模塊級(jí)聯(lián)的方法，基于深度學(xué)習(xí)的模型可以有效避免多模塊級(jí)聯(lián)過程中產(chǎn)生的精度損失。在基于深度學(xué)習(xí)的文字識(shí)別模型中，我們通常采取連續(xù)時(shí)序分類損失函數(shù)(Connectionist Temporal Classification, 下文中簡稱為CTC)使用序列文本標(biāo)簽對(duì)“序列圖片”進(jìn)行監(jiān)督訓(xùn)練。

CRNN(Convolutional Recurrent Neural Network)是目前較為流行的圖文識(shí)別模型，可識(shí)別較長的文本序列。CRNN就是利用CNN特征提取層再用BLSTM序列特征提取層，能夠同時(shí)進(jìn)行端到端的聯(lián)合訓(xùn)練的模型。CTC損失可以成功的將深度學(xué)習(xí)網(wǎng)絡(luò)所輸出的特征序列圖像與長度互異的標(biāo)簽序列對(duì)齊，因此可以有效利用標(biāo)簽信息監(jiān)督深層雙向LSTM網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。因?yàn)樯疃葘W(xué)習(xí)具有強(qiáng)大的自動(dòng)抽象特征提取能力，并且在文字識(shí)別任務(wù)中可以通過CTC損失進(jìn)行有效的監(jiān)督學(xué)習(xí)，因此CRNN+CTC的方法在文字識(shí)別任務(wù)中一直是主流的方法。

CRNN模型網(wǎng)絡(luò)結(jié)構(gòu)主要三部分，分別為：轉(zhuǎn)錄層、循環(huán)層以及卷積層。卷積層的主要作用是提取輸入圖像的高級(jí)特征，以便進(jìn)行后續(xù)的處理；循環(huán)層的主要作用則是在卷積特征的基礎(chǔ)上繼續(xù)提取文字序列特征，根據(jù)卷積層所提取的高級(jí)特征圖預(yù)測(cè)真實(shí)值的分布信息，通常情況下循環(huán)層是一個(gè)深層的雙向LSTM網(wǎng)絡(luò)；轉(zhuǎn)錄層主要用于把從循環(huán)層所獲取的標(biāo)簽分布信息通過去重、整合等操作，轉(zhuǎn)換成最終的文字識(shí)別結(jié)果。

4 船行行為識(shí)別技術(shù)

4.1 船舶超載判別技術(shù)

船舶超載一般是通過船舶吃水或干舷高度來判別，很多內(nèi)河船尤其是小型船，吃水線模糊的情況時(shí)有發(fā)生，因此研究基于圖像的船舶超載判別技術(shù)主要研究干舷的識(shí)別技術(shù)，經(jīng)調(diào)查研究發(fā)現(xiàn)，船舶吃水和干舷測(cè)量通常以系船柱位置為準(zhǔn)，先通過系船柱定位技術(shù)定位系船柱位置，再通過邊緣檢測(cè)技術(shù)檢測(cè)船水分割線，依此計(jì)算干舷，從而判斷船舶是否超載。

4.1.1 基于Faster R-CNN的系船柱定位技術(shù)

系船柱通常位于船舶甲板的外側(cè)，系船柱定位就是在一幅船舶圖像中找出系船柱所在的位置，系船柱定位是識(shí)別船舶干舷高度的重要環(huán)節(jié)，對(duì)于判斷船舶超載具有重要意義。

基于Faster R-CNN的系船柱定位方法是借助CNN等人工神經(jīng)網(wǎng)絡(luò)模型，通過在檢測(cè)算法中加入一些組件可以提升整個(gè)網(wǎng)絡(luò)的檢測(cè)性能，例如，損失函數(shù)、區(qū)域生成、錨框(Anchor)設(shè)計(jì)等。

Faster R-CNN主 要 由Conv Layers、Region Proposal Networks(RPN)、Roi Pooling以及Classification組成。Conv Layers主要用于對(duì)輸入圖像進(jìn)行特征提取，將輸入圖像轉(zhuǎn)換成高級(jí)特征圖的形式，采用了Conv+ReLU+Pooling的形式。RPN網(wǎng)絡(luò)主要用于生成候選區(qū)域，該層通過Softmax層判斷Anchors屬于正例或者負(fù)例，同時(shí)對(duì)Anchors候選框進(jìn)行偏移量的回歸任務(wù)，最后則綜合正例的Anchors以及所對(duì)應(yīng)的偏移量獲得最終的候選框。Faster R-CNN拋棄了傳統(tǒng)的滑動(dòng)窗口以及選擇搜索的方法，直接使用RPN網(wǎng)絡(luò)生成候選框，可以極大的提升候選框的生成速度。Roi Pooling層主要根據(jù)Conv Layers輸出的特征圖以及RPN層所生成的候選框進(jìn)行信息的綜合，提取候選區(qū)域特征圖并輸入到后續(xù)的全連接層判斷檢查目標(biāo)的類別。Classification主要根據(jù)所輸出的候選區(qū)域特征圖計(jì)算候選框所包含物體的類別，同時(shí)再此對(duì)候選框進(jìn)行偏移量的回歸任務(wù)，獲得檢測(cè)框最終的精確位置。

4.1.2 船水分界線定位技術(shù)

船水分界線定位技術(shù)流程圖見圖1，首先對(duì)輸入圖像進(jìn)行濾波預(yù)處理，過濾部分噪聲，隨后將平滑處理后的圖像輸入到我們所訓(xùn)練的分類器中，分類器可綜合全局特征信息將船舶吃水線附近的目標(biāo)點(diǎn)給檢測(cè)出來，由于檢查出的目標(biāo)點(diǎn)是離散分布的，通常情況下我們可以通過最小二乘法進(jìn)行直線擬合，便可將吃水線給定位出來。

圖1：船水分界線定位技術(shù)

（1）分類器訓(xùn)練。為了保證分類器算法的魯棒性以及泛化性，我們通常需要選取大量的訓(xùn)練樣本。訓(xùn)練樣本包含為正例樣本以及負(fù)例樣本，正例樣本即船舶吃水線附近的樣本點(diǎn)，負(fù)例樣本則為其他區(qū)域的樣本點(diǎn)。為了避免不同光照條件、不同水域特征以及不同船舶本身所帶來的影響，我們所選取的樣本要盡量包含各種各樣的場(chǎng)景。

（2）直線擬合。經(jīng)過分類器檢測(cè)后，我們會(huì)得到大量的分布于船舶吃水線附近的目標(biāo)點(diǎn)以及部分干擾點(diǎn)，此時(shí)我們可以對(duì)所得結(jié)果采用最小二乘法進(jìn)行直線擬合。最小二乘法是對(duì)于組近似線性分布的數(shù)據(jù)通過計(jì)算的方法求出直線y=ax+b的斜率a以及截距b，使得與真實(shí)數(shù)據(jù)分布的差異盡可能小。對(duì)此，我們可根據(jù)最小均方誤差的準(zhǔn)則，建立目標(biāo)函數(shù)，如式（5）。

D對(duì)a和b分別求一階偏導(dǎo)數(shù)為：

式（6）、（7）有閉式解，令偏導(dǎo)數(shù)為零則可求得最優(yōu)的a和b的值，最終獲得我們所需的船舶吃水線。

4.2 船舶軌跡數(shù)據(jù)成鏈

船舶全鏈條感知應(yīng)用的一大特點(diǎn)就是將單點(diǎn)采集的船舶信息包括照片、身份和行為信息等與船舶軌跡進(jìn)行融合成鏈，形成一船一航一檔案，實(shí)現(xiàn)船舶的全鏈條感知和跟蹤。該項(xiàng)技術(shù)的重點(diǎn)是如何將采集的船舶與船舶軌跡進(jìn)行匹配。

船舶圖像是單點(diǎn)采集信息，船舶軌跡是連續(xù)信息，因此研究的重點(diǎn)在于如何將單點(diǎn)信息與連續(xù)信息進(jìn)行融合。由于我們所獲取的船舶軌跡信息數(shù)據(jù)源為AIS，因此只考慮有AIS且AIS開啟的情況進(jìn)行融合。船舶圖像采集的信息包括：時(shí)間、地點(diǎn)、船舶航行方向、航行速度、船舶圖像、船舶名稱、船舶照片等。船舶AIS軌跡信息包括：位置（經(jīng)緯度）、航行方向、航速、MMSI、AIS船名、船長、船寬、吃水、目的港等等。結(jié)合兩種數(shù)據(jù)源的數(shù)據(jù)研究發(fā)現(xiàn)，可以通過時(shí)間、地點(diǎn)（位置）、身份進(jìn)行匹配，確定是否為同一條船，如果是同一條船，可將數(shù)據(jù)融合。融合方法主要有兩種：一、通過視頻與AIS融合匹配技術(shù)，將AIS信息可視化在視頻畫面中，通過自動(dòng)化的匹配算法將AIS信息與視頻中的船舶目標(biāo)進(jìn)行匹配；二、通過AIS船名和船舶圖像識(shí)別的船名，結(jié)合時(shí)間、地點(diǎn)等信息輔助判斷，進(jìn)行信息融合。在算法研究過程中發(fā)現(xiàn)，融合方法一在面對(duì)船舶并行，船舶流量大的情況下，準(zhǔn)確率明顯下降，故我們將兩種方法進(jìn)行融合，先采用方法一進(jìn)行融合，再用方法二進(jìn)行確認(rèn)，通過設(shè)定自糾錯(cuò)機(jī)制，保障采集的船舶信息與船舶軌跡正確融合。

4.3 動(dòng)靜態(tài)數(shù)據(jù)融合

船舶動(dòng)靜態(tài)數(shù)據(jù)融合首先需研究靜態(tài)信息的獲取和整合，靜態(tài)信息包含人、船、證的登記信息等。船舶動(dòng)態(tài)信息包括船舶AIS信息、進(jìn)出港報(bào)告信息、船舶行政處罰信息等，除AIS信息外其他信息更新頻率不高，可使用常規(guī)的數(shù)據(jù)處理方法，因此研究重點(diǎn)主要是針對(duì)船舶AIS信息，船舶AIS信息屬于準(zhǔn)實(shí)時(shí)數(shù)據(jù)，船舶AIS更新間隔根據(jù)航速確定，正常航行船舶AIS更新間隔為30s，對(duì)于AIS信息接收服務(wù)而言，接收范圍內(nèi)的船舶數(shù)量龐大，因此對(duì)于更新頻率高、數(shù)據(jù)量大的AIS數(shù)據(jù)需要研究數(shù)據(jù)處理和存儲(chǔ)的相關(guān)技術(shù)。由于接收到的AIS信息可能包括一些不完整、錯(cuò)亂、亂碼等數(shù)據(jù)，因此需要根據(jù)AIS規(guī)范對(duì)異常數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)AIS數(shù)據(jù)進(jìn)行初步清洗。AIS信息由于其數(shù)據(jù)量龐大，新增速度快，因此在數(shù)據(jù)存儲(chǔ)時(shí)對(duì)數(shù)據(jù)進(jìn)行壓縮提取處理，結(jié)合船舶航向、航行狀態(tài)、航行距離等因素，設(shè)置數(shù)據(jù)存儲(chǔ)間隔，最大程度保證數(shù)據(jù)壓縮后的船舶軌跡與原始軌跡一致，在數(shù)據(jù)存儲(chǔ)方面選用適合長期存儲(chǔ)和查詢的數(shù)據(jù)服務(wù)。

船舶動(dòng)靜態(tài)數(shù)據(jù)融合技術(shù)，主要工作是對(duì)數(shù)據(jù)清洗、整合與存儲(chǔ)。數(shù)據(jù)清洗是對(duì)數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過程，目的在于刪除重復(fù)信息、糾正存在的錯(cuò)誤，并提供數(shù)據(jù)一致性。數(shù)據(jù)清洗指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無效值和缺失值等。我們要按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”，在這個(gè)過程中，我們針對(duì)船舶數(shù)據(jù)制定了一系列自動(dòng)校驗(yàn)和清洗的規(guī)則，將數(shù)據(jù)自動(dòng)清洗完成。整合后的數(shù)據(jù)通過表之間的關(guān)聯(lián)關(guān)系進(jìn)行存儲(chǔ)，方便數(shù)據(jù)永久化保存和索引。

5 實(shí)驗(yàn)結(jié)果

5.1 船舶身份識(shí)別技術(shù)

我們通過基于yolo v3的船名定位技術(shù)以及基于crnn的單行船名識(shí)別技術(shù)便可將船船舶身份給識(shí)別出來，其晝間以及夜間的識(shí)別結(jié)果如圖2所示。根據(jù)結(jié)果我們可以發(fā)現(xiàn)我們的算法在無論在晝間還是夜間都可以將船舶身份給正確的識(shí)別出來。

圖2：晝夜船名識(shí)別結(jié)果

5.2 船行行為識(shí)別技術(shù)

5.2.1 船舶超載判別

超載船舶對(duì)航行安全具有較大的安全隱患，一旦發(fā)生擱淺事件容易引發(fā)航道擁堵，影響通航效率甚至引發(fā)事故，自動(dòng)識(shí)別船舶超載狀態(tài)能有效提高船舶航行安全。首先基于海量船舶抓拍圖像，利用深度學(xué)習(xí)和目標(biāo)檢測(cè)技術(shù)，研究系船柱定位模型，然后研究邊緣檢測(cè)技術(shù)分析船舶干舷位置、船底與水面分界線位置，最后通過計(jì)算系船柱與水面分界線距離判斷船舶是否超載。其結(jié)果如圖3所示。

圖3：系船柱與水面分界線識(shí)別結(jié)果

5.2.2 船舶軌跡數(shù)據(jù)成鏈

我們將卡口采集識(shí)別的船舶信息和照片與船舶AIS軌跡融合成鏈，形成一船一航一檔案，實(shí)現(xiàn)船舶的全鏈條感知和跟蹤。

5.2.3 動(dòng)靜態(tài)數(shù)據(jù)融合

將船舶抓拍圖片和船舶信息與船舶數(shù)據(jù)庫對(duì)接，包括船主、噸位、船籍港、貨物種類等信息，信息包含：船舶圖片、船籍港、船名、速度、船型和貨種等。