馮喜惠 山東交通學院航運學院

李光正 山東交通學院船舶與港口工程學院

王波 韓洋 王士鵬 山東交通學院航運學院

海洋漁業(yè)是中國的一種優(yōu)勢產(chǎn)業(yè)，但是因為中國漁船種類較多，作業(yè)范圍廣，從業(yè)人員規(guī)模較大，所以對于漁船安全的監(jiān)管力度要求很高。不法漁船多為“三無船舶”(無船名船號、無船舶執(zhí)照、無船籍港)，人員流動性大，對漁船監(jiān)督工作造成極大的困難；但即使配備了AIS的身份識別裝置，部分不法漁船仍可能通過故意關閉AIS系統(tǒng)，或修改AIS信息來規(guī)避國家監(jiān)督管理機關的監(jiān)督。近年來，全國沿海各地正在積極探索“依港管船”和“港長制”，依托漁港管漁船、管船員、管安全[1]，并已將漁船進出港報告制度落地實施，因此在漁港內(nèi)建設完善的監(jiān)管系統(tǒng)可以有效的消除港內(nèi)漁船安全隱患及強化對涉嫌違法漁船、涉漁“三無”船舶的安全執(zhí)法監(jiān)督。

1.圖像識別在漁船監(jiān)管中的技術實現(xiàn)

深度學習算法是機器學習方面的重要方法之一，可以形成相應用來建模人體腦部的神經(jīng)連接結構的模式，對圖形、語音和圖像等有關信息的數(shù)據(jù)等，加以分析和描述[2，3]。近年來，依靠深度學習的圖像識別方法已主要運用于圖像識別、交通視頻監(jiān)控、醫(yī)療畫像分析等各方面[4，5]。通過將漁船圖片數(shù)據(jù)集錄入神經(jīng)網(wǎng)絡模塊中，對圖片的特點進行識別、提煉、分析，同時通過不斷訓練與學習，使用訓練好的模塊可以在實時視頻中更有效的獲得漁船目標，進而自動進行漁船身份識別，對“問題漁船”進行管控并形成重點漁船信息庫，從而實現(xiàn)依港漁船監(jiān)管。

1.1 漁船圖像采集

計算能力和數(shù)據(jù)數(shù)量是影響深度學習算法模型的兩個重要因素，數(shù)據(jù)集的數(shù)量和質(zhì)量對檢測結果影響非常大。數(shù)據(jù)集中包含通過高清晰攝像頭在不同時間、不同天氣、不同高度所捕捉的來往漁船圖像以及拍攝的漁船影像信息，同時為增加數(shù)據(jù)集中圖片的數(shù)量與質(zhì)量，還須提供數(shù)字船只影像拍攝設備，考慮到各個階段的拍攝，還須配置熱成像鏡頭以及紅外激光攝像機。

1.2 漁船目標檢測

基于深度學習的目標檢測方法[6]分為兩類，一類是兩級式檢測，主要分為兩個步驟，第一是選擇候選區(qū)域，第二是在候選區(qū)域內(nèi)進行分類回歸；另一類是單級式檢測，整個過程是利用卷積神經(jīng)網(wǎng)絡提取特征生成特征圖，再通過不同長寬比的錨點框在特征圖上進行采樣后進行分類回歸，一次性完成檢測。本文使用單級式檢測框架中的YOLO V3算法[7]，該算法綜合性能較好，是目前檢測精度和速度平衡性能最好的算法之一，可滿足對漁船目標檢測的實時性和準確性的要求。

YOLO算法(You Only Look Once)作為一個深度神經(jīng)網(wǎng)絡模型，主要用于目標檢測。目標檢測任務主要由以下兩個部分構成：1)對物品分類;2)確定出目標物品在圖中的具體位置[8]。YOLO V3采用了從端至端的設計思想，把目標檢測重構為簡單的回歸現(xiàn)象，從圖象的元素數(shù)，可以直觀得到目標位置和分類概率。首先需要將圖片縮放到指定尺寸(768＊736),再將圖片劃分成S＊S的小格，每個網(wǎng)格對應原圖上的某一塊區(qū)域，然后在每個網(wǎng)格中預測是否有物體以及屬于該類物體的類別。然后通過先驗框和偏移量進行預測框，預測后，把數(shù)據(jù)輸入到網(wǎng)絡里，再通過錨框和偏移量最后得出預測框的四個位置，這樣的預測框可以有很多種，接著再通過對IoU的置信度進行非極大值抑制篩選預測框，從而得到最后預期的結果，見圖1。如果需要測算準確率，通過檢測結果與實際結果的對比，進而測算得出網(wǎng)絡的準確性[9]。

圖1 漁船目標檢測效果

1.3 漁船船舶分類

對漁船實施監(jiān)控，要通過漁船分類模型把目標漁船在航道上同行的旅客、貨輪、拖輪、公共事務船舶等不同船只中識別開來。

經(jīng)典分類方法包含特征提取以及分類器訓練兩個步驟，而傳統(tǒng)方法需要對被分類目標有充分的了解才能提取準確的特征，對分類模型門檻過高且針對不同分類任務移植性不高。近幾年的研究表明，在圖像分類任務中，相比于傳統(tǒng)分類方法，利用CNN提取抽象特征再結合SVM分類器的分類方法的分類效果要更好。

陳澤創(chuàng)[10]提出將深度卷積神經(jīng)網(wǎng)絡模型結合經(jīng)典的SVM分類器為一個整體，進而可以提取不同角度、不同局部區(qū)域的漁船船舶特征，并利用該特征對在復雜環(huán)境中的不同類型船舶進行分類實驗。首先將訓練集的船舶圖像作為輸入，將AlexNet模型進行遷移學習，使模型能夠辨認漁船、貨船、公務船之間不同的特點，然后將學習后的AlexNet對訓練集的船舶圖像進行特征提取，然后將測試集的船舶圖像輸入學習后的AlexNet進行特征提取，最后根據(jù)各自全連接層特征訓練好的SVM分類器完成的三類船的分類預測，如圖2，并統(tǒng)計分類準確率。

圖2 漁船船舶分類效果圖

1.4 重點漁船信息庫

通過將圖片收集平臺對抓拍到的重點漁船圖像加以分組識別后，系統(tǒng)將自動形成重點漁船圖片庫，也可以通過從其他途徑獲取的重點漁船圖像加以擴充。利用圖像分割模塊對圖片通過與目標背景分離，以獲取目標像素，在實施了背景消除、圖像去噪、數(shù)據(jù)強化等措施以后，再使用機器學習的方式完成特征提取，以建立船舶特征庫[11]。對正常使用并啟動AIS系統(tǒng)的漁業(yè)船舶，要求其AIS檔案資料與船舶信息數(shù)據(jù)庫相關聯(lián)；關于沒有安裝AIS或修改AIS數(shù)據(jù)的問題漁船，可通過人工輸入的方法對其資料加以完善。

1.5 漁船身份識別

漁船在檢測并分類出之后,就必須把這些數(shù)據(jù)的船舶信息放到船舶的數(shù)據(jù)庫中進行匹配,對漁船船舶身份進行自動識別。然后以AIS信息中的船舶信息參數(shù)為參考基準，與基于圖像模型和船舶特征庫比對后提取的船舶信息參數(shù)進行對比分析，判別是否是“問題漁船”[12]。在問題漁船出入港口后,主管部門通信平臺能夠快速掌握情況，及時采取相應對策進行追蹤調(diào)查、跟蹤整治，直至解決，有效杜絕安全隱患，具體流程見圖3。

圖3 漁船身份識別與告警流程圖

2.漁船監(jiān)管系統(tǒng)技術應用

從整體來看，漁船監(jiān)管系統(tǒng)的實現(xiàn)除了基于深度學習的圖像識別技術之外，還需要多源系統(tǒng)信息融合、多攝像機接力跟蹤、虛擬“電子圍欄”設立，最終在前端可視化平臺上進行展示。

2.1 多源系統(tǒng)信息融合

AIS基站能夠接受到60公里海域內(nèi)漁船的身份信號，而利用CCTV系統(tǒng)和圖像識別技術可以掌握漁船的類別和身份信息。采用整合AIS信息系統(tǒng)、綜合海事VTS信息系統(tǒng)、CCTV閉路電視監(jiān)控系統(tǒng)和港口調(diào)度等多元化技術手段,可以獲得更為精確的信息，與漁船重點數(shù)據(jù)庫相比，能夠更全面了解漁船的航行動向和在船人信息，并及時有效的判斷漁船身份。

根據(jù)“一船一檔”的原則，為每一艘漁船建立電子檔案，建立漁船檔案庫，提供漁船檔案的綜合檢索查詢、統(tǒng)計分析、可視化展示等功能。將漁業(yè)船舶進出港時的數(shù)據(jù)資料、漁船在港口狀態(tài)和漁業(yè)船舶在各港口的位置狀況自動記錄并提交至系統(tǒng),能夠即時掌握漁業(yè)船舶進出港的錨泊數(shù)據(jù)，及時了解航線的通行狀況，通過流量統(tǒng)計數(shù)據(jù)實現(xiàn)漁船的調(diào)配。進行人員管理，建設船員證書信息庫，同時進行大數(shù)據(jù)分析、資料檢索、人員身份驗證、船員培訓船員的管理等業(yè)務。提供臺風、海浪等預警報信息的集成與推送，為漁船實時提供氣象服務。

2.2 多攝像機接力目標跟蹤

由于單個攝像頭監(jiān)視區(qū)域和監(jiān)測視角受限，加之目標追蹤不穩(wěn)、復雜場景遮擋難以辨認等問題，必須采用多個攝像頭以實現(xiàn)大范圍、多角度、長距離的目標跟蹤。采用多攝像機進行目標識別與定位最重要的是多攝像頭之間的協(xié)同合作，首先每個攝像頭對目標都需要進行識別跟蹤，然后利用目標的空間信息與顏色特征進行接力[13]。

圖4 漁船監(jiān)管系統(tǒng)框架圖

圖5 虛擬“電子圍欄”總體技術架構圖

2.3 虛擬“電子圍欄”

港口內(nèi)虛擬的電子圍欄系統(tǒng)是將經(jīng)過數(shù)字化、信息化后的一系列坐標或控制點所圍成的港口內(nèi)區(qū)域，可以對該特定地區(qū)進行即時監(jiān)視，一旦有未經(jīng)許可的船只私自進入該港區(qū)內(nèi)或在該港區(qū)未獲許可而私自離開時，電子圍欄系統(tǒng)會產(chǎn)生預警或警報的信息，并適時提醒有關人員對預警信息加以確認[14]。港口虛擬“電子圍欄”可將港口碼頭、港外作業(yè)點、過駁點等所在區(qū)域的經(jīng)緯度虛擬成為一系列坐標點，再結合GPS、AIS、CCTV、VTS及船只動態(tài)管理、船只進出港報告系統(tǒng)等，設置成港口虛擬“電子圍欄”，并同時整合了ECS電子海圖以及ECDIS電子海圖顯示系統(tǒng),并通過與海事綜合監(jiān)管平臺后臺數(shù)據(jù)系統(tǒng)進行整合，可有效實現(xiàn)船舶身份識別。當船只進入虛擬"電子圍欄"控制區(qū)時，信息系統(tǒng)可進行手動比對,對不符合要求的漁船,從前端顯示系統(tǒng)中作出預警及警報等信息提醒，以提示有關人員及時進行了解和處置，也可采用如AIS軌跡標記、CCTV拍攝、VTS自動截圖等技術手段,將有關證據(jù)上傳至后臺系統(tǒng)的數(shù)據(jù)分析管理系統(tǒng)。

2.4 前端展示平臺

基于船舶信息數(shù)據(jù)庫、航道信息數(shù)據(jù)、電子海圖數(shù)據(jù)、港口信息數(shù)據(jù)以及海洋大數(shù)據(jù)，增強數(shù)據(jù)互聯(lián)與信息互通，將整個監(jiān)控區(qū)域內(nèi)的漁船目標檢測、身份識別、錄像取證、報警管控等功能整合到一個綜合的前端展示平臺上呈現(xiàn)（如圖6），實現(xiàn)岸基管理、船隊、船舶及船舶設備、船員、救生設備等的全面連接，可實現(xiàn)信息一體化和監(jiān)管一體化，使監(jiān)管過程更加直觀化、信息化、可視化，系統(tǒng)中的報警和視頻回放功能可讓相關工作人員快速定位并跟蹤目標，充分高效的提高監(jiān)管效率和監(jiān)管水平。

圖6 前端展示平臺[15]

3.結論

通過在漁港、航道內(nèi)等各地方使用該型智能監(jiān)控系統(tǒng),可以進行對漁船的監(jiān)控和身份鑒定,同時可以對問題漁船進行追溯和查詢，促使有關執(zhí)法監(jiān)管部門將對問題漁類船只的監(jiān)控工作變得更加信息化、電子化、智能化，從而促使現(xiàn)場監(jiān)管與執(zhí)法工作更加有據(jù)可依，希望能夠為我國各大“智慧漁港”的建成添磚加瓦。