聶旭清 黃寧寧 趙 欽 凌玉榮 段 煉 鐘石娟 柳 迪

（1.廣東邦鑫數(shù)據(jù)科技股份有限公司,廣東 廣州 510000；2.南寧市公安局情報支隊,廣西 南寧 530001；3.廣西壯族自治區(qū)信息中心,廣西 南寧 530001；4.南寧師范大學(xué)城市健康與安全智能分析國際研究中心,廣西 南寧 530001；5.南寧師范大學(xué)地理科學(xué)與規(guī)劃學(xué)院,廣西 南寧 530001；6.南寧師范大學(xué)自然資源與測繪學(xué)院,廣西 南寧 530001）

當(dāng)前，海洋經(jīng)濟和海洋運輸蓬勃發(fā)展，海上船只數(shù)量急劇增加，港口內(nèi)的船舶通行安全和規(guī)范管理越發(fā)重要，而船舶識別則是其中的關(guān)鍵環(huán)節(jié)。隨著當(dāng)前機器學(xué)習(xí)在視頻和圖像理解上的飛速發(fā)展，基于視頻開展船舶的自動檢測成為可能[1]。應(yīng)用人工智能技術(shù)感知港口船舶及其環(huán)境的實時狀況及變化趨勢，為用戶和管理者提供及時、動態(tài)、宏觀和綜合性信息，能極大提升港口監(jiān)管水平和效率[2]。目前，傳統(tǒng)的視頻監(jiān)控系統(tǒng)存在人力成本高和識別精確度不高等不足[3]，為此，本研究研發(fā)了海上船舶識別監(jiān)測平臺。該平臺作為海洋智能基礎(chǔ)支撐系統(tǒng)，集成智能圖像處理組件，以光電圖像數(shù)據(jù)（定點攝像頭數(shù)據(jù)和移動攝像頭數(shù)據(jù)）為主，結(jié)合目標(biāo)搜索雷達和抗電磁干擾與連續(xù)捕獲的AIS數(shù)據(jù)[4]，通過雷達主動探測海上船舶目標(biāo)，對區(qū)域內(nèi)出現(xiàn)的危險目標(biāo)進行監(jiān)測，智能識別采砂船、非法捕撈船等危險目標(biāo)并對其采取識別、跟蹤與驅(qū)逐等手段。以下將從系統(tǒng)模塊設(shè)計、船舶智能檢測流程、船舶識別關(guān)鍵技術(shù)及平臺應(yīng)用示范等方面進行闡述。

1 系統(tǒng)模塊框架

該平臺包括3個子系統(tǒng)：訓(xùn)練中心子系統(tǒng)、算法中心子系統(tǒng)和應(yīng)用分析子系統(tǒng)（如圖1）。

圖1 系統(tǒng)框架圖

1.1 訓(xùn)練中心子系統(tǒng)

訓(xùn)練中心包含算法生產(chǎn)、算法引入、算法引擎3個子模塊。算法生產(chǎn)模塊覆蓋自研算法生產(chǎn)的完整生命周期，能引入中集成主流AI廠商的通用算法能力；通過對自研算法與引入算法進行標(biāo)準化的統(tǒng)一封裝，能高效便捷地對外提供基礎(chǔ)算法能力服務(wù)。

1.2 算法中心子系統(tǒng)

算法中心主要涵蓋了平臺已發(fā)布的算法。用戶可通過模型集市選擇適用的算法模型，通過創(chuàng)建應(yīng)用或在線使用的方式調(diào)度算法引擎進行調(diào)度。

1.2.1 海上船舶類型檢測模塊

實現(xiàn)發(fā)現(xiàn)海洋水面區(qū)域內(nèi)出現(xiàn)的危險船舶目標(biāo)并進行監(jiān)測，智能識別采砂船、捕撈船等危險目標(biāo)。

1.2.2 船舶目標(biāo)舷號字符檢測模塊

在船舶關(guān)閉AIS等身份識別設(shè)備后，通過調(diào)整光電平臺角度對船舶舷號字符進行聚焦識別，確定船舶舷號字符的具體信息。

1.2.3 算法管理模塊

該模塊主要針對在訓(xùn)練中心已完成訓(xùn)練發(fā)布至算法集市中的算法（包括自研算法、算法廠商供應(yīng)算法），進行引入管控、版本管理、投產(chǎn)管理、算法信息及后臺配置管理。

1.2.4 算法監(jiān)控模塊

該模塊針對系統(tǒng)資源使用情況提供可視化視圖，包括CPU、GPU、內(nèi)存、網(wǎng)絡(luò)的使用情況，進行實時的展現(xiàn)。

1.3 應(yīng)用分析子系統(tǒng)

1.3.1 用戶視圖模塊

該模塊具備完善的用戶管理、角色管理、權(quán)限管理功能。用戶管理以列表的形式展現(xiàn)用戶及角色信息，并針對性地提供用戶及角色的新增、編輯、查詢功能。

1.3.2 統(tǒng)計管理模塊

該模塊包括算法、應(yīng)用、用戶、用戶費用等的統(tǒng)計報表。算法統(tǒng)計報表統(tǒng)計平臺現(xiàn)有算法的調(diào)用情況、識別準確率、調(diào)用成功率等。應(yīng)用統(tǒng)計報表統(tǒng)計平臺應(yīng)用的總數(shù)、調(diào)用量、調(diào)用成功率等。用戶統(tǒng)計報表統(tǒng)計平臺各類用戶的數(shù)量、狀態(tài)、活躍度等信息。用戶費用統(tǒng)計報表統(tǒng)計消費用戶算法單元調(diào)用量、使用量、消費情況。

1.3.3 運維管理模塊

為了使系統(tǒng)運行中的一些情況和用戶的操作有據(jù)可查，平臺需要提供安全日志、數(shù)據(jù)日志等日志功能。安全日志包括用戶活動（登陸、注銷）記錄、密碼修改記錄、鑒權(quán)記錄；數(shù)據(jù)日志包括數(shù)據(jù)集請求記錄、數(shù)據(jù)集范圍、數(shù)據(jù)集使用人、時間等記錄。

2 船舶智能檢測處理流程

船舶檢測模型構(gòu)建流程如圖2所示。

圖2 船舶檢測模型構(gòu)建流程圖

2.1 海上船舶數(shù)據(jù)采集

海上船舶樣本的采集方式包括：（1）通過架設(shè)在岸邊或者海面平臺上的攝像頭拍攝船舶樣本照片；（2）手持相機在港口或者隨船出海采集船舶照片；（3）從專業(yè)的船舶網(wǎng)站圖片庫下載海上船舶照片；（4）從海洋相關(guān)部門中直接獲取所需的船舶類型照片；（5）從開源的訓(xùn)練數(shù)據(jù)庫中獲取相關(guān)船舶樣本圖片。

在實際檢測海上船舶的過程中，船舶大小、類型、背景等均為隨機條件，為了實現(xiàn)對大部分隨機條件下的海上船舶進行檢測，需要采集各種隨機條件下的船舶樣本，包括：（1）各種類型的船舶樣本；（2）各種距離的船舶樣本；（3）各種復(fù)雜光照（包含強光、弱光、逆光等）環(huán)境下船舶樣本；（4）各種氣象天氣（包含陰、晴、雨、霧等）下的船舶樣本；（5）各種海域（近海、遠海）環(huán)境下的船舶樣本；（6）各種角度下（正面、側(cè)面、斜面、反面等）的船舶樣本；（7）各種圖像分辨率下的船舶樣本；（8）各種光電傳感器的船舶樣本等。

樣本類型越豐富，檢測的效果越理想。在本研究的應(yīng)用中，采集了20 000余張各類船只的圖片數(shù)據(jù)。

2.2 船舶數(shù)據(jù)的分類和樣本標(biāo)注

2.2.1 確定船舶類別

海上船舶按照用途主要可以分為科考船、工程船、漁船、采砂船、集裝箱船、散貨船、液貨船、客輪、快艇、軍艦等類別。圖像包含豐富的顏色紋理等細節(jié)特征，在實時船舶檢測與船舶細分類任務(wù)方面更具優(yōu)勢[5]，可通過對船舶外部形態(tài)特征的識別來檢測不同類型的船舶。如集裝箱船具有非常顯眼的多彩色外觀，軍艦和海警船一般是白色或者灰色涂裝；一般的漁船、快艇的尺寸較小，而貨船通常具有很大的尺寸；工程船甲板往往安裝復(fù)雜的工程勘察、起吊設(shè)備，而油輪的甲板比較簡潔等?？偟膩砜矗巴獠啃螒B(tài)特征主要包括顏色、船型大小、甲板構(gòu)建物形態(tài)、船艙位置及船身尺寸比例等。通過對這些外觀的特征辨識，構(gòu)建形成海上船舶分類數(shù)據(jù)庫和知識庫，為后期樣本標(biāo)注提供參考依據(jù)。

2.2.2 樣本標(biāo)注

基于具體的分類應(yīng)用要求對船舶數(shù)據(jù)樣本進行標(biāo)注。不同要求對數(shù)據(jù)標(biāo)注格式要求不同，如有的需要勾勒出船的形態(tài)，有的僅需對圖片打一個分類標(biāo)簽。

2.2.3 數(shù)據(jù)校驗

由于參與標(biāo)注的工作者數(shù)量眾多，并且數(shù)據(jù)標(biāo)注以及交付的過程可能存在不規(guī)范，因此，需要對海上船舶種類數(shù)據(jù)進行分揀、重新審查和抽樣校驗，刪除重復(fù)信息，糾正存在的錯誤，保證數(shù)據(jù)尺寸和分類標(biāo)注一致性。

2.2.4 數(shù)據(jù)增強

為防止后期模型訓(xùn)練時地過擬合，需要增加訓(xùn)練的數(shù)據(jù)量和加入一定噪聲數(shù)據(jù)，以提高模型的泛化能力[6]。就此，通過對原有樣本進行隨機旋轉(zhuǎn)、隨機裁剪、色彩抖動、高斯噪聲和水平翻轉(zhuǎn)等操作，獲得更多的樣本。

2.2.5 數(shù)據(jù)安全管理

對原始數(shù)據(jù)和樣本進行加密、安全存儲、訪問控制、數(shù)據(jù)完整性保護，避免數(shù)據(jù)安全隱患，實現(xiàn)全方位、多層次的安全防護措施。

2.3 船舶智能識別模型的調(diào)優(yōu)

基于Faster R-CNN系列、SSD系列、YOLO系統(tǒng)等經(jīng)典目標(biāo)檢測方法，在兼顧目標(biāo)檢測的速率和精度的基礎(chǔ)上，通過大量樣本得到適合不同環(huán)境的模型，進而將其應(yīng)用于實際的船舶檢測中。

3 船舶識別關(guān)鍵技術(shù)

在船舶特征識別場景研究中，會遇到境外船舶等數(shù)據(jù)量較少的情況，所以一方面要通過數(shù)據(jù)擴充技術(shù)，增加數(shù)據(jù)量和不同場景下的多樣化數(shù)據(jù)，另一方面要從模型學(xué)習(xí)策略角度引入遷移學(xué)習(xí)技術(shù)，提高模型面向小數(shù)據(jù)識別的能力。

3.1 深度學(xué)習(xí)模型的自動參數(shù)獲取

由于深度學(xué)習(xí)模型的架構(gòu)復(fù)雜，神經(jīng)網(wǎng)絡(luò)層數(shù)深，超參數(shù)多，對其的設(shè)定又需要很強的先驗知識，這讓深度學(xué)習(xí)方法與應(yīng)用存在巨大的鴻溝。為此，需要貝葉斯優(yōu)化的迭代優(yōu)化算法自動設(shè)計和調(diào)整深度學(xué)習(xí)模型。該過程將原本耗費上千個GPU時的網(wǎng)絡(luò)架構(gòu)搜索過程縮短到數(shù)十個GPU時，且搜索到的網(wǎng)絡(luò)的性能與耗費上千個GPU時搜索到的網(wǎng)絡(luò)十分接近。

3.2 模型的遷移學(xué)習(xí)

一些特殊環(huán)境和船只數(shù)據(jù)收集復(fù)雜且昂貴，構(gòu)建大規(guī)模、高質(zhì)量的帶標(biāo)注數(shù)據(jù)集非常困難。因此，本研究引入遷移學(xué)習(xí)方法，對于一些特定船只目標(biāo)的識別模型，在特征提取層和分類層之間加入自適應(yīng)層，使得源域和目標(biāo)域的數(shù)據(jù)分布更加接近，進而讓模型自動化地提取更具表現(xiàn)力的特殊環(huán)境和船只的特征，同時又滿足了實際應(yīng)用中的端到端需求。

3.3 集群訓(xùn)練計算架構(gòu)

利用高性能并行計算設(shè)備GPU和FPGA來加速模型訓(xùn)練，并通過Parameter Server進行模型的集群訓(xùn)練。集群中的節(jié)點被分為兩類，即parameter server和worker，其中parameter server存放模型的參數(shù)，而worker負責(zé)計算參數(shù)的梯度。在每個迭代過程中，worker從parameter sever中獲得參數(shù)，然后將計算的梯度返回給parameter server，parameter server聚合從worker傳回的梯度，然后更新參數(shù)，并將新的參數(shù)廣播給worker。集群訓(xùn)練策略如下：

策略1：模型并行。模型集群訓(xùn)練指的是將模型部署到多臺設(shè)備上運行。

策略2：數(shù)據(jù)并行。在很多設(shè)備上放置相同的模型，并且各個設(shè)備采用不同的訓(xùn)練樣本對模型訓(xùn)練。

3.4 面向場景數(shù)據(jù)更新的自動增量學(xué)習(xí)

自動篩選其中難分數(shù)據(jù)進行主動增量式標(biāo)注，結(jié)合模型工作時收集的關(guān)鍵難分樣本，設(shè)計更新數(shù)據(jù)組織與利用形式，形成自動增量學(xué)習(xí)的數(shù)據(jù)閉環(huán)。

4 海洋船舶人工智能云平臺示范應(yīng)用

該平臺是海洋船舶監(jiān)測、集成聯(lián)動、智能決策和快速處置一體化智慧平臺。在休漁期對國家級中心漁港陽江閘坡港進出港漁船進行漁船類型與弦號智能識別，為漁政執(zhí)法部分提供休漁期漁船違規(guī)作業(yè)預(yù)警信息。平臺建設(shè)將算法、算力、數(shù)據(jù)和場景有機結(jié)合，打造集數(shù)據(jù)清洗、數(shù)據(jù)采集、算法開發(fā)、模型訓(xùn)練、模型管理到模型調(diào)度于一體的海洋人工智能云平臺，形成一套全新的海洋人工智能生產(chǎn)模式。

基于人工智能技術(shù)及大數(shù)據(jù)平臺，結(jié)合監(jiān)控、監(jiān)測設(shè)備實現(xiàn)對海洋在線監(jiān)控數(shù)據(jù)的實時接入和智能識別，管理人員可及時掌握不同海洋應(yīng)用場景的狀態(tài)，真正實現(xiàn)海洋監(jiān)控數(shù)據(jù)實時、直觀、動態(tài)、可視化、智能化的管理和展示。實現(xiàn)全方位、自動化的監(jiān)控，實現(xiàn)在線監(jiān)測數(shù)據(jù)的實時刷新、臨界提示、超標(biāo)報警，實時掌握海域環(huán)境狀態(tài)。支持管理者對海洋監(jiān)管形勢進行綜合分析，全面提升海洋監(jiān)管水平。

平臺通過組件應(yīng)用集成的方式，形成海洋智能圖像處理集成應(yīng)用。輸出圖像視頻處理API、SDK，提供二次開發(fā)能力和擴展能力，為業(yè)務(wù)應(yīng)用提供各項智能圖像視頻處理服務(wù)。

用戶可以通過平臺的開放接口，對中心和數(shù)據(jù)節(jié)點管理的數(shù)據(jù)資源和模型資源進行“透明”訪問。部門和機構(gòu)可以利用交換系統(tǒng)對分散的數(shù)據(jù)資源進行整合，消除數(shù)據(jù)孤島。

5 結(jié)語

該平臺通過整合涉海多源數(shù)據(jù)開展了海上船舶識別及相關(guān)的信息共享與分析，促進海洋數(shù)據(jù)資源的匯聚應(yīng)用，為海洋科學(xué)監(jiān)控提供智能輔助決策，推進了涉海數(shù)據(jù)采集、挖掘、管理和共享等應(yīng)用的智能化水平，為建設(shè)海洋人工智能云平臺提供了示范應(yīng)用。已有工作為廣東現(xiàn)代海洋生態(tài)體系開發(fā)與建設(shè)提供基礎(chǔ)性、開放性、公共性服務(wù)，對快速賦能現(xiàn)代海洋產(chǎn)業(yè)、提升產(chǎn)業(yè)效率和加快產(chǎn)業(yè)轉(zhuǎn)型具有重要作用。