關(guān)克平 韓笑 蔣宇

摘要：為提高在天氣惡劣、目標密集、目標被遮擋及其他復雜海況下船舶交通流統(tǒng)計的準確率，提出一種將目標檢測算法CenterNet、多目標跟蹤算法DeepSORT與凸包算法中優(yōu)化逆時針（counter clockwise，CCW）判斷的單線法相結(jié)合的船舶交通流視覺圖像統(tǒng)計方法。使用Python對所選的數(shù)據(jù)和場景進行測試，結(jié)果表明：CenterNet在多場景檢測中比YOLOv3更優(yōu)秀;基于目標檢測的多目標跟蹤算法具有良好實時性，能夠有效對抗因目標抖動、密集、被遮擋等所導致的目標丟失，繼而減少船舶交通流統(tǒng)計時常出現(xiàn)的漏檢、錯檢和重復統(tǒng)計等問題。

關(guān)鍵詞：

CenterNet; DeepSORT; 凸包檢測; 船舶交通流統(tǒng)計; 目標檢測

中圖分類號：? U692

文獻標志碼：? A

A visual image statistics method for ship traffic flow

based on TBD strategy

GUAN Keping， HAN Xiao， JIANG Yu

（

Merchant Marine College， Shanghai Maritime University， Shanghai 201306， China）

Abstract：

In order to improve the accuracy of ship traffic flow statistics under severe weather， dense targets， occluded targets and other complex sea conditions， a visual image statistics method for ship traffic flow is proposed， where the target detection algorithm CenterNet and the multi-target tracking algorithm DeepSORT are combined with the single-line method for the counter clockwise （CCW） judgment optimization in the convex hull algorithm. Python is adopted to test the selected data and scenes. The results show that： CenterNet is better than YOLOv3 in the multi-scene detection; the multi-target tracking algorithm based on target detection is of good real-time performance， and can effectively combat target loss caused by? target jitter， density and occlusion，

etc.， and then reduce the problems such as missed detection， false detection， and repeated statistics in traffic flow statistics.

Key words：

CenterNet; DeepSORT; convex hull detection; ship traffic flow statistics; target detection

收稿日期： 2020-08-23

修回日期： 2021-03-09

基金項目：

國家自然科學基金（51909155）

作者簡介：

關(guān)克平（1978—），男，福建寧德人，副教授，碩士，研究方向為航海仿真技術(shù)，（E-mail）kpguan@shmtu.edu.cn

0 引 言

隨著近年來水路運輸業(yè)的發(fā)展，水上交通狀況逐漸變得復雜。交通管理人員全面掌握船舶航行動態(tài)、及時統(tǒng)計船舶交通流，可降低航運事故的發(fā)生概率，減少事故損失。目前使用最廣泛的船舶交通流統(tǒng)計方法是基于船舶自動識別系統(tǒng)[1-3]（automatic identification system，AIS）的統(tǒng)計方法，如KIM等[4]利用背景估計實現(xiàn)船舶檢測并配合AIS實現(xiàn)了相關(guān)船舶信息匹配。

由于視頻能提供很多實時圖像細節(jié)，有學者提出一種基于虛擬線圈的船舶交通流檢測系統(tǒng)。CHEN等[5]在此基礎(chǔ)上增加了核化相關(guān)濾波器（kernelized correlation filter，KCF）算法對船舶進行跟蹤，較好地解決了漏檢和重復計數(shù)的問題。ZOU等[6]用深度學習SSD（single shot multibox detector）算法進行船舶交通流統(tǒng)計，可快速檢測出船舶，但該方法存在重復計數(shù)的問題。由于水上交通環(huán)境比陸上交通環(huán)境復雜，進行長期、穩(wěn)健的船舶跟蹤非常具有挑戰(zhàn)性[7]。近年來，有學者將YOLOv2[8]和YOLOv3[9]算法應(yīng)用到船舶交通流統(tǒng)計中，解決漏檢和重復計數(shù)等問題，但對于目標距離遠或能見度低等情況，這兩種算法處理效果并不理想。

針對以上問題，本文提出一種將目標檢測算法CenterNet、多目標跟蹤算法DeepSORT和凸包算法中優(yōu)化逆時針（counter clockwise，CCW）判斷的單線法相結(jié)合的方法，實現(xiàn)對船舶交通流的精確統(tǒng)計。其中：CenterNet負責對目標進行分類和定位;DeepSORT負責對目標檢測后的視頻序列中多個感興趣的目標軌跡進行跟蹤并提取，再通過時域關(guān)聯(lián)分配跟蹤識別碼，解算目標的運動軌跡信息;凸包算法中優(yōu)化CCW判斷的單線法負責完成船舶數(shù)量統(tǒng)計。該統(tǒng)計方法幾乎不占用計算資源，高效、可靠且兼容不同斜率線段的部署。通過以上3種算法的結(jié)合，可有效改善傳統(tǒng)船舶交通流統(tǒng)計中出現(xiàn)的漏檢、錯檢和重復計數(shù)等問題。

1 船舶檢測與跟蹤

1.1 CenterNet

CenterNet是無錨框類檢測網(wǎng)絡(luò)，在一定程度上借鑒了CornerNet[10]的整體框架和損失函數(shù)，并對其進行了改進，實現(xiàn)了檢測速度與檢測精度的權(quán)衡。其基本思想是：構(gòu)建模型時，將對象視為由其中心而非邊界框表示的點，通過關(guān)鍵點估計找到中心點，并回歸其他屬性（如邊界框?qū)挾群透叨龋﹣砩深A測框。通過引用熱力圖構(gòu)建CenterNet模型，根據(jù)預測點的高斯分布區(qū)域計算真實預測值。偏置預測被用來表示標注信息從輸入圖像被映射到輸出特征圖時由取整操作所導致的坐標誤差。CenterNet的網(wǎng)絡(luò)框架如圖1所示，其中檢測過程分為2個階段：下采樣階段和中心點生成階段。在下采樣階段，執(zhí)行全卷積網(wǎng)絡(luò)DLA-34或Resnet-18、Hourglass-104等對圖像進行下采樣，同時提取圖像特征，獲得低4倍的特征圖。基于下采樣得到的特征圖生成目標中心點。在中心點生成階段，使用3個分支網(wǎng)絡(luò)（熱圖生成分支網(wǎng)絡(luò)、中心偏移回歸分支網(wǎng)絡(luò)和目標邊界框尺寸回歸分支網(wǎng)絡(luò)）預測目標邊界框。

1.2 DeepSORT

多目標跟蹤是對視頻序列中多個感興趣的目標軌跡進行跟蹤并提取，并通過時域關(guān)聯(lián)分配跟蹤識別碼，解算目標的運動軌跡信息。當前主流的多目標跟蹤算法[11]可分為2類：（1）基于相關(guān)濾波的多目標跟蹤算法。其代表為基于KCF的多目標跟蹤算法[12-13]，它使用多線程完成多個單目標跟蹤。算法對第一幀圖像進行采樣，由目標區(qū)域形成循環(huán)矩陣，通過快速傅里葉變換轉(zhuǎn)換到頻域進行求解，可降低時間復雜度;引入嶺回歸和核技巧，可有效提高跟蹤速度和精度。（2）DeepSORT。它是基于SORT的改進算法[14]，其優(yōu)點是可以在整個視頻中跟蹤隨時出現(xiàn)的新目標，但前提是要有一個好的目標檢測算法。本文就是在DeepSORT前用CenterNet檢測出目標，從而實現(xiàn)基于目標檢測的多目標跟蹤。

DeepSORT分別使用馬氏距離和余弦距離作為運動特征和檢測框內(nèi)深度特征的相似度度量標準，再通過對兩種相似度加權(quán)平均得到總體相似度來進行最近鄰匹配，通過遞歸卡爾曼濾波和級聯(lián)匹配逐幀優(yōu)先匹配出近期活躍度較高的目標，以提高目標追蹤的魯棒性。

2 船舶交通流統(tǒng)計方法

2.1 優(yōu)化CCW判斷的單線法

一般航道內(nèi)呈現(xiàn)2種交通流向，即駛出流向和駛?cè)肓飨?，見圖2a。船舶交通流統(tǒng)計中存在的問題有：船舶（如觀光船、執(zhí)法船等）重復往返造成重復計數(shù);由各方面因素（如角度變化、涌動等）引起的特征變化使得檢測框發(fā)生抖動;水上交通監(jiān)控通常采用遠距離攝影，這使得船舶在整個視頻畫面中移動較少。其中船舶反復跨越檢測線導致重復計數(shù)的問題尤為明顯，見圖2b。

基于上述情況和多種交通流統(tǒng)計方法（虛擬線框法、雙線法和目標鏈法等）的測試結(jié)果，采用凸包算法中優(yōu)化CCW判斷的單線法完成船舶數(shù)量統(tǒng)計。

優(yōu)化CCW判斷的單線法可用來判斷點線間的位置關(guān)系，本文對該方法進行改進后用來判斷船舶實時軌跡與檢測線相交的情況。該方法計數(shù)觸發(fā)機制為：已知近期某時刻歷史軌跡點A、當前軌跡點B和虛擬檢測線端點C、D，若點A、B分別位于檢測線CD的兩邊，分別在順時針和逆時針方向分布，則線段AB與CD相交，可視作船舶正跨越檢測線，觸發(fā)計數(shù)，見圖3。

2.2 TBD策略

聯(lián)合目標檢測的多目標跟蹤策略[15]，也稱為TBD （tracking-by-detection）策略，是當前業(yè)界研究熱點。本文采用的TBD策略為先用CenterNet進行目標檢測，再用DeepSORT進行多目標跟蹤。其實現(xiàn)過程分2步：①用目標檢測算法將每幀圖像中感興趣的目標檢測出來，得到目標的位置坐標、分類和可信度，這里假設(shè)檢測到的目標數(shù)量為M;②將上一步中檢測到的目標與上一幀中檢測到的目標（假設(shè)上一幀中檢測到的目標數(shù)量為N）一一關(guān)聯(lián)起來。換句話說，就是在M×N個配對中找出最相似的一對組合。

實際的智能海事監(jiān)控系統(tǒng)包含多個子模塊，各子模塊負責不同的任務(wù)且相互協(xié)調(diào)，整個系統(tǒng)實現(xiàn)框架如圖4所示，其中交通流計數(shù)模塊處于目標檢測模塊和多目標跟蹤模塊之后，它基于這兩個模塊的處理結(jié)果進行交通流計數(shù)處理。

3 實驗與結(jié)果分析

3.1 模型數(shù)據(jù)構(gòu)成

前沿的算法研究都是在通用的COCO等數(shù)據(jù)集上進行的。由于深度學習模型的訓練依賴大量數(shù)據(jù)，為使模型具有更大的適用性，算法需要一定規(guī)模的優(yōu)質(zhì)數(shù)據(jù)支持。本文研究主要面向內(nèi)河或沿海水域的真實船舶，數(shù)據(jù)集以網(wǎng)絡(luò)圖片為主要來源，輔以公共船舶數(shù)據(jù)和上海黃浦江、吳淞口、港區(qū)等航拍視頻數(shù)據(jù)。

3.2 效果對比

為檢測目標檢測算法CenterNet的可靠性，選取部分數(shù)據(jù)作為測試數(shù)據(jù)，并選取部分典型場景進行船舶目標檢測，見圖5～8。

與YOLOv3的檢測結(jié)果對比可以看出：CenterNet對遠距離小船舶目標的檢測效果較好;平、俯視角檢測框緊實且定位準確;對復雜背景、光照變換和能見度不良等干擾情況魯棒性好;能有效捕捉船舶局部特征，當船舶處于圖片邊緣、進出視覺范圍時檢測框偏大;當船舶過近、被遮擋、密集或中心重疊時偶有漏檢情況。

由不同情況下的檢測結(jié)果對比可看出，YOLOv3對相似船型的檢測存在誤檢，而CenterNet對局部特征的檢測效果更好。整體看，CenterNet在多場景檢測中比YOLOv3更優(yōu)秀，具有更強的定位、分割、

識別等能力，能夠滿足船舶目標檢測的精準要求和實時需求。

3.3 聯(lián)調(diào)實驗效果對比

本文船舶交通流統(tǒng)計是結(jié)合船舶目標檢測算法與多目標跟蹤算法實現(xiàn)的，采用以CenterNet為主的CenterNet-DeepSORT算法，其流程見圖9。

為驗證CenterNet-DeepSORT算法的性能，通過聯(lián)調(diào)對視頻進行跟蹤效果測試，部分輸出見圖10。

由圖10a和圖10c可以看出：利用CenterNet-DeepSORT算法能夠?qū)γ芗斑M行跟蹤;從跟蹤軌跡平滑度可以看出，加入跟蹤后檢測框更加穩(wěn)定，僅在船舶姿態(tài)變化較大時出現(xiàn)抖動。圖10b中散

貨船被錯誤地分類為內(nèi)河船，圖10d中部分船舶在某些時刻沒有被YOLOv3-DeepSORT算法檢測或跟蹤到，跟蹤算法刪除了跟蹤歷史軌跡信息，并重新分配跟蹤識別碼，這也導致了跟蹤識別碼的翻倍。圖10d與圖10c相比，跟蹤識別碼切換或丟失更嚴重。

實際使用時，虛擬檢測線須布置在大多數(shù)船舶都傾向或必須通過區(qū)域，結(jié)合航道背景設(shè)置檢測線與主體交通流方向接近垂直。檢測線實際效果見圖11。

利用CenterNet-DeepSORT算法實現(xiàn)了多目標跟蹤。經(jīng)過聯(lián)調(diào)發(fā)現(xiàn)，該算法具有良好的實時性，能夠有效對抗檢測抖動、船舶密集或被遮擋所導致的目標丟失，同時能夠判斷不同視頻幀中的船舶是否為同一目標，進而對船舶交通流進行更準確的統(tǒng)計。

實驗中用到的測試數(shù)據(jù)包括 2 023張圖片，共包含6 423個船舶目標。表1分別給出了基于傳統(tǒng)YOLOv3-DeepSORT算法和CenterNet-DeepSORT算法的船舶交通流統(tǒng)計結(jié)果。

由表1可知，CenterNet-DeepSORT算法在多場景檢測中比YOLOv3-DeepSORT算法更優(yōu)秀，具有更強的定位、分割、識別等能力，船舶交通流統(tǒng)計精度更高。

4 結(jié) 論

本文提出的將CenterNet和DeepSORT兩種算法與凸包算法中優(yōu)化CCW判斷的單線法相結(jié)合的船舶交通流視覺圖像統(tǒng)計方法，基于網(wǎng)絡(luò)圖片和上海黃浦江、吳淞口、港區(qū)等航拍視頻數(shù)據(jù)進行目標檢測和跟蹤實驗，結(jié)果表明： CenterNet-DeepSORT算法能夠滿足目前實際水上交通監(jiān)控場景的需要，

對多場景檢測的準確性和魯棒性均強于 YOLOv3-

DeepSORT算法。這類算法具有較強的實時性和擴展性，可用于降低海運事故發(fā)生概率，減少事故損

失。然而，該方法使用的TBD策略只是加強了目標檢測和跟蹤的準確度，并沒有完全消除復雜海況下

出現(xiàn)的漏檢、錯檢和重復計數(shù)的問題。本文采用基于目標檢測的多目標跟蹤算法能夠識別出船舶類型、識別碼和對應(yīng)船舶運動軌跡，而如何更有效地利用以上信息，進一步提高跟蹤精度有待進一步深入研究。

參考文獻：

[1]何正偉， 劉力榮， 楊帆， 等. 基于AIS 實時數(shù)據(jù)的航道交通擁堵快速判定方法[J].中國航海， 2018， 41（2）： 113-118.

[2]VESECKY J F， LAWS K E， PADUAN J D. Using HF surface wave radar and the ship automatic identification system （AIS） to monitor coastal vessels[C]∥2009 IEEE International Geoscience and Remote Sensing Symposium. IEEE，2009（3）：761-764.DOI： 10.1109/IGARSS.2009.5417876.

[3]WAWRUCH R. Tests of the accuracy of indications by ARPA and AIS of the opposite vessel true course， true speed and CPA[C]∥2018 19th International Radar Symposium （IRS）.Bonn， Germany： DGON， 2018： 1-10.DOI： 10.23919/IRS.2018.8448220.

[4]KIM H T， PARK J S， YU Y S. Ship detection using background estimation of video and AIS informations[J]. Journal of the Korea Institute of Information and Communication Engineering， 2010， 14（12）： 2636-2641.DOI： 10.6109/jkiice.2010.14.12.2636.

[5]CHEN Xinqiang， XU Xueqian， YANG Yongsheng， et al. Augmented ship tracking under occlusion conditions from maritime surveillance videos[J].IEEE Access， 2020， 8： 42884-42897.DOI： 10.1109/ACCESS.2020.2978054.

[6]ZOU Yiyang， ZHAO Lining， QIN Shanxing. Ship target detection and identification based on SSD_MobilenetV2[C]∥Information Technology and Mechatronics Engineering Conference （ITOEC）.IEEE， 2020： 1676-1680.DOI： 10.1109/ITOEC49 072.2020.9141734.

[7]LI Yang， ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]∥European Conference on Computer Vision. Springer， Cham， 2014： 254-265.DOI： 10.1007/978-3-319-16181-518.

[8]REDMON J， FARHADI A. YOLO9000： better， faster， stronger[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2017： 6517-6525.DOI： 10.1109/CVPR.2017.690.

[9]劉博， 王勝正， 趙建森， 等. 基于Darknet網(wǎng)絡(luò)和YOLOv3 算法的船舶跟蹤識別[J]. 計算機應(yīng)用， 2019， 39（6）： 1663-1668.DOI：10.11772/j.issn.1001-9081.2018102190.

[10]LAW H， DENG Jia. CornerNet： detecting objects as paired keypoints[J]. International Journal of Computer Vision， 2020， 128： 642-656.

[11]LEE C， YOO C D. Segment-wise online learning based on greedy algorithm for real-time multi-target tracking[C]∥IEEE International Conference on Image Processing. IEEE， 2015： 872-876.DOI： 10.1109/ICIP.2015.7350924.

[12]HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596. DOI： 10.1109/TPAMI.2014.2345390.

[13]WANG Yangping， YONG Jiu， ZHU Zhengping， et al. Augmented reality tracking registration based on improved KCF tracking and ORB feature detection[C]∥International Conference on Information， Communication and Networks.IEEE，2019： 230-233.DOI： 10.1109/ICICN.2019.8834947.

[14]WOJKE N， BEWLEY A， PAULUS D， et al. Simple online and real-time tracking with a deep association metric[C]∥International Conference on Image Processing. IEEE， 2017： 3645-3649.

[15]BI Xin， DU Jinsong， ZHANG Qingshi， et al.Improved multi-target radar TBD algorithm[J]. Journal of Systems Engineering and Electronics， 2015， 26（6）： 1229-1235. DOI： 10.1109/JSEE.2015.00135.

（編輯 趙勉）