李凱鵬，王云葛，邵淵，吳星笑

（象山電力實業(yè)有限公司，浙江寧波 315700）

海底電纜，簡稱海纜，主要為遠(yuǎn)距離島嶼提供電力。海上漁船拖網(wǎng)或錨泊會破壞海纜。拖網(wǎng)時，漁網(wǎng)等漁具會刺入海床，拉斷淺埋的海纜；錨泊時，錨容易將海纜鉤住，并在起錨時鉤斷海纜，甚至?xí)霈F(xiàn)船員直接下水將海纜砍斷等情況。為了保護海纜，相關(guān)部門派專門人員觀測海域情況。一般地，對于海纜監(jiān)控，將設(shè)置專門的相機來代替人工觀察。視頻監(jiān)控需要人工判斷輪船行為，沒有實現(xiàn)真正意義上的智能監(jiān)控。人工監(jiān)控存在缺陷，即在長時間的工作后，人體會非常疲勞，此時容易忽略海纜出現(xiàn)的異常情況，而且人的主觀意識也會漏掉對海面異常情況的監(jiān)控。文中采用新方法對海面進行實時監(jiān)控，該方法克服了人工監(jiān)控的缺陷，降低事故發(fā)生的概率，保障海纜安全穩(wěn)定運行。

1 相關(guān)技術(shù)

1.1 深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)是一種人工智能模型，用較深的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律[1]。在計算機視覺領(lǐng)域，最常用的深度學(xué)習(xí)模型是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）[2]。CNN 是一種基于感受野的網(wǎng)絡(luò)，由卷積層、池化層和全連接層構(gòu)成。卷積層的主要作用是提取特征。池化層的作用是保留主要特征、增大感受野、減少參數(shù)。全連接層主要對卷積層提取到的特征進行分類。

1.2 目標(biāo)檢測

目標(biāo)檢測的目的是找出畫面中所有感興趣的目標(biāo)，確定目標(biāo)的類別及其在畫面中的位置[3]。工業(yè)上常用的目標(biāo)檢測算法基本都基于深度學(xué)習(xí)技術(shù)，主要有Faster R-CNN[4]和YOLO[5]。Faster R-CNN 精度高但速度慢，而YOLO 速度快但精度低。文中需要實時監(jiān)控海面船只，因此YOLO 算法更適合。但是該項目的監(jiān)控場面巨大，輪船航速相對于整個監(jiān)控畫面顯得非常慢；Faster R-CNN 支持更高的分辨率，可防止小目標(biāo)丟失，因此也可以選擇使用Faster R-CNN。

Faster R-CNN 需要有一個強大的BackBone 負(fù)責(zé)特征提取，一般選用CNN 作為BackBone。目前在工業(yè)界最常用的CNN 是ResNet[6]、VGG[7]。ResNet 采用殘差結(jié)構(gòu)解決深度網(wǎng)絡(luò)的退化問題，并使用BottleNeck 結(jié)構(gòu)減少參數(shù)[8]。

1.3 多目標(biāo)跟蹤算法

多目標(biāo)跟蹤（Multi Object Tracking,MOT）是在一段視頻中同時跟蹤多個目標(biāo)[9]。海面上不止有一個輪船目標(biāo)，有些存在違規(guī)行為，有些正常行駛，因此需要分別對待每一個輪船目標(biāo)，并分析它們的行為，故使用多目標(biāo)跟蹤算法。

2 模型設(shè)計

2.1 檢測模型

由于監(jiān)控場景巨大，因此遠(yuǎn)處輪船在畫面中顯得格外小，這對檢測過程帶來了巨大的困難。如何檢測小目標(biāo)一直都是CNN 的研究課題。在CNN 中存在著大量下采樣，這些下采樣增大了感受野，也同時降低了圖像的分辨率，但下采樣又是必須存在的。特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network,FPN）既可以保留下采樣，又可以保留分辨率[10]。C2、C3、C4、C5 分別是ResNet50 第二、第三、第四、第五個Block的特征圖。特征圖邊框粗細(xì)表示特征表達能力的強弱。如圖1 所示，特征圖M5 由C5 得到，M4 由M5 上采樣和C4 融合得到，M3、M2 和M4 獲取方式一致。

FPN 將強表達能力、低分辨率的深層特征圖和弱表達能力、高分辨率的淺層特征圖融合成強表達能力、高分辨率的特征圖。文中項目監(jiān)控區(qū)域較大，離相機較遠(yuǎn)的輪船在成像畫面中非常小，因此在檢測模塊中加入FPN。

卷積核的目的是提取特征。普通卷積的尺寸是固定的方形尺寸（例如3×3、5×5）。同一層普通卷積核的感受野尺寸相同，但是特征圖的不同位置對應(yīng)不同尺寸或不同形狀的特征，這些特征需要自動調(diào)整尺寸和形狀的感受野。普通卷積對特征尺寸和形狀的變化適應(yīng)性差，泛化能力不強。

目前解決上述問題的方法是通過大量樣本訓(xùn)練，以提高卷積核的泛化能力。因為在該項目的實際場景下，無法獲取大量數(shù)據(jù)樣本，所以考慮使用可變形卷積網(wǎng)絡(luò)（Deformable Convolution Network,DCN）[11]。

方形卷積不是最好的形狀，因此必須使網(wǎng)絡(luò)自身學(xué)習(xí)形狀，以適應(yīng)不同的特征。實際上完成上述操作并不需要改變卷積核形狀。卷積操作本質(zhì)上是卷積采樣點作用于對應(yīng)特征圖上的像素點。DCN 為每個卷積采樣點加上一個偏移量以達到改變形狀的效果。

一個常規(guī)的3×3 卷積有9 個采樣點，其中(-1,-1)表示左下采樣點，(-1,0)表示左采樣點，依次類推。常規(guī)3×3 卷積的輸出用式（1）表示：

其中，pn∈R表示位置，w(pn) 表示pn的權(quán)重，x(p0+pn)表示pn對應(yīng)特征圖中的像素值。

如果需要改變卷積核形狀，本質(zhì)上只需要改變采樣的特征圖上的像素位置即可。

式（2）中，與x(p0+pn)相比，x(p0+pn+Δpn)表示采樣位置發(fā)生了改變，而w(pn)沒有發(fā)生改變。

最終的結(jié)果是只需采樣的像素位置發(fā)生偏移，就可以完成可變形卷積操作。

如圖2 所示，用一個額外的卷積層來學(xué)習(xí)offset。DCN 對特征圖的每個像素位置都生成一組偏移量。以3×3 卷積為例，需要生成3×3×2=18 個的offset，18表示該位置的9 個采樣點對該像素x方向和y方向的偏移量。然后將特征圖和offset 共同作為輸入，采樣點先發(fā)生偏移，再進行卷積。

DCN 可以適應(yīng)特征的形狀和尺寸，無需大量樣本，也可以很好地學(xué)習(xí)特征，這對難以獲取樣本的場景相當(dāng)友好。

2.2 跟蹤模型

目前工業(yè)界最常用的跟蹤算法是Simple Online and Realtime Tracking（SORT）[12]算法。SORT 算法由目標(biāo)檢測、卡爾曼濾波預(yù)測[13]和匈牙利算法匹配[14]三部分組成，其總體框架如圖3 所示。使用目標(biāo)檢測獲取目標(biāo)位置，使用卡爾曼濾波（Kalman filter）預(yù)測并更新目標(biāo)位置，使用匈牙利算法匹配預(yù)測位置和檢測位置。

卡爾曼濾波是一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入、輸出觀測數(shù)據(jù)，并對系統(tǒng)狀態(tài)進行最優(yōu)估計的算法?？柭鼮V波的預(yù)測過程如式（3）、（4）所示：

式（3）為狀態(tài)預(yù)測公式，-1表示t-1 時刻的物體狀態(tài)；是t-1 時刻的控制量；F為狀態(tài)轉(zhuǎn)移矩陣，表示根據(jù)t-1 時刻的狀態(tài)推測t時刻的狀態(tài)；B是控制矩陣，表示控制量如何作用于當(dāng)前狀態(tài)。是t時刻的物體狀態(tài)。式（4）表示不確定性在各個時刻的傳遞關(guān)系，Pt-1是t-1 時刻的噪聲，Q是預(yù)測模型本身的噪聲。整個過程表示對物體運動狀態(tài)的估計，并做了預(yù)測。這種預(yù)測是不準(zhǔn)確的，因此需要根據(jù)觀測到的數(shù)據(jù)對預(yù)測值進行更新。

卡爾曼濾波的更新過程如式（5）-（7）所示：

式中，Kt是卡爾曼系數(shù)；Zt是觀測值；H為觀測矩陣，表示估計值與觀測值的轉(zhuǎn)換。整個更新過程表示根據(jù)觀測值來修正預(yù)測值，使預(yù)測值更加接近實際情況。

將n個卡爾曼預(yù)測邊界框指派給n個目標(biāo)檢測邊界框，使用匈牙利算法，匈牙利算法是一種快速使總匹配度最優(yōu)的算法。由于每對邊界框匹配程度不同，而匈牙利算法可以尋找匹配最優(yōu)解。

式（8）中，Xij表示第i個檢測框和第j個預(yù)測框的匹配結(jié)果，Cij表示第i個檢測框和第j個預(yù)測框的匹配度系數(shù)矩陣。

2.3 行為分析

單應(yīng)性原理表示兩個平面之間的對應(yīng)關(guān)系，包括剛體變換、仿射變換、投影變換。剛體變換只改變物體位置，包括平移、旋轉(zhuǎn)，無法改變物體形狀。仿射變換改變物體位置和形狀，如長方形變成平行四邊形。投影變換徹底改變物體位置和形狀。文中項目監(jiān)控海面，海面上的物體在成像中的形狀發(fā)生了徹底的改變，因此使用投影變換。

式（9）中的矩陣為單應(yīng)性矩陣，有8 個未知量，需要至少求出8 個已知量，即4 組坐標(biāo)。(x＇,y＇)是海平面上的坐標(biāo)，用經(jīng)緯度表示；(x,y)是圖像平面上的坐標(biāo)。單應(yīng)性矩陣就是它們之間的變換關(guān)系，已知海平面的坐標(biāo)就可以求出圖像平面坐標(biāo)，反之亦成立。

緯度是地面上一點到地球球心的連線與赤道平面的夾角；經(jīng)度是地面上一點與兩極的連線所在平面與本初子午線所在平面的夾角。使用半正矢公式（式（10））計算1、2 兩點的圓心夾角α，利用式（11）計算兩點之間的實際距離d。

其中，N代表緯度，E代表經(jīng)度，EARTHRADIUS代表地球半徑。最后通過經(jīng)典的速度公式求取此時輪船航行的時間。根據(jù)輪船錨泊或捕撈時航速較低的特征，設(shè)置航速閾值為2 海里/時，低于2 海里/時的航速判定為輪船違規(guī)。

3 實驗

3.1 數(shù)據(jù)集

實驗所使用的數(shù)據(jù)集是使用LabelImg 軟件進行人工標(biāo)注的698 張包含輪船的圖像數(shù)據(jù)集，標(biāo)注信息使用XML 保存。整個輪船數(shù)據(jù)集的格式與COCO數(shù)據(jù)集格式保持一致。隨機抽取其中600 張圖像作為訓(xùn)練集，剩下98 張作為測試集。為了提高模型的泛化能力，通常使用數(shù)據(jù)增強和遷移學(xué)習(xí)等方法。數(shù)據(jù)增強（Data Augmentation）是一種擴充數(shù)據(jù)集的方式[15]。在訓(xùn)練過程中，每個Epoch 會隨機抽取訓(xùn)練集中50%的圖像進行水平或垂直翻轉(zhuǎn)。

3.2 檢測實驗

實驗所使用的硬件平臺是Intel Core i7-9700 CPU 和NVIDIA RTX 2080 GPU，其中GPU 提供CUDA通用并行計算架構(gòu)，極大地提高了CNN 的訓(xùn)練和推理速度。部署平臺是NVIDIA Jetson Xavier NX，ARM64 位架構(gòu)的邊緣計算設(shè)備，該設(shè)備提供高達21 TOPS 的加速計算能力。

優(yōu)化器采用SGD 加Momentum 的組合。學(xué)習(xí)率衰減方式為分段常數(shù)衰減。一共訓(xùn)練了15個Epoch，初始學(xué)習(xí)率是0.01，當(dāng)訓(xùn)練到第9個Epoch 時，學(xué)習(xí)率降為之前的1/10，即0.001。當(dāng)訓(xùn)練到第13 個Epoch時，學(xué)習(xí)率降為初始學(xué)習(xí)率的1/100，即0.000 1。

模型訓(xùn)練的batch size設(shè)置為1，由于批量太小，所以禁用Batch Normalization[16]。圖像尺寸統(tǒng)一縮放至800～1 333 pixel中的一個尺寸，即短邊最短為800 pixel，長邊最長為1 333 pixel，并保持原始寬高比不變。

遷移學(xué)習(xí)（Transfer Learning）[17-19]是將在某個領(lǐng)域中學(xué)到的知識應(yīng)用到其他相關(guān)領(lǐng)域中的技術(shù)。將在COCO 上訓(xùn)練過的參數(shù)遷移到文中模型，再從C3層開始微調(diào)參數(shù)。

普通模型記作R_50_C4，F(xiàn)PN 記作R_50_FPN，DCN 記作R_50_FPN_DCN。由于ResNet50 的C5 層特征圖太小，不適合目標(biāo)檢測任務(wù)，因此普通RCNN 一般使用C4 層的特征圖。而在FPN 中，C2-C5層的特征圖都會使用，使用控制變量法保證其他所有參數(shù)不變。

最后實驗結(jié)果如圖4 所示。以IoU=0.5∶0.95 為指標(biāo)，三個模型在第10 個Epoch 時趨于穩(wěn)定，此時可以認(rèn)為模型已經(jīng)得到充分訓(xùn)練。R_50_C4 的AP 值在0.45 左右；R_50_FPN 的AP 值在.48 左右；R_50_FPN_DCN 的AP 值在0.51 左右。可以看出，R_50_FPN_DCN 的檢測效果優(yōu)于R_50_FPN，R_50_FPN 優(yōu)于R_50_C4。在圖5 中，APsmall 是針對小目標(biāo)的評價指標(biāo)，可見R_50_FPN_DCN 的檢測效果優(yōu)于R_50_FPN，R_50_FPN 優(yōu)于R_50_C4。三個模型的最高值對比如表1 所示，由表1 可知，R_50_FPN_DCN 各方面表現(xiàn)優(yōu)異。

表1 最高值對比

3.3 測速實驗

部署到邊緣處理設(shè)備NVIDIA Jetson Xavier NX之后，解除航速閾值，此時測試海面輪船的速度。船舶自動識別系統(tǒng)（Automatic Identification System,AIS）可以顯示每艘輪船2 min 或5 min 之前，甚至30 min以前的信息。船載AIS可能出現(xiàn)損壞或被用戶直接關(guān)掉等情況，有些海域沒有被AIS 基站覆蓋，所以項目并沒有使用AIS。但是，AIS上的一些信息仍可以作為參考，正常行駛的輪船航速一般是13～17海里/時。文中系統(tǒng)測得錨泊在岸邊的輪船速度為0.08 m/s，航速基本為0；錨泊在海面上的工程船速度是0.6 m/s，這種超低航速或靜止的輪船都會嚴(yán)重威脅到海纜的安全；正常行駛輪船的航速是6.1 m/s 或7.9 m/s，與一般輪船的正常航速相符，證明了測速系統(tǒng)的準(zhǔn)確性。

4 結(jié)束語

一般情況下，輪船在有警告標(biāo)志的海纜海域低速航行或停止時，基本上都是在捕魚或錨泊，但是也存在有些輪船出現(xiàn)故障，不得已在相關(guān)海域低速漂泊或停止。針對此類情況，文中方法會將它當(dāng)成違規(guī)行為一并處理。在后續(xù)的工作中，將增加3～4 個相機，對目前相機監(jiān)控到的所有輪船進行360 度放大監(jiān)控，利用圖像識別算法識別輪船的錨和漁網(wǎng)是否存在違規(guī)行為。