徐建華，豆毅庚，鄭亞山

（北京理工大學(xué)，北京 100081）

近年來，隨著水下活動需求的豐富，水下移動平臺的控制方式也由最初的手動遙控模式逐漸轉(zhuǎn)變?yōu)樽灾饕苿幽Ｊ剑缱灾鞲櫯臄z模式。采用圖像信息跟蹤的方法在小型淺水平臺有較好的實用性。常用電磁跟蹤信號在傳播過程中會快速衰減，聲波信號則受限于平臺的體積。相比之下，采用圖像信息跟蹤的方法表現(xiàn)出更強的實用性。

目標(biāo)識別與跟蹤是視覺應(yīng)用領(lǐng)域重要的分支?；谝曈X的目標(biāo)識別方式主要包括傳統(tǒng)的機器學(xué)習(xí)算法和深度學(xué)習(xí)算法[1-4]。傳統(tǒng)方式如Haar特征與AdaBoost分類器組合而成的識別算法，對于背景簡單，目標(biāo)區(qū)域清晰，輪廓特征明顯的場景效果良好[5]。但由于水對光線的吸收、散射、漫射等作用，水下拍攝的圖像往往存在清晰度差，邊緣銳度低，整體亮度低，局部折射光照強度過高等問題。目標(biāo)的顏色強度會隨著水深不斷減弱，輪廓信息也會受到漂浮物、波紋、氣泡的影響，傳統(tǒng)的識別目標(biāo)方式會造成誤識別的情況。深度學(xué)習(xí)網(wǎng)絡(luò)方法則是通過多次卷積計算提取圖像的特征，過程中充分利用像素信息，以此來提高檢測器的性能[6]，能夠應(yīng)用于水下目標(biāo)的識別。

基于深度學(xué)習(xí)的YOLO-V3算法網(wǎng)絡(luò)將圖像分割成S×S的網(wǎng)格，不同網(wǎng)格只負責(zé)其對應(yīng)區(qū)域的物體的識別，減少重疊識別，提高檢測速度，該算法因其快速和準(zhǔn)確而近年來被廣泛使用[7,8]。本文在YOLO-V3原算法的基礎(chǔ)上使用重組成與多級融合的方法進行特征提取，使得對于水下圖像的檢測效果明顯提升。在此基礎(chǔ)上，還針對檢測結(jié)果使用基于旋轉(zhuǎn)不變性的特征跟蹤目標(biāo)[9-11]，并通過評價結(jié)果判斷是否重新進行識別，以增強算法的抗干擾能力。

1 目標(biāo)檢測

基于YOLO-V3網(wǎng)絡(luò)的檢測方法將候選框提取、特征提取、目標(biāo)分類、目標(biāo)定位統(tǒng)一于一個神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)可直接從圖像中提取候選區(qū)域，通過整幅圖像特征來預(yù)測目標(biāo)位置和置信度。

圖1 算法流程圖Fig.1 Architecture of the algorithm

1.1 重組層與多級融合

YOLO-V3網(wǎng)絡(luò)主要通過卷積和池化操作實現(xiàn)對圖像特征的提取，本文提出的目標(biāo)檢測跟蹤模型的流程圖和改進的YOLO-V3目標(biāo)檢測算法流程圖如圖1所示。通常，水下拍攝畫面模糊性較高，水下目標(biāo)的局部性特征比較明顯，為了增強YOLO-V3檢測網(wǎng)絡(luò)對于水下場景的適用性，提高網(wǎng)絡(luò)對水下目標(biāo)檢測的精確度，本文使用重組層代替?zhèn)鹘y(tǒng)的卷積和池化操作進行特征提取；此外，在網(wǎng)絡(luò)結(jié)構(gòu)中還加入多級融合的思想，使得網(wǎng)絡(luò)充分利用水下目標(biāo)的局部特征，以增加算法的魯棒性。重組層的結(jié)構(gòu)示意圖如圖2所示，其將每個通道上的2*2圖像塊中的4個像素點拆解排列成4通道的1*1圖像塊，此方法與傳統(tǒng)的池化相比，極大程度地保留了像素中的局部細節(jié)，并且實現(xiàn)了圖像特征降采樣的過程。本文還將重組層的輸出特征圖與同步進行的卷積池化的輸出特征圖進行多級融合，生成疊加后的特征圖。

圖2 重組層示意圖Fig.2 Restructuring layer diagram

1.2 損失函數(shù)

由于拍攝時的角度變化，目標(biāo)在水中旋轉(zhuǎn)等原因，同一類物體會出現(xiàn)不常見的長寬比。識別過程中，原始的YOLO-V3網(wǎng)絡(luò)的泛化能力偏弱，會出現(xiàn)識別不到目標(biāo)或錯誤識別的情況。為彌補網(wǎng)絡(luò)無法檢測物體較大角度變化的缺點，文章將網(wǎng)絡(luò)原型中長寬的損失，轉(zhuǎn)化為區(qū)域框?qū)蔷€的損失，重新定義模型的損失函數(shù)：

式中，Ci表示目標(biāo)分類，pi表示類別概率。對于待檢測區(qū)域，存在目標(biāo)的置信度設(shè)置為1；不存在目標(biāo)的區(qū)域置信度為0。訓(xùn)練時權(quán)重λcoord=λnoobj= 0.5。

1.3 網(wǎng)絡(luò)訓(xùn)練

選取泳池中于不同距離、不同角度采集人的不同泳姿圖片作為訓(xùn)練集。根據(jù)拍攝角度將訓(xùn)練集進行分類：前向(front)、側(cè)向(side)、后向(back)，并利用LabelImg工具進行標(biāo)注。訓(xùn)練集圖像共包含3類目標(biāo)共2000張；

網(wǎng)絡(luò)訓(xùn)練過程是通過不斷調(diào)整預(yù)測框，使其接近真實框的過程。在訓(xùn)練開始前，需要設(shè)定初始的候選框的大小及數(shù)量。合適的初始框不僅能加快網(wǎng)絡(luò)的訓(xùn)練過程，還能增加識別算法的準(zhǔn)確率。文章針對水下目標(biāo)的特點，引入K均值聚類的算法，生成各類目標(biāo)的最相近初始框。聚類的目標(biāo)函數(shù)：

式中，IOU表示聚類得到的結(jié)果Box［i］與真實值Box［j］之間的交并比。

2 目標(biāo)跟蹤

2.1 特征描述

常用的圖像描述特征如HOG特征、SIFT特征對旋轉(zhuǎn)后目標(biāo)等的描述都不夠準(zhǔn)確，易造成誤匹配的情況。本文設(shè)計了一種具有旋轉(zhuǎn)不變性的特征描述用于水下目標(biāo)的跟蹤，較好解決了上述問題。

如圖3所示，目標(biāo)中心點(x,y)，由中心向外擴展半徑r，以圓心水平方向為x軸，與x軸夾角θ的灰度值表示為：

其中R表示目標(biāo)區(qū)域最大半徑。

圖3 旋轉(zhuǎn)不變性特征Fig.3 Rotation invariant feature

為減小物體運動時產(chǎn)生的波紋影響，增強算法的抗干擾能力，本文采用沿半徑方向計算特征描述梯度的方法：

綜合得到旋轉(zhuǎn)不變性特征描述：

2.2 跟蹤實現(xiàn)

通過2.1節(jié)所述的特征描述方式，可以將當(dāng)前幀中的目標(biāo)表示為1×(r- 1)的梯度行向量S=［S0,S1,…Sr-1］。在獲取下一幀圖像后，以上一幀中目標(biāo)中心點為基準(zhǔn)，在目標(biāo)的原始區(qū)域2.5倍范圍內(nèi)進行目標(biāo)檢索，計算目標(biāo)的梯度行向量S與待檢區(qū)域梯度行向量S′的余弦相關(guān)性。檢索結(jié)果：

其中(x′,y′)表示待檢區(qū)域中可能是目標(biāo)中心點的坐標(biāo)。遍歷待檢區(qū)域后，Q（x',y'）極大值位置即新的一幀中目標(biāo)中心所在，記錄Qmax并更新目標(biāo)模板SQ，繼續(xù)采用相同的搜索策略以實現(xiàn)連續(xù)幀中的目標(biāo)跟蹤。

2.3 跟蹤結(jié)果評價

跟蹤過程中，對跟蹤結(jié)果準(zhǔn)確性的判斷主要包括兩個方面：相鄰幀中目標(biāo)的相似程度和移動距離。前者保證識別的準(zhǔn)確性，后者保證目標(biāo)在視頻流中的連續(xù)性。由此確定跟蹤結(jié)果評價函數(shù)：

式中，α表示相機視角，d表示目標(biāo)與相機焦點之間的距離，T表示相機分辨率，F(xiàn)表示視頻幀率，v表示物體速度，λ和μ表示權(quán)重。設(shè)定一個閾值s,當(dāng)f(Qmax)＞s，跟蹤結(jié)果準(zhǔn)確，否則重新進行目標(biāo)識別。本文中λ=μ= 0.5，閾值s取為0.7。

3 實驗及結(jié)果分析

將本文設(shè)計的算法布署到研揚科技UP Squared主板上進行驗證試驗。主板配置：CPU Intel Pentium TM N4200，4GB RAM緩存，64GB eMMC內(nèi)存；Ubuntu16.04，64位操作系統(tǒng)；AI Core深度學(xué)習(xí)網(wǎng)絡(luò)加速模塊，通過Mini-PCIe接口連接UP Squared主板；高清攝像頭，分辨率1980×1080。試驗場地為20×50 m2的泳池，運動員在泳池內(nèi)隨機運動。

圖4 水下移動平臺Fig.4 Underwater mobile platform

3.1 目標(biāo)檢測跟蹤效果評價

使用改進的YOLO-V3的目標(biāo)檢測算法以及利用具有旋轉(zhuǎn)不變特性的特征描述對水下目標(biāo)進行識別跟蹤，取得了良好的效果。效果如圖5所示，各圖中黃色框表示識別與跟蹤到的游泳運動員，改進后算法的魯棒性高。此外，為了更直觀比較本文改進YOLO-V3算法的性能，使用控制變量的對比方法，分別使用輸入圖像尺寸為608*608和416*416像素的圖片，采用YOLO-V3、YOLO-V3-tiny和改進的YOLO-V3算法進行訓(xùn)練和檢測，訓(xùn)練圖片為具有標(biāo)注的水下運動員運動圖像2000張（其中60%訓(xùn)練集，30%測試集，10%驗證集），訓(xùn)練20000個step后使用研揚科技UP Squared嵌入式主板進行檢測與評價。表1所示為使用置信度0.5進行篩選后的結(jié)果的性能指標(biāo)?？梢姡倪M的YOLO-V3的方法相比于其他方法在平均準(zhǔn)確度值（mean Average Precision，mAP）上均有提升，并且其速度可以達到15幀/秒，能夠滿足水下機器人識別跟蹤任務(wù)的需求。

圖5 改進YOLO-V3目標(biāo)檢測跟蹤效果圖Fig.5 Improved YOLO-V3 t detection and tracking result

表1 置信度0.5時各算法檢測結(jié)果Tab.1 Detection results of each algorithm at a confidence level of 0.5

由表1可知，在一定范圍內(nèi)利用重組與多級融合的方式能夠降低識別過程中的誤差率，提高算法的準(zhǔn)確性。但被替代的卷積層數(shù)較多時，雖然識別速度有所提升，提取的深度學(xué)習(xí)特征不夠明確，準(zhǔn)確性下降明顯，在實際應(yīng)用中，需要進行取舍，因此本文采用了2次重組層與多級融合的機制來修改原網(wǎng)絡(luò)結(jié)構(gòu)。

3.2 平臺跟蹤實驗

平臺跟蹤路線結(jié)果如圖6所示，‘.’狀線條表示運動員運動路徑，‘+’狀線條表示移動平臺跟蹤路徑。由圖6可以看出，運動平臺初始在運動員后方約2米，當(dāng)運動員開始以‘S’形路線運動時，移動平臺在本文所使用的檢測及跟蹤算法的驅(qū)動下能夠與運動員始終保持在2米距離內(nèi)，完成了跟蹤拍攝任務(wù)。

圖6 跟蹤結(jié)果Fig.6 Tracking result

跟蹤結(jié)果評價曲線如圖7所示，在跟蹤過程中，使用本文所提出的跟蹤結(jié)果評價方法對60米不規(guī)則運動的跟蹤結(jié)果進行評價，由圖7可得跟蹤結(jié)果評價在大多數(shù)時間都是大于閾值0.7，表現(xiàn)出了本文提出的跟蹤算法的穩(wěn)定性。當(dāng)跟蹤結(jié)果評價小于閾值0.7時，算法會自動做出調(diào)整，重新對目標(biāo)進行識別定位，以保證平臺對目標(biāo)的跟蹤效果?？傮w看來，本文提出的跟蹤算法對于運動員的不規(guī)則運動表現(xiàn)出一定的適應(yīng)能力。

圖7 跟蹤評價曲線Fig.7 Tracking evaluation curve

4 結(jié) 論

針對水中圖像成像模糊、水下物體運動多自由度的特點，本文利用深度學(xué)習(xí)方法和基于旋轉(zhuǎn)不變性的特征描述，提出了一種基于YOLO-V3算法的水下目標(biāo)識別跟蹤方法，實現(xiàn)了對水中目標(biāo)的識別、定位與跟蹤。

該方法在YOLO-V3原算法的基礎(chǔ)上使用重組成與多級融合的方法進行特征提取，其目標(biāo)檢測模型在嵌入式平臺上的檢測速度達到15幀/秒；當(dāng)置信度為0.5時，mAP值達到75.1，水下圖像的檢測效果明顯提升。

針對檢測結(jié)果使用基于旋轉(zhuǎn)不變性的特征跟蹤目標(biāo)，對跟蹤情況做出實時評判，當(dāng)跟蹤情況不佳時自適應(yīng)地調(diào)用檢測算法進行輔助，增強了算法的抗干擾能力。實驗結(jié)果表明其跟蹤評價分數(shù)穩(wěn)定在0.7以上，取得了較好的跟蹤效果。因此，該方法針對水下作業(yè)，尤其是水下運動員跟拍等任務(wù)具有較好的工程應(yīng)用價值。