丁貴鵬　 陶鋼　龐春橋　王小峰　段桂茹

摘要： 針對運算資源受限條件下難以實現(xiàn)高精度、 高幀率跟蹤的問題， 提出一種基于無錨的輕量化孿生網(wǎng)絡(luò)目標跟蹤算法. 首先使用修改的輕量級網(wǎng)絡(luò)MobileNetV3作為主干網(wǎng)絡(luò)提取特征， 在保持深度特征表達能力的同時減小網(wǎng)絡(luò)的參數(shù)量和計算量； 然后對傳統(tǒng)互相關(guān)操作， 提出圖級聯(lián)優(yōu)化的深度互相關(guān)模塊， 通過豐富特征響應(yīng)圖突出目標特征重要信息； 最后在無錨分類回歸預(yù)測網(wǎng)絡(luò)中， 采用特征共享方式減少參數(shù)量和計算量以提升跟蹤速度. 在兩個主流數(shù)據(jù)集OTB2015和VOT2018上進行對比實驗， 實驗結(jié)果表明， 該算法相比于SiamFC跟蹤器有較大的精度優(yōu)勢， 并且在復(fù)雜跟蹤場景下更具魯棒性， 同時跟蹤幀率可達175 幀/s.

關(guān)鍵詞： 目標跟蹤; 孿生網(wǎng)絡(luò); 輕量級網(wǎng)絡(luò)MobileNetV3; 互相關(guān)模塊; 無錨

中圖分類號： TP391文獻標志碼： A文章編號： 1671-5489（2023）04-0890-09

Lightweight? Siamese Network Target? Tracking AlgorithmBased on Ananchor Free

DING Guipeng1， TAO Gang1， PANG Chunqiao1， WANG Xiaofeng1， DUAN Guiru2

（1. School of Energy and Power Engineering， Nanjing University of Science and Technology， Nanjing 210094， China；2. Military Representative Office in Jilin Region， Army General Armament Department， Jilin 132000， Jilin Province， China）

Abstract： Aiming at the problem that it was difficult to achieve high-precision and high frame rate tracking under limited computing resources， we proposed a lightweight? siamese network target? tracking algorithm based on ananchor free.?? Firstly， the modified lightweight network MobileNetV3 was used as the backbone network to extract features， and reduced parameters and computation of the network ?while maintaining deep feature expression capability. Secondly， for traditional cross-correlation operation， we proposed deep cross-correlation module for graph cascading optimization， which highlighted important information of target features through rich feature response graphs. Finally， feature sharing was used? to reduce parameters and computation to improve tracking speed in the anchor classification regression prediction network. Comparative experiments were conducted on two mainstream datasets OTB2015 and VOT2018， the experimental results show that the algorithm has a significant accuracy? advantages compared to? SiamFC tracker， and is more robust in complex tracking scenes. At the same time， the tracking frame rate can reach 175 frames/s.

Keywords： target tracking; siamese network;? lightweight network MobileNetV3; cross-correlation module; anchor free

目標跟蹤在智能安防、 自動駕駛等領(lǐng)域應(yīng)用廣泛［1］. 近年來， 隨著技術(shù)理論與硬件資源的發(fā)展， 目標跟蹤在跟蹤準確性和魯棒性方面取得了巨大成功， 但由于在實際應(yīng)用場景中計算機硬件運算資源通常受限， 視覺跟蹤在跟蹤速度方面仍存在很大的局限性. 因此， 設(shè)計一種平衡速度與精度的跟蹤器具有重要意義.

目前， 目標跟蹤領(lǐng)域研究的重點大多數(shù)為如何進一步提升跟蹤準確率， 導(dǎo)致跟蹤算法使用的網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜， 需要的計算資源越來越多. 而目標跟蹤應(yīng)用場景是針對視頻序列， 速度是跟蹤的一個重要指標， 不能實現(xiàn)實時跟蹤的算法在目標跟蹤領(lǐng)域毫無意義. 因此， 本文在SiamFC［2］基礎(chǔ)上， 提出一種基于無錨的輕量級孿生網(wǎng)絡(luò)目標跟蹤算法， 以在計算資源受限環(huán)境下更好地平衡跟蹤精度與速度. 針對現(xiàn)有SiamFC網(wǎng)絡(luò)結(jié)構(gòu)， 修改輕量級網(wǎng)絡(luò)MobileNetV3［3］作為主干網(wǎng)絡(luò)， 使提取的特征更適合于跟蹤任務(wù)， 進一步調(diào)整網(wǎng)絡(luò)結(jié)構(gòu). 提出級聯(lián)優(yōu)化的深度互相關(guān)模塊， 豐富特征響應(yīng)圖， 突出目標特征重要信息， 強化對跟蹤有利的特征. 對于無錨分類回歸預(yù)測網(wǎng)絡(luò)， 采用特征共享方式減少參數(shù)量和計算量以提升跟蹤速度.

1 相關(guān)工作

目標跟蹤目前主要分為相關(guān)濾波類和深度學(xué)習類兩大分支. 相關(guān)濾波類跟蹤算法主要采用梯度直方圖特征、 顏色特征等手工特征設(shè)計跟蹤器， 算法推理時間快， 以KCF［4］和fDSST［5］等為代表. 但由于手工設(shè)計的淺層特征較簡單， 在應(yīng)對目標跟蹤過程中的復(fù)雜挑戰(zhàn)時， 穩(wěn)定性較差. 由于深度特征具有更強的表達能力， 因此深度學(xué)習類跟蹤算法在跟蹤精度方面成果顯著. 但以MDNet［6］為代表的深度網(wǎng)絡(luò)類跟蹤算法的預(yù)訓(xùn)練網(wǎng)絡(luò)異常巨大， 為提升跟蹤精度需使用大量高維特征， 導(dǎo)致跟蹤的幀率只有幾幀， 完全不能滿足實際應(yīng)用場景. 近年來， 使用深度特征的孿生網(wǎng)絡(luò)目標跟蹤算法受到廣泛關(guān)注， 其在保持對首幀框選目標精準跟蹤的同時， 還可以實現(xiàn)高速穩(wěn)定的跟蹤. 為進一步提升孿生網(wǎng)絡(luò)跟蹤算法的跟蹤性能， 基于SiamFC已相繼提出了一些更高效的改進算法， 如構(gòu)建訓(xùn)練多個孿生網(wǎng)絡(luò)分支的MBST［7］和使用ResNet50作為主干網(wǎng)絡(luò)的SiamDW［8］等.

孿生網(wǎng)絡(luò)目標跟蹤算法由兩支結(jié)構(gòu)相同權(quán)重共享的神經(jīng)網(wǎng)絡(luò)構(gòu)成， 如圖1所示. 其主要思想是將目標跟蹤任務(wù)轉(zhuǎn)化為相似性度量問題， 通過兩個相同子網(wǎng)絡(luò)分別對首幀框選的目標模板和視頻后序每一幀的搜索區(qū)域進行特征提取， 獲得模板特征向量和搜索特征向量. 然后使用相似度量函數(shù)計算兩路特征向量的相似性程度， 從而確定目標在搜索區(qū)域中出現(xiàn)的位置. 孿生網(wǎng)絡(luò)跟蹤原理的數(shù)學(xué)表達式為

f（Z，X）=φ（Z）*φ（X），（1）其中f（Z，X）表示構(gòu)造的相似性度量函數(shù)， Z是視頻序列首幀中框選的目標模板圖像， X是視頻序列每幀的搜索區(qū)域圖像， φ（·）表示兩支結(jié)構(gòu)相同權(quán)重共享的神經(jīng)網(wǎng)絡(luò)所提取的特征向量， *表示互相關(guān)運算. 則跟蹤過程為將第一幀中選定的目標模板圖像和待跟蹤搜索圖像送入孿生網(wǎng)絡(luò)中， 通過兩支結(jié)構(gòu)相同權(quán)重共享的主干網(wǎng)絡(luò)可得到兩路特征向量， 然后通過互相關(guān)運算計算相似程度. 即以模版特征向量作為卷積核對搜索特征向量進行卷積， 得到得分響應(yīng)圖， 特征相應(yīng)得分數(shù)值的大小直接反應(yīng)目標在該分數(shù)位置出現(xiàn)的概率. 分值最高的位置即待跟蹤目標在這一幀搜索圖像中的位置， 然后對特征響應(yīng)圖中得分最高的位置進行多尺度變化， 從而在原圖中確定目標邊界框.

2 算法設(shè)計

算法的整體框架如圖2所示. 首先， 使用兩支權(quán)值共享的輕量級網(wǎng)絡(luò)MobileNetV3構(gòu)建成孿生網(wǎng)絡(luò)分別提取模板圖像和搜索圖像的深度特征; 其次， 提出圖級聯(lián)優(yōu)化的深度互相關(guān)模塊替代傳統(tǒng)互相關(guān)操作， 通過豐富特征響應(yīng)圖突出目標特征重要信息; 最后， 對于圖級聯(lián)優(yōu)化深度互相關(guān)模塊輸出的特征響應(yīng)圖， 直接通過分類回歸網(wǎng)絡(luò)以無錨方式估計目標預(yù)測框在搜索圖像中的位置信息.

2.1 輕量級骨干網(wǎng)絡(luò)MobileNetV3

目前在目標跟蹤算法中使用孿生網(wǎng)絡(luò)結(jié)構(gòu)的多采用ResNet50［9］作為主干網(wǎng)絡(luò)提取特征， 可顯著提升目標跟蹤的精度， 但也會使網(wǎng)絡(luò)結(jié)構(gòu)更復(fù)雜、 增加網(wǎng)絡(luò)的計算量， 導(dǎo)致目標跟蹤算法所需的硬件設(shè)備在計算資源上要求極高. 因此， 導(dǎo)致在算力較差的設(shè)備上進行跟蹤時受到極大限制， 每幀所需的時間大幅度提升， 從而無法達到實時跟蹤的效果. 為降低網(wǎng)絡(luò)的復(fù)雜度而采用較簡單的AlexNet作為主干網(wǎng)絡(luò)提取特征， 確實能在速度上大幅度提升， 但由于AlexNet的網(wǎng)絡(luò)層數(shù)較少， 不能提取到更深層的語義信息， 算法的魯棒性較低. 所以綜合考慮算法在現(xiàn)實設(shè)備算力受限的情況下， 達到實時跟蹤以及較好的跟蹤效果， 本文進行了大量的實驗進行算法效果對比， 最終發(fā)現(xiàn)采用MobileNetV3作為主干網(wǎng)絡(luò)可在保持良好跟蹤精度的同時所需的計算量最少， 適合于算力匱乏的情況. MobileNetV3是在MobileNetV1［10］和MobileNetV2［11］上進行了優(yōu)化， 保存了MobileNetV1經(jīng)典的深度可分離卷積， 并在MobileNetV2的具有線性瓶頸的殘差結(jié)構(gòu)中引入了SE（squeeze-and-excitation）通道注意力模塊， 使網(wǎng)絡(luò)結(jié)構(gòu)更穩(wěn)定. 常用的神經(jīng)網(wǎng)絡(luò)參數(shù)量對比結(jié)果列于表1.

深度可分離卷積主要由深度卷積和點卷積兩部分構(gòu)成. 深度卷積的計算過程如圖3（A）所示， 對于輸入特征的各通道分別使用卷積核進行獨立的卷積操作， 其中每個卷積核大小為Dk×Dk×1. 點卷積過程如圖3（B）所示， 對于深度卷積輸出的深度特征再進行一次卷積操作， 即采用核為1×1的標準卷積調(diào)整特征維度從而獲得一個新的特征圖.

MobileNetV2中的倒殘差模塊， 可在保證參數(shù)量較小的同時獲得更豐富的特征信息， 但特征圖不同通道對不同目標的響應(yīng)不均衡， 可能在所有特征通道中僅有少數(shù)通道對所需關(guān)注的目標具有較高的響應(yīng)， 此時網(wǎng)絡(luò)對不同通道提取的特征賦予相同的權(quán)重會降低算法的性能. MobileNetV3為解決該問題在倒殘差結(jié)構(gòu)中引入了SE通道注意力機制， 根據(jù)特征的重要程度賦予不同的權(quán)重， 雖然增加了一部分參數(shù)量， 但對跟蹤的時間影響不明顯， 極大提高了網(wǎng)絡(luò)對目標關(guān)鍵特征的敏感度.

MobileNetV3網(wǎng)絡(luò)采用的總步長為16， 其最后的輸出特征包含更多的類別信息， 更適用于對目標類別的區(qū)分， 但對于本文的跟蹤， 網(wǎng)絡(luò)需要輸出的特征還需要包含足夠多的空間信息， 從而有利于確定待跟蹤目標的位置， 因此保留更多的空間信息極為重要. 而網(wǎng)絡(luò)總的步長會直接影響特征圖的輸出尺寸及感受野的大小， 所以為保留更多的空間特征信息， 可適當減小網(wǎng)絡(luò)步長. 如果網(wǎng)絡(luò)步長過小又會導(dǎo)致特征感受野的增大， 進而導(dǎo)致跟蹤目標的位置特征丟失明顯， 跟蹤的精度也會極大降低. 但感受野如果太小目標尺寸較大時， 會導(dǎo)致提取的特征語義不足， 使跟蹤需要更大的計算負擔， 極大降低了跟蹤效果. 大量的對比實驗表明， 在網(wǎng)絡(luò)步長為8時， 跟蹤的精度和速度等指標會更好， 所以本文最終采用的步長為8. 為保持較好的跟蹤效果以及網(wǎng)絡(luò)推理速度， 本文在MobileNetV3原網(wǎng)絡(luò)結(jié)構(gòu)上去掉了第5個stage， 并將第4個stage中最后一個卷積操作的步長改為1， 用于保留更多的深層特征信息， 將第4個stage最后一層的輸出作為最終的特征圖. 表2列出了本文在MobileNetV3基礎(chǔ)上修改后的網(wǎng)絡(luò)結(jié)構(gòu).

2.2 圖級聯(lián)優(yōu)化的深度互相關(guān)模塊

一般的孿生網(wǎng)絡(luò)［2］目標跟蹤器直接采用卷積操作代替互相關(guān)操作得到特征響應(yīng)圖. 因此， 孿生網(wǎng)絡(luò)類目標跟蹤器中互相關(guān)操作的本質(zhì)就是標準卷積： 將孿生網(wǎng)絡(luò)模板分支中獲取的特征作為卷積核， 在搜索分支的輸出特征上進行卷積， 從而得到特征響應(yīng)圖， 其中特征響應(yīng)圖每個位置即反應(yīng)該位置的相似性得分. 為簡化互相關(guān)操作， 目前主流孿生網(wǎng)絡(luò)［8，12-13］采用深度可分離卷積替代互相關(guān)操作， 與原始標準卷積操作相比， 極大減少了計算量從而提升跟蹤推理速度. 特征圖對齊對目標跟蹤非常重要， 由SiamRPN++［13］可知， 簡單使用ResNet等深層網(wǎng)絡(luò)替換AlexNet不可避免地會引入大量的填充操作， 導(dǎo)致提取的特征缺乏嚴格的平移不變性. SiamRPN++通過均勻分布的數(shù)據(jù)增強方式使目標在中心點進行偏移， 有效緩解網(wǎng)絡(luò)因為破壞了嚴格平移不變性而產(chǎn)生的影響. 因此， 對于互相關(guān)操作不存在特征對齊問題， 本文提出級聯(lián)優(yōu)化的深度互相關(guān)模塊.

級聯(lián)優(yōu)化的深度互相關(guān)模塊如圖2所示. 為保持特征響應(yīng)圖在互相關(guān)后的空間維度不變， 對深度可分離卷積DWConv增加填充Padding操作， 在搜索特征圖周圍填充大小為7填充數(shù)據(jù)0. 由于空間維度不變， DWConv操作后的特征響應(yīng)圖與搜索分支特征圖空間尺寸保持一致， 通過Concat信道級聯(lián)將DWConv操作后的特征響應(yīng)圖與搜索分支特征圖進行特征融合， 再通過1×1標準卷積Conv將融合后的特征通道數(shù)調(diào)整為與搜索分支特征圖通道數(shù)相同， 以作為下一個DWConv操作的輸入. 本文級聯(lián)優(yōu)化的深度互相關(guān)模塊可以豐富特征響應(yīng)圖， 有效突出目標特征的重要信息.

2.3 無錨分類回歸預(yù)測網(wǎng)絡(luò)

分類回歸預(yù)測網(wǎng)絡(luò)主要分為分類分支和回歸分支兩大部分. 分類分支主要用于區(qū)分圖級聯(lián)優(yōu)化的深度互相關(guān)模塊所輸出的特征響應(yīng)圖中每個位置的類別， 是目標所在的前景還是圖像背景. 而回歸分支主要用于估計圖級聯(lián)優(yōu)化的深度互相關(guān)模塊所輸出的特征響應(yīng)圖中前景目標的預(yù)測框. 即分類分支主要利用圖級聯(lián)優(yōu)化的深度互相關(guān)模塊所輸出的特征響應(yīng)圖中的豐富信息解碼得到16×16×2大小的分類特征圖. 如果分類特征圖上（w，h）所對應(yīng)搜索圖像X中的中心點（x，y）落在標簽框內(nèi)， 則分類特征圖上（w，h）即對應(yīng)目標前景， 否則為圖像背景. 因此分類特征圖中每一位置（w，h，∶）都表示一個二維向量， 即當前幀搜索圖像中對應(yīng)中心點處判定為前景背景的分數(shù). 相似地， 回歸分支將圖級聯(lián)優(yōu)化的深度互相關(guān)模塊所輸出的特征響應(yīng)圖中的位置信息解碼為16×16×4大小的回歸特征圖. 回歸特征圖中每一位置（w，h，∶）都表示一個四維向量t（w，h）=（l，t，r，b）， 即回歸特征圖上（w，h）所對應(yīng)搜索圖像X中的中心點（x，y）到標簽框上、 下、 左、 右邊界的距離. 因此， 回歸特征圖中每一位置（w，h，∶）的計算公式為l（w，h）=x-x0， t（w，h）=y-y0， r（w，h）=x1-x， b（w，h）=y1-y，（5）其中（x0，y0）和（x1，y1）分別表示標簽框的左上角和右下角坐標， （x，y）表示回歸特征圖上的點（w，h）在搜索圖像X中的中心點.

為進一步優(yōu)化分類回歸預(yù)測網(wǎng)絡(luò)， 提升跟蹤速度， 本文將分類和回歸兩個分支的特征進行共享， 用兩個分支分別進行目標前景、 背景分類和中心點到邊界距離的預(yù)測. 整體損失函數(shù)為L=λ1Lcls+λ2Lreg，（6）其中： Lcls為交叉熵損失函數(shù)［14］； Lreg為交并比（IoU）損失［15］； 常數(shù)λ1和λ2為加權(quán)超參數(shù)， 在訓(xùn)練期間λ1和λ2都設(shè)置為1.

3 實驗結(jié)果與分析

3.1 實驗環(huán)境與參數(shù)配置

本文所有實驗的實驗環(huán)境配置如下： CPU為Intel（R） Core（TM）i5-6300HQ， 主頻23 GHz， 內(nèi)存8.00 GB； GPU為NVIDIA GeForce GTX1080Ti， 顯存11 GB. 實驗使用數(shù)據(jù)集Got-10K［16］進行模型離線訓(xùn)練， 共50個訓(xùn)練階段， 每階段約10 000組圖片對， 使用MobilenetV3預(yù)訓(xùn)練模型初始化本文跟蹤算法的主干網(wǎng)絡(luò)參數(shù). 訓(xùn)練過程中動量設(shè)為0.9， 采用SGD法進行優(yōu)化， 學(xué)習率由10-2逐步衰減到10-5.

3.2 數(shù)據(jù)集OTB2015基準實驗結(jié)果

數(shù)據(jù)集OTB2015［17］是目標跟蹤領(lǐng)域的一個經(jīng)典數(shù)據(jù)集， 其包含尺度變化、 運動模糊、 遮擋等11個跟蹤挑戰(zhàn)的100組圖像序列. 數(shù)據(jù)集OTB2015使用真實邊界框中目標的位置初始化第一幀， 使用跟蹤準確率和成功率這兩個指標對跟蹤算法的性能進行量化. 準確率指在整個數(shù)據(jù)集上跟蹤算法預(yù)測的中心位置與標簽位置之間的像素誤差小于20的幀數(shù)的比例， 成功率為跟蹤算法預(yù)測框與標簽的交并比大于0.5的幀數(shù)在整個數(shù)據(jù)集上的比值. 本文采用數(shù)據(jù)集OTB2015進行消融實驗和定量定性分析， 驗證本文算法的有效性.

3.2.1 消融實驗

為驗證本文算法中各結(jié)構(gòu)組件的有效性， 在數(shù)據(jù)集OTB2015上分析各部分對跟蹤性能的影響. 消融實驗結(jié)果列于表3， 其中SiamFC為基準算法， 實驗1表示替換基準算法主干網(wǎng)絡(luò)為MobileNetV3， 實驗2表示在實驗1的基礎(chǔ)上互相關(guān)操作使用本文級聯(lián)優(yōu)化的互相關(guān)模塊， 實驗3表示在實驗2的基礎(chǔ)上使用基于無錨的分類回歸預(yù)測網(wǎng)絡(luò)代替SiamFC直接預(yù)測方式的總體算法.

由表3可見： 實驗1在替換基準算法主干網(wǎng)絡(luò)為MobileNetV3后， 準確率和成功率分別提升了5.4%和2.5%； 使用本文級聯(lián)優(yōu)化的互相關(guān)模塊的實驗2相較于實驗1準確率和成功率有1.8%和2.3%的增益; 最后在實驗2的基礎(chǔ)上使用基于無錨的分類回歸預(yù)測網(wǎng)絡(luò)代替直接預(yù)測方式的總體算法獲得最佳跟蹤效果.

3.2.2 定量分析實驗

為定量分析驗證本文算法的跟蹤性能， 與其他8種常見跟蹤算法進行對比實驗， 實驗結(jié)果如圖4所示. 由圖4可見， 本文算法的準確率和成功率分別達到0.869和0.648， 明顯優(yōu)于基準算法SiamFC， 準確率和成功率分別提升了12.6%和10.4%. 由于ResNet50的特征提取能力， SiamDWrpn算法取得了更好的跟蹤準確率和成功率， 但ResNet50作為特征提取的主干網(wǎng)絡(luò)， 其模型參數(shù)量較大， 難以在資源受限環(huán)境下實際應(yīng)用. 同時， 跟蹤速度能達到175幀/s， 運行速度得到極大提升， 在計算資源優(yōu)先的情況下極具發(fā)展?jié)摿?

3.2.3 定性分析實驗

為更直觀地展示本文算法的有效性， 在數(shù)據(jù)集OTB2015上選取4組視頻序列將跟蹤結(jié)果可視化， 從而定性分析算法性能. 這4組視頻序列的跟蹤難點包含了本文算法試圖解決的問題， 將本文算法與SiamFC，SiamRPN，SRDCF，Staple 4種性能先進的算法進行了比較， 圖5中紅色框、 綠色框、 藍色框、 青色框、 紫色框、 黃色框分別代表真實目標框、 本文算法、 SiamFC、 SiamRPN、 SRDCF、 Staple. 各算法的非紅色預(yù)測框與紅色的真實目標框重疊反映了各算法的跟蹤性能， 重疊度越高表明效果越好.

由圖5（A）可見， 待跟蹤目標為機械臂夾取的開發(fā)板， 在視頻中機械臂快速移動目標物開發(fā)板， 并頻繁與其他物體互相遮擋. 由可視化結(jié)果可見， 在第269幀時由于目標物在快速運動， 且背景圖像中出現(xiàn)相似物移動過程中與目標相似背景， 青色框的SiamRPN跟蹤器率先出現(xiàn)漂移， 丟失目標. Staple跟蹤器的黃色框變大重疊率變小， 只有本文算法和SiamFC緊湊地跟蹤目標. 從269～512幀時， 隨著目標發(fā)生平面內(nèi)旋轉(zhuǎn)并伴隨尺度變化， 紫色框的SRDCF跟蹤器越來越小， 無法有效跟蹤目標， SiamFC跟蹤器的重疊率也開始變小， 本文算法與標簽框仍保持較高的重疊率. 從512～594幀時， 由于目標在圖像內(nèi)快速運動同時進行高速旋轉(zhuǎn)， 導(dǎo)致目標外觀快速變化， SRDCF也徹底跟丟， SiamFC跟蹤器出現(xiàn)跟蹤漂移， 本文算法始終保持對目標較穩(wěn)定的跟蹤.

由圖5（B）可見， 待跟蹤目標跳水運動員在跳水過程中快速旋轉(zhuǎn)并發(fā)生姿態(tài)變形. 由于目標的快速旋轉(zhuǎn)， 在第86幀時， SiamFC，SiamRPN，Staple相繼跟丟目標， 隨著目標的進一步運動與姿態(tài)形變， 在第145幀時僅有SRDCF和本文算法能對目標保持有效跟蹤， 從145～212幀， 待跟蹤目標運動員進一步發(fā)生形狀變化， SRDCF的紫色框與紅色真實標簽框之間的重疊率開始變小， 在第212幀時， SRDCF對目標的跟蹤已經(jīng)不十分準確， 只有本文算法一直保持對目標的緊湊穩(wěn)定跟蹤.

由圖5（C）可見， 待跟蹤目標李小龍男孩在與小怪獸戰(zhàn)斗過程中， 由于快速運動導(dǎo)致目標的空間尺寸大小變化也非常頻繁， 且存在旋轉(zhuǎn)和運動模糊. 從初始幀到第33幀時， 目標發(fā)生了旋轉(zhuǎn)， 此時SiamFC和SiamRPN的預(yù)測框率先發(fā)生漂移， 且SiamFC跟蹤器徹底丟失目標， 而SiamRPN跟蹤器對于目標的定位已經(jīng)十分不準確， 在接下來的視頻序列里， 目標發(fā)生了快速移動， 運動到第44幀時， 僅有本文算法能夠定位目標， 其他算法全部跟丟； 從44～82幀過程中， 目標存在運動模糊、 旋轉(zhuǎn)等跟蹤挑戰(zhàn)， 本文算法在該過程中是唯一實現(xiàn)穩(wěn)定且緊湊跟蹤目標的算法. 與對比算法相比， 本文算法可以更好應(yīng)對由快速運動導(dǎo)致目標的空間尺寸大小變化頻繁問題.

由圖5（D）可見，? 待跟蹤球員由于手持獎杯， 在慶祝過程中不僅存在運動模糊還存在獎杯頻繁遮擋的目標挑戰(zhàn)， 而且在視頻序列中還存在大量相似背景以及鏡頭運動導(dǎo)致目標角度發(fā)生變化. 從第70～94幀， 目標快速運動出現(xiàn)模糊和獎杯遮擋， 本文算法的綠色框在此過程中一直保持較高的重疊率， 緊湊地跟蹤目標， 展現(xiàn)出跟蹤性能的穩(wěn)定. 而SiamFC和SiamRPN相繼丟失跟蹤目標. 在接下來的視頻序列中， 由于鏡頭的移動以及相似物的干擾， 黃色框Staple跟蹤器徹底丟失目標， 所有跟蹤算法都丟失目標. SiamFC和SiamRPN找回目標但重疊率較低. 到326幀時， 只有本文算法和SiamFC可以保持對目標的跟蹤. 相對而言， 本文算法與真實邊界框的重疊率更高、 跟蹤效果更好.

3.3 數(shù)據(jù)集VOT2018實驗分析

數(shù)據(jù)集VOT2018包含60組視頻序列， 具有多種挑戰(zhàn)， 是當前單目標跟蹤算法性能分析的主流測試數(shù)據(jù)集. 評價指標采用期望重疊率（EAO）、 準確性（A）和魯棒性（R）， 其中準確性和期望重疊率數(shù)值越高且魯棒性數(shù)值越低表示算法性能越好. 本文引入了ECO，SiamFC，SiamRPN，fDSST，Staple，DSiam，CCOT，SRDCF，CFNet等具有代表性的常見單目標跟蹤算法， 進行跟蹤性能對比. 在相同的硬件平臺上使用數(shù)據(jù)集VOT2018進行對比分析. 各算法的跟蹤性能量化指標列于表4.

由表4可見， 與基準算法SiamFC相比， 本文提出的跟蹤算法具有較高的跟蹤準確性A（0.590）、 良好的魯棒性R（0.316）， 并且與對比算法相比獲得了最優(yōu)的期望重疊率EAO（0.393）. 本文算法相比于SiamFC基準算法不僅有效改善了跟蹤準確性， 而且還可以以高達175幀/s的跟蹤速度穩(wěn)定跟蹤. 同時， 相比于SiamRPN基準算法期望重疊率提高了2.3%. 因此， 本文算法能更好地平衡跟蹤精度與速度， 具有更大的應(yīng)用空間.

綜上所述， 為更好地平衡跟蹤速度與精度， 在SiamFC基準算法基礎(chǔ)上本文提出了一種基于無錨的輕量化孿生網(wǎng)絡(luò)目標跟蹤算法. 先使用修改的MobileNetV3作為主干網(wǎng)絡(luò)提取特征， 然后針對互相關(guān)操作提出一種圖級聯(lián)優(yōu)化的深度互相關(guān)模塊獲取特征響應(yīng)圖， 最后通過分類回歸網(wǎng)絡(luò)以無錨的方式對特征響應(yīng)圖預(yù)測目標邊界框. 本文算法在數(shù)據(jù)集OTB2015和VOT2018上相比于基準算法SiamFC取得了更好的速度與精度率. 實驗結(jié)果表明， 本文算法在保持良好跟蹤性能的同時大幅度提升了跟蹤速度， 有效解決了速度和精度的平衡問題， 在計算資源受限環(huán)境下具有一定的應(yīng)用價值.

參考文獻

［1］李璽， 查宇飛， 張?zhí)熘?等. 深度學(xué)習的目標跟蹤算法綜述 ［J］. 中國圖象圖形學(xué)報， 2019， 24（12）： 2057-2080. （LI X， CHA Y F， ZHANG T Z， et al. Overview of Deep Learning Target Tracking Algorithms ［J］. Chinese Journal of Image and Graphics， 2019， 24（12）： 2057-2080.）

［2］BERTINETTO L， VALMADRE J， HENRIQUES J F， et al. Fully-Convolutional Siamese Networks for Object Tracking ［C］//European Conference on Computer Vision. Berlin： Springer， 2016： 850-865.

［3］HOWARD A， SANDLER M， CHU G， et al. Searching for Mobilenetv3 ［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE， 2019： 1314-1324.

［4］HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-Speed Tracking with Kernelized Correlation Filters ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（3）： 583-596.

［5］MARTIN D， GUSTAV H， FAHAD S K， et al. Discriminative Scale Space Tracking ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（8）： 1561-1575.

［6］NAM H， HAN B. Learning Multi-domain Convolutional Neural Networks for Visual Tracking ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 4293-4302.

［7］LI Z X， BILODEAU G A， BOUACHIR W. Multi-branch Siamese Networks with Online Selection for Object Tracking ［C］//International Symposium on Visual Computing. Berlin： Springer， 2018： 309-319.

［8］ZHANG Z P， PENG H W. Deeper and Wider Siamese Networks for Real-Time Visual Tracking ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2019： 4591-4600.

［9］HE K M， ZHANG X Y， REN S Q， et al. Deep Residual Learning for Image Recognition ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 770-778.

［10］HOWARD A G， ZHU M L， CHEN B， et al. Mobilenets： Efficient Convolutional Neural Networks for Mobile Vision Applications ［EB/OL］. （2017-04-17）［2022-01-10］. https：//arxiv.org/abs1704.04861.

［11］SANDLER M， HOWARD A， ZHU M L， et al. Mobilenetv2： Inverted Residuals and Linear Bottlenecks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 4510-4520.

［12］XU Y D， WANG Z Y， LI Z X， et al. Siamfc++： Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12549-12556.

［13］LI B， WU W， WANG Q， et al. Siamrpn++： Evolution of Siamese Visual Tracking with Very Deep Networks ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2019： 4282-4291.

［14］HU K， ZHANG Z Z， NIU X R， et al. Retinal Vessel Segmentation of Color Fundus Images Using Multiscale Convolutional Neural Network with an Improved Cross-Entropy Loss Function ［J］. Neurocomputing， 2018， 309： 179-191.

［15］YU J H， JIANG Y N， WANG Z Y， et al. Unitbox： An Advanced Object Detection Network ［C］//Proceedings of the 24th ACM International Conference on Multimedia. New York： ACM， 2016： 516-520.

［16］HUANG L H， ZHAO X， HUANG K Q. Got-10k： A Large High-Diversity Benchmark for Generic Object Tracking in the Wild ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 43（5）： 1562-1577.

［17］WU Y， LIM J W， YANG M H. Object Tracking Benchmark ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（9）： 1834-1848.

（責任編輯： 韓 嘯）

收稿日期： 2022-08-07.

第一作者簡介： 丁貴鵬（1982—）， 男， 漢族， 博士研究生， 從事視覺觀瞄系統(tǒng)設(shè)計的研究， E-mail： dingguipeng@163.com. 通信作者簡介： 陶 鋼（1962—）， 男， 漢族， 研究員， 從事火炮設(shè)計與研發(fā)的研究， E-mail： taogang@njust.edu.cn.

基金項目： 國家自然科學(xué)基金天文聯(lián)合基金項目（批準號： U1731240）.