陶祥明

（北方工業(yè)大學(xué)電氣與控制工程學(xué)院，北京 100144）

0 引言

單目標(biāo)跟蹤任務(wù)是根據(jù)第一幀跟蹤目標(biāo)位置信息，確定初始化跟蹤框，再通過(guò)跟蹤網(wǎng)絡(luò)，將第一幀作為模板區(qū)域，后續(xù)幀作為搜索區(qū)域，搜索目標(biāo)位置，返回目標(biāo)邊界框信息，進(jìn)行目標(biāo)跟蹤。

從發(fā)展階段看，視覺(jué)跟蹤算法可分為傳統(tǒng)視覺(jué)跟蹤算法、基于相關(guān)濾波的視覺(jué)跟蹤算法和基于機(jī)器學(xué)習(xí)的視覺(jué)跟蹤算法3 個(gè)階段。最初的傳統(tǒng)視覺(jué)跟蹤算法是人為在第一幀中找出跟蹤目標(biāo)特征，在后續(xù)幀中根據(jù)人為選擇的特征確定目標(biāo)位置和邊界框信息。

基于相關(guān)濾波的視覺(jué)跟蹤算法，源于信號(hào)處理相關(guān)操作，使用濾波器在第一幀中提取目標(biāo)信息，通過(guò)快速傅立葉變換完成濾波器訓(xùn)練，利用濾波器完成目標(biāo)區(qū)域和搜索區(qū)域相關(guān)操作的響應(yīng)值計(jì)算，將最大輸出響應(yīng)位置作為目標(biāo)位置預(yù)測(cè)。

MOSSE［1］算法是第一個(gè)采用相關(guān)濾波的跟蹤算法，運(yùn)行速度較同期算法優(yōu)勢(shì)明顯。CSK 算法［2］發(fā)現(xiàn)樣本集具有循環(huán)矩陣的結(jié)構(gòu)特征并引入了核的概念，KCF 算法［3］用方向梯度直方圖代替灰度特征，CN 算法［4］拓展了多通道顏色特征，這類(lèi)算法通過(guò)改變特征提取方式，提高跟蹤準(zhǔn)確性。DSST 算法［5］在KCF 的基礎(chǔ)上，引入多特征融合并通過(guò)尺度變化濾波器找到候選區(qū)域，再通過(guò)濾波器確定目標(biāo)中心位置，找到最佳匹配尺度。

這類(lèi)基于相關(guān)濾波的算法運(yùn)行速度快，且在不斷優(yōu)化特征提取方式后，跟蹤準(zhǔn)確性得到一定提升，但當(dāng)目標(biāo)出現(xiàn)連續(xù)形態(tài)變化時(shí)，由于算法每幀都會(huì)更新濾波器，導(dǎo)致算法易受到背景干擾，影響跟蹤效果。

隨著人工智能特別是機(jī)器學(xué)習(xí)的發(fā)展，單目標(biāo)跟蹤算法也進(jìn)行了更新和迭代?；跈C(jī)器學(xué)習(xí)的視覺(jué)跟蹤網(wǎng)絡(luò)，在完成離線訓(xùn)練后，跟蹤過(guò)程中需要對(duì)模型參數(shù)進(jìn)行在線微調(diào)，對(duì)設(shè)備計(jì)算能力要求較高，因而無(wú)法實(shí)時(shí)跟蹤。

SINT［6］和Siam FC［7］提出的孿生網(wǎng)絡(luò)，將視頻第一幀和后續(xù)幀同時(shí)進(jìn)入共享結(jié)構(gòu)和權(quán)值的子網(wǎng)絡(luò)，進(jìn)行匹配得出特征圖，完成目標(biāo)邊界框預(yù)測(cè)?；诤?jiǎn)潔的孿生網(wǎng)絡(luò)結(jié)構(gòu)，在保持跟蹤精度和成功率的同時(shí)，使得跟蹤算法在速度上，相較于需在線微調(diào)參數(shù)的其他基于機(jī)器學(xué)習(xí)的跟蹤算法優(yōu)勢(shì)明顯。

后續(xù)Siam RPN［8］和Siam RPN++［9］等基于錨點(diǎn)的孿生網(wǎng)絡(luò)算法［10］，由孿生網(wǎng)絡(luò)和候選區(qū)域生成網(wǎng)絡(luò)兩部分構(gòu)成。孿生網(wǎng)絡(luò)模塊負(fù)責(zé)提取特征信息，候選區(qū)域生成網(wǎng)絡(luò)用于生成可能的目標(biāo)區(qū)域，兩條支路將相關(guān)操作后的結(jié)果分別用于分類(lèi)和回歸操作。候選區(qū)域生成網(wǎng)絡(luò)將特征圖上的各點(diǎn)當(dāng)作錨點(diǎn)，選取錨點(diǎn)周?chē)鄠€(gè)尺度不同的錨框進(jìn)行檢測(cè)，查看后續(xù)幀是否存在目標(biāo)以及完成對(duì)于目標(biāo)邊界框信息的回歸。

基于錨點(diǎn)的孿生網(wǎng)絡(luò)算法在訓(xùn)練模型之前，需要對(duì)錨框尺寸和長(zhǎng)寬比進(jìn)行超參數(shù)設(shè)計(jì)。這類(lèi)參數(shù)需要根據(jù)實(shí)際情況進(jìn)行針對(duì)性選擇，泛化能力較差。同時(shí)，為了盡可能地回歸準(zhǔn)確的目標(biāo)邊界框信息，需要預(yù)設(shè)多種尺寸的錨框進(jìn)行匹配，增加了網(wǎng)絡(luò)訓(xùn)練和跟蹤復(fù)雜度，會(huì)造成大量負(fù)樣本，從而導(dǎo)致正負(fù)樣本不匹配問(wèn)題。

為了改進(jìn)基于錨點(diǎn)的孿生網(wǎng)絡(luò)跟蹤算法的不足，本文在基于錨點(diǎn)的孿生網(wǎng)絡(luò)跟蹤算法基礎(chǔ)上，參考Siam CAR［11］、Siam BAN［12］、Siam FC++［13］和Ocean［14-15］等提出基于無(wú)錨點(diǎn)的改進(jìn)模型［16］。在回歸方式上，不依賴(lài)于候選區(qū)域生成網(wǎng)絡(luò)提前生成的不同尺寸候選區(qū)域，而是直接將經(jīng)過(guò)特征提取網(wǎng)絡(luò)和匹配網(wǎng)絡(luò)得到的特征圖，進(jìn)入?yún)^(qū)分前景和背景的分類(lèi)分支、中心點(diǎn)位置和邊框位置的回歸分支。

Siam FC 和Siam RPN++等基于孿生網(wǎng)絡(luò)的跟蹤算法，通過(guò)將模板圖像和搜索圖像進(jìn)行相關(guān)操作以提取特征，形成特征圖后，再進(jìn)行分類(lèi)和回歸計(jì)算。Siam FC 提出的基礎(chǔ)相關(guān)操作，是用模板特征與搜索特征進(jìn)行卷積，得到通道為1 的特征圖，Siam RPN++等網(wǎng)絡(luò)在此基礎(chǔ)上，使用多通道的相關(guān)操作方法，得到多通道的特征圖。本文在此基礎(chǔ)上，參考HiFT［17］和DSA［18］等網(wǎng)絡(luò)［19-23］，將注意力機(jī)制［24］與傳統(tǒng)相關(guān)操作相結(jié)合，進(jìn)行特征匹配，增加網(wǎng)絡(luò)各層次之間的聯(lián)系，更好地兼顧全局的特征信息。

基于無(wú)錨點(diǎn)分支和注意力機(jī)制的變換網(wǎng)絡(luò)方法的引入，使得本文提出的基于孿生網(wǎng)絡(luò)的單目標(biāo)跟蹤算法在常見(jiàn)目標(biāo)跟蹤測(cè)試數(shù)據(jù)集上，相較于未采用該方法的孿生網(wǎng)絡(luò)，在成功率和精度上具有一定優(yōu)勢(shì)。

1 基于注意力和無(wú)錨點(diǎn)的孿生網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

基于錨點(diǎn)的孿生網(wǎng)絡(luò)雖然在成功率上表現(xiàn)良好，但是對(duì)于物體形態(tài)發(fā)生較大幅度改變，或本身的邊界框與預(yù)先設(shè)定的錨框比例差距較大時(shí)，網(wǎng)絡(luò)的跟蹤精度不高。算法對(duì)于錨框尺寸、比例和數(shù)目也有很強(qiáng)的依賴(lài)性，訓(xùn)練和測(cè)試過(guò)程都需要對(duì)超參數(shù)進(jìn)行細(xì)致的調(diào)節(jié)，使得其泛化能力不強(qiáng)。同時(shí)，為了較好地完成目標(biāo)預(yù)測(cè)，需要使用大量的錨框進(jìn)行檢測(cè)，導(dǎo)致負(fù)樣本與正樣本數(shù)量不均衡，影響訓(xùn)練和測(cè)試結(jié)果，也增加了網(wǎng)絡(luò)復(fù)雜程度，影響運(yùn)行效率。

傳統(tǒng)的孿生網(wǎng)絡(luò)跟蹤算法，通常只使用相關(guān)操作擬合特征，并根據(jù)生成的特征圖完成跟蹤任務(wù)。相關(guān)實(shí)驗(yàn)表明，這類(lèi)跟蹤網(wǎng)絡(luò)往往無(wú)法關(guān)注到全局狀態(tài)。

為了改進(jìn)上述基于孿生網(wǎng)絡(luò)視覺(jué)跟蹤算法的不足，本文提出了基于注意力和無(wú)錨點(diǎn)的孿生網(wǎng)絡(luò)，模型可分為特征提取網(wǎng)絡(luò)、特征匹配相關(guān)和分類(lèi)回歸3 個(gè)部分，如圖1所示。

Fig.1 Attention and anchor-free siamese network圖1 基于注意力和無(wú)錨點(diǎn)的孿生網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)部分，采用共享權(quán)重和結(jié)構(gòu)的ResNet 50［25］構(gòu)成的孿生網(wǎng)絡(luò)。相較于同樣采用無(wú)錨點(diǎn)設(shè)計(jì)的Siam FC++的特征提取網(wǎng)絡(luò)，其提取能力更高。主要使用后3 層的卷積層對(duì)模板區(qū)域和搜索區(qū)域進(jìn)行特征提取，模板區(qū)域和后續(xù)幀的搜索區(qū)域圖像大小分別設(shè)置為127 x 127和255 x 255，均為3通道的彩色圖像。

模板區(qū)域和搜索區(qū)域分別通過(guò)孿生網(wǎng)絡(luò)生成對(duì)應(yīng)的特征圖，由于跟蹤任務(wù)每幀之間物體運(yùn)動(dòng)尺度變化往往不大，因此需要將特征提取的卷積神經(jīng)網(wǎng)絡(luò)的步長(zhǎng)進(jìn)行調(diào)整，將最后2 層中的步長(zhǎng)改為1，避免由于過(guò)大的步長(zhǎng)，無(wú)法關(guān)注到物體細(xì)小的移動(dòng)或形態(tài)變化。參照Siam RPN++網(wǎng)絡(luò)，將原始ResNet 50 網(wǎng)絡(luò)中的卷積方式改為空洞卷積，在減少步長(zhǎng)的同時(shí)保留較大的感受野。

1.2 基于注意力機(jī)制的特征融合網(wǎng)絡(luò)

特征匹配相關(guān)部分，分別選擇修改后ResNet 50 網(wǎng)絡(luò)的第3、4 和5 層卷積層作為特征層，使用1 x 1 卷積將他們的通道數(shù)調(diào)整至192。將3 個(gè)特征層的模板分支和搜索分支分別進(jìn)行3 次通道維度上的相關(guān)操作，不同于Siam CAR和Siam BAN 直接將3 組特征圖進(jìn)行融合，也區(qū)別于Ocean和TransT 只使用注意力機(jī)制作為圖像匹配方式，本文將3組分別相關(guān)操作后的特征圖，作為輸入送入基于注意力機(jī)制的視覺(jué)變換網(wǎng)絡(luò)模塊，提高網(wǎng)絡(luò)對(duì)于全局范圍的搜索能力，可以兼顧相關(guān)操作和注意力機(jī)制對(duì)于特征匹配的優(yōu)勢(shì)，提高網(wǎng)絡(luò)在復(fù)雜場(chǎng)景中跟蹤的成功率和準(zhǔn)確性，如式（1）所示。

基于注意力機(jī)制的視覺(jué)變換方法主要參考了HiFT 算法，網(wǎng)絡(luò)包含高分辨率特征圖編碼和低分辨率特征圖解碼兩部分操作，參考視覺(jué)變換的網(wǎng)絡(luò)設(shè)計(jì)［24］，編碼部分將第3 層和第4 層特征圖增加位置編碼，將兩者相加后，再經(jīng)過(guò)歸一化操作與第3 層一起，作為多頭注意力機(jī)制的輸入層。將帶有位置編碼的第3 層與多頭注意力機(jī)制后的內(nèi)容相加，再與帶有位置編碼信息的第4 層進(jìn)行拼接、神經(jīng)網(wǎng)絡(luò)和全局池化等操作。將此結(jié)構(gòu)重復(fù)6 次，完成對(duì)高分辨率特征圖的編碼過(guò)程。

解碼部分與標(biāo)準(zhǔn)的視覺(jué)變換網(wǎng)絡(luò)類(lèi)似，使用第5 層卷積后得到的特征圖作為解碼部分的輸入，與來(lái)自低分辨率的特征信息共同作為多頭注意力機(jī)制的輸入層，再經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)和相加的殘差結(jié)構(gòu)，最終得到融合高分辨率和低分辨率特征圖的特征信息完成輸出，如圖2所示。

Fig.2 Feature encoder and decoder network圖2 特征編碼和解碼網(wǎng)絡(luò)

1.3 基于無(wú)錨點(diǎn)的邊界框回歸網(wǎng)絡(luò)

分類(lèi)回歸部分，分別將相關(guān)和變換操作后的特征圖，連接4 層可訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征增強(qiáng)，再連接分類(lèi)、中心點(diǎn)估計(jì)和回歸3 個(gè)分支完成網(wǎng)絡(luò)對(duì)于目標(biāo)前景背景、中心點(diǎn)位置和距離中心點(diǎn)4 個(gè)邊界框的預(yù)測(cè)任務(wù)。模型損失函數(shù)由分類(lèi)損失、中心點(diǎn)置信度損失和邊界框重合度損失組成，如式（2）所示。其中，Lcls表示分類(lèi)損失，Lcen表示中心點(diǎn)置信度損失，Lreg表示邊界框重合度損失。3 種損失函數(shù)可根據(jù)情況按照不同的權(quán)重進(jìn)行加權(quán)求和，本文采用的比例是1∶1∶3。

區(qū)分前景和背景部分的損失函數(shù)采用二分類(lèi)的交叉熵?fù)p失，區(qū)別于Ocean 和Siam BAN 損失函數(shù)只包含分類(lèi)和回歸的分支，該算法參考目標(biāo)檢測(cè)中FCOS 模型的中心置信度損失，通過(guò)中心點(diǎn)距離4 個(gè)邊界框上下和左右的最大值和最小值反映出所選位置是否接近目標(biāo)的中心位置，如式（3）所示。其中，l*、r*、t*和b*表示特征距離左、右、上、下的距離，使模型可更多關(guān)注中心位置接近真實(shí)中心的邊界框，對(duì)于遠(yuǎn)離中心位置的邊界框作出一定懲罰，使得最終預(yù)測(cè)結(jié)果盡可能接近真實(shí)情況。

邊界框回歸損失則是將預(yù)測(cè)的偏差坐標(biāo)轉(zhuǎn)換成預(yù)測(cè)框，比較預(yù)測(cè)框和真實(shí)框的重合度，通過(guò)式（4）計(jì)算損失值，具有一定的非線性。在訓(xùn)練過(guò)程中，隨著損失函數(shù)值的降低，使得預(yù)測(cè)框逐漸接近目標(biāo)的真實(shí)框。

網(wǎng)絡(luò)訓(xùn)練過(guò)程如下：首先載入視頻，根據(jù)第一幀確定要跟蹤的目標(biāo)區(qū)域，將模版分支輸入到特征提取網(wǎng)絡(luò)，將ResNet 50 第3、4 和5 層融合結(jié)果作為輸出，搜索模版同樣進(jìn)入共享權(quán)重和結(jié)構(gòu)的特征提取網(wǎng)絡(luò)。將搜索分支和模版分支的輸出結(jié)果進(jìn)行特征匹配操作，得到用于進(jìn)入分類(lèi)回歸部分的特征圖，再通過(guò)分類(lèi)、中心置信度和邊界回歸分支計(jì)算損失值，通過(guò)梯度下降方式，不斷修改網(wǎng)絡(luò)權(quán)重，逐漸擬合模型并完成訓(xùn)練。

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境及算法參數(shù)配置

對(duì)基于無(wú)錨點(diǎn)和注意力的孿生視覺(jué)跟蹤網(wǎng)絡(luò)進(jìn)行相關(guān)實(shí)驗(yàn)，在如表1所示硬件和軟件開(kāi)發(fā)環(huán)境下進(jìn)行。

Table 1 Experimental hardware and software environment表1 實(shí)驗(yàn)硬件及軟件環(huán)境

本文算法搭建的網(wǎng)絡(luò)在目標(biāo)跟蹤數(shù)據(jù)集ILSVRC VID、ILSVRC DET、COCO、YOUTUBEBB、LaSOT 和GOT-10k 上進(jìn)行訓(xùn)練。使用PySOT 工具箱，對(duì)數(shù)據(jù)集進(jìn)行裁剪和預(yù)處理。

訓(xùn)練過(guò)程中，每輪選擇600 000 個(gè)視頻幀進(jìn)行訓(xùn)練，批處理大小設(shè)置為32，初始學(xué)習(xí)率為0.005，結(jié)束學(xué)習(xí)率為0.000 5，前5 輪為預(yù)熱訓(xùn)練，初始學(xué)習(xí)率為0.001，結(jié)束學(xué)習(xí)率為0.005，總共進(jìn)行20 輪次的迭代訓(xùn)練。訓(xùn)練開(kāi)始時(shí)，凍結(jié)特征提取網(wǎng)絡(luò)ResNet 50 的模型參數(shù)，10 輪后解凍特征提取網(wǎng)絡(luò)的第2、3和4層參與訓(xùn)練。

2.2 實(shí)驗(yàn)結(jié)果分析

為檢測(cè)基于無(wú)錨點(diǎn)和注意力的孿生視覺(jué)跟蹤網(wǎng)絡(luò)的有效性，選擇OTB100、VOT2019、UAV123 和GOT-10K 等目標(biāo)跟蹤測(cè)試數(shù)據(jù)集進(jìn)行單目標(biāo)跟蹤測(cè)試。

2.2.1 定性分析

在OTB100 數(shù)據(jù)集上，圖3 展示了本文算法與Siam FC、Siam RPN 和Siam FC++算法的部分跟蹤情況（藍(lán)色—Siam FC++；綠色—Siam RPN；黑色—Siam FC；紅色—Ours，彩圖掃OSID 碼可見(jiàn)）。

在Basketball 場(chǎng)景中，當(dāng)目標(biāo)出現(xiàn)遮擋和背景存在干擾情況時(shí)，其余3 個(gè)算法均出現(xiàn)了丟失目標(biāo)或跟錯(cuò)目標(biāo)的情況。本文算法可以比較準(zhǔn)確地預(yù)測(cè)目標(biāo)的邊界框信息，表明在復(fù)雜場(chǎng)景下，其相較于其他算法魯棒性更好。

在BlurOwl 場(chǎng)景下，鏡頭出現(xiàn)劇烈和快速晃動(dòng)，模擬當(dāng)目標(biāo)出現(xiàn)快速移動(dòng)和運(yùn)動(dòng)模糊的情況，Siam FC++和Siam RPN 算法出現(xiàn)了丟失目標(biāo)的狀況，可見(jiàn)本文算法在目標(biāo)出現(xiàn)快速位置變化時(shí)，跟蹤的魯棒性體現(xiàn)較好。

在Bolt2 場(chǎng)景中，當(dāng)目標(biāo)出現(xiàn)快速移動(dòng)和與背景出現(xiàn)重疊和遮擋時(shí)，其余3 個(gè)算法出現(xiàn)了丟失目標(biāo)和跟錯(cuò)目標(biāo)的情況，可見(jiàn)本文算法在復(fù)雜背景中跟蹤成功率和準(zhǔn)確性表現(xiàn)較好。

2.2.2 定量分析

在OTB100 和UAV123 數(shù)據(jù)集上，使用精確度Precision和成功率Success 作為網(wǎng)絡(luò)跟蹤能力評(píng)價(jià)指標(biāo)。其中，精確度Precision 根據(jù)預(yù)測(cè)目標(biāo)邊界框的中心點(diǎn)和真實(shí)目標(biāo)中心點(diǎn)的距離賦予不同的閾值；成功率Success 可反映預(yù)測(cè)目標(biāo)邊界框與真實(shí)目標(biāo)邊界框的重合程度，通過(guò)交并比得到成功率曲線；AUC 表示該成功率曲線面積，數(shù)值越大說(shuō)明算法跟蹤成功率越好。

在OTB100 數(shù)據(jù)集上，相較其他基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法Siam FC、Siam RPN、DaSiam RPN 和Siam FC++（AlexNet）在AUC 上有一定提升，其中相較于Siam FC 有9.1%的提升，而對(duì)比同樣使用無(wú)錨點(diǎn)網(wǎng)絡(luò)的Siam FC++（AlexNet）也有1.7%的提升，如表2所示。

在GOT-10k 數(shù)據(jù)集上，采用平均重合度AO 和成功率SR 作為網(wǎng)絡(luò)跟蹤能力評(píng)價(jià)指標(biāo)。其中，AO 體現(xiàn)預(yù)測(cè)目標(biāo)邊界框和真實(shí)目標(biāo)邊界框的一致程度，SR 指在一定AO 閾值下成功跟蹤的準(zhǔn)確度，選用0.5 和0.75 兩個(gè)閾值進(jìn)行評(píng)價(jià)。

Table 2 Experimental results of the proposed algorithm and other algorithms on the OTB100 dataset表2 本文算法與其他算法在OTB100數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

在GOT-10k 數(shù)據(jù)集上，遵循該測(cè)試集要求，僅使用GOT-10k 提供的訓(xùn)練集，每輪使用100 000 個(gè)視頻幀，共進(jìn)行20 輪訓(xùn)練。相較于采用有錨點(diǎn)的孿生網(wǎng)絡(luò)Siam FC、Siam RPN 和Siam RPN++具備一定優(yōu)勢(shì)。其中，相較于Siam FC 在AO 上有14.7%的提升，相較于Siam RPN 有3.8%的提升，如表3所示。

Table 3 Experimental results of the proposed algorithm and other algorithms on the GOT-10k dataset表3 本文算法與其他算法在GOT-10k數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

在UAV123 數(shù)據(jù)集上，相較于主流孿生網(wǎng)絡(luò)算法Siam FC、Siam RPN++和DaSiamRPN［26］優(yōu)勢(shì)明顯。其中，在成功率上相較于Siam FC 有12.7%的提升。在準(zhǔn)確性相較于同樣采用ResNet 50 特征提取網(wǎng)絡(luò)的Siam RPN++有4.6%的提升，與同樣采用無(wú)錨點(diǎn)算法的Siam CAR 有3.8%的提升，與同樣采用變換網(wǎng)絡(luò)方法的HiFT 在成功率上有1.2%的提升，如表4所示。

Table 4 Experimental results of the proposed algorithm and other algorithms on the UAV123 dataset表4 本文算法與其他算法在UAV123數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

2.2.3 消融實(shí)驗(yàn)

在UAV123 和VOT2019 數(shù)據(jù)集上進(jìn)行了算法各模塊的消融實(shí)驗(yàn)。使用與本文算法相同的訓(xùn)練數(shù)據(jù)集和訓(xùn)練輪次，對(duì)比本文算法與取消了ResNet 50 融合層、取消變換網(wǎng)絡(luò)和取消無(wú)錨點(diǎn)分支的3 個(gè)算法進(jìn)行測(cè)試，證明了各模塊的有效性，結(jié)果如表5。

Table 5 Experimental results of the proposedalgorithm and other algorithms on the UAV123 and VOT2019 dataset表5 本文算法與其他算法在UAV123和VOT2019數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

在UAV123 數(shù)據(jù)集上，使用AlexNet［27］代替ResNet 使得精度下降3.5%，成功率下降2%；使用有錨點(diǎn)和相關(guān)操作網(wǎng)絡(luò)代替無(wú)錨點(diǎn)和變換網(wǎng)絡(luò)網(wǎng)絡(luò)使得精度下降0.5%，成功率下降1.3%；使用傳統(tǒng)相關(guān)操作代替相關(guān)與變換網(wǎng)絡(luò)結(jié)合使得精度下降2.8%，成功率下降2.4%。

在VOT2019 數(shù)據(jù)集上，使用AlexNet 代替ResNet 使得EAO 下降0.7%，使用有錨點(diǎn)網(wǎng)絡(luò)和相關(guān)操作代替無(wú)錨點(diǎn)網(wǎng)絡(luò)和變換網(wǎng)絡(luò)使得EAO 下降1.8%，使用傳統(tǒng)相關(guān)操作代替相關(guān)與變換網(wǎng)絡(luò)結(jié)合使得EAO 下降1.7%。

對(duì)比本文算法與消融實(shí)驗(yàn)其他算法在模型上的訓(xùn)練時(shí)間和跟蹤效率，訓(xùn)練時(shí)間根據(jù)相同數(shù)據(jù)集和硬件情況下，依據(jù)后10 輪訓(xùn)練中2 個(gè)輪次生成訓(xùn)練模型的間隔時(shí)間，估計(jì)該輪次訓(xùn)練所用時(shí)間，預(yù)測(cè)時(shí)間則是根據(jù)VOT2019 測(cè)試集上的平均幀率，反映算法跟蹤的效率，結(jié)果如表6所示。

Table 6 Experimental results of the training time and running frame rate of the proposed algorithm and other algorithms表6 本文算法與其他算法訓(xùn)練時(shí)間和運(yùn)行幀率的實(shí)驗(yàn)結(jié)果

訓(xùn)練時(shí)間上，本文算法完成1 輪模型訓(xùn)練預(yù)估時(shí)間為5.4h，將AlexNet 代替ResNet 預(yù)估時(shí)間為5.5h，使用有錨點(diǎn)網(wǎng)絡(luò)代替無(wú)錨點(diǎn)網(wǎng)絡(luò)預(yù)估時(shí)間為5.4h，使用傳統(tǒng)相關(guān)操作代替相關(guān)與變換網(wǎng)絡(luò)預(yù)估時(shí)間為3.5h。從訓(xùn)練時(shí)間看，變換網(wǎng)絡(luò)對(duì)于訓(xùn)練時(shí)長(zhǎng)有一定影響，其他模塊對(duì)于訓(xùn)練時(shí)間影響不大。

預(yù)測(cè)時(shí)間上，通過(guò)實(shí)驗(yàn)結(jié)果分析，不同的特征提取網(wǎng)絡(luò)對(duì)運(yùn)行速率影響較大，相關(guān)操作和變化網(wǎng)絡(luò)結(jié)合使用會(huì)對(duì)網(wǎng)絡(luò)預(yù)測(cè)速度產(chǎn)生一定影響，但在目前硬件環(huán)境下，均可滿足實(shí)時(shí)跟蹤要求。

3 結(jié)語(yǔ)

本文針對(duì)有錨點(diǎn)回歸和相關(guān)操作孿生網(wǎng)絡(luò)存在的問(wèn)題，設(shè)計(jì)了基于無(wú)錨點(diǎn)和注意力的孿生視覺(jué)跟蹤網(wǎng)絡(luò)。本文算法拋棄原有候選框的設(shè)計(jì)思想，參考目標(biāo)檢測(cè)中的邊界框回歸和中心點(diǎn)置信度估計(jì)等回歸方式，并引入了基于注意力機(jī)制的變換網(wǎng)絡(luò)方法，在傳統(tǒng)相關(guān)操作的基礎(chǔ)上，對(duì)于特征提取網(wǎng)絡(luò)中不同層的特征圖進(jìn)行編碼和解碼操作。

根據(jù)主流目標(biāo)跟蹤測(cè)試數(shù)據(jù)集上的測(cè)試結(jié)果，本文網(wǎng)絡(luò)相較于主流的孿生網(wǎng)絡(luò)在復(fù)雜場(chǎng)景、目標(biāo)快速移動(dòng)和目標(biāo)遮擋等場(chǎng)景下，跟蹤精度上具有一定優(yōu)勢(shì)，通過(guò)相同訓(xùn)練參數(shù)設(shè)置的消融實(shí)驗(yàn)，驗(yàn)證了本文算法各功能模塊的有效性。

本文算法在跟蹤成功率上，相較于其他基于注意力和變換網(wǎng)絡(luò)的目標(biāo)跟蹤算法還有一定差距，下一步將繼續(xù)針對(duì)特征融合部分進(jìn)行改進(jìn)，提高網(wǎng)絡(luò)跟蹤成功率和網(wǎng)絡(luò)運(yùn)行效率，以滿足更多的應(yīng)用場(chǎng)景。