譚建豪 鄭英帥 王耀南 馬小萍

目標跟蹤作為計算機視覺的基礎工作之一,近幾十年來一直作為一個熱門研究方向,被廣泛應用在視覺監(jiān)控、人機交互、安防檢測、自動駕駛和軍事偵查等領域中.視覺跟蹤分為單目標跟蹤和多目標跟蹤,目前的研究熱點都集中在單目標跟蹤上,通過在第一幀圖像中給定目標的信息,不斷預測更新后續(xù)幀圖像中目標的狀態(tài)信息,實現對目標穩(wěn)定的跟蹤.但是目標跟蹤的應用場景極為復雜,光照變化、物體遮擋、目標的劇烈形變和運動以及相似物體的干擾仍然是目前跟蹤領域極大的挑戰(zhàn).

隨著深度學習技術的快速發(fā)展,近年來基于孿生網絡的跟蹤算法(SiamRPN[1]、SiamFC[2]、DaSiamRPN[3]、SiamRPN++[4]、CRPN[5])成為了目標跟蹤領域的主流方向之一.這些孿生網絡跟蹤器將視覺跟蹤問題表示為通過目標模板特征與搜索區(qū)域特征交叉相關后得到的向量學習目標與搜索區(qū)域的相似度.

孿生網絡跟蹤器通常具有分類與回歸兩個分支.分類分支負責輸出相似度,提供了跟蹤目標的一個粗略的位置信息.大多數孿生網絡跟蹤算法對于分類分支的設計大同小異,但是在訓練樣本的采樣中具有很大的區(qū)別.SiamRPN和SiamFC在訓練中僅僅采集同一物體的圖像對作為輸入,由于搜索圖像中簡單的背景信息和無語義的填充像素占據了大部分的區(qū)域,因此有效的負樣本很少,導致模型辨別能力不強.DaSiamRPN在此基礎上添加了不同物體構成的圖像對,由此引入了不同語義干擾物,提高了模型的辨別能力,但是仍然不能有效分辨同類(相似語義)的干擾物,導致網絡的魯棒性仍然較差,容易跟丟目標.

回歸分支負責預測目標準確的狀態(tài)信息.目前孿生跟蹤算法對于回歸分支的設計主要分為兩類.SiamFC采用了多尺度的測試方法,該方法通過將搜索圖像塊經過多尺度調整后的多個圖像塊一一送入跟蹤器檢測,并選取分類得分最高的圖像塊對應的尺度作為目標的尺度.由于測試的尺度有限,因此最終的目標尺度信息是很不準確的,而且多尺度的測試會增加計算負擔,降低跟蹤器的運行速度,所以該方法是低效、不準確的.SiamRPN系列算法(SiamRPN、DaSiamRPN、SiamRPN++)通過在孿生網絡后添加一個區(qū)域提議網絡(之后簡稱為RPN[6]),實現了極高的定位精度,這主要得益于多個錨框能夠在整體上適應物體的劇烈形變,但是多錨框的設置增加了分類與回歸任務的復雜程度,降低了跟蹤器的運行效率.

針對孿生網絡跟蹤器魯棒性差、設計復雜的問題,本文構造了基于中心點搜索的無錨框全卷積孿生跟蹤器(Anchor-free fully convolutional siamese tracker with searching center point,AFST),使系統(tǒng)性能得到極大提升.

1 傳統(tǒng)孿生網絡跟蹤器與檢測器

下面主要對傳統(tǒng)孿生網絡跟蹤器及目標檢測任務中目標的回歸方式進行闡述.

1.1 跟蹤框架

最近,基于孿生網絡的跟蹤器因為良好的跟蹤精度和效率而受到了極高關注,成為目標跟蹤領域的一個熱門.SINT[7]最早將跟蹤任務描述為將目標區(qū)域與搜索區(qū)域匹配的過程.Siam FC改進了GOTURN[8]剪裁輸入的方法,并提出了相關性操作,奠定了后來孿生網絡跟蹤器的基礎.SiamRPN在相關性操作后引入了RPN 模塊,在錨框上進行聯合分類和回歸,大幅度提高了跟蹤精度.DaSiamRPN在訓練中引入了不同語義的干擾物,并將檢測數據集DET[9]、COCO[10]添加到訓練中,進一步提高了跟蹤性能.SiamRPN++首次將深度網絡引入跟蹤器中,并在多層特征上進行預測,跟蹤性能得到了大幅提高.

1.2 檢測框架

雖然目標檢測與目標跟蹤具有很多差異,但是它們的回歸任務是極其相似的,都是類別無關的,因此目標檢測的回歸方式能夠應用到目標跟蹤任務中.比如Faster RCNN[6]提出的RPN結構被應用在SiamRPN系列算法(SiamRPN、DaSiamRPN、SiamRPN++、CRPN)中,取得了極高的定位精度.

目前目標檢測器的回歸方式分為三種.

使用RPN[6]的眾多目標檢測器(Faster RCNN、FPN[11]、SSD[12]、RetinaNet[13]、Cascade RCNN[14]、Refine-Det[15])在整個特征圖上鋪設多種不同尺度和寬高比的錨框,通過這種稠密的采樣,檢測器獲得了很高的召回率.同時通過輸出物體中心和寬高相對于錨框中心和寬高的編碼,預測物體的準確的狀態(tài)信息.Cascade RCNN通過堆疊多層RPN實現了極高的定位精度.

IoU-Net[16]同樣借助于修正人工設定的初始框來獲得最終的目標框,其通過梯度上升的方式多次迭代修改初始框,使初始框越來越靠近真實的目標框.該方法定位精度極高,并且解決了多次迭代修正目標框的問題.

相比于以上兩種回歸方式,無錨框的回歸方式非常簡單方便,而且取得了媲美RPN的定位精度.YOLO[17]在目標中心點附近的點直接預測目標框的大小;Corner Net[18]檢測目標框的一對角點;Rep-Points[19]將目標表示為多個點,通過預測每個點的偏移使所有點匹配到物體上;FCOS[20]預測目標內的點與目標框四個邊的距離來組成預測框.無錨框回歸方式編碼簡單,而且不需要對初始框超參數進行調優(yōu),很適合應用在目標跟蹤任務中.

2 基于中心點搜索的無錨框全卷積孿生網絡跟蹤器

本文提出的基于中心點搜索的無錨框全卷積孿生跟蹤器基本思想為:1)相似語義負樣本采樣策略:在訓練過程中引入了相似語義干擾物,提高網絡的分辨能力;2)多層特征融合:提出一種新的特征融合方式msf (Multistage feature fusion module),融合高中低三層特征(對應ResNet50[21]的第二層、第三層、第四層特征),保證跟蹤器同時具備魯棒能力和辨別能力,大幅減少跟蹤失敗的次數,提高跟蹤器的魯棒性;3)新的回歸方式:提出一種基于像素上直接預測的回歸方式,在每個位置僅僅預測一次目標狀態(tài)信息,不需要進行關于錨框的復雜編碼解碼過程,大幅簡化了整個跟蹤任務;4)目標框質量得分:為輸出高質量的目標框,本文定義了一種目標框質量得分,負責對每個位置預測的目標框打分,并依據目標框質量得分選取得分最高的目標框作為最后的輸出.

AFST跟蹤器是在SiamFC[2]上改進的,如圖1所示.AFST框架由一個用于特征提取的孿生網絡和用于分類與回歸的兩個子網絡構成,分類分支負責對前景與背景進行分類,回歸分支負責預測目標的狀態(tài)信息.其中主干網絡為ResNet50,提取其第二層、第三層、第四層特征進行融合,作為分類分支和回歸分支的輸入特征.

2.1 多級特征融合

為提高跟蹤器的魯棒性,提出多級特征融合模塊msf,來融合物體的細粒度表觀特征和高階的語義特征.

圖1 AFST網絡流程框架圖Fig.1 AFST network flow diagram

如圖2,首先采集特征,提取網絡中高中低三層特征(對應ResNet50第四層、第三層、第二層特征),然后使用通道上相加(之后稱為sum)或通道上連接(之后稱為concat)融合高中低三層特征作為模塊的輸入特征,隨后對輸入特征進行多次3×3的卷積操作進一步提高特征的魯棒能力.為了保留細粒度特征,在輸出中通過concat或者sum 融合輸入特征和每個3×3卷積的輸出特征.concat融合方式比sum 融合方式能夠更好地保留特征,由于模塊C在輸入階段和輸出階段均使用concat方式,因此理論上其性能最強.但是輸入階段使用concat會造成輸入特征通道數量非常大,只能通過1×1 卷積大幅度降低維度,導致性能降低.因此最好在輸入階段使用sum 融合方式,避免大幅降低特征維度造成的信息丟失,輸出階段使用concat,盡量保留更多的信息,所以猜想方式A性能最好.為驗證猜想,對分別使用4 種融合方式的4 個跟蹤器進行10個epoch的訓練,最終證明使用方式A的跟蹤器在VOT2016[22]上性能最強(Robustness最低,為0.243).因此方式A作為本文默認的融合方式.

2.2 相似度學習

目標跟蹤任務可以描述為一個學習相似度的問題.孿生網絡具有兩個分支,模板分支負責對輸入的模板圖像z提取特征,搜索分支負責對包含目標的搜索區(qū)域圖像x提取特征,然后使用交叉相關操作(Cross-correlation)對兩個特征進行處理,輸出相關性向量,最后在相關性向量上學習相似概率.由于兩個分支的網絡參數相同,所以對z和x進行的映射是相同的,因此交叉相關得到的相關特征能夠反映搜索圖像中的每一個區(qū)域與模板圖像的相似程度,其定義如下

圖2 多級融合模塊Fig.2 Multistage feature fusion

上式中,?代表孿生網絡特征提取操作,msf 表示第2.1節(jié)中的多級特征融合操作,u表示不同任務下用來調整特征的卷積操作,i=cls、reg分別表示分類與回歸任務,★表示交叉相關操作.

2.3 分類標簽設計

分類任務的本質是輸出當前點屬于目標的概率,因此目標框內部的點都應該作為正樣本.但是由于網絡初始訓練時最后的特征層對應的有效感受野比理論感受野小,導致目標邊緣區(qū)域的特征點不一定包含整個物體的信息,其屬于目標的概率相比于靠近目標中心的點屬于目標的概率小.為了對網絡穩(wěn)定地訓練,于是對于目標框內不同點的分類損失需要進行一定的衰減,衰減系數定義如下

上式中,c x、c y是目標中心點的坐標;x、y為正樣本點的坐標;w、h為目標的寬和高;常量β為離目標中心最遠的點的衰減系數取值大小,本文默認使用β=0.5.加上衰減系數后,最終的分類損失函數定義如下

上式中,Npos表示正樣本點的數量;Lcls表示交叉熵誤差;p x,y、c x,y分別表示輸出的分類得分和分類標簽;常量α取值默認為2,用于控制衰減的程度.

2.4 回歸方式

本文的回歸方式將目標框內所有的點作為正樣本,并拋棄了錨框,不再將真實目標位置信息通過錨框進行編碼,而是直接預測目標中心c x、c y相對于該特征點位置x、y的偏移以及目標真實的大小w?與h?,如圖3所示.

圖3 回歸方式Fig.3 Regression approach

坐標x、y的回歸目標定義如下

式(4)、式(5)中,s=8為網絡的步長.

2.5 基于質量得分搜索目標框

經典的檢測算法是利用分類得分作為置信度來選擇最終的預測框,但是IoU-Net[16]提出分類得分與預測框的好壞是沒有必然聯系的.假定越靠近目標中心的點預測的目標框越準確,于是提出了中心得分(Center score,CS),用于對每個點預測的目標框進行打分,然后依據每個點的得分搜索出最終的目標框.中心得分有兩種形式,定義如下

上式中,off x與off y分別為當前點相對于目標中心的偏移,w、h為目標框的寬和高,通過常量β限定了目標框頂點處的目標框得分大小,實驗中取0.25.圖4展示了兩種計算CS的方式.

圖4 兩種計算CS的方式Fig.4 Two ways to calculate center score

圖4(a)為在回歸分支上加上一個CS預測分支,訓練時的標簽直接通過式(6)計算得到;圖4 (b)為利用回歸分支預測輸出的狀態(tài)信息w?、h?按照式(6)直接計算CS得分.通過回歸輸出直接計算CS方式雖然穩(wěn)定性較差,但是由于不需要添加額外的預測分支,能夠簡化網絡結構,因此本文跟蹤器默認直接計算CS得分.為了驗證直接計算出CS得分的有效性,圖5中用熱力圖的方式可視化了CS得分和分類得分.

圖5(a)為分類分支的得分,由于整個目標框內所有點被作為正樣本,因此分類得分中的響應區(qū)域為一個矩形;圖5(b)為計算的CS得分,中間響應高,四周響應低,符合CS得分的定義;圖5(c)為經過圖5(a)、圖5(b)相乘得到的修正后的分類得分,由中心向四周逐漸遞減;圖5(d)為通過圖5(c)搜索到的最后的目標框.

2.6 采樣策略

為提高跟蹤器的辨別能力,提出了相似語義負樣本的采樣策略,在訓練中引入相似語義干擾物.圖6對比了不同的圖像對采樣方式.

圖6中,第1列和第2列為SiamFC訓練中采樣得到的圖像對(之后稱作正樣本圖像對),可以看出第1列的搜索圖像大部分都是填充的像素,沒有任何語義信息,第2列的搜索圖像則大部分都是地面、草地這些簡單的背景信息.這兩種情況大量存在于訓練集中,導致跟蹤器缺乏足夠的困難負樣本進行有效地訓練.第3列為DaSiamRPN訓練中新增的圖像對(之后稱作不同語義負樣本圖像對),在搜索圖像中引入不同語義的干擾物作為負樣本,使跟蹤器學習到區(qū)分不同語義干擾物的能力.第4 列和第5列為新增的采樣方式獲取的圖像對(之后稱作相似語義負樣本圖像對),模板圖像中的目標與搜索圖像中的目標為同一類物體,引入了相似語義干擾物,使得跟蹤器能夠學習到區(qū)分相似語義干擾物的能力.最終訓練圖像對由正樣本圖像對、不同語義負樣本圖像對和相似語義負樣本圖像對構成,三者比例為4 :1:1.

圖5 基于中心得分的搜索過程圖Fig.5 A search process graph based on the center score

圖6 采樣策略對比圖Fig.6 Sampling strategy comparison diagram

不同語義的物體和無語義的背景屬于目標的概率為0,但是相似語義干擾物與目標類別相同,經過交叉相關操作后會有較高的響應,所以其屬于目標的概率不應該為0.因此對相似語義負樣本的誤差進行一定程度地衰減,不對其進行完全的懲罰.為了便于編程,將相似語義負樣本的標簽設為–1,則負樣本的誤差函數定義如下

上式中,Nneg為負樣本點的數量;常量 c默認為2,控制著相似語義負樣本誤差衰減的程度.

2.7 損失函數

整個網絡損失由分類損失和回歸損失共同構成

上式中,Lpos、Lneg、Lreg分別為正負樣本分類損失和回歸損失,λ1、λ2、λ3表示正負樣本分類損失和回歸損失的權重.本文為了平衡正負樣本的損失,將λ1、λ2都設為1.由于訓練中對于負樣本圖像對只對分類分支計算梯度,為了平衡兩個分支的梯度,本文中將λ3設為1.5.

3 算法實驗

3.1 實驗設計

由于機能和資源的限制,只采用了ILSVRCVID2015[9]、GOT-10k[23]以及COCO[10]的一部分作為基礎的訓練數據集.整個訓練過程中,正樣本圖像對、不同語義負樣本圖像對和相似語義負樣本圖像對的比例為4:1:1,同時在搜索圖像上進行均勻地移動及均勻地尺度縮放.

由于融合的特征包含有淺層特征,而淺層特征的改動很容易破壞整個網絡的性能,所以凍結了ResNet50的參數,并在第10個epoch時對Res-Net50第三層和第四層進行訓練,第15個epoch時加入ResNet50第二層進行訓練.初始學習率為0.01,經過20個epoch 逐步衰減到0.0001,每個epoch包含16萬個圖像對.使用的GPU為單個RTX 2070,batch 大小為18,訓練時長為65個小時.

3.2 消融實驗

AFST是以SiamFC網絡為基準進行改進的,經過添加各種組件后,最終的跟蹤器AFST的性能得到了較大的提升.在消融實驗中,使用ILSVRCVID2015和一部分COCO作為訓練集,并在VOT-2016[22]數據集上計算準確率(A)、魯棒性(R)和期望平均重疊率(EAO)三種指標的性能,觀察各種改進方案帶來的性能上的提升.

如表1所示,第1行為對比的基準SiamFC網絡,僅僅只執(zhí)行分類任務(cls),通過多尺度測試來估計目標的狀態(tài);第2行通過偏移輸入的方式引入深度網絡ResNet50作為SiamFC的主干網絡;第3行加入簡單的回歸分支(reg);第4行進一步融合高、中、低三層特征;第5行開始在訓練時添加相似語義負樣本;第6行到第8行進一步引入CS質量評估得分,并分別使用concat、sum與msf 三種特征融合方式.

對比第1 行與第2 行,可以看出更強的主干網絡將大幅提高跟蹤的性能,提升幅度達到A(+0.049)、R(?0.080)、EAO(+0.045).對比第2行與第3行,在添加了簡單的回歸分支后,EAO得到進一步大幅度的提升,達到+0.065,同時R 出現了?0.053的提升,主要是由于加入回歸分支后采用了與SiamFC不同的正樣本定義策略,增強了跟蹤器的魯棒性.第4行在第3行的基礎上使用sum融合方式在原有的高層特征上引入中層、低層特征,最終的結果顯示R 出現明顯的?0.031的提升,同時A和EAO也得到了+0.010的增長,說明中、低層特征由于特征等級低,具有一定的分辨能力,同時低層特征在一定程度上也能提高定位的精度.第5行在訓練中添加了相似語義樣本對,R 出現了?0.060的提升,這表明新的采樣策略確實有效,能夠大幅提升網絡對于干擾物體的辨別能力.對比第5行與第7行,在引入目標框的質量得分CS以后,A和EAO能夠得到進一步明顯的提升,而R 的提升不明顯,說明CS確實能夠輔助找到靠近目標中心的高質量目標框.對比第6行與第7 行得出,concat融合方式是優(yōu)于sum的.第8行引入最終的融合方式msf 構成最終的AFST算法,對比第7 行,R 得到了明顯的提高,達到?0.033,這主要是由于msf 融合的過程中進一步提高了特征的魯棒性,同時又融合了低層的細粒度特征,兼具了強分辨力特征.

3.3 多個數據集上性能對比實驗

3.3.1 VOT2016測試結果對比

VOT 2016包含60個視頻,具有遮擋、尺度變化、快速運動等挑戰(zhàn).在VOT2016數據集上計算了準確率(A)、魯棒性(R)和期望平均重疊率(EAO)三個指標的性能.表2對比了AFST與多個跟蹤器在VOT 2016上的性能,AFST在所有指標上均超越了DaSiamRPN、MDNet[24]、SiamRPN++等先進的跟蹤器.

為深入分析AFST魯棒性的來源,表3中記錄了AFST與其他算法在遮擋、運動變化、相機運動等多種挑戰(zhàn)因素下的跟蹤失敗率,以及整體的平均失敗率和加權失敗率.從表3中可以發(fā)現,AFST跟蹤器在物體運動、遮擋、尺度變化挑戰(zhàn)中失敗率大幅低于其他跟蹤器,且在整體的平均失敗率和加權失敗率上達到了最好的性能,超越了SiamRPN++.為直觀反映AFST 的高魯棒性能,圖7 (a)～ 圖7 (d)分別記錄了平均情況下以及在物體運動變化、遮擋、尺度變化挑戰(zhàn)中的精度?魯棒性曲線圖.圖7 中,SiamRPNPP代表SiamRPN++.

為進一步直觀地測試算法在各種情況下的魯棒性,在圖8中,挑選了具有背景干擾、物體運動變化、遮擋三個挑戰(zhàn)屬性的視頻,對6種算法進行實驗對比.下面對三個視頻上的跟蹤結果進行分析.

圖8中,從上到下的三個視頻分別為handball1、birds1、nature.handball1用來測試算法對于背景中干擾物的辨別能力.handball1視頻中,當背景中的干擾物越來越多地進入搜索區(qū)域時,大部分算法由于辨別能力不足,導致跟蹤到了錯誤的目標,而AFST由于采用了低層特征,能夠很好地辨別相似的干擾物,對目標進行準確的跟蹤.

表1 消融實驗Table 1 Ablation experiments

表2 VOT2016上與多個跟蹤器對比Table 2 Compare with multiple trackers on VOT2016

表3 不同挑戰(zhàn)因素下的失敗率Table 3 Failure rates under different challenge factors

圖7 不同挑戰(zhàn)下的精度?魯棒性曲線圖Fig.7 Accuracy-Robustness curves for different challenges

birds1視頻中目標的快速運動會產生極大的形態(tài)變化.AFST由于使用了深層語義特征,并進一步通過融合模塊提高特征的魯棒性,能夠在物體形變和模糊等情況下仍然產生較強的響應.AFST是唯一能夠全程準確跟蹤目標的跟蹤器.

nature視頻中,目標會被相似的物體遮擋住大部分區(qū)域,此時僅僅只有AFST和DaSiamRPN克服遮擋跟蹤到了目標.但是接下來當目標和相似干擾物分離時,DaSiamRPN由于對相似干擾物辨別能力不足,錯誤跟蹤到了干擾物體,而AFST憑借出色的辨別能力,準確跟蹤到了目標.

3.3.2 OTB2015測試結果對比

在OTB2015[25]數據集上利用常規(guī)測試對AFST算法與DaSiamRPN、Grad Net[26]、Deep-SRDCF[27]、CFNet[28]、SiamFC、MDNet[24]等9種算法進行比較.在圖9中繪制了準確率和成功率曲線,其中左邊是準確率曲線,右邊為成功率曲線.從圖9得出,AFST無論在準確率還是成功率指標上均達到了先進的性能.(由于SiamRPN++官方代碼庫pysot中用于測試OTB數據集的模型文件不完整,無法用于測試,并且SiamRPN++用于測試OTB、VOT的模型是分別訓練的,所以不與其比較.)

3.3.3 GOT-10k 測試結果對比

在GOT-10k[23]測試集上對AFST進行測試,計算了AO(平均重疊率)、SR5和SR75(不同重疊閾值下的成功率)三個指標的性能,并與一系列深度學習算法和相關濾波算法比較.表4可以看出,AFST全面超過了SiamRPN++、MDNet等先進的算法.圖10將AFST與GOT-10k 官方記錄的多個跟蹤器的結果對比,并繪制了不同重疊率下的成功率曲線圖.

3.3.4 與SiamRPN++算法對比

在VOT 2016的性能對比實驗中,AFST在物體快速運動和尺度變化等挑戰(zhàn)下的魯棒性能大幅領先于SiamRPN++,于是在包含物體運動和尺度變化挑戰(zhàn)的視頻上對AFST和SiamRPN++的輸出進行對比分析.如圖11兩個不同序列的圖像對中,第一行為Siam RPN++的輸出結果,第二行為AFST的輸出結果.當物體短時間內產生較大的形變和尺度變化后,SiamRPN++會對目標的周圍物體或背景產生相當高的響應,形成所謂的假陽性輸出.將假陽性的樣本點對應的錨框繪制出來(為簡潔篇幅,只討論一種類型的錨框的錯誤匹配問題),發(fā)現輸出假陽性的錨框與目標框的重疊度(Intersec-tion over union,IoU)超過了0.3,甚至逼近0.5.在SiamRPN++訓練中,與目標框IoU大于0.3、小于0.6的錨框是不參與懲罰的,由此猜測這些與目標框IoU大于0.3、小于0.6的錨框會隨機產生高響應,造成假陽性的輸出.

圖8 不同視頻序列跟蹤結果Fig.8 Tracking results for different video sequences

圖9 OTB2015結果對比圖Fig.9 Comparison chart of results on OTB2015

表4 GOT-10k 上與多個跟蹤器對比Table 4 Compare with multiple trackers on GOT-10k

圖10 GOT-10k 成功率對比圖Fig.10 Success rate comparison graph on GOT-10k

為證明與目標框IoU大于0.3、小于0.6的外部錨框會產生假陽性輸出,在VOT 2016部分視頻序列上運行Siam RPN++跟蹤器,統(tǒng)計與目標框IoU不同的錨框和對應的得分,圖12中繪制了所有錨框的散點圖.

圖12中可以看出,當錨框與目標框的IoU處于0.3到0.6之間,輸出的得分是近乎隨機的.于是得出SiamRPN++魯棒性差的本質原因在于,其利用模板與錨框進行比較會產生誤匹配的情況.即當物體發(fā)生劇烈形變和尺度變化時,物體大小與錨框大小失衡,物體周圍的錨框會與物體的重疊率高于0.3,甚至逼近0.5,造成錯誤匹配,而由于RPN的輸出特性,導致這些錯誤匹配的錨框會產生很強的響應,于是形成假陽性的輸出.AFST直接將模板與搜索區(qū)域上子窗口對應的點進行匹配,將目標內的所有點作為正樣本,不會出現SiamRPN++算法中的誤匹配問題,因此AFST的魯棒性更強.同時觀察到與目標框IoU為0的錨框會產生很強的響應,主要是由于SiamRPN++算法無法有效辨別干擾物,而AFST在訓練中加入了相似語義負樣本,進一步提高了魯棒性.AFST在設計中克服了以上兩個影響魯棒性的因素,因此達到了更高的性能.

4 結論

本文分析了傳統(tǒng)孿生網絡跟蹤器魯棒性不足和分類回歸任務復雜的缺點,并以SiamFC為基準設計了全新的分類與回歸分支,引入了相似語義負樣本的訓練策略和邊界框評估分數等措施,構成了AFST算法,并通過消融實驗證明了每個添加組件和策略對于跟蹤性能的提升作用.在多個跟蹤數據集上進行測試,證明了本文算法具有先進的性能.值得注意的是,本文算法目前僅僅只利用了ILSVRC-VID2015、GOT-10k 和COCO的一部分進行訓練,未來將增大訓練數據集以進一步提升性能.

圖11 錨框與目標框誤匹配Fig.11 The anchor box is mismatched with the target box

圖12 錨框分布圖Fig.12 Anchor box distribution map