張成煜，侯志強(qiáng)*，蒲 磊，陳立琳，馬素剛，余旺盛

1 西安郵電大學(xué)計(jì)算機(jī)學(xué)院，陜西 西安 710121；

2 西安郵電大學(xué)陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；

3 空軍工程大學(xué)信息與導(dǎo)航學(xué)院，陜西 西安 710077

1 引言

視覺目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向，其主要任務(wù)是在視頻序列初始幀中給定目標(biāo)位置和大小，在后續(xù)幀中預(yù)測(cè)該目標(biāo)的位置和大小。其在智能監(jiān)控、無人駕駛、軍事偵查等領(lǐng)域都有廣泛的應(yīng)用[1-2]。視覺跟蹤中，目標(biāo)通常會(huì)面臨尺度變化、運(yùn)動(dòng)模糊、目標(biāo)形變、遮擋等問題，如何在這些復(fù)雜場(chǎng)景中準(zhǔn)確預(yù)測(cè)目標(biāo)仍然是一個(gè)具有挑戰(zhàn)性的問題[3-4]。

近年來，目標(biāo)跟蹤領(lǐng)域取得了飛速的發(fā)展，尤其是深度學(xué)習(xí)技術(shù)的使用，使目標(biāo)跟蹤算法的性能得到了很大的提升，其中，基于Siamese 網(wǎng)絡(luò)的視覺跟蹤算法因?yàn)橛兄^高的速度和精度，在視覺跟蹤領(lǐng)域得到了眾多研究人員的青睞。Siamese 網(wǎng)絡(luò)能夠很好地計(jì)算兩路輸入的相似度，在這類方法中，通常有SiamFC[5]、SiamFC-Tri[6]、DCFNet[7]等算法，其中SiamFC 作為大多數(shù)算法的基準(zhǔn)算法，得到了廣泛關(guān)注。在SiamFC 中，選取初始幀中的目標(biāo)作為模板，把跟蹤任意目標(biāo)當(dāng)作一種相似性學(xué)習(xí)任務(wù)，利用離線訓(xùn)練的全卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個(gè)深度相似性函數(shù)，以此來預(yù)測(cè)目標(biāo)的位置。

由于訓(xùn)練數(shù)據(jù)中存在樣本不平衡問題，簡(jiǎn)單的相似匹配在復(fù)雜場(chǎng)景中難以對(duì)目標(biāo)進(jìn)行跟蹤；另外，Siamese 網(wǎng)絡(luò)能否和傳統(tǒng)的相關(guān)濾波方法相結(jié)合，進(jìn)一步提高算法的跟蹤性能也是一個(gè)重要的研究方向。針對(duì)上述問題，SiamFC-Tri[6]基于SiamFC[5]的跟蹤框架提出了不同于SiamFC 的損失函數(shù)(triplet loss)，充分利用了訓(xùn)練數(shù)據(jù)中模板、正樣本、負(fù)樣本三者之間的關(guān)系，使得網(wǎng)絡(luò)可以提取更具表現(xiàn)力的特征。DCFNet[7]在Siamese 網(wǎng)絡(luò)中加入了相關(guān)濾波層，將相關(guān)濾波和Siamese 網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)了端到端的設(shè)計(jì)。SiamRPN[8]不同于傳統(tǒng)跟蹤算法中的多尺度測(cè)試和在線跟蹤，它將目標(biāo)檢測(cè)領(lǐng)域中的RPN 模塊融入Siamese 網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)中，在跟蹤階段將跟蹤任務(wù)構(gòu)造成局部單目標(biāo)檢測(cè)任務(wù)，有效提升了跟蹤器的精度和速度。

大多數(shù)基于Siamese 網(wǎng)絡(luò)的跟蹤算法都是使用ILSVRC[9]和Youtube-BB[10]等大型數(shù)據(jù)集離線訓(xùn)練出模型然后用于在線跟蹤，缺乏類似于相關(guān)濾波框架中的在線更新。為了能夠在跟蹤過程中進(jìn)行模型更新，Guo 等人提出了DSiam[11]算法，該算法構(gòu)建了一個(gè)動(dòng)態(tài)Siamese 網(wǎng)絡(luò)結(jié)構(gòu)，其中包含一個(gè)快速變換學(xué)習(xí)模型，在跟蹤階段能夠在線學(xué)習(xí)目標(biāo)的表觀變化和背景抑制，但是它仍然存在以下不足：

1) 在跟蹤階段，歷史幀中存在大量與目標(biāo)有關(guān)的時(shí)空信息，包括形變、運(yùn)動(dòng)、背景等信息，而該算法只是從第一幀模板學(xué)習(xí)目標(biāo)的表觀變化，并沒有利用到歷史幀中的豐富信息，無法應(yīng)對(duì)劇烈形變、目標(biāo)遮擋等情況；

2) 在通過快速變換模型學(xué)習(xí)背景抑制時(shí)，在搜索區(qū)域上僅使用高斯權(quán)重圖，并不能有效地凸顯目標(biāo)，抑制背景。

針對(duì)以上問題，本文主要做了以下工作：

首先，將第一幀中的目標(biāo)當(dāng)作靜態(tài)模板，動(dòng)態(tài)模板同樣初始化為第一幀中的目標(biāo)區(qū)域。然后在后續(xù)跟蹤過程中，通過快速變換模型，從兩個(gè)模板中學(xué)習(xí)目標(biāo)的表觀變化，并結(jié)合高置信度更新策略更新動(dòng)態(tài)模板。其次，在背景抑制模塊中，通過計(jì)算當(dāng)前幀的顏色直方圖特征獲取搜索區(qū)域的目標(biāo)似然概率圖[12]，與深度特征融合，進(jìn)行背景抑制學(xué)習(xí)。最后，對(duì)搜索區(qū)域和雙模板進(jìn)行相似性計(jì)算，將獲取到的響應(yīng)圖加權(quán)融合求出最終響應(yīng)，獲得跟蹤結(jié)果。

本文算法在一定程度上解決了基于Siamese 網(wǎng)絡(luò)跟蹤算法中的模板更新問題，雙模板的引入可以構(gòu)建更加穩(wěn)健和豐富的目標(biāo)模板，使模型在線學(xué)習(xí)到更多的目標(biāo)變化；引入顏色直方圖特征獲取的目標(biāo)似然概率圖可以有效抑制背景，突出目標(biāo)。在OTB2015[13]，TempleColor128[14]和VOT[15]數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與近幾年的主流跟蹤算法相比，本文算法的測(cè)試結(jié)果在跟蹤精度和成功率上均有提升。

2 基于Siamese 網(wǎng)絡(luò)的跟蹤算法

本文算法基于Siamese 網(wǎng)絡(luò)框架，在DSiam[11]的基礎(chǔ)上，引入動(dòng)態(tài)模板和顏色直方圖特征，通過快速變換模型學(xué)習(xí)目標(biāo)的表觀變化并進(jìn)行背景抑制，有效地提升了視覺跟蹤算法的魯棒性。

基于Siamese 網(wǎng)絡(luò)的跟蹤算法框架如圖1 所示，它包含兩路并行的全卷積網(wǎng)絡(luò)，分別對(duì)127×127×3 的模板圖像和255×255×3 的搜索圖像進(jìn)行特征提取，然后對(duì)提取到的兩路特征進(jìn)行相似性計(jì)算。用O1和Zt分別表示模板圖像和搜索圖像，則響應(yīng)圖的計(jì)算：

其中：corr 為相似性計(jì)算，f(?)為特征提取函數(shù)，St表示最終得到的響應(yīng)圖搜索區(qū)域中各部分與模板的相似度，選取響應(yīng)最高的點(diǎn)作為預(yù)測(cè)的目標(biāo)位置。

圖1 基于Siamese 網(wǎng)絡(luò)跟蹤算法示意圖Fig.1 Schematic diagram of tracking algorithm based on Siamese network

Simaese 網(wǎng)絡(luò)對(duì)搜索區(qū)域進(jìn)行了正負(fù)樣本的區(qū)分，將搜索區(qū)域中的每一個(gè)候選窗口作為一個(gè)樣本，它的輸出就是其屬于正負(fù)樣本的概率，也就是一個(gè)二分類問題，則損失函數(shù)可表示為

其中：v是候選區(qū)域的得分，y∈{1,-1}，是其真實(shí)類別。采用一個(gè)模板和一個(gè)搜索區(qū)域圖像來訓(xùn)練SiameseFC 網(wǎng)絡(luò)，最終損失函數(shù)為每一個(gè)損失的均值：

其中：u為響應(yīng)圖中的位置，標(biāo)簽y[u]∈{1,-1}由位置u與響應(yīng)圖中心的距離確定。在某一閾值內(nèi)時(shí)，將其作為正樣本，否則為負(fù)樣本。網(wǎng)絡(luò)使用ILSVRC 數(shù)據(jù)集進(jìn)行離線訓(xùn)練，通過隨機(jī)梯度下降方法調(diào)整網(wǎng)絡(luò)參數(shù)。

為了能夠應(yīng)對(duì)在跟蹤過程中出現(xiàn)的目標(biāo)形變、背景干擾等情況，Guo 等人提出的DSiam[11]算法在SiamFC[5]的基礎(chǔ)上構(gòu)建了一個(gè)動(dòng)態(tài)Siamese 網(wǎng)絡(luò)，通過在網(wǎng)絡(luò)中嵌入一個(gè)快速變換模型，在每一幀學(xué)習(xí)目標(biāo)的表觀變化和背景抑制。DSiam[11]將目標(biāo)跟蹤視為一個(gè)模板匹配和在線變換學(xué)習(xí)的聯(lián)合問題，在SiamFC[5]的匹配機(jī)制上針對(duì)目標(biāo)的表觀變化和背景抑制引入了快速變換學(xué)習(xí)模型V和W，將響應(yīng)圖的求解轉(zhuǎn)換為

其中：St表示第t幀搜索區(qū)域與目標(biāo)模板進(jìn)行相關(guān)操作后得到的響應(yīng)圖，Vt?1和Wt?1是在跟蹤過程中學(xué)習(xí)到的表觀變化和背景抑制，?表示循環(huán)卷積操作，f(?)表示特征提取。

通常的模型更新會(huì)直接使用t? 1幀的目標(biāo)區(qū)域Ot?1來替換第一幀目標(biāo)模板O1，這種方式通常會(huì)導(dǎo)致模型漂移，造成目標(biāo)丟失。在求解張量X相似于張量Y的最優(yōu)線性變換矩陣R時(shí)，常使用正則化線性回歸，求解方式如下：

其中：T為線性變換矩陣，可以通過讓第t?1 幀中目標(biāo)區(qū)域特征相似于模板特征求解出變換矩陣，即可以在線學(xué)習(xí)到目標(biāo)的表觀變化Vt?1。

其中：F1表示初始模板的特征，F(xiàn)t1?表示t?1 幀中目標(biāo)區(qū)域的特征，λv是正則化參數(shù)。將求解出的Vt?1與目標(biāo)模板的特征f(O1) 進(jìn)行卷積操作，使模板學(xué)習(xí)到目標(biāo)的表觀變化。

在第t幀，應(yīng)當(dāng)選擇與目標(biāo)模板具有較高相似度的區(qū)域輸入網(wǎng)絡(luò)，但通常搜索區(qū)域中含有大量背景信息，為減少背景干擾，DSiam[10]引入背景抑制學(xué)習(xí)。跟蹤完t?1 幀時(shí)，在該幀圖像It1?上以目標(biāo)為中心裁剪出一個(gè)與搜索區(qū)域相同大小的區(qū)域Gt?1，并加上高斯權(quán)重圖得到，通過式(7)學(xué)習(xí)背景抑制Wt?1。

3 本文算法

3.1 總體框架

在DSiam[11]中，將第一幀中的目標(biāo)區(qū)域作為模板，后續(xù)跟蹤中利用快速變換模型從該模板中學(xué)習(xí)目標(biāo)的表觀變化。但當(dāng)目標(biāo)出現(xiàn)劇烈形變，復(fù)雜背景等情況時(shí)，只從單一模板中學(xué)習(xí)這些變化容易造成跟蹤失敗，也沒有充分利用到豐富的歷史幀信息。其次，模型在學(xué)習(xí)背景抑制時(shí)，只是使用了高斯權(quán)重圖，并不能有效地突出目標(biāo)，抑制背景。

本文在DSiam[11]算法的基礎(chǔ)上進(jìn)行了以下改進(jìn)，其流程圖如圖2 所示。

1) 在跟蹤階段，將第一幀中的目標(biāo)當(dāng)作靜態(tài)模板，在后續(xù)幀中使用高置信度更新策略獲取動(dòng)態(tài)模板，使得快速變換模型可以從雙模板中學(xué)習(xí)目標(biāo)的表觀變化；

2) 根據(jù)當(dāng)前幀的顏色直方圖特征計(jì)算出搜索區(qū)域的目標(biāo)似然概率圖，與深度特征融合，進(jìn)行抑制背景學(xué)習(xí)；

3) 將搜索區(qū)域與雙模板得到的響應(yīng)圖加權(quán)融合，得到最終響應(yīng)，實(shí)現(xiàn)對(duì)目標(biāo)的定位。

3.2 雙模板的建立

3.2.1 靜態(tài)模板

靜態(tài)模板是跟蹤過程中使用的基準(zhǔn)模板，提供目標(biāo)的初始信息，所以在視頻序列的第一幀中，首先以目標(biāo)位置P為中心裁剪一個(gè)正方形區(qū)域。假設(shè)目標(biāo)的寬和高記為w和h，則需要裁減的正方形區(qū)域邊長(zhǎng)：

其中：w z=w+c× (w+h)，h z=h+c× (w+h)，模板需要引入一定的背景信息，可以通過上式中的影響因子c進(jìn)行調(diào)整。然后將裁剪后的區(qū)域放縮為127×127×3大小作為基準(zhǔn)模板輸入特征提取網(wǎng)絡(luò)。

3.2.2 動(dòng)態(tài)模板

在跟蹤過程中僅使用靜態(tài)模板去學(xué)習(xí)目標(biāo)的表觀變化無法有效應(yīng)對(duì)目標(biāo)形變、遮擋等情況，逐幀對(duì)靜態(tài)模板進(jìn)行替換又容易造成模型漂移。因此本文引入動(dòng)態(tài)模板，通過在跟蹤過程中逐幀計(jì)算響應(yīng)圖的置信度，選取置信度較高的幀作為動(dòng)態(tài)模板，并結(jié)合更新策略對(duì)動(dòng)態(tài)模板進(jìn)行實(shí)時(shí)更新。

圖2 基于在線學(xué)習(xí)的視覺跟蹤Fig.2 Visual tracking based on online learning

在LMCF(large margin object tracking with circulant feature maps)[16]中，Wang 等人提出了平均峰值相關(guān)能量指標(biāo)，可以用來衡量響應(yīng)圖的波動(dòng)程度。文獻(xiàn)[17]中，Chen 等人提出了一種對(duì)動(dòng)態(tài)模板的更新方式。根據(jù)文獻(xiàn)[16]和[17]，本文提出了一種高置信度更新策略，在跟蹤過程中通過計(jì)算響應(yīng)圖的峰值和波動(dòng)程度，獲取當(dāng)前幀的置信度H，并依據(jù)更新策略對(duì)動(dòng)態(tài)模板進(jìn)行更新。通過實(shí)驗(yàn)，我們發(fā)現(xiàn)在跟蹤過程中，當(dāng)響應(yīng)圖峰值尖銳或波動(dòng)程度較低時(shí)，可以很好地對(duì)目標(biāo)進(jìn)行定位；而當(dāng)響應(yīng)圖波動(dòng)劇烈或出現(xiàn)多峰時(shí)，通常會(huì)發(fā)生目標(biāo)遮擋或丟失。所以在當(dāng)前幀的置信度H和最大峰值Vmax均以一定比例大于各自的歷史均值mH和mVmax時(shí)，對(duì)動(dòng)態(tài)模板進(jìn)行更新。

其中：參數(shù)α和β控制動(dòng)態(tài)模板的更新頻率，更新過快，易導(dǎo)致模型漂移，更新過慢，使模板無法適應(yīng)目標(biāo)變化。如表1 所示，在OTB2015[13]數(shù)據(jù)集上的實(shí)驗(yàn)表明，閾值α和β分別設(shè)置為0.8 和0.9 時(shí)，效果最優(yōu)。

動(dòng)態(tài)模板的引入，一方面可以構(gòu)造更加穩(wěn)健的目標(biāo)模型，使跟蹤器充分利用到豐富的歷史幀的信息，另一方面，通過從雙模板中學(xué)習(xí)目標(biāo)的表觀變化，可以有效應(yīng)對(duì)跟蹤中出現(xiàn)的目標(biāo)形變、遮擋等情況。

3.3 快速變換學(xué)習(xí)模型

3.3.1 表觀變化學(xué)習(xí)

雖然動(dòng)態(tài)網(wǎng)絡(luò)的引入能夠在線學(xué)習(xí)目標(biāo)的表觀變化，但也僅僅利用了第一幀模板的信息，無法應(yīng)對(duì)復(fù)雜環(huán)境下的跟蹤問題。為了能夠充分利用歷史幀中的豐富信息，在跟蹤過程中獲取更多的目標(biāo)變化，我們通過前面建立的雙模板機(jī)制，讓表觀變化學(xué)習(xí)模型從靜態(tài)模板和動(dòng)態(tài)模板中同時(shí)學(xué)習(xí)目標(biāo)的表觀變化。

表1 參數(shù)α、β的取值對(duì)成功率的影響(OTB2015)Table 1 Influence of parameter values on success rate (OTB2015)

在跟蹤完t? 1幀后，以預(yù)測(cè)位置為中心，在t? 1幀裁剪出與模板相同大小的區(qū)域Ot?1，并計(jì)算出其深度特征f(Ot?1)，我們可以讓f(Ot?1)相似于靜態(tài)模板Os和動(dòng)態(tài)模板Od的特征f(Os)和f(Od)，通過求解式(11)和式(12)，學(xué)習(xí)目標(biāo)表觀變化Vs和Vd。

其中：Fs=f(Os)，F(xiàn)d=f(Od)，F(xiàn)t?1=f(Ot?1)。在跟蹤過程中，目標(biāo)的表觀變化可視為平滑變化，將學(xué)習(xí)到的目標(biāo)表觀變化Vs和Vd分別和f(Os) 和f(Od) 進(jìn)行循環(huán)卷積操作，可以使模板適應(yīng)目標(biāo)形變、目標(biāo)遮擋等情況。

3.3.2 背景抑制學(xué)習(xí)

在線跟蹤時(shí)，為減少搜索區(qū)域中背景對(duì)跟蹤器的干擾，在跟蹤完t?1 幀后，我們以預(yù)測(cè)位置為中心裁剪出一個(gè)與搜索區(qū)域大小相同的區(qū)域Gt?1，并計(jì)算其顏色直方圖特征得到該區(qū)域的目標(biāo)似然概率圖，如圖3 所示。因?yàn)樯疃忍卣骱休^多的語(yǔ)義信息，缺乏空間表征，所以將目標(biāo)似然概率圖與深度特征FGt1?融合，可以有效抑制背景干擾，突出目標(biāo)的空間細(xì)節(jié)，彌補(bǔ)深度特征的不足。

圖3 搜索區(qū)域及其目標(biāo)似然概率圖Fig.3 Search area and its target likelihood probability graph

將Gt?1劃分為目標(biāo)區(qū)域O 和背景區(qū)域B，并結(jié)合貝葉斯公式計(jì)算Gt?1區(qū)域內(nèi)每個(gè)像素x屬于目標(biāo)區(qū)域O 的概率：

令b表示第b個(gè)顏色空間，bx表示像素x屬于第b個(gè)顏色空間，并計(jì)算Gt?1中目標(biāo)和背景區(qū)域的顏色直方圖根據(jù)文獻(xiàn)[18]，該區(qū)域像素點(diǎn)的目標(biāo)似然概率可以化簡(jiǎn)為

利用雙線性插值對(duì)Gt1?區(qū)域的深度特征進(jìn)行上采樣，使其與目標(biāo)似然概率圖P的尺寸相同，然后對(duì)兩者逐元素相乘進(jìn)行融合[19]。

其中：⊙表示逐元素相乘，↑表示上采樣。本文使用AlexNet[20]作為特征提取網(wǎng)絡(luò)，選取Conv5 層特征與目標(biāo)似然概率圖融合，彌補(bǔ)了深層特征僅包含語(yǔ)義信息，缺乏空間信息的不足，有效抑制了搜索區(qū)域中的背景干擾。然后令Gt?1的深度特征相似于與目標(biāo)似然概率圖融合后的深度特征，可以學(xué)習(xí)到背景抑制

3.4 目標(biāo)定位

在線跟蹤時(shí)，跟蹤器可以通過快速變換模型從雙模板中學(xué)習(xí)到目標(biāo)的表觀變化Vs和Vd，并與模板圖像特征f(Os) 和f(Od) 進(jìn)行循環(huán)卷積操作，由背景抑制模塊學(xué)習(xí)到的Wt?1也與搜索區(qū)域特征f(Zt)進(jìn)行循環(huán)卷積操作，之后對(duì)模板分支和搜索分支提取到的特征進(jìn)行相似性計(jì)算得到兩個(gè)響應(yīng)圖，最終當(dāng)前幀中目標(biāo)位置由兩個(gè)響應(yīng)圖加權(quán)融合得到：

其中：corr 表示相似性計(jì)算，?表示循環(huán)卷積操作，Rs和Rd分別表示通過靜態(tài)模板和動(dòng)態(tài)模板得到的響應(yīng)圖，Rt為當(dāng)前幀加權(quán)融合后的響應(yīng)圖，Rt中最高響應(yīng)位置即為預(yù)測(cè)目標(biāo)位置，λ作為衡量?jī)陕肪W(wǎng)絡(luò)重要性的超參數(shù)，應(yīng)對(duì)靜態(tài)模板賦予較大的權(quán)重，在保證跟蹤性能的同時(shí)又不會(huì)導(dǎo)致模型漂移。在表2 中給出了參數(shù)λ取不同值時(shí)對(duì)算法成功率的影響，通過大量實(shí)驗(yàn)并結(jié)合對(duì)響應(yīng)值的綜合分析，確定權(quán)重因子λ為0.75。

3.5 尺度估計(jì)

獲取目標(biāo)定位后，以預(yù)測(cè)位置為中心進(jìn)行多尺度采樣，本文算法采用 3 個(gè)尺度因子，γ=[0.9639,1,1.0375]，并將得到的多尺度候選區(qū)域轉(zhuǎn)換為255×255×3 大小輸入網(wǎng)絡(luò)，把產(chǎn)生最大響應(yīng)的作為最佳尺度因子。

最終目標(biāo)尺度更新式：

其中：(wt,ht)表示當(dāng)前幀響應(yīng)最大的尺度，(w t?1,ht?1)表示前一幀目標(biāo)尺度，τ控制目標(biāo)尺度的變化速度，在文獻(xiàn)[21]算法CREST 中，該參數(shù)被設(shè)置為0.4，本文采用相同的參數(shù)設(shè)置進(jìn)行尺度估計(jì)。

3.6 算法流程

本文算法流程如下。

4 實(shí)驗(yàn)結(jié)果與分析

本文算法的實(shí)驗(yàn)平臺(tái)為Windows 10 系統(tǒng)下的MATLAB 2017b+Visual Studio 2015，所有的實(shí)驗(yàn)均在配置為Intel(R) Core(TM)i7-6850k 3.6 GHz 處理器、內(nèi)存為16 GB 的電腦上進(jìn)行測(cè)試，并采用GPU(NVIDIA GTX 1080Ti)進(jìn)行加速。為驗(yàn)證本文算法的有效性，我們分別在三個(gè)主流的跟蹤數(shù)據(jù)集上做了實(shí)驗(yàn)：包含100 個(gè)視頻序列(77 個(gè)彩色序列)的OTB2015[13]、包含128 個(gè)視頻序列的TempleColor128[14]數(shù)據(jù)集和VOT[15]數(shù)據(jù)集。

4.1 OTB2015 實(shí)驗(yàn)

4.1.1 定性分析

圖4展示了本文算法與4種算法的部分跟蹤結(jié)果，為說明本文算法在復(fù)雜場(chǎng)景下的跟蹤性能，我們主要從以下4 個(gè)方面對(duì)算法進(jìn)行定性分析：

1) 目標(biāo)形變。跟蹤過程中的目標(biāo)形變會(huì)使當(dāng)前幀與模板難以匹配，如視頻序列MotorRolling 和Diving，在視頻序列的前段，所有算法均可跟蹤到目標(biāo)，但在后續(xù)幀中，當(dāng)目標(biāo)出現(xiàn)旋轉(zhuǎn)時(shí)，SiamFC、DSiam、Staple[22]等算法都會(huì)跟蹤失敗，而本文算法通過雙模板在線學(xué)習(xí)目標(biāo)的表觀變化使模板及時(shí)適應(yīng)目標(biāo)形變，可以在一定程度上解決該問題，仍能較好地跟蹤目標(biāo)。

2) 目標(biāo)遮擋。目標(biāo)遮擋是跟蹤中常見的問題，如視頻序列Liquor 和DragonBaby，目標(biāo)在運(yùn)動(dòng)過程中會(huì)出現(xiàn)部分遮擋，在遮擋情況下，通常的模板更新容易使模型漂移，造成跟蹤失敗。本文算法通過雙模板機(jī)制，并結(jié)合高置信度更新策略，在發(fā)生遮擋時(shí)避免對(duì)模板進(jìn)行更新，有效避免了模型漂移。

表2 參數(shù)λ的取值對(duì)成功率的影響(OTB2015)Table 2 Influence of parameter λ values on success rate (OTB2015)

圖4 5 種算法部分跟蹤結(jié)果對(duì)比Fig.4 Comparison of partial tracking results of 5 algorithms

3) 快速運(yùn)動(dòng)。在視頻序Bolt2 和Soccer 中，目標(biāo)的快速運(yùn)動(dòng)容易導(dǎo)致圖像模糊，使目標(biāo)表觀發(fā)生變化。在視頻Bolt2 中，Staple[21]算法在第72 幀就丟失目標(biāo)，SiamFC[5]和SiamTri[6]也在第190 幀丟失目標(biāo)，本文算法通過雙模板在線學(xué)習(xí)目標(biāo)的表觀變化和背景抑制，在快速運(yùn)動(dòng)的情況下能夠跟蹤到目標(biāo)。

4) 尺度變化。以視頻序列Box 和Woman 為例，目標(biāo)在跟蹤過程中均發(fā)生了明顯的尺度變化。在Woman 視頻564 幀中，目標(biāo)尺度明顯變大，但大多數(shù)算法均跟蹤失敗，本文算法采用3 個(gè)尺度因子，通過相鄰幀尺度自適應(yīng)策略，在保證速率的同時(shí)能夠應(yīng)對(duì)目標(biāo)的尺度變化。

4.1.2 定量分析

圖5 OTB2015 數(shù)據(jù)集上不同算法的成功率(a)和精度圖(b)Fig.5 Success rate (a) and accuracy (b) of different algorithms on OTB2015 data set

在OTB2015 數(shù)據(jù)集上，跟蹤性能的主要評(píng)價(jià)指標(biāo)是成功率和精確度。當(dāng)預(yù)測(cè)跟蹤框與視頻標(biāo)定跟蹤框的重疊率大于一定閾值時(shí)，視為跟蹤成功，成功率是指跟蹤成功的幀數(shù)與總幀數(shù)的比值。目標(biāo)中心位置誤差由跟蹤結(jié)果與人工標(biāo)定的目標(biāo)中心位置之間的歐氏距離確定，精確度是指目標(biāo)中心位置誤差小于一定閾值的幀數(shù)與總幀數(shù)的比值。

本文算法與近年來主流的跟蹤算法進(jìn)行了比較，包括基于深度學(xué)習(xí)的跟蹤算法SiamFC[5]、DSiam[11]、UDT[23]、SiamTri[6]和基于相關(guān)濾波的跟蹤算法SRDCF[24]、Staple[22]、DSST[25]。圖5 展示了9 種算法在OTB2015 數(shù)據(jù)集上的成功率曲線和精確度曲線，與基準(zhǔn)算法相比，本文算法在OTB2015 數(shù)據(jù)集上的精確度提高了1.6%，成功率提高了1.1%。

OTB2015 數(shù)據(jù)集中包含11 種視頻屬性，包括尺度變化(SV)、快速運(yùn)動(dòng)(FM)、運(yùn)動(dòng)模糊(MB)、背景混雜(BC)、遮擋(OCC)、光照變化(IV)、形變(DEF)、低分辨率(LR)、平面內(nèi)旋轉(zhuǎn)(IPR)、平面外旋轉(zhuǎn)(OPR)、目標(biāo)超出視野(OV)，表4 和表5 分別展示了在11 種不同屬性下算法跟蹤的成功率和精度。其中最優(yōu)結(jié)果加粗顯示，次優(yōu)的算法結(jié)果由實(shí)下劃線表示，排名第三的算法結(jié)果用虛下劃線表示。

表4 不同屬性下算法的跟蹤成功率對(duì)比結(jié)果Table 4 Comparsion results of tracking success of the algorithm under different attributes

表5 不同屬性下算法的跟蹤精確度對(duì)比結(jié)果Table 5 Comparsion results of tracking accuracy of the algorithm under different attributes

4.2 TempleColor128 實(shí)驗(yàn)

TempleColor128 也是一個(gè)極具挑戰(zhàn)性的數(shù)據(jù)集，它包含128 個(gè)彩色視頻序列，專門用于評(píng)估算法在顏色屬性上的跟蹤性能。本文算法和8 種算法進(jìn)行了對(duì)比，包括DSiam[11]，SiamFC[5]，MEEM[26]，CFNet[27]，UDT[22]，SRDCF[23]，BACF[28]。本文算法在精確度上提高了1.2%，成功率上提高了0.9%，如圖6 所示。

4.3 VOT 實(shí)驗(yàn)

本文算法在VOT2015[15]數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。VOT(visual object tracking)測(cè)試平臺(tái)是目標(biāo)跟蹤領(lǐng)域中主流的測(cè)試平臺(tái)，其測(cè)試結(jié)果具有較高的權(quán)威性。VOT2015 都包含60 個(gè)視頻序列，不同于OTB2015、TempleColor128 等測(cè)試平臺(tái)，它主要從準(zhǔn)確率、魯棒性、期望平均重疊率等方面來評(píng)估算法性能。準(zhǔn)確率通過計(jì)算預(yù)測(cè)目標(biāo)框和標(biāo)簽的平均重疊率獲取，魯棒性的計(jì)算通過統(tǒng)計(jì)跟蹤過程中的失敗次數(shù)得到，基于準(zhǔn)確性和魯棒性，最終計(jì)算出期望平均重疊率來反應(yīng)算法的性能，表6 展示了本文算法與近幾年的主流跟蹤算法在VOT2015 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果，與近幾年的主流跟蹤算法相比，在期望平均重疊率上有一定的提升。

圖6 TempleColor128 數(shù)據(jù)集上不同算法的成功率(a)和精度圖(b)Fig.6 Success rate (a) and accuracy (b) of different algorithms on TempleColor128

表6 VOT2015 數(shù)據(jù)集上不同算法的精度和魯棒性對(duì)比結(jié)果Table 6 Evaluation on VOT2015 by the means of accuracy and robustness

4.4 消融實(shí)驗(yàn)

本文在基準(zhǔn)算法的基礎(chǔ)上引入了雙模板機(jī)制和背景抑制模塊。其中雙模板機(jī)制是在跟蹤階段，將第一幀中的目標(biāo)當(dāng)作靜態(tài)模板，在后續(xù)幀中使用高置信度更新策略獲取動(dòng)態(tài)模板，使得快速變換模型可以從雙模板中學(xué)習(xí)目標(biāo)的表觀變化；背景抑制模塊是根據(jù)當(dāng)前幀的顏色直方圖特征計(jì)算出搜索區(qū)域的目標(biāo)似然概率圖，與深度特征融合，進(jìn)行抑制背景學(xué)習(xí)。

為驗(yàn)證本文方法的有效性，在OTB2015 數(shù)據(jù)集上分別對(duì)兩個(gè)模塊進(jìn)行了實(shí)驗(yàn)。圖7 中，DSiam+T 表示在基準(zhǔn)算法上只加入雙模板機(jī)制，DSiam+B 表示在基準(zhǔn)算法上只加入背景機(jī)制模塊。在OTB2015 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，當(dāng)只在基準(zhǔn)算法上引入雙模板機(jī)制時(shí)，精度和成功率分別提高了1.3%和0.7%；當(dāng)只在基準(zhǔn)算法上加入背景抑制模塊時(shí)，精度和成功率分別提高了0.6%和0.3%。通過實(shí)驗(yàn)，可以有效驗(yàn)證本文所提兩個(gè)創(chuàng)新點(diǎn)的可行性，對(duì)算法的性能均有一定的提升。

4.5 算法跟蹤速度

圖7 OTB2015 數(shù)據(jù)集上加入不同模塊算法的成功率(a)和精度圖(b)Fig.7 Success rate (a) and accuracy (b) of different modules are added into the algorithm on OTB2015 data set

本文算法在跟蹤過程中引入雙模板學(xué)習(xí)目標(biāo)的表觀變化，并在背景抑制模塊采用顏色直方圖特征對(duì)跟蹤目標(biāo)的背景進(jìn)行抑制，對(duì)算法跟蹤速度有一定的影響。為保證跟蹤速率，降低算法在特征提取和相關(guān)性計(jì)算上的耗時(shí)，本文并未采用逐幀更新方式，而是通過引入APCE 指標(biāo)，只在該幀響應(yīng)圖的APCE 指標(biāo)達(dá)到一定閾值時(shí)才對(duì)模板進(jìn)行更新，降低了更新頻率和特征提取次數(shù)，同時(shí)在實(shí)驗(yàn)中采用GPU 加速，使本文算法的跟蹤速度達(dá)到了實(shí)時(shí)性要求，速度為29 f/s。如表7 所示。

5 結(jié)論與展望

本文提出的基于在線學(xué)習(xí)的Siamese 網(wǎng)絡(luò)跟蹤算法，通過靜態(tài)模板和動(dòng)態(tài)模板在線學(xué)習(xí)的目標(biāo)的表觀變化，并依據(jù)高置信度更新策略對(duì)動(dòng)態(tài)模板進(jìn)行更新。在背景抑制模塊，通過計(jì)算搜索區(qū)域的顏色直方圖特征獲取目標(biāo)似然概率圖，與深度特征融合，進(jìn)一步加強(qiáng)了背景抑制學(xué)習(xí)。在OTB2015，TempleColor128 和VOT 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文算法的測(cè)試結(jié)果與近幾年的主流算法相比均有提高。在下一步工作中，我們嘗試將目標(biāo)表觀學(xué)習(xí)和背景抑制加入其它算法，因?yàn)榇蠖鄶?shù)基于孿生網(wǎng)絡(luò)的跟蹤算法仍缺乏模型的在線更新，該模塊的引入可能會(huì)在一定程度上解決該問題。隨著更多網(wǎng)絡(luò)結(jié)構(gòu)的提出，例如SiamRPN[7]，SiamDW[29]，SiamRPN++[30]，TADT[31]等，針對(duì)特征提取，能否引入更加魯棒的特征提取網(wǎng)絡(luò)也將是我們下一步工作研究的重點(diǎn)。

表7 本文算法與不同算法的跟蹤速度對(duì)比Table 7 Comparing our method with different trackers in terms of tracking speed