王譯萱 吳小俊

（江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，無(wú)錫，214122）

引 言

目標(biāo)跟蹤作為計(jì)算機(jī)視覺(jué)中的重要研究方向，在安防監(jiān)控、無(wú)人駕駛和智慧城市等方向有著廣泛的應(yīng)用[1-3]。跟蹤的主要目的是在連續(xù)的視頻序列中建立和更新目標(biāo)的動(dòng)態(tài)表觀模型，以此為依據(jù)獲得運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)和軌跡等，從而滿足軍用以及民用需求[4]。

歷經(jīng)30年的研究與發(fā)展，跟蹤算法的性能有了廣泛的提高，目前算法主要分為生成學(xué)習(xí)和鑒別學(xué)習(xí)兩大類(lèi)[5]。生成學(xué)習(xí)跟蹤算法對(duì)當(dāng)前幀目標(biāo)區(qū)域建模，在下一幀采取尋找與模型最為相似區(qū)域，以此確定目標(biāo)位置[6]。早期的相關(guān)工作主要有粒子濾波算法[7]、均值漂移跟蹤算法[8]和稀疏表示等跟蹤算法[9]等。生成學(xué)習(xí)類(lèi)算法的主要局限在于過(guò)分關(guān)注目標(biāo)本身的外觀信息，忽略了目標(biāo)外觀具有動(dòng)態(tài)性和隨機(jī)性等特點(diǎn)，因此不能準(zhǔn)確把握目標(biāo)外觀動(dòng)態(tài)信息，無(wú)法實(shí)現(xiàn)魯棒跟蹤。為了在跟蹤過(guò)程中引入背景信息，研究人員設(shè)計(jì)出了鑒別學(xué)習(xí)類(lèi)跟蹤算法，此類(lèi)算法將跟蹤問(wèn)題轉(zhuǎn)為分類(lèi)或回歸問(wèn)題，將目標(biāo)信息作為正樣本，背景信息為負(fù)樣本訓(xùn)練分類(lèi)器，將目標(biāo)從圖像背景中分離出來(lái)，以此實(shí)現(xiàn)跟蹤。近年來(lái)，基于鑒別學(xué)習(xí)類(lèi)的相關(guān)濾波跟蹤算法成為了研究熱點(diǎn)并受到了廣泛關(guān)注，該方法的設(shè)計(jì)初衷是學(xué)習(xí)得到一個(gè)對(duì)目標(biāo)響應(yīng)高而對(duì)背景響應(yīng)低的濾波器。通過(guò)濾波器模板和搜索區(qū)域的響應(yīng)值，判斷目標(biāo)位置。Bolme等[10]首先提出了輸出誤差最小平方和跟蹤算法(Minimum output sum of squared error，MOSSE)，通過(guò)頻率域特性緩解了訓(xùn)練過(guò)程中樣本數(shù)量不足的問(wèn)題。隨后，Henriques等[11]在MOSSE算法的基礎(chǔ)上利用循環(huán)結(jié)構(gòu)擴(kuò)充了訓(xùn)練樣本集，提出了循環(huán)結(jié)構(gòu)跟蹤算法（Circulant structure kernel，CSK）。在此基礎(chǔ)上，Henriques等[12]進(jìn)一步將原有的單通道灰度特征（Gray scale）擴(kuò)展為多通道的方向梯度直方圖特征（Histogram of oriented gradient，HoG），同時(shí)將核計(jì)巧（Kernel trick）加入到濾波器求解過(guò)程中，提出核化相關(guān)濾波跟蹤算法（Kernelized correlation filter，KCF）。為了解決跟蹤過(guò)程中目標(biāo)的尺度變化問(wèn)題，Danelljan等[13]提出了多尺度相關(guān)濾波跟蹤算法(Discriminative scale space tracking,DSST)，該方法針對(duì)目標(biāo)存在的尺度變化問(wèn)題，將單獨(dú)的尺度濾波器加入到算法中，通過(guò)尺度采樣和尺度回歸的方式計(jì)算目標(biāo)的尺度變化。為了將目標(biāo)的顏色信息引入跟蹤過(guò)程中，Danelljan和Bertinetto等分別提出了使用顏色名稱特征的自適應(yīng)顏色屬性實(shí)時(shí)跟蹤算法（Adaptive color accurate tracking,ACAT）[14]以及基于顏色直方圖獨(dú)立模板的相關(guān)濾波跟蹤算法（Complementary learners for real-time tracking,Staple）[15]。顏色特征（Color name,CN）在目標(biāo)發(fā)生形變、遮擋時(shí)具有良好的魯棒性，因此后續(xù)的相關(guān)濾波算法在特征提取階段多數(shù)都采用了HoG特征結(jié)合CN的方式增加跟蹤結(jié)果的可靠性。近年來(lái)大量?jī)?yōu)秀算法將深度特征引入相關(guān)濾波跟蹤框架中[16-18]，與傳統(tǒng)特征相比，深度特征包含更加豐富的語(yǔ)義信息，對(duì)目標(biāo)產(chǎn)生的旋轉(zhuǎn)、平移和縮放等具有較好的魯棒性[19,20]。盡管深度特征的提取過(guò)程較為復(fù)雜，但隨著計(jì)算機(jī)硬件的不斷發(fā)展，目前已經(jīng)可以通過(guò)圖形處理器（Graphics processing unit,GPU）實(shí)現(xiàn)深度特征的運(yùn)算，因此對(duì)基于深度特征的目標(biāo)跟蹤算法還有著重要的研究意義和價(jià)值。

本文在經(jīng)典相關(guān)濾波算法基礎(chǔ)上，提出了基于深度特征與局部約束掩膜(Local constrained mask,LCM)的相關(guān)濾波跟蹤算法。在濾波器的學(xué)習(xí)過(guò)程中，利用二值矩陣作為局部約束掩膜對(duì)濾波器邊緣能量分布進(jìn)行裁剪，對(duì)模板邊緣與測(cè)試圖像之間產(chǎn)生的響應(yīng)進(jìn)行抑制，提升了濾波器的鑒別能力；將通過(guò)ResNet50深度網(wǎng)絡(luò)提取到的深度特征加入跟蹤算法中，利用深度特征學(xué)習(xí)目標(biāo)表觀模型時(shí)，將目標(biāo)圖像通過(guò)旋轉(zhuǎn)、翻折和高斯模糊3種方式擴(kuò)充樣本數(shù)量，提升目標(biāo)模板的表達(dá)能力，最終采用深度特征結(jié)合傳統(tǒng)特征的組合形式，提高了復(fù)雜背景下跟蹤結(jié)果的準(zhǔn)確性和魯棒性。

1 多通道相關(guān)濾波算法

相關(guān)濾波跟蹤算法通過(guò)在目標(biāo)周?chē)⒉蓸訁^(qū)域，采集訓(xùn)練樣本實(shí)現(xiàn)濾波器的訓(xùn)練。通過(guò)濾波器和測(cè)試圖像之間產(chǎn)生的響應(yīng)值判斷目標(biāo)的當(dāng)前位置，響應(yīng)值最高的位置通常為候選目標(biāo)位置[5,11]。在采樣的過(guò)程中，相關(guān)濾波算法對(duì)目標(biāo)樣本進(jìn)行循環(huán)移位操作快速生成大量訓(xùn)練樣本，進(jìn)而通過(guò)離散傅里葉變換(Discrete Fourier transform,DFT)，將濾波器的求解過(guò)程轉(zhuǎn)換到頻率域進(jìn)行，其求解過(guò)程可視作優(yōu)化函數(shù)ε和求解濾波器h，即

式中：hd為待求解的濾波器，*表示循環(huán)卷積操作，fd為提取到的目標(biāo)特征，Nd為特征通道總和，g為對(duì)應(yīng)的高斯響應(yīng)，其峰值位于中心，λ為正則項(xiàng)系數(shù)，防止模型過(guò)擬合。對(duì)式(1)進(jìn)行離散傅里葉變換,可將循環(huán)卷積操作變?yōu)轭l域中的點(diǎn)乘,減少卷積耗時(shí)，即

式中：f?d和h?d分別為fd和hd的傅里葉變換，h?Hd代表h?d的復(fù)數(shù)共軛形式，對(duì)式(2)的求解為標(biāo)準(zhǔn)的嶺回歸問(wèn)題，因此相關(guān)濾波器hd在頻域內(nèi)有閉環(huán)解(Close-form solution)，即

式中：⊙表示頻率域中的點(diǎn)乘操作，式(3)的詳細(xì)推導(dǎo)過(guò)程請(qǐng)參閱文獻(xiàn)[5]。

考慮到目標(biāo)在跟蹤過(guò)程中的外觀變化，學(xué)習(xí)得到的濾波器需要在線更新，更新過(guò)程通常采用滑動(dòng)平均的方式，因此在第t幀視頻序列中相關(guān)濾波器h?的更新公式為

式中：η為模板更新速率，t為當(dāng)前幀數(shù)。

在新一幀的目標(biāo)檢測(cè)過(guò)程中，根據(jù)上一幀目標(biāo)的位置，提取測(cè)試圖像z和學(xué)習(xí)得到的濾波器h?進(jìn)行相關(guān)操作，得到當(dāng)前幀的目標(biāo)響應(yīng)，響應(yīng)值最高的位置為目標(biāo)位置，即

式中：R(z)為當(dāng)前幀的響應(yīng)值，F(xiàn)-1表示傅里葉逆變換。

2 多通道相關(guān)濾波算法的改進(jìn)

在多通道相關(guān)濾波算法的基礎(chǔ)上，本文提出基于深度特征與LCM的相關(guān)濾波跟蹤算法，利用學(xué)習(xí)得到的二值矩陣作為L(zhǎng)CM對(duì)濾波器進(jìn)行處理，消除濾波器模板的邊緣信息，實(shí)現(xiàn)擴(kuò)大目標(biāo)搜索區(qū)域的同時(shí)，降低循環(huán)樣本帶來(lái)的邊界效應(yīng)，獲得更高的跟蹤精度。

2.1 LCM的相關(guān)濾波跟蹤算法

2.1.1 局部掩膜

鑒別學(xué)習(xí)類(lèi)跟蹤算法的主要難點(diǎn)在于訓(xùn)練分類(lèi)器時(shí)的訓(xùn)練樣本過(guò)少，傳統(tǒng)相關(guān)濾波算法為了增加訓(xùn)練樣本的數(shù)量，對(duì)目標(biāo)周?chē)⒁粋€(gè)搜索區(qū)域，以區(qū)域內(nèi)的圖像作為原始樣本，在空間域內(nèi)采用循環(huán)移位的方式生成大量虛擬樣本，搜索區(qū)域越大，獲得的訓(xùn)練樣本數(shù)越多[20]。盡管該方式為算法提供了更多樣本，但這些虛擬樣本因受邊界效應(yīng)的影響，弱化了分類(lèi)器的鑒別能力，對(duì)算法的跟蹤精度造成影響，因此傳統(tǒng)方法只能將目標(biāo)搜索區(qū)域控制在相對(duì)較小的范圍內(nèi)。為了有效解決上述問(wèn)題，近年來(lái)的改進(jìn)算法,如空間正則化相關(guān)濾波器(Spatially regularized correlation filters,SRDCF)[21]和鑒別性空間通道可靠性相關(guān)濾波跟蹤算法(Channel spatial reliability discriminative correlation filter,CSRDCF)[22]通過(guò)抑制濾波器模板的邊緣信息，實(shí)現(xiàn)了目標(biāo)搜索區(qū)域的擴(kuò)大，有效提升了跟蹤結(jié)果的準(zhǔn)確性和魯棒性。

在此基礎(chǔ)上，本文提出了一種新型的掩膜操作，通過(guò)二值矩陣作為L(zhǎng)CM,在頻域與濾波器進(jìn)行點(diǎn)乘操作，即

式中，m為二值矩陣，其大小與與目標(biāo)搜索區(qū)域大小相同，訓(xùn)練時(shí)可由測(cè)試視頻序列中第1幀給定的目標(biāo)位置和大小求得，hm則表示與m點(diǎn)乘后的濾波器，點(diǎn)乘的過(guò)程中對(duì)目標(biāo)區(qū)域取1，保留目標(biāo)區(qū)域模板信息，模板邊緣區(qū)域取0，消除濾波器模板邊緣的能量，達(dá)到抑制邊界效應(yīng)的目的，在后續(xù)的跟蹤過(guò)程中，為保證m的準(zhǔn)確性，其大小始終與第一幀(Ground-truth)得到的結(jié)果保持不變。此外，由于本文提出的掩膜操作作用于濾波器模板，而并非直接作用于原始圖像，因此在訓(xùn)練階段不會(huì)因目標(biāo)運(yùn)動(dòng)產(chǎn)生干擾，造成跟蹤結(jié)果下降。與使用顏色直方圖前景掩膜的CSRDCF算法相比[21]，本文提出的二值矩陣掩膜無(wú)需獲取輸入圖像的顏色直方圖特征，因此減少了算法耗時(shí)。此外，本文根據(jù)目標(biāo)區(qū)域大小生成的掩膜具有更大的空間范圍，在跟蹤的過(guò)程中可以有效減少因使用感受野較大的深度特征而產(chǎn)生的信息丟失問(wèn)題，提升算法的跟蹤精度。本文提出的二值矩陣掩膜示意圖如圖1所示。

圖1 二值矩陣掩膜示意圖Fig.1 Schematic diagram of binary matrix mask

2.1.2 優(yōu)化過(guò)程

將式(6)作為約束條件加入損失函數(shù)式(1)中，即

采用增廣拉格朗日乘子法(Augmented Lagrange method,ALM)[23]對(duì)式(7)進(jìn)行優(yōu)化求解,優(yōu)化過(guò)程中需引入松弛變量h'd=hd，即

式中：yd為拉格朗日乘子，μ為懲罰系數(shù)。式(7，8)的詳細(xì)推導(dǎo)過(guò)程請(qǐng)參閱文獻(xiàn)[22]。對(duì)式(8)采用交替方向乘子法(Alternating direction method of multipliers,ADMM)[24],將式(8)分為2個(gè)子問(wèn)題，交替求解，即

式(9)需要利用帕薩瓦爾定理(Parseval’s theorem)[18]轉(zhuǎn)換到頻域內(nèi)求解,即

對(duì)式(10)中h'd和式(11)中的?d分別求偏導(dǎo)數(shù)，得到2個(gè)變量的閉環(huán)解，即

利用式(12，13)進(jìn)行迭代求解，隨著迭代次數(shù)的增加，松弛變量h'd的值會(huì)無(wú)限逼近于hd，因此本文將選取作為濾波器最終訓(xùn)練模板。

yd和μ在迭代的過(guò)程中需要更新，更新公式為

2.2 深度特征的引入以及訓(xùn)練樣本擴(kuò)充

目前大部分針對(duì)相關(guān)濾波跟蹤的改進(jìn)算法在特征提取階段均采用HoG結(jié)合CN的形式，這種傳統(tǒng)特征組合在跟蹤速度上具有一定優(yōu)勢(shì)，但在目標(biāo)發(fā)生遮擋、尺度變化、背景雜亂和形變以及復(fù)雜背景下表現(xiàn)較差[14-20]。為了進(jìn)一步提升算法性能，本文在HoG和CN的基礎(chǔ)上[21]，將通過(guò)深度網(wǎng)絡(luò)提取到的ResNet50深度特征引入跟蹤算法中，深度特征是網(wǎng)絡(luò)通過(guò)大數(shù)據(jù)自動(dòng)學(xué)習(xí)得到的特征，其中包含大量參數(shù)。近些年來(lái)，深度特征被廣泛應(yīng)用在圖片檢索和分類(lèi)等任務(wù)中[19]，與傳統(tǒng)特征相比，深度特征具有較大的感受野，魯棒性較好[25]。為了獲取更為魯棒的深度特征，本文選擇ResNet50網(wǎng)絡(luò)中第4個(gè)卷積塊的res4ex層的輸出作為輸入特征，該輸出共包含1024個(gè)特征圖譜。與淺層的網(wǎng)絡(luò)輸出相比，該層輸出的特征圖譜感受野較大，并包含較為豐富的語(yǔ)義信息，具有很強(qiáng)的魯棒性，因此可有效提升本文算法的跟蹤精度和魯棒性。為了進(jìn)一步增強(qiáng)深度特征模板的表達(dá)能力，本文利用深度特征具有豐富語(yǔ)義信息且對(duì)目標(biāo)產(chǎn)旋轉(zhuǎn)、縮放和平移具有不變性等優(yōu)勢(shì)，將輸入目標(biāo)圖像進(jìn)行旋轉(zhuǎn)、翻折和高斯模糊3種方式進(jìn)行處理，擴(kuò)充樣本數(shù)量，使深度特征模板學(xué)習(xí)到更為豐富的目標(biāo)信息，樣本擴(kuò)充的示意圖如圖2所示。

圖2 訓(xùn)練樣本擴(kuò)充意圖Fig.2 The diagram of the training sample augmentation.

2.3 尺度估計(jì)

針對(duì)目標(biāo)的尺度變化問(wèn)題，本文采用文獻(xiàn)[2,13]中的尺度估計(jì)法估算目標(biāo)尺度大小，根據(jù)估測(cè)出的目標(biāo)位置，利用尺度濾波器在尺度空間進(jìn)行搜索，獲取目標(biāo)的尺度響應(yīng)，進(jìn)而實(shí)現(xiàn)準(zhǔn)確的目標(biāo)尺度估計(jì)。

2.4 算法流程圖

本文算法的完整流程圖如圖3所示，算法首先根據(jù)初始幀給出的目標(biāo)位置和大小獲取用于采集訓(xùn)練樣本的目標(biāo)區(qū)域，并根據(jù)目標(biāo)區(qū)域生成本文提出的二值矩陣掩膜，其次，對(duì)采集到的訓(xùn)練樣本進(jìn)行特征提取，并通過(guò)固定迭代次數(shù)的增廣拉格朗日乘子法求解濾波器模板，最后將訓(xùn)練好的濾波器模板與測(cè)試圖像進(jìn)行相關(guān)操作，獲取相應(yīng)的目標(biāo)響應(yīng)，根據(jù)響應(yīng)值的大小判斷目標(biāo)的當(dāng)前位置，并通過(guò)尺度濾波器獲取目標(biāo)的尺度信息。

圖3 算法流程圖Fig.3 Flow chart of tracking algorithm

3 實(shí)驗(yàn)結(jié)果與分析

3.1 測(cè)試數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)測(cè)試采用的數(shù)據(jù)集為OTB-100(Object Tracking Benchmark 100,OTB100)，共包含100個(gè)視頻序列，采用一次通過(guò)評(píng)估模式(One pass evaluation,OPE),評(píng)估標(biāo)準(zhǔn)采用成功率曲線面積（Area under curve,AUC）、距離精度（Distance precision,DP）評(píng)價(jià)指標(biāo)。成功率曲線面積AUC計(jì)算重疊率大于某個(gè)閾值的幀數(shù)占總幀數(shù)的百分比，其結(jié)果用曲線下面積AUC表示，DP為中心誤差小于20個(gè)像素的幀數(shù)占幀數(shù)總體的百分比[4]。

3.2 總體性能對(duì)比實(shí)驗(yàn)

本節(jié)主要在OTB測(cè)試數(shù)據(jù)集中100組具有復(fù)雜屬性的視頻序列上，利用OPE模式，將所提算法與5種主流算法進(jìn)行對(duì)比測(cè)試，得到成功率曲線和距離精度曲線的比較結(jié)果。實(shí)驗(yàn)結(jié)果如圖4所示。

從圖4中的實(shí)驗(yàn)對(duì)比結(jié)果可以看出，本文采用HoG+CN特征組合的跟蹤算法的平均AUC值為61.0%，比CSRDCF算法提升約3.3%，比SRDCF算法提升約1.2%，因此在不使用深度特征的情況下，本文算法仍然具有一定改進(jìn)效果；本文在HoG和CN基礎(chǔ)上加入ResNet50深度特征的算法Ours(ResNet50)在距離精度和成功率上明顯優(yōu)于其他算法，平均AUC值為67.6%，平均DP值為89.2%，比次佳效果算法CCOT提升大約5%，改進(jìn)效果較為明顯。主要原因?yàn)椋海?）本文算法在二值矩陣掩膜約束的將目標(biāo)搜索區(qū)域擴(kuò)大為目標(biāo)大小的4倍，因此訓(xùn)練階段獲取了數(shù)量更多的訓(xùn)練樣本，同時(shí)由于LCM對(duì)濾波器的約束，緩解了搜索窗口擴(kuò)大后的邊界效應(yīng)問(wèn)題，不會(huì)因搜索窗口擴(kuò)大導(dǎo)致訓(xùn)練樣本質(zhì)量降低，保證了訓(xùn)練樣本的質(zhì)量，提升了分類(lèi)器的鑒別能力；（2）ResNet50深度特征在復(fù)雜背景下具有很強(qiáng)的魯棒性，一定程度上提升了算法整體的跟蹤精度。

圖47種跟蹤算法的成功率曲線和距離精度曲線對(duì)比圖Fig.4 Precision plots and success rate plots of seven trackers on OTB-100 benchmark

3.3 樣本擴(kuò)充對(duì)比實(shí)驗(yàn)

為了提升深度特征的目標(biāo)模板表達(dá)能力，將輸入目標(biāo)圖像進(jìn)行旋轉(zhuǎn)、翻折以及高斯模糊等處理，擴(kuò)充樣本數(shù)量，使深度特征模板學(xué)習(xí)到更為豐富的目標(biāo)語(yǔ)義信息。為了說(shuō)明樣本擴(kuò)充實(shí)驗(yàn)的有效性，本文在該部分實(shí)驗(yàn)去除了3.2節(jié)中算法使用的HoG和CN特征，僅測(cè)試單純使用ResNet50深度特征時(shí)，進(jìn)行樣本擴(kuò)充和不作任何處理2種方式在OTB-100測(cè)試集中針對(duì)遮擋（Occlusion,OCC）、背景雜亂（Background clutter,BC）、形變（Deformation,DEF）、運(yùn)動(dòng)模糊（Motion blur,MB）、平面內(nèi)旋轉(zhuǎn)（Inplane rotation,IPR）、尺度變化（Scale variations,SV）6種挑戰(zhàn)下的平均AUC和DP，實(shí)驗(yàn)結(jié)果如表1、2所示。通過(guò)表1，2中顯示的AUC和DP值可以看出，使用樣本擴(kuò)充方式得到的AUC和DP值總體上普遍高于不作處理的方式，該實(shí)驗(yàn)結(jié)果驗(yàn)證了對(duì)深度特征采取樣本擴(kuò)充可以一定程度上提升跟蹤結(jié)果的精度和魯棒性。

3.4 復(fù)雜背景條件下實(shí)驗(yàn)

為了充分驗(yàn)證本文算法效果，本文選取了包括復(fù)雜背景、目標(biāo)遮擋、目標(biāo)旋轉(zhuǎn)、光照變化等干擾視頻序列，將本文采用HoG、CN和ResNet50深度特征的跟蹤算法與5種相關(guān)濾波跟蹤算法進(jìn)行對(duì)比測(cè)試，測(cè)試視頻序列分別為MotorRolling、BikerSkiing、Skating1、Matrix以及 Lemming，其相關(guān)屬性如表3所示，本文算法與5種算法在上述視頻序列中的跟蹤效果圖如圖5所示。

表1 樣本擴(kuò)充實(shí)驗(yàn)6種屬性成功率結(jié)果Tab.1 Six attributes AUC results of training set augmentation

表2 樣本擴(kuò)充實(shí)6種屬性距離精度結(jié)果Tab.2 Six attributes DP results of training set augmentation

圖5(a)所示的MotoRolling視頻中，目標(biāo)在運(yùn)動(dòng)的過(guò)程中發(fā)生了旋轉(zhuǎn)變化，除本文算法外其余算法均產(chǎn)生跟蹤失敗，主要原因?yàn)槟繕?biāo)旋轉(zhuǎn)時(shí)傳統(tǒng)特征的魯棒性較差，對(duì)旋轉(zhuǎn)變化較為敏感，本文算法采用了較為魯棒的深度特征，因此在目標(biāo)運(yùn)動(dòng)發(fā)生變化時(shí)，依然可以保持魯棒跟蹤；圖5(b)所示的Skating1視頻中，當(dāng)目標(biāo)發(fā)生遮擋時(shí)和光照變化時(shí)，只有本文算法、CCOT以及CSRDCF可以較為準(zhǔn)確地跟蹤目標(biāo)，在視頻將要結(jié)束時(shí)，本文算法對(duì)目標(biāo)尺度估計(jì)較為精確，效果上優(yōu)于其他算法；圖5(c)所示的Matrix視頻中，目標(biāo)的運(yùn)動(dòng)過(guò)程較為劇烈，背景與目標(biāo)相似度極高，較為雜亂，在此環(huán)境下，只有本文算法以及SRDCF算法可以跟蹤到目標(biāo)，同時(shí)本文算法的跟蹤準(zhǔn)確度略微優(yōu)于SRDCF；圖5(d)所示的Lemming視頻中，目標(biāo)發(fā)生了長(zhǎng)時(shí)間遮擋，本文算法依靠較大的目標(biāo)搜索和采樣區(qū)域，依然可以準(zhǔn)確地追蹤到目標(biāo)；圖5(e)所示的Biker視頻中，跟蹤的主要難點(diǎn)在于目標(biāo)發(fā)生的平面外旋轉(zhuǎn)，測(cè)試算法中除本文方法外的其余算法均發(fā)生跟蹤漂移或失敗，在視頻結(jié)束時(shí)，只有本文算法可以較為準(zhǔn)確地跟蹤目標(biāo)。綜上所述，本文算法在遮擋、背景雜亂、光照變化、目標(biāo)形變以及旋轉(zhuǎn)等干擾下，具有較強(qiáng)的魯棒性。

表3 測(cè)試視頻屬性Tab.3 Video sequence attributes

4 結(jié)束語(yǔ)

本文在相關(guān)濾波跟蹤算法的基礎(chǔ)上，提出一種基于深度特征與LCM的相關(guān)濾波算法。該方法首先利用二值矩陣作為局部掩膜消除濾波器模板邊緣的能量分布，降低循環(huán)樣本帶來(lái)的邊界效應(yīng)，以此為基礎(chǔ)擴(kuò)大目標(biāo)的搜索區(qū)域，進(jìn)而獲取更多的訓(xùn)練樣本；在經(jīng)典算法中的HoG和CN特征的基礎(chǔ)上，加入ResNet50深度特征，利用深度特征魯棒性較強(qiáng)且具有豐富語(yǔ)義信息等特點(diǎn)，通過(guò)旋轉(zhuǎn)、翻折和高斯模糊3種方式對(duì)目標(biāo)樣本進(jìn)行處理，擴(kuò)充了訓(xùn)練樣本集。與其他算法的對(duì)比實(shí)驗(yàn)結(jié)果表明，本文算法在跟蹤精度和魯棒性提升上具有一定的改進(jìn)。算法目前存在的主要缺陷為無(wú)法滿足實(shí)時(shí)性，在下一步的研究工作中可以考慮對(duì)提取得到的深度特征實(shí)現(xiàn)自適應(yīng)降維，改善算法的實(shí)時(shí)性。

圖56種跟蹤算法在5個(gè)視頻序列的跟蹤結(jié)果比較Fig.5 Tracking results of six algorithms on five video sequences(Ours,CCOT,SRDCF,BACF,CSRDCF,KCF)