王思奎，劉云鵬，亓 琳，張鐘毓，林智遠

1.中國科學(xué)院 沈陽自動化研究所，沈陽110016

2.中國科學(xué)院 機器人與智能制造創(chuàng)新研究院，沈陽110016

3.中國科學(xué)院大學(xué)，北京100049

4.中國科學(xué)院 光電信息處理重點實驗室，沈陽110016

1 引言

目標(biāo)跟蹤利用圖像處理、機器學(xué)習(xí)和計算機視覺等相關(guān)技術(shù)對視頻圖像序列進行處理和分析，并在連續(xù)的圖像序列中找到目標(biāo)的位置和相關(guān)信息。目標(biāo)跟蹤在交通、生活、軍事等領(lǐng)域得到了廣泛的應(yīng)用，但運動目標(biāo)普遍具有尺度變化、背景干擾、形狀變化、障礙物遮擋等特點[1]，這些特點使得實現(xiàn)魯棒的目標(biāo)跟蹤算法仍面臨巨大挑戰(zhàn)。

基于相關(guān)濾波的跟蹤算法近年來受到了較大的關(guān)注，其最初代表作是Blome 等[2]提出的基于最小二乘方法的相關(guān)濾波算法。該算法首次將相關(guān)濾波應(yīng)用于目標(biāo)跟蹤，其跟蹤器的求解可以轉(zhuǎn)換為傅里葉頻域的點乘運算，避免了高維度矩陣求逆，使得跟蹤速度大幅提升，但是其跟蹤精度較低。Danelljan等[3]提出的空間判別尺度估計算法引入多通道特征，并通過訓(xùn)練一維尺度濾波器實現(xiàn)了目標(biāo)尺度估計。此算法速度較低，且精度仍有待提升[4]。Henriques 等[5]提出了核相關(guān)濾波的跟蹤算法，使用目標(biāo)周圍區(qū)域的循環(huán)矩陣采集正負樣本，減少訓(xùn)練采樣，大幅提高了運算速度，但該算法無法適應(yīng)尺度變化。萬欣等[6]提出了基于加權(quán)全局上下文感知的方法來改善抗干擾能力，其抗遮擋能力有待提升。近年來，深度學(xué)習(xí)在目標(biāo)檢測和識別等領(lǐng)域中取得較大突破[7]，許多學(xué)者將深度學(xué)習(xí)模型引入到目標(biāo)跟蹤中[8-10]。吳剛等[11]引入交替方向乘子方法，結(jié)合深度特征改善了跟蹤方法應(yīng)對快速運動及遮擋情況的能力，但該方法抗干擾能力不足。Zhu Z 等[12]提出了利用孿生網(wǎng)絡(luò)深層卷積特征滑窗匹配的方法，此方法精度得到一定提升，但對相似語義性特征辨別能力較差。劉芳等[13]使用深度特征構(gòu)造模板庫，結(jié)合粒子濾波方法進行匹配跟蹤，實現(xiàn)了較好的跟蹤效果，但由于其使用多個仿射樣本提取深層卷積特征來更新模板，運算量過大導(dǎo)致算法實時性降低，這也是大多數(shù)深度學(xué)習(xí)類算法在跟蹤領(lǐng)域應(yīng)用的缺點。

上述算法的共同點為：通過訓(xùn)練單一的濾波器進行目標(biāo)跟蹤，濾波器在找到新位置后進行迭代更新。但現(xiàn)實場景往往是復(fù)雜多變的，多數(shù)基于單一濾波器的跟蹤算法不僅對于背景混疊以及遮擋等場景魯棒性差，目標(biāo)跟丟后無法找回，而且對于復(fù)雜特征計算還存在實時性等問題。

針對以上問題，本文提出了一種基于背景約束與卷積特征的目標(biāo)跟蹤方法（TBCCF）。該方法在跟蹤階段濾波器的訓(xùn)練求解中，不僅計算目標(biāo)區(qū)域，而且考慮目標(biāo)周圍的背景信息，同時融合多種特征以改善跟蹤響應(yīng)。此外還設(shè)計了記憶濾波器配合峰值旁瓣比分析跟蹤結(jié)果，若目標(biāo)被遮擋或丟失，通過以卷積特征為基礎(chǔ)的檢測器對目標(biāo)重捕。在計算中對多種特征使用了降維策略來改善跟蹤速度。此方法在跟蹤目標(biāo)時，可以充分結(jié)合相關(guān)濾波的快速性與深度特征的魯棒性特點。Visual Tracking Benchmark 數(shù)據(jù)集的50 個視頻序列上的實驗結(jié)果驗證了所提出算法的有效性。

2 多通道特征表征及降維

2.1 多通道特征

特征是影響目標(biāo)跟蹤性能最重要的因素之一。HOG 特征是圖像處理領(lǐng)域常見的視覺特征描述子，該特征能表征局部目標(biāo)梯度方向分布，且對圖像光照的變換能保持良好的不變性，因此該特征廣泛應(yīng)用在目標(biāo)檢測與跟蹤領(lǐng)域[14]。fHOG 特征源自文獻[15]，該特征在HOG 特征基礎(chǔ)上改進，其作者基于HOG 特征原理，通過局部數(shù)據(jù)歸一化、線性插值與特征分析等方法，新定義了31 維fHOG 特征，分為18 維對方向敏感的、9 維對方向不敏感的以及4 維方向累加的梯度特征。通過大量數(shù)據(jù)驗證，該特征比HOG 特征得到了更加魯棒的效果。本文方法采用fHOG特征替代HOG特征。

由于單一的特征難以適應(yīng)復(fù)雜場景的挑戰(zhàn)，特征融合成為跟蹤領(lǐng)域的一種趨勢。本文方法采用顏色特征作為輔助，與fHOG特征產(chǎn)生的響應(yīng)加權(quán)融合來獲取最佳位置估計。顏色特征（CN）將圖像的RGB 三通道特征細化為黑、藍、棕、灰、綠、橙、粉、紫、紅、白和黃共11種顏色空間特征[16]。由于fHOG 特征基于梯度的特性，其對快速形變的適應(yīng)能力較差，而細化后的顏色特征對樣本形狀變化不敏感，求得的響應(yīng)特征圖能彌補fHOG特征跟蹤器的不足。上述特征的可視化效果如圖1。

2.2 特征降維

跟蹤算法求解時，計算量往往與特征維數(shù)d 成線性關(guān)系。通過特征可視化發(fā)現(xiàn)，圖像多維特征有冗余信息，冗余信息不僅耗費計算資源，還會導(dǎo)致跟蹤器求解過擬合。對特征進行降維可降低計算量，加快計算速度。在此基礎(chǔ)上，還可以擴大搜索窗以更好地應(yīng)對快速運動，所以對特征的降維是有必要的[16]。PCA降維可以把高維相關(guān)變量重塑成線性無關(guān)的低維變量，是一種盡可能減少信息損失的情況下降低數(shù)據(jù)維度的方法。本文方法對樣本fHOG特征和顏色特征進行PCA降維預(yù)處理。

圖1 fHOG特征與顏色特征

假定原濾波器分子為N=GF,F 為樣本的多通道特征，對其均值歸一化后求解目標(biāo)模版ut,ut用來構(gòu)造投影矩陣Pt，矩陣Pt定義了一個特征投影的低維的子空間，其維度為k,k 為特征壓縮后的目標(biāo)維度，通過最小化重構(gòu)目標(biāo)模板ut的誤差獲取Pt：

Pt的求解通過目標(biāo)模版ut特征值分解得到，投影矩陣Pt的行取Ht前k 個最大特征值對應(yīng)的特征向量。濾波器更新時，用Pt對目標(biāo)模板ut進行降維，將ut的列投影到Pt的行元素為基的空間里得到降維后的特征。降維后原濾波器分子的計算如下：

3 基于背景約束與卷積特征的跟蹤方法

3.1 背景約束相關(guān)濾波跟蹤

相關(guān)濾波方法進行目標(biāo)跟蹤，先給定一個目標(biāo)響應(yīng)y，根據(jù)輸入圖像A，求解一個相關(guān)濾波器，也就是濾波算子w。其求解目標(biāo)函數(shù)如下：

式中，arg min f(w)是指使函數(shù)f(w)取得其最小值的所有自變量w 的集合。w 即待求解的相關(guān)濾波器參數(shù)，w ∈Rn,A 為目標(biāo)圖像區(qū)域特征，?代表相關(guān)濾波運算，y 為高斯目標(biāo)響應(yīng)，λ1項為防止濾波算子w 求解過擬合的正則項。

使用濾波算子w 在新一幀圖像搜索區(qū)域進行滑窗并計算每個對應(yīng)位置乘積之和得到響應(yīng)圖y?，這種運算為“相關(guān)運算”[2]。它能夠使目標(biāo)與搜索區(qū)域在最相似處取得響應(yīng)峰值，并在響應(yīng)圖y?峰值處確定目標(biāo)位置。

使用相關(guān)濾波方法進行跟蹤時，求得的濾波算子w的大小與搜索窗大小是對應(yīng)的。擴大搜索區(qū)域可改善目標(biāo)快速運動出視野導(dǎo)致的目標(biāo)丟失問題，使得跟蹤更魯棒。但擴大搜索窗會使濾波器求解時學(xué)習(xí)到更多背景信息[17]。因為相關(guān)運算可用卷積運算表示，由卷積定理，濾波器w 的求解通過快速傅里葉變換（FFT）在頻域進行加速[2]，在計算時，F(xiàn)FT 將圖像信號進行循環(huán)拼接，當(dāng)搜索窗擴大后，包含目標(biāo)的拼接樣本以及相似拼接背景會被囊括到濾波器的計算求解區(qū)域，在濾波器參數(shù)回歸過程中，包含目標(biāo)的拼接邊緣被抑制，背景信息對應(yīng)增強，導(dǎo)致求得的濾波器在新的圖像搜索區(qū)域產(chǎn)生誤判，跟蹤產(chǎn)生漂移，經(jīng)過錯誤累積，最終目標(biāo)丟失。

為了抑制背景信息，本文以原目標(biāo)函數(shù)為基礎(chǔ)，構(gòu)建了新的背景正則約束目標(biāo)函數(shù)：

式中，λ2項為本文設(shè)計的與背景響應(yīng)相關(guān)的正則約束項，Ai為背景圖像區(qū)域特征。

公式求解可以通過一個變換來實現(xiàn)，將式（5）中λ2約束項與目標(biāo)函數(shù)第一項合并并展開，將y 與i 個零元素合并重組，如式（6），背景圖像樣本Ai對應(yīng)的響應(yīng)為0，這樣在相關(guān)濾波器求解時就限制了背景區(qū)域?qū)诵哪繕?biāo)信息的干擾。其形式如下：

將目標(biāo)與背景區(qū)域A0～Ak的d 維特征展開，用B矩陣表示，B ∈R(k+1)n×nd，用Y 表示響應(yīng)矩陣，Y ∈R(k+1)n表示展開后的濾波算子，wˉ∈Rdn：

通過以上變換，目標(biāo)函數(shù)轉(zhuǎn)化為：

目標(biāo)函數(shù)對wˉ求導(dǎo)，令導(dǎo)數(shù)為零，可解得：

前面提到，相關(guān)運算可用卷積運算表示，通過卷積定理，濾波器wˉ的元素求解在頻域進行，即點對點Hadamard 積運算，其維度與特征A 的維度一一對應(yīng)，所以濾波器某一維度p 在頻域可以表示為：

其中，j,l 屬于{1,2,…,d},^代表頻域計算，⊙代表點乘，對于新的圖像Z ，其對應(yīng)響應(yīng)：

如圖2 中，對于顏色特征，以同樣的方式訓(xùn)練得到其響應(yīng)函數(shù)rColorp。通過響應(yīng)圖的融合將兩種方式求得的響應(yīng)結(jié)果結(jié)合，得到最終的響應(yīng)：

在最大響應(yīng)處找到目標(biāo)位置，并更新濾波器：

圖3選取4種熱門相關(guān)濾波方法SRDCF（綠）、Staple（藍）、KCF（黑）、DSST（粉）與本文方法（TBCCF）（紅）在混雜背景環(huán)境下進行了對比。前面已經(jīng)提到，由于在跟蹤場景中相似混疊背景造成濾波器被污染，多數(shù)相關(guān)濾波算法在第98幀發(fā)生漂移，圖中，2.31為目標(biāo)區(qū)域峰值響應(yīng)，2.55為背景干擾響應(yīng)。本文方法經(jīng)過背景約束優(yōu)化，濾波器能避免污染并保持較好的峰值響應(yīng)2.31，因此可得到更好的跟蹤效果。

圖3 背景約束跟蹤效果與濾波器響應(yīng)圖

圖4跟蹤精度曲線可看出，在混雜背景下本文方法比其他相關(guān)濾波方法的跟蹤性能有明顯優(yōu)勢。

3.2 尺度自適應(yīng)計算及加速

圖4 混雜背景下算法跟蹤精度對比

DSST 算法[3]提出，跟蹤器確定目標(biāo)位置后，在該位置處為目標(biāo)尋找一個最佳尺度。此方式廣泛應(yīng)用于多數(shù)跟蹤算法。其最佳尺度通過求解一個一維尺度濾波器得到。以大小為m×n 的目標(biāo)為中心，取尺度變化因子σ,設(shè)置尺度池γ,γ 取值如下：

截取目標(biāo)區(qū)域若干個不同尺度的圖像樣本，其尺度大小為anm×ann，將這些大小不同的樣本通過線性插值或壓縮的方式重新統(tǒng)一成m×n 大小，提取其特征并延展成一維向量，如圖2 中尺度濾波器示意圖所示，將這些尺度不同的向量進行訓(xùn)練得到一維尺度濾波器，訓(xùn)練方式同式（4）。當(dāng)新一幀圖片位置確定后，用尺度濾波器匹配新位置提取的不同尺度一維向量特征，得到新位置的最佳尺度估計。其更新方式與式（14）相同。

以上尺度計算方法計算中存在一個問題，即由于提取的一維向量長度為圖像寬高的乘積，其元素數(shù)往往大于1 000，導(dǎo)致運算量較大，因此對尺度計算降維是有必要的。但如果采用PCA 方法直接降維，計算協(xié)方差矩陣的特征值分解時，需要計算元素數(shù)大于1 000的方陣，為避免這一問題，采用矩陣QR分解的方式逐步分解矩陣。用較小的運算復(fù)雜度獲得投影矩陣，最后選取投影矩陣前k 列得到投影矩陣，則訓(xùn)練樣本特征X 和檢測樣本特征Z 可分別表示為：

使用Matlab對降維數(shù)據(jù)進行可視化分析，圖5為不同降維空間維度k 下投影特征對總特征的貢獻度，其由各特征向量在數(shù)據(jù)表征中所占的權(quán)重比例計算得來。由圖可知，當(dāng)降維維度k=17 時，數(shù)據(jù)表征的總損失不超過2%，但尺度計算復(fù)雜度可以由33mn lb(mn)降到17mn lb(mn)，即尺度因子的求解速度提升將近1倍。所以本文方法在實際計算中，選擇將目標(biāo)尺度由S=33 降為SP=17。

圖5 尺度因子降維分析

3.3 目標(biāo)重檢測

3.3.1 跟蹤結(jié)果置信度

相關(guān)濾波類的跟蹤方法是模板類的跟蹤方法，為適應(yīng)目標(biāo)的變化，模板以一定的更新速率學(xué)習(xí)跟蹤結(jié)果區(qū)域目標(biāo)的新特征。當(dāng)遮擋或劇烈形變后，算法容易產(chǎn)生漂移，使得濾波器學(xué)習(xí)到污染后的圖像特征，非目標(biāo)特征的累積最終導(dǎo)致跟蹤失敗[18]，使實際應(yīng)用效果受到很大的影響。MOSSE[2]算法提出使用峰值旁瓣比PSR（Peak to Sidelobe Ratio）的方法判斷目標(biāo)是否被遮擋，即選擇目標(biāo)最大響應(yīng)ymax與其周圍11×11 窗口區(qū)域外的旁瓣的均值μs和標(biāo)準(zhǔn)差σs來計算峰值旁瓣比PSR：

PSR能夠反映響應(yīng)圖峰值波動情況，但當(dāng)目標(biāo)產(chǎn)生快速移動或嚴(yán)重混疊時，其PSR響應(yīng)規(guī)律與遮擋時比較相似，僅僅使用峰值旁瓣比，無法反映目標(biāo)被遮擋或丟失。

本文方法通過訓(xùn)練記憶濾波器評估跟蹤結(jié)果。如圖2 所示，記憶濾波器額外學(xué)習(xí)核心目標(biāo)區(qū)域的特征。當(dāng)跟蹤器確定新一幀圖像目標(biāo)位置時，從新的目標(biāo)位置處提取核心區(qū)域特征，使用訓(xùn)練好的記憶濾波器對該特征濾波，其響應(yīng)既能作為跟蹤器的響應(yīng)置信度，同時可以配合峰值旁瓣比判斷目標(biāo)是否被遮擋或丟失。

在訓(xùn)練記憶濾波器時，其目標(biāo)函數(shù)與跟蹤階段的求解方式相同，但記憶濾波器只提取目標(biāo)核心區(qū)域小圖像樣本的fHOG和灰度特征，不需要背景約束。訓(xùn)練濾波器的同時，設(shè)置一個記憶池，記憶最近目標(biāo)發(fā)生最大變化的三個姿態(tài)以及對應(yīng)的濾波器參數(shù)，其中分別記錄最近10 幀記憶濾波器在閾值響應(yīng)內(nèi)最小與最大時刻所對應(yīng)的濾波器參數(shù)，為符合閾值的記憶濾波器實時參數(shù)。

為防止模型被污染，采取一個自適應(yīng)的條件策略來更新記憶濾波器：如果記憶濾波器檢測置信度達到閾值要求ηt，則認(rèn)為跟蹤結(jié)果正確；如果置信度達到閾值要求ηlr，則更新記憶濾波器模型；如果達不到閾值要求，目標(biāo)可能被遮擋或丟失，此時配合峰值旁瓣比閾值Ω ，判斷物體有沒有被遮擋或跟蹤失敗。這里ηlr＞ηt，記憶濾波器更新條件同式（14），更新方式與跟蹤階段相同。

式（18）中κmem-confi表示濾波器的動作，θl表示更新記憶濾波器參數(shù)，1 表示跟蹤成功，0 表示目標(biāo)可能被遮擋或丟失，此時調(diào)用檢測器。

3.3.2 分層卷積特征重檢測器

近年來，深度學(xué)習(xí)在目標(biāo)檢測和識別領(lǐng)域取得較大突破，利用卷積神經(jīng)網(wǎng)絡(luò)提取的淺層特征有豐富的輪廓特征，有助于目標(biāo)的精確定位，深層特征有良好的語義信息，有助于目標(biāo)的查找識別[19]。

在目標(biāo)跟蹤過程中，若目標(biāo)丟失，借助基于深度學(xué)習(xí)的檢測方法進行目標(biāo)重捕獲，可提升跟蹤算法的可靠性。本文方法使用在Imagenet 上預(yù)訓(xùn)練了上千類的VGGNet-19網(wǎng)絡(luò)提取圖像卷積特征并重檢測目標(biāo)位置，但卷積神經(jīng)網(wǎng)絡(luò)的需要離線訓(xùn)練，在實際應(yīng)用中，其預(yù)訓(xùn)練的物體類別無法概括所有類別，導(dǎo)致在實際應(yīng)用中，無法識別個別目標(biāo)。

為了更好地在通用場景應(yīng)用基于深度學(xué)習(xí)的目標(biāo)丟失找回機制，本文結(jié)合相關(guān)濾波方法構(gòu)建了帶初始化的卷積特征重檢測框架。其工作機制如圖6所示，首先在跟蹤第一幀指定目標(biāo)的同時，對重檢測框架進行初始化。即使用VGGNet-19 提取目標(biāo)第3、4、5 個卷積塊最后一層（conv3_4，conv4_4，conv5_4）的卷積特征，然后將提取的卷積特征線性插值到同樣大小的尺寸，選擇合適的維度對不同層的卷積特征進行PCA降維并分別求解三個不同層對應(yīng)的濾波器。其目標(biāo)函數(shù)均為：

式中，Cl為分層卷積特征。將初始化得到的三個重檢測濾波器存儲，相當(dāng)于記憶了目標(biāo)的特征。這樣就避免了個別目標(biāo)無法識別的問題。

圖6 重檢測機制示意圖

在正常的跟蹤中，僅使用背景約束的相關(guān)濾波跟蹤方法，當(dāng)目標(biāo)被遮擋時，跟蹤器通過記憶濾波器與PSR置信機制感知目標(biāo)丟失，并激活初始化存儲的重檢測器在更大的區(qū)域檢測目標(biāo)。重檢測時，首先由Conv5_4深層特征濾波器感知語義目標(biāo)大致位置，然后逐層前向遞推更細粒度的目標(biāo)精確坐標(biāo)。卷積特征響應(yīng)圖gcnn通過加權(quán)組合[20]獲得：

式中，ν1、ν2、ν3代表不同卷積特征響應(yīng)圖權(quán)重，w 代表卷積層訓(xùn)練的濾波器，Cconvn_4為重檢測時VGGNet-19網(wǎng)絡(luò)提取的不同層卷積特征。在響應(yīng)圖gcnn峰值處確定目標(biāo)位置。對于檢測的結(jié)果，使用記憶池的三個記憶濾波器分別進行置信度檢測：如果記憶池最大置信度結(jié)果達到閾值要求ηt以及峰值旁瓣比閾值要求Ω 即認(rèn)為找回了目標(biāo)，此時關(guān)閉重檢測器，重啟跟蹤器；如果記憶池最大置信度結(jié)果達到閾值要求ηlr以及峰值旁瓣比閾值要求Ω ，則更新檢測器模型；如果達不到閾值要求則繼續(xù)檢測。這里ηlr＞ηt，檢測器更新條件如式（21）：

式中，κcnn-confi為檢測器動作信號，θ 為更新檢測器參數(shù)并關(guān)閉檢測器，0 代表目標(biāo)未出現(xiàn)，檢測器繼續(xù)檢測，1代表重捕到目標(biāo)退出檢測。至此重檢測過程結(jié)束，返回背景約束流程繼續(xù)跟蹤。

使用純卷積特征濾波器在10個OTB復(fù)雜場景數(shù)據(jù)集（Basketball，Bolt，Car1，Deer，Doll，F(xiàn)aceOcc1，Girl，Skiing，Suv，Woman）上進行性能測試對比與分析降維維度的選擇，表1為測試的結(jié)果。由于本文方法的重檢測器只需要找回目標(biāo)，不需要每一幀計算并跟蹤目標(biāo)，所以只在第一幀初始化時采用64+128+128 的維度組合，后續(xù)檢測時采用32+64+64的特征組合。

表1 不同降維策略的跟蹤性能比較

使用帶有初始化的卷積特征濾波器重檢測機制，能夠在目標(biāo)被遮擋或丟失后自動感知并找回目標(biāo)。如圖7所示的公開數(shù)據(jù)集跟蹤算法抗遮擋性能曲線圖，本文方法（TBCCF）的抗遮擋能力較其他跟蹤方法有明顯提升。

圖7 抗遮擋性能比較

基于背景約束與卷積特征的跟蹤方法實施步驟如下：

算法1 基于背景約束與卷積特征的跟蹤方法實施步驟

輸入：初始化目標(biāo)區(qū)域Bt-1=(xt-1,yt-1,st-1)，位置濾波器Rt，記憶濾波器Rl，尺度濾波器Rs，檢測器wc

1. repeat

2. 在上一幀目標(biāo)位置(xt-1,yt-1)處獲取新一幀圖像區(qū)域Z ，提取其fHOG特征和顏色特征Zhc；

3. //位置估計計算跟蹤濾波器Rt關(guān)于Z 的響應(yīng)圖fRt(Zhc)，預(yù)估響應(yīng)位置(xt,yt)；

//置信度檢測

4. if 記憶濾波器Rl的HC置信響應(yīng)fRl(Zhc)≥ηt確認(rèn)跟蹤位置(xt,yt)正確；

5. 檢查是否滿足fRl(Zhc)≥ηlr，是則更新記憶濾波器Rl，否則不更新Rl；

//重檢測

6. if 記憶濾波器Rl的HC 置信響應(yīng)fRl(Zhc)＜ηt且PSR ＜Ω ；

7. 激活CNN 檢測器，在更大目標(biāo)區(qū)域重檢測，由響應(yīng)圖fwc(Zcnn)，重新獲取目標(biāo)位置(xt,yt)，該位置處記憶濾波器Rl的CNN置信響應(yīng)fRl(Zcnn)＞ηt，則確認(rèn)找到位置；

8. else 記憶濾波器Rl置信響應(yīng)fRl(Zcnn)＜ηt，重新檢測；

9. 直到fRl(Zcnn)＞ηt，重新確定位置(xt,yt)，檢查置信響應(yīng)是否滿足fRl(Zcnn)＞ηlr，滿足則更新檢測器參數(shù)，否則不更新；

10. end

11. end

//尺度估計

12. 確定新一幀位置后以該位置為中心生成尺度金字塔，用尺度濾波器尋找最佳尺度因子st；

//跟蹤模型更新

13. 位置濾波器Rt更新，尺度濾波器Rs更新；

14. until 圖像序列最后一幀；

輸出：預(yù)估目標(biāo)區(qū)域Bt=(xt,yt,st)

4 實驗與分析

4.1 實驗環(huán)境

本文實驗平臺為Matlab R2016a、OpenCV3.0、Cuda8.0，運行環(huán)境配置為Intel i5-8300H，Nvidia GTX1060，6 GB顯存，8 GB內(nèi)存。

4.2 實驗參數(shù)設(shè)置

在跟蹤實驗中，設(shè)置搜索窗大小為3 倍目標(biāo)區(qū)域，重檢測窗為4 倍目標(biāo)區(qū)域，fHOG 特征由31 維降為17維，顏色特征由11維降為4維，fHOG與顏色特征權(quán)重分別為0.75 與0.25，三層卷積特征的conv3_4、conv4_4、conv5_4層權(quán)重系數(shù)分別為1、0.5、0.5，尺度步長a=1.02，濾波器更新率η 為0.01，記憶濾波器閾值ηlr=0.4 ，ηt=0.15，峰值旁瓣比參數(shù)Ω=16。

4.3 評價指標(biāo)

Object Tracking Benchmark（OTB）是目標(biāo)跟蹤領(lǐng)域著名的公共數(shù)據(jù)集，實驗采用了其發(fā)布的50 個圖像序列，包含光照變化（IV）、尺度變化（SV）、障礙物遮擋（OCC）、形變（DEF）、運動模糊（MB）、快速運動（FM）、平面內(nèi)旋轉(zhuǎn)（IPR）、平面外旋轉(zhuǎn)（OPR）、低分辨率（LR）、目標(biāo)出視野（OV）、背景混疊（BC）共計11種復(fù)雜場景挑戰(zhàn)。各算法在該公共數(shù)據(jù)集上測試并取結(jié)果的平均值作為實驗結(jié)果。

文獻[1]提供了跟蹤結(jié)果的評價方式：One-Pass Evaluation（OPE），即一遍通過的評價方式，在第一幀使用人工標(biāo)注的目標(biāo)位置，后續(xù)跟蹤器來負責(zé)逐幀查找目標(biāo)位置。

評價指標(biāo)分為跟蹤精度（Precision plots of OPE）、跟蹤成功率（Success plots of OPE）以及平均跟蹤速度（AverageFPS）。跟蹤精度又名距離精度（DP），中心位置誤差（CLE）表示跟蹤目標(biāo)位置與人工標(biāo)注位置的歐式距離，DP即CLE小于某一閾值（20 pixel）占總跟蹤序列長度的比值。DP越大表示算法跟蹤精度越高。跟蹤成功率又名重疊精度（OP），它表示跟蹤得分S 大于某一閾值占總跟蹤序列長度的比值，S 可通過以下公式得到：

式中，φt表示跟蹤算法第t 幀實時跟蹤框，φt表示第t幀真實標(biāo)注的跟蹤框，S 越大表示算法跟蹤成功率越高。算法平均跟蹤速度又稱算法時間復(fù)雜度，表示算法每秒處理的圖像幀數(shù)，往往通過圖像總幀數(shù)P 除以跟蹤算法的總耗時T 來得到。

4.4 實驗結(jié)果與分析

4.4.1 定量分析

為了測試改善后的算法在快速運動、背景混疊、遮擋情況下的表現(xiàn)，實驗選取了OTB-50中最為復(fù)雜的6個跟蹤難序列Freeman4、Singer2、Girl2、Lemming、Ironman、Carscale進行測試，這些序列不僅具有嚴(yán)重遮擋（OCC）、背景混疊（BC）、快速運動（FM）特點，還包含劇烈光照變化（IV）、形變（DEF）、運動模糊（MB）等情形。實驗同時對比了9 種近幾年熱門的跟蹤算法，包括4 種深度學(xué)習(xí)相關(guān)算法以及5 種相關(guān)濾波類算法，為確?？陀^性，其他算法均是已發(fā)表文獻公開的代碼。

由表2對比數(shù)據(jù)所示，采用卷積特征的跟蹤算法較相關(guān)濾波算法精確度有較大提升，但平均速度整體較低。在快速運動、背景混疊、遮擋等復(fù)雜挑戰(zhàn)下，本文方法擴大搜索窗并對背景抑制，置信度判別方法自適應(yīng)感知遮擋及目標(biāo)丟失，并調(diào)用檢測器對目標(biāo)重捕獲，使得跟蹤方法的精確度在對比中為最優(yōu)。雖然訓(xùn)練了大量的濾波器，但多種特征降維策略以及跟蹤濾波器與重檢測器并不在同一時刻運行的跟蹤機制，使得本文方法的平均跟蹤速度仍達到了29.2 FPS，能夠滿足實時性要求。

表2 6個跟蹤難序列情況下跟蹤算法性能比較

4.4.2 定性分析

圖8 10種算法跟蹤結(jié)果對比

圖9 10種算法跟蹤性能對比曲線

如圖8（a）Freeman4 數(shù)據(jù)測試中可以看到，SiamFC由于第202 幀背景混雜跟丟了目標(biāo)，隨后DSST、KCF、SAMF 等算法由于第241 幀產(chǎn)生的遮擋逐漸漂移，最終丟失了目標(biāo)。圖8（b）Singer2數(shù)據(jù)測試中，第172幀由于背景混雜與光照劇烈變換，CF2、CNN-SVM、SiamFC、SAMF 等錯誤學(xué)習(xí)了背景并無法找回目標(biāo)。圖8（c）Girl2 數(shù)據(jù)測試中，第108 幀開始產(chǎn)生了10 多幀的嚴(yán)重遮擋，大多數(shù)算法由于在長時間遮擋中模型被污染，最終導(dǎo)致目標(biāo)丟失，本文算法在目標(biāo)重現(xiàn)后成功找回目標(biāo)。圖8（d）Lemming數(shù)據(jù)測試中，第379幀開始產(chǎn)生局部遮擋，CF2、KCF、Staple、DSST 算法很快跟丟了目標(biāo)，并且在長時間測試中，到第1 136幀DCFNet尺度出現(xiàn)錯誤適應(yīng)，SRDCF則產(chǎn)生了嚴(yán)重漂移。圖8（e）Ironman數(shù)據(jù)測試中，第46幀的快速運動以及背景模糊、光照劇烈變化使得基于梯度特征的KCF、DSST、SAMF等算法直接跟丟，在第120幀由于相似背景CNN-SVM和SiamFC錯誤判斷了目標(biāo)位置，到第163幀大多數(shù)跟蹤算法均已丟失目標(biāo)，而本文方法能夠排除相關(guān)干擾。圖8（f）Carscale 數(shù)據(jù)測試中，第160 幀目標(biāo)出現(xiàn)遮擋干擾導(dǎo)致部分算法開始漂移，隨后第212、240幀的旋轉(zhuǎn)和尺度大幅變化，使得Staple、CF2 和KCF 等算法錯誤識別了目標(biāo)區(qū)域，只有本文方法保持了較好的跟蹤。

通過以上跟蹤算法實驗效果框圖可以看到，大多數(shù)跟蹤算法都會在以上難例測試中產(chǎn)生跟丟或無法找回的情況，而本文方法能保持良好的性能。

4.5 算法總體測試結(jié)果對比

在OTB數(shù)據(jù)集的50個視頻序列上測試本文方法在多種復(fù)雜情形下跟蹤性能的表現(xiàn)，同時與其他9種算法進行整體性能比較。其跟蹤成功率曲線與總體跟蹤精度如圖9 所示。由圖9 曲線可知，算法在背景混疊、遮擋、目標(biāo)出視野、快速運動等復(fù)雜挑戰(zhàn)下的跟蹤成功率有更好的表現(xiàn)。算法整體跟蹤精度（Precision plots of OPE）為92.1%，整體跟蹤成功率（Success plots of OPE）為63.6%，均為最優(yōu)。

5 結(jié)語

本文對傳統(tǒng)相關(guān)濾波算法輸入圖像的特征進行了降維預(yù)處理，并且針對跟蹤中出現(xiàn)的快速運動、背景混疊、遮擋等挑戰(zhàn)問題，提出了一種基于背景約束與卷積特征的目標(biāo)跟蹤方法，該方法的主要思想是通過更大搜索窗特征融合以及對目標(biāo)周圍背景的限制，提升跟蹤器應(yīng)對快速運動以及背景混疊的能力，同時設(shè)置記憶池和深度特征檢測器來使得跟蹤器對遮擋和目標(biāo)丟失有更好的適應(yīng)能力。經(jīng)公共數(shù)據(jù)集大量的實驗，驗證了算法的有效性，實驗結(jié)果表明，算法在應(yīng)對快速運動、背景混疊、遮擋等挑戰(zhàn)上具有良好的表現(xiàn)，平均速度也達到了實時的要求，有一定的研究與應(yīng)用價值。

此外，本文方法為深度學(xué)習(xí)在跟蹤領(lǐng)域的應(yīng)用提供了一個新的思路。理論上講，算法的置信與檢測框架可以應(yīng)用在大多數(shù)跟蹤算法上。為了追求更好的表現(xiàn)，建立面向通用場景以及專有場景的數(shù)據(jù)庫并將其應(yīng)用于目標(biāo)跟蹤領(lǐng)域卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練[7]，是下一步研究的一項重要內(nèi)容。