理政 伍悠 張建明

摘要：針對目標跟蹤中因嚴重遮擋、變形、快速運動等因素導致的跟蹤失敗問題，提出一種基于相關(guān)濾波的重檢測跟蹤算法。首先使用相關(guān)濾波算法Staple對目標進行位置估計，然后構(gòu)造一個檢測濾波器對Staple算法跟蹤結(jié)果進行置信度檢測，將檢測分數(shù)作為跟蹤結(jié)果的置信度評估結(jié)果。若檢測分數(shù)小于給定閾值，則激活在線SVM分類器對跟蹤結(jié)果進行重檢測。同時用檢測濾波器對SVM分類結(jié)果進行檢測，若檢測分數(shù)大于Staple跟蹤算法檢測分數(shù)，則采用SVM的跟蹤結(jié)果。在基準數(shù)據(jù)集OTB-2013上的實驗結(jié)果表明，該算法精度達到80.2%，成功率達到60.6%，整體性能優(yōu)于其它6種對比算法。

關(guān)鍵詞：目標跟蹤;相關(guān)濾波;重檢測;檢測濾波器;置信度評估

DOI：10. 11907/rjdk. 192813

中圖分類號：TP312文獻標識碼：A 文章編號：1672-7800（2020）010-0055-06

Abstract： In order to avoid tracking failure caused by severe occlusion， deformation， fast motion and other factors in object tracking， a re-detection tracking algorithm based on correlation filter is proposed. Firstly， we use the correlation filter algorithm Staple to estimate the target position， and then a detection filter is constructed to run to confidence test of the tracking results of the Staple algorithm. The detection score of the detection filter is used as the confidence evaluation of the tracking results. If the detection score is less than the given threshold， the online SVM classifier is activated to detect the tracking results again. For SVM classification results， we use a detection filter to make detection. If the detection score is greater than the detection score of the Staple， we employ SVM tracking results. Experimental results on the dataset OTB-2013 show that the proposed algorithm achieves an accuracy of 80.2% and a success rate of 60.6%， and the overall performance is better than the other six compared algorithms.

Key Words： object tracking; correlation filter; re-detection; detection filter; confidence evaluation

0 引言

視覺目標跟蹤是計算機視覺領(lǐng)域一個發(fā)展迅速的研究方向，在機器人、視頻監(jiān)視、人機交互等方面有著廣泛應用[1-3]。目標跟蹤通常是指在給定初始狀態(tài)（位置和大?。┫?，估計目標在圖像序列中的空間軌跡。但由于受到遮擋、變形、光照變化、快速運動和背景雜波等因素影響，在多幀背景下尋找相應目標區(qū)域仍是一個具有挑戰(zhàn)性的問題。

根據(jù)目標外觀建模的不同，跟蹤方法可分為生成式方法[4-6]和判別式方法[7-9]。生成式跟蹤方法通常在忽略背景信息的基礎(chǔ)上對目標外觀進行建模，容易在復雜場景中漂移，而判別式跟蹤方法則將跟蹤任務(wù)當作一個二分類目標，將目標與周圍背景區(qū)分開來。相關(guān)濾波算法是典型的判別式跟蹤算法，基于相關(guān)濾波的跟蹤算法通過使用循環(huán)矩陣和快速傅立葉變換實現(xiàn)了高效率的計算，近年來已在多個跟蹤數(shù)據(jù)集[10-12]上顯示了較高的準確性和魯棒性。

Bolme等[13]最先將相關(guān)濾波應用于目標跟蹤中，并提出MOSSE算法。隨后，研究者們對MOSSE算法進行了改進。2012年，Henriques等[14]提出具有循環(huán)結(jié)構(gòu)的檢測跟蹤 （Circulant Structure of Tracking-by-detection with Kernel，CSK）算法，其在MOSSE基礎(chǔ)上引入核方法，并利用相鄰子窗口的循環(huán)結(jié)構(gòu)，快速學習密集采樣下的目標外觀模型。核相關(guān)濾波器（High-speed Tracking with Kernelized Correlation Filters， KCF）[15]是CSK的擴展版本，通過使用HOG特征代替灰度特征，將核相關(guān)濾波器由單通道擴展到多通道，顯著提升了跟蹤性能;Danelljan等[16-17]引入顏色屬性對CSK算法進行改進，又提出一種判別尺度空間跟蹤器算法，以實現(xiàn)實時尺度自適應跟蹤;Bertineto等[18]提出Staple （Sum of Template And Pixel-wise Learners）算法，將相關(guān)濾波器與全局顏色直方圖相結(jié)合，對目標形變和顏色變化具有較好的魯棒性。盡管基于相關(guān)濾波的方法取得了一定成果，但仍存在以下問題：基于相關(guān)濾波的跟蹤器一般會在第一幀提取樣本，訓練一個濾波器模型，為了適應目標的外觀變化，會在上一幀預測目標周圍提取樣本對濾波器模型進行更新，但在實際跟蹤過程中，目標受到快速運動、變形、嚴重遮擋等因素影響，很容易發(fā)生跟蹤漂移。如果跟蹤漂移無法得到及時糾正，將會污染濾波器模型，從而導致跟蹤失敗。針對該問題，Kalal等[19]將跟蹤任務(wù)分成跟蹤、學習和檢測3個模塊。跟蹤模塊用于跟蹤目標;檢測模塊用于估計跟蹤模塊誤差，若誤差很大，則改正跟蹤結(jié)果;學習模塊在預測過程中不斷修正負樣本庫，以提高檢測模塊修正精度。但該方法每一幀都需要檢測跟蹤結(jié)果，計算量太大。

因此，針對相關(guān)濾波框架發(fā)生跟蹤漂移無法糾正的問題，本文在相關(guān)濾波算法Staple基礎(chǔ)上引入重檢測機制。首先重新訓練一個檢測濾波器用來計算跟蹤結(jié)果置信度，以確定是否跟蹤失敗，然后訓練一個在線SVM分類器用于重檢測，當出現(xiàn)跟蹤漂移或跟蹤失敗的情況時，利用SVM重新修正跟蹤目標。在基準數(shù)據(jù)集OTB-2013上的實驗結(jié)果表明，本文算法在精度和成功率上優(yōu)于其它算法。

1 Staple跟蹤算法

KCF[15]、DSST[17]等相關(guān)濾波算法采用HOG特征表達目標，其對運動模糊和光照變化魯棒性強，但對目標快速變形和快速運動不敏感。Staple算法根據(jù)顏色直方圖對目標形變具有魯棒性的特點，將HOG特征與顏色直方圖相結(jié)合，利用兩種特征的互補性取得了較高的跟蹤精度，速度也達到80fps，所以本文選擇Staple作為基礎(chǔ)的相關(guān)濾波算法。Staple算法解決了兩個嶺回歸（ridge regression）問題，分別訓練兩個跟蹤模型，一個是相關(guān)濾波器模型，另一個是顏色直方圖（color histogram）模型。Staple算法最后得到結(jié)果是兩個模型分數(shù)的線性組合，具體表達式如下：

1.1 相關(guān)濾波器模型

在Staple中，提取包含目標及周圍信息的圖像塊[f]，通過對圖像塊進行循環(huán)移位得到訓練樣本，然后提取訓練樣本的d維HOG特征訓練相關(guān)濾波器[h]。[fl]代表第[l]維HOG特征向量，其中[l∈1，2，...，d]。通過最小化以下?lián)p失函數(shù)求得最優(yōu)濾波器[h]：

通過傅里葉變換將式（2）轉(zhuǎn)換到頻域進行計算，可快速求得式（2）的解，如式（3）所示。

每一幀通過最小化損失函數(shù)誤差訓練一個最優(yōu)濾波器，會導致計算量較大，從而影響跟蹤器速度。在相關(guān)濾波器算法中，采用線性差值方式更新每一幀的濾波器，計算方式如下：

目標位置由最大分數(shù)所在位置決定。

1.2 顏色直方圖模型

顏色直方圖模型是通過計算每個像素屬于目標前景的概率得到的。給定輸入圖像[I]，[HIO]、[HIB]分別表示前景區(qū)域和背景區(qū)域的顏色直方圖，[HIΩ（b）][HIΩ（b）]表示區(qū)域[Ω∈I]上的顏色直方圖[H]在第[b]個區(qū)間的統(tǒng)計個數(shù)，其中[Ω∈{O，B}]。由貝葉斯分類器[20]可得在像素[x]的目標似然概率為：

通過計算顏色直方圖可得到前景先驗概率[P（x∈O|I）]和背景先驗概率[P（x∈B|I）]，如式（7）、式（8）所示。

2 本文算法實現(xiàn)

2.1 算法描述

圖1給出了本文算法總框架。給定新一幀圖像，以上一幀估計的位置為中心裁剪搜索區(qū)域，即圖1的紅色矩形框區(qū)域;然后使用Staple算法預測目標位置，詳細過程見本文第1節(jié);以Staple跟蹤算法估計的目標位置為中心，按照上一幀中的目標大小比例裁剪圖像塊，使用檢測濾波器[HD]計算圖像塊的置信度分數(shù)[yHD]，詳細過程見2.2節(jié)。當置信度分數(shù)小于閾值[T1]時，激活SVM分類器，在Staple算法預估的位置重新進行檢測，SVM分數(shù)最大的地方就是目標所在位置;在獲得檢測結(jié)果后，也重新使用檢測濾波器[HD]對SVM分類器結(jié)果作一個置信度評估，如果檢測出的置信度分數(shù)[y''HD>yHD]，則采用SVM重檢測結(jié)果，否則還是采用Staple算法跟蹤結(jié)果，詳細過程見2.3節(jié)。

2.2 置信度評估

對目標重檢測算法而言，提供一個有效的置信度指標判斷目標是否跟蹤失敗是至關(guān)重要的。與以往相關(guān)濾波算法使用最大響應值評估跟蹤置信度不同，本文方法通過訓練另一個檢測濾波器評估跟蹤結(jié)果。在相關(guān)濾波跟蹤算法中，包括第1.1節(jié)中的濾波器模型H，在訓練時都會考慮目標區(qū)域與目標周圍的上下文信息，如圖2中的紅色矩形框區(qū)域，從而使訓練得到的濾波器包含更多判別信息，有利于從背景中檢測出目標。為了適應跟蹤過程中目標外觀的變化，濾波器模型還會以一定速率進行更新，但這種更新方案只能維持目標外觀的短期記憶。當目標出現(xiàn)遮擋或劇烈形變時，算法容易產(chǎn)生漂移，使得濾波器學習到污染后的樣本導致錯誤更新。本文檢測濾波器[HD]是用置信度最高的目標區(qū)域特征訓練得到的，如圖2中的黃色矩形框區(qū)域。當跟蹤器確定新一幀目標位置后，從新的目標位置處提取核心目標區(qū)域特征，使用訓練好的檢測濾波器與提取的特征作卷積操作，將其響應作為跟蹤器的結(jié)果置信度。檢測濾波器[HD]與濾波器H求解方式相同，不同的是檢測濾波器只提取目標核心區(qū)域的HOG特征。

為防止檢測濾波器污染，本文并不是每一幀都更新檢測濾波器[HD]，而是僅在跟蹤結(jié)果可信，即檢測濾波器響應分數(shù)[yHD>T2]時更新，從而使檢測濾波器可以長期存儲目標外觀。

2.3 目標重檢測

在大多數(shù)時間，視頻幀都是跟蹤難度較低的簡單幀，且相鄰視頻幀之間目標外觀變化緩慢。相關(guān)濾波算法Staple針對目標外觀變化不大的簡單幀可以有效定位，但當目標出現(xiàn)遮擋、快速運動、嚴重變形、背景雜亂等外觀發(fā)生較大變化時，Staple算法則會出現(xiàn)預測誤差。在誤差不斷積累時，跟蹤器將會跟丟目標。一個魯棒性強的跟蹤算法需要重檢測機制恢復對目標的跟蹤，本文使用一個SVM分類器用于目標重檢測。

對于需要進行重檢測的幀，首先在目標周圍提取樣本，利用訓練好的SVM分類器模型參數(shù)[wSVM]獲取分類分數(shù)[score]，公式如下：

在本文方法中，對新一幀先使用Staple算法確定目標位置，然后用檢測濾波器[HD]計算置信度分數(shù)[yHD]，計算方式如式（5）所示。當置信度分數(shù)[yHD]小于預先定義的閾值[T1]時，調(diào)用一個在線SVM分類器進行重檢測。值得注意的是，在得到重檢測的位置后，本文會重新作一個置信度評估，用檢測濾波器對SVM分類器得到的位置進行檢測，當?shù)玫降捻憫謹?shù)[y''HD]大于[yHD]時，才采用重檢測得到的位置，否則還是采用Staple算法預測的位置。以下為基于相關(guān)濾波的重檢測跟蹤算法流程。

輸入：第一幀目標位置p0。

輸出：第t幀目標位置pt 。

For t = 2： n

目標位置估計

1. 在pt-1周圍裁剪獲得第t幀的感興趣區(qū)域，分別用式（5）、式（9）計算濾波器響應和顏色直方圖響應分數(shù)。

2. 使用式（1）計算濾波器響應和顏色直方圖響應分數(shù)加權(quán)和，預估目標位置[pt]。

置信度評估

3.在預估位置裁剪目標大小的圖像塊，使用檢測濾波器[HD]，根據(jù)式（5）計算置信度響應分數(shù)[yHD]。

目標重檢測

4.如果[yHD

5. 在SVM預估位置裁剪目標大小的圖像塊，使用檢測濾波器[HD]，根據(jù)式（5）計算圖像塊的置信度響應分數(shù)[y''HD]。

6. 如果[y''HD>yHD]，采用SVM預測的目標位置。

模型（濾波器）更新

7.根據(jù)式（4）更新濾波器[H]。

8. 如果[yHD>T2]，根據(jù)式（4）更新檢測濾波器[HD]。

END

3 實驗與結(jié)果分析

3.1 實驗環(huán)境及參數(shù)設(shè)置

本實驗軟件平臺為Matlab R2017a，硬件運行環(huán)境配置為Intel （R） Core （TM） i7-6700K 4.00 GHz CPU。本文使用的基準數(shù)據(jù)集是OTB-2013，包含51個挑戰(zhàn)視頻。視頻中主要包括11種場景挑戰(zhàn)屬性：光照變化（IV）、尺度變化（SV）、遮擋（OCC）、形變（DEF）、運動模糊（MB）、快速運動（FM）、平面內(nèi)旋轉(zhuǎn)（IPR）、平面外旋轉(zhuǎn)（OPR）、低分辨率（LR）、出視野（OV）、背景雜亂（BC）。使用成功率（Success rate）和精度（Precision）兩個評價指標，給定預測框[b1]和真實框[b2]，成功率為當[b1?b0b1?b0>0.5]時幀數(shù)占總幀數(shù)的百分比，精度為估計中心位置誤差小于給定距離閾值（例如20個像素）的幀數(shù)占總幀數(shù)的百分比。

設(shè)置學習率[η]為0.025，正則化參數(shù)[λ]為0.001，參數(shù)[γ]為0.7。由于選擇不同閾值會影響實驗效果，為了選擇合適的閾值[T1]和[T2]，本文通過實驗進行探索。首先確定閾值[T1]、[T2]的大致區(qū)間，然后代入?yún)^(qū)間閾值，比較其實驗結(jié)果，最后選出使實驗效果最好的閾值。在本文方法中，并不是每一幀都會調(diào)用SVM作重檢測，而是當置信度分數(shù)[yHDT2]時才更新檢測濾波器。表3顯示不同閾值[T2]對應的實驗結(jié)果，當閾值[T2]為0.1時，實驗效果最好。

3.2 定量分析

本文在OTB-2013數(shù)據(jù)集上與其它6種算法進行對比，結(jié)果如圖3所示。其它6種算法包括Staple[18]、DSST[17]、TLD[19]、KCF[15]、MIL[8]、CSK[14]，本文算法在所有對比算法中取得了最好成績，精度達到80.2%，成功率達到60.6%。相比Staple算法，精度與成功率分別提高了1.7%和1.3%，說明本文提出的重檢測機制是有效的。

3.3 屬性分析

為了更充分地評估本文算法的跟蹤性能，利用數(shù)據(jù)集OTB-2013的11個挑戰(zhàn)屬性對算法作進一步評估。圖4是本文算法與其它6種算法針對11個不同挑戰(zhàn)屬性的精度圖。本文算法在平面外旋轉(zhuǎn)、遮擋、形變、運動模糊、快速運動、平面內(nèi)旋轉(zhuǎn)、背景雜亂等7個挑戰(zhàn)屬性上都排名第一，在低分辨率上僅次于Staple算法，排名第二。通過定量分析及挑戰(zhàn)屬性對比，本文算法相對其它算法具有更高的準確性。

3.4 定性分析

本文算法與其它4個優(yōu)秀的跟蹤器（Staple[18]、TLD[19]、MIL[8]和CSK[14]）在5個具有挑戰(zhàn)性的序列上進行比較，如圖5所示。coke序列包含光照變化、平面內(nèi)旋轉(zhuǎn)，前期各算法都能成功跟蹤，到后期出現(xiàn)光照變化和平面內(nèi)旋轉(zhuǎn)時，MIL跟蹤失敗。在jogging序列的第77幀與soccer序列的第106幀，目標都發(fā)生了遮擋，Staple算法與本文算法都跟蹤失敗，但在jogging序列的第124幀與soccer序列的第126幀，Staple算法跟丟目標后未能重新跟蹤，而本文算法又再次成功跟蹤了目標，這得益于本文提出的重檢測機制。在跟蹤失敗的情況下，TLD算法也能夠重新檢測目標，但TLD方法無法像本文方法那樣充分利用目標的上下文信息，因此在面對如skating視頻中明顯變形和快速運動的目標時表現(xiàn)不佳。CSK也是基于相關(guān)濾波的算法，其在singer視頻上表現(xiàn)不太理想，原因是CSK僅使用了灰度特征，對目標缺乏表達能力。

4 結(jié)語

本文在相關(guān)濾波算法Staple的基礎(chǔ)上加入重檢測機制。首先使用Staple算法用于目標跟蹤，然后重新構(gòu)造一個檢測濾波器用于跟蹤結(jié)果的置信度評估。當置信度較低時，調(diào)用一個在線SVM分類器進行目標重檢測，提高了算法精度。為避免檢測濾波器被污染，只有在目標具有高置信度的情況下才更新檢測濾波器。最后在基準數(shù)據(jù)集OTB-2013上進行實驗，實驗結(jié)果表明，該算法在準確性和魯棒性方面均優(yōu)于其它6種對比算法。

參考文獻：

[1] 盧湖川，李佩霞，王棟. 目標跟蹤算法綜述[J]. 模式識別與人工智能，2018，31（1）：61-76.

[2] 黃凱奇， 陳曉棠， 康運鋒，等.? 智能視頻監(jiān)控技術(shù)綜述[J].? 計算機學報， 2015， 20（6）：1093-1118.

[3] WANG N， SHI J， YEUNG D Y， et al. Understanding and diagnosing visual tracking systems[C]. IEEE International Conference on Computer Vision， 2015： 3101-3109.

[4] SUI Y， ZHANG S， ZHANG L. Robust visual tracking via sparsity-induced subspace learning[J].? IEEE Transactions on Image Processing， 2015， 24（12）：4686-4700.

[5] ZHANG T， BIBI A， GHANEM B. In defense of sparse tracking： circulant sparse tracker [C].? IEEE Conference on Computer Vision and Pattern Recognition， 2016：3880-3888.

[6] SUI Y， WANG G， TANG Y， et al. Tracking completion[C].? European Conference on Computer Vision， 2016：194-209.

[7] NING J， YANG J， JIANG S， et al. Object tracking via dual linear structured SVM and explicit feature map[C].? IEEE Conference on Computer Vision and Pattern Recognition， 2016： 4266-4274.

[8] BABENKO B， YANG M H， BELONGIE S. Robust object tracking with online multiple instance learning[J].? IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）：1619-1632.

[9] SUN H， LI J， CHANG J， et al. Efficient compressive sensing tracking via mixed classifier decision [J].? Science China Information Sciences， 2016， 59（7）：072102.

[10] WU Y， LIM J， YANG M H. Online object tracking： a benchmark [C].? IEEE Conference on Computer Vision and Pattern Recognition， 2013： 2411-2418.

[11] WU Y， LIM J， YANG M H. Object tracking benchmark [J].? IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1834-1848.

[12] KRISTAN M， MATAS J， LEONARDIS A， et al. The visual object tracking VOT2016 challenge results [C].? Amsterdam， 14th European Conference on Computer Vision， 2016： 777-823.

[13] BOLME D S， BEVERIDGE J R， DRAPER B A， et al. Visual object tracking using adaptive correlation filters [C].? Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2010： 2544-2550.

[14] HENRIQUES J F， CASEIRO R， MARTINS P， et al. Exploiting the circulant structure of tracking-by-detection with kernels [C].? Proceedings of the European Conference on Computer Vision， 2012： 702-715.

[15] HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters [J].? IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596.

[16] DANELLJAN M， SHAHBAZ KHAN F， FELSBERG M， et al. Adaptive color attributes for real-time visual tracking [C].? IEEE Conference on Computer Vision and Pattern Recognition， 2014： 1090-1097.

[17] DANELLJAN M， H?GER G， KHAN F， et al. Accurate scale estimation for robust visual tracking [C].? British Machine Vision Conference， 2014： 1-5.

[18] BERTINETTO L， VALMADRE J， GOLODETZ S， et al. Staple： complementary learners for real-time tracking [C].? IEEE Conference on Computer Vision and Pattern Recognition， 2016： 1401-1409.

[19] KALAL Z， MIKOLAJCZYK K， MATAS J. Tracking-learning-detection[J].? IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（7）： 1409-1422.

[20] POSSEGGER H， MAUTHNER T， BISCHOF H. In defense of color-based model-free tracking[C].? IEEE Conference on Computer Vision and Pattern Recognition， 2015： 2113-2120.

（責任編輯：黃 ?。?/p>