單明媚 王華通 鄭浩嵐 林彬

摘 要：視頻運動目標跟蹤是計算機視覺領域的研究熱點，具有廣闊的應用前景。近年來，深度學習等技術的引入使得目標跟蹤算法的準確性得到極大提升，但是當目標發(fā)生形變、尺度變化、被遮擋等情況時，容易導致跟蹤失敗。為了進一步改進運動目標跟蹤算法，文中系統(tǒng)地梳理了現有的運動目標跟蹤算法，將其劃分為經典的跟蹤算法、基于相關濾波的跟蹤算法和基于深度學習的算法，分別從算法的基本原理、算法性能等方面進行詳細的闡述，并對未來的發(fā)展趨勢進行了展望。

關鍵詞：計算機視覺;目標跟蹤;最小均方誤差濾波器;深度學習;均值漂移;卡爾曼濾波

中圖分類號：TP391;TN911-34文獻標識碼：A文章編號：2095-1302（2019）07-00-03

0 引 言

視頻運動目標跟蹤作為當前計算機領域最為熱門的技術之一，對視頻中目標行為能夠進行準確地追蹤定位，而且隨著算法的不斷更新，目標跟蹤理論也越來越完善，應用的領域涉及智能視頻監(jiān)控、無人機偵察、智能駕駛等。簡單來說，目標跟蹤就是在第一幀時給出目標的初始位置，利用跟蹤算法計算出后續(xù)每幀圖像中目標的位置信息。理論上來說，目標跟蹤能夠進行實時的跟蹤，但是在實際應用中，由于光照、遮擋、尺度變化等因素，很容易導致目標丟失。

通常，從構建目標模型的角度可將目標跟蹤算法分為生成式方法和判別式方法。

生成式方法對目標進行特征提取以及模型構建，在下一幀中找到與模型相似的區(qū)域即為目標的預測區(qū)域。

判別式方法將跟蹤問題歸結于二分類問題，主要研究如何將目標和背景區(qū)分出來。

比較兩種方法，判別式方法更能適應背景變化等復雜問題。判別式方法近年來不斷被改進，在技術方面有了極大的突破，研究人員不斷地從特征、尺度等方面改進算法，使得目標跟蹤更加適應復雜多變的環(huán)境。

本文將從3個方面介紹目標跟蹤的發(fā)展歷程，分別為經典的目標跟蹤算法、基于相關濾波的跟蹤算法、基于深度學習的算法，最后對跟蹤領域的發(fā)展趨勢進行展望。

1 經典的目標跟蹤算法

經典的目標跟蹤算法主要包括均值漂移算法[1]、卡爾曼濾波算法[2]和粒子濾波算法[3]?；诰灯频母櫵惴ê唵斡行?，對旋轉等問題有較好的魯棒性。均值漂移算法在目標被遮擋時，對中心位置進行分塊加權處理，有效地屏蔽了錯誤位置信息對跟蹤結果的影響。均值漂移算法引入高斯核函數讓低維不可分數據變成高維可分數據，簡化了計算，但是針對尺度變化等問題不能得到較好的跟蹤結果。

在基于概率推導的目標跟蹤算法中，粒子濾波和卡爾曼濾波有效地解決了遞歸貝葉斯濾波概率在實際應用中很難獲得最優(yōu)解的問題。當貝葉斯濾波中存在線性時變函數，噪聲為高斯形式時，卡爾曼濾波對數據進行最優(yōu)化處理，得到目標最優(yōu)狀態(tài)估計;當噪聲不符合高斯分布時，粒子濾波采用序列蒙特卡羅的濾波方法得到目標最優(yōu)位置分析?？柭鼮V波和粒子濾波這兩種經典的運動模型能夠準確地計算出視頻中目標的預測區(qū)域，提高了目標跟蹤的準確率。

2 基于相關濾波的跟蹤算法

相關濾波跟蹤算法實質上是根據第一幀目標樣本訓練濾波器，利用濾波器搜索目標所在的區(qū)域，根據響應值判斷目標位置，并且在跟蹤過程中不斷更新濾波器。相比于傳統(tǒng)的跟蹤算法，基于相關濾波的跟蹤算法利用快速傅里葉變換將濾波過程從時域轉到頻域進行計算，極大地提高了跟蹤速度。

首次提出用于跟蹤算法的相關濾波器是由Bolme等提出的最小均方誤差濾波器（Minimum Output Sum of Squared Error，MOSSE）。MOSSE算法提取灰度特征[4]時，采用一種自適應訓練策略，以最大響應值作為目標中心。后續(xù)的相關濾波跟蹤算法在MOSSE算法的基礎上從特征表達、尺度自適應、解決邊界效應問題等方面進行一系列的改進。

2.1 特征改進

Henriques等提出核相關濾波算法（Kernel Correlation Filter，KCF）。KCF將MOSSE中單通道的灰度特征拓展到了31維的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征，提高了相關濾波跟蹤算法的魯棒性[5]。KCF算法引入核函數，利用循環(huán)矩陣特有的傅里葉空間對角化性質來簡化計算，從而提升了算法的執(zhí)行效率。顏色命名（Color Name，CN）算法是由Danelljan等提出，算法主要特點有：將RGB顏色空間轉換成CN顏色空間，降低光照、遮擋對顏色失真的影響程度[6];引入貝葉斯公式，區(qū)分前景與背景，大大降低了背景的干擾程度。Zhu等提出利用不同顏色的空間梯度來描述目標，將RGB圖像轉變?yōu)轭伾臻g，隨后收集各通道的HOG特征，豐富了算法對目標的特征表達能力[7]。在特征融合方面，Bertinetto 等提出在響應階段把HOG特征和簡單顏色直方圖兩種特征結合在一起，將濾波響應圖和概率圖以一定的比例結合在一起，根據得分圖來定位目標，兩種特征的結合使得該方法對光照、形變、運動模糊都具有很好的魯棒性[8]。

2.2 尺度自適應算法

為了解決尺度變化問題，Danelljan等提出的判斷尺度空間跟蹤器（Discriminative Scale Space Tracker，DSST）在核相關濾波算法的基礎上引入了尺度估計[9]。DSST算法除了用于估計目標中心的平移濾波器外，還單獨訓練了一個一維的尺度濾波器，估計出目標在當前幀的位置中心后，在當前位置處提取多個不同大小的圖像塊，并使用尺度濾波器進行尺度估計，以最大響應對應的尺度作為最優(yōu)尺度。DSST算法不僅對尺度的處理方式快速有效，而且尺度模塊還可以遷移到任意算法中。

Li等提出一種具有特征集成的尺度自適應核相關濾波跟蹤器[10]，主要的特點有：將單一的特征擴展為多特征，即融合了灰度、CN和HOG特征，算法性能有很明顯的提高;引入尺度池的方法，在比較階段對候選區(qū)域的目標分別做7個尺度的估計，與上一幀進行比較，最大響應值對應的尺度因子作為當前幀目標的尺度，實現尺度自適應。Huang等人提出將目標檢測算法和KCF算法結合在一起的算法[11]。KCF算法負責目標位置的初步估計，使用邊緣框在目標附近搜索，進行搜索后會產生候選區(qū)域，對候選區(qū)域進行評估和檢測選取最終目標位置。

Li等提出積分邊界和中心相關濾波器跟蹤算法（Integrating Boundary and Center Correlation Filters，IBCCF），該算法采用二維濾波器和一維邊界濾波器相結合的框架來解決尺度的問題[12]。主要思路是利用中心和4個邊界的近正交性，將近正交性正則化加入到損失函數中進行求解。在進行參數更新時，先利用奇異值分解得到一個參數的近似解，然后更新其他參數，最終獲得解決方案。IBCCF算法有效地解決了尺度變化問題，但是計算冗余，極大地影響了跟蹤速度。

2.3 處理邊界效應問題

為了解決邊界效應問題，較早的解決方法是由Danelljan等提出的空間約束相關濾波器（Spatially Regularized Correlation Filter，SRDCF）[13]。相比于KCF等算法，SRDCF算法加大了搜索區(qū)域，采用空域正則化對濾波器邊界函數加大權重約束，并進行迭代優(yōu)化，分類器能夠更準確地進行追蹤。Kiani等提出有限邊界的相關濾波器算法（Correlation Filters with Limited Boundaries，CFLB），該算法采用單通道灰度特征，速度較快，但是算法性能并不理想[14]。在CFLB算法中使用了較大的檢測圖像和作用域較小的濾波器，同時循環(huán)移位樣本左乘掩模矩陣，掩模矩陣是在原循環(huán)移位樣本大圖像塊中裁剪出小圖像塊，使得總體循環(huán)移位樣本減少，真實樣本增多。

除此之外，隨著深度學習技術的興起，研究者們開始將深度特征與相關濾波算法進行結合，進一步提高了相關濾波跟蹤算法的跟蹤性能。

3 基于深度學習的跟蹤算法

近年來，深度學習應用在目標跟蹤領域取得了極大的成功?；谏疃葘W習的跟蹤算法主要分為兩類：一類是結合深度特征和相關濾波設計跟蹤算法;另一類是基于深度網絡對目標進行端到端的跟蹤。

3.1 深度特征結合相關濾波

Ma等提出的HCF算法使用VGGNet-19作為特征提取器，對輸入的圖像提取多層卷積特征分別訓練相關濾波器，在判別階段將經過3個相關濾波得到的響應圖進行加權，得到最終的響應圖，并通過最大響應定位目標中心[15]。VGGNet-19不同層次輸出的特征分別具有不同的特點。HCF針對VGGNet-19的各層特征的特點，由粗粒度到細粒度，最終準確定位目標的中心點，以一種簡潔的方式將卷積特征與相關濾波有效地結合了起來。

Danelljian等在SRDCF的基礎上加入深度特征，雖然提高了算法性能，但由于深度特征的提取速度較慢，導致算法的實時性較差[16]。連續(xù)域卷積相關濾波跟蹤算法（Continuous Convolution Operators for visual Tracking，C-COT）[17]在連續(xù)空間域中學習濾波器模型，該算法允許多分辨率特征圖的自然整合，對子像素能夠進行更精確的定位。Danelljan等對C-COT算法進行了改進，提出高效卷積操作（Efficient Convolution Operators，ECO）提高C-COT算法的跟蹤速

度[18]。ECO算法實現了傳統(tǒng)的人工特征和卷積特征的融合，從特征維度、樣本、模板更新等方面去除冗余操作。具體來說，ECO算法采用了間隔多幀進行一次更新的策略，進一步提高了算法的效率;使用主成分分析方法，對所融合的卷積特征、HOG特征及CN特征進行大幅的降維，極大地提高了算法的執(zhí)行效率;采用高斯混合模型既可以保持訓練集的有效性，又可以防止訓練集的不斷擴大。

3.2 端到端的深度網絡跟蹤

不同于深度特征結合相關濾波的算法，Nam等提出一種新思路，訓練了一個多域學習的網絡結構（Multi-Domain Network，MDNet），端到端地解決跟蹤問題[19]。MDNet算法中使用大量跟蹤視頻對網絡進行預訓練，以獲得通用的目標表示。網絡由共享層和多分支的特定域層組成，其中，域對應于獨立的訓練等級，并且每個分支負責一個二分類去識別每個域中的目標，算法針對每個域迭代的訓練網絡來獲得共享層中的通用目標表示。當跟蹤一個新的視頻序列中的目標時，MDNet算法更新特定域層，結合預訓練的共享層組成新的端到端網絡，回歸目標框的位置。與現有跟蹤基準中的最新方法相比，所提出的算法表現出優(yōu)異的性能。

4 結 語

視頻運動目標跟蹤算法發(fā)展至今，在特征表達、處理尺度變化、解決遮擋問題等方面都取得了長足的進步，顯著提升了算法的跟蹤精度和跟蹤速度。目前，運動目標跟蹤算法在目標跟蹤領域存在的主要問題：

（1）如何提升深度特征結合相關濾波算法的跟蹤速度;

（2）如何訓練出更適合于目標跟蹤問題的端到端模型。

可以預見的是，相關濾波和深度學習的結合仍會是領域內的研究熱點，未來如何充分發(fā)揮其各自優(yōu)勢，從而進一步提高跟蹤性能，值得期待。

參 考 文 獻

[1] COMANICIU D，RAMESH V，MEER P. Real-time tracking of non-rigid objects using mean shift [C]// Proceedings IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE Press，2002：1-8.

[2] COMANICIU D，RAMESH V，MEER P. Kernel-based object tracking [J]. IEEE transactions on pattern analysis and machine intelligence，2003，25（5）：564-577.

[3] LI Y，AI H，YAMASHITA T，et al. Tracking in low frame rate video：a cascade particle filter with discriminative observers of different life spans [J]. IEEE transactions on pattern analysis and machine intelligence，2008，30（10）：1728-1740.

[4] BOLME D S，BEVERIDGE J R，DRAPER B A，et al. Visual object tracking using adaptive correlation filters [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE Press，2010：2544-2550.

[5] HENRIQUES J F，RUI C，MARTINS P，et al. High-speed tracking with kernelized correlation filters [J]. IEEE transactions on pattern analysis and machine intelligence，2015，37（3）：583-596.

[6] DANELLJAN M，KHAN F S，FELSBERG M，et al. Adaptive color attributes for real-time visual tracking [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE Press，2014：1090-1097.

[7] ZHU G，WANG J，WU Y，et al. MC-HOG correlation tracking with saliency proposal [C]// Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Palo Alto：AAAI Press，2016：3690-3696.

[8] BERTINETTO L，VALMADRE J，GLOLDETZ S，et al. Staple：complementary learners for real-time tracking [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE Press，2016：1401-1409.

[9] DANELLJAN M，HAGER G，KHAN F S，et al. Accurate scale estimation for robust visual tracking [C]// Proceedings of the British Machine Vision Conference. Nottingham：BMVC Press，2014：65.1-65.11.

[10] LI Y，ZHU J. A scale adaptive kernel correlation filter tracker with feature integration [J]. IEEE transactions on pattern analysis and machine intelligence，2014：254-265.

[11] HUANG D，LUO L，CHEN Z，et al. Applying detection proposals to visual tracking for scale and aspect ratio adaptability [J]. International journal of computer vision，2017，122（3）：524-541.

[12] LI F，YAO Y，LI P，et al. Integrating boundary and center correlation filters for visual tracking with aspect ratio variation [C]// IEEE International Conference on Computer Vision Workshop. Piscataway：IEEE Computer Society，2017：2001-2009.

[13] DANELLJAN M，HAGER G，KHAN F S，et al. Learning spatially regularized correlation filters for visual tracking [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE Press，2015：4310-4318.

[14] KIANI H G，SIM T，LUCEY S. Correlation filters with limited boundaries [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE Press，2015：4630-4638.

[15] MA C，HUANG J B，YANG X，et al. Hierarchical convolutional features for visual tracking [C]// Proceedings of the IEEE International Conference on Computer Vision. Piscataway：IEEE Press，2016：3074-3082.

[16] DANELLJAN M，HAGER G，KHAN F S，et al. Convolutional features for correlation filter based visual tracking [C]// Proceedings of the IEEE International Conference on Computer Vision Workshop. Piscataway：IEEE Press，2016：621-629.

[17] DANELLJAN M，ROBINSON A，KHAN F S，et al. Beyond correlation filters：learning continuous convolution operators for visual tracking [C]// Proceedings of the European Conference on Computer Vision. Berlin：Springer Press，2016：472-488.

[18] DANELLJAN M，BHAT G，KHAN F S，et al. ECO：efficient convolution operators for tracking [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE Press，2017：6931-6939.

[19] NAM H，HAN B. Learning multi-domain convolutional neural networks for visual tracking [C]// Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. Piscataway：IEEE Press，2016：4293-4302.