朱明敏，胡茂海

(南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，南京 210094)

基于相關(guān)濾波器的長時視覺目標跟蹤方法

朱明敏，胡茂海*

(南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，南京 210094)

(*通信作者電子郵箱h_mhai@163.com)

為解決相關(guān)濾波器(CF)在跟蹤快速運動目標時存在跟蹤失敗的問題，提出一種結(jié)合了核相關(guān)濾波(KCF)跟蹤器和基于光流法的檢測器的長時核相關(guān)濾波(LKCF)跟蹤算法。首先,使用跟蹤器跟蹤目標，并計算所得跟蹤目標的峰值響應(yīng)強度(PSR)；然后,通過比較峰值響應(yīng)強度(PSR)與經(jīng)驗閾值大小判斷目標是否跟蹤丟失，當目標跟蹤丟失時，在上一幀所得目標附近運用光流法檢測運動目標，得到目標在當前幀中的粗略位置；最后,在此粗略位置處再次運用跟蹤器得到精確位置。與核相關(guān)濾波(KCF)、跟蹤-學(xué)習-檢測(TLD)、壓縮跟蹤(CT)、時空上下文(STC)等4種跟蹤算法進行對比實驗，實驗結(jié)果表明，所提算法在距離精確度和成功率上都表現(xiàn)最優(yōu)，且分別比核相關(guān)濾波(KCF)跟蹤算法高6.2個百分點和5.1個百分點，表明所提算法對跟蹤快速運動目標有很強的適應(yīng)能力。

相關(guān)濾波；光流法；長時目標跟蹤；快速運動；目標再檢測

0 引言

視覺目標跟蹤是指對視頻序列中的運動目標進行檢測與跟蹤，是當今計算機視覺最活躍、最具挑戰(zhàn)性的研究領(lǐng)域之一，并在人機交互、安防監(jiān)控、增強現(xiàn)實等方面發(fā)揮著重要作用。由于實際場景復(fù)雜多變，視頻中目標的形變、旋轉(zhuǎn)、快速移動、運動模糊及光照變化等因素都會影響跟蹤的準確性，設(shè)計一個快速、魯棒的跟蹤算法仍然非常困難，為解決這些問題，各種跟蹤方法被相繼提出[1]。目標跟蹤算法通常分為兩類：判別式(discriminative models)和生成式(generative models)。判別式跟蹤是通過學(xué)習一個分類器來區(qū)分目標和背景，而生成式跟蹤是在視頻幀中尋找與目標最相似的窗口。

近年來，判別式跟蹤方法中基于相關(guān)濾波理論的跟蹤方法發(fā)展迅速，由于它的高速和高效，得到了廣泛的關(guān)注和應(yīng)用。相關(guān)濾波理論在信號處理領(lǐng)域中用來比較兩個信號的相似性，Bolme等[2]基于此理論提出了最小誤差輸出平方和(Minimum Output Sum of Squared Error，MOSSE)的跟蹤算法，把相關(guān)濾波首次引入跟蹤。借助于快速離散傅里葉變換，相關(guān)濾波是把時域上的卷積轉(zhuǎn)換為頻域上的點積，極大減少了計算開銷，顯著提高了目標跟蹤速度，達到了驚人的669幀每秒，完全滿足實時性要求。由于該算法在實時目標跟蹤上的優(yōu)秀表現(xiàn)，此后基于此算法框架的改進算法被相繼提出，其中最有影響力的為Henriques等[3-4]提出的循環(huán)結(jié)構(gòu)跟蹤算法(Circulant Structure of tracking-by-detection with Kernels, CSK)，它通過對單幅圖像的密集采樣得到具有周期性循環(huán)結(jié)構(gòu)的樣本，利用循環(huán)矩陣在傅氏變換中的特殊性質(zhì)實現(xiàn)高效采樣訓(xùn)練，最終實現(xiàn)快速跟蹤，然后用方向梯度直方圖(Histogram of Oriented Gradient, HOG)[5]特征代替原算法中像素灰度值特征，提出了核相關(guān)濾波跟蹤算法(Kernelized Correlation Filter, KCF)，極大提高了跟蹤準確性。除HOG特征， CN(Color-Naming)顏色特征[6]也加入到基于相關(guān)濾波器的跟蹤算法中，并取得了不錯的效果[7]。文獻[8-9]在相關(guān)濾波器中引入尺度金字塔，很好地解決了跟蹤過程中目標的尺度變化問題，但依舊無法在跟蹤失敗時恢復(fù)跟蹤。由于相關(guān)濾波跟蹤器沒有再檢測機制，當目標被遮擋或消失時跟蹤器會失效，因此，為實現(xiàn)目標跟蹤丟失后再次獲得目標，Ma等[10]訓(xùn)練了一個隨機蕨分類器的，當相關(guān)濾波器跟蹤失敗后，該分類器以滑動窗口的形式在視頻幀上重新獲得目標，以實現(xiàn)長時目標跟蹤?；谙嚓P(guān)濾波理論的跟蹤算法還有文獻[11-16]，文獻[17]對主流相關(guān)濾波跟蹤算法進行了比較和總結(jié)。

針對基于相關(guān)濾波理論的跟蹤算法在跟蹤快速運動目標時目標丟失問題，本文在核相關(guān)濾波算法(KCF)[4]的基礎(chǔ)上引入基于光流法的目標再檢測機制，提出了長時核相關(guān)濾波器(Long-term Kernelized Correlation Filter, LKCF)。跟蹤模塊使用HOG和CN顏色特征，目標再檢測模塊基于光流法[18]，并加入高斯分布權(quán)值，整個算法采用新的在線更新策略，所提算法能在目標跟蹤丟失后再次恢復(fù)跟蹤。

1 跟蹤器

本文所提跟蹤器由跟蹤模塊和目標再檢測模塊組成，其中跟蹤模塊使用引入CN顏色特征的核相關(guān)濾波器(KCF)，檢測模塊使用光流法實現(xiàn)運動目標檢測及位置預(yù)測。

1.1 核相關(guān)濾波器

KCF的原始模型是線性回歸，即f(t)=wTt，參數(shù)w需要通過訓(xùn)練得到，t為樣本的特征向量。令i為樣本序號，yi為ti對應(yīng)的目標回歸值，訓(xùn)練的目的是求最小化平方誤差下的w，即：

(1)

其中：λ為正則化參數(shù)。

現(xiàn)實中很多問題的解都是非線性的，非線性問題往往不好求解，所以希望能用解線性分類的方法求解，所采用的方法是進行非線性變換，將非線性問題變換為線性問題，通過解變換后的線性問題的方法求解原來的非線性問題[19]，這種方法稱為核方法，核相關(guān)濾波器(KCF)就是通過它求解濾波器參數(shù)w。

為獲得KCF的濾波器參數(shù)w，首先需要對目標進行采樣訓(xùn)練，傳統(tǒng)的采樣方法是在目標周圍選取若干圖像塊，而KCF只需采集一幅圖片x∈M×N，并將x分別以m、n個像素為單位進行水平和垂直方向循環(huán)偏移，從而得到不同樣本xm,n，其中m∈{0,1,…,M-1}，n∈{0,1,…,N-1}，每個樣本對應(yīng)的回歸值ym,n服從二維高斯分布。訓(xùn)練的目的是找到最優(yōu)化權(quán)值的參數(shù)w，即：

(2)

根據(jù)快速傅里葉變換和嶺回歸法[20]，解式(2)得：

(3)

其中：F、F-1分別為傅里葉變換及其逆變換；y為M×N的矩陣，相應(yīng)元素是ym,n。

訓(xùn)練上一幀目標圖像塊x得到參數(shù)α，再在當前幀中，于前一幀目標位置處采集相同尺寸的圖像塊z,根據(jù)式(3)～式(4)獲得目標在當前幀中的位置，即f(z)最大元素所在位置。

f(z)=F-1(F(α)⊙F(φ(x)·φ(z)))

(4)

其中⊙表示對應(yīng)元素點乘。

1.2 特征選擇

KCF使用的是大小為M×N×31方向梯度直方圖(HOG)特征值，本文所提跟蹤器在其基礎(chǔ)上引入11通道的CN顏色特征，該特征比RGB灰度特征有更好的表現(xiàn)能力，它根據(jù)語言學(xué)把顏色分為11種，和人眼感知到的顏色非常相似，已廣泛應(yīng)用于目標檢測、識別及行為識別[21-23]，因此，本文把RGB空間三通道特征轉(zhuǎn)化為11通道的CN顏色特征使用。本文跟蹤器所用的兩種特征，HOG能更好地表現(xiàn)目標的空間梯度信息，CN顏色特征能更好地表現(xiàn)顏色信息，兩者級聯(lián)在一起共42個通道。

1.3 目標再檢測

相關(guān)濾波器跟蹤目標的原理是把當前幀中與濾波模板作用后響應(yīng)最大的地方作為目標位置，而每次進行濾波的位置是上一幀目標所在位置，當目標快速運動時，目標在當前幀中實際位置超出濾波模板濾波范圍，這就造成跟蹤失敗。除此之外，當目標遇到遮擋、形變等情況也會造成跟蹤失敗，為了能重新找到目標以持續(xù)跟蹤，引入目標再檢測機制非常必要。不同于文獻[24]在每一幀中都重新檢測，本文所提再檢測機制只有當目標的峰值響應(yīng)強度(Peak-to-Sidelobe Ratio，PSR)[2]小于閾值T時才開始作用。PSR的定義為式(5)：

PSR=(gmax-μ)/σ

(5)

其中：gmax為濾響應(yīng)峰值，μ為響應(yīng)平均值，σ為響應(yīng)值標準差，濾波響應(yīng)值即為式中的f(z)所得矩陣元素值。

本文再檢測機制使用LK(Lucas-Kanade)[18]光流法檢測運動目標，因為視頻目標和背景會有相對運動，通過檢測相對運動就可以重新檢測到目標，以下將簡要介紹光流法。

假設(shè)相鄰兩幀目標對應(yīng)位置像素點亮度不變，即：

I(x,y,t)=I(x+dx,y+dy,t+dt)

(6)

其中：x，y為橫縱坐標；I(x,y,t)為前一幀某一位置像素點亮度；I(x+dx,y+dy,t+dt)為當前幀對應(yīng)位置處像素點亮度。對式(6)右邊進行泰勒展開，得式(7)：

I(x+dx,y+dy,t+dt)=

(7)

由式(6)～(7)得式(8)～(9)：

(8)

Ixu+Iyv=-It

(9)

式(9)可表示為矩陣相乘，如式(10)：

(10)

一個方程求兩個未知數(shù)顯然不可解，假設(shè)目標局部區(qū)域具有運動一致性，即可聯(lián)立方程式(11)：

Ad=b

(11)

由最小二乘法得式(12)：

d=(ATA)-1ATb

(12)

在實際計算中，角點可以得到相對穩(wěn)定的光流[25]，所以本文使用角點作為特征點計算光流，找出上一幀目標上的角點，假設(shè)共k個角點，記為(x1,y1)，(x2,y2)，…，(xk,yk)。由于光流法是基于相鄰幀物體微小運動的，當物體運動較大時，傳統(tǒng)光流法效果并不好，為此本文使用金字塔光流法[26]計算角點的光流，記為(u1,v1)，(u2,v2)， …， (uk,vk)。

1.4 跟蹤流程

本文算法是在KCF的基礎(chǔ)上引入再檢測機制來實現(xiàn)長時目標跟蹤的，因此跟蹤時首先利用KCF跟蹤目標，計算跟蹤每一幀目標的PSR，當值小于經(jīng)驗閾值T時，再檢測機制生效。

再檢測機制的作用是通過計算前一幀目標區(qū)域的光流場，預(yù)測出目標在當前幀中的位置，由于視頻中非目標物也會運動產(chǎn)生光流，給判斷目標位置帶來干擾，為減輕干擾，將特征點的光流乘以一個權(quán)值，距離上一幀目標中心越近的特征點光流越重要，其權(quán)值越大。本文使用高斯分布表示權(quán)重ω(x,y)，則第k個角點的權(quán)值為式(13)：

(13)

將1.3節(jié)中所有角點的光流加權(quán)平均即得目標光流：

利用光流法，通過以上計算預(yù)測目標在當前幀中的位置為(x,y)，其中x=x0+U，y=y0+V，此位置為目標的粗略位置，為獲得更精確位置需在(x,y)處再次運用核相關(guān)濾波器。

2 實驗結(jié)果分析

為了評估本文所提算法在跟蹤快速運動目標時的性能，實驗使用文獻[27]中標記為快速運動的視頻作為視頻測試，并使用距離精確度(Distance Precision, DP)和成功率(Success Rate,SR)作為評估標準。精確度是指跟蹤目標的中心坐標與人工標定的準確值間的歐氏距離小于某個閾值的幀數(shù)占全部視頻幀數(shù)的百分比，閾值越低時精確度越高，跟蹤效果越好。成功率是指包圍跟蹤目標的邊框區(qū)域與人工標定的準確值間的重疊率大于某個閾值的幀數(shù)占全部視頻幀數(shù)的百分比，閾值越高時成功率越高，跟蹤效果越好。

實驗除了驗證所提算法再檢測模塊的有效性，還與當前主流跟蹤算法比較，以此證明它的整體優(yōu)越性。

實驗平臺 Matlab 2015b，intel-i7-6700，3.4 GHz，8 GB內(nèi)存。

2.1 LKCF與KCF對比實驗

為說明CN顏色特征和再檢測機制對提高KCF跟蹤效果的作用，本文進行了對比實驗?，F(xiàn)定義在KCF上只引入CN顏色特征的算法記為cKCF，只引入再檢測機制的算法記為rKCF，兩者都引入則為本文長時核相關(guān)濾波器(LKCF)。

實驗使用OTB-50數(shù)據(jù)集[27]中的Deer視頻比較KCF、cKCF、rKCF及LKCF性能差異。首先繪制精確度圖，如圖1所示，并使用20個像素點時的精確度作為評價標準。其次，為直觀地呈現(xiàn)個算法的差異，還繪制了中心距離誤差圖，如圖2所示。

圖1 中心距離精確度Fig. 1 Center distance precision

圖2 中心距離誤差Fig. 2 Center distance error

從圖1可以看出rKCF和LKCF的精度達到了100%，即在所有幀中，跟蹤目標的中心坐標與真實標定值之間的歐氏距離都小于20個像素值。KCF的距離精度達到了87%，cKCF為90%，只比KCF多3個百分點，相比而言，在KCF基礎(chǔ)上引入再檢測機制的rKCF則增加了13個百分點，可看出再檢測機制可以顯著提高跟蹤效果。

從圖2可以觀察到，KCF和cKCF在25幀附近中心距離產(chǎn)生了巨大偏差，而rKCF和LKCF此時表現(xiàn)出色，具體從圖3可看出在24幀所有跟蹤器都能較準確跟蹤，在25幀KCF和cKCF跟蹤失敗，引入再檢測機制的rKCF和LKCF此時卻跟蹤成功，證明再檢測機制對提高跟蹤魯棒性的作用(注：圖3中目標框線型對應(yīng)圖1中各跟蹤器線型，圖3(a)中4個跟蹤框重合)。在圖2中55幀附近KCF產(chǎn)生較大偏差，而cKCF此刻卻沒有產(chǎn)生較大偏差，說明CN顏色特征也可以提高跟蹤的魯棒性。

圖3 4個跟蹤器在第24、25幀的跟蹤位置Fig. 3 Tracking position of 4 trackers in the 24th～25th frames

2.2 多跟蹤器對比

實驗選取OTB-50數(shù)據(jù)集[27]中標記為快速運動的15組視頻序列作為測試視頻，將本文所提長時核相關(guān)濾波跟蹤算法(LKCF)與核相關(guān)濾波跟蹤算法(KCF)[4]、跟蹤-學(xué)習-檢測(Teach-Learn-Detection，TLD)[24]、壓縮跟蹤(Compressive Tracking， CT)[28]、時空上下文(Spatio-Temporal Context，STC)[29]進行對比實驗。實驗選用閾值為20個像素點時的距離精確度(DP)和閾值為0.5的成功率(SR)作為評測標準，結(jié)果如表1所示。

表1 5種跟蹤算法在視頻序列上的性能比較Tab. 1 Performance comparison of 5 tracking algorithms over the video sequences

從表1中可看出，本文算法的距離精確度均值為0.651，成功率均值為0.569，是5種跟蹤算法中綜合表現(xiàn)最好的，且分別比KCF高6.2個百分點和5.1個百分點。為更形象地表現(xiàn)測試結(jié)果，圖4、圖5分別給出了5種跟蹤算法在15組測試視頻中，在不同閾值下的距離精確度和成功率。

圖4 5種跟蹤算法在不同閾值下的距離精度Fig. 4 DP of 5 tracking algorithms at different thresholds

圖5 5種跟蹤算法在不同閾值下的成功率Fig. 5 SR of 5 tracking algorithms at different thresholds

表2為5種跟蹤算法在測試視頻序列上的運行速度對比結(jié)果，從結(jié)果可看出，本文提出的LKCF算法運行速度排名第4，與最快的789.5幀每秒尚有差距，但仍能滿足實時跟蹤要求。

表2 5種跟蹤算法運行速度對比Tab. 2 Running speed comparison of 5 tracking algorithms

3 結(jié)語

為解決基于相關(guān)濾波理論的跟蹤器在跟蹤快速運動目標時目標丟失問題，本文在核相關(guān)濾波(KCF)跟蹤算法的基礎(chǔ)上引入CN顏色特征及基于光流法的再檢測機制，提出了一種長時核相關(guān)濾波(LKCF)跟蹤算法，該算法可在目標跟蹤丟失時重新獲得目標并繼續(xù)跟蹤。實驗表明，本文算法在距離精確度均值和準確度均值分別比KCF跟蹤算法高6.2、5.7個百分點，與近年來4個優(yōu)秀算法比較，在跟蹤快速運動目標時魯棒性最好，能滿足實時跟蹤要求，有實際應(yīng)用價值。不足的是本文算法運行速度較慢，造成速度慢的原因是基于光流法的運動物體檢測算法計算復(fù)雜度較高，因此，后續(xù)將對優(yōu)化再檢測機制作進一步研究。

References)

[1] SMEULDERS A W M, CHU D M, CUCCHIARA R, et al. Visual tracking: an experimental survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(7): 1442-1468.

[2] BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 2544-2550.

[3] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]// Proceedings of the 2012 European Conference on Computer Vision. Berlin: Springer, 2012: 702-715.

[4] HENRIQUES J F, RUI C, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3): 583-596.

[5] FELZENSZWALB P F, GIRSHICK R B, MCALLESTER D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32 (9): 1627-1645.

[6] Van De WEIJER J, SCHMID C, VERBEEK J, et al. Learning color names for real-world applications[J]. IEEE Transactions on Image Processing, 2009, 18(7): 1512-1523.

[7] DANELLJAN M, KHAN F S, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 1090-1097.

[8] DANELLJAN M, HGER G, KHAN F, et al. Accurate scale estimation for robust visual tracking[EB/OL].[2016-05-20]. http://www.bmva.org/bmvc/2014/files/abstract038.pdf.

[9] LI Y, ZHU J. A scale adaptive kernel correlation filter tracker with feature integration [C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 254-265.

[10] MA C, YANG X, ZHANG C, et al. Long-term correlation tracking [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015: 5388-5396.

[11] HONG Z, CHEN Z, WANG C, et al. Multi-Store Tracker (MUSTer): a cognitive psychology inspired approach to object tracking[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015:749-758.

[12] LIU T, WANG G, YANG Q. Real-time part-based visual tracking via adaptive correlation filters[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015: 4902-4912.

[13] LI Y, ZHU J, HOI S C H. Reliable patch trackers: robust visual tracking by exploiting reliable patches[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015: 353-361.

[14] GALOOGAHI H K, SIM T, LUCEY S. Correlation filters with limited boundaries[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 4630-4638.

[15] DANELLJAN M, HAGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2015:4310-4318.

[16] LANG J, LAGANI R. Scalable kernel correlation filter with sparse feature integration[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision Workshop. Piscataway, NJ: IEEE, 2015: 587-594.

[17] CHEN Z, HONG Z, TAO D. An experimental survey on correlation filter-based tracking[J]. Computer Science, 2015, 53(6025): 68-83.

[18] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]// Proceedings of the 7th International Joint Conference on Artificial Intelligence. San Francisco, CA: Morgan Kaufmann, 1981:285-289.

[19] 李航.統(tǒng)計學(xué)習方法[M]. 北京：清華大學(xué)出版社, 2012:116.(LI H. Statistical Learning Method[M]. Beijing: Tsinghua University Press, 2012:116.)

[20] RIFKIN R, YEO G, POGGIO T. Regularized least-squares classification[J]. Acta Electronica Sinica, 2003, 190(1): 131-154.

[21] KHAN F S, VAN DE WEIJER J, VANRELL M. Modulating shape features by color attention for object recognition [J]. International Journal of Computer Vision, 2012, 98(1): 49-64.

[22] KHAN F S, ANWER R M, VAN DE WEIJER J, et al. Color attributes for object detection[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 3306-3313.

[23] KHAN F S, ANWER R M, VAN DE WEIJER J, et al. Coloring action recognition in still images[J]. International Journal of Computer Vision, 2013, 105(3): 205-221.

[24] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(7): 1409-1422.

[25] SHI J, TOMASI C. Good features to track[C]// Proceedings of the 1994 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 1994: 593-600.

[26] BOUGUET J Y. Pyramidal Implementation of the Lucas Kanade feature tracker description of the algorithm[J]. OpenCV Documents, 2000, 22(2): 363-381.

[27] WU Y, LIM J, YANG M H. Online object tracking: a benchmark[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2013: 2411-2418.

[28] ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[C]// Proceedings of the 2012 European Conference on Computer Vision. Berlin: Springer, 2012:864-877.

[29] ZHANG K, ZHANG L, LIU Q, et al. Fast visual tracking via dense spatio-temporal context learning[C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 127-141.

ZHU Mingmin, born in 1990, M. S. candidate. His research interests include gesture recognition, object detection, object tracking.

HU Maohai, born in 1967, Ph. D., associate professor. His research interests include image processing, optical pattern recognition, biomicroscopic imaging.

Long-term visual object tracking algorithm based on correlation filter

ZHU Mingmin, HU Maohai*

(SchoolofElectronicandOpticalEngineering,NanjingUniversityofScienceandTechnology,NanjingJiangsu210094,China)

Focusing on the issue that the Correlation Filter (CF) has poor performance in tracking fast motion object, a Long-term Kernelized Correlation Filter (LKCF) tracking algorithm based on optical flow combining with Kernel Correlation Filter (KCF) was proposed. Firstly, while tracking with the tracker, a value of Peak-to-Sidelobe Ratio (PSR) was calculated. Secondly, the position was achieved in the last frame, optical flow was used to calculate coarse position when the value of PSR less than a threshold in the current frame, which means tracking failure. Finally, accurate position was calculated using the tracker again according to the coarse position. The results of experiment compared with four kinds of tracking algorithms such as Compressive Tracking (CT), Tracking-Learning-Detection (TLD), KCF and Spatio-Temporal Context (STC) show that the proposed algorithm is optimal in distance accuracy and success rate which are 6.2 percentage points and 5.1 percentage points higher than those of KCF. In other words, the proposed algorithm is robust to the tracking of fast motion object.

correlation filter; optical flow; long-term object tracking; fast motion; object redetection

2016-10-17;

2016-12-21。

朱明敏(1990—)，男，江蘇句容人，碩士研究生，主要研究方向：手勢識別、目標檢測、目標跟蹤； 胡茂海(1967—)，男，安徽馬鞍山人，副教授，博士，主要研究方向：圖像處理、光學(xué)模式識別、生物顯微成像。

1001-9081(2017)05-1466-05

10.11772/j.issn.1001-9081.2017.05.1466

TP391.4

A