湯學猛，陳志國*，傅 毅,2

基于核濾波器實時運動目標的抗遮擋再跟蹤

湯學猛1，陳志國1*，傅 毅1,2

1江南大學物聯(lián)網(wǎng)工程學院，江蘇 無錫 214122；2無錫環(huán)境科學與工程研究中心，江蘇 無錫 214153

相關(guān)濾波算法是通過模板與檢測目標的相似性來確定目標位置，自從將相關(guān)濾波概念用于目標跟蹤起便一直受到廣泛的關(guān)注，而核相關(guān)濾波算法的提出更是將這一理念推到了一個新的高度。核相關(guān)濾波算法以其高速度、高精度以及高魯棒性的特點迅速成為研究熱點，但核相關(guān)濾波算法在抗遮擋性能上有著嚴重的缺陷。本文針對核相關(guān)濾波在抗遮擋性能上的缺陷對此算法進行改進，提出了一種融合Sobel邊緣二元模式算法的改進KCF算法，通過Sobel邊緣二元模式算法加權(quán)融合目標特征，然后計算目標的峰值響應強度旁瓣值比檢測目標是否丟失，最后將Kalman算法作為目標遮擋后搜索目標的策略。結(jié)果顯示，本文方法不僅對抗遮擋有較好的魯棒性，而且能夠滿足實時要求，準確地對目標進行再跟蹤。

KCF；特征融合；旁瓣值比；Kalman預測

1 引 言

目標跟蹤是當前學術(shù)界一直深入探討的課題，其應用相當寬泛，橫跨監(jiān)控、運動分析、醫(yī)療圖像、行為識別、監(jiān)控及人機交互等諸多方面。盡管經(jīng)過數(shù)十年的探索改進，速度與精度上已取得重大的突破，遺憾的是在匹配移動目標上依然道阻且長。環(huán)境變化，目標尺度變化、采光問題、視頻的清晰度、跟蹤目標被遮擋等影響因素一直是橫亙在準確度上的難關(guān)，截至目前依然沒有一種方法能夠完善解決上述問題[1]?，F(xiàn)在研究目標跟蹤主要算法有：循環(huán)結(jié)構(gòu)(circulant structure of tracking-by-detection with kernels，CSK)跟蹤算法[2]、Meanshift算法[3]、粒子濾波跟蹤算法[4]、DSST(discriminative scale space tracking)算法[5]、最小輸出平方誤差核(minimum output sum of squared error，MOSSE)跟蹤算法[6]等。

鑒于上述學習跟蹤方法復雜度過大，近年來計算簡單、精度高、速度快的相關(guān)濾波器受到關(guān)注。很多專家在目標跟蹤方面應用相關(guān)濾波器技術(shù)。王暐等[7]基于循環(huán)矩陣結(jié)構(gòu)跟蹤算法只適用于跟蹤尺度固定不變的目標，提出了一種基于分塊的尺度自適應CSK剛體目標跟蹤算法。Henriques等[8]用梯度方向直方圖(histogram of oriented gradients，HOG)特征，提出了核相關(guān)濾波器(kernelized correlation filters，KCF)跟蹤器。Danelljan等[9]在KCF基礎(chǔ)上提出了自適應顏色屬性(color name，CN)視覺跟蹤。但是由于多通道運算量較大，主成分分析(principal components analysis，PCA)降低維度，從11個通道中選出2個主要的通道進行處理，提高了跟蹤精確度。上述方法在某些情形確實能夠適用且效果良好，但是當目標受到嚴重遮擋時卻存在很大局限性，不能達到預期效果。Danelljan等[10]在判別相關(guān)濾波器(discrimitive correlation filters，DCF)基礎(chǔ)上提出了空間正規(guī)化(spatially regularized discrimitive correlation filters，SRDCF)，使用Gauss-Seidel函數(shù)求解濾波器。Bertinetto等[11]于2016年在CVPR上發(fā)表了使用HOG-KCF+Color-KCF目標跟蹤的Staple(sum of template and pixel-wise learners)算法。隨著深度學習的發(fā)展，研究人員能夠更好地提取跟蹤目標的信息。Valmadre等[12]在目標跟蹤中使用End-to- end模型。Danelljan等[13]在CVPR上發(fā)表了有效卷積算子跟蹤的ECO(efficient convolution operators)算法。包曉安等[14]利用SIFT(scale-invariant feature transform)特征檢測重定位再次出現(xiàn)的目標，對于遮擋視頻的處理取得了一定成果。閆河等[11]提出融合LBP(local binary pattern)與HOG特征來提高跟蹤遮擋的準確率。Bertinetto等[15]將HOG特征和顏色特征結(jié)合，在算法精度方面有了很大改善。Li等[16]通過對DCF強制執(zhí)行空間懲罰來解決邊界系數(shù)和引入時間正則化，以復雜性增加為代價，提出了空間時間正則化相關(guān)濾波器(spatially-temporal regularization correlation filter，STRCF)。Li等[17]在基于傳統(tǒng)相關(guān)濾波器上，提出了一種新的魯棒的相似變換估計大位移(large displacement tracking visestimation of similarity，LDES)跟蹤算法。Xu等[18]在DCF的基礎(chǔ)上利用時間一致性來設(shè)計低維判別流形空間，提出了LADCF(learning adaptive discriminative correlation filters)算法。在2018年，Li等[19]在CVPR上發(fā)表了SiamRPN(Siamese region proposal network)網(wǎng)絡架構(gòu)算法。為了解決SiamRPN網(wǎng)絡架構(gòu)算法需要使用訓練好的深層網(wǎng)絡從而導致跟蹤算法精度下降的問題，Li等[20]于2019年CVPR上又提出了SiamRPN++算法。單倩文等[21]為了提高算法速度，提出快速檢測和識別算法。Fan等[22]為了解決大尺度問題，在CVPR2019上提出了多級跟蹤網(wǎng)絡LaSOT(large-scale single object tracking)算法。

本文將Sobel算子檢測與FHOG(fast histogram of oriented gradients)直方圖相融合，對目標特征加強了FHOG邊緣檢測，使跟蹤的目標信息更加明顯。為了對目標遮擋后的Kalman預測算法進行準確判斷，在跟蹤過程中用KCF算法得到的目標位置修正Kalman算法，從而得到的目標位置。在保證目標信息可靠性的基礎(chǔ)上，提出了SPKCF算法，能過自適應目標響應峰值旁瓣值比(SPSR)，結(jié)合Kalman算法，根據(jù)目標丟失前的狀態(tài)預測目標下一幀可能出現(xiàn)的位置。

2 KCF跟蹤基本原理

KCF跟蹤算法首先在第一幀選定被跟蹤的目標，讀取目標位置的信息來訓練跟蹤器。使用該跟蹤器對下一幀目標預測位置附近進行采樣點響應，響應點最強的位置就是目標存在的位置。

為了簡化符號，將專注于單通道一維信號。通過循環(huán)移位算子來建模該向量的一維平移，循環(huán)移位算子是置換矩陣：

離散傅里葉變換之后可表示為

3 再跟蹤基本原理

本文算法是在KCF的基礎(chǔ)上引進再跟蹤機制，從而實現(xiàn)對目標丟失后的再跟蹤。

3.1 Sobel-FHOG

Sobel算子主要用于邊緣檢測，利用快速卷積函數(shù)對邊緣快速提取，對像素的位置做加權(quán)，以降低邊緣模糊程度。Sobel算子與FHOG相融合，加強了FHOG對目標特征提取，使目標輪廓更加清晰。Sobel算子由水平和垂直兩個方向算子組成，實際上是對圖像進行卷積，根據(jù)像素點上下、左右鄰點灰度加權(quán)差在邊緣處達到極值來檢測邊緣，對噪聲具有平滑作用，以提供精確的邊緣方向信息。將其用于加強FHOG，對目標特征提取有很好的效果，本文使用Sobel與FHOG相融合的方式。如圖1所示，從圖上可以明顯看出，Sobel-FHOG提取特征比FHOG提取特征效果更好。

圖1 (a) 原圖；(b) FHOG；(c) Sobel-FHOG

3.2 自適應峰值響應強度旁瓣值比(Adaptive target response peak sidelobe ratio, SPSR)

峰值響應強度旁瓣值比(PSR，用PSR表示)用來判斷檢測目標是否在當前幀的檢測框中。KCF跟蹤目標是把當前幀與濾波模板作用后響應最大的位置作為目標位置，而每次進行濾波的位置是上一幀目標所在位置。當目標遮擋造成跟蹤失敗，引入目標再跟蹤機制，即目標PSR小于閾值時才開始運行。PSR的定義為

如圖2(a)視頻Jogging和圖2(b)視頻Rom105上，跟蹤目標沒有被遮擋時，SPSR在一個值上波動。當跟蹤目標被遮擋物遮擋時，SPSR值出現(xiàn)急速下降，當目標再出現(xiàn)時，SPSR又以一個值上下波動。

圖2 SPSR時刻值。(a) Jogging；(b) Rom105

3.3 再跟蹤機制

為了保證Kalman算法對遮擋后跟蹤目標信息可靠性，跟蹤過程中使用KCF算法修正每次Kalman算法得到的目標位置：

由于跟蹤視頻質(zhì)量不同會導致經(jīng)驗閾值也有所不同，若視頻質(zhì)量較差，一般取0.1左右；若視頻質(zhì)量一般，一般值0.25左右；若視頻質(zhì)量較好，一般取0.36左右。當SPSR小于閾值時，再跟蹤機制失效，根據(jù)之前目標的狀態(tài)信息，用Kalman濾波器進行目標預測[23]，然后把目標位置信息傳給核相關(guān)濾波器，用前幾幀沒有丟失的模板信息更新核濾波器。當SPSR大于值，繼續(xù)用核相關(guān)濾波進行目標跟蹤。

在跟蹤前初始化Kalman濾波器，當開始跟蹤前10幀時，用核濾波器得到的目標信息來更新Kalman 濾波器。Kalman濾波算法中，為了降低計算復雜性，分別在、方向更新。方向時間更新為

其中：為卡爾曼增益矩陣，e為修正當前目標位置的值，e為增益矩陣方差的誤差，為測量噪聲，為協(xié)方差矩陣。當SPSR小于值時，進行Kalman預測，將式(11)、式(15)更改為

在方向的更新與方向一樣。、方向得出的值取整賦給，然后把位置信息返還給KCF濾波器。

3.4 再跟蹤的算法流程

本文先用方向梯度直方圖(FHOG)與Sobel邊緣二元模式算法加權(quán)融合目標特征，核濾波計算每一幀的目標的峰值自適應響應強度(SPSR)[24]，并對SPSR進行判斷。當SPSR大于時，此時再進行Kalman濾波訓練，用KCF算法預測的坐標選取跟蹤窗口，提取中心點位置附近的目標信息，并修正Kalman算法得到的目標位置，直接更新濾波器模型；否則，直接進行Kalman預測，得出的坐標直接返還給KCF濾波器，并使用前第10幀的模型更新這一幀的模型。本文改進方法在抗遮擋方面有著很好的效果。其算法流程：

輸入：視頻中的某一幀。

輸出：當前幀目標的位置。

While(視頻序列讀取未結(jié)束)：

1) 求出目標的Sobel-FHOG特征；Sobel-FHOG=Sobel+FHOG；

2) 訓練圖像補丁：回歸目標，高斯型，并得到測試圖片補??；

3) 分別訓練Kalman模型和KCF模型；

4) 計算目標塊響應得分，并根據(jù)式(9)計算目標的峰值響應強度旁瓣值比(SPSR)；

5) If SPSR>閾值

5.1) 根據(jù)式(11)~式(16)更新Kalman模型，根據(jù)式(10)更新目標位置；

5.2) 根據(jù)式(6)~式(8)更新KCF模型；

Else

5.1) 根據(jù)式(12)~式(14)、式(16)~式(18)預測目標位置并更新Kalman模型；

5.2) 用前第10幀KCF模型更新當前幀KCF模型；

End

End While

圖3給出了本文改進KCF再跟蹤算法整體流程。

4 實驗結(jié)果分析

4.1 實驗環(huán)境及參數(shù)

為了驗證本文SPKCF算法的有效性，在6個視頻上進行綜合測評，并與目前比較先進的跟蹤算法如DSST[5]、ECO、KCF[11]、LDES、SRDCF[10]、SAMF(scale adaptive with multiple features tracker)[25]、STRCF進行對比測試平臺為Matlab2018b，實驗均在Intel(R) Core(TM) i5-7400 CPU with NVIDIA GTX 1050 4G，主頻3.0 GHz，16 G內(nèi)存配置的Windows10 64 bit PC系統(tǒng)上完成。本算法的基本參數(shù)與KCF相同，且在所有視頻序列上保持一致，高斯核標準差為0.5，正則化系數(shù)為0.0001，學習因子為0.02。

4.2 性能評估方法

針對本文所提SPKCF算法對抗遮擋問題的魯棒性，本文選用OTB數(shù)據(jù)集中6組有著不同程度遮擋的數(shù)據(jù)集進行測試，測試視頻分別是Coke、Girl、Jogging、Rom105、Subway和Tiger2。本文分別從準確度，成功覆蓋率和速度方面分析。

4.3 抗遮擋實驗結(jié)果

4.3.1 SPKCF與KCF對比

首先將SPKCF算法與KCF在6組遮擋視頻上進行抗遮擋對比，以驗證算法的有效性。圖4顯示了SPKCF與KCF在各個視頻上的時刻覆蓋結(jié)果。從圖4可知，SPKCF在重疊方面優(yōu)于KCF，在全遮擋Jogging、rom105和Tiger2視頻中，SPKCF時刻重疊率基本都在0.7以上，而KCF遇見遮擋導致跟蹤目標丟失時，時刻重疊率為0，中心位置與手工標注的準確中心位置之間平均歐氏距離超過了20像素點。從而得知，在遮擋方面SPKCF比KCF具有魯棒性。

4.3.2 抗遮擋性能對比

圖5顯示了目標遇見遮擋時部分的跟蹤結(jié)果(紅色框是SPKCF，藍綠色是DSST，藍色框是ECO，綠色框是KCF，黑色框是LDES，黃色框是SAMF，紫紅色框是SRDCF，白色框(用水綠色表示)是STRCF)。在Coke數(shù)據(jù)集上，KCF、SRDCF和STRCF在目標遇見遮擋時會產(chǎn)生偏移，例如第200幀、第210幀。在Girl數(shù)據(jù)集上，目標受到相似的干擾物遮擋，DSST和KCF出現(xiàn)目標跟丟了，SRDCF出現(xiàn)了跟蹤偏移，例如第450幀、第480幀、第500幀。在Jogging數(shù)據(jù)集中，在被燈桿遮擋之后，8種算法中，DSST、KCF算法出現(xiàn)了目標跟丟的情況，例如第86幀、第98幀、第108幀、第131幀和第150幀。在Rom105數(shù)據(jù)集中，跟蹤目標經(jīng)歷了長時間遮擋，只有SPKCF算法能正確跟蹤目標，例如第318幀和第329幀，而其它7種算法都出現(xiàn)了目標丟失。在Subway數(shù)據(jù)集中，DSST和LDES在跟蹤過程中，由于跟蹤目標較小，受到背景干擾比較多，導致了跟蹤效果不佳。在Tiger2數(shù)據(jù)集中，目標經(jīng)歷了遮擋和尺度稍微變化，只有SPKCF、SRDCF和STRCF跟蹤的效果比較好，例如第124幀、第205幀和第290幀。在受到不同程度遮擋的數(shù)據(jù)集上，本文算法很好地處理遮擋后跟蹤，而其它7種算法都受到不同程度的影響，導致跟蹤效果沒有達到預期，圖6顯示了8種算法在數(shù)據(jù)集上的精確度圖。

圖3 算法整體流程圖

圖4 KCF與SPKCF在視頻上與真實位置重疊情況(紅線是SPKCF，藍線是KCF)

圖5 目標遮擋部分結(jié)果

圖6 算法在不同視頻集上的精確度圖。(a) Coke；(b) Girl；(c) Jogging；(d) Subway；(e) Rom105；(f) Tiger2

表1列出幾種算法在抗遮擋方面的結(jié)果。在受遮擋不嚴重的視頻集Coke、Girl和Subway上，SPKCF在視頻集Girl和Subway上的精確度能達到100%(以20 pixels為標準)。而DSST和LDES在Subway上的精確度分別為25.7%，72.6%。在視頻Jogging、Rom105和Tiger2上，跟蹤的目標受到遮擋的情況稍微嚴重一點，DSST和KCF就跟不上目標了，LDES、SAMF和STRCF跟蹤效果差不多。ECO、SRDCF和SPKCF跟蹤效果較好。從抗遮擋整體情況上來說，DSST和KCF跟蹤效果一般，LDES、SAMF、SRDCF和STRCF效果還行，精確度分別能達到84.1%，87.3%，88.2%和86.7%。ECO和SPKCF精確度超過90%，ECO的精確度是93.2%，而SPKCF能達到95.8%。

表2是8種算法在測試視頻上的成功覆蓋情況。DSST、ECO和KCF成功覆蓋率都低于0.8，分別是0.501、0.754和0.655。DSST跟丟目標的情況相對比較多，成功覆蓋率偏低。LDES、SAMF、SRDCF和STRCF的成功覆蓋率都超過了0.8，分別是0.845、0.829、0.817和0.802。其中，LDES由于只有部分跟丟，效果相對SAMF、SRDCF和STRCF要稍微好點。而本文的SPKCF的成功覆蓋率達到了0.898，遠遠好于KCF 0.655的成功覆蓋率，并且明顯好于其它算法。因此，本文的改進方法在抗遮擋方面有很好的效果。

表3是算法在測試視頻上的平均中心誤差。DSST和KCF超過了30，ECO、LDES、SAMF、SRDCF和STRDCF超過了7，分別是7.88，10.60，9.54，9.55和8.98。SPKCF為6.55，遠小于KCF的30.02，說明本文算法跟蹤效果比較好。

LDES、SAMF、SRDCF和STRCF在遮擋方面實驗效果相對不錯，然而在跟蹤速度方面表現(xiàn)得很一般。由表4可知，SPKCF在速度上比LDES、SAMF、SRDCF和STRCF有明顯的優(yōu)勢。LDES平均跟蹤速度只有每秒19.17幀，達不到實時要求最基本的速度。SAMF檢測速度平均是每秒27.53幀，最低是每秒10.8幀。SRDCF檢測速度的幀數(shù)都在每秒13幀以下，基本上在每秒7幀左右，無法達到在線跟蹤的要求。STRCF和LDES的檢測速度基本上相同，每秒17.05幀。ECO跟蹤速度與相比上面的幾種算法相比，快了很多，能達到每秒47.82幀。而SPKCF在速度方面表現(xiàn)依舊很好，大約是ECO跟蹤速度的3倍。

表1 在視頻集上的結(jié)果

表2 算法在測試視頻上的覆蓋情況

表3 算法在測試視頻上的平均中心誤差

表4 平均跟蹤速度

圖7是8種算法在測試視頻上整體的精確度圖。從圖上可知，SPKCF在抗遮擋方面有著很好的魯棒性。本文改進的算法在抗遮擋方面有著明顯的提升，并且也符合了在線跟蹤的速度要求，在閾值誤差為20 px時的精確度達到95.8%。

5 結(jié) 論

本文針對核相關(guān)濾波實時運動目標進行抗遮擋再跟蹤，應用Sobel邊緣檢測算法與FHOG相融合，檢測目標所在位置，并計算響應值旁瓣值比(SPSR)，再根據(jù)SPSR與閾值進行判斷，進而基于此判定Kalman預測的必要性。實驗結(jié)果充分說明，較之其它現(xiàn)有方法，核相關(guān)濾波方法的改進在解決核相關(guān)濾波器抗遮擋問題上有著顯著的進步，其在檢測速度上也有著不錯的表現(xiàn)。但是也應該看到，實驗存在不足，還是有可以改進地方。本文加入了改進方法，導致檢測速度會比KCF檢測速度慢了一點，這方面仍然需要進一步研究。

圖7 六個視頻集上的平均精確度圖

[1] Wu X J, Xu T Y, Xu W B. Review of target tracking algorithms in video based on correlation filter[J]., 2017, 8(3): 1–5.

吳小俊, 徐天陽, 須文波. 基于相關(guān)濾波的視頻目標跟蹤算法綜述[J]. 指揮信息系統(tǒng)與技術(shù), 2017, 8(3): 1–5.

[2] Henriques J F, Caseiro R, Martins P,. Exploiting the circulant structure of tracking-by-detection with kernels[C]//, 2012: 702–715.

[3] Comaniciu D, Meer P. Mean shift: a robust approach toward feature space analysis[J]., 2002, 24(5): 603–619.

[4] Mei X, Ling H B. Robust visual tracking and vehicle classification via sparse representation[J]., 2011, 33(11): 2259–2272.

[5] Danelljan M, H?ger G, Khan F S,. Accurate scale estimation for robust visual tracking[C]//, 2014.

[6] Grabner H, Grabner M, Bischof H. Real-time tracking via on-line boosting[C]//, 2006, 1: 47–56.

[7] Wang W, Wang C P, Fu Q,. Patch-based scale adaptive CSK tracking method[J]., 2017, 24(2): 25–29.

王暐, 王春平, 付強, 等. 基于分塊的尺度自適應CSK跟蹤算法[J]. 電光與控制, 2017, 24(2): 25–29.

[8] Henriques J F, Caseiro R, Martins P,. High-speed tracking with kernelized correlation filters[J]., 2015, 37(3): 583–596.

[9] Danelljan M, Khan F S, Felsberg M,. Adaptive color attributes for real-time visual tracking[C]//, 2014: 1090–1097.

[10] Danelljan M, H?ger G, Khan F S,. Learning spatially regularized correlation filters for visual tracking[C]//, 2015: 4310–4318.

[11] Bertinetto L, Valmadre J, Golodetz S,. Staple: complementary learners for real-time tracking[C]//, 2016: 1401–1409.

[12] Valmadre J, Bertinetto L, Henriques J,. End-to-end representation learning for correlation filter based tracking[C]//, 2017: 5000–5008.

[13] Danelljan M, Bhat G, Khan F S,. Eco: efficient convolution operators for tracking[C]//, 2017: 6931–6939.

[14] Bao X A, Zhan X J, Wang Q,. Anti occlusion target tracking algorithm based on KCF and SIFT feature[J]., 2018, 26(5): 148–152.

包曉安, 詹秀娟, 王強, 等. 基于KCF和SIFT特征的抗遮擋目標跟蹤算法[J]. 計算機測量與控制, 2018, 26(5): 148–152.

[15] Yan H, Zhang Y, Yang X L,. A kernelized correlaton filters with occlusion handling[J]., 2018, 29(6): 647–652.

閆河, 張楊, 楊曉龍, 等. 一種抗遮擋核相關(guān)濾波目標跟蹤算法[J]. 光電子·激光, 2018, 29(6): 647–652.

[16] Li F, Tian C, Zuo W M,. Learning spatial-temporal regularized correlation filters for visual tracking[C]//, 2018: 4904–4913.

[17] Li Y, Zhu J K, Hoi S C H,. Robust estimation of similarity transformation for visual object tracking[C]//, 2019, 33: 8666–8673.

[18] Xu T Y, Feng Z H, Wu X J,. Learning adaptive discriminative correlation filters via temporal consistency preserving spatial feature selection for robust visual tracking[C]//(), 2019.

[19] Li B, Yan J J, Wu W,. High performance visual tracking with Siamese region proposal network[C]//, 2018: 8971–8980.

[20] Li B, Wu W, Wang Q,. SiamRPN++: evolution of Siamese visual tracking with very deep networks[C]//(), 2018.

[21] Shan Q W, Zheng X B, He X H,. Fast object detection and recognition algorithm based on improved multi-scale feature maps[J]., 2019, 56(2): 55–62.

單倩文, 鄭新波, 何小海, 等. 基于改進多尺度特征圖的目標快速檢測與識別算法[J]. 激光與光電子學進展, 2019, 56(2): 55–62.

[22] Fan H, Lin L T, Yang F,. LaSOT: a high-quality benchmark for large-scale single object tracking[C]//(), 2019.

[23] Faragher R. Understanding the basis of the Kalman filter via a simple and intuitive derivation [lecture notes][J]., 2012, 29(5): 128–132.

[24] Bolme D S, Beveridge J R, Draper B A,. Visual object tracking using adaptive correlation filters[C]//, 2010: 2544–2550.

[25] Li Y, Zhu J K. A scale adaptive kernel correlation filter tracker with feature integration[C]//, 2014: 254–265.

Anti-occlusion and re-tracking of real-time moving target based on kernelized correlation filter

Tang Xuemeng1, Chen Zhiguo1*, Fu Yi1,2

1School of Internet of Things Engineering, Jiangnan University, Wuxi, Jiangsu 214122, China;2Wuxi Research Center of Environmental Science and Engineering, Wuxi, Jiangsu 214153, China

(a) Original image; (b) FHOG; (c) Sobel-FHOG

Overview:Target tracking is a topic that has been discussed in depth in current academic community. Its application is quite broad, spanning monitoring, motion analysis, medical imaging, behavior recognition, monitoring and human-computer interaction. When the tracking target is occluded, the accuracy of the current algorithm is not high. Therefore, the research of target tracking algorithm is still an important topic in the field of computer vision. The kernelized correlation filter is one of the most effective methods in the target tracking algorithm. It has become a research hotspot with its high speed, high precision and high robustness. More and more experts and scholars are committed to optimizing the existing features, so that the improved algorithm can achieve good experimental results. The kernelized correlation filter mainly uses the histogram of oriented gradient (HOG) in feature extraction, and determines the target position by the similarity between the template and the detection target. However, the inherent nature of the gradient makes the histogram of oriented gradient of the target very sensitive to noise and the target cannot be tracked by using this algorithm when the target is occluded. In order to overcome these shortcomings of the algorithm, this paper proposes an improved kernelized correlation filter that combines the Sobel edge binary mode algorithm. Firstly, the Sobel edge binary mode algorithm and the histogram of oriented gradient are used to weight the fusion target feature, and the HOG edge detection is enhanced for the target feature, which makes the tracking target information more obvious. Secondly, in order to make the Kalman prediction algorithm can accurately judge the target after it is occluded, the target position obtained by the kernelized correlation filter in the unoccluded tracking process is continuously merged with the target position obtained by the Kalman algorithm. Finally, the target's peak response intensity sidelobe ratio is calculated, and the detection target is judged whether it is lost. Combined with the Kalman algorithm, the position of the next frame of the target can be predicted according to the state before the target is lost. In this paper, six sets of occlusion test videos are selected on the public database visual tracker benchmark for experiments. In order to verify the effectiveness of the proposed algorithm, the authors use Matlab2018b programming, and select DSST, ECO, KCF, LDES, SRDCF, SAMF and STRCF as a comparison algorithm, which has good performance. The final experimental results show that the proposed method improves the accuracy of the algorithm when the target is occluded.

Citation: Tang X M, Chen Z G, Fu YAnti-occlusion and re-tracking of real-time moving target based on kernelized correlation filter[J]., 2020, 47(1): 190279

Supported by National Natural Science Foundation of China (61502203), Natural Science Foundation of Jiangsu Province (BK20150122), Natural Science Research Project of Jiangsu Higher Education Institutions (17KJB520039),andScientific Research Project of "333 High-level Talent Cultivation Project" in Jiangsu Province (BRA2018147)

* E-mail: 427533@qq.com

Anti-occlusion and re-tracking of real-time moving target based on kernelized correlation filter

Tang Xuemeng1, Chen Zhiguo1*, Fu Yi1,2

1School of Internet of Things Engineering, Jiangnan University, Wuxi, Jiangsu 214122, China;2Wuxi Research Center of Environmental Science and Engineering, Wuxi, Jiangsu 214153, China

The correlation filtering algorithm determines the target position by the similarity between the template and the detection target. Since the related filtering concept is used for target tracking, it has been widely concerned, and the proposal of the kernelized correlation filter is to push this concept to a new height. The kernelized correlation filter has become a research hotspot with its high speed, high precision and high robustness. However, the kernelized correlation filter has serious defects in anti-blocking performance. In this paper, the algorithm for the anti-occlusion performance of kernelized correlation filter is improved. An improved KCF algorithm based on Sobel edge binary mode algorithm is proposed. The Sobel edge binary mode algorithm is used to weight the fusion target feature. The target's peak response intensity sidelobe value is more than the detection target is lost. Finally, the Kalman algorithm is used as the target occlusion strategy. The results show that the proposed method not only has better robustness against occlusion, but also satisfy the real-time requirements and can accurately re-tracks the target.

KCF; feature fusion; side lobe ratio; Kalman prediction

TP391.41

A

湯學猛，陳志國，傅毅. 基于核濾波器實時運動目標的抗遮擋再跟蹤[J]. 光電工程，2020，47(1): 190279

10.12086/oee.2020.190279

: Tang X M, Chen Z G, Fu Y. Anti-occlusion and re-tracking of real-time moving target based on kernelized correlation filter[J]., 2020,47(1): 190279

2019-02-05；

2019-08-06

國家自然科學基金資助項目(61502203)；江蘇省自然科學基金資助項目(BK20150122)；江蘇省高等學校自然科學研究面上資助項目(17KJB520039)；江蘇省“333高層次人才培養(yǎng)工程”科研項目(BRA2018147)

湯學猛(1994-)，男，碩士研究生，主要從事人工智能與模式識別的研究。E-mail：915577151@qq.com

陳志國(1978-)，男，副教授，主要從事人工智能，計算機智能控制的研究。E-mail：427533@qq.com