夏 婷 謝維信 陳富健 黃梓桐

(深圳大學ATR國防科技重點實驗室, 廣東深圳 518060)

1 引言

視頻目標跟蹤的方法有很多,一般總結(jié)為生成式方法和鑒別式方法[1]。生成式模型利用的是稀疏編碼,即線性系數(shù)向量的分量稀疏表示成多個0,相當于求解問題的近似過程。這類方法中比較經(jīng)典的代表有基于概率密度分布的Meanshift算法、基于粒子分布的Particle Filter算法、基于特征點的光流算法等。此類算法不足是未全面利用視頻序列的信息,導致跟蹤不夠穩(wěn)定。鑒別式模型是目前常用的目標跟蹤算法,它改進了生成式模型算法的不足,充分利用圖像的整個信息,將整張圖像中的前景與背景的信息相比較,然后將需要的信息提取出來獲得目標的準確位置。目前此類算法中得到廣泛應用的是基于核相關(guān)濾波器的目標跟蹤算法[2]。

核相關(guān)濾波最早期比較注重速度,Bolme的MOSSE算法和Martins的CSK算法最具有代表性[3]。Martins在算法CSK基礎(chǔ)上改進的算法KCF中又引進快速傅里葉變換(FFT)[4],進一步降低計算量。但是僅注重速度的目標跟蹤在實際的應用中是存在問題的,因為目標跟蹤是一個十分復雜的過程,可以概括成11種挑戰(zhàn)[5- 6]:亮度變化(Illumination Variation,IV)、背景雜波(Background Clutter,BC)、形狀變化(Deformation,DEF)、目標尺度變化(Scale Variation,SV)、快速運動(Fast Motion,FM)、受到遮擋(Occlusion,OCC)、運動模糊(Motion Blur,MB)、分辨率較低(Low Resolution,LR),超出視野(Out-of-View,OV),平面內(nèi)外旋轉(zhuǎn)(out-of-plane Rotation&in-plane Rotation)等。同時解決這11種甚至更多的目標跟蹤場景中的復雜問題并不容易,研究者往往針對不同的情況進行專門完善或者對幾種情況進行綜合完善與改進。例如KCF算法中引進循環(huán)采樣來增加樣本數(shù)量以此解決稀疏采樣問題以及利用FFT快速傅里葉變換降低計算量;DSST算法利用兩個獨立的濾波器(位置濾波器和尺度濾波器)專門解決目標尺度變化問題[7];SAMF[8]算法利用顏色和梯度的互補特性簡單引入尺度池方法以及雙線性插值方法,其目的也是專門針對目標尺度變化問題進行改進。但是在實際的應用中目標的位置變化是比尺度變化要更加明顯,因此在位置變化方面的跟蹤效果不是很穩(wěn)定。DAT算法是利用貝葉斯方法計算出前景和背景的顏色概率圖,單純利用統(tǒng)計顏色特征方法進行目標跟蹤。Staple[9]算法打破單一模板特性,利用兩種獨立模板單獨訓練和測試,在響應階段進行線性融合,相當于DSST算法和DAT算法的優(yōu)勢聯(lián)合,達到高跟蹤速度同時有效改善了跟蹤的性能。

由于目標跟蹤中目標形態(tài)以及所處的環(huán)境很復雜,研究者仍然對基于核相關(guān)濾波的目標跟蹤領(lǐng)域不斷完善和突破,大致方向一般趨向于提出一種新的針對性算法,或者幾個算法的融合,或者將算法自適應等。例如,楊曉輝等人提出的《A Joint Multi-Feature and Scale-Adaptive Correlation Filter Tracker》[10],利用位置相關(guān)濾波器和比例相關(guān)濾波器的相結(jié)合,通過梯度直方圖特征(HOG)和顏色特征來計算目標的位置,利用比例濾波器識別響應的大小判斷,兩者的結(jié)合提高了跟蹤的性能;Kenan Dai, Dong Wang等人提出《Visual Tracking via Adaptive Spatially-Regularized Correlation Filters》[11],利用自適應空間正則化相關(guān)濾波器模型優(yōu)化濾波器系數(shù)和空間正則化權(quán)重,在多個算法支持下取得效果;李大雷、陸瑞濤、楊小剛等人提出的《Object Tracking Based on Kernel Correlation Filter and Multi-feature Fusion》[12],首先將圖像的灰度特征、梯度直方圖特征和LAB特征相結(jié)合提高跟蹤器的魯棒性,其次利用當前幀模型與初始幀模型的相似度值來解決目標被遮擋問題,最后引入多尺度濾波器改善尺度變化以此緩解跟蹤漂移的問題。總之,核相關(guān)濾波跟蹤在向自適應和融合方向發(fā)展。

以上算法同時使用的方法均是針對每一幀目標實時更新濾波器模板,這種方法的優(yōu)點在于,隨著目標外觀的不斷變化,濾波器不可能僅僅只學習前幾幀的外觀統(tǒng)計特性,因為目標跟蹤過程中的非平穩(wěn)信號的噪聲會隨著目標統(tǒng)計特性的變化而變化,濾波器模板不更新,跟蹤的效果就會越來越差。而每一幀實時性的模板更新也會帶來更大的問題,通過目標的位置獲得新一幀的特征圖,再用新特征圖更新濾波器模板,并沒有完全考慮新特征圖的可靠性,當目標受到遮擋、強烈光照或者運動模糊等情況時,當前幀獲得的特征圖實際上是不準確的,用不準確的特征圖獲得不準確的濾波器模板,隨著跟蹤幀數(shù)的疊加就會導致跟蹤的漂移甚至失敗。針對此種情況Wang M, Liu Y等提出了LMCF算法[13],通過檢測圖像響應值的最大峰值以及多峰響應值的平均能量來約束濾波器模板的更新,從而降低因更新不準確的濾波器模板造成目標丟失的情況。但是LMCF算法仍然是建立在單一模板基礎(chǔ)上進行改進的,對于算法的融合以及自適應等跟蹤問題并不能夠解決。

針對上面的問題,本文提出將LMCF算法和雙模板特征的Staple算法相融合的LMCF-Staple算法。文章思路為首先利用貝葉斯公式分別計算出當前幀的前景和背景的概率圖[14-15],對前景直方圖和背景直方圖進行均衡化,以去除一部分噪聲;其次,利用直方圖匹配方法消減目標和背景過于相似的問題,通過巴氏系數(shù)計算出當前幀的背景和前景的直方圖的相似度值;再次,利用數(shù)據(jù)分析設(shè)定閾值,根據(jù)閾值將直方圖的bin值進行自適應,以此提高跟蹤的分辨率;然后利用LMCF算法求出當前幀圖像與當前幀的前五幀圖像的平均相關(guān)峰值能量(APCE)以及求取出目標響應值的最大值,根據(jù)數(shù)據(jù)分析設(shè)定閾值,閾值范圍內(nèi)的繼續(xù)更新濾波器模板,閾值范圍外的停止更新模板;最后,將閾值范圍內(nèi)的最大值和APCE值與融合系數(shù)相結(jié)合,使算法同時又達到了自適應的最優(yōu)融合。

2 核相關(guān)濾波目標跟蹤算法

2.1 Staple目標跟蹤算法

Staple算法融合了KCF算法中的核相關(guān)濾波器模板以及顏色直方圖特征的模板。算法在訓練和測試階段均單獨運行。相關(guān)濾波器模型中利用HOG特征進行訓練和測試目標模板,并將當前幀圖像和之前幀的圖像通過給定的學習率進行結(jié)合來更新濾波器模板;顏色直方圖特征分類器利用貝葉斯公式計算出目標的概率直方圖,來提取目標特征,以此匹配更好的響應目標,然后訓練與更新直方圖分類器;最后將核相關(guān)濾波器和直方圖分類器的響應按照固定的比例進行線性融合,得到最終的響應。

融合響應公式如下:

f(x)=γtmplftmpl(x)+γhistfhist(x)

(1)

ftmpl(x)表示濾波器模板響應,γtmpl表示濾波器模板的權(quán)重系數(shù),fhist(x)表示直方圖特征的響應,γhist表示直方圖特征的權(quán)重系數(shù)。

訓練濾波器的公式為:

(2)

訓練直方圖分類器的公式為:

(3)

濾波器模板更新的函數(shù)為:

(4)

(5)

直方圖分類器更新的函數(shù)為:

(6)

(7)

其中使用的損失函數(shù)為:

L(θ;χt)=(1-η)L(θ;χt-1)+ηl(xt,pt,θ)

(8)

令α=γhist,稱作算法的融合系數(shù),則最終融合公式為:

f(x)=ftmpl(x)(1-α)+fhist(x)α

(9)

公式中各個符號含義見文獻[9]。

Staple算法將兩個特征按照一定權(quán)重進行融合,最終的跟蹤效果不僅增強了跟蹤的穩(wěn)定性、準確性以及重合率,同時提高了跟蹤的速度,其跟蹤速度高達80 fps,由此引起研究者們的強烈關(guān)注,對后續(xù)的跟蹤算法領(lǐng)域產(chǎn)生很大的影響。

2.2 LMCF目標跟蹤算法

LMCF算法結(jié)合了Struck算法的結(jié)構(gòu)化支持向量機(SVM)和KCF算法中的循環(huán)矩陣以及FFT的優(yōu)點,既保留跟蹤的高速度又提高跟蹤的性能。LMCF算法主要提出了兩個創(chuàng)新點,第一個創(chuàng)新點是利用多峰檢測來解決目標被相似物體或者背景干擾的問題,作者設(shè)定目標函數(shù)的響應為:

(10)

當下一幀到來,通過KCF中的循環(huán)采樣獲得圖像的響應值:

(11)

算法計算出響應值的峰值,當無任何干擾時,響應值為單一的峰值,即目標所在的中心位置;當有相似物體干擾或者遮擋時出現(xiàn)多個峰值,此時的干擾物的峰值很有可能高于目標的峰值,容易引起誤判。因此,此算法設(shè)定了閾值θ,當多個峰值和最高峰之間的比率大于預定義的閾值θ時,通過等式進行重新檢測以這些峰值為中心的響應圖的區(qū)域,最終確定這些響應圖中的最大峰值作為目標的響應值。

第二個創(chuàng)新點是將響應的最大峰值和平均峰值相關(guān)能量結(jié)合,判斷濾波器模型是否需要更新。平均峰值相關(guān)能量(average peak-to correlation energy, APCE)表示為:

(12)

僅利用最大峰值判據(jù)目標的位置和濾波器的更新容易引起目標的漂移甚至丟失。當目標受到干擾時,響應圖會產(chǎn)生劇烈波動,使得模型和真正的響應存在極大偏差,如果繼續(xù)使用不確定的響應來更新濾波器模型將會使跟蹤的性能越來越差。因此,算法中規(guī)定當響應的最大值和APCE值均以一定比率大于前面所有幀的平均值時,目標的模型才更新。最終LMCF算法在數(shù)據(jù)集上進行測試的實驗結(jié)果顯示,其運行速度高于Staples算法的80 fps,跟蹤的精度和穩(wěn)定性也有一定提高。

3 LMCF-Staple目標跟蹤算法

為了解決目標跟蹤過程中的目標漂移甚至丟失的情況,我們提出LMCF-Staple算法。和LMCF算法的不同之處在于,首先,我們增加了直方圖匹配方法,并對直方圖進行均衡化,以去除一部分噪聲;其次,利用貝葉斯公式計算出當前幀的前景和背景的概率直方圖,通過巴氏系數(shù)求解出當前幀的前景和背景的相似度值;再通過數(shù)據(jù)分析設(shè)定閾值,按照所設(shè)定的閾值與前面求得的直方圖的相似度值結(jié)合,將直方圖bin值自適應化,來提高跟蹤的分辨率;然后,為了降低計算量,這里僅計算了前五幀視頻序列的響應最大值和APCE值,并根據(jù)數(shù)據(jù)分析設(shè)定閾值,當響應最大值和APCE值均大于前五幀的平均值時,濾波器模板才進行更新,此種方法被稱作高置信度計算;最后,將最大峰值和APCE值根據(jù)一定的線性比例和Staple算法中的融合系數(shù)α相結(jié)合,使跟蹤達到自適應融合。

3.1 直方圖匹配

在直方圖計算中,Staple算法將直方圖bin值固定為32,利用貝葉斯公式計算出目標似然圖:

PO=Pfg./(Pfg+Pbg)

(13)

“./”表示矩陣之間相除;PO表示目標似然圖,Pfg表示前景似然圖;Pbg表示背景似然圖。然后利用目標似然圖計算出前景和背景的概率函數(shù):

POfg=PO.*fgmask

(14)

PObg=PO.*bgmask

(15)

POfg表示前景占比目標的概率;PObg表示背景占比目標的概率,fgmask、bgmask表示前景和背景的面積中每一點所構(gòu)成的矩陣,這點在文獻[3]中有詳細說明。

然后為了降低噪聲,這里增加了直方圖均衡化,偽代碼如下:

fghist=histeq(fghist)

(16)

bghist=histeq(bghist)

(17)

巴氏系數(shù)在文獻[3]中講到,可迭代或者積分出兩個函數(shù)之間的重疊部分的面積,一般用來測量樣本間的距離,很適合應用于圖像相似度的測量計算。在本文中,將一張圖片的前景和背景的直方圖分別求解出來,然后利用巴氏系數(shù)分別計算每張視頻序列內(nèi)容中前景和背景的值,當值比較大時,說明顏色十分相似,當值比較小時,說明顏色區(qū)分明顯。以下給出巴氏系數(shù)的主要公式:

(18)

本文“⊙”表示相乘,設(shè)定閾值為β1,當H在閾值范圍內(nèi)時,說明顏色相似度可以區(qū)分,跟蹤不易出錯,bin值保持不變,當H超過閾值,說明顏色相似度值比較高,跟蹤容易產(chǎn)生錯誤,bin值變化。利用此種方法提高了跟蹤的分辨率。

3.2 高置信度計算

通過觀察目標的響應峰值,發(fā)現(xiàn)當目標受到干擾時,峰值從單一峰變?yōu)槎喾?響應圖如下:

第一幀沒有擾動,峰值和APCE值為:

Mcf1=0.70,APCEcf1=64.05

(19)

后面開始有干擾,第13幀可以看到穿白色球衣的球員遮擋了目標的一部分,加上目標本身的形態(tài)在不斷變化,導致出現(xiàn)多個峰值,此時的峰值和APCE值為:

Mcf13=0.15,APCEcf13=4.25

(20)

很明顯,當目標受到各種干擾時,APCE值急劇下降。因此,通過APCE值來評判目標的位置是很好的一種方法[16-18]。

為了降低計算量,LMCF-Staple算法并沒有將當前幀之前的所有幀數(shù)的響應峰值和APCE值求取平均值,通過實驗驗證,僅提取當前幀的前五幀的平均值誤差就極其微小。響應峰值表示為:M_cf、M_pwp、M,APCE值表示為:APCE_cf、APCE_pwp、APCE,其中cf、pwp分別表示HOG特征和顏色直方圖特征。當當前幀的峰值和APCE值同時大于當前幀的前五幀的平均值時,更新直方圖濾波器和尺度濾波器,否則停止更新所有濾波器,進一步降低了因之前模板不準確而繼續(xù)使用其模板的累積誤差[19]。

圖1 第一幀圖和對應的峰值圖Fig.1 The first frame image and the corresponding peak image

圖2 第13幀圖和對應的峰值圖Fig.2 The 13th frame image and the corresponding peak image

3.3 自適應融合

Staple算法將融合系數(shù)α固定,而HOG特征適合于顏色變化的跟蹤,但對于形變和模糊就不那么理想;直方圖特征適合于形變和運動模糊的跟蹤,對于顏色變化就十分敏感。因此,固定的權(quán)重并不能很好的利用HOG特征和顏色直方圖特征。在LMCF-Staple算法中,融合系數(shù)是動態(tài)調(diào)整的,算法將當前幀的兩個特征的APCE值與已經(jīng)融合后的APCE值進行線性結(jié)合,然后通過數(shù)據(jù)分析設(shè)定閾值β2,β3,以及給融合系數(shù)適合的比率γ1,γ2。公式如下:

(21)

(22)

(23)

當M小于β2且M大于β3時,

α=γ1⊙r

(24)

當M小于β3時,

α=γ2⊙r

(25)

其他情況α值不變化,最后將α應用于Staple算法的融合公式中為:

(26)

LMCF-Staple算法通過直方圖匹配、高置信度以及自適應的融合大大降低了算法的漂移特性,不僅提高了算法的穩(wěn)定性,同時算法的精確度、成功率以及跟蹤的速度都有一定的提高。算法的大致流程如圖3所示。

圖3 算法流程圖Fig.3 Algorithm flow chart

4 實驗結(jié)果和分析

LMCF-Staple算法的實驗平臺為:處理器是Inter(R) Core(TM) i5-3470 CPU @3.20 GHz,內(nèi)存是8.00 GB,64位操作系統(tǒng),2018a版MATLAB。實驗中固定的參數(shù)有,HOG特征的cell為4*4,模板學習率ηtmpl=0.01,直方圖學習率ηhist=0.04,γ1=0.12,γ2=0.15。跟蹤針對的情況為前文提到的11種挑戰(zhàn)。實驗對比的算法有,Staple、DSST、SAMF、KCF、CSK,測試的數(shù)據(jù)集為OTB50、OTB100、VOT2016,實驗在OTB上的評估指標為成功率和精確度,成功率公式為:

(27)

rt指候選框,ro指人工標注的跟蹤框。

精度公式為:

(28)

Nt、Ns分別指第t幀幀數(shù)和總幀數(shù)。

實驗在VOT2016數(shù)據(jù)集上的評估指標為精度和魯棒性[20-22],精度的衡量方式是平均重疊率,利用了前一幀和下一預測幀圖像的ground truth面積的交并比,其公式為:

(29)

魯棒性指跟蹤器的穩(wěn)定性,一般指跟蹤器在數(shù)據(jù)集測試中跟丟的目標次數(shù),數(shù)值越大,穩(wěn)定性越差。而一般在繪制魯棒性圖時取遞減的自然對數(shù)來描述,所以A-R圖中的魯棒性值越大表示越穩(wěn)定。公式如下:

RS=e-SF

(30)

F指跟丟的次數(shù),S是人為標定的數(shù)值,只是影響A-R圖歸一化時數(shù)值所處的范圍。

4.1 OTB數(shù)據(jù)集實驗測試的綜合性能分析

LMCF-Staple算法通過在大型數(shù)據(jù)集OTB50和OTB100上與當前主流的五個算法Staple、DSST、SAMF、KCF、CSK進行對比測試;兩個數(shù)據(jù)集一共有100個具有跟蹤挑戰(zhàn)性的視頻序列,情況包含背景雜波、尺度變化、移除視野、形變、遮擋等11種挑戰(zhàn)。測試的最終精確度圖和成功率圖為:

圖4是LMCF-Staple算法在OTB50數(shù)據(jù)集上的測試結(jié)果,由圖可知LMCF-Staple算法的精度和成功率分別為:0.702、0.634,而排在第二位的Staple算法的精度和成功率為:0.674、0.606,LMCF-Staple算法的精度比排在第二的Staple算法高出2.8%,準確率高出2.8%。圖5是LMCF-Staple算法在OTB100數(shù)據(jù)集上的測試結(jié)果,其精度和成功率分別為:0.781、0.705,排在第二位的Staple算法分別為:0.767,0.703,因此精度和成功率分別提高了1.4%、0.2%。由此可以看出LMCF-Staple算法得到了優(yōu)化,尤其是在精確度方面提升比較高,這主要得益于利用最大峰值和高置信度估計與Staple算法的結(jié)合,去掉了不確定的更新模板,使算法更加穩(wěn)定可靠。

另外,實驗中針對11種挑戰(zhàn)情況下的數(shù)據(jù)進行了大量的分析,然后設(shè)定了合適的閾值和比率,這里列出具有代表性的OTB100的數(shù)據(jù)表格如下所示:

圖4 OTB50數(shù)據(jù)集的綜合評價曲線圖Fig.4 Comprehensive evaluation curve of OTB50 data set

圖5 OTB100數(shù)據(jù)集的綜合評價曲線圖Fig.5 Comprehensive evaluation curve of OTB100 data set

表格中的黑色代表最大的數(shù)值,斜體代表排在第二位的數(shù)值。從表格中可以看出在精確度方面LMCF-Staple算法的OPR/SV/OCC/DEF/OV/BC均排在第一位,其他幾種情況分別排在第二或者第三位,在成功率方面OPR/SV/OCC/OV/BC/LR排在第一位,其他幾種分別排在第二和第三位。綜合情況是6個算法中最優(yōu)的。在出現(xiàn)背景雜波、尺度變化、移除視野和平面外旋轉(zhuǎn)的四種情況下,均表現(xiàn)出最優(yōu)的跟蹤性能,在遮擋、形變情況下的精確度也是最高,同時分辨率也得到很大的提高,但是也可以看到在快速運動下的模糊目標跟蹤仍然不是過于理想,這是因為HOG特征和直方圖特征本身的缺陷性,當快速運動出現(xiàn)模糊時,HOG特征就會超出它本身的極限性,同時直方圖特征對于顏色的分辨能力也不足,就會造成目標的稍微漂移,后續(xù)對于這種情況需要進一步研究。

表1 OTB100 的OPE精度值表

表2 OTB100 的OPE重合閾值

LMCF-Staple算法較其他算法更優(yōu)化的原因有以下幾點:1.增加了直方圖匹配,將前后景的相似度值計算出來,以此來影響直方圖的bin值,這樣就會自適應的提高算法的分辨率,表格中的數(shù)據(jù)也表明了這點;2.利用最大峰值和APCE值來約束模板的更新條件,大大降低了模板更新的不準確性,提高跟蹤的穩(wěn)定性和精確度;3.利用數(shù)據(jù)分析設(shè)定了合適的閾值,將原本固定的融合系數(shù)變?yōu)樽赃m應,以此可以檢測每一幀圖像所需要的權(quán)重,使得算法的融合達到最優(yōu)化。

4.2 OTB數(shù)據(jù)集實驗測試的特定情況性能分析

選取具有代表性的9個典型視頻序列進行實驗的定性分析,視頻序列為:Box(IV/SV/OCC/MB/IPR/OPR/OV/BC/LR)、ClifBar(SV/OCC/MB/FM/IPR/OV/BC)、Human3(SV/OCC/DEF/OPR/BC)、Liquor(IV/SV/OCC/MB/FM/OPR/OV/BC)、Panda(SV/OCC/DEF/IPR/OPR/OV/LR)、Shaking(IV/SV/IPR/OPR/BC)、Skating2_1(SV/OCC/DEF/FM/OPR)、Board(OPR/SV/MB/FM/OV/BC)、Human5(SV/OCC/DEF)。視頻的跟蹤效果圖如圖6。

圖6 六種算法在九個典型視頻序列上的跟蹤效果圖Fig.6 Tracking effect diagram of six algorithms on nine typical video sequences

Box主要是遮擋、背景雜波和尺度變化等的問題,而且在受到嚴重遮擋時同時伴有背景和目標極其相似的情況,在這種情況下LMCF-Staple算法和SAMF算法一直保持穩(wěn)定的跟蹤;ClifBar主要是在背景和目標相似的情況下快速旋轉(zhuǎn)和尺度變化,此種情況下Staple、SAMF、KCF、CSK四種算法均出現(xiàn)漂移和最后丟失情況,而LMCF-Staple和DSST算法一直保持穩(wěn)定跟蹤;Human3在第54幀時出現(xiàn)嚴重遮擋并且遮擋物為白色,此種情況的噪聲很難去除,但是LMCF-Staple算法仍然一直穩(wěn)定的跟蹤目標,而其他五種算法全部丟失;Liquor是一個具有長期跟蹤的視頻,在被相同顏色的瓶子遮擋以后,SAMF、CSK立刻跟丟,在被綠色瓶子再次遮擋時,DSST算法也出現(xiàn)丟失最后由LMCF-Staple算法、Staple算法和KCF算法跟上;Panda主要是分辨率低的情況下伴有遮擋、形變和平面內(nèi)外旋轉(zhuǎn)等復雜情況,最后也只有LMCF-Staple算法跟上,其他五種算法均丟失;Shanking主要是光照影響十分強烈,最后也只有LMCF-Staple算法和DSST算法平穩(wěn)跟蹤,CSK雖然一直試圖跟上目標但是還是出現(xiàn)多次漂移;Skating2_1主要是在快速運動的情況下同時伴有多次遮擋、形變以及尺度變化,整個過程僅有LMCF-Staple算法一直平穩(wěn)跟蹤目標;Board是在超出視野情況時伴有旋轉(zhuǎn),當出現(xiàn)旋轉(zhuǎn)時僅有LMCF-Staple、Staple兩個算法平穩(wěn)跟蹤,其他算法漂移;Human5視頻的目標距離攝像機十分遠,分辨率會要求比較苛刻同時伴有相機的抖動,此種情況也只有LMCF-Staple、Staple兩個算法平穩(wěn)跟蹤。

以上幾個視頻可以看出LMCF-Staple算法的綜合性能遠強于其他五種算法,尤其是在出現(xiàn)背景雜波、形變、遮擋、光照以及低分辨率情況下跟蹤仍然十分穩(wěn)定,而其他幾種算法僅局限于尺度變化的跟蹤或者顏色跟蹤,尤其是在低分辨率和遮擋或者強烈的光照時就會產(chǎn)生跟蹤不穩(wěn)定,直至累計誤差超出極限出現(xiàn)跟蹤丟失。

4.3 VOT2016數(shù)據(jù)集實驗測試分析

LMCF-Staple算法通過在數(shù)據(jù)集VOT2016上與當前主流的四個算法Staple、DSST、SAMF、KCF進行對比測試,數(shù)據(jù)集共60個視頻序列,數(shù)據(jù)集的精度和魯棒性精確到每一幀圖像,實驗得到的A-R效果圖以及數(shù)據(jù)表格如下:

圖7 VOT2016數(shù)據(jù)集的 A-R效果圖Fig.7 Tracking effect diagram of accuracy-robustness of VOT2016 data set

表3 VOT2016A-R數(shù)據(jù)表

A-R數(shù)據(jù)表格中的魯棒性值指的是跟蹤器在測試中跟丟的次數(shù),而不是Rs值,此處的值越小表示穩(wěn)定性越好。從A-R效果圖和A-R數(shù)據(jù)表格中數(shù)據(jù)得知,我們的LMCF-Staple算法的精確度和魯棒性在原算法Staple算法基礎(chǔ)上均有一定的提高,并且同時高于其他四種主流算法。所以,可以證明LMCF-Staple算法具有良好的跟蹤性能。

5 結(jié)論

本文算法LMCF-Staple結(jié)合了LMCF和Staple兩個算法,利用響應最大值和APCE值來綜合約束濾波器模板的更新條件,降低了因模板不準確而繼續(xù)更新模板從而導致跟蹤漂移直至丟失的情況。另外,增加了直方圖匹配,通過巴氏系數(shù)計算出當前幀的前景和背景的直方圖相似度值,以此影響直方圖的bin值,使其自適應,提高跟蹤的分辨率。最后將核相關(guān)濾波器和直方圖分類器的響應最大峰值、APCE值與融合響應中的系數(shù)α進行線性結(jié)合,并通過數(shù)據(jù)分析設(shè)定合適的閾值,使算法達到最優(yōu)的自適應融合跟蹤。LMCF-Staple算法通過在大型數(shù)據(jù)集OTB50、OTB100和VOT2016上和其他五種主流的核相關(guān)濾波器算法進行對比測試,其綜合結(jié)果的精確度和成功率均為最優(yōu),穩(wěn)定性也得到了一定的提高。