郭靜靜，侯志強(qiáng)，陳立琳，蒲 磊，余旺盛，馬素剛

(1.西安郵電大學(xué)計(jì)算機(jī)學(xué)院,西安,710121; 2.西安郵電大學(xué)陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室,西安,710121; 3.空軍工程大學(xué)信息與導(dǎo)航學(xué)院,西安,710077)

目前，在視覺(jué)目標(biāo)跟蹤[1]中，相關(guān)濾波方法以其優(yōu)異的快速性和良好的跟蹤性能受到研究人員的關(guān)注。Bolme等人[2]首次將相關(guān)濾波引入跟蹤領(lǐng)域，提出誤差最小平方和濾波器(MOSSE)跟蹤算法，對(duì)尺度和形變的魯棒性有較好的跟蹤效果；Henriques等人[3]提出基于循環(huán)結(jié)構(gòu)(CSK)的核相關(guān)濾波跟蹤算法，取得良好的跟蹤結(jié)果；Henriques等人[4]提出核相關(guān)濾波(KCF)跟蹤算法，擴(kuò)展了特征通道，提升了跟蹤性能。但上述算法都是采用固定尺度因子，當(dāng)目標(biāo)尺度發(fā)生變化時(shí)，極易產(chǎn)生漂移甚至跟丟現(xiàn)象。

為解決跟蹤過(guò)程中目標(biāo)尺度變化問(wèn)題，Li等人[5]提出尺度池(scale adaptive with multiple feature tracker,SAMF)方法，提高了跟蹤效率，但由于其搜索范圍較小，導(dǎo)致目標(biāo)尺度定位并不準(zhǔn)確；Danelljan等人[6]提出以KCF為基礎(chǔ)的尺度金字塔(discriminative scale space tracking，DSST)跟蹤算法，解決了尺度等比例變化的問(wèn)題，但未解決目標(biāo)長(zhǎng)寬比變化問(wèn)題；He等人[7]基于尺度金字塔的方法提出尺度因子為10、步長(zhǎng)因子為1.03的跟蹤算法，其尺度改進(jìn)方法極大提高了跟蹤精度，但仍沒(méi)有解決目標(biāo)長(zhǎng)寬比變化問(wèn)題；Li等人[8]提出使用4個(gè)二維相關(guān)濾波器分別定位目標(biāo)上下左右邊界，能較好地估計(jì)目標(biāo)尺度長(zhǎng)寬比變化，但計(jì)算較復(fù)雜。

此外，在跟蹤過(guò)程中，目標(biāo)和背景由于各種因素會(huì)發(fā)生變化，如果沒(méi)有良好的模板更新機(jī)制，很容易導(dǎo)致跟蹤失敗[9]。Wang等人[10]提出用平均響應(yīng)相關(guān)能量值(APCE)來(lái)判斷當(dāng)前跟蹤情況，采用多峰檢測(cè)機(jī)制和高置信度更新機(jī)制，提升跟蹤的速度；KIANI等人[11]提出使用真實(shí)移位產(chǎn)生的負(fù)樣本，這些樣本包括更大的搜索區(qū)域和真實(shí)的背景，但當(dāng)遇到背景復(fù)雜及各種干擾的情況下，易造成模板漂移，從而導(dǎo)致目標(biāo)跟蹤失敗。

針對(duì)以上研究存在的不足，本文提出分層尺度估計(jì)方法，旨在解決實(shí)際跟蹤中目標(biāo)尺度長(zhǎng)寬比變化問(wèn)題，進(jìn)一步提高跟蹤算法的魯棒性。

1 相關(guān)概念

在考慮目標(biāo)尺度變化的跟蹤算法中，基于相關(guān)濾波框架的算法應(yīng)用廣泛[12]。以DSST算法為例，其位置估計(jì)使用二維相關(guān)濾波器，計(jì)算響應(yīng)值，取其最大值對(duì)應(yīng)的坐標(biāo)為目標(biāo)的位置；其尺度估計(jì)使用尺度金字塔方法[13]，將目標(biāo)進(jìn)行不同尺度的放大或縮小，選擇最大響應(yīng)值作為最終目標(biāo)的尺度，從而達(dá)到尺度自適應(yīng)。本文主要考慮基于相關(guān)濾波跟蹤的目標(biāo)尺度估計(jì)問(wèn)題。

1.1 相關(guān)濾波跟蹤

相關(guān)濾波跟蹤是通過(guò)大量訓(xùn)練樣本找到一個(gè)分類器函數(shù)f(x;w)=，使得其在某種決策條件下?lián)p失最小，w為分類器函數(shù)待求參數(shù)[4]。通過(guò)將誤差平方和作為損失函數(shù)，可得到w的求解形式為：

(1)

式中：xi和yi分別為訓(xùn)練樣本和所對(duì)應(yīng)的標(biāo)簽；λ為正則化系數(shù)。通過(guò)對(duì)式(1)求偏導(dǎo)，得到其解為：

w=(XTX+λI)-1XTy

(2)

(3)

1.2 DSST跟蹤

DSST算法提出一種尺度估計(jì)方法[6]，該方法可以和所有相關(guān)濾波算法相結(jié)合，具有良好的通用性。

利用1.1節(jié)的相關(guān)濾波模型可以得到預(yù)測(cè)目標(biāo)的位置，然后以位置估計(jì)得到的中心點(diǎn)構(gòu)建尺度金字塔塊xS，xS為33種不同尺度因子構(gòu)建的訓(xùn)練樣本集。利用尺度金字塔塊計(jì)算出尺度濾波器的系數(shù)矩陣為：

αS=(KxS+λI)-1yS

(4)

式中：K表示核空間的核矩陣；yS為尺度濾波器響應(yīng)值。以位置預(yù)測(cè)的中心提取金字塔圖像塊，并提取其直方圖(HOG)特征，構(gòu)成尺度樣本集ZS，經(jīng)過(guò)訓(xùn)練的尺度濾波器的回歸函數(shù)為：

fS(ZS)=KxSZSΘαS

(5)

式中：αS為尺度濾波器的系數(shù)矩陣，取其函數(shù)最大值對(duì)應(yīng)的尺度為下一幀目標(biāo)的尺度。

2 本文算法

針對(duì)跟蹤過(guò)程中尺度的精確估計(jì)問(wèn)題，本文提出一種長(zhǎng)寬比自適應(yīng)變化的目標(biāo)尺度估計(jì)算法，通過(guò)構(gòu)建二維尺度因子來(lái)估計(jì)目標(biāo)的長(zhǎng)寬比變化，有效地解決了目標(biāo)的尺度變化問(wèn)題；為進(jìn)一步提高跟蹤算法的魯棒性，針對(duì)模板更新問(wèn)題，提出了一種新的更新策略來(lái)判斷是否需要更新模板，有效避免了跟蹤過(guò)程中的模板漂移問(wèn)題。

2.1 尺度估計(jì)模塊

尺度估計(jì)模塊主要采用擴(kuò)充尺度長(zhǎng)寬因子和分層尺度估計(jì)的方法，在提高跟蹤器魯棒性的同時(shí)，還保證其具有較快的跟蹤速度。

2.1.1 尺度估計(jì)中長(zhǎng)寬因子的選取

運(yùn)動(dòng)過(guò)程中，相較于目標(biāo)尺度等比例擴(kuò)大或縮小，更容易發(fā)生尺度長(zhǎng)寬比變化的擴(kuò)大或縮小[14]。目標(biāo)尺度的擴(kuò)大或縮小可能會(huì)由目標(biāo)平面旋轉(zhuǎn)、形變等因素引起，并嚴(yán)重影響跟蹤性能。尺度金字塔用于尺度估計(jì)的目標(biāo)樣本選擇方法為：

I=anP×anR

(6)

為了使目標(biāo)的尺度估計(jì)出現(xiàn)長(zhǎng)寬比變化，本文提出了新的尺度濾波器構(gòu)建方法，其尺度因子定義為：

ciP×djR

(7)

尺度金字塔與本文提出的尺度估計(jì)模塊在DSST算法中的采樣結(jié)果對(duì)比見(jiàn)圖1，對(duì)于第T+1幀圖片，對(duì)該圖片進(jìn)行m×n次多尺度采樣(其中m為寬的采樣次數(shù)，n為高的采樣次數(shù)，m=n=35)，達(dá)到了精確估計(jì)目標(biāo)尺度長(zhǎng)寬比變化的目的；采樣完成之后，對(duì)每一個(gè)圖像塊都提取其HOG特征，通過(guò)計(jì)算相關(guān)響應(yīng)值得到最佳的尺度因子，即為第T+1幀的目標(biāo)尺度。

圖1 尺度金字塔與本文提出的尺度估計(jì)模塊在DSST中的采樣結(jié)果對(duì)比圖

2.1.2 減少運(yùn)算量的分層尺度估計(jì)

采用2.1.1節(jié)中尺度長(zhǎng)寬因子的選取方法，使目標(biāo)尺度估計(jì)中出現(xiàn)具有長(zhǎng)寬比變化的候選框，但由于目標(biāo)在運(yùn)動(dòng)過(guò)程中的尺度變化具有連續(xù)性，若采用35×35的尺度估計(jì)方法進(jìn)行窮搜索，則會(huì)出現(xiàn)過(guò)多的無(wú)效采樣，極大地降低跟蹤速度。因此本文提出分層尺度估計(jì)來(lái)減少采樣次數(shù)、提高跟蹤速度。

分層尺度估計(jì)方法思路如下：以目標(biāo)高方向35個(gè)尺度因子為例，首先將35個(gè)因子按數(shù)值大小分為5份，每份7個(gè)因子，選取每一份居中的因子，作為該方向粗略估計(jì)因子，寬方向因子的選取類似；然后根據(jù)兩組因子的順序組合對(duì)搜索區(qū)域進(jìn)行5次等比例采樣，粗略估計(jì)出目標(biāo)的長(zhǎng)寬因子，將其定位到35個(gè)因子中，選出所對(duì)應(yīng)的7個(gè)因子交叉組合，進(jìn)行7×7次采樣實(shí)現(xiàn)對(duì)目標(biāo)尺度的等比例變化和長(zhǎng)寬比變化，取其最大響應(yīng)值對(duì)應(yīng)的尺度作為目標(biāo)修正尺度因子，即目標(biāo)最佳尺度，分層估計(jì)原理過(guò)程見(jiàn)圖2。

對(duì)于一幅輸入圖像，第1層粗略估計(jì)只對(duì)目標(biāo)進(jìn)行等比例的擴(kuò)大或縮小變化，首先在35個(gè)因子中選取5個(gè)作為粗略估計(jì)因子，采樣結(jié)果記為F1,…,Ft,…,F5；然后提取其HOG特征，計(jì)算相關(guān)響應(yīng)；最后將其最大響應(yīng)值對(duì)應(yīng)的因子作為粗略估計(jì)的長(zhǎng)寬因子wt和ht，構(gòu)建粗略尺度估計(jì)模板。

第2層尺度修正估計(jì)包括等比例變化和長(zhǎng)寬比變化，以第1層為基礎(chǔ)。圖2中，只提取藍(lán)色框的預(yù)測(cè)目標(biāo)特征。第2層整體流程為：首先對(duì)第1層選取標(biāo)號(hào)為t的因子，將其對(duì)應(yīng)交叉組合作為修正估計(jì)因子，對(duì)目標(biāo)進(jìn)行7×7次采樣采樣過(guò)程為：對(duì)于寬方向一個(gè)固定的尺度因子，取高方向7個(gè)修正估計(jì)因子，計(jì)算其響應(yīng)；然后變化其寬方向因子，循環(huán)取盡7×7個(gè)修正估計(jì)因子；最后選取最大響應(yīng)值對(duì)應(yīng)的尺度為目標(biāo)最佳尺度wf和hf，構(gòu)建修正尺度估計(jì)模板。

圖2 分層尺度估計(jì)原理圖

在目標(biāo)尺度估計(jì)模塊，僅采用擴(kuò)充尺度長(zhǎng)寬因子的方法需進(jìn)行m×n(m=n=35，共1 225)次采樣，而加入分層尺度估計(jì)模塊后僅需計(jì)算x+k×k(x=5，k=7，共54)次，因此跟蹤速度得到極大提高。

表1列出了3個(gè)原始算法的平均FPS和加入本文模塊之后3個(gè)算法的平均FPS。通過(guò)實(shí)驗(yàn)數(shù)據(jù)得到：加入本文模塊之后的算法在運(yùn)行效率上均有一定程度的提高。

表1 原始算法與改進(jìn)之后的算法速度對(duì)比

2.2 模板更新模塊

目標(biāo)在運(yùn)動(dòng)過(guò)程中，會(huì)出現(xiàn)尺度變化、旋轉(zhuǎn)、遮擋等復(fù)雜場(chǎng)景[15]，采用一般的逐幀更新策略，會(huì)導(dǎo)致模板受到背景干擾，致使模板漂移嚴(yán)重。針對(duì)此問(wèn)題，本文通過(guò)判斷相鄰兩幀目標(biāo)的差異性來(lái)對(duì)模板進(jìn)行選擇性更新。

(8)

式中：η為尺度濾波器的學(xué)習(xí)率。

在對(duì)目標(biāo)進(jìn)行分層尺度估計(jì)時(shí)，共使用2個(gè)模板，分別是粗略估計(jì)模板和修正估計(jì)模板，其模板構(gòu)建方式參考2.1.2節(jié)。對(duì)于粗略估計(jì)模板，為保證目標(biāo)不被跟丟，使用式(8)對(duì)該模板進(jìn)行實(shí)時(shí)更新；

對(duì)于修正估計(jì)模板，為防止模板漂移，提出一種新的模板更新策略，公式為：

(9)

式中：Rt和Rt-1分為目標(biāo)第t幀和第t-1幀的目標(biāo)響應(yīng)向量，δ的取值通過(guò)實(shí)驗(yàn)選取。當(dāng)式(9)成立時(shí)，認(rèn)為目標(biāo)發(fā)生明顯形變或尺度變化，對(duì)修正估計(jì)模板進(jìn)行更新；反之，則不更新修正估計(jì)模板。

2.3 算法整體流程

綜合本文算法關(guān)鍵部分的描述，主要跟蹤步驟見(jiàn)表2。

表2 一種尺度長(zhǎng)寬比自適應(yīng)變化的目標(biāo)尺度估計(jì)算法

圖3 加入本文模塊的HCF算法框架圖

3 實(shí)驗(yàn)結(jié)果分析

在Window7系統(tǒng)下，采用MATLAB 2016Rb進(jìn)行編程實(shí)現(xiàn)本文算法。實(shí)驗(yàn)在配置為Intel(R)Core(TM)i7-6 850k 3.6 GHZ處理器，內(nèi)存為16 GB，GPU為NVIDIA GTX 1080Ti的電腦上進(jìn)行測(cè)試。

通過(guò)大量實(shí)驗(yàn)結(jié)果對(duì)比和分析，最終加入本文模塊的DSST、HCF[16]和OSA[17]算法中的尺度因子a和采樣個(gè)數(shù)S分別設(shè)定為a=1.02，S=35。粗略估計(jì)尺度因子Sc=5，其值固定不變，為{1.319 5,1.148 7，1，0.870 6，0.757 9}，修正估計(jì)尺度因子Sf=7，其值根據(jù)粗略因子變化。其中DSST中δ=0.5；HCF中δ=0.1；OSA中δ=0.5。

利用OTB100測(cè)試本文算法的有效性，將本文算法的模塊引入到3個(gè)跟蹤算法中，其中3個(gè)算法中的原始尺度模塊和模板更新模塊使用的方法見(jiàn)表3，將本文提出的模塊替換原始算法的模塊。

表3 3種算法原始的尺度和模板更新模塊

3.1 定性分析

為充分說(shuō)明本文提出模塊的有效性，將本文算法作為新的模塊加入DSST、HCF和OSA中，將新的算法分別命名為DSST_Ours、HCF_Ours和OSA_Ours。圖4給出了3種原算法以及其改進(jìn)后算法跟蹤結(jié)果，其中紅色為本文提出的算法跟蹤結(jié)果，綠色為3種原算法跟蹤結(jié)果，左上角數(shù)字為視頻幀數(shù)。從以下2個(gè)方面對(duì)算法進(jìn)行定性分析：

1)快速尺度變化。以視頻CarScale、Car4和MotorRolling為例。在跟蹤過(guò)程中出現(xiàn)快速尺度變化去情況，雖然3種算法都能始終跟蹤目標(biāo)，但不能解決目標(biāo)尺度長(zhǎng)寬比問(wèn)題，在引入本文尺度模塊后，能達(dá)到目標(biāo)尺度自適應(yīng)的效果。特別是在視頻MotorRolling中，目標(biāo)尺度大小交替變化，本文算法能很好的適應(yīng)尺度變化。

2)目標(biāo)遮擋。以視頻Lemming、Tiger2和Liquor為例，目標(biāo)在跟蹤過(guò)程中有不同程度的遮擋，跟蹤算法不能很好地獲取目標(biāo)信息甚至獲取錯(cuò)誤的信息，致使跟蹤失敗。在視頻Liquor中，由于遮擋情況導(dǎo)致目標(biāo)跟蹤錯(cuò)誤，而本文算法提出的模板更新策略，避免了遮擋情況對(duì)跟蹤結(jié)果的影響，因此本文算法對(duì)目標(biāo)遮擋問(wèn)題有較好的魯棒性。

圖4 3種跟蹤算法實(shí)驗(yàn)結(jié)果對(duì)比圖

3.2 定量分析

根據(jù)2種標(biāo)準(zhǔn)對(duì)跟蹤器性能進(jìn)行了評(píng)估，即精度和成功率[18]。圖5表示在OTB100上，3種原算法和加入本文模塊之后3種算法的精度和成功率圖。

表4和表5分別為3種算法在不同屬性的視頻中精確度對(duì)比結(jié)果和成功率對(duì)比結(jié)果。表格第1行代表不同屬性的縮寫(xiě)，其中，各屬性及縮寫(xiě)分別為：尺度變化屬性SV、平面外旋轉(zhuǎn)屬性O(shè)PR、平面內(nèi)旋轉(zhuǎn)屬性IPR、遮擋屬性O(shè)CC、形變屬性DEF、快速運(yùn)動(dòng)屬性FM、光照變化屬性IV、背景復(fù)雜屬性BC、運(yùn)動(dòng)模糊屬性MB、視野外屬性O(shè)V、低分辨率屬性LR。本文算法相較于原始算法在各種屬性中表現(xiàn)良好，特別是針對(duì)與尺度長(zhǎng)寬比變化相關(guān)的屬性(如SV、OCC)，本文算法跟蹤效果明顯優(yōu)于其原始算法。

圖5 OTB100上3種算法的精度和成功率

表4 不同屬性下算法的跟蹤精確度對(duì)比結(jié)果

表5 不同屬性下算法的跟蹤成功率對(duì)比結(jié)果

3.3 與主流跟蹤算法的比較

為驗(yàn)證本文算法的有效性，將HCF_Ours與幾種性能較好的算法作對(duì)比：Staple[19]、LCT[20]、KCF、MEEM[21]、DCFNet[22]、HDT[23]。因?yàn)楸疚奶岢龅姆椒ㄊ腔谙嚓P(guān)濾波的，所以我們選取的對(duì)比算法也多是基于相關(guān)濾波算法。實(shí)驗(yàn)證明，本文算法與近年來(lái)的相關(guān)濾波算法相比有較好的結(jié)果，其精度和成功率見(jiàn)圖6。

圖6 OTB100上不同算法的精度和成功率

4 結(jié)語(yǔ)

本文提出一種尺度長(zhǎng)寬比自適應(yīng)變化的目標(biāo)尺度估計(jì)算法。基于尺度金字塔方法，通過(guò)二維目標(biāo)尺度因子，并采用分層尺度估計(jì)，有效解決了尺度長(zhǎng)寬比變化問(wèn)題。同時(shí)，提出一種新的模板更新策略來(lái)對(duì)模板進(jìn)行選擇性更新。實(shí)驗(yàn)結(jié)果表明，該算法在成功率和精度上都有提高，特別在目標(biāo)尺度長(zhǎng)寬比變化和遮擋場(chǎng)景下，本文提出的算法模塊能準(zhǔn)確跟蹤到目標(biāo)。

同時(shí)在實(shí)驗(yàn)中發(fā)現(xiàn)，對(duì)于Driving等視頻序列，不只有尺度變化會(huì)影響跟蹤結(jié)果，目標(biāo)旋轉(zhuǎn)也是影響跟蹤結(jié)果的一個(gè)重要因素，當(dāng)在跟蹤過(guò)程中出現(xiàn)旋轉(zhuǎn)場(chǎng)景時(shí)，會(huì)導(dǎo)致目標(biāo)框跟蹤不準(zhǔn)確，甚至跟蹤失敗。在接下來(lái)的工作中，如何解決跟蹤過(guò)程中出現(xiàn)的旋轉(zhuǎn)[24]問(wèn)題，將是我們下一個(gè)研究的重點(diǎn)方向。