王英先，馬社祥

(天津理工大學(xué) 集成電路科學(xué)與工程學(xué)院，天津 300384)

0 引 言

近年來，基于DCF的目標(biāo)跟蹤算法[1-5]以其實時的速度而受到研究者的關(guān)注。但是，很多挑戰(zhàn)性因素對算法的性能有很大的影響，如遮擋、出視野和變形等。STRCF[6]算法以迭代的方式求解濾波器，Staple[7]算法將相關(guān)濾波響應(yīng)與顏色直方圖響應(yīng)加權(quán)融合，MCCT[8]算法集成多個DCF跟蹤器，可以有效解決變形和遮擋問題。但是隨著目標(biāo)跟蹤時間的增長，具有短期記憶的相關(guān)濾波很容易丟失目標(biāo)。長時目標(biāo)跟蹤算法[9,10]可以準(zhǔn)確檢測到跟蹤失敗，當(dāng)目標(biāo)再次出現(xiàn)時恢復(fù)魯棒跟蹤，但是支持向量機遍歷整個搜索區(qū)域來再檢測目標(biāo)，浪費計算資源和時間。近年來，一些算法[11-13]將深度特征與相關(guān)濾波相結(jié)合，在精度和穩(wěn)定性方面取得了長足的進步，但深度特征的提取具有高度復(fù)雜性。

針對以上問題，本文提出一種結(jié)合置信度評估與再檢測的目標(biāo)長時跟蹤算法。本文在Staple算法基礎(chǔ)上，根據(jù)濾波響應(yīng)的平均峰值相關(guān)能量值[14]與顏色直方圖得分評估跟蹤結(jié)果的可靠性，并由此決定是否啟動再檢測模塊，同時自適應(yīng)更新模型。再檢測模塊通過DIOU[15]約束篩選掉不可靠的候選位置，增加懲罰項計算候選框得分。最后經(jīng)過判斷選擇機制，決定是否將跟蹤結(jié)果替換為檢測結(jié)果。實驗結(jié)果表明，本文算法在目標(biāo)長期被遮擋或出視野的情況下，可以保持較好的時效性和魯棒性。

1 相關(guān)濾波算法

本文將Staple作為基本跟蹤器，跟蹤任務(wù)分解為目標(biāo)的平移估計與尺度估計兩部分。圖像特征塊x的大小為M×N， 將圖像特征塊的循環(huán)移位xi作為樣本去訓(xùn)練分類器，通過最小化目標(biāo)函數(shù)得到最優(yōu)的濾波器模型w*

(1)

式中：第一項表示訓(xùn)練樣本xi與回歸目標(biāo)yi之間的均方誤差，yi為高斯型標(biāo)簽，wT表示濾波器系數(shù)w的轉(zhuǎn)置。第二項中的λ是正則化參數(shù)，用于防止過擬合。

對于輸入圖像塊z，利用核函數(shù)k將非線性問題轉(zhuǎn)化為線性問題

(2)

式中：φ(xi) 表示樣本xi在對偶空間的映射。在頻域中計算對偶空間系數(shù)α

(3)

(4)

式中：F-1表示傅里葉反變換，δ為高斯核函數(shù)參數(shù)。

測試圖像z與濾波器的響應(yīng)圖計算公式為

(5)

式中：⊙表示兩個矩陣之間的元素相乘。

對當(dāng)前濾波器模型進行插值處理，實現(xiàn)在線更新

(6)

HOG特征取決于目標(biāo)的空間結(jié)構(gòu)，對形變和運動模糊比較敏感，但是對顏色變化可以有效地進行跟蹤。直方圖特征對顏色比較敏感，不足以區(qū)分背景與目標(biāo)，但是不考慮像素的位置，不受邊界效應(yīng)影響，可以有效地處理目標(biāo)形變和運動模糊的問題。通過最小化回歸函數(shù)得到最優(yōu)的直方圖權(quán)重向量β

(7)

式中：φx?Rl表示圖像塊x在有限域H?Z2中的l通道特征圖像，y為相應(yīng)的標(biāo)簽。脊回歸的解為

(8)

式中：pj(O) 表示第j個直方柱元素總和在目標(biāo)區(qū)域O的像素比例，pj(S) 表示第j個直方柱元素總和在周圍背景區(qū)域S的像素比例，j為特征的維度數(shù)量。測試圖像z的顏色直方圖響應(yīng)計算公式為

RC=βTφz(u)

(9)

對顏色直方圖模型進行在線更新

(10)

基于全局顏色直方圖的響應(yīng)與基于模板的相關(guān)濾波響應(yīng)是互補的，將顏色直方圖響應(yīng)RC和基于Hog的相關(guān)濾波響應(yīng)RCF以固定的系數(shù)相結(jié)合

R=(1-γ)RCF+γRC

(11)

式中：γ為融合互補因子。根據(jù)目標(biāo)融合響應(yīng)最大值所在位置和尺度濾波器得到最優(yōu)尺度大小，確定為基本跟蹤器目標(biāo)估計位置Pd。

2 算法設(shè)計

2.1 算法流程

本文在相關(guān)濾波Staple算法的基礎(chǔ)上進行改進，總體框架如圖1和表1所示，該算法主要分為3部分：自適應(yīng)更新的基本跟蹤器、實現(xiàn)跟蹤性能判斷的置信度評估模塊和高效的再檢測模塊。當(dāng)面對遮擋和出視野等干擾時，基本跟蹤器的結(jié)果是不可靠的，這時置信度評估模塊會激活檢測器。為了避免背景信息使模型污染，檢測器是自適應(yīng)更新的，大大提高了檢測器的性能與速度。

表1 本文算法具體流程

圖1 算法總體框架

2.2 置信度評估與自適應(yīng)更新機制

為提高目標(biāo)跟蹤的魯棒性，需要判斷跟蹤結(jié)果的可靠性，對跟蹤結(jié)果的準(zhǔn)確評估可以有效激活再檢測模塊。并且當(dāng)跟蹤結(jié)果不可靠時，停止更新模型，提高了跟蹤效率，保證了跟蹤質(zhì)量。本文受LMCF[14]算法啟發(fā)，為了衡量響應(yīng)的波動程度，將相關(guān)濾波響應(yīng)的APCE值作為一項置信度得分

(12)

式中：Rmax和Rmin分別表示濾波響應(yīng)的最大值和最小值，Ri,j表示響應(yīng)圖第i行第j列的元素，m和n分別表示響應(yīng)圖的寬和高。

對于不同的跟蹤序列，響應(yīng)圖的置信得分往往差異很

第i幀的顏色直方圖得分表示為

(13)

激活再檢測模塊的條件為

(14)

為了進一步說明兩種置信度評估策略的有效性，以Couple視頻序列進行分析說明，如圖2和圖3所示，虛線表示可靠幀歷史平均值與系數(shù)的乘積，以此作為閾值評估每一幀的可靠性。目標(biāo)在第90到94幀之間發(fā)生形變且快速運動，基本跟蹤框漂移到相似背景區(qū)域，顏色直方圖得分與APCE值急劇下降，激活再檢測模塊；第103幀到107幀背景復(fù)雜，基本跟蹤框不能準(zhǔn)確定位到目標(biāo)區(qū)域，APCE值低至閾值以下，有效激活再檢測模塊。

圖2 Couple序列的基本跟蹤框

圖3 在Couple序列中置信度評估

傳統(tǒng)的方法是在每幀中更新模型，模板容易被背景信息和其它噪聲污染，小誤差的累計會導(dǎo)致模型漂移，而且實時的更新會降低算法的運行速度。本文從每幀的跟蹤結(jié)果中提取訓(xùn)練樣本，根據(jù)自適應(yīng)更新方案決定是否丟棄樣本，相關(guān)濾波器和顏色直方圖模型僅在高置信度的視頻幀中進行更新。相關(guān)濾波模型的學(xué)習(xí)率隨著融合響應(yīng)的APCE值與可靠幀APCE平均得分的比值自適應(yīng)變化，相關(guān)濾波模型與顏色直方圖模型的學(xué)習(xí)率分別表示為

(15)

(16)

其中，P和Q為預(yù)設(shè)的常數(shù)，υ為懲罰系數(shù)，χ為功率指數(shù)，HCF和HC表示比例閾值。

2.3 再檢測模塊

一般來說，目標(biāo)的移動是平滑的，目標(biāo)丟失后再次出現(xiàn)在視野，通常位于丟失位置的周圍區(qū)域。為了避免滑動窗口搜索的復(fù)雜性以及擴大的搜索區(qū)域引入干擾，當(dāng)跟蹤失敗時，在前一幀跟蹤位置進行高斯分布隨機擾動，搜索半徑為20像素，在每一個采樣點所在位置選取樣本，將基本跟蹤器確定的目標(biāo)尺度作為樣本的長與寬，生成多個候選跟蹤框Bi來粗略預(yù)測目標(biāo)位置

Bi=G(Bgt,σ2)

(17)

式中：G表示高斯函數(shù)，Bgt表示上一幀跟蹤結(jié)果，σ為標(biāo)準(zhǔn)差。

評估每一個樣本跟蹤框會增加算法計算量，在實際應(yīng)用中對實時性要求高。本文提出用DIOU約束減少候選數(shù)量，同時表征預(yù)測位置與前一幀可靠位置之間的重疊率與距離特性，在預(yù)測候選框與上一幀跟蹤框之間沒有重疊或者完全包含條件下，仍然可以作為不同預(yù)測候選框的度量標(biāo)準(zhǔn)，計算公式為

(18)

式中：IOU和ρ(B,Bgt) 分別表示候選預(yù)測框與上一幀跟蹤框的交并比和中心點之間歐氏距離，c表示兩個框最小包圍框的對角線長度。計算候選框的DIOU值并進行降序排列，保留前65%的候選框。

由式(11)計算剩余候選位置的相關(guān)濾波響應(yīng)與顏色直方圖響應(yīng)的融合，最終候選跟蹤框得分表示為Si

(19)

式中：Ri表示第i個候選的融合響應(yīng)，第二項為過大位移懲罰項。得分最高的候選跟蹤框確定為檢測器預(yù)測位置Pt，具體過程如圖4所示。在DragonBaby序列中的第5幀，目標(biāo)跟蹤位置置信度較低，激活再檢測模塊，首先在前一幀跟蹤結(jié)果周圍生成50個稀疏候選框。其次，計算50個候選位置的DIOU值并進行排序，保留前33個候選框。最后計算候選框的融合響應(yīng)值與懲罰項，將得分最高位置作為再檢測結(jié)果。

圖4 在DragonBaby序列中目標(biāo)丟失再檢測

通過比較候選得分和可靠幀歷史得分均值，評估檢測器預(yù)測位置Pt的可靠性，預(yù)測位置可靠則將基本跟蹤器跟蹤結(jié)果替換為檢測結(jié)果，預(yù)測位置不可靠則保留跟蹤結(jié)果，確定最終的目標(biāo)位置為P*

(20)

式中：CAPCE(R) 和CC分別表示檢測器預(yù)測位置Pt的APCE得分與顏色直方圖得分，TCF和TC表示將跟蹤結(jié)果替換為檢測結(jié)果的閾值，確保只有當(dāng)檢測結(jié)果優(yōu)于可靠幀跟蹤結(jié)果時才進行替換。

3 實驗與分析

3.1 實驗設(shè)置

在該算法中，通過大量實驗比較參數(shù)的不同設(shè)置對于性能的影響，得出表現(xiàn)效果最佳的參數(shù)值，融合互補因子γ為0.3，比例閾值LCF和LC分別為0.4和0.7，HCF和HC分別為0.6和0.7。參數(shù)P和Q分別為0.02和0.01，懲罰系數(shù)υ為0.8，功率指數(shù)χ為3次。再檢測模塊初始候選位置為50，高斯隨機擾動半徑為20，TCF和TC分別為0.6和0.8，其它參數(shù)按照Staple算法中的建議進行初始化。

將本文算法與5種先進的跟蹤器進行比較：MCCT[8]、PDCF[16]、SRDCF[17]、Staple[7]和SAMF[18]，對比跟蹤器均使用人工獲取的特征，且都基于相關(guān)濾波算法。算法開發(fā)平臺為Matlab R2016b，硬件環(huán)境為2.80 GHz CPU，Inter(R) Celeron(R) G1840，8 GB內(nèi)存，Windows7操作系統(tǒng)，所有實驗保持參數(shù)固定。

3.2 基于OTB-2015數(shù)據(jù)集評估

OTB-2015數(shù)據(jù)集[19]包含100組標(biāo)注屬性的視頻序列，數(shù)據(jù)集使用一次評估OPE評估算法性能，包括速度、精度圖和成功圖。精度圖計算預(yù)測的中心位置與真值之間誤差e在一系列像素閾值內(nèi)的幀百分比，成功圖計算預(yù)測的包圍框與真值之間的重疊率o，計算公式分別為

(21)

(22)

其中， (xt,yt) 表示第t幀預(yù)測目標(biāo)位置中心， (xg,yg) 表示當(dāng)前幀真實目標(biāo)位置中心；Rt表示第t幀預(yù)測跟蹤框，Rg表示當(dāng)前幀真實跟蹤框。在圖例中，評估了每種跟蹤算法在20像素閾值處的精度得分(PS)和成功圖的曲線下面積(AUC)。圖5為6種算法在OTB-2015數(shù)據(jù)集下的精度圖與成功圖，MCCT集成多個DCF跟蹤器，具有高性能，PS得分83.3%，AUC得分77.7%。PDCF通過可靠性和不可靠評估標(biāo)準(zhǔn)增強了算法的魯棒性，PS得分82.2%，AUC得分77.2%。SRDCF擴大了搜索區(qū)域，利用豐富的負(fù)樣本增加了跟蹤器的魯棒性，但同時計算量很大，PS得分78.8%，AUC得分72.8%。Staple以KCF為基礎(chǔ)，充分利用空間分布和顏色統(tǒng)計特性形成互補學(xué)習(xí)，實現(xiàn)實時跟蹤，因為顏色特征的非剛體性質(zhì)，算法在一定程度上可以適應(yīng)顯著的外形變化，PS得分78.4%，AUC得分69.9%。SAMF在性能和速度上均表現(xiàn)較差。當(dāng)目標(biāo)被長時間完全遮擋或出視野時，上述跟蹤器會丟失目標(biāo)，本文算法Ours精確度與成功率均實現(xiàn)了最佳的結(jié)果，PS得分85.5%，AUC得分79.8%。與基本跟蹤器Staple算法相比，PS得分提高9.1%，AUC得分提高14.2%。與先進跟蹤器MCCT相比，PS得分提高2.6%，AUC得分提高2.7%。

圖5 6種算法在OTB-2015數(shù)據(jù)集的測試結(jié)果

計算時間是跟蹤算法的關(guān)鍵指標(biāo)，表2為6種算法的平均跟蹤速度，加粗表示最優(yōu)算法，下劃線表示次優(yōu)算法。本文算法在Staple算法的基礎(chǔ)上增加置信度評估與再檢測模塊，提高了算法的魯棒性，但一定程度上增加了計算量，因此跟蹤速度慢于Staple算法。但是不同于滑動窗口的復(fù)雜性，本文再檢測模塊采用簡單高效的候選預(yù)測方式，通過DIOU進行粗略篩選，最后通過相關(guān)濾波模型在頻域快速求解嶺回歸問題，實現(xiàn)對目標(biāo)的精確定位，速度優(yōu)于MCCT算法和PDCF算法，滿足25 FPS的實時性要求。

表2 6種算法在OTB-2015數(shù)據(jù)集的平均跟蹤速度

基于屬性的分析可以評估算法對于不同挑戰(zhàn)性因素的適應(yīng)性，OTB-2015數(shù)據(jù)集包含了跟蹤過程中描述不同場景的11種屬性：光照變化(IV)、平面外旋轉(zhuǎn)(OPR)、尺度變化(SV)、遮擋(OCC)、變形(DEF)、運動模糊(MB)、快速運動(FM)、平面內(nèi)旋轉(zhuǎn)(IPR)、出視野(OV)、背景雜波(BC)和低分辨率(LR)。表3和表4以百分比的數(shù)據(jù)形式分別表示6種算法在不同屬性中的精確度和成功率。本文所提算法在精確度和成功率方面均表現(xiàn)出優(yōu)異的性能。遮擋和出視野是長時跟蹤中最具有挑戰(zhàn)性的場景，在遮擋方面，PS得分優(yōu)于MCCT跟蹤器2.8%，AUC得分優(yōu)于MCCT跟蹤器4.1%；在出視野方面，PS得分優(yōu)于MCCT跟蹤器3.3%，AUC得分優(yōu)于MCCT跟蹤器7.1%。本文算法相比于基本跟蹤器Staple算法在遮擋、出視野和變形場景下精確度分別提高了10.1%、17.2%和7.4%，在遮擋、出視野和變形場景下成功率分別提高了17.3%、31.9%和10.7%。自適應(yīng)更新策略可以使濾波器模型在面對嚴(yán)重的遮擋和出視野時避免受到污染，但是跟蹤器無法及時地適應(yīng)目標(biāo)外形和背景的變化，因此在面對目標(biāo)外形變化和復(fù)雜背景干擾時，跟蹤性能較差于MCCT跟蹤器。另一方面，人工特征的提取一定程度上會影響算法的整體性能，之后的工作會考慮深度特征的引用。

表3 6種算法在OTB-2015數(shù)據(jù)集屬性評估中的精確度/%

表4 6種算法在OTB-2015數(shù)據(jù)集屬性評估中的成功率/%

為了進一步驗證置信度評估與DIOU約束的有效性，本文在OTB-2015數(shù)據(jù)集上進行相應(yīng)的消融實驗，如表5所示，展示了本文在Staple算法基礎(chǔ)上依次增加置信度評估、再檢測模塊與DIOU約束對跟蹤性能的影響，結(jié)果包括精確度、成功率與運行速度。結(jié)果顯示，基本跟蹤器Staple算法沒有置信度評估模塊與再檢測模塊，PS和AUC得分分別為0.784和0.699，速度高達(dá)55.8 FPS。將相關(guān)濾波響應(yīng)APCE值與顏色得分作為置信度進行模板自適應(yīng)更新，有效防止模型污染，PS得分與AUC得分分別提升4.6%和8.9%。當(dāng)置信度評估跟蹤性能較差時，增加再檢測模塊，高效獲取50個預(yù)測候選框，將置信度得分最高的候選框作為檢測結(jié)果，對目標(biāo)進行重新定位，可以顯著提升跟蹤性能，與Staple基礎(chǔ)算法相比，PS得分與AUC得分分別提升7.9%和13.0%，但是同時大大增加計算量，速度降為Staple跟蹤器的36.7%。使用DIOU約束有效限制候選位置數(shù)量，只保留DIOU得分前33個預(yù)測候選框，并引用懲罰項增加再檢測準(zhǔn)確性與成功率，大大減少了檢測所需要的時間，速度提升為28.6 FPS。具有完整模塊的算法實現(xiàn)了最佳的結(jié)果，各個模塊不同程度上提升了跟蹤器的性能，保證算法實時運行的同時，可以對目標(biāo)進行魯棒跟蹤。

表5 各模塊消融實驗

3.3 定性分析

圖6包含5組具有各種挑戰(zhàn)性因素的視頻序列，為了清晰可見，將排名前4的本文算法Ours、MCCT算法、PDCF算法和SRDCF算法的跟蹤結(jié)果可視化，5組視頻序列的屬性見表6。

表6 跟蹤序列及屬性

圖6 4種算法在5組視頻序列中的跟蹤結(jié)果

在Lemming序列中，目標(biāo)被完全遮擋后重新出現(xiàn)在視野，SRDCF算法在第383幀跟蹤失敗，其它算法均可以重新定位到目標(biāo)；在第1018幀SRDCF算法重新定位到目標(biāo)，但由于長期的錯誤模板累積，尺度發(fā)生較大偏差，準(zhǔn)確度較低；在第1046幀目標(biāo)發(fā)生平面外旋轉(zhuǎn)，且背景較復(fù)雜，SRDCF算法再次丟失目標(biāo)，MCCT跟蹤框漂移，只有本文算法Ours和PDCF算法穩(wěn)定地跟蹤到目標(biāo)。

在DragonBaby序列中，目標(biāo)在第29幀進行平面外旋轉(zhuǎn)，SRDCF算法至此丟失目標(biāo)；目標(biāo)在第43幀快速運動，并產(chǎn)生運動模糊，MCCT算法無法定位目標(biāo)，PDCF算法跟蹤框逐漸偏離目標(biāo)；在第86幀目標(biāo)進行快速運動，只有本文算法Ours可以及時定位到目標(biāo)。

在Shaking序列中，背景復(fù)雜且光照變化較大，目標(biāo)進行一系列旋轉(zhuǎn)動作，SRDCF算法和PDCF算法在第193幀發(fā)生跟蹤框漂移；SRDCF算法和PDCF算法在第296幀已經(jīng)完全跟蹤到錯誤的目標(biāo)上，MCCT算法也發(fā)生跟蹤框漂移；在第355幀，只有本文算法Ours穩(wěn)定跟蹤目標(biāo)。

在Couple序列中，MCCT跟蹤框在第96幀漂移到相似背景區(qū)域；受背景雜波干擾，MCCT算法和PDCF算法在第110幀均丟失目標(biāo)；在第111幀，只有本文算法Ours和MCCT算法能夠準(zhǔn)確定位到目標(biāo)。

在Box序列中，目標(biāo)被部分遮擋，在第499幀重新出現(xiàn)在視野，只有本文算法Ours可以快速定位到目標(biāo)；目標(biāo)在第512幀產(chǎn)生運動模糊，只有本文算法Ours可以穩(wěn)定跟蹤目標(biāo)；在第683幀，PDCF算法和MCCT算法再次定位到目標(biāo)，但由于長時間的失敗跟蹤，已經(jīng)無法恢復(fù)原有的精確度，而本文算法Ours可以進行魯棒跟蹤。

為了更好地說明本文算法在平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、遮擋和光照變化場景下的跟蹤性能，圖7分別給出2種算法在3組不同視頻屬性下的跟蹤軌跡，視頻序列屬性見表6。

圖7 2種算法在3組視頻序列中的跟蹤軌跡

在Rubik序列中，目標(biāo)在第312幀進行平面內(nèi)與平面外旋轉(zhuǎn)，造成MCCT算法丟失目標(biāo)，在整個序列不同時間段(第300幀～400幀、第1000幀～1100幀和第1930幀～1997幀)，本文算法具有穩(wěn)定性，實現(xiàn)目標(biāo)的長時跟蹤。

在Walking2序列中，目標(biāo)在第198幀被相似行人遮擋，MCCT算法跟蹤框漂移到相似目標(biāo)，最終跟蹤失敗。

在Skating1序列中，目標(biāo)進行旋轉(zhuǎn)動作，舞臺背景較為復(fù)雜，MCCT算法在第358幀難以適應(yīng)光照的變化，跟蹤軌跡逐漸偏離目標(biāo)，而本文算法未發(fā)生偏移。

4 結(jié)束語

本文基于相關(guān)濾波算法，針對目標(biāo)在遮擋和出視野等場景下跟蹤失敗問題，提出一種結(jié)合置信度評估策略與再檢測機制的長時跟蹤算法。利用相關(guān)濾波響應(yīng)的APCE值與顏色直方圖得分評估基本跟蹤器與再檢測結(jié)果性能，高置信度的評估標(biāo)準(zhǔn)可以高效地啟動再檢測模塊，并且防止濾波器和模板被污染。再檢測模塊通過DIOU約束在跟蹤失敗的情況下生成較高質(zhì)量的候選位置，提高算法的魯棒性與實時性。本文算法使用Staple作為基本跟蹤器，在頻域中進行計算，實現(xiàn)了優(yōu)越的效率。在OTB-2015數(shù)據(jù)集上的實驗結(jié)果表明，該算法可以有效地處理目標(biāo)長時跟蹤中發(fā)生的遮擋和出視野等問題，在實時運行時的性能優(yōu)于許多先進跟蹤器。