羅劉敏，楊鐵軍，崔蘭超

(1.鄭州工商學(xué)院 工學(xué)院，河南 鄭州 451400；2.河南工業(yè)大學(xué) 人工智能與大數(shù)據(jù)學(xué)院，河南 鄭州 450001；3.洛陽(yáng)職業(yè)技術(shù)學(xué)院 信息技術(shù)與城建學(xué)院，河南 洛陽(yáng) 471000)

0 引 言

目標(biāo)跟蹤的主要任務(wù)是根據(jù)視頻第一幀中的感興趣目標(biāo)特征實(shí)現(xiàn)對(duì)后續(xù)視頻序列中目標(biāo)的位置和狀態(tài)的跟蹤，目前比較主流的一類(lèi)跟蹤算法是判別式相關(guān)濾波跟蹤算法，其主要思想是通過(guò)濾波器學(xué)習(xí)實(shí)現(xiàn)從背景中將目標(biāo)區(qū)分出來(lái)[1-5]。

判別式相關(guān)濾波類(lèi)跟蹤算法的開(kāi)創(chuàng)性算法是核相關(guān)濾波算法[6](KCF)，因其具有較快的跟蹤速度而引起了目標(biāo)跟蹤領(lǐng)域研究者們的廣泛關(guān)注。為了提高KCF算法的準(zhǔn)確性和有效性，研究者們相繼提出DeepSRDCF[7]、CSRDCF[8]、CACF[9]等跟蹤算法，分別從與深度學(xué)習(xí)結(jié)合、多通道評(píng)估、上下文感知等多角度對(duì)算法進(jìn)行改進(jìn)。

上述改進(jìn)算法具有較好的穩(wěn)健性和精確性，但是仍有一些不足之處，例如沒(méi)有考慮到特定幀的特征適用性，沒(méi)有考慮到由于引入背景信息可能帶來(lái)的響應(yīng)圖畸變問(wèn)題。為了進(jìn)一步提高算法性能，本文以判別式相關(guān)濾波算法為基礎(chǔ)框架，提出一種學(xué)習(xí)畸變抑制濾波器的多特征決策目標(biāo)跟蹤算法。首先，引入裁剪矩陣方法擴(kuò)大目標(biāo)搜索區(qū)域；其次，利用正則化項(xiàng)方法限制響應(yīng)圖畸變；再次，采用多特征決策方案實(shí)現(xiàn)每幀自適應(yīng)最佳特征組合篩選；最后通過(guò)公開(kāi)數(shù)據(jù)集測(cè)試所提算法的有效性，實(shí)驗(yàn)結(jié)果表明所提算法在遮擋、形變、光照變化等場(chǎng)景下跟蹤效果良好，性能優(yōu)于多種對(duì)比算法。

1 判別式相關(guān)濾波跟蹤

判別式相關(guān)濾波跟蹤算法的目標(biāo)是使用視頻序列中感興趣的目標(biāo)圖像的循環(huán)移位樣本訓(xùn)練濾波器，在后續(xù)幀中，利用上一幀訓(xùn)練好的濾波器估計(jì)當(dāng)前目標(biāo)的狀態(tài)并利用當(dāng)前幀中估計(jì)出的目標(biāo)狀態(tài)信息更新濾波器，進(jìn)而實(shí)現(xiàn)目標(biāo)跟蹤。判別式相關(guān)濾波器通過(guò)最小化估計(jì)目標(biāo)狀態(tài)與實(shí)際目標(biāo)狀態(tài)之間的誤差來(lái)實(shí)現(xiàn)濾波器的學(xué)習(xí)，其目標(biāo)函數(shù)如下

(1)

式中：X是級(jí)聯(lián)所有循環(huán)移位樣本產(chǎn)生的數(shù)據(jù)矩陣，w是需要學(xué)習(xí)的判別式相關(guān)濾波器，y是所有循環(huán)移位樣本對(duì)應(yīng)的高斯真值標(biāo)簽，λ是用于防止過(guò)擬合的正則化因子。

目標(biāo)函數(shù)(1)是一個(gè)典型的嶺回歸問(wèn)題，而且由于X是循環(huán)移位樣本產(chǎn)生的數(shù)據(jù)，所以其具備循環(huán)數(shù)據(jù)結(jié)構(gòu)，可以將其變換到傅里葉域內(nèi)求解以降低計(jì)算復(fù)雜度，通過(guò)系列求解可得如下封閉解

(2)

在下一幀中，根據(jù)上一幀循環(huán)移位樣本訓(xùn)練得到的濾波器計(jì)算當(dāng)前圖像中目標(biāo)響應(yīng)圖得分，具體如下

(3)

2 引入裁剪矩陣采樣

傳統(tǒng)判別相關(guān)濾波跟蹤算法通過(guò)正樣本循環(huán)移位產(chǎn)生負(fù)樣本，這樣產(chǎn)生的負(fù)樣本很多為虛假負(fù)樣本，這樣訓(xùn)練出的濾波器判別能力較差，為了克服這一缺點(diǎn)，本文算法采用文獻(xiàn)[10]中的方法，通過(guò)擴(kuò)大循環(huán)矩陣采樣區(qū)域和裁剪矩陣來(lái)獲得真實(shí)負(fù)樣本，同時(shí)擴(kuò)大了目標(biāo)搜索區(qū)域。其目標(biāo)函數(shù)具體如下

(4)

3 抑制畸變

引入裁剪矩陣采樣方法訓(xùn)練出的濾波器可以利用目標(biāo)背景信息增強(qiáng)判別力，但是卻又容易帶來(lái)另一個(gè)問(wèn)題，那就是這樣容易使得濾波器過(guò)多學(xué)到背景噪聲，使得在嘈雜環(huán)境下獲得的目標(biāo)響應(yīng)圖容易發(fā)生畸變，導(dǎo)致跟蹤目標(biāo)產(chǎn)生漂移現(xiàn)象。為了解決這一問(wèn)題，首先需要對(duì)響應(yīng)圖是否發(fā)生畸變進(jìn)行判別，如果發(fā)生畸變應(yīng)采用適當(dāng)策略進(jìn)行抑制，所提算法引入正則化項(xiàng)對(duì)響應(yīng)圖畸變現(xiàn)象進(jìn)行抑制。

3.1 響應(yīng)圖畸變判別

為了實(shí)現(xiàn)響應(yīng)圖的畸變抑制，首先要對(duì)響應(yīng)圖是否發(fā)生畸變進(jìn)行判斷，所提算法引入歐幾里德范數(shù)來(lái)定義兩個(gè)響應(yīng)圖M1和M2的差異程度，如下所示

(5)

式中：p和q表示二維空間中兩個(gè)響應(yīng)圖的峰值位置， [φp,q] 表示為了使得響應(yīng)圖M1和M2的峰值重合所采取的移位操作，Θ的值表示響應(yīng)圖畸變程度，當(dāng)Θ的值較大時(shí)表示響應(yīng)圖M1和M2的相似度下降，可能發(fā)生了響應(yīng)圖畸變。

3.2 響應(yīng)圖畸變抑制

為了在訓(xùn)練過(guò)程中抑制響應(yīng)圖畸變，則對(duì)訓(xùn)練濾波器的目標(biāo)函數(shù)(4)進(jìn)行調(diào)整，采用下式作為優(yōu)化濾波器的目標(biāo)函數(shù)

(6)

式中：下標(biāo)k和k-1分別表示視頻序列的第k幀和第k-1幀，式(6)的第3項(xiàng)即為在訓(xùn)練過(guò)程中限制響應(yīng)圖畸變的正則化項(xiàng)，參數(shù)γ為畸變懲罰因子。

為了使式(6)中目標(biāo)函數(shù)便于轉(zhuǎn)化到頻域求解，首先將其轉(zhuǎn)化為矩陣表達(dá)形式，具體如下

(7)

式中： Xk是第k幀訓(xùn)練樣本xk的矩陣表達(dá)形式，ID是D×D的單位矩陣，?表示克羅內(nèi)克積，T表示共軛轉(zhuǎn)置操作，Mk-1表示前一幀的響應(yīng)圖，其值為Xk-1(ID?BT)wk-1。

為了降低計(jì)算復(fù)雜度，需要將式(7)轉(zhuǎn)化到頻域內(nèi)進(jìn)行求解，轉(zhuǎn)化后公式如下

(8)

由于式(8)是一個(gè)典型的凸函數(shù)，所以可以采用交替方向乘子法來(lái)獲得全局最優(yōu)解，因此首先需要將其寫(xiě)為增廣拉格朗日形式

(9)

(10)

(11)

(12)

4 多特征決策

在跟蹤過(guò)程中，所選用的表征目標(biāo)外觀(guān)模型的特征至關(guān)重要，傳統(tǒng)判別相關(guān)濾波跟蹤算法采用傳統(tǒng)特征、深度特征或其特征組合用于跟蹤，即便采用特征組合方法通常也是使用固定權(quán)重系數(shù)法將特征組合用于跟蹤，這樣并不能使得特征表征能力完全適應(yīng)于各跟蹤場(chǎng)景和各幀視頻序列，在某些場(chǎng)景下可能由于當(dāng)前特征不能較好描述目標(biāo)外觀(guān)模型導(dǎo)致目標(biāo)跟蹤失敗，因此所提算法提出建立組合特征池的方式通過(guò)多種特征組合跟蹤效果對(duì)比的方式?jīng)Q定該幀采用哪種特征進(jìn)行跟蹤，這樣可以通過(guò)多特征決策方案解決特征不適應(yīng)跟蹤場(chǎng)景問(wèn)題。

4.1 建立組合特征池

當(dāng)深度語(yǔ)義特征引入到目標(biāo)跟蹤領(lǐng)域后，之前用于目標(biāo)跟蹤的HOG特征、CN特征等便視作低層特征，因?yàn)樗鼈兏啾碚髂繕?biāo)的輪廓信息，而深度特征則更多揭示了目標(biāo)內(nèi)在屬性信息即語(yǔ)義信息，因此深度特征通常被視為中高層特征，而實(shí)際上根據(jù)場(chǎng)景的不同特征的表征能力適應(yīng)性也有差別，所以所提算法采取建立組合特征池的方式來(lái)選擇相對(duì)適應(yīng)特征以進(jìn)行目標(biāo)跟蹤，所用組合特征池見(jiàn)表1，使用HOG特征作為低層特征、VGG-19的Conv4-4層特征作為中層特征、VGG-19的Conv5-4層特征作為高層特征，通過(guò)采用文獻(xiàn)[11]中的組合系數(shù)來(lái)對(duì)3種特征進(jìn)行組合以建立特征池。在跟蹤時(shí)將提取到的各特征輸入到濾波器中可得到需要跟蹤的目標(biāo)的位置框，通過(guò)對(duì)目標(biāo)位置框進(jìn)行評(píng)估，選擇出該幀的最優(yōu)目標(biāo)位置框即可得到該幀最佳目標(biāo)狀態(tài)信息。

表1 組合特征池

4.2 選擇最佳特征組合

選擇最佳特征組合時(shí)需要全面判斷其產(chǎn)生的效果最佳，所提算法采用對(duì)評(píng)估與自評(píng)估方式進(jìn)行判斷，所謂對(duì)評(píng)估就是利用7個(gè)組合特征所得目標(biāo)位置框做橫向?qū)Ρ龋栽u(píng)估計(jì)就是估計(jì)相鄰幀目標(biāo)軌跡波動(dòng)程度，從而判別目標(biāo)可靠性。

4.2.1 多特征對(duì)評(píng)估方法

在跟蹤過(guò)程中多數(shù)特征的跟蹤相對(duì)準(zhǔn)確，因此在對(duì)評(píng)估過(guò)程中所提算法采用折中策略，即選取與其它特征所得結(jié)果一致性最高的結(jié)果作為當(dāng)前幀最優(yōu)結(jié)果。按照對(duì)評(píng)估策略首先需要計(jì)算不同特征之間的重疊率，其計(jì)算公式如下

(13)

(14)

(15)

為了進(jìn)一步使得評(píng)估分?jǐn)?shù)更具時(shí)間穩(wěn)定性，所提算法進(jìn)一步引入了時(shí)間序列加權(quán)分?jǐn)?shù)W={ρ0，ρ1，…，ρΔk} 去使得評(píng)估分?jǐn)?shù)更接近實(shí)際情況，這里ρ>1是加權(quán)常數(shù)因子。最終采用下式作為特征對(duì)評(píng)估標(biāo)準(zhǔn)

(16)

4.2.2 特征自估方法

各特征得到的軌跡平滑度在一定程度上表明了其跟蹤結(jié)果的可靠性，所提算法采用歐氏距離衡量相鄰幀軌跡平滑程度，具體公式如下

(17)

(18)

4.2.3 最佳特征選擇

特征對(duì)評(píng)估策略從所用特征角度客觀(guān)反應(yīng)了特征所得跟蹤結(jié)果一致性程度，特征自評(píng)估策略則從單個(gè)特征角度反應(yīng)了獲得目標(biāo)軌跡平滑度，將二者進(jìn)行有機(jī)結(jié)合才能較好選出最優(yōu)特征即最佳特征組合，因此所提算法采用下式進(jìn)行最優(yōu)特征篩選

(19)

式中：Rk(Ei)表示特征i的綜合評(píng)估分?jǐn)?shù)， Υ表示對(duì)評(píng)估與自評(píng)估折中參數(shù)，最后通過(guò)比較各特征綜合評(píng)估分?jǐn)?shù)，選取分?jǐn)?shù)最大的作為最優(yōu)特征以獲得當(dāng)前幀最優(yōu)目標(biāo)位置框。

4.3 本文算法流程圖

本文算法流程如圖1所示。首先，利用上一幀裁取的樣本訓(xùn)練濾波器，即通過(guò)求解式(7)獲得用于下一幀跟蹤的最優(yōu)濾波器，由于公式中融入了限制響應(yīng)圖畸變方法，所獲濾波器具備抑制響應(yīng)圖畸變效果；然后，通過(guò)提取當(dāng)前幀待搜索圖像的HOG特征、深度特征，將這些特征進(jìn)行組合以獲得特征池；最后，利用特征池中特征分別與上一幀訓(xùn)練得到的濾波器進(jìn)行相關(guān)運(yùn)算獲得多個(gè)位置框，通過(guò)自評(píng)估與互評(píng)估策略結(jié)合選擇出最優(yōu)目標(biāo)位置框和對(duì)應(yīng)最優(yōu)特征。

圖1 本文算法流程

5 實(shí)驗(yàn)分析

為了較好評(píng)估所提算法的性能，實(shí)驗(yàn)中利用OTB-2015[12]中視頻集測(cè)試所提算法效果，通過(guò)與KCF[6]、DeepSRDCF[7]、CSRDCF[8]、BACF[10]、MCCT[13]、ARCF[14]等多種算法進(jìn)行定性與定量對(duì)比分析，從算法成功率、精確度、中心位置誤差、直觀(guān)效果等多角度評(píng)價(jià)對(duì)比各算法的性能，對(duì)所提算法做出客觀(guān)評(píng)價(jià)。

5.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)定

實(shí)驗(yàn)硬件平臺(tái)配置包括：CPU 8核3.6 G Hz Intel I7處理器,內(nèi)存(RAM)為32 G，顯卡為RTX2080TI。軟件平臺(tái)包括：64位操作系統(tǒng)windows10，編程環(huán)境為Matlab2016。實(shí)驗(yàn)參數(shù)通過(guò)大量實(shí)驗(yàn)挑選出較優(yōu)參數(shù)值進(jìn)行設(shè)定：對(duì)評(píng)估與自評(píng)估折中參數(shù)Υ設(shè)置為0.1，加權(quán)常數(shù)因子ρ值為1.1，防止過(guò)擬合的正則化因子λ設(shè)置為0.01，優(yōu)化懲罰因子μ設(shè)置為0.125。

5.2 定量分析

實(shí)驗(yàn)中通過(guò)測(cè)定算法在遮擋、形變、光照變化等場(chǎng)景下的9個(gè)視頻序列中的成功率、精確度、中心位置誤差，從而定量分析算法的性能。表2為9組視頻序列的長(zhǎng)度、屬性、分辨率介紹,表中OCC、IPR、OPR、SV、DEF、MB、OV、IV、BC、FM分別對(duì)應(yīng)表示遮擋、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、尺度變化、形變、運(yùn)動(dòng)模糊、出視野、光照變化、背景雜亂、快速運(yùn)動(dòng)等屬性。

表2 視頻序列介紹

為了定量分析算法的總體效果，實(shí)驗(yàn)中對(duì)7種算法的成功率和精確度進(jìn)行對(duì)比分析具體如圖2所示，從圖中可以看出所提算法的成功率為0.828，精確度為0.881，其較基礎(chǔ)算法KCF分別提高26.4%和28.5%，在7種算法中成功率與精確度排名第一。

圖2 算法的成功率和精確度對(duì)比

為了分析算法的穩(wěn)健性，實(shí)驗(yàn)中詳細(xì)記錄了7種算法在各視頻的中心位置誤差曲線(xiàn)具體如圖3所示，所提算法在9個(gè)視頻序列測(cè)試下中心位置誤差性能均排名前三，在其中7個(gè)視頻序列測(cè)試下中心位置誤差性能排名第一，這說(shuō)明所提算法不僅總體成功率和精確度高，而且算法在多種挑戰(zhàn)場(chǎng)景下穩(wěn)健性也較好。

圖3 各算法的中心位置誤差曲線(xiàn)

5.3 定性分析

為了從直觀(guān)角度分析算法效果，分別截取了部分實(shí)際跟蹤效果圖進(jìn)行分析具體如圖4所示，主要針對(duì)在遮擋、光照變化、尺度變化等條件下的跟蹤效果進(jìn)行分析。

圖4(a)～圖4(c)為遮擋情況下跟蹤效果，在圖4(a)所示的suv序列的第558幀中DeepSRDCF、KCF、BACF等算法由于缺乏最佳特征選擇機(jī)制，導(dǎo)致發(fā)生跟蹤漂移，而所提算法由于采用多特征決策方案選擇出最優(yōu)特征組合表征目標(biāo)外觀(guān)，因此能較好跟蹤到目標(biāo)；在圖4(b)所示的faceocc1序列的第705幀中MCCT算法由于缺乏響應(yīng)圖畸變抑制機(jī)制導(dǎo)致跟蹤漂移，而所提算法由于采用了正則化方法能夠抑制響應(yīng)圖畸變因此能正確跟蹤目標(biāo)；在圖4(c)所示girl2序列的第120幀由于出現(xiàn)了嚴(yán)重遮擋和相似目標(biāo)，其它跟蹤方法由于缺乏特征選擇機(jī)制或響應(yīng)圖畸變抑制導(dǎo)致跟蹤失敗，而所提算法由于跟蹤策略較完善，因此仍能準(zhǔn)確跟蹤目標(biāo)。

圖4(d)～圖4(f)為光照變化情況下跟蹤效果圖，在圖4(d)所示tiger1序列的第141幀、279幀、349幀和圖4(f)所示coke序列的第98幀、256幀中目標(biāo)所處關(guān)照環(huán)境發(fā)生明顯變化，而且伴隨著目標(biāo)部分遮擋，因此多數(shù)算法由于缺乏抑制光照變化環(huán)境帶來(lái)的響應(yīng)圖畸變策略和自適應(yīng)選擇特征機(jī)制導(dǎo)致跟蹤失敗，但是所提算法由于改進(jìn)方案較為恰當(dāng)，所以在各幀中都能準(zhǔn)確跟蹤目標(biāo)；在圖4(e)所示basketball序列第659幀、725幀中ARCF、BACF算法由于在跟蹤時(shí)引入環(huán)境上下文信息，從而帶來(lái)了背景干擾，因此導(dǎo)致其跟蹤失敗，但是所提算法在使用背景信息的同時(shí)利用正則化策略降低響應(yīng)圖畸變影響，所以跟蹤較為準(zhǔn)確。

圖4(g)～圖4(i)為形變情況下跟蹤效果圖，在圖4(g)所示girl序列的第112幀、334幀和圖4(h)所示diving序列的第105幀、175幀中目標(biāo)發(fā)生了劇烈形變，使用傳統(tǒng)特征且缺乏特征選擇機(jī)制的ARCF、KCF、CSRDCF、BACF算法相繼跟蹤失敗，而DeepSRDCF、MCCT算法由于使用了深度特征表征目標(biāo)只發(fā)生了輕度漂移，所提算法由于采用傳統(tǒng)特征與深度特征組合方式表征目標(biāo)外觀(guān)，而且使用了自適應(yīng)特征選擇策略使得其能夠準(zhǔn)確表征目標(biāo)，因此所提算法實(shí)現(xiàn)了精確跟蹤目標(biāo)。在圖4(i)所示bird1序列中鳥(niǎo)成群飛行過(guò)程中身體形態(tài)發(fā)生了劇烈改變，而且背景中存在大量相似目標(biāo)干擾，因此特征表征能力弱的KCF、CSRDCF算法在第63幀中率先發(fā)生跟蹤漂移,到后面的第332幀、403幀中其它算法均跟蹤失敗，所提算法綜合了裁剪矩陣擴(kuò)大搜索區(qū)域、多特征決策選擇最佳特征、正則化項(xiàng)限制響應(yīng)圖畸變?nèi)蟛呗詫?shí)現(xiàn)了準(zhǔn)確和穩(wěn)健的目標(biāo)跟蹤。

圖4 各算法實(shí)際跟蹤效果

5.4 算法時(shí)間復(fù)雜度分析

為評(píng)價(jià)所提算法的實(shí)用性，實(shí)驗(yàn)中還記錄了如表3所示的算法的平均運(yùn)行速度以進(jìn)行時(shí)間復(fù)雜度分析。可以看出所提算法速度為23.6 幀/秒，其速度低于KCF、BACF、

表3 算法平均運(yùn)行速度對(duì)比

MCCT、ARCF等算法，這是由于所提算法綜合了畸變抑制策略和多特征決策方案，在運(yùn)行中需對(duì)多個(gè)執(zhí)行多個(gè)算法操作進(jìn)行對(duì)比選取最佳特征跟蹤結(jié)果，所以其速度受到了較大影響，但是由于所提算法采用多個(gè)算法并行運(yùn)行方案，所以常規(guī)情況下仍可以實(shí)現(xiàn)實(shí)時(shí)跟蹤。所提算法較DeepSRDCF、CSRDCF速度快，這是由于DeepSRDCF算法不僅使用了深度特征，還需要進(jìn)行比較耗時(shí)的高斯賽德?tīng)柕鷥?yōu)化，因此速度比較慢，而CSRDCF需要進(jìn)行較為復(fù)雜的時(shí)間和空間信道可靠性評(píng)估，所以其速度較本文所提算法稍慢。

6 結(jié)束語(yǔ)

本文在KCF算法的基礎(chǔ)上，提出一種學(xué)習(xí)畸變抑制濾波器的多特征決策目標(biāo)跟蹤算法。針對(duì)在跟蹤過(guò)程中KCF算法容易發(fā)生響應(yīng)圖畸變問(wèn)題，提出采用裁剪矩陣擴(kuò)大搜索區(qū)域的同時(shí)利用正則化學(xué)習(xí)方案抑制響應(yīng)圖畸變，使得算法能夠充分利用背景信息的同時(shí)不容易引起跟蹤漂移；針對(duì)傳統(tǒng)特征和組合特征不能較好表征目標(biāo)外觀(guān)問(wèn)題，提出使用多特征決策方案選擇最佳特征方式實(shí)現(xiàn)最佳特征自適應(yīng)，從而使得跟蹤精確度獲得大幅度提升。通過(guò)在公開(kāi)數(shù)據(jù)集上測(cè)試，實(shí)驗(yàn)結(jié)果表明本文算法具備較高成功率與精確度，在遮擋、形變、光照變化等情況下能夠較為準(zhǔn)確跟蹤目標(biāo)。