劉霖楓,孔繁鏘,嚴小樂,沈 秋

(南京航空航天大學(xué) 航天學(xué)院,南京 210016)

0 概述

視覺目標(biāo)跟蹤廣泛應(yīng)用于視頻監(jiān)控、機器人實時定位及無人駕駛等領(lǐng)域。相關(guān)濾波跟蹤算法將跟蹤問題看作是目標(biāo)與背景的分類問題,并根據(jù)相關(guān)濾波器對兩者產(chǎn)生的不同響應(yīng)進行分類。跟蹤算法的性能與諸多因素有關(guān),但文獻[1]發(fā)現(xiàn),特征提取是影響整個跟蹤算法性能的關(guān)鍵步驟,也是跟蹤算法研究中的熱門方向之一。

迄今為止,相關(guān)濾波跟蹤算法中使用的特征主要包括灰度特征[2]、形狀特征[3-5]、顏色特征[6-7]和紋理特征[8]。文獻[2]提出最小化平方誤差(Minimum Output Sum of Squared Error,MOSSE)算法,以圖像灰度為特征,使用最小化平方誤差準則在線訓(xùn)練目標(biāo)模板,從而將相關(guān)濾波器運用到在線跟蹤中。文獻[6]在顏色名跟蹤(Color Name Tracker,CNT)算法中使用了顏色名(Color Name,CN)[9]特征,在判別式尺度空間跟蹤(Discriminative Scale Space Tracker,DSST)算法[4]中使用了描述目標(biāo)形狀與輪廓的改進梯度方向直方圖特征(Felzenszwalb’s Histogram of Oriented Gradient,FHOG)[10]與灰度特征。文獻[5]提出的核化相關(guān)濾波(Kernalized Correlation Filtering,KCF)算法使用了完整的FHOG特征,并用核化嶺回歸(Kernel Ridge Regression)模型,進一步提高了相關(guān)濾波跟蹤算法的實時性及魯棒性。

盡管相關(guān)濾波跟蹤算法中對特征提取方法的研究已經(jīng)積累了豐富的成果,但多數(shù)是出于提升算法跟蹤性能的目的,分散地進行特征優(yōu)化或多特征融合,其實驗分析也多是對改進前后算法性能的比較。而實際上各種特征因不同的特點,所適用的場景也各不相同,如:灰度特征適合低分辨率場景,而形狀特征則在目標(biāo)形變場景下表現(xiàn)更突出。目前系統(tǒng)分析這些不同類型特征各自優(yōu)勢和劣勢的研究較少。本文通過理論推導(dǎo)分析各類特征的描述能力,比較其在不同場景下的性能表現(xiàn),并給出各特征的適用條件和互補條件,從而為特征選擇及特征融合提供理論和實驗依據(jù)。

1 KCF算法與核函數(shù)

KCF算法[5]完善了相關(guān)濾波算法的基本框架,取得了很好的跟蹤效果。近年來流行的相關(guān)濾波跟蹤算法[7,11]均以KCF為基礎(chǔ),因此本文的實驗使用帶有尺度預(yù)測的改進KCF算法。KCF算法使用核化的嶺回歸方法學(xué)習(xí)一個用于分類的相關(guān)濾波器,通過循環(huán)矩陣的方式實現(xiàn)密集采樣,并在頻域加速計算，這使得KCF算法擁有良好準確性、魯棒性和實時性。

核化的嶺回歸方法采用正則化最小平方誤差(Regularized Least Square,RLS)的原則訓(xùn)練分類器,即通過樣本訓(xùn)練出濾波器模板ω,使得濾波器響應(yīng)與對應(yīng)的樣本標(biāo)簽y之間的平方誤差最小:

(1)

其中,xi是樣本特征向量x的第i維分量,f(ω,x)=ωΤx是x的線性映射,yi是理想高斯分布,λ為正則化參數(shù)。

為增加非線性分類能力,核函數(shù)的方法被引入到模型中。在核函數(shù)方法中,樣本的特征向量x被φ(·)映射到高維Hilbert空間中,從而使目標(biāo)函數(shù)式(1)中:

(2)

高斯核函數(shù)可以表示為:

(3)

由式(3)進行泰勒展開可以發(fā)現(xiàn),高斯核函數(shù)能夠?qū)⒃卣饔成涞綗o限維特征空間,在此空間進行RLS分類能夠很好地提升算法的非線性分類能力。而線性核函數(shù)則不進行高維映射,僅相當(dāng)于原特征空間的內(nèi)積運算:

k(x,z)=xTz

(4)

根據(jù)文獻[12]求解線性核函數(shù)假設(shè)下的濾波器模板ω后,可以得到當(dāng)前幀的相關(guān)濾波響應(yīng):

(5)

其中,x是模板的目標(biāo)特征,z為從當(dāng)前幀提取得到的特征,符號^表示變量的頻域形式。計算得到相關(guān)響應(yīng)的最大值所在位置即為當(dāng)前幀目標(biāo)位置。

從式(5)中可以看到,目標(biāo)的位置預(yù)測完全由當(dāng)前幀提取得到的特征z與濾波器的相關(guān)響應(yīng)決定。即在模板更新策略不變時,線性核作用下的跟蹤表現(xiàn)可以直觀反映特征的描述能力并作為其評價標(biāo)準。因此,本文實驗采用線性核函數(shù)進行分析和特征比較。

2 跟蹤算法中的特征

目前,在視覺目標(biāo)跟蹤算法中使用的特征主要有：灰度特征,形狀特征,紋理特征和顏色特征。

灰度特征直接使用圖像的灰度值對目標(biāo)進行描述，因其提取簡單且特征維度僅有一維,被廣泛地用于早期的單通道相關(guān)濾波跟蹤算法中。為進一步簡化計算、提高算法實時性,在算法實現(xiàn)中使用歸一化的灰度特征,其提取效果見圖1(b)。

形狀特征通過提取圖像中的邊緣信息,產(chǎn)生目標(biāo)外部輪廓及內(nèi)部邊緣的形狀描述子對目標(biāo)進行描述,不僅可區(qū)分目標(biāo)與背景,還可以區(qū)分相似目標(biāo)。文獻[13]提出梯度方向直方圖特征(Histogram of Oriented Gradient,HOG),由于其對目標(biāo)形狀有較好的描述能力,被廣泛地用于視覺目標(biāo)跟蹤算法中。為了提高HOG計算的速度,文獻[10]使用主成分分析的方法對其進行了降維處理,提出了FHOG特征。FHOG特征的可視化結(jié)果見圖1(c)。

紋理特征通過描述圖像中顏色與光強的空間分布,產(chǎn)生目標(biāo)紋理的描述子,從而區(qū)分具有不同紋理的目標(biāo)。在諸多的紋理特征中,文獻[14]提出的局部二值模式(Local Binary Pattern,LBP)有計算量小、對噪聲不敏感、對灰度和旋轉(zhuǎn)具有不變性等優(yōu)點,被廣泛用于圖像紋理特征的提取。而LBP“等價模式”[15]的提出彌補了原始LBP特征維度較高的不足,大大減少了描述子種類,使得LBP特征的提取與計算實時性更強,能更好地應(yīng)用于跟蹤算法中,其特征提取結(jié)果見圖1(d)。

顏色特征是一種直觀、易提取的圖像特征,符合人類視覺的直觀感受。近年來,CN特征取得了很好的表現(xiàn),因此被廣泛地用于跟蹤算法中。CN特征將圖像中的顏色信息投影到11種基礎(chǔ)顏色上,并將歸一化的各顏色分量作為目標(biāo)的顏色特征描述子。相比于其他顏色特征,CN特征維數(shù)低,計算快,符合人眼對顏色細節(jié)不敏感的特點,對細微的顏色變化有較好的魯棒性,其特征提取結(jié)果如圖1(e)所示。

圖1 視覺目標(biāo)跟蹤中常用的4類特征提取結(jié)果

上述特征分別從不同角度提取圖像信息、產(chǎn)生特征描述子,因此在復(fù)雜場景下的適用性也有所差異。例如:光照變化時,灰度特征和顏色特征所受到影響較大;目標(biāo)邊緣模糊時,形狀特征的描述能力下降;非自然圖像中,紋理信息不足,不宜使用紋理特征。為彌補單一特征描述能力的不足,文獻[4,7]相關(guān)濾波算法中采用了融合特征,并取得較好的跟蹤表現(xiàn)。綜上，本文充分發(fā)揮各個特征的優(yōu)勢,對跟蹤性能進行研究,但如何合理地選擇特征,仍然缺少理論和實驗依據(jù)。

3 特征的分析對比

本文通過實驗,根據(jù)線性核作用下各類特征的跟蹤表現(xiàn),詳細分析各類特征在不同場景下的目標(biāo)描述能力及影響目標(biāo)描述能力的原因,并進一步探討灰度特征、形狀特征、紋理特征、顏色特征間的互補性。

3.1 評價標(biāo)準及評價指標(biāo)

為準確而全面地評價跟蹤表現(xiàn),本文分別使用OTB(Object Tracking Benchmark)[16]和VOT(Visual Object Tracking)[17]2種評價標(biāo)準進行量化評價,并在2種評價結(jié)果沖突時使用主觀跟蹤表現(xiàn)加以補充。

OTB標(biāo)準使用位置精度(Distance Precision,DP)曲線和重疊精度(Overlap Precision,OP)曲線評價跟蹤表現(xiàn),兩者分別刻畫了DP、OP小于不同閾值時的跟蹤成功率。此外,OTB標(biāo)準將跟蹤序列細致地劃分為11種具有挑戰(zhàn)性的場景,能充分反映不同場景中的跟蹤表現(xiàn)。本文使用了OTB100[18]和TempleColor128[19]2個標(biāo)準跟蹤數(shù)據(jù)集中共計160個不同的彩色序列進行實驗。OTB標(biāo)準的場景劃分及其在數(shù)據(jù)集中對應(yīng)的序列數(shù)如表1所示。

表1 OTB標(biāo)準的場景分類

VOT標(biāo)準為減少評價過程中的偏差,在算法跟蹤失敗后,重置跟蹤框,以避免當(dāng)前失敗對后續(xù)測試的影響。根據(jù)算法的平均OP與失敗次數(shù),VOT標(biāo)準使用精度和魯棒性分級(Accuracy-robustness rank,AR-rank)對所有參評算法給出相對性比較,并用平均期望重疊度(Expected Average Overlap,EAO)評價算法實際跟蹤表現(xiàn)。但VOT標(biāo)準的場景僅劃分為遮擋、光照變化、運動變化、尺度變化和相機運動5類場景,無法多方面地對比各類特征的適用場景。

3.2 特征的描述能力分析

通過2種評價標(biāo)準對灰度特征Gray、形狀特征FHOG、紋理特征LBP以及顏色特征CN在不同場景中跟蹤表現(xiàn)的評價,可以對這幾類特征的描述能力做詳細的分析。

表2給出了各類特征在OTB標(biāo)準中不同類別場景下的跟蹤表現(xiàn),其中，DP值采用20像素誤差下的成功率,OP值采用50%重疊度時的成功率。表2中加粗與下劃線標(biāo)注表現(xiàn)最優(yōu)特征,單一下劃線表示次優(yōu)特征。

表2 4類特征在彩色序列集下的跟蹤結(jié)果 %

由表2可知,灰度特征均表現(xiàn)較差,FHOG特征除運動模糊場景外,均有較好表現(xiàn),LBP特征在復(fù)雜背景和運動模糊中表現(xiàn)較優(yōu),但平均表現(xiàn)略差于FHOG與CN特征,CN特征僅在光照變化時表現(xiàn)較差。

在VOT標(biāo)準中，4類特征在不同類別場景下的跟蹤表現(xiàn)如圖2所示。

圖2 4類特征在不同場景中的平均AR-rank及EAO

從圖2(a)中可以看出,VOT標(biāo)準中灰度特征的精度和魯棒性較差,FHOG特征具有最佳的跟蹤精度,CN特征則有最優(yōu)的魯棒性,LBP特征的魯棒性與FHOG相近,但精度略差。而在圖2(b)中,VOT標(biāo)準在光照變化與遮擋場景中的評價與OTB標(biāo)準互相矛盾,因此圖3采用主觀跟蹤結(jié)果。

如圖3(a)所示,CN特征與灰度特征對光照變化較為敏感,跟蹤表現(xiàn)較差,而在圖3(b)中,FHOG與CN特征在完全遮擋的場景中的跟蹤表現(xiàn)優(yōu)于LBP與灰度特征。

圖3 4類特征在光照變化與遮擋場景中的跟蹤表現(xiàn)

上述結(jié)果表明:

1)在具有挑戰(zhàn)性的復(fù)雜序列中,灰度特征均表現(xiàn)不佳,描述能力較弱,不宜單獨使用。

2)FHOG特征在大多數(shù)場景中均有較好的目標(biāo)描述能力,并在外觀形變、遮擋場景中表現(xiàn)突出,此時目標(biāo)的輪廓特征變化較為平緩,且存在只有部分輪廓發(fā)生變化的情況,這使得FHOG特征能夠很好地描述目標(biāo)。但在運動模糊時,目標(biāo)輪廓特征和內(nèi)部邊緣細節(jié)都被弱化,導(dǎo)致FHOG特征的目標(biāo)描述能力不佳。

3)LBP特征平均表現(xiàn)略差于FHOG與CN特征,但在復(fù)雜背景和運動模糊場景中表現(xiàn)更具優(yōu)勢,雖然此時目標(biāo)的紋理細節(jié)被破壞,但其整體的紋理結(jié)構(gòu)變化不大,使得LBP在此類場景下具有更強的魯棒性。但在平面外旋轉(zhuǎn)和遮擋場景中,因其包含了目標(biāo)內(nèi)部所有的紋理變化,相比于形狀和顏色特征,所受到的影響更大,所以表現(xiàn)略差于FHOG與CN特征。

4)CN特征在彩色序列的大多數(shù)場景中表現(xiàn)優(yōu)秀,尤其在低分辨率時,基于直方圖統(tǒng)計的FHOG和LBP特征不能很好地描述目標(biāo),但CN特征仍表現(xiàn)較好。此外由于目標(biāo)遮擋前后顏色變化一般較小,因此CN特征在遮擋時仍有良好地描述目標(biāo)能力。但CN特征對光照變化較為敏感,且在灰度序列中無法使用,一定程度上限制了其跟蹤表現(xiàn)。

5)在超出視野場景中,由于KCF算法缺乏相應(yīng)的模型更新及重檢測機制,使得這4類特征都無法取得較好的跟蹤表現(xiàn)。

3.3 特征的互補性分析

通過上述實驗得出,形狀特征FHOG、紋理特征LBP以及顏色特征CN分別從不同角度構(gòu)建目標(biāo)的特征描述子,在復(fù)雜的復(fù)合場景中能夠互相補充,從而提升對目標(biāo)的描述能力。為對各類特征在不同場景中的互補性進行分析,本文采用特征向量串聯(lián)的方式進行特征融合,融合所得的復(fù)合特征在各類場景下的平均OP如圖4所示。其中,OP值采用50%重疊度時的成功率。

圖4 復(fù)合特征在不同場景中的平均OP分布

各復(fù)合特征在不同場景中的平均OP分布結(jié)果表明:

1)FHOG特征在外觀形變和遮擋場景中表現(xiàn)突出,而LBP特征則在復(fù)雜背景、運動模糊場景中具有優(yōu)勢,兩者在這4類場景中能夠很好的互相補充。

2)LBP特征擁有較強的光照不變性,可以彌補CN特征對光照敏感的不足,兩者融合亦可提高外觀形變與遮擋場景中的魯棒性,此外由于在運動模糊及相機運動場景中的出色表現(xiàn),兩者構(gòu)成的融合特征在劇烈運動類場景中有很好適應(yīng)性。

3)FHOG特征同樣能夠彌補顏色特征CN特征對光照敏感的不足,而CN特征的加入能夠改善FHOG特征在運動模糊場景中的表現(xiàn),兩者融合能夠在精度與魯棒性上優(yōu)勢互補,且在遮擋和快速運動場景中具有很好的魯棒性。

4)3類特征的組合從不同角度完善了對目標(biāo)外觀的描述,從而在目標(biāo)旋轉(zhuǎn)及目標(biāo)超出視野的場景中均取得良好的表現(xiàn)。

雖然各類特征能夠互相補充,但在不同場景中各類特征的互補性仍有所差異,因此融合特征的特征選擇不能盲目選取不同種類的特征,亦要結(jié)合實際場景,選擇互補性更佳的特征,如:文獻[20-21]采用了各場景中互補性最佳的形狀和顏色特征;文獻[8,22]采用自適應(yīng)融合了形狀特征、紋理特征與顏色特征;文獻[23]將FHOG、CN與灰度特征融合,均取得了良好的跟蹤表現(xiàn)。

此外,由于灰度特征在這些具有挑戰(zhàn)性的序列上均表現(xiàn)不佳,因此需要進一步的實驗分析來對上述3類特征與灰度特征的互補性做出評價。本文實驗使用串行融合方式,分別在FHOG、LBP和CN特征后串聯(lián)一維歸一化灰度特征,構(gòu)成FHOG_Gray、LBP_Gray和CN_Gray 3種復(fù)合特征,以探討各類特征與灰度特征間的互補性。

表3和圖5給出了OTB標(biāo)準下各特征與對應(yīng)復(fù)合特征的跟蹤表現(xiàn)對比。其中,表3加粗表示較優(yōu)的特征,圖5(a)中括號數(shù)據(jù)表示平均位置精度，圖5(b)中括號數(shù)據(jù)表示平均重疊精度。實驗結(jié)果表明:串聯(lián)了灰度特征的FHOG_Gray特征在快速運動、運動模糊、光照變化與低分辨率場景中優(yōu)于FHOG特征,而在復(fù)雜背景、外觀形變及旋轉(zhuǎn)場景中表現(xiàn)不佳;LBP_Gray特征在所有場景中都優(yōu)于LBP特征,體現(xiàn)出良好的互補性;CN_Gray特征則只在快速運動、運動模糊與光照變化場景中優(yōu)于CN特征,其余場景未能取得良好的表現(xiàn)。

表3 OTB標(biāo)準中各特征與其對應(yīng)復(fù)合特征的20像素誤差成功率 %

圖5 OTB標(biāo)準中各特征及其復(fù)合特征的平均位置精度與平均重疊精度曲線

OTB標(biāo)準下各特征與對應(yīng)復(fù)合特征的跟蹤表現(xiàn)對比表明,灰度變化趨勢構(gòu)成描述子的形狀特征FHOG,灰度間關(guān)系構(gòu)建描述子的紋理特征LBP與灰度特征具有較好的互補性,而通過圖像RGB 3個子層的分量構(gòu)建描述子的顏色特征CN則與灰度特征間互補性不佳。

4 結(jié)束語

本文描述相關(guān)濾波跟蹤算法中的特征提取研究成果,并通過實驗對灰度特征、形狀特征、紋理特征和顏色特征的適用性和互補性進行評價。實驗結(jié)果表明,形狀特征在目標(biāo)形變和遮擋場景中對目標(biāo)描述能力較強,紋理特征更適用于運動模糊和復(fù)雜背景場景,顏色特征具有良好的魯棒性,且在旋轉(zhuǎn)、遮擋和低分辨率時表現(xiàn)優(yōu)秀,在復(fù)合場景中,三者有較好的互補性。此外,灰度特征雖不適用于復(fù)雜場景,但與形狀特征有很好的互補性。下一步將研究在復(fù)雜的復(fù)合場景中,綜合考慮各類特征的適用性及互補性,選擇互補性較優(yōu)的特征組合進行特征融合,從而改善相關(guān)濾波跟蹤算法的跟蹤性能。