趙翱東, 石　磊, 劉　飛

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122；2.無錫職業(yè)技術(shù)學(xué)院,江蘇 無錫 214121)

?

計(jì)算與測試

基于時(shí)空特征的實(shí)時(shí)相關(guān)濾波目標(biāo)跟蹤

趙翱東1,2, 石磊1, 劉飛1

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122；2.無錫職業(yè)技術(shù)學(xué)院,江蘇 無錫 214121)

提出一種基于時(shí)空信息的相關(guān)濾波實(shí)時(shí)目標(biāo)跟蹤算法,以解決紋理改變、光照變化、旋轉(zhuǎn)變形甚至遮擋情況下目標(biāo)跟蹤效率問題。此算法考慮到目標(biāo)定位過程中,目標(biāo)與其周圍信息存在空域上的相關(guān)性,來構(gòu)建目標(biāo)空域?yàn)V波模型,并且該算法引入時(shí)間變量來在線更新得到時(shí)空域?yàn)V波模型,利用相鄰幀信息相似性來降低遮擋對跟蹤的影響。通過實(shí)驗(yàn)對比,驗(yàn)證了當(dāng)目標(biāo)受到非理想因素干擾時(shí),所提算法具有健壯的魯棒性和良好實(shí)時(shí)性。

相關(guān)濾波； 空域； 時(shí)空信息； 實(shí)時(shí)跟蹤

0　引　言

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中非常活躍的研究主題,在視覺監(jiān)控、運(yùn)動分析、人機(jī)交互等領(lǐng)域快速發(fā)展。但由于目標(biāo)受到目標(biāo)縮放、光照變化和局部遮擋等干擾時(shí),跟蹤效果制約嚴(yán)重[1]。近些年,國內(nèi)外學(xué)者在機(jī)器視覺跟蹤方面提出很多算法或者改進(jìn)辦法[2～6]。

Black M等人[2]提出通過離線學(xué)習(xí)構(gòu)建出跟蹤模型子空間來實(shí)現(xiàn)目標(biāo)跟蹤。Ross D等人[3]提出通過在線學(xué)習(xí)建立目標(biāo)子空間模型,實(shí)現(xiàn)一種增量式視覺跟蹤算法。近些年,基于相關(guān)濾波器的跟蹤算法由于其良好的跟蹤效果,超快的跟蹤速度,使得此類跟蹤方法備受關(guān)注,改進(jìn)方法也層出不窮。文獻(xiàn)[5]首次將相關(guān)濾波應(yīng)用在跟蹤領(lǐng)域,通過計(jì)算濾波器模板來獲得響應(yīng)最大的區(qū)域作為目標(biāo)區(qū)域。文獻(xiàn)[6]在相關(guān)濾波器的基礎(chǔ)上提出改進(jìn)尺度的方法,提高了相關(guān)濾波器在目標(biāo)尺度發(fā)生較大變化場景中的應(yīng)用。

無論基于模型,還是基于判別式,上述跟蹤算法僅僅將研究對象局限于目標(biāo)本身,忽略了目標(biāo)周圍的信息特征,造成算法精度不高。文獻(xiàn)[7]通過訓(xùn)練目標(biāo)周圍的正樣本得到弱分類器,并級聯(lián)建立強(qiáng)分類器,實(shí)現(xiàn)目標(biāo)判別。文獻(xiàn)[8]利用目標(biāo)周圍多個正負(fù)樣本作為特征包來強(qiáng)化分類器的判別效果,達(dá)到從背景中區(qū)分目標(biāo)的能力。這些方法考慮到目標(biāo)周圍的信息特征,但其選擇的隨機(jī)性決定目標(biāo)模型更新過程的不確定性和不精確性。

為了增強(qiáng)跟蹤精度,本文提出一種基于時(shí)空信息的實(shí)時(shí)相關(guān)濾波跟蹤算法。利用目標(biāo)與其周圍空域信息存在空域上的相關(guān)性,構(gòu)建目標(biāo)空域?yàn)V波器模型,利用幀間的時(shí)序關(guān)系,累積更新空域?yàn)V波器模型構(gòu)造出時(shí)空域?yàn)V波器模型；最終利用時(shí)空域?yàn)V波器模型與目標(biāo)響應(yīng)區(qū)域的卷積計(jì)算獲得響應(yīng)置信圖,以響應(yīng)置信圖中響應(yīng)的極大值點(diǎn)作為中心點(diǎn),獲取的目標(biāo)區(qū)域。

1　相關(guān)濾波器跟蹤理論

1.1相關(guān)濾波的原理

假如存在2組信號,信號f和信號g,通過卷積得到2組信息的相關(guān)性,在線性情況下,計(jì)算公式如下

(1)

在離散情況下,計(jì)算公式如下

(2)

式中f*為f的復(fù)共軛。2組信息的相關(guān)性就是衡量2組信號在某一時(shí)刻的相似程度。

相關(guān)濾波器應(yīng)用于跟蹤的核心思想為：2個信號越相似,其卷積得到的相關(guān)性越高。在跟蹤過程中,通過搜索樣本與模板之間的相關(guān)性,在卷積過程中,響應(yīng)最大的樣本即為最終的目標(biāo)區(qū)域。

1.2誤差最小平方和濾波器濾波跟蹤方法

文獻(xiàn)[5]提出利用誤差最小平方和濾波器(minimum output sum of square error filter,MOSSE)的跟蹤思路。假設(shè)已知濾波器模板模型h的情況下,通過輸入樣本f,計(jì)算對應(yīng)的濾波器響應(yīng),計(jì)算公式如下所示

g=f?h

(3)

式中g(shù)為輸入樣本的響應(yīng)輸出。因此,在跟蹤的過程中,需要不斷計(jì)算更新每一時(shí)刻的濾波器模板模型h,以此對輸入的樣本卷積,響應(yīng)最大的即為某時(shí)刻的目標(biāo)區(qū)域。

為了保證算法的實(shí)時(shí)性,文獻(xiàn)[5]通過快速傅里葉變換方法將式(3)中的卷積計(jì)算轉(zhuǎn)換到頻域內(nèi)的點(diǎn)乘計(jì)算,式(3)可以表示為

F(g)=F(f?h)=F(f)⊙F(h)*

(4)

式(4)可以簡化為

G=F⊙H*

(5)

因此,在跟蹤過程中需要不斷計(jì)算濾波器模板模型H*。

在MOSSE模型中,將m個目標(biāo)圖像作為輸入,得到濾波器模板模型

(6)

通過不斷計(jì)算濾波器模板模型H*來獲取目標(biāo)的區(qū)域。然而MOSSE模型在計(jì)算濾波模型的過程中,一方面提取多個目標(biāo)圖像塊特征訓(xùn)練濾波器,造成特征間交叉冗余,影響學(xué)習(xí)跟蹤速度;另外一方面MOSSE模型只利用了目標(biāo)自身的信息特征,未考慮目標(biāo)與其周圍信息之間的空域相關(guān)性[9],在出現(xiàn)遮擋情況下,MOSSE算法容易受到遮擋物的干擾,最終導(dǎo)致丟失目標(biāo)的情況出現(xiàn)。因此,本文提出利用目標(biāo)與目標(biāo)周圍信息間的相關(guān)性構(gòu)建空域?yàn)V波模型,考慮幀間的時(shí)序關(guān)系對跟蹤目標(biāo)的重要影響[10],構(gòu)造出時(shí)空域?yàn)V波模型。在保證算法魯棒性的同時(shí),通過設(shè)置空域區(qū)域的方式避免了需要選取大量樣本來計(jì)算樣本響應(yīng),降低了計(jì)算量,提升了算法的速率。

2　基于時(shí)空信息的相關(guān)濾波跟蹤算法

在跟蹤過程中,目標(biāo)區(qū)域某些特征在空間位置上保持相對穩(wěn)定。例如:人臉定位時(shí),臉部的眼睛和鼻子有著相對固定的空間距離,但眼睛與臉部以外的特征點(diǎn)的距離卻時(shí)刻改變,本文把目標(biāo)區(qū)域內(nèi)部特征之間,以及其與目標(biāo)周圍區(qū)域存在的動態(tài)聯(lián)系[9]稱之為目標(biāo)空域相關(guān)性。另外,相鄰幀之間變化(很短時(shí)間內(nèi))可以合理地假定是平穩(wěn)且很小的,當(dāng)前幀包含的信息在下一幀中是相似的。即使目標(biāo)漸入遮擋物時(shí),雖然幀局部信息變化較大,但整體信息是相似的。基于連續(xù)幀之間的時(shí)序關(guān)系,當(dāng)前幀的目標(biāo)信息可為下一幀的目標(biāo)區(qū)域預(yù)測提供先驗(yàn)知識[10],在一定程度上解決目標(biāo)遮擋的影響。因此，本文將提出一種基于空域相關(guān)性和時(shí)域特性來構(gòu)建濾波器模型的跟蹤算法。

2.1空域相關(guān)濾波模型

圖1中,實(shí)線框區(qū)域包含了目標(biāo)及其周圍信息,即本文所定義的空域ΩD,本文設(shè)其大小為目標(biāo)區(qū)域(虛線框區(qū)域)的2倍。點(diǎn)x*為目標(biāo)區(qū)域的中心點(diǎn)位置。中心點(diǎn)x*所對應(yīng)的上下文空域?yàn)棣窪(x*),其信息特征{D(x)=(I(x),x)|x∈ΩD(x*)},其中,x表示上下文空域ΩD(x*)的像素點(diǎn),I(x)表示其灰度值。

圖1　空域示意圖Fig 1　Diagram of spatial domain

由于目標(biāo)在移動過程中,一般情況下極短時(shí)間內(nèi)目標(biāo)的移動偏移量在一定范圍內(nèi)。在設(shè)置輸入樣本f時(shí),與MOSSE方法輸入大量的候選樣本圖像不同,本文通過設(shè)置以點(diǎn)x*為中心點(diǎn),2倍于前幀中目標(biāo)區(qū)域的空域范圍作為輸入圖像區(qū)域?？紤]到隨著空域中像素點(diǎn)x與目標(biāo)中心x*的距離增加,目標(biāo)中心x*與像素點(diǎn)x的空域相關(guān)性越小,符合高斯分布模式。構(gòu)建輸入函數(shù)f如下

f(x)=I(x)ωσ(x-x*)

(7)

式中ωσ為高斯分布函數(shù),定義為

(8)

式中參數(shù)σ為跟蹤過程中跟蹤框高與寬的和的50 %。

與MOSSE方法相似,假設(shè)相關(guān)響應(yīng)函數(shù)g(x)服從如下分布

(9)

式中x∈R2為目標(biāo)位置,x*為目標(biāo)區(qū)域的幾何中心點(diǎn)位置,K為標(biāo)準(zhǔn)常量為1,參數(shù)α,β分別為尺度參數(shù)和形狀參數(shù)。實(shí)驗(yàn)中,采用β=1,α=2.25,能夠很好地確定最大值響應(yīng),即目標(biāo)中心點(diǎn)位置。

假設(shè)空域?yàn)V波器模型為hsc(x),因此,根據(jù)式(3)得到

g(x)=f(x)?hsc(x)

(10)

為了保持算法的實(shí)時(shí)性,將上式的卷積運(yùn)算轉(zhuǎn)換為頻域的乘積運(yùn)算,見式(11)

F(g(x))=F(f(x))⊙F(hsm(x))

(11)

式中F為傅里葉變換函數(shù),⊙為兩個矩陣對應(yīng)元素相乘。因此,可以學(xué)習(xí)得到目標(biāo)空域?yàn)V波器模型

(12)

式中F-1為傅里葉逆變換函數(shù)。因此,得到目標(biāo)空域相關(guān)濾波器模型。

2.2時(shí)空域相關(guān)濾波模型

hsc(x)是目標(biāo)的空域相關(guān)濾波器模型,如圖2所示考慮時(shí)間參數(shù),得到如下時(shí)空域相關(guān)濾波模型,即

(13)

式中η為更新的學(xué)習(xí)率,在實(shí)驗(yàn)中，采用0.075這個值。

圖2　相鄰幀間時(shí)序關(guān)系Fig 2　Timing relationship of consecutive frames

2.3獲取目標(biāo)區(qū)域

最終,在輸入t+1時(shí)刻樣本圖像ft+1(x)時(shí),本文計(jì)算得到時(shí)空域相關(guān)濾波模型對應(yīng)的響應(yīng)輸出,計(jì)算如下

(14)

式中?為卷積運(yùn)算符。

圖3中,最左側(cè)圖實(shí)線區(qū)域?yàn)槟繕?biāo)空域,中間圖為時(shí)空域相關(guān)濾波卷積模板,最右側(cè)圖即為響應(yīng)輸出對應(yīng)的偽彩圖。

(15)

由式(15)得到在t+1時(shí)刻目標(biāo)的幾何中心點(diǎn)位置,確定目標(biāo)區(qū)域。

圖3　基于時(shí)空域相關(guān)濾波模型的響應(yīng)圖Fig 3　Response map based on temporal-spatio domain related filtering model

2.4算法流程

利用目標(biāo)及其周圍信息的時(shí)空相關(guān)性構(gòu)建時(shí)空域相關(guān)濾波模型,設(shè)置空域范圍作為輸入,獲得對應(yīng)的輸出響應(yīng),響應(yīng)的最大值即為目標(biāo)的幾何中心點(diǎn),獲得目標(biāo)區(qū)域。算法流程如下：

1)初始化：初始化出首幀的目標(biāo)跟蹤窗,考慮到目標(biāo)與其周圍信息之間的相關(guān)性,構(gòu)建出目標(biāo)空域相關(guān)濾波模型。利用時(shí)間軸上連續(xù)幀之間的關(guān)系構(gòu)建出目標(biāo)時(shí)—空域相關(guān)濾波模型。

2)目標(biāo)跟蹤：讀取下一幀,將卷積時(shí)—空域相關(guān)濾波模型計(jì)算得到響應(yīng)輸出,獲得下一幀的目標(biāo)跟蹤窗。

a.根據(jù)目標(biāo)上一幀的位置設(shè)置輸入樣本圖像,根據(jù)式(14)計(jì)算得到卷積時(shí)空域相關(guān)濾波模型的輸出響應(yīng)。

b.遍歷輸出響應(yīng),利用式(15)計(jì)算得到響應(yīng)最大值,作為目標(biāo)的幾何中心點(diǎn),得到目標(biāo)跟蹤窗；

c.時(shí)—空域相關(guān)濾波模型更新：得到目標(biāo)最優(yōu)跟蹤窗后,利用式(12)更新空域相關(guān)濾波模型,根據(jù)式(13)更新時(shí)—空域相關(guān)濾波模型。

5)結(jié)束：跳轉(zhuǎn)到第2步。

3　實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的正確性和有效性,在Intel(R)Pentium(R) 2.9G Hz,內(nèi)存4.0 GB的微機(jī)實(shí)現(xiàn)。重點(diǎn)對算法的魯棒性進(jìn)行檢驗(yàn),包括目標(biāo)旋轉(zhuǎn)、目標(biāo)形變、局部遮擋以及快速運(yùn)動等情況。除此之外,將算法與多示例學(xué)習(xí)(multiple instance learning,MIL)Track算法[8],MOSSE算法[5]進(jìn)行了對比說明。本文中所有實(shí)驗(yàn)初始狀態(tài)一致,實(shí)驗(yàn)所對比的標(biāo)準(zhǔn)跟蹤框的數(shù)據(jù)來源于Benchmark[2]。

3.1對局部遮擋與紋理變化的實(shí)驗(yàn)

Woman序列實(shí)驗(yàn)是針對目標(biāo)出現(xiàn)遮擋和紋理變化時(shí),算法的抗干擾性能驗(yàn)證。

圖4　Woman圖片序列跟蹤效果Fig 4　Tracking effect of Womans image serial sequences

圖4中,在#127幀時(shí)目標(biāo)Woman出現(xiàn)局部遮擋與紋理變化,MIL算法的跟蹤窗出現(xiàn)偏移,且從此出現(xiàn)脫靶情況。MOSSE算法由于未考慮目標(biāo)周圍特征,因此,在出現(xiàn)局部遮擋之后出現(xiàn)偏移情況,較本文所提算法跟蹤效果稍差。本文算法由于考慮了目標(biāo)上下文環(huán)境,抗干擾性明顯增強(qiáng)。本文算法考慮到時(shí)空特征,結(jié)合目標(biāo)空域信息與相鄰幀之間時(shí)序關(guān)系,跟蹤效果最佳。

圖5為三種算法的跟蹤中心點(diǎn)位置與標(biāo)準(zhǔn)跟蹤中心點(diǎn)的誤差曲線分析圖。橫軸表示幀號,縱軸表示“跟蹤窗中心點(diǎn)位置”與“真實(shí)目標(biāo)中心點(diǎn)位置”偏離誤差,從圖5中可以看出MIL算法在#120幀開始出現(xiàn)較大的中心偏移,有的高達(dá)200個像素值。而本文算法算法充分利用目標(biāo)與其周圍信息,在目標(biāo)出現(xiàn)遮擋情況下很好地計(jì)算出目標(biāo)跟蹤窗。兼顧了目標(biāo)周圍信息和時(shí)間特性。相比MOSSE算法，本文算法中心點(diǎn)偏差保持在10個像素點(diǎn)以內(nèi)。

圖5　Woman序列的跟蹤中心點(diǎn)誤差曲線圖Fig 5　Center point error curve of tracking based on Woman sequences

3.2對嚴(yán)重遮擋與目標(biāo)旋轉(zhuǎn)形變的實(shí)驗(yàn)

Faceooc2序列實(shí)驗(yàn)是針對目標(biāo)出現(xiàn)旋轉(zhuǎn)和嚴(yán)重遮擋時(shí),算法的抗干擾性能驗(yàn)證。

圖6中,自#151幀起目標(biāo)發(fā)生大面積遮擋,并且在序列過程中伴隨平面內(nèi)旋轉(zhuǎn)。MIL和MOSSE算法不同程度出現(xiàn)跟蹤窗偏移,從圖中可以看出，在#188幀,MOSSE算法跟蹤偏移嚴(yán)重,而本文算法跟蹤效果最佳。

圖6　Faceooc2圖片序列跟蹤效果Fig 6　Tracking results of Faceooc2 sequences

圖7　Faceocc2序列的跟蹤中心點(diǎn)誤差曲線圖Fig 7　Center point error curve of tracking based on Faceocc2 sequences

從圖7看出,在目標(biāo)出現(xiàn)嚴(yán)重遮擋和旋轉(zhuǎn)變化時(shí),MOSSE算法跟蹤效果最差,中心偏差誤差曲線中偏離最大。說明了本文算法在相關(guān)濾波框架下利用目標(biāo)的時(shí)間和空間特征更好地克服遮擋對跟蹤算法的影響。

4　結(jié)　論

本文算法利用目標(biāo)與其周圍空域信息,以及該目標(biāo)在時(shí)間軸上相鄰幀之間的聯(lián)系,建立目標(biāo)的時(shí)空域?yàn)V波模型。另外,本文算法引入時(shí)間變量來在線更新時(shí)空域?yàn)V波模型,利用相鄰幀的時(shí)序關(guān)系以及其信息的相似性,以前一幀的信息輔助預(yù)測漸入遮擋物的后續(xù)幀目標(biāo)狀態(tài),提高算法抗遮擋的魯棒性。通過實(shí)驗(yàn)證明：本文算法在目標(biāo)出現(xiàn)旋轉(zhuǎn)形變、紋理改變、光照變化、局部遮擋甚至嚴(yán)重遮擋時(shí),依然保持良好的魯棒性。

[1]Fan Jialue,Shen Xiaohui,Wu Ying.Scribble Tracker:A matting-based approach for robust tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(8):1633-1644.

[2]Black M,Jepson A.Eigentracking:Robust matching and tracking of articulated objects using a view-based representation[J].International Journal of Computer Vision,1998,26:63-84.

[3]Ross D,Lim J,Lin R,et al.Incremental learning for robust visual tracking[J].International Journal of Computer Vision,2007,77(1-3):125-141.

[4]Bolme D S,Beveridge J R,Draper B A,et al.Visual object tra-cking using adaptive correlation filters[C]∥IEEE Conference on Computer Vision & Pattern Recognition,IEEE,2010:2544-2550.

[5]Danelljan M,H?ger G,Khan F,et al.Accurate scale estimation for robust visual tracking[C]∥Proc of British Machine Vision Conf,Nottingham UK，2014.http:∥dx.doi.org∥10.5244/C.28.65.

[6]Avidan S.Ensemble tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29:261-271.

[7]Babenko B,Yang M H,BELONGIE S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1619-1632.

[8]Grabner H,Matas J,Van G L,et al.Tracking the invisible:Learning where the object might be[C]∥Proceedings of the IEEE Computer Society Conf on Computer Vision and Pattern Recognition,San Francisco,CA,2010:1285-1292.

[9]Wen L Y,Cai Zh W,Zhen L,et al.Robust online learned spatio-temporal context model for visual tracking[J].IEEE Transactions on Image Processing,2014,23(2):785-796.

Real-time correlation filtering target tracking based on spatio-temporal feature

ZHAO Ao-dong1,2, SHI Lei1, LIU Fei1

(1.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China;2.Wuxi Institute of Technology,Wuxi 214121,China)

To solve efficient problem of object tracking in terms of texture changes,illumination changes,rotational changes and even occlusion,propose a real time target tracking algorithm based on correlation filtering of spatial-temporal information.The proposed algorithm has considered that the object is relative to surrounding information in spatial area,which can be used to construct target spatial filtering model in the process of target localization.Moreover,this algorithm introduces temporal variables to update spatial filtering model online,using information similarity between consecutive frames to decrease effects of occlusion on tracking.Through experiment contrast,it is verified that the proposed algorithm has strong robustness and good real-time performance when the target is under interference of non-ideal factors.

correlation filtering; spatial area; spatial-temporal information; real-time tracking

2016—05—09

TP 391

A

1000—9787(2016)08—0119—04

趙翱東(1977-),男,江蘇無錫人,碩士研究生,講師,研究方向?yàn)橹悄芸刂啤⒛Ｊ阶R別。

DOI:10.13873/J.1000—9787(2016)08—0119—04