顧 鑫,李 喆,王 華,張 堯,張 鳳,岑小鋒

(中國運(yùn)載火箭技術(shù)研究院研究發(fā)展中心,北京 100076)

?

基于粒子濾波后驗(yàn)概率分布的多特征融合跟蹤*

顧 鑫*,李 喆,王 華,張 堯,張 鳳,岑小鋒

(中國運(yùn)載火箭技術(shù)研究院研究發(fā)展中心,北京 100076)

在光照和目標(biāo)形變等外部條件變化的情況下,僅利用目標(biāo)的單一特征難以魯棒的跟蹤目標(biāo)。提出了一種基于粒子濾波后驗(yàn)概率分布的多特征融合跟蹤算法,在粒子濾波跟蹤框架下,用直方圖模型表征目標(biāo)的顏色和邊緣特征,通過兩種特征后驗(yàn)概率之間的“協(xié)作”與“學(xué)習(xí)”實(shí)現(xiàn)特征融合,各種場景的試驗(yàn)結(jié)果比較表明,新的融合跟蹤算法比僅用單一特征跟蹤、現(xiàn)有的多特征融合算法具有更好的穩(wěn)定性和魯棒性,特別是針對環(huán)境光照和目標(biāo)背景變化較大的情況更具有優(yōu)勢。

目標(biāo)跟蹤;粒子濾波;特征融合;后驗(yàn)概率分布

目標(biāo)跟蹤是眾多現(xiàn)代工程技術(shù)的一個重要組成部分,在很多領(lǐng)域都有應(yīng)用,如:視頻監(jiān)控、運(yùn)動目標(biāo)捕捉、飛行器自主導(dǎo)航等[1]。在實(shí)際跟蹤過程中,目標(biāo)通常會面臨很多復(fù)雜的場景,如:遮擋、光照變化等,因此如何提高跟蹤魯棒性成為目標(biāo)跟蹤的一個難點(diǎn)。

常用的跟蹤算法主要包括兩大類:基于特征匹配的跟蹤和基于動態(tài)模型的跟蹤,基于特征匹配的跟蹤通過目標(biāo)的顯著特征及上一幀位置來定位目標(biāo),常用算法有:模板匹配、Mean-Shift等,該類算法在目標(biāo)運(yùn)動較快或分布復(fù)雜時魯棒性較差。基于動態(tài)模型的跟蹤算法通過引入動態(tài)模型,能夠較好的處理目標(biāo)運(yùn)動快的問題,其經(jīng)典的算法是基于遞歸貝葉斯框架的卡爾曼濾波、粒子濾波等[2]。粒子濾波通過序列蒙特卡洛算法,能夠較好的處理非線性、非高斯問題,其核心是通過一組隨機(jī)樣本及其重要性權(quán)值離散表示所求解問題的后驗(yàn)概率分布,并依據(jù)這些樣本及其重要性權(quán)值估計目標(biāo)狀態(tài)的統(tǒng)計特征[3]。

跟蹤的一個關(guān)鍵是目標(biāo)特征的選擇,很多跟蹤算法僅選取顏色[4]、邊緣[5]、紋理[6]、SIFT點(diǎn)[7]等單一特征作為目標(biāo)描述子。在實(shí)際應(yīng)用中,背景的變化難以預(yù)測,目標(biāo)特征會隨時隨地變化,如顏色會隨環(huán)境光照、目標(biāo)表面形變而變化;目標(biāo)邊緣易受背景邊緣信息的影響,使用單一特征通常難以魯棒的跟蹤目標(biāo)[8]。

為了提高跟蹤的魯棒性,研究人員提出了大量多特征融合算法[9-12],這些算法都是基于不同特征觀測似然概率的融合,文章[9]提出的乘性融合策略提高了概率密度的鑒別能力,但放大了系統(tǒng)的噪聲;文章[10]提出的加性融合策略抑制了噪聲的干擾,但并不能提高系統(tǒng)的鑒別能力。本文選擇顏色和邊緣作為特征描述子,在粒子濾波跟蹤框架下,通過不同特征后驗(yàn)概率之間的相互“協(xié)作”、“學(xué)習(xí)”,融合不同特征對應(yīng)后驗(yàn)概率中的“優(yōu)秀粒子”以提高跟蹤系統(tǒng)的鑒定能力,且不放大系統(tǒng)的噪聲。

1 粒子濾波

定義貝葉斯跟蹤中目標(biāo)狀態(tài)如下:

xt=ft(xt-1,εt)

(1)

xt是目標(biāo)在t時刻的狀態(tài)向量,目標(biāo)的狀態(tài)遞歸估計如下:

zt=ht(xt,et)

(2)

zt是狀態(tài)xt的觀測值,假設(shè)過程噪聲εt和觀測噪聲et獨(dú)立同分布。

從貝葉斯估計角度說,跟蹤問題就是根據(jù)給定觀察序列遞歸估計目標(biāo)狀態(tài),構(gòu)造目標(biāo)狀態(tài)的后驗(yàn)概率分布p(xt|z1:t)。粒子濾波是基于序列蒙特卡洛和遞歸貝葉斯的估計方法,它將貝葉斯估計中無法數(shù)值解的積分運(yùn)算轉(zhuǎn)化為有限樣本點(diǎn)的求和[13],即后驗(yàn)概率分布p(xt|z1:t)可近似表示為:

(3)

2 多特征融合

在粒子濾波算法中,后驗(yàn)概率分布是用一系列加權(quán)的粒子來表征的[13]。在同一個候選區(qū)域,不同特征后驗(yàn)概率分布是不一致的。基于粒子濾波后驗(yàn)概率分布的多特征融合是將不同特征后驗(yàn)概率分布中的粒子進(jìn)行“協(xié)作”和“融合”,是一種決策級的融合。

(4)

(5)

圖1 基于后驗(yàn)概率分布的多特征融合

(6)

(7)

(8)

其中,η是學(xué)習(xí)率,在實(shí)際應(yīng)用中η取經(jīng)驗(yàn)值0.25。

3 特征提取及算法實(shí)現(xiàn)

在算法實(shí)現(xiàn)中用橢圓來描述目標(biāo)的狀態(tài)x:

x={cx、cy、lx、lx、θ}

(9)

其中cx、cy、lx、lx、θ分別表示橢圓的中心坐標(biāo)、長軸、短軸和偏轉(zhuǎn)角度。選取顏色和邊緣兩種特征來描述目標(biāo)的特性。用顏色直方圖來表征顏色信息,Pérez給出了一種求解顏色直方圖的方法[4]:

(10)

其中I(x,y)是候選區(qū)域的像素點(diǎn)值,Bc表示顏色直方圖的長度,δ(·)是狄拉克函數(shù)。

用加權(quán)梯度方向直方圖(Histogram of Oriented Gradients)來表征目標(biāo)的邊緣特征[7],首先計算目標(biāo)區(qū)域內(nèi)每個像素點(diǎn)的邊緣強(qiáng)度G和方向角φ:

(11)

φ(x,y)=arctan(Ix/Iy)

(12)

以橢圓的長軸和短軸為對稱軸,將其分為4個部分,對每個部分求出區(qū)域的方向直方圖,并將目標(biāo)區(qū)域內(nèi)每個點(diǎn)的邊緣強(qiáng)度信息融入其中求得梯度方向直方圖并做歸一化處理。

用Bhattacharyya距離來度量兩種特征與模板之間的相似概率[15],具體算法流程如下:

⑤求出對給定區(qū)域內(nèi)特征1和特征2下粒子的位置方差σ1和σ2,計算兩特征不確定性β1、β2,并將兩者作歸一化處理;

⑩轉(zhuǎn)向步驟②。

4 實(shí)驗(yàn)分析

為了驗(yàn)證算法的有效性,分別將本文算法和單一顏色特征跟蹤、單一邊緣特征跟蹤進(jìn)行比較,選擇顏色和邊緣兩種特征采用加性融合策略和乘性融合策略與本文算法進(jìn)行對比。為了驗(yàn)證算法的普適性,在數(shù)據(jù)源的選取上,本文選擇在兩段公共視頻集上進(jìn)行驗(yàn)證,兩段視頻分別為可見光數(shù)據(jù)源和紅外數(shù)據(jù)源,圖像的大小為320×240,粒子數(shù)目都選為100。本文所有算法均在Intel(R)Core(TM)i7 CPU 2.93 GHz,4 G內(nèi)存的計算機(jī)上用MATLAB R2010a編程實(shí)現(xiàn),在人工標(biāo)定初始位置的前提下,分別進(jìn)行各種算法的仿真。

實(shí)驗(yàn)1是單一特征跟蹤與本文算法結(jié)果的對比。如圖2所示,試驗(yàn)數(shù)據(jù)源是光學(xué)視頻序列,跟蹤對象是戶外的汽車,第1行為顏色特征跟蹤結(jié)果,第2行為邊緣特征跟蹤結(jié)果,第3行為本文算法跟蹤結(jié)果。該視頻序列跟蹤的難點(diǎn)是目標(biāo)所處的背景中存在樹枝等較強(qiáng)邊緣信息的干擾,目標(biāo)不斷的進(jìn)出有樹蔭的陰影區(qū),導(dǎo)致其顏色特征變化較大。當(dāng)目標(biāo)進(jìn)入有樹蔭遮擋的陰影區(qū)時,其所處環(huán)境的光照發(fā)生較大變化,在第206幀顏色跟蹤的結(jié)果和目標(biāo)實(shí)際所處的位置相差很大。當(dāng)目標(biāo)出陰影區(qū)后再次進(jìn)入有樹蔭遮擋的區(qū)域時(346幀),顏色跟蹤完全失效。邊緣跟蹤過程中,由于背景中較強(qiáng)邊緣信息的干擾,導(dǎo)致邊緣跟蹤失效(第246幀)。該試驗(yàn)結(jié)果表明,在復(fù)雜光照和背景情況下,單一特征對目標(biāo)的跟蹤結(jié)果較差,本文的跟蹤算法在跟蹤過程中根據(jù)外部環(huán)境的變化,通過不同特征后驗(yàn)概率中的粒子進(jìn)行“學(xué)習(xí)”和“協(xié)作”實(shí)現(xiàn)對目標(biāo)的全程跟蹤。

實(shí)驗(yàn)2是不同融合策略結(jié)果的對比。如圖3所示,第1行是加性融合算法跟蹤的結(jié)果,第2行為乘性融合算法跟蹤的結(jié)果,第3行為本文算法跟蹤結(jié)果。該試驗(yàn)視頻序列跟蹤的難點(diǎn)是目標(biāo)在運(yùn)動過程中受到路燈的部分遮擋,此外該視頻源是紅外數(shù)據(jù),其噪聲大,在跟蹤過程中目標(biāo)容易受到其所處背景的干擾。第1行是采用加性融合策略的跟蹤結(jié)果,在目標(biāo)被路燈部分遮擋時(456幀),兩者的灰度信息和邊緣信息都比較相似,加性融合并不能提高系統(tǒng)的鑒別能力導(dǎo)致跟蹤失效。乘性融的結(jié)果放大了系統(tǒng)噪聲,在第456幀時對目標(biāo)的位置估計已經(jīng)有較大的偏差,但是仍然可以部分跟蹤到目標(biāo),在第486幀時乘性融合完全失效。本文算法在跟蹤過程中可通過對兩種特征對應(yīng)的后驗(yàn)概率分布進(jìn)行融合,使顏色特征“學(xué)習(xí)”邊緣特征的“優(yōu)秀”粒子,可以對目標(biāo)全程穩(wěn)定跟蹤。

表1給出了單一特征跟蹤、不同融合策略跟蹤與本文算法結(jié)果的對比。實(shí)驗(yàn)1結(jié)果表明:由于存在交叉遮擋、背景邊緣等外界因素干擾,單一特征的跟蹤易失效,而本文算法可以通過融合不同特征的后驗(yàn)概率分布,實(shí)現(xiàn)對目標(biāo)的有效跟蹤。試驗(yàn)2結(jié)果表明:加性融合并不能提高系統(tǒng)的鑒別能力,不能很好的處理目標(biāo)被部分遮擋等問題,乘性融合會放大系統(tǒng)的噪聲易受背景中噪聲的影響,會對跟蹤的結(jié)果造成偏差,本文算法通過融合不同特征的后驗(yàn)概率分布,在不提高系統(tǒng)噪聲的前提下,提高了鑒別能力,可以一直對目標(biāo)穩(wěn)定跟蹤。

表2給出了不同算法的跟蹤速度(幀/s),由試驗(yàn)結(jié)果可知本文算法的復(fù)雜度比單一特征跟蹤的復(fù)雜度要高,與加性融合和乘性融合的計算復(fù)雜度基本一致。

圖2 實(shí)驗(yàn)1跟蹤結(jié)果

圖3 實(shí)驗(yàn)2跟蹤結(jié)果

表1 試驗(yàn)結(jié)果對比

表2 5種算法的計算代價對比

5 結(jié)論

本文提出了一種基于粒子濾波后驗(yàn)概率分布的多特征融合跟蹤,該算法通過對不同特征后驗(yàn)概率的粒子進(jìn)行相互“學(xué)習(xí)”融合不同特征對應(yīng)后驗(yàn)概率中的“優(yōu)秀粒子”進(jìn)而提高目標(biāo)跟蹤的準(zhǔn)確性,本文算法對部分遮擋、背景干擾、光照變化等復(fù)雜環(huán)境中目標(biāo)的跟蹤均具有較好的魯棒性。此外,本文跟蹤算法亦可應(yīng)用于其他跟蹤,如計算機(jī)視覺的其他領(lǐng)域,如融合識別、檢測等。

[1] 潘翔,童丸丸,姜哲圣. 用于UAV視覺導(dǎo)航的跑道檢測與跟蹤[J]. 傳感技術(shù)學(xué)報,2010,23(6):820-824.

[2]余振華,周乾偉,謝東峰,等. 車輛磁場跟蹤問題的幾種非線性濾波方案研究[J]. 傳感技術(shù)學(xué)報,2014,27(4):505-511.

[3]Crisan D,Doucet A. A Survey of Convergence Results on Particle Filtering Methods for Practitioners[J]. IEEE Transactions on Signal Processing,2002,50(3):736-746.

[4]Pérez P,Hue C,Vermaak J,et al. Color-Based Particle Filter[C]//Proceedings of the 7th European Conference on Computer Vision. 2002:661-675.

[5]Kim B G,Park D J. Unsupervised Video Object Segmentation and Tracking Based on New Edge Features[J]. Pattern Recognition Letters,2004,25(15):1731-1742.

[6]Bastos R,Dias J M S. Fully Automated Texture Tracking Based on Natural Features Extraction and Template Matching[C]//Proceedings of the ACM SIGCHI International Conference on Advances in Computer Entertainment Technology. New York,USA:ACM,2005:180-183.

[7]杜金輝,管業(yè)鵬,時勇杰,等. 基于快速SIFT匹配的行人信息檢測[J]. 電子器件,2012,35(5):601-605.

[8]Yilmaz A,Javed O,Shah M. Object Tracking:A Survey[J]. ACM Computing Surveys,2006,38(4):13-58.

[9]Li P H,Chaumette F. Image Cues Fusion for Object Tracking Based on Particle Filter[C]//Proceedings of the 3rd International Workshop on Articulated Motion and Deformable Objects. Palma de Mallorca,Spain:Springer,2004:99-107.

[10]王歡,王江濤,任明武,等. 一種魯棒的多特征融合目標(biāo)跟蹤新算法[J]. 中國圖象圖形學(xué)報,2009,14(3):489-498.

[11]Perez P,Vermaak J,Blake A. Data Fusion for Visual Tracking with Particles[C]//Proceedings of the IEEE. 2004,92(3):495-513.

[12]Wang X,Tang Z M. Modied Particle Filter-Based Infrared Pedestrian Tracking[J]. Infrared Physics and Technology,2010,53(4):280-287.

[13]李紅春,趙曉光,譚民. 無線傳感器網(wǎng)絡(luò)中基于粒子濾波的人員跟蹤方法[J]. 傳感技術(shù)學(xué)報,2012,25(6):807-814.

[14]劉晴,唐林波,趙保軍,等. 基于自適應(yīng)多特征融合的均值遷移紅外目標(biāo)跟蹤[J]. 電子與信息學(xué)報,2012,34(5):1137-1141.

[15]鄭玉鳳,馬秀榮,趙曉琳,等. 基于顏色和邊緣特征的均值遷移目標(biāo)跟蹤算法[J]. 光電子·激光,2011,22(8):1231-1235.

顧鑫(1986-),男,河南南陽人,碩士學(xué)位,工程師,2011年畢業(yè)于南京航空航天大學(xué),主要研究方向?yàn)樽詣幽繕?biāo)檢測、目標(biāo)跟蹤,nync396@126.com;

李喆(1986-),男,山東菏澤人,碩士學(xué)位,工程師,2011年畢業(yè)于東南大學(xué),主要研究方向?yàn)闊o線通信、傳感器信號處理、傳感器應(yīng)用等,zheli@163.com。

FusingMultipleFeaturesforObjectTrackingBasedonthePosteriorProbabilitiesofParticleFilter*

GUXin*,LIZhe,WANGHua,ZHANGYao,ZHANGFeng,CENXiaofeng

(China Academy of Launch Vehicle Technology Research and Development Center,Beijing 100076,China)

The object tracking only using single feature is apt to make errors or lose the target if the illumination and size scale-change. This paper presents a novel adaptive tracking algorithm that fuses multiple features based on posterior probabilities of the particle filter. In this paper uses histogram to characterize color and edge in particle filter algorithms framework. The posterior probabilities of all features are different from each other,which further promotes the fault tolerance ability by cooperation and learning from each other. An extensive number of comparative experiments show that the proposed tracking algorithm is more stable and robust than the single feature and other feature fusion tracking algorithms especially in the case of the illumination and background-change.

object tracking;particle filter;multiple features fusion;the posterior probabilities

項目來源:國家自然科學(xué)基金項目(61305049,61370039)

2014-09-03修改日期:2014-11-04

TP391

:A

:1004-1699(2014)12-1676-05

10.3969/j.issn.1004-1699.2014.12.017