姜華，范勇

1.綿陽市圖書館，四川綿陽 621000

2.西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院，四川綿陽 621000

多線索融合和區(qū)域劃分的粒子濾波跟蹤算法

姜華1，范勇2

1.綿陽市圖書館，四川綿陽 621000

2.西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院，四川綿陽 621000

1 引言

視頻序列的目標(biāo)跟蹤是計算機視覺中經(jīng)典的核心技術(shù)之一，要在目標(biāo)快速移動、遮擋、變形、光照變化、背景噪聲以及有實時性要求等條件下實現(xiàn)穩(wěn)健的目標(biāo)跟蹤是研究人員關(guān)注的焦點，也是目前實際應(yīng)用中一個急待解決的難題。

近年來，基于粒子濾波的跟蹤算法成了視覺跟著領(lǐng)域的研究重點之一，為復(fù)雜背景和遮擋條件下的目標(biāo)跟蹤問題提供了一個可行的解決框架，使得目標(biāo)跟蹤更為可靠[1]。目標(biāo)跟蹤的關(guān)鍵是提取目標(biāo)模板進行匹配和估計，目前使用較多的特征有顏色、紋理、邊緣線索等，已有很多關(guān)于目標(biāo)模板構(gòu)建方法的研究。文獻(xiàn)[2]提出用顏色和紋理信息描述目標(biāo)特征，顏色線索具有對旋轉(zhuǎn)和尺度不變性以及對目標(biāo)姿態(tài)變化不敏感性；紋理描述了圖像所對應(yīng)景物的表面性質(zhì)。但是僅僅采用顏色和紋理信息，當(dāng)目標(biāo)和背景顏色相似，或者光線變化時，往往導(dǎo)致跟蹤失敗。文獻(xiàn)[3]提出用邊緣線索描述目標(biāo)的高頻細(xì)節(jié)，反應(yīng)圖像的形狀信息，但是檢測的精度和抗噪聲性能不是很好。為了更好地描述目標(biāo)，融合目標(biāo)的多種信息是非常必要的，其中，線索融合關(guān)系到能否自適應(yīng)多種觀測信息的變化。文獻(xiàn)[4]采用簡單的乘性融合策略，不能自適應(yīng)融合多線索。

針對單線索和簡單乘性融合算法的問題，本文在粒子濾波框架[1]基礎(chǔ)上，采用自適應(yīng)融合多線索、多區(qū)域的粒子濾波跟蹤算法。在粒子濾波更新階段，對特征模型進行改進，選取多特征（顏色、邊緣、紋理）于粒子樣本模型，自適應(yīng)融合多個線索權(quán)重，實時更新樣本模型。該方法有效地彌補了文獻(xiàn)[2]選取目標(biāo)模板的有限性，比文獻(xiàn)[4]采用簡單的乘性融合策略更能自適應(yīng)目標(biāo)模板的變化。粒子濾波初始化階段，多區(qū)域劃分方法初始化粒子，比傳統(tǒng)的粒子濾波方法更能適應(yīng)遮擋情況，同時降低了粒子濾波目標(biāo)模型的計算量，提高了粒子濾波跟蹤的魯棒性和實時性。實驗結(jié)果表明，在復(fù)雜的背景下，本文算法更能實時、可靠地跟蹤與定位目標(biāo)中心位置。

2 粒子濾波基本原理

粒子濾波核心思想是用一組加權(quán)隨機樣本（粒子）來近似表征后驗概率密度函數(shù)，在測量的基礎(chǔ)上，通過調(diào)節(jié)權(quán)值的大小和樣本的位置獲得服從實際分布的樣本，并以樣本均值作為系統(tǒng)狀態(tài)的估計值。

粒子濾波是由序列觀測值zt估計動態(tài)系統(tǒng)xt的狀態(tài)[1]的。用{}表示帶有權(quán)重的粒子，表示t時刻系統(tǒng)的可能狀態(tài)，重要性權(quán)重，p(表示后驗概率密度。

粒子濾波算法如下：

（1）初始化初始N個粒子，i=1，2，…，N，賦予相等的權(quán)重，

權(quán)重的和為1。（2）預(yù)測

（3）更新

（4）估計

（5）重采樣

閾值小則重采樣，丟棄權(quán)重小的粒子，復(fù)制權(quán)重大的粒子，從而避免粒子退化問題。

3 基于多線索融合粒子濾波

粒子濾波在測量的基礎(chǔ)上，通過調(diào)節(jié)權(quán)值的大小和樣本的位置獲得服從實際分布的樣本，因此目標(biāo)似然函數(shù)的估計至關(guān)重要。對目標(biāo)進行多特征描述時，首先選取獨立的線索分別構(gòu)建似然函數(shù)，在此基礎(chǔ)上，引入加權(quán)直方圖，對離目標(biāo)相近的像素賦予更大的權(quán)重，然后采用自適應(yīng)乘性融合策略構(gòu)建多線索的粒子似然函數(shù)，最后根據(jù)新的觀測值與粒子模型的距離以及相似性決定是否更新似然函數(shù)。多線索融合流程圖如圖1所示。

圖1 多線索融合流程圖

3.1 多線索選取

粒子濾波視頻跟蹤中如何選擇合適的特征十分重要。不同的特征有不同的優(yōu)點，其中顏色特征對非剛性、旋轉(zhuǎn)和部分遮擋具有魯棒性；紋理描述了圖像所對應(yīng)景物的表面性質(zhì)；邊緣方向直方圖檢測對于亮度變化不敏感。因此，目標(biāo)顏色、紋理、邊緣特征同時應(yīng)用于本文研究中，用來確定樣本的觀測模型。

3.1.1 顏色線索

顏色線索對于目標(biāo)旋轉(zhuǎn)、遮擋以及形變等情況具有較強的適應(yīng)性，因而被廣泛使用。本文選擇顏色直方圖表示目標(biāo)的顏色分布，采用基于HSV空間顏色直方圖，比其他顏色空間更能抑制光線變化。顏色直方圖塊為Bc=h×s+ν（h、s、ν分別表示色調(diào)和飽和度、亮度）。顏色分布直方圖如下[2]：

3.1.2 紋理線索

紋理是圖像的重要信息和特征，它描述了圖像景物的表面結(jié)構(gòu)屬性，是物體特性分析的良好工具。

局部二值模式[2]（1ocal Binary Pattern），LBP算子對圖像局部紋理特征有卓越的描述能力，有很強的分類能力和較高的計算效率。本文引入LBP非參數(shù)紋理算子來分析圖像紋理特征。為了刻畫像素點在鄰域內(nèi)的灰度變化，LBP(i，j)表示圖像在像素點I(i，j)處的紋理值：

其中，IP表示I(i，j)鄰域內(nèi)各像素點的灰度值。二值矩陣s(IP-I(i，j))作為一個二值紋理模式（紋理基元）來刻畫鄰域內(nèi)像素點的灰度相對于中心點的變化情況，表示如下：

統(tǒng)計圖像各像素點的紋理值LBP(i，j)的頻數(shù)，得到圖像的256級紋理直方圖。表示如下：

3.1.3 邊緣線索

為了濾除噪聲，只有邊緣強度大于閾值才用到邊緣方向。

3.2 多線索的自適應(yīng)融合策略

3.2.1 空間信息加權(quán)直方圖

以上線索直方圖都不包含圖像的空間信息，因此，引入包含圖像空間信息的加權(quán)直方圖構(gòu)建線索的似然函數(shù)，賦予圖像中心位置像素更大的權(quán)重，該直方圖由一個凸的單調(diào)遞減的橢圓高斯核函數(shù)實現(xiàn)[5]：

其中σ是高斯噪聲的標(biāo)準(zhǔn)方差。

3.2.2 似然函數(shù)融合策略

不同研究者對多線索關(guān)系的處理是不一樣的，文獻(xiàn)[4]采用簡單的乘性融合策略，用特征的觀察概率的乘積作為目標(biāo)狀態(tài)的觀測似然概率，乘性融合使概率密度分布變得更加尖銳，它抑制了分布的多峰性，放大了噪聲。當(dāng)兩個相似目標(biāo)相互靠近甚至出現(xiàn)相互遮擋情況時，或背景出現(xiàn)強干擾時，乘性融合對目標(biāo)位置的估計會發(fā)生很大的偏差，甚至跟蹤錯目標(biāo)。

針對乘性融合中所出現(xiàn)的問題，本文采用以帶權(quán)重的乘積形式實現(xiàn)線索的自適應(yīng)融合。在假設(shè)多種線索是條件獨立的情況下，對每種線索的觀測概率值賦予自適應(yīng)權(quán)重系數(shù)εl，利用特征的觀測值與模型的距離計算自適應(yīng)權(quán)重。因此，粒子濾波的似然函數(shù)定義為：

因此，本文的融合策略對噪聲放大較小，沒有抑制分布的多峰性，能更好地處理相似目標(biāo)靠近甚至相互遮擋的情況，提高了后驗概率密度的置信度，使跟蹤結(jié)果更加可靠。

3.3 線索模型更新策略

建立粒子模型過程中，模型更新是一個關(guān)鍵問題。光線的變化，攝像頭的抖動都會影響跟蹤區(qū)域的顏色、紋理、邊緣分布，需要實時更新線索來獲得更加魯棒的跟蹤結(jié)果。各個線索的觀測值分別更新模型pl。

參數(shù)α∈[0，1]表示觀測值在更新模型過程中所占的比例。文獻(xiàn)[6]的模型更新是設(shè)定固定參數(shù)α，為避免背景或者遮擋物更新模型，本文采用只更新與觀測值p^l距離小于閾值θ的模型（實驗中θ=0.15），定義α=1-ρ(pl，p^l)，根據(jù)模型與觀測值p^l的距離以及相似性自動更新各個線索模型。

4 區(qū)域劃分的遮擋增強處理

多線索動態(tài)融合粒子濾波算法比傳統(tǒng)的粒子濾波算法更加魯棒，但是依然不能解決長時間的目標(biāo)遮擋[7]。傳統(tǒng)的粒子濾波模型是將整個目標(biāo)區(qū)域作為粒子的狀態(tài)，在目標(biāo)被完全遮擋的情況，會導(dǎo)致粒子跟蹤失敗。如圖2（b）所示，由于目標(biāo)被遮擋，跟蹤結(jié)果（綠色窗口）向上漂移了，而目標(biāo)本身（紅色窗口）并沒有向上移動。跟蹤結(jié)果的移動是由于粒子濾波跟蹤能最大化沒被遮擋的目標(biāo)和被遮擋的候選模型的相似性（巴氏距離），弊端在于整個目標(biāo)區(qū)域表示樣本。

為了改進粒子濾波跟蹤的效果，本文采用多區(qū)域的方法，在初始粒子樣本時，在目標(biāo)位置隨機的選擇固定大小區(qū)域，分別表示粒子的初始狀態(tài)，如圖2（c）中黃色方塊所示，N個粒子模型的狀態(tài)隨機的定位在目標(biāo)區(qū)域。圖2（c）選擇局部區(qū)域（黃色方塊）作為粒子，明顯優(yōu)于圖2（b）中選擇整個目標(biāo)作為粒子的跟蹤結(jié)果。粒子濾波的多模態(tài)處理能力，加上局部多區(qū)域劃分有效地避免了遮擋問題，提高了跟蹤的可靠性；同時，選擇局部區(qū)域描述目標(biāo)狀態(tài)，減少了計算量。

圖2 局部目標(biāo)與整個運動目標(biāo)作為粒子目標(biāo)模型的跟蹤結(jié)果比較

5 實驗結(jié)果

依照本文算法對320×240（25幀/s）的視頻圖像幀進行跟蹤，實驗使用普通PC機（奔騰3 GHz的CPU），初始100個粒子樣本，執(zhí)行速度能達(dá)到15幀/s，實現(xiàn)了實時的應(yīng)用。為了驗證算法的有效性，對多段測試序列進行了跟蹤實驗，并將結(jié)果與其他算法作比較。

5.1 單線索與多線索融合的比較

為驗證本文提出的自適應(yīng)融合多線索跟蹤算法的魯棒性，首先對單線索與本文自適應(yīng)融合多線索算法進行比較。圖3比較了不同線索算法跟蹤目標(biāo)中心位置的誤差。由圖可以看出，單線索會受目標(biāo)變化、目標(biāo)遮擋、光照變化、背景噪聲的影響，導(dǎo)致誤差變化較大。而自適應(yīng)融合多線索算法的誤差值一直很穩(wěn)定，不會受第48幀邊緣線索誤差值突然變小的影響，也不會受第59幀顏色線索誤差值突然變大的影響，始終保持在平穩(wěn)狀態(tài)。

圖3 單線索、簡單乘性融合多線索和本文自適應(yīng)融合多線索算法誤差

圖4分別采用顏色、紋理、邊緣以及融合多線索算法跟蹤汽車。第1行顏色線索跟蹤，第2301幀，黑車和背景較接近，黑車跟蹤的不完整。第2行紋理跟蹤，第2301幀的黑車形狀發(fā)生變化，導(dǎo)致跟蹤結(jié)果不完整，而白車的跟蹤已經(jīng)完全失效。第3行的邊緣跟蹤能提供較準(zhǔn)確的跟蹤信息。第4行是本文的融合策略，多線索具有很好的互補性，不會受某一線索的影響而導(dǎo)致跟蹤的失敗，即使顏色特征隨光照變化產(chǎn)生退化現(xiàn)象，邊緣特征仍能發(fā)揮作用，從而實現(xiàn)魯棒的跟蹤。

圖4 單線索與多線索融合算法的比較

5.2 簡單乘性融合與自適應(yīng)融合的比較

圖3給出了簡單乘性融合和本文的自適應(yīng)融合算法跟蹤目標(biāo)中心位置的誤差，實驗顯示本文的自適應(yīng)融合方法誤差值更小，自適應(yīng)能力和穩(wěn)定性更強。

圖5是本文算法與文獻(xiàn)[4]采用簡單乘性融合算法分別跟蹤視頻中的白車。第1行是簡單乘性融合算法，第1102幀白車車頭離開場景，第1779幀又進入場景，尺寸發(fā)生較大變化，導(dǎo)致目標(biāo)的中心位置發(fā)生偏離。圖6也是采用以上兩種算法分別跟蹤視頻中的人、車。第595、608幀的人、車相互遮擋后再分開，第1行的乘性融合算法，目標(biāo)被遮擋后難以恢復(fù)跟蹤，第2行是用本文算法能夠準(zhǔn)確分離遮擋后的目標(biāo)。

圖5 簡單乘性融合算法和本文自適應(yīng)融合算法比較一

圖6 簡單乘性融合算法和本文自適應(yīng)融合算法比較二

實驗證明，運動目標(biāo)的特征選取直接影響跟蹤效果的好壞，而且有效地融合目標(biāo)的多種信息是非常必要的。

5.3 遮擋處理

魯棒的粒子濾波跟蹤要能處理長時間的遮擋問題。圖7對比分析了傳統(tǒng)粒子濾波和本文多區(qū)域劃分遮擋處理。第1行是傳統(tǒng)粒子濾波的跟蹤結(jié)果，第576幀的人被汽車長時間遮擋，同時汽車和人靠近，干擾了車的跟蹤，導(dǎo)致人、車跟蹤結(jié)果發(fā)生偏差，第594幀的人、車跟蹤都丟失了。第2行是本文的跟蹤算法，第594幀人被車長時間遮擋后能夠成功的恢復(fù)，保證遮擋時可靠的跟蹤。這證明了第4章中描述的在目標(biāo)范圍內(nèi)選擇多個局部區(qū)域表示粒子，能夠解決長時間的遮擋問題。

圖7 本文算法與傳統(tǒng)粒子濾波跟蹤的比較結(jié)果

采用局部區(qū)域作為粒子樣本模型，比起傳統(tǒng)的用整個目標(biāo)區(qū)域作為樣本模型，計算量更小，每秒能處理15幀，因此能夠滿足實時的要求。實驗中，樣本的局部區(qū)域大小為c·min（目標(biāo)長，目標(biāo)寬），c的值為0.3～0.5。

6 總結(jié)

本文提出多線索融合和目標(biāo)區(qū)域劃分的粒子濾波跟蹤算法。首先，多線索包含顏色、邊緣、紋理，作為粒子濾波的似然函數(shù)；其次，線索模型的自適應(yīng)融合和實時更新使得跟蹤過程更具有靈活性；最后，利用合理的多區(qū)域劃分解決了遮擋問題。實驗結(jié)果證明，多線索動態(tài)融合的算法使得粒子濾波更能精確、魯棒地跟蹤運動目標(biāo)。今后的研究方向是數(shù)據(jù)融合策略研究，以及算法的穩(wěn)定性分析。

[1]Arulampalam M，Maskell S，Gordon N，et al.A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J]. IEEE Trans on Signal Process，2002，50（2）：174-188.

[2]Ying Hongwei，Qiu Xuena.Particle filtering object tracking based on texture and color[C]//Proceedings of IEEE Confence on Intelligence Information Processing and Trusted Computing，2010：626-630.

[3]Morwald T，Zillich M，Vincze M.Edge tracking of textured objects with a recursive particle filter[C]//Proceedings of Graphicom 2009，Moscow，Russia，2009.

[4]馮桂蘭，田維堅，黃昌清.基于序貫蒙特卡羅的多線索目標(biāo)跟蹤算法[J].光電工程，2010，37（8）：5-11.

[5]Nummiaro K，Koller-Meier E，Gool L V.An adaptive colorbased particle filter[J].Image and Vision Computing，2003，21（1）：99-110.

[6]Giebel J，Gavrila D，Schnorr.A Bayesian framework for multicue 3D object tracking[C]//Proc of Europ Conf on Computer Vision，2004.

[7]Duan Z，Cai Z.Adaptive evolutionary particle filter based object tracking with occlusion handling[C]//Proceedings of the ICNC 2009，2009：358-361.

JIANG Hua1,FAN Yong2

1.Mianyang Library,Mianyang,Sichuan 621000,China
2.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang,Sichuan 621000,China

This paper presents visual cues fusion and tracking local object properties for object tracking in video sequences using particle filtering.The visual cues,color,edge and texture,form the likelihood of the developed particle filter,a method for self-adaptively weighted product fusion strategy is proposed,and the cues real-time is updated.By using local object properties instead of the global ones,the performance of the tracker is greatly improved when the object undergoes partial occlusion.The results show that the proposal is more robust than simple cue fusing or conventional particle filter,and fast enough for real-time applications.

particle filter;multiple cues;fusion strategy;occlusion

提出一種多線索動態(tài)融合和目標(biāo)區(qū)域劃分的粒子濾波視覺跟蹤算法。在粒子濾波框架基礎(chǔ)上，選取顏色、紋理、邊緣線索于目標(biāo)模型中，采用帶權(quán)重的乘性融合策略自適應(yīng)計算粒子權(quán)重，并實時更新目標(biāo)模型。為增強在遮擋時的跟蹤能力，采用局部目標(biāo)而非整個運動目標(biāo)作為粒子目標(biāo)模型。實驗結(jié)果表明，改進后的算法比簡單的線索融合、傳統(tǒng)的粒子濾波模型選取方法更能魯棒并實時地跟蹤目標(biāo)。

粒子濾波；多線索；融合策略；遮擋

A

TP391.4

10.3778/j.issn.1002-8331.1112-0551

JIANG Hua,FAN Yong.Particle filter tracking by fusing multiple cues and tracking local object properties.Computer Engineering and Applications,2013,49（19）：186-190.

姜華（1982—），女，碩士，主要研究領(lǐng)域為運動目標(biāo)跟蹤、檢測，智能視覺監(jiān)控；范勇（1972—），男，博士。E-mail：migrhua@qq.com

2012-01-07

2012-03-01

1002-8331（2013）19-0186-05

CNKI出版日期：2012-05-21http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1138.013.html