韓 萍，徐建龍，吳仁彪

（中國民航大學智能信號與圖像處理天津市重點實驗室，天津 300300）

一種新的目標跟蹤特征融合方法

韓 萍，徐建龍，吳仁彪

（中國民航大學智能信號與圖像處理天津市重點實驗室，天津 300300）

在粒子濾波目標跟蹤框架下，給出一種基于顏色直方圖和邊緣直方圖的新特征融合算法，該算法是一種通過顏色和邊緣直方圖的特征波和熵實現特征之間粒子數重分配的方法。通過實驗比較本文算法與單特征跟蹤算法的跟蹤誤差，結果表明本文方法較傳統(tǒng)依靠單一特征進行目標跟蹤的粒子濾波方法，在運算時間增幅不明顯的情況下，實現了更為準確的目標跟蹤，并可穩(wěn)定的應用于運動背景下的動目標跟蹤、背景光照變化下的多目標跟蹤以及多目標發(fā)生相互遮擋等情況。

目標跟蹤；粒子濾波；特征融合；顏色直方圖；邊緣直方圖

目標跟蹤作為智能視頻監(jiān)控的重要步驟之一，已成為計算機視覺領域中的一個研究熱點方向，其在公共安全、工業(yè)生產、國防建設、醫(yī)療衛(wèi)生等領域都有著廣泛的應用前景。在目標跟蹤中，隨機性方法占有重要地位，這類方法把跟蹤問題當作估計問題來處理，以卡爾曼濾波為代表。卡爾曼濾波在線性高斯系統(tǒng)中是最優(yōu)估計，但實際中的系統(tǒng)往往是非線性的，使得卡爾曼濾波的應用范圍受到限制。目前，解決非線性濾波的方法如擴展卡爾曼濾波[1]，無跡卡爾曼濾波[2]以及粒子濾波[3-5]等，其中粒子濾波方法在克服系統(tǒng)非高斯噪聲方面表現出良好的性能。

粒子濾波是一種通過非參數化的蒙特卡羅模擬來實現遞推貝葉斯濾波的方法，其基本思想是：依據系統(tǒng)狀態(tài)向量的先驗分布，在狀態(tài)空間產生一組隨機樣本，這些樣本稱為粒子，進行隨機傳播，并根據系統(tǒng)觀測結果不斷地調整粒子的權重，通過粒子的狀態(tài)和權重估計目標當前時刻的狀態(tài)。在粒子濾波目標跟蹤中，由于場景復雜多變，某些虛假目標往往具有與真實目標相同或相似的特征，為了獲得準確的狀態(tài)估計，采用多特征融合的方法對目標進行觀測成為一種重要途徑。已有學者在此方向展開了相應的研究工作，例如：在粒子濾波框架中將顏色特征分別與輪廓特征[6]、紋理特征[7]、運動特征[8]、梯度特征[9]相融合，將顏色、紋理、邊緣特征[10]相融合，將角點、邊緣、紋理和區(qū)域灰度特征[11]相融合等，其共同特點是提高了特征提取的準確性，增強了目標跟蹤的穩(wěn)定性，但以上的多特征融合方法均以運算時間的大幅增加為代價，實時性差。

本文提出一種在粒子濾波框架下基于顏色直方圖和邊緣直方圖特征提取以及融合的目標跟蹤方法，其基本思想是提取具有互補性的特征進行目標建模，在粒子濾波跟蹤過程中，根據特征直方圖的特征波和熵來判斷各個特征的可度，從而動態(tài)調節(jié)分配給各特征的粒子數，以降低運算量，實現在動態(tài)背景、目標和背景顏色相似、遮擋和光照變化等情況下對多個目標穩(wěn)定、準確、快速的跟蹤。

1 粒子濾波基本原理

粒子濾波算法是一種基于蒙特卡羅和貝葉斯估計理論的最優(yōu)算法，用來預測系統(tǒng)狀態(tài)在每一時刻的后驗概率密度。粒子濾波主要有預測和更新兩個階段。設在t時刻，系統(tǒng)狀態(tài)用xt表示，系統(tǒng)觀測值用zt表示。粒子濾波的目的就是利用到t時刻為止一系列已知系統(tǒng)觀測值z1∶t來估算當前時刻的系統(tǒng)狀態(tài)xt的后驗概率密度p（xt|z1∶t）。在預測階段，可得到t時刻的先驗概率密度為

其中，p（xt|xt-1）為狀態(tài)轉移模型；p（xt-1|z1∶t-1）為 t-1 時刻的后驗概率密度。

在更新階段，獲得t時刻觀測概率p（zt|xt）后，通過貝葉斯公式得到t時刻的后驗概率密度為

由此，不斷地遞歸迭代就能得到各個時刻目標狀態(tài)的后驗概率密度。

實際應用中，通常使用一組帶有相應權值的粒子來逼近后驗概率密度，其過程是：通過從t-1時刻后驗概率密度p（xt-1|zt-1）中采樣得到一組粒子集合{，}為某粒子狀態(tài)為其對應的權重，預測階段中，利用概率轉移模型p（xt|xt-1）和t時刻獲得的量測zt，更新每個粒子的權重

其中，p（zt|）為觀測概率。

歸一化權重，得到t時刻的后驗概率密度

進而得到t時刻目標的狀態(tài)估計值。

2 特征提取及融合

2.1 顏色直方圖特征提取

設m為顏色量化階數，則第i個顏色粒子所對應區(qū)域的加權直方圖可以定義為[13]

則第i個顏色粒子的權重更新為

2.2 邊緣直方圖特征提取

目標圖像灰度化后，用Sobel算子進行邊緣檢測[14]的結果為

其中Gx（x，y）、Gy（x，y）分別是水平和垂直Sobel算子檢測結果，將▽f（x，y）的灰度值歸一化并量化為m階。依式（6）建立第j個邊緣粒子對應區(qū)域的加權直方圖fu，（jτ），則t時刻第j個邊緣粒子所對應邊緣特征觀測概率 p（z|）由式（7）得到,其更新后的權重由

t式（8）得到。

2.3 特征融合

目標顏色直方圖作為目標跟蹤特征具有對目標變形、旋轉、尺度變化及部分遮擋不敏感，計算簡便、處理速度快等優(yōu)點，但當背景具有和目標相似的顏色特征或者光照突變時，背景顏色信息會干擾目標跟蹤，而邊緣直方圖在此時作為跟蹤特征會有較好的效果。因此，本文依據顏色直方圖和邊緣直方圖具有互補性特點，將兩者通過特征融合以分配下一時刻各特征相應的粒子數，進而實現有效的目標跟蹤。

首先，用特征直方圖建立相應特征波，并提取各特征波對應的峰值特征貢獻度。

定義特征波混合積為

其中σ為常數。

其次，單從特征波峰值特征描述特征直方圖不夠充分，需從另一角度描述特征直方圖所提供的信息。特征直方圖的熵能夠按正比例區(qū)分不同特征直方圖之間信息的豐富程度。為描述經狀態(tài)估計后的目標顏色直方圖提供信息的豐富程度，現將t時刻目標顏色直方圖的熵定義為

用顏色特征直方圖所對應特征波峰值特征貢獻度和特征直方圖的熵來描述顏色特征的可信度，即聯合式（12）、式（13）得到

則邊緣特征的可信度為 Rt，edge。

本算法通過比較當前幀各特征的可信度，相應動態(tài)調節(jié)下一時刻粒子數的分配，從而在粒子數一定的情況下提高目標跟蹤的穩(wěn)定性和準確性。設粒子總數N是一定的，各特征所擁有的粒子數與該特征可信度成正比，可信度高的特征獲得較多的粒子數，因此，顏色特征所獲得的粒子數為

同理可得邊緣特征所獲得粒子數為Nt+1，edge。

t時刻的目標狀態(tài)估計為

3 算法實現

本文算法的基本原理框圖如圖1所示。

圖1 本文算法基本原理框圖Fig.1 Basic principle diagram

視頻幀輸入后，通過幀差法和最近鄰域法判斷是否有舊目標消失，如果有就刪除消失目標相關資料，否則檢測是否有新目標出現。當新目標出現時需要給新增目標分配狀態(tài)空間及相應粒子，將每個粒子以隨機方式進行狀態(tài)轉移即粒子傳播，否則直接進行粒子傳播。并以傳播后的粒子狀態(tài)為依據進行特征提取及融合，依照融合結果判斷目標是否被遮擋，當遮擋發(fā)生時保持目標狀態(tài)和模板不變，繼續(xù)讀取下一幀視頻直到遮擋消失，此時根據特征提取及融合的結果估計當前幀目標狀態(tài)并將估計結果輸出，同時進行目標模板的更新，并將狀態(tài)估計結果作為下一幀各特征之間粒子數重新分配的依據，開始新一輪目標跟蹤。具體實現步驟如下：

2）粒子傳播：采用一階ARP（自回歸過程）對t=t+1 時刻每個粒子以xt=xt-1+Bεt方式進行狀態(tài)轉移，其中εt是均值為0的高斯白噪聲，B對應于粒子的傳播半徑，其大小正比于之前若干時刻目標的平均狀態(tài)變化；

3）遮擋檢測：當兩目標距離小于某閾值時且特征提取結果與特征模板匹配度低于某個閾值時，則判斷為目標遮擋，同時停止目標狀態(tài)估計和模板更新，擴大粒子傳播半徑，直到至少有一個閾值被滿足時，進行目標狀態(tài)估計和模板更新；

4）權重更新：根據式（7）提取t時刻，第i個顏色粒子所對應顏色特征觀測概率和第j個邊緣粒子所對應邊緣特征觀測概率，并依式（8）分別更新第i個顏色粒子的權重和第j個邊緣粒子的權重，并將其共同歸一化；

5）目標狀態(tài)估計：運用式（16）估計t時刻的目標狀態(tài)將結果輸出并更新模板；

6）粒子數重分配：根據式（14）計算顏色粒子和邊緣粒子的可信度，并由式（15）重新分配下一幀中各特征的粒子數，式（12）中σ取0.2。檢查粒子權值，若粒子的權值太小，應從權值較大的粒子中衍生出后代粒子。下一時刻的跟蹤仍然從粒子傳播步驟重新開始。

4 實驗結果與分析

為了驗證本文算法的有效性，分別對三組視頻序列進行測試，并在多目標跟蹤情況下，將傳統(tǒng)的基于顏色特征的粒子濾波算法、基于邊緣特征的粒子濾波算法和本文提出的基于特征融合的粒子濾波算法進行比較。測試序列大小均為320×240像素的AVI視頻，試驗中初始跟蹤目標為手動標定，所有算法給每個目標分配粒子數均為100，實驗結果分別示于圖2、圖3和圖4。

本文采用式（17）描述每段視頻中不同算法的跟蹤誤差

其中，oi，x、oi，y分別表示目標真實位置在 x、y 方向上的值，為人工標定；si，x、si，y為跟蹤算法估計位置；D為實驗的重復次數，為20。則每段視頻中不同算法的跟蹤誤差如圖5所示。

視頻1（圖2）是在運動背景下對直升機的跟蹤場景。在第261幀附近各種方法均能實現較為精確的目標跟蹤。在第327幀和第509幀之間，背景快速變動，基于邊緣特征的算法對于直升機的跟蹤產生較大誤差。基于顏色特征的算法和本文提出的算法跟蹤誤差小，在整個跟蹤過程中的平均誤差尤以本文算法最小。在跟蹤過程中不同算法的誤差如圖5（a）所示，可見本文算法在運動背景下、背景和目標顏色相似時能夠更為準確地跟蹤目標。

視頻2（圖3）為光照變化時目標1和目標2的遮擋走動場景。在第200幀附近各種算法對于兩目標跟蹤結果誤差均較小。在第277幀附近兩目標相互遮擋，由于兩遮擋目標輪廓的相似性使得基于邊緣特征的算法跟蹤誤差變大。在第375幀附近電燈被打開，由于顏色特征受光照變化的影響較大，基于顏色特征的算法誤差迅速上升，光照變化雖然對邊緣特征影響不大，但在整個跟蹤中基于邊緣特征算法誤差一直較大。本文算法在整個跟蹤過程中誤差保持較小，可以準確的跟蹤目標。在跟蹤過程中不同算法的誤差如圖5（b）和 5（c）所示。

視頻3（圖4）為目標1與目標2相互遮擋并伴有目標3出現的場景。在第219幀附近各種跟蹤算法誤差均較小，在第268幀附近由于兩行人的相互遮擋，基于顏色特征算法在跟蹤目標1的過程中于遮擋發(fā)生時具有較大的偏差，而由于行人輪廓的相似性在遮擋時基于邊緣特征算法受相鄰目標的干擾較重，因而跟蹤誤差增加。在第356幀附近基于顏色特征和邊緣特征的算法對目標1的跟蹤誤差有所下降。而本文算法跟蹤誤差一直較低。在跟蹤過程中不同算法的誤差如圖 5（d）、圖 5（e）和圖 5（f）所示，并由表 1 可知結合兩種特征信息的本文算法在處理多目標跟蹤中，保證跟蹤算法速度的前提下，有較大的精度提升。

表1 各算法在視頻中的平均運行速度Tab.1 Average speed of each algorithms under videos

本實驗采用Matlab7.3.0編程，運行于 CPU P4，3 GHz，512 M RAM的計算機上。如表1所示，給出了三種算法的平均運行速度?？梢姳疚乃惴ㄏ鄬τ谄渌惴ㄔ谶\行速度變化不大的情況下，跟蹤精度有了很大提高。

5 結語

本文給出了一種基于特征融合的粒子濾波目標跟蹤算法，其利用邊緣特征來提取目標的高頻細節(jié)以彌補顏色特征多義性這一特點，將兩者融合于粒子濾波概率模型框架之內，根據各特征的可信度來動態(tài)調節(jié)特征粒子數目，從而在運算速度變化不大情況下，有效提高了目標跟蹤的穩(wěn)定性和精確性。并且在動態(tài)背景、目標和背景顏色相似、遮擋和光照突變等情況下實現對多個目標的穩(wěn)定、準確跟蹤。

[1] COSTA P.Adaptive model architecture and extended Kalman-Bucy filters[J].IEEETransAerospaceandElectronicSystems，1994，30（2）：525-533.

[2] CHANG CHENG，ANSARI RASHID.Kernel particle filter for visual tracking[J].IEEE Signal Processing Letters，2005，12（3）：242-245.

[3] GORDON N，SALMOND D.Novel approach to non-linear and non-Gaussian Bayesian state estimation[J].Proc of Institute Electric Engineering，1993，140（2）：107-113.

[4] CARPENTER J，CLIFFORD P，FEARNHEAD P.Improved particle filter for nonlinear problems[J].IEE Proc of Radar，Sonar and Navigation，1999，146（1）：2-7.

[5] JULIER S，UHLMANN J，DURRANT WHYTE H F.A new method for nonlinear transformation of means and covariance in filters and estimators[J].IEEE Trans on Automatic Control，2000，45（3）：477-482.

[6] LI AN-PING，JING HONG-LIANG，HU SHI-QIANG.Particle filter based visual tracking with multi-cue adaptive fusion[J].Chinese Optics Letters，2005，3（6）：125-131.

[7] LI YOU，ZHANG HENG，LI LI-CHUN.Multi-measurement fusion for visual tracking by particle filter[J].Journal of National University of Defense Technology，2007，27（5）：26-30.

[8] MA JIA-QING，HAN CHONG-ZHAO.Visual tracking using particle filters based on data fusion[J].Opto-Electronic Engineering，2007，34（4）：22-25.

[9] BIRCHFIELD S.Elliptical Head Tracking Using in Tensity Gradients and Color Histograms[C]//Proceedings of the International Conference OIl Computer Vision and Pattern Recognition，Santa Barbara，CA，USA，1998：232-237.

[10] BRASNETT P，MIHAYHOVA L，BULL D.Sequential monte carlo tracking by fusing multiple cues in video sequences[J].Image Vision Computing，2007，25（8）：1217-1227.

[11] SERBY D，KOLLER-MEIER E，VAN-GOOL L.Probabilistie Object Tracking Using Multiple Features[C]//Proceedings of 17th InternationalConferenceonPatternRecognition，Cambridge，UK，2004：184-l87.

[12] R VAN DER MERWE，DOUCET A，N DE FREITAS，et al.The Unscented Particle Filter，Technical Report CUED/F-INFENG/TR380[R].Cambridge University Engineering Department，August，2000.

[13] COMANICIU D，RAMESH V，MEERP.Kernel-based object tracking[J].IEEE Trans on Patten Analysis and Machine intelligence，2003，25（5）：564-575.

[14] 岡薩雷斯.數字圖像處理[M].2版，北京：電子工業(yè)出版社，2007：463-474.

New Features Fusion Method for Target Tracking

HAN Ping，XU Jian-long，WU Ren-biao
（Tianjin Key Lab for Advanced Signal Processing，CAUC，Tianjin 300300，China）

A new algorithm based on multi-features fusion is proposed，in which the color histogram and the edge histogram are combined.A method of target tracking via the redistribution of particle number is implemented by feature wave，entropy of the color histogram and the edge histogram under the framework of particle filter.Comparing the tracking errors of the proposed algorithm with single feature algorithm through experiments，the results show that targets can be tracked more accurately with our proposed algorithm than the traditional particle filtering method which is based on one feature.The proposed algorithm has a better performance when the target moves in a moving background，and is also more robust for multi-targets under the occlusion condition and illumination changing.

target tracking；particle filtering；features fusion；color histogram；edge histogram

TP391.4

A

1674－5590（2010）04－0021－06

2009-12-02；

2010-03-09 基金項目：天津市重點科技攻關項目（07ZCKFGX03700）

韓 萍（1966—），女，天津人，教授，博士，研究方向為數字信號處理、模式識別.

（責任編輯：李 侃）