石祥濱，喬利英，劉 芳，吳杰宏

(沈陽(yáng)航空航天大學(xué) a.計(jì)算機(jī)學(xué)院;b.工程訓(xùn)練中心，沈陽(yáng) 110136)

在動(dòng)態(tài)環(huán)境下進(jìn)行目標(biāo)跟蹤是當(dāng)今機(jī)器視覺(jué)中的一個(gè)研究熱點(diǎn)和難點(diǎn)，并被廣泛應(yīng)用于軍用和民用領(lǐng)域。目前，國(guó)內(nèi)外學(xué)者提出了許多不同的跟蹤算法［1－3］，但是這些算法大都是面向特定應(yīng)用環(huán)境的。為了提高跟蹤的魯棒性，許多人研究認(rèn)為利用多個(gè)特征進(jìn)行目標(biāo)跟蹤是解決這一問(wèn)題的有效途徑。但是，多特征跟蹤存在的兩個(gè)問(wèn)題即如何合理選擇目標(biāo)特征以及如何構(gòu)造有效的融合機(jī)制。文獻(xiàn)［4］使用串行結(jié)構(gòu)處理多個(gè)視覺(jué)線索，最大的特點(diǎn)就是跟蹤系統(tǒng)對(duì)環(huán)境和場(chǎng)景變化的自組織和自適應(yīng)力強(qiáng)。Collins等［5］將一種在線多特征自適應(yīng)選擇機(jī)制嵌入在均值漂移跟蹤方法中，但該方法本質(zhì)上還是只利用了目標(biāo)的顏色特征，當(dāng)目標(biāo)和背景相似時(shí)其跟蹤效果較差。對(duì)此，文獻(xiàn)［6］提出的算法從顏色和形狀－紋理等7個(gè)特征分量中選擇前兩個(gè)較可靠的特征集合來(lái)描述目標(biāo)，并且跟蹤過(guò)程中對(duì)模板進(jìn)行了更新。但該方法在模板跟蹤過(guò)程中是對(duì)一定間隔的幀數(shù)進(jìn)行模板更新，無(wú)法適應(yīng)跟蹤過(guò)程中的環(huán)境突變，所以不具有完全的自適應(yīng)性。王歡等［7］在Auxiliary粒子濾波框架內(nèi)將所有特征觀測(cè)進(jìn)行概率融合，并使用融合權(quán)系數(shù)計(jì)算法進(jìn)行擇優(yōu)過(guò)濾，跟蹤結(jié)果更可靠，但是該方法復(fù)雜度高，跟蹤實(shí)時(shí)性難以保證。

Mean Shift算法［8］是一種基于非參數(shù)概率密度估計(jì)的核跟蹤方法。該方法實(shí)時(shí)性好、易于實(shí)現(xiàn)，且對(duì)邊緣遮擋、目標(biāo)旋轉(zhuǎn)以及輕微的變形都不敏感，因而在人體目標(biāo)跟蹤中得到了廣泛應(yīng)用。但是，該算法魯棒性不高，原因是單一信息缺乏對(duì)光照變化及相似背景等的足夠強(qiáng)的區(qū)分性，而且缺乏有效的模板更新機(jī)制。

針對(duì)上面算法存在的缺陷，同時(shí)考慮Mean Shift方法的不足之處，本文提出了一種基于顏色和邊緣特征相融合的方法，并且對(duì)跟蹤過(guò)程中目標(biāo)的模板變化進(jìn)行及時(shí)更新。該方法首先在初始幀通過(guò)構(gòu)造目標(biāo)兩個(gè)特征的核密度模型來(lái)描述目標(biāo);然后在待檢測(cè)幀中使用相似度函數(shù)的加權(quán)融合來(lái)度量每個(gè)特征與模板的相似性;通過(guò)尋找候選目標(biāo)與模板的總體最大相似度來(lái)完成對(duì)目標(biāo)的定位;最后通過(guò)對(duì)目標(biāo)特征權(quán)值和模板的更新來(lái)避免跟蹤中模板漂移現(xiàn)象的發(fā)生。提出的方法在精確性和魯棒性方面對(duì)單一特征的Mean Shift跟蹤算法進(jìn)行了改進(jìn)，實(shí)驗(yàn)結(jié)果證明了本文提出的算法的有效性。

1 目標(biāo)特征提取

1.1 顏色特征描述

傳統(tǒng)Mean Shift方法通常采用RGB顏色空間，但是這種彩色空間具有分量間高度相關(guān)性且與人的視覺(jué)感知不一致的缺點(diǎn)。為了獲得對(duì)光照變化的魯棒性，減弱通道間的耦合關(guān)系，本文將輸入的彩色圖像從RGB顏色空間轉(zhuǎn)變到HSV空間。其中H(Hue)表示色調(diào)，S(Saturation)表示飽和度，V(Value)表示顏色的亮度。HSV顏色空間的兩個(gè)重要特點(diǎn)是:首先亮度分量與色調(diào)分量是分開(kāi)的，V分量與圖像的彩色信息無(wú)關(guān)。其次，H與S分量與人感受色彩的方式緊密相連。這些特點(diǎn)使得HSV顏色空間非常適合人的的視覺(jué)系統(tǒng)對(duì)彩色感知特性進(jìn)行處理分析。計(jì)算公式［9］如下:

其中(R，G，B)分別代表紅、綠、藍(lán)像素值，取值范圍為［0，255］。H 的取值范圍為［0，360］。從公式(1)中觀察到，當(dāng)亮度值變得很高或者很低時(shí)，會(huì)導(dǎo)致H值發(fā)生較大波動(dòng)。這樣會(huì)使反投影圖像表示不精確，同時(shí)也增加了噪聲。為了消除這種影響，本文對(duì)亮度設(shè)定閾值，剔除掉小于或者大于一定亮度值的像素。本文只考慮那些與亮度值大于10或者小于240對(duì)應(yīng)的H值。

為了簡(jiǎn)便，本文僅提取H分量信息建立目標(biāo)顏色直方圖。首先將H值均勻劃分成m個(gè)小區(qū)間，每個(gè)小區(qū)間稱為直方圖的一個(gè)bin。然后，統(tǒng)計(jì)目標(biāo)區(qū)域內(nèi)落入每個(gè)直方圖區(qū)間的像素?cái)?shù)。同時(shí)，使用核函數(shù)給靠近中心位置的像素賦予較高的權(quán)值，靠近邊緣的賦予較低權(quán)值，以降低背景噪聲的影響，提高顏色特征對(duì)目標(biāo)和背景的區(qū)分能力。這樣得到的色度特征向量為:Qc=(qc1，qc2，…qcm)，則第i個(gè)子區(qū)間對(duì)應(yīng)的bin的概率密度函數(shù)可以通過(guò)式(2)［8］計(jì)算得到:

基于HSV顏色直方圖的提取過(guò)程如圖1所示。

1.2 邊緣特征描述

圖1 HSV特征提取

邊緣是圖像最基本的特征之一。本文使用Sobel算子來(lái)檢測(cè)圖像的邊緣［10］。假設(shè)用G表示跟蹤窗口內(nèi)原圖像，Gx和Gy分別表示使用水平和垂直的Sobel算子對(duì)圖像進(jìn)行卷積運(yùn)算后得到的梯度圖像，則梯度大小為:G=，梯度方向?yàn)棣?arg tan。梯度方向的取值范圍為［0，π］。與顏色直方圖構(gòu)建方法一樣，將邊緣方向均勻劃分為n等分，形成的邊緣特征向量為Qe=(qe1，qe2，…，qen)，則第 i個(gè)特征值對(duì)應(yīng)的目標(biāo)邊緣概率密度函數(shù)用式(4)［8］計(jì)算得到:

其中Cc=1/k(‖q0－pj/h‖2)為歸一化常數(shù)使得=1。p0表示搜索窗口中心像素位置，{pj}j=1，…，n表示該區(qū)域內(nèi)像素位置，k(x)表示核函數(shù)，這里同樣使用Epanechikov核，h為核函數(shù)帶寬。dir(pj)函數(shù)用來(lái)計(jì)算像素pj所屬的子區(qū)間。邊緣方向直方圖的提取過(guò)程如圖2所示。

圖2 邊緣方向直方圖

2 相似性測(cè)量

Mean Shift跟蹤算法是基于最大化目標(biāo)模板與候選的中心加權(quán)直方圖計(jì)算得到的Bhattacharyya系數(shù)為準(zhǔn)則的。相似性度量函數(shù)可作為目標(biāo)模板和候選之間距離的相似性判據(jù)。這里我們定義目標(biāo)模板和候選這兩個(gè)離散分布之間的距離為［8］:

其中，pci和qci為顏色特征的候選目標(biāo)和模板，pei和qei為目標(biāo)的邊緣特征的候選和模板的表示。

3 目標(biāo)定位

ωcj和ωej分別表示顏色特征和邊緣特征所對(duì)應(yīng)的像素xj的權(quán)值。二者的計(jì)算公式相似，其中基于顏色的ωcj的計(jì)算公式如下:

注意到式(10)中第一項(xiàng)與第三項(xiàng)與y無(wú)關(guān)，第二項(xiàng)和第四項(xiàng)表示輪廓函數(shù)為k、權(quán)值為wω的核概率密度估計(jì)。則與總的相似性度量函數(shù)(7)對(duì)應(yīng)的Meanshift向量為:

其中g(shù)(x)=－k'(x)。獲得Mean Shift偏移向量之后，可以求得相應(yīng)的Mean Shift迭代公式(13)，使候選目標(biāo)從當(dāng)前位置y^迭代移動(dòng)到新的位置，若‖y1－y0‖ ＜ε或迭代次數(shù) ＞N則停止迭代。

算法中通常取ε=0.5pixels和N=20。從式(9)和式(11)可以看出，本文算法中每個(gè)像素的權(quán)值由兩部分組成:一部分來(lái)自核函數(shù)g(x)，使得離候選目標(biāo)中心越遠(yuǎn)的點(diǎn)權(quán)值越小;另一部分來(lái)自wω，是根據(jù)每個(gè)特征的區(qū)分能力獲得的像素權(quán)值ω的加權(quán)和。特征的權(quán)值w越高，則跟蹤結(jié)果越依賴于該特征;反之則對(duì)跟蹤結(jié)果的影響越小。如果能夠根據(jù)不同的場(chǎng)景對(duì)每個(gè)特征設(shè)定不同的權(quán)值，就可以實(shí)現(xiàn)更加準(zhǔn)確可靠的跟蹤。

4 自適應(yīng)權(quán)值更新

在長(zhǎng)時(shí)間的跟蹤過(guò)程中，場(chǎng)景可能會(huì)發(fā)生變化，比如光照變化或目標(biāo)姿態(tài)變化等?？紤]到不同的特征對(duì)場(chǎng)景中目標(biāo)與背景的區(qū)分能力是不同的，因此在目標(biāo)與候選目標(biāo)總的相似性度量值中應(yīng)該更相信那些區(qū)分能力強(qiáng)的特征，而區(qū)分能力弱的特征容易受到背景的干擾，影響跟蹤的穩(wěn)定性和魯棒性。故本文利用下式來(lái)評(píng)價(jià)每個(gè)特征對(duì)當(dāng)前場(chǎng)景的可分性:其中，ρtk表示特征k的模板在t時(shí)刻與當(dāng)前幀目標(biāo)之間的相似性測(cè)度。

考慮到當(dāng)場(chǎng)景(指背景和目標(biāo))遭遇到比較頻繁的突變時(shí)，僅依靠目標(biāo)在當(dāng)前幀的信息來(lái)確定特征權(quán)值，可能會(huì)使跟蹤變得不太穩(wěn)定。為了避免權(quán)值的更新對(duì)目標(biāo)變化過(guò)于敏感，更新公式如下:

5 模板更新

Mean Shift算法的缺陷之一就是缺乏必要的模板更新機(jī)制。若場(chǎng)景中突然發(fā)生了光照變化或者目標(biāo)自身發(fā)生了平移旋轉(zhuǎn)等變化，某些特征的模板和目標(biāo)相比已經(jīng)發(fā)生了很大的變化，導(dǎo)致二者的匹配度很低甚至無(wú)法匹配，這時(shí)需要及時(shí)更新該特征模板，保證跟蹤能持續(xù)穩(wěn)定的進(jìn)行下去。模板更新存在的一個(gè)主要問(wèn)題是模板漂移，這是因?yàn)樵诟欉^(guò)程中，圖像中的背景像素被誤分類(lèi)為目標(biāo)像素，導(dǎo)致模型逐漸偏離真實(shí)值。而本文利用兩個(gè)特征在跟蹤場(chǎng)景中的互補(bǔ)性，僅選擇那些權(quán)值較低即可分性差的特征進(jìn)行模板更新，而那些權(quán)值較高即對(duì)當(dāng)前場(chǎng)景適應(yīng)力強(qiáng)的則保持不變。這樣做，一方面可以避免錯(cuò)誤的更新造成整個(gè)目標(biāo)模型的漂移，另一方面又可以使模板對(duì)目標(biāo)及環(huán)境變化有足夠的適應(yīng)性。具體方法是對(duì)本文的兩個(gè)特征的權(quán)值求最小值，若該值小于模板的可靠性閾值，則更新該模板，具體公式如下:

其中Td為特征的可靠性閾值，取值范圍為T(mén)d∈［0，0.5］。為了避免模板更新對(duì)目標(biāo)的變化過(guò)于敏感，根據(jù)下式更新目標(biāo)的模板:

6 實(shí)驗(yàn)及結(jié)果分析

本實(shí)驗(yàn)使用的硬件平臺(tái)為2.00 HZ的CPU，在Windows XP操作系統(tǒng)下的計(jì)算機(jī)，軟件平臺(tái)為 Microsoft VC++6.0編程環(huán)境，用 Open CV1.0為基礎(chǔ)進(jìn)行實(shí)現(xiàn)。采集環(huán)境為超市，測(cè)試視頻的圖像大小為720*576，共150幀圖像?；陬伾斑吘壧卣魅诤系暮烁櫵惴鞒倘缦?

(1)初始化:采用手工標(biāo)定的方法定位t=0時(shí)刻的目標(biāo)位置為，目標(biāo)的顏色及邊緣特征特征被均勻劃分為16份，形成的模板分別為qc和qe，權(quán)值分別為wc和we，算法的最大迭代次數(shù)為N=20，初始權(quán)值均為0.5，目標(biāo)跟蹤過(guò)程中使用的模板更新閾值為0.15，更新系數(shù)為0.8。

(2)以y0為候選目標(biāo)起始搜索位置，根據(jù)公式(2)和公式(4)計(jì)算候選目標(biāo)的顏色及邊緣特征模型;

(3)根據(jù)公式(9)計(jì)算候選目標(biāo)區(qū)域內(nèi)的每個(gè)特征的像素的權(quán)值;

(6)根據(jù)公式(12)計(jì)算每個(gè)特征在當(dāng)前場(chǎng)景下的可分性;

(7)利用公式(13)更新目標(biāo)的各個(gè)特征在下一幀中的權(quán)值;

(8)根據(jù)公式(14)選擇需要更新的特征模板，根據(jù)公式(15)更新該特征模板。

圖3 跟蹤結(jié)果對(duì)比

圖3給出了基于顏色特征(CMS)的跟蹤、文獻(xiàn)［6］提出的基于顏色、形狀和紋理(CSTMS)的自適應(yīng)跟蹤算法以及本文算法的實(shí)驗(yàn)結(jié)果。對(duì)比實(shí)驗(yàn)使用跟蹤結(jié)果的x坐標(biāo)誤差、y坐標(biāo)誤差來(lái)度量跟蹤結(jié)果的準(zhǔn)確程度，使用平均跟蹤時(shí)間(fps)來(lái)評(píng)價(jià)目標(biāo)的實(shí)時(shí)效果，如表1所示。各算法的跟蹤結(jié)果對(duì)比圖3從上到下依次為CMS、CMTMS以及本文算法，從左至右依次為圖像序列的第22、69、118和149幀。由于攝像機(jī)的運(yùn)動(dòng)，主要測(cè)量在背景運(yùn)動(dòng)情況下，目標(biāo)的平移、旋轉(zhuǎn)以及環(huán)境光照變化等對(duì)跟蹤的影響。由圖(3)可以看出，初始時(shí)刻在室內(nèi)光照未變化時(shí)，雖然目標(biāo)顏色和環(huán)境較為相似，但是CMS、CMTMS以及本文算法都能穩(wěn)定地跟蹤目標(biāo)，其中基于顏色的Mean Shift跟蹤效果最佳，其次是本文算法，CMTMS需要對(duì)所選擇的多個(gè)特征進(jìn)行優(yōu)先級(jí)排序，然后選擇可分性較好的兩個(gè)特征進(jìn)行跟蹤，故處理時(shí)間稍慢一些。從117幀開(kāi)始場(chǎng)景中發(fā)生光照變化時(shí)，導(dǎo)致目標(biāo)外觀的亮度發(fā)生了急劇變化，顏色線索的可分性逐漸惡化，CMS方法出現(xiàn)跟蹤偏差，甚至有漂移的傾向。CMTMS提出的模型更新方法由于不能及時(shí)更新模型，所以也出現(xiàn)了跟蹤偏差。而本文方法利用了兩個(gè)特征在跟蹤過(guò)程中的互補(bǔ)作用。當(dāng)顏色特征的權(quán)值急劇減小時(shí)，形狀特征權(quán)值逐漸變大，這時(shí)主要依靠邊緣信息保證跟蹤的準(zhǔn)確性和穩(wěn)定性，從而克服了光照變化對(duì)跟蹤的影響。隨著對(duì)目標(biāo)顏色模型的及時(shí)更新，顏色特征的可分性逐漸增加，其權(quán)值也相應(yīng)地提高，圖4顯示了特征權(quán)值在跟蹤過(guò)程中的自適應(yīng)變化。

圖4 權(quán)值的自適應(yīng)變化

表1 跟蹤誤差(均值標(biāo)準(zhǔn)差)和平均每幀跟蹤時(shí)間對(duì)比

從表1可以看出，本文算法的X坐標(biāo)和Y坐標(biāo)的平均跟蹤誤差比CMS方法和CMTMS的跟蹤算法都較小。算法在未經(jīng)優(yōu)化的情況下，同時(shí)受實(shí)驗(yàn)環(huán)境的影響，實(shí)時(shí)性如表1所示，在理想化情況下完全可以達(dá)到實(shí)時(shí)跟蹤。

7 結(jié)論

本文使用多特征融合思想，利用特征之間的互補(bǔ)性，提出融合顏色和邊緣特征在Mean Shift跟蹤算法中，同時(shí)根據(jù)環(huán)境變化自適應(yīng)調(diào)整特征之間的權(quán)值，并通過(guò)一種選擇性模板更新策略，克服了跟蹤過(guò)程中產(chǎn)生的模板漂移問(wèn)題。實(shí)驗(yàn)證明，在運(yùn)算時(shí)間增幅不明顯的情況下，改進(jìn)算法有效地提高了目標(biāo)跟蹤的魯棒性和精確性，并在動(dòng)態(tài)相似背景、光照變化、目標(biāo)旋轉(zhuǎn)平移等變化等情況都具有良好的適應(yīng)性。作者認(rèn)為，如果在多特征融合框架下引入背景運(yùn)動(dòng)補(bǔ)償機(jī)制，可有效的解決背景的大幅度運(yùn)動(dòng)，我們對(duì)此將做進(jìn)一步研究。

［1］李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法［J］.計(jì)算機(jī)學(xué)報(bào)，2009，32(12):2454－2463.

［2］ Nummiaro K，Koller-Meier E，Van-Gool L.An adaptive color-based particle filter［J］.Image and Vision Computing，2003，21(1):99 －110.

［3］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Patten Analysis and Machine Intelligence，2003，25(5):564 －575.

［4］張海青，李厚強(qiáng).基于多線索的目標(biāo)跟蹤［J］.中國(guó)圖象圖形學(xué)報(bào)，2008，13(11):2187 －2196.

［5］ Collins R T，Liu Y X，Leordeanu M.Online selection of discriminative tracking features［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10):1631 －1643.

［6］ Junqiu Wang，Yasushi Yagi.Integrating color and shape-texture features for adaptive real-time object tracking［J］.IEEE Transactions on Image Processing，2008，17(2):235 －241.

［7］王歡，王江濤，任明武，等.一種魯棒的多特征融合目標(biāo)跟蹤新算法［J］.中國(guó)圖象圖形學(xué)報(bào)，2009，14(33):489－498.

［8］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions Pattern Analysis and Machine Intelligence，2003，25(5):564 －575.

［9］朱虹.數(shù)字圖像技術(shù)與應(yīng)用［M］.北京:機(jī)械工業(yè)出版社，2011.

［10］岡薩雷斯.數(shù)字圖像處理(第二版)［M］.北京:北京電子工業(yè)出版社，2007.