摘 要： 經(jīng)典的連續(xù)自適應(yīng)均值漂移算法Camshift通過(guò)HSV空間的色調(diào)Hue分量建立一維直方圖，在有光照變化及有相似顏色目標(biāo)或背景的干擾下，跟蹤效果不好。提出一種融合HSV空間中色調(diào)、飽和度以及反應(yīng)物體形狀信息的邊緣梯度的三維直方圖特征，并基于背景模型自適應(yīng)調(diào)整特征直方圖三種分量的權(quán)重值，提高了算法的跟蹤準(zhǔn)確度。通過(guò)與傳統(tǒng)Camshift跟蹤實(shí)驗(yàn)比較，提出的改進(jìn)算法在光照變化及相似顏色目標(biāo)/背景干擾下具有更好的魯棒性，同樣也滿(mǎn)足跟蹤系統(tǒng)的實(shí)時(shí)性要求。

關(guān)鍵詞： 目標(biāo)跟蹤； Camshift算法； 邊緣梯度； 三維直方圖

中圖分類(lèi)號(hào)： TN919?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2014）02?0029?05

0 引 言

目標(biāo)的檢測(cè)與跟蹤是計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域一個(gè)非常活躍的課題，也是智能視頻監(jiān)控及機(jī)器人自動(dòng)導(dǎo)航等領(lǐng)域的核心問(wèn)題。在目前已經(jīng)提出的各種目標(biāo)跟蹤算法中，Meanshift算法由于其計(jì)算簡(jiǎn)單以及良好的實(shí)時(shí)性而得到廣泛的應(yīng)用。

Camshift跟蹤算法是對(duì)Meanshift的改進(jìn)，它是由Gray R.Bradski等提出的自適應(yīng)縮放跟蹤模板尺寸的算法[1]。兩種算法本質(zhì)上都是爬山算法，即在一種數(shù)據(jù)的密度分布中通過(guò)反復(fù)迭代而尋找出局部極值穩(wěn)定的方法。

傳統(tǒng)的Camshift算法對(duì)于光照的變化以及在前景與背景顏色相似的條件下，跟蹤效果并不理想。對(duì)此不少學(xué)者在Camshift算法中引入其他特征目標(biāo)模型，如貝葉斯概率框架[2?4]，但由于貝葉斯概率框架等模型固有的計(jì)算復(fù)雜度，難以實(shí)現(xiàn)跟蹤的實(shí)時(shí)性。

考慮到傳統(tǒng)的Camshift算法僅引入了HSV空間中的色調(diào)Hue分量來(lái)建立直方圖，從而導(dǎo)致顏色背景相似情形下跟蹤效果變差這一事實(shí)，本文提出增加顏色空間的S分量以及邊緣輪廓的形狀信息建立三維聯(lián)合直方圖，以彌補(bǔ)在某些情況下只依靠色調(diào)來(lái)描述目標(biāo)特征的不足。

由于該算法主要在目標(biāo)的直方圖統(tǒng)計(jì)特征上進(jìn)行改進(jìn)，沒(méi)有涉及到復(fù)雜的計(jì)算操作，所以效率較高，在穩(wěn)定性提高的同時(shí)易滿(mǎn)足實(shí)時(shí)性的要求。

1 三維特征分量提取

1.1 Hue與Saturation分量

傳統(tǒng)Camshift使用HSV空間中的色調(diào)Hue通道建立直方圖，以致在飽和度S或亮度V變化較大的情形下，其跟蹤靈敏度明顯降低[5]。本實(shí)驗(yàn)首先把RGB顏色空間圖像轉(zhuǎn)換為HSV顏色空間圖像，如圖1（a），（b）所示，并提取H與S兩個(gè)通道的分量[6]：[H=0， if max=min（60°×g-bmax-min+360°）mod360°， if max=r60°×b-rmax-min+120°， if max=g60°×r-gmax-min+240°， if max=b] （1）

[S=0， if max=0max-minmax=1-minmax， otherwise] （2）

[V=max] （3）

式中：設(shè)max等于r， g和b中的最大者；min等于這些值中的最小者。所提取的H與S兩個(gè)通道的分量如圖1（c），（d）所示。

在傳統(tǒng)的Camshift算法中，對(duì)于Hue通道采用均勻量化以建立直方圖模型。計(jì)算初始化的搜索窗口內(nèi)H分量的直方圖，對(duì)初始搜索窗口中每個(gè)像素的H通道值進(jìn)行采樣（如圖2（a）藍(lán)色方框所示），從而得到待跟蹤目標(biāo)的色調(diào)（Hue）直方圖，將該直方圖保存下來(lái)作為目標(biāo)的顏色直方圖模型，如圖2（b）所示。本文提取H與S兩通道，在量化HSV圖像各通道的位數(shù)深度時(shí)，類(lèi)似3通道8位的RGB圖像每通道均占8 b為 0～255共256等級(jí)，H和S通道也都分配為8位深度。H分量的值域范圍是[[0，360°]]，S分量的值域范圍是[0，1]，本實(shí)驗(yàn)中將H分量的值域范圍量化為30個(gè)bin （量化長(zhǎng)度為[12°]），將S分量的值域范圍量化為16個(gè)bin （其中量化長(zhǎng)度為[116）]。

圖2 色調(diào)H分量的一維直方圖

對(duì)于初始化窗口區(qū)域的二維直方圖的構(gòu)成，可以看作由H分量與S分量聯(lián)合而成的二維分布函數(shù)，如圖3所示。

圖4的示意說(shuō)明了一維直方圖與二維直方圖之間的關(guān)系，其中一維H直方圖量化為6個(gè)bin，二維H?S聯(lián)合直方圖量化為6×5共30個(gè)bin，并且一維Hue通道直方圖相當(dāng)于其邊緣分布函數(shù)。在本文實(shí)驗(yàn)中，實(shí)際采用的H?S二維直方圖共30（色調(diào)）×16（飽和度）=480個(gè)bin。

1.2 邊緣梯度方向分量

對(duì)于框定的初始化目標(biāo)跟蹤區(qū)域進(jìn)行RGB到灰度圖轉(zhuǎn)化，然后對(duì)該灰度圖進(jìn)行Canny邊緣檢測(cè)。再利用形態(tài)學(xué)方法先腐蝕后膨脹處理，將圖中細(xì)小瑣碎的邊緣點(diǎn)與噪聲刪除，找到最主要的顯著邊緣輪廓。假設(shè)待跟蹤目標(biāo)的檢測(cè)結(jié)果較為準(zhǔn)確，采用Canny算子即可提取到較連續(xù)的顯著輪廓邊緣，如圖5所示。

對(duì)于所有的邊緣像素點(diǎn)，其梯度向量的定義為：

[G（i，j）=GxGy=?x?f?y?f] （4）

利用邊緣像素點(diǎn)的梯度方向統(tǒng)計(jì)信息，可建立基于邊緣梯度方向直方圖[7]。實(shí)驗(yàn)中計(jì)算梯度向量時(shí)選用Sobel算子，其可采用如下兩個(gè)方向模板卷積計(jì)算得到：

[Mx=-101-202-101， My=121000-1-2-1] （5）

式中Mx與My為Sobel算子的水平與豎直模板矩陣，分別用于檢測(cè)水平邊緣與豎直邊緣。若邊緣上位于（i，j）處的像素點(diǎn)P的鄰域灰度矩陣標(biāo)記為：

[P=a0a1a2a3（i，j）a4a5a6a7] （6）

則該點(diǎn)的梯度向量G的水平與豎直分量值Gx和Gy分別為：

[Gx=（a2+2a4+a7）-（a0+2a3+a5）Gy=（a0+2a1+a2）-（a5+2a6+a7）] （7）

該點(diǎn)梯度向量的方向z由水平方向梯度分量值與豎直方向梯度分量值的反正切函數(shù)表示為：

[z=arctanGxGy] （8）

對(duì)目標(biāo)邊緣的所有的像素點(diǎn)的梯度方向進(jìn)行統(tǒng)計(jì)，可建立基于邊緣梯度方向統(tǒng)計(jì)分布的目標(biāo)形狀特征模型。圖6為基于邊緣梯度方向的一維直方圖。其中，梯度方向的值域范圍是[[0，2π）]，將其量化為16個(gè)bin（量化長(zhǎng)度為[π8]）。

2 基于三維特征直方圖的改進(jìn)Camshift算法

2.1 權(quán)重選擇與直方圖修正

2.1.1 特征權(quán)重的選擇

H?S?Grad三維聯(lián)合直方圖的構(gòu)成類(lèi)似H?S二維直方圖。在初始化區(qū)域內(nèi)統(tǒng)計(jì)每個(gè)像素點(diǎn)信息，建立一個(gè)30（色調(diào)）×16（飽和度）×16（邊緣梯度方向）共7 680個(gè)bin的三維直方圖。

為了減少背景干擾，本文自適應(yīng)減少目標(biāo)特征直方圖中與背景特征直方圖相接近的直方圖分量的權(quán)重，采用目標(biāo)特征直方圖分量自適應(yīng)加權(quán)[8]策略，引入背景直方圖，其定義仍為色調(diào)×飽和度×邊緣梯度方向的共7 680個(gè)bin的三維直方圖，該背景直方圖每個(gè)bin值為：

[b=bi， i=1，2，…，7 680，且i=17 680bi=1] （9）

將背景直方圖的bi集合中最小的非零值記為bmin，則其對(duì)應(yīng)的目標(biāo)直方圖hi的特征權(quán)重為：

[wi=min{bminbi，1}， i=1，2，…，7 680] （10）

考慮到目標(biāo)窗口的特征直方圖，當(dāng)其某個(gè)bin分量與背景對(duì)應(yīng)的bin分量近似一致時(shí)，該bin分量在目標(biāo)特征直方圖中的使用會(huì)造成對(duì)目標(biāo)跟蹤準(zhǔn)確性的不良影響，因此應(yīng)該適當(dāng)降低其權(quán)重值。相應(yīng)地，對(duì)于背景特征直方圖中某個(gè)取值較大的bin分量，即bi越大，其在對(duì)應(yīng)目標(biāo)特征直方圖hi中的權(quán)重應(yīng)較小，即其對(duì)應(yīng)的hi的權(quán)重wi越小。以特征權(quán)重值wi去加權(quán)目標(biāo)窗口的直方圖hi，從而可進(jìn)行自適應(yīng)的調(diào)整：

[hi=hiwi， i=1，2，…，7 680] （11）

2.1.2 直方圖的更新修正

目標(biāo)直方圖由于光照變化影響需要進(jìn)行修正更新，根據(jù)對(duì)每次漂移前后窗口的直方圖H1與H2 的Bhattacharyya距離（也稱(chēng)巴氏距離）[8?9]的比較：

[dBhattacharyya（H1，H2）=1-iH1（i）-H2（i）iH1（i）?2H2（i）] （12）

若巴氏距離d=0表示直方圖完全相同，d=1表示完全不相同。如果漂移前后H1與H2巴氏距離小于0.4，則動(dòng)態(tài)修正H2如下：

[H2=H1α1+H2α2+H3α3] （13）

式中：H1表示漂移前直方圖；H2表示漂移后直方圖；H3表示初始化窗口的直方圖，系數(shù)權(quán)重按照統(tǒng)計(jì)實(shí)驗(yàn)經(jīng)驗(yàn)取值為：

[α1=0.022 5， α2=0.95， α3=0.027 5] （14）

由此，每次漂移后的直方圖H2會(huì)受到漂移前和最初始的直方圖兩者的約束修正?？梢钥闯觯思s束主要由漂移后直方圖H2決定，其貢獻(xiàn)為95%。通過(guò)此修正更新的方式可以保證跟蹤所用直方圖在光照突變時(shí)不至于發(fā)生劇烈的偏離改變。

2.2 概率反向投影與均值漂移

反向投影過(guò)程先利用第2.1節(jié)得到的直方圖計(jì)算整張圖像關(guān)于該搜索窗口內(nèi)三種特征出現(xiàn)的概率分布。例如，在整幅圖中某個(gè)像素點(diǎn)[H，S，Grad]分量值為[32，36，0.1]，而在上面所得到直方圖中查詢(xún)到該bin所占的比例為4%，那么就將該像素點(diǎn)的值置為0.04。這樣對(duì)于整幅圖像所有像素一一對(duì)應(yīng)查詢(xún)賦值，便得到了整張圖像的反向投影圖，即二維的概率分布圖。

然后把反向投影圖轉(zhuǎn)為用8位灰度圖表示。概率為1的位置值為255，概率為0的灰度值為0，概率介于1和0之間的灰度值介于255和0之間，如圖7所示。經(jīng)過(guò)反向投影，圖像中每一個(gè)像素的值就變成了三種特征信息出現(xiàn)在此處的離散化概率度量：出現(xiàn)的可能性越大，像素的值就越大，反之就越小。相應(yīng)地，投影圖中對(duì)應(yīng)為：越亮的像素表明該像素為目標(biāo)像素的概率越大。這樣就為下一步的質(zhì)心計(jì)算提供了依據(jù)。

計(jì)算搜索窗口的質(zhì)心時(shí)，其“質(zhì)心”就類(lèi)似物理計(jì)算質(zhì)量分布不均勻的二維平板的重心，只不過(guò)這里各點(diǎn)的“面密度” 就是灰度圖中各像素點(diǎn)的概率取值。設(shè)（x，y）為搜索窗口中的像素點(diǎn)，I（x，y）是反向投影圖中對(duì)應(yīng)（x，y）點(diǎn)的像素值。定義搜索窗口的零階矩[M00]和一階矩[M10]，[M01]如下[10]：

[M00=xyI（x，y）] （15）

[M10=xyxI（x，y）] （16）

[M01=xyyI（x，y）] （17）

則當(dāng)前搜索窗口的質(zhì)心位置為：

[（xC，yC）=M10M00，M01M00] （18）

接下來(lái)，將搜索窗口的中心移動(dòng)到質(zhì)心。顯然，隨著窗口的移動(dòng)，窗口的內(nèi)容也發(fā)生了變化。于是取移動(dòng)窗口反復(fù)迭代計(jì)算質(zhì)心，直到窗口中心與質(zhì)心間的移動(dòng)距離小于預(yù)設(shè)的固定閾值或迭代次數(shù)達(dá)到某一上限值時(shí)，認(rèn)為質(zhì)心坐標(biāo)滿(mǎn)足收斂條件。

2.3 Camshift窗口縮放

在做均值漂移之后，再進(jìn)行Camshift窗口大小縮放。由于窗口中心已經(jīng)移到了正確的質(zhì)心位置。此時(shí)，對(duì)該窗口采取如下縮放策略：

首先，將窗口朝上下左右四個(gè)方向各擴(kuò)增10個(gè)像素，得到一個(gè)新窗口。

然后，計(jì)算該新窗口的零階矩[M00]，一階矩[M10，][M01]，二階矩[M20]，[M02]，[M11]。記：

[a=M20M00] （19）

[b=M11M00] （20）

[c=M02M00] （21）

則旋轉(zhuǎn)角度為：

[θ=arctan2ba-c+4b2+（a-c）2] （22）

下一幀所用新的搜索窗口的長(zhǎng)和寬分別為：

[length=4cos2θM20+2cosθsinθM11+sin2θM02M00] （23）

[width=4sin2θM20-2cosθsinθM11+cos2θM02M00] （24）

如果length

3 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)采用VisualStudio 2010及OpenCV 2.3開(kāi)發(fā)軟件平臺(tái)。實(shí)驗(yàn)1的場(chǎng)景較為簡(jiǎn)單，背景顏色與目標(biāo)區(qū)分明顯。主要測(cè)試在光照改變及有相似顏色干擾目標(biāo)或背景的條件下，只基于色調(diào)分量的經(jīng)典Camshift算法與改進(jìn)后的基于多特征直方圖的Camshift的性能比較。實(shí)驗(yàn)中待跟蹤目標(biāo)逐漸接近顏色相近的干擾目標(biāo)，且在最后光照強(qiáng)度發(fā)生突變。

在圖8（a）與圖9（a）中顯示了經(jīng)典Camshift算法的跟蹤效果，從左至右可見(jiàn)，當(dāng)目標(biāo)與背景顏色對(duì)比度較高時(shí)其跟蹤效果還不錯(cuò)，但是當(dāng)目標(biāo)接近顏色相似的干擾目標(biāo)時(shí)，Camshift窗口擴(kuò)大至包含非目標(biāo)的錯(cuò)誤區(qū)域，準(zhǔn)確性偏低。這正是由于其僅依靠色調(diào)Hue單個(gè)信息通道導(dǎo)致無(wú)法準(zhǔn)確描述目標(biāo)特征。

圖8（b）與圖9（b）為使用添加飽和度S分量后的二維特征直方圖的跟蹤效果?？梢钥闯觯鋵?duì)于不同的色調(diào)與飽和度顏色信息有一定的區(qū)分度。但是當(dāng)最后改變光照時(shí)，其仍然受到顯著影響而出現(xiàn)誤跟蹤現(xiàn)象。這主要是由于H分量與S分量均屬顏色空間信息，對(duì)光照條件的改變較為敏感以及易受相似顏色干擾物的影響。

圖8（c）與圖9（c）是進(jìn)一步添加了目標(biāo)的邊緣梯度方向而改進(jìn)的三維特征Camshift跟蹤效果。由于邊緣梯度方向的統(tǒng)計(jì)分布實(shí)質(zhì)描述了目標(biāo)的形狀信息，在最后光照強(qiáng)度改變時(shí)，形狀信息的權(quán)重值會(huì)因與背景形狀信息差別顯著而相應(yīng)增加，提高了跟蹤算法在光照變化下的抗干擾性。在整個(gè)算法的運(yùn)行過(guò)程中，目標(biāo)物始終被準(zhǔn)確跟蹤，如圖8（c）與圖9（c）所示。

這主要得益于其引入的形狀信息及增強(qiáng)的顏色描述信息，使得跟蹤算法對(duì)于有相似顏色物干擾及光照改變都具有較好的魯棒性。由圖10可見(jiàn)，傳統(tǒng)的僅基于Hue通道的Camshift對(duì)于低對(duì)比度背景、背景與目標(biāo)顏色非常接近的環(huán)境幾乎無(wú)能為力，跟蹤無(wú)法穩(wěn)定進(jìn)行。從反向投影圖可以明顯地看出，Camshift認(rèn)為幾乎整個(gè)背景都是前景目標(biāo)，這主要是由于前景背景顏色非常接近，僅依靠色調(diào)單通道信息無(wú)法區(qū)分背景與目標(biāo)。

圖11中，改進(jìn)的Camshift基本保持了穩(wěn)定的跟蹤，尤其從圖11（b）的反向投影圖中可以看出，此時(shí)并未出現(xiàn)Camshift誤認(rèn)為整個(gè)背景都是目標(biāo)的情況發(fā)生。此時(shí)，由于背景與目標(biāo)顏色比較接近，所以顏色特征直方圖的權(quán)重值被抑制得比較小，跟蹤的實(shí)現(xiàn)主要依靠于邊緣梯度方向直方圖提供的目標(biāo)形狀信息。

4 結(jié) 語(yǔ)

Camshift算法的核心是利用建立的目標(biāo)統(tǒng)計(jì)特征直方圖進(jìn)行反向投影，從而均值漂移以跟蹤上目標(biāo)。傳統(tǒng)的Camshift僅依靠單一的色調(diào)Hue通道建立一維直方圖，對(duì)于光照改變及常見(jiàn)的相近顏色背景或干擾目標(biāo)往往跟蹤效果不理想。為此本文引入了飽和度與邊緣梯度方向兩個(gè)特征，建立了可同時(shí)描述目標(biāo)顏色信息與形狀信息的三維特征直方圖，以處理背景顏色、形狀信息與目標(biāo)不同的各種環(huán)境，提高跟蹤的準(zhǔn)確性。此外，對(duì)三維直方圖的這三個(gè)特征分量采取自適應(yīng)加權(quán)選擇，以進(jìn)一步抑制背景干擾目標(biāo)，增強(qiáng)了復(fù)雜環(huán)境下的跟蹤魯棒性。由于文中保持均值漂移定位局部極值的步驟，僅通過(guò)直方圖的改進(jìn)及自適應(yīng)加權(quán)來(lái)改進(jìn)跟蹤算法，未涉及較高計(jì)算復(fù)雜度的處理過(guò)程，因此，仍能滿(mǎn)足跟蹤系統(tǒng)的實(shí)時(shí)性與穩(wěn)定性要求。

參考文獻(xiàn)

[1] BRADSKI G R. Computer vision face tracking for use in a perceptual user interface [J]. Intel Technology Journal， 1998， 2（2）： 1?15.

[2] HAUG A J. Bayesian estimation for target tracking： part I， general concepts [J]. WIREs Comp Stat， 2012， 4（06）： 375?383.

[3] HAUG A J. Bayesian estimation for target tracking： part II， the Gaussian sigma?point Kalman filters [J]. WIREs Comp Stat， 2012， 4（06）： 489?497.

[4] BUDIHARTO W， PURWANTO D， JAZIDIE A. A robust obstacle avoidance for service robot using Bayesian approach [J]. International Journal of Advanced Robotic Systems， 2011， 8（01）： 52?60.

[5] SANTIAGO R， PILAR S， EDUARD M. Variability estimation of hue and saturation compoents in the HSV space [J]. Color Research and Application， 2011， 37（06）： 261?271.

[6] 趙紅雨，吳樂(lè)華，史燕軍，等.基于HSV顏色空間的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].現(xiàn)代電子技術(shù)，2013，36（12）：45?48.

[7] 林建華，劉黨輝，邵顯奎.多特征融合的Camshift算法及其進(jìn)一步改進(jìn)[J].計(jì)算機(jī)應(yīng)用，2012，32（10）：2814?2816.

[8] WILKASON T J. Robust video tracking through multiple occlusions [D]. GA： Mount de Sales Academy of Warner Robins， 2009.

[9] KHALID M S， ILYAS M U， SARFARAZ M S， et al. Bhatta?charyya coefficient in correlation of gray scale objects [J]. Journal of Multimedia， 2006， 1（06）： 56?61.

[10] CHU Hong?xia， YE Shu?jiang， GUO Qin?chang， et al. Object tracking algorithm based on Camshift algorithm combinating with difference in frame [C]// Proceedings of the IEEE International Conference on Automation and Logistics. Jinan， China： IEEE， 2007： 51?55.