宋康康，陳 懇，郭運(yùn)艷

寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波 315211

深度信息輔助的均值漂移目標(biāo)跟蹤算法

宋康康，陳 懇，郭運(yùn)艷

寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波 315211

1 引言

Mean Shift算法是一個(gè)自適應(yīng)步長的迭代算法，已經(jīng)成功地應(yīng)用于圖像分割，無參數(shù)密度估計(jì)，視頻跟蹤等諸多領(lǐng)域[1-5]。自從該算法引入視頻目標(biāo)跟蹤以來，在算法復(fù)雜度和時(shí)間開銷上，都要優(yōu)于Kalman濾波算法和粒子濾波算法，因此受到了廣泛的關(guān)注。經(jīng)典Mean Shift算法利用空間核加權(quán)顏色直方圖作為模板，通過搜索局部巴氏系數(shù)最大值，最終實(shí)現(xiàn)目標(biāo)跟蹤定位。顏色直方圖是對(duì)圖像在顏色空間中分布的一種簡單的非參數(shù)估計(jì)，描述了圖像的全局統(tǒng)計(jì)特征，具有旋轉(zhuǎn)和平移不變性，而且特征提取方便，因此常常作為特征模型廣泛應(yīng)用于圖像檢索和目標(biāo)跟蹤之中。但是由于顏色信息容易受到外界光照條件變化或者目標(biāo)視角改變而發(fā)生變化，導(dǎo)致其不穩(wěn)定。而基于核函數(shù)的Mean Shift跟蹤算法受顏色特征不穩(wěn)定性的影響，效果就會(huì)大打折扣，實(shí)際應(yīng)用范圍就被限制了。

針對(duì)此問題，許多學(xué)者提出了許多改進(jìn)方法，例如邊緣特征輔助顏色特征[6]，提升顏色直方圖抗噪聲能力，但是在發(fā)生部分遮擋時(shí)，算法就會(huì)失效。通過削弱目標(biāo)顏色直方圖中的背景噪聲，減小了Mean Shift算法對(duì)目標(biāo)定位的影響[7]，但是未解決帶寬固定的問題[8]。修正了背景直方圖加權(quán)算法（Corrected Background-Weighted Histogram，CBWH），通過降低參考模板的背景顏色特征信息，從而突出目標(biāo)的特征信息，提高算法的穩(wěn)定性和魯棒性[9]。對(duì)候選目標(biāo)區(qū)域進(jìn)行直方圖插值，加強(qiáng)了目標(biāo)在直方圖中影響，較好解決了小尺寸目標(biāo)的跟蹤問題[10]。利用模糊顏色直方圖克服光照變化下顏色特征不穩(wěn)定的弱點(diǎn)。

近些年，用深度信息輔助目標(biāo)提取、跟蹤已經(jīng)越來越受到學(xué)者的關(guān)注[11-13]，本文從目標(biāo)的深度信息特征出發(fā)，根據(jù)目標(biāo)與周圍背景處于不同的深度平面，利用深度信息對(duì)目標(biāo)參考模板進(jìn)行加權(quán)（Depth assisted Background-Weighted Histogram，DBWH），對(duì)核窗口內(nèi)距離目標(biāo)較遠(yuǎn)的顏色特征賦予較小的權(quán)值，并采用背景直方圖加權(quán)算法[8]，在刻畫目標(biāo)的顏色特征信息的同時(shí)，也降低了背景中的干擾信息。這樣目標(biāo)的特征信息就不會(huì)淹沒在嘈雜的背景信息中，即使目標(biāo)尺寸相對(duì)于核窗口較小時(shí)，同樣能夠放大其特征信息，實(shí)現(xiàn)跟蹤算法的魯棒性和穩(wěn)定性。

2 Mean Shift算法

Mean Shift是一個(gè)高效的目標(biāo)定位算法。下面簡單介紹下Mean Shift算法。算法開始將目標(biāo)模型初始化為加權(quán)直方圖的形式其中：

Ch是歸一化系數(shù)，h是核帶寬，x0是中心像素坐標(biāo)，xi是跟蹤窗口中第i個(gè)像素，共有n個(gè)像素，k(x)是非增、連續(xù)的核函數(shù)，b(xi)將顏色特征映射到對(duì)應(yīng)的直方圖空間。當(dāng)以 y為中心時(shí)，候選目標(biāo)模型可以按如下的式子建立，其中：

度量候選模型與參考模型之間的相似性，使得巴氏系數(shù)最大時(shí)的y可通過Mean Shift算法迭代獲得：

y0是當(dāng)前候選目標(biāo)區(qū)域的中心位置，則基于Mean Shift算法的目標(biāo)跟蹤通過反復(fù)地迭代式（4），使目標(biāo)從當(dāng)前 y0不斷地移到新位置 y1，直至Bhattacharyya系數(shù)最大或者達(dá)到規(guī)定的迭代次數(shù)為止，得到的y1即Mean Shift偏移得到的跟蹤窗口的新的中心坐標(biāo)。

3 深度信息簡介

1976年，Marr[14]建立了模擬人類立體視覺機(jī)制的匹配算法，為雙目視覺奠定了基礎(chǔ)。雙目立體視覺技術(shù)是指通過對(duì)同一物體從不同角度獲得的兩幅圖像來恢復(fù)物體的三維信息的過程。雙目立體視覺技術(shù)主要包括圖像獲取、攝像機(jī)標(biāo)定、特征圖像匹配以及三維信息恢復(fù)等方面。獲取場景中各點(diǎn)相對(duì)于攝像機(jī)的距離是立體視覺的重要任務(wù)。場景中各點(diǎn)相對(duì)于攝像機(jī)的距離可以用深度圖來表示，即深度圖中的每一個(gè)像素值表示場景中某一點(diǎn)與攝像機(jī)之間的距離。

圖1[15]假設(shè)C1和C2兩個(gè)攝像機(jī)的焦距相等，各內(nèi)部參數(shù)也相等，兩個(gè)攝像機(jī)光軸互相平行，x軸互相重合。設(shè)C1坐標(biāo)系為O1x1y1z1，C2坐標(biāo)系為O2x2y2z2，空間點(diǎn)P(x1，y1，z1)的坐標(biāo)在C1坐標(biāo)系下為(x1，y1，z1)，C2坐標(biāo)系為(x1-b，y1，z1)。則空間點(diǎn)映射到圖像平面上的關(guān)系為：

其中 u0，v0，αx，αy為攝像機(jī)內(nèi)部參數(shù)[16]，b為基線長度，u1-u2為視差。 (u1，v1)1，(u2，v2)分別是 p1與 p2圖像的坐標(biāo)。P點(diǎn)到基線中心的距離即為深度，可以通過三角測量計(jì)算。在平行雙目相機(jī)各個(gè)參數(shù)確定后，再校正攝像機(jī)，將雙目相機(jī)拍攝的左右通道的圖像，通過圖像匹配獲得視差數(shù)據(jù)，最后經(jīng)三角測量將視差數(shù)據(jù)轉(zhuǎn)換為距離，并量化為0～255之間的數(shù)值，形成明暗效果的深度圖。

圖1 平行雙目相機(jī)配置

4 基于深度信息的顏色直方圖加權(quán)

4.1 參考模板的顏色直方圖加權(quán)

在傳統(tǒng)Mean Shift算法中，通常用的核函數(shù)是高斯核函數(shù)或Epanechnikov等一類剖面函數(shù)，這些函數(shù)都是單峰的、有限局部支撐的，這些性質(zhì)決定了在參考模板建立時(shí)，會(huì)給予核窗口中心的像素比較大的權(quán)值，這樣做的優(yōu)點(diǎn)是目標(biāo)被部分遮擋時(shí)，通常核窗口中心的像素會(huì)比較可靠，邊緣遮擋部分也可以抑制住。核函數(shù)的這些特點(diǎn)使得算法能夠處理局部遮擋的情況。然而在目標(biāo)未被遮擋時(shí)，由于目標(biāo)外部尺寸不規(guī)則，核窗口通常為規(guī)則的橢圓或矩形，因此或多或少地會(huì)引入背景信息，所以核窗口中心加權(quán)不夠精細(xì)。核窗口內(nèi)的所有信息都會(huì)被統(tǒng)計(jì)到目標(biāo)的直方圖中，若核窗口過大，目標(biāo)的信息就會(huì)被嚴(yán)重沖淡，使得目標(biāo)與周圍背景的區(qū)分度下降，直接導(dǎo)致跟蹤性能大幅度下降。因此必須抑制核窗口內(nèi)的干擾信息，突出目標(biāo)本身信息特征。

基于背景直方圖加權(quán)是一種有效地將核窗口干擾信息降低的方法，其借助統(tǒng)計(jì)目標(biāo)周圍的背景信息來抑制背景干擾信息對(duì)顏色直方圖中的影響，突出目標(biāo)中不同于背景中特征信息，抑制目標(biāo)信息中與背景相似的成分。本文將利用此方法結(jié)合深度信息對(duì)目標(biāo)參考模板的顏色直方圖進(jìn)行加權(quán)。

假設(shè)核窗口中，有n個(gè)像素，分布用{xi}i=1，2，…，n表示，δ(x)是Delta函數(shù)，特征值bin值有m個(gè)，目標(biāo)特征值u= 1，2，…，m的概率密度為：

其中C是歸一化常數(shù)，h(xi)是xi像素處的深度值是當(dāng)前第0幀中目標(biāo)的深度平均值，σ是目標(biāo)深度的方差值，vu=min(/，1)，u=1，2，…，m，其中為目標(biāo)周圍兩倍核帶寬大小范圍內(nèi)的背景顏色直方圖，可由式（1）計(jì)算得到的非零最小值。候選目標(biāo)模型仍按式（2）計(jì)算。深度信息的引入使得核窗口內(nèi)的數(shù)據(jù)采樣依據(jù)深度的不同而支配不同的權(quán)值，背景中與目標(biāo)深度相差較大的，其信息將被極大地抑制住，即使目標(biāo)周圍的干擾信息也被不同程度地抑制，原因是充分考慮目標(biāo)與背景處于不同深度層面的特性，并用此特性來強(qiáng)化目標(biāo)的顏色特征信息。再通過背景直方圖加權(quán)算法，降低目標(biāo)特征中的背景特征成分，使得顏色特征更加具有更高的區(qū)分度。

4.2 核帶寬自適應(yīng)更新

核帶寬問題是影響Mean Shift算法跟蹤精度的重要原因，由于在目標(biāo)尺寸變化劇烈時(shí)，固定不變的核帶寬會(huì)導(dǎo)致候選目標(biāo)模型的不準(zhǔn)確，目標(biāo)尺寸變小時(shí)，會(huì)引入較多背景干擾信息；較大時(shí)，采樣不夠充分，都會(huì)導(dǎo)致定位偏差。常用到的帶寬更新方法為試探法[17]，變換法[18]，但是時(shí)間代價(jià)較高，本文提出了基于深度信息的帶寬自適應(yīng)更新法。首先定義背景交疊系數(shù)：

Cn是第n幀中核帶寬中總的像素?cái)?shù)目，是對(duì)應(yīng)像素灰度值在[-δ，+δ]的像素總數(shù)，δ是目標(biāo)整體深度信息的方差值，可以在第一幀選目標(biāo)時(shí)確定，是目標(biāo)的平均深度信息。若0.8＜ρn＜0.9說明目標(biāo)尺寸占據(jù)核帶寬的絕大部分，帶寬大小合適，故無需更新，反之則按下面的公式更新：

當(dāng) ρn＜0.8時(shí)，說明核帶寬尺寸過大，因此要適當(dāng)減小核帶寬尺寸；而當(dāng) ρn＞0.9時(shí)，此時(shí)核帶寬尺寸過小，要適量增大其尺寸。對(duì)不規(guī)則變化的目標(biāo)尺寸能夠自適應(yīng)調(diào)節(jié)帶寬，使得核窗口帶寬自適應(yīng)更新。

5 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文算法的有效性，首先構(gòu)造了一個(gè)大小為40×40綠色虛擬目標(biāo)，目標(biāo)中心坐標(biāo)為（150，150），同時(shí)構(gòu)造了背景區(qū)域灰度值為180，目標(biāo)內(nèi)部區(qū)域?yàn)閺?30到170連續(xù)變化的灰度深度圖，設(shè)定跟蹤起始位置為（125，125），核帶寬大小為44，核函數(shù)為高斯函數(shù)，顏色直方圖的bin數(shù)量為16×16×16。用Matlab7.0進(jìn)行編程測試，分別比較了CBWH算法，傳統(tǒng)Mean Shift算法和本文算法的跟蹤結(jié)果。

5.1 虛擬目標(biāo)實(shí)驗(yàn)對(duì)比

目標(biāo)顏色特征組成為綠色成分，其pdf量化后會(huì)集中在特征空間值為125左右。從建立的參考模板的概率直方圖中可以看到，本文算法的特征空間主要集中于125左右，由于核帶寬略大于目標(biāo)尺寸，因此傳統(tǒng)Mean Shift算法的參考模板中混入了白色的背景信息，其特征值在4 000后，而本文算法利用深度信息加權(quán)抑制了白色的背景干擾信息。

從表1中的跟蹤結(jié)果比較可以看出，本文算法不僅迭代次數(shù)相對(duì)較少，而且定位結(jié)果相當(dāng)準(zhǔn)確。巴氏系數(shù)比較小是因?yàn)楹蜻x目標(biāo)模型中未使用背景直方圖加權(quán)，原因已經(jīng)在文獻(xiàn)[8]中證明。

圖2 虛擬目標(biāo)

圖3 虛擬模板顏色直方圖比較

表1 跟蹤性能比較

5.2 虛擬目標(biāo)在不同帶寬下跟蹤結(jié)果比較

圖4將傳統(tǒng)Mean Shift算法與CBWH，DBWH在不同帶寬情況下，分別比較跟蹤定位準(zhǔn)確性和迭代次數(shù)?？梢詮膱D中看出，DBWH在相同帶寬情況下，不僅定位誤差小而且迭代次數(shù)少，而CBWH在簡單場景中退化為傳統(tǒng)Mean Shift算法。綜上可以推知，核帶寬的合適與否很大程度上影響了目標(biāo)跟蹤定位精準(zhǔn)性。在帶寬逐漸變大時(shí)，同時(shí)本文算法考慮了目標(biāo)與背景處于不同的深度平面，并用深度信息對(duì)目標(biāo)顏色特征加權(quán)，抑制了背景中的干擾信息，從而保持了跟蹤定位的準(zhǔn)確性。

圖4 不同帶寬下跟蹤性能比較

5.3 真實(shí)場景對(duì)比實(shí)驗(yàn)

利用Kinect深度相機(jī)拍攝視頻進(jìn)行實(shí)驗(yàn)，選取了一段小球尺寸由大變小的視頻，共計(jì)80幀，分彩色圖像和對(duì)應(yīng)的深度圖像兩組可以觀察到傳統(tǒng)Mean Shift算法在目標(biāo)逐漸變小時(shí)，算法性能在下降，最終跟蹤窗口偏離了中心。而CBWH算法消除了背景信息的一些影響，使得跟蹤算法在一定程度上受背景信息影響比較小，跟蹤效果稍好；但是由于CBWH在初始化模型時(shí)對(duì)周圍背景信息抑制不夠充分，會(huì)殘留許多目標(biāo)周圍背景信息，因而在跟蹤框內(nèi)出現(xiàn)同目標(biāo)顏色信息特征相似的物體時(shí)，會(huì)受到比較大的影響，導(dǎo)致跟蹤框偏向干擾物體。而本文算法在經(jīng)深度加權(quán)后，極大保留目標(biāo)特征，同時(shí)能夠自適應(yīng)更新核帶寬，取得了良好的跟蹤定位效果。

圖5 跟蹤定位比較（第1、52、78幀）

6 總結(jié)

本文利用目標(biāo)和背景處于不同的深度平面的特點(diǎn)，用深度信息和背景信息對(duì)顏色直方圖加權(quán)后，前者增強(qiáng)了顏色特征信息在背景中的區(qū)分度，后者降低了背景信息的干擾，同時(shí)也自適應(yīng)地更新了核帶寬，空間定位更加準(zhǔn)確，迭代次數(shù)更少。

本文算法應(yīng)用了深度信息，導(dǎo)致了一些局限性。由于現(xiàn)在的深度相機(jī)所取的深度范圍有限，如果目標(biāo)景深太大，深度信息可能無法得到。受現(xiàn)有技術(shù)的限制，本文算法現(xiàn)在適合做近距離視頻交互時(shí)的目標(biāo)跟蹤。

[1]Georgescu B，Shimshoni I，Meer P.Mean shift based clustering in high dimensions：a texture classification example[C]// IEEE International Conference on Computer Vision，2003，2：456-463.

[2]Comaniciu D，Meer P.Mean shift：a robust approach toward feature space analysis[J].IEEE Trans on Pattern Anal Mach Intell，2002，24（5）：603-619.

[3]Collins R.Mean shift blob tracking through scale space[C]// IEEE Conference on Computer Vision and Pattern Recognition，2003，2：234-240.

[4]Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking[J]. IEEE Trans on Pattern Anal Mach Intell，2003，25（5）：564-577.

[5]Cheng Y.Mean shift，mode seeking，and clustering[J].IEEE Trans on Pattern Anal Mach Intell，1995，17（8）：790-799.

[6]鄭玉鳳，馬秀榮，趙曉琳，等.基于顏色和邊緣特征的均值遷移目標(biāo)跟蹤算法[J].光電子激光，2011，22（8）：1231-1235.

[7]李小和，張?zhí)?，沈曉東，等.基于加權(quán)空間直方圖的均值漂移目標(biāo)跟蹤[J].光電子·激光，2010，21（5）：767-771.

[8]Ning Jifeng，Zhang Lei，Zhang D，et al.Robust mean shift tracking with corrected background-weighted histogram[J]. IET Computer Vision，2010.

[9]陳建軍，安國成，張索非，等.基于直方圖插值的均值移動(dòng)小尺寸目標(biāo)跟蹤算法[J].電子與信息學(xué)報(bào)，2009，32（9）：2119-2125.

[10]Han Ju，Ma Kaikuang.Fuzzy color histogram and its use in colorimageretrieval[J].IEEE Transactionson Image Processing，2002，11（8）：944-952.

[11]Ma Y，Worrall S，Kondoz A M.Depth assisted visual tracking[C]//10th Workshop on Image Analysis for Multimedia Interactive Services，2009：157-160.

[12]Ma Y，Worrall S，Kondoz A M.Depth assisted occlusion handling in video object tracking[C]//Proc 10th IEEE International Workshop on Image Analysis for Multimedia Interactive Services，London，2009.

[13]Shotton J，F(xiàn)itzgibbon A，Cook M，et al.Real-time human pose recognition in parts from a single depth image[C]// CVPR，2011.

[14]Marr D，Poggio T.Cooperative computation of stereo disparity[J].Science，1976，194：283-287.

[15]馬頌德，張正友.計(jì)算機(jī)視覺-計(jì)算理論和算法基礎(chǔ)[M].北京：科學(xué)出版社，1998：73-75.

[16]Forsyth D A，Ponce J.Computer vision：a modern approach[M]. New Jersey：Prentice Hall，2002：18-25.

[17]左軍毅，梁彥，趙春暉，等.Mean Shift跟蹤算法中尺度自適應(yīng)策略的研究[J].中國圖象圖形學(xué)報(bào)，2008，13（9）：1750-1757.

[18]康文靜，丁雪梅，劉功亮，等.帶寬自適應(yīng)Mean Shift跟蹤算法[J].光電子·激光，2008，19（1）：135-138.

SONG Kangkang,CHEN Ken,GUO Yunyan

College of Information Science and Engineering,Ningbo University,Ningbo,Zhejiang 315211,China

The background noise in the candidate object model diminishes the object color characteristic,and induces localization error.To reduce the error,according to the discriminative depth level between the object’s and the background’s,a Mean Shift algorithm based on depth cues assisted and corrected background-weighted histogram is proposed.The proposed algorithm can sufficiently weaken the background noisy interference in the kernel window,enhance the object’s color feature information, and update the kernel size adaptively in due course to reduce the distractive information in the background as the object size becomes small.Experimental result shows the proposed algorithm has fewer iteration number and good localization precision of tracking. Key words：depth cues;Mean Shift;adaptive kernel bandwidth;color histogram

參考目標(biāo)模型中混入的背景噪聲會(huì)弱化目標(biāo)特征的描述，導(dǎo)致目標(biāo)跟蹤定位誤差。為減少誤差，依據(jù)目標(biāo)與背景處于不同深度平面的特點(diǎn)，提出了基于深度信息輔助的和改進(jìn)的背景加權(quán)直方圖的Mean Shift跟蹤算法，能夠有效削弱核窗口中的背景干擾信息，突出目標(biāo)的顏色特征信息，并適時(shí)自適應(yīng)更新核帶寬，減少因目標(biāo)尺寸變小時(shí)引入較多的背景干擾信息。實(shí)驗(yàn)結(jié)果表明該算法迭代次數(shù)更少，具有良好的跟蹤定精度。

深度信息；均值漂移；帶寬自適應(yīng)；顏色直方圖

A

TP39

10.3778/j.issn.1002-8331.1202-0245

SONG Kangkang,CHEN Ken,GUO Yunyan.Mean Shift object tracking algorithm assisted by depth cues.Computer Engineering and Applications,2013,49（23）：177-180.

寧波市科技局自然科學(xué)基金（No.2010A610109）。

宋康康（1986—），男，碩士，主要研究領(lǐng)域?yàn)橐曨l目標(biāo)跟蹤、圖像處理；陳懇（1962—），男，博士，副教授，主要研究領(lǐng)域?yàn)閳D像與視頻處理、智能控制；郭運(yùn)艷（1987—），女，碩士，主要研究領(lǐng)域?yàn)橐曨l目標(biāo)跟蹤、圖像處理。E-mail：boyadme@163.com

2012-02-14

2012-04-06

1002-8331（2013）23-0177-04

CNKI出版日期：2012-06-15 http://www.cnki.net/kcms/detail/11.2127.TP.20120615.1726.035.html