毛曉波，朱東偉，陳鐵軍

(鄭州大學(xué)電氣工程學(xué)院，河南鄭州450001)

0 引言

視頻目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)備受關(guān)注的前沿問(wèn)題，在安全監(jiān)控、軍事偵察、精確制導(dǎo)、機(jī)器人導(dǎo)航等領(lǐng)域有著廣泛的應(yīng)用.視頻目標(biāo)跟蹤是在連續(xù)的圖像序列中精確地定位目標(biāo)的位置、速度、姿態(tài)等狀態(tài)［1］.目標(biāo)跟蹤的困難主要集中在目標(biāo)顏色和形狀的變化、目標(biāo)所在環(huán)境光線的變化、目標(biāo)被遮擋及運(yùn)動(dòng)無(wú)規(guī)律等方面.設(shè)計(jì)一個(gè)快速魯棒的目標(biāo)跟蹤算法依然具有挑戰(zhàn)性.目前的目標(biāo)跟蹤算法大體上分為兩類：確定性跟蹤方法和概率性跟蹤方法.確定性的跟蹤方法是通過(guò)尋找目標(biāo)的最優(yōu)匹配來(lái)實(shí)現(xiàn)跟蹤，如均值漂移算法［2］(Mean Shift，MS);概率性跟蹤方法是將目標(biāo)轉(zhuǎn)換為貝葉斯濾波框架下預(yù)測(cè)目標(biāo)狀態(tài)的迭代過(guò)程，如卡爾曼濾波［3］(Kalman Filter，KF)、粒子濾波［4］(Particle Filter，PF)等.

1 粒子濾波

粒子濾波是一種基于遞推貝葉斯理論和蒙特卡羅模擬的濾波方法.它的基本思想是用一些帶權(quán)值的隨機(jī)采樣點(diǎn)(粒子)來(lái)表示系統(tǒng)狀態(tài)的后驗(yàn)概率密度函數(shù)，以樣本均值代替積分運(yùn)算，從而獲得狀態(tài)最小方差估計(jì)的過(guò)程.當(dāng)樣本數(shù)目足夠多時(shí)，這種估計(jì)等同于后驗(yàn)概率密度.

貝葉斯遞推處理過(guò)程分為預(yù)測(cè)和更新2個(gè)階段.預(yù)測(cè)階段是利用系統(tǒng)模型預(yù)測(cè)狀態(tài)的先驗(yàn)概率密度;更新階段是用最新的觀察數(shù)據(jù)進(jìn)行修正，得到后驗(yàn)概率密度［7］.Bayes 公式為

式中：p( xk|xk－1)由運(yùn)動(dòng)模型定義;p( yk|xk)由觀察模型定義.

遞推迭代關(guān)系式(1)和(2)構(gòu)成了最優(yōu)貝葉斯估計(jì)的解.由于式(1)中積分運(yùn)算很難實(shí)現(xiàn)，不可能進(jìn)行精確分析，所以利用蒙特卡羅仿真來(lái)模擬遞推貝葉斯估計(jì).同時(shí)考慮到直接從后驗(yàn)概率抽樣的困難，粒子濾波算法從一個(gè)比較容易采樣的重要性分布函數(shù) q( xk|xk－1，Yk)中抽取N個(gè)樣本，通過(guò)式(1)和式(2)對(duì)粒子進(jìn)行位置和權(quán)值更新，得到k時(shí)刻狀態(tài)的后驗(yàn)概率密度和權(quán)值更新公式［8－10］：

對(duì)于重要性函數(shù)的選擇，將重要性函數(shù)選為狀態(tài)轉(zhuǎn)移模型［11］，即 q(xk|xk－1，Yk)=p(xk|xk－1).則粒子權(quán)值更新公式變?yōu)椋?/p>

2 目標(biāo)特征的提取

視頻跟蹤的目標(biāo)特征主要包括：顏色特征、輪廓特征、紋理特征、梯度方向特征等.筆者將顏色特征和梯度方向特征進(jìn)行融合生成綜合直方圖特征.

2.1 顏色直方圖特征

顏色直方圖特征在平面旋轉(zhuǎn)和部分遮擋的情況下變化不大，很適合描述目標(biāo)，是一個(gè)被廣泛采用的特征.為了減少跟蹤過(guò)程中光照變化的影響，筆者采用HSV顏色模型.HSV顏色模型的3個(gè)分量相互獨(dú)立：H和S分量分別表示色調(diào)和飽和度，對(duì)光照不敏感;而V分量表示亮度分量，對(duì)光照非常敏感，所以只對(duì)H和S分量根據(jù)量化級(jí)數(shù)加以量化建立直方圖.為了增加顏色直方圖描述的魯棒性，加入表示空間信息的核函數(shù)計(jì)算加權(quán)直方圖：使位于目標(biāo)中央的區(qū)域有較高的權(quán)值;而邊緣區(qū)域有可能包含背景，貢獻(xiàn)小故分配較小的權(quán)值.對(duì)H和S分量的每個(gè)通道分配量化級(jí)為8，那么顏色直方圖的量化級(jí)數(shù)為m=8×8.假設(shè)目標(biāo)狀態(tài)以 X=(x，y)為中心，h=(hx，hy)為半徑，目標(biāo)區(qū)域內(nèi)像素的位置為Xi=(xi，yi)，則目標(biāo)區(qū)域內(nèi)的歸一化顏色直方圖［12］為

層次加權(quán)分析法缺點(diǎn)有，評(píng)價(jià)的主觀臆斷性及其過(guò)程的隨機(jī)性，從而使得結(jié)果的可信度降低。此外，當(dāng)判斷因素較多時(shí)，常常會(huì)因?yàn)閷哟畏纸夂唾x值的不一致而出現(xiàn)判斷矩陣不一致的現(xiàn)象。

式中：δ是Delta函數(shù);函數(shù)b(Xi)是位于Xi處的像素在直方圖上顏色等級(jí)索引的映像;u為直方圖中顏色等級(jí)索引;k(·)為權(quán)值核函數(shù);n為目標(biāo)區(qū)域內(nèi)像素總數(shù).

2.2 梯度方向直方圖特征

筆者根據(jù)HSV顏色模型中的亮度分量V對(duì)目標(biāo)區(qū)域建立一個(gè)簡(jiǎn)化了的梯度方向直方圖，來(lái)描述該區(qū)域的空間位置信息.建立梯度方向直方圖，首先計(jì)算區(qū)域內(nèi)所有像素點(diǎn)f(x，y)的垂直方向和水平方向相鄰點(diǎn)的差，然后計(jì)算各個(gè)像素點(diǎn)的梯度 G(x，y)和方向 θ(x，y)，如圖 1 所示.計(jì)算公式為［13］：

圖1 梯度方向向量Fig.1 Gradient direction vector

式中：θ(x，y)的范圍為［－π，π］，最后統(tǒng)計(jì)各個(gè)方向上的梯度幅值，形成梯度方向直方圖.筆者將［－π，π］量化為8級(jí)，即每0.25π 一個(gè)間隔.則目標(biāo)區(qū)域內(nèi)歸一化的梯度方向直方圖為

2.3 綜合直方圖特征

融合了m位顏色直方圖和n位梯度方向直方圖的m×n位歸一化的綜合直方圖定義為

通過(guò)式(10)得到的綜合直方圖不僅包含了目標(biāo)的顏色特征，還融合了目標(biāo)的結(jié)構(gòu)信息，能夠更加準(zhǔn)確地對(duì)目標(biāo)進(jìn)行描述.

2.4 相似性度量

當(dāng)計(jì)算出目標(biāo)區(qū)域和目標(biāo)候選區(qū)域的綜合直方圖分布時(shí)，采用Bhattacharyya距離［14］來(lái)衡量?jī)蓚€(gè)分布的相似程度.假設(shè)目標(biāo)模板的m×n位綜合直方圖分布為候選目標(biāo)的綜合直方圖分布為 pGen=則兩者之間的相似程度可以表示為

式中：ρ[ pGen，qGen]即為Bhattacharyya系數(shù)

得到兩種分布之間的Bhattacharyya距離后，設(shè)計(jì)如下的觀察似然函數(shù)：

3 基于綜合直方圖的粒子濾波

3.1 狀態(tài)轉(zhuǎn)移概率模型

在視頻跟蹤中，用狀態(tài)轉(zhuǎn)移概率模型來(lái)描述相鄰兩幀圖像上目標(biāo)的運(yùn)動(dòng).一個(gè)合適的模型可以精確地描述目標(biāo)的運(yùn)動(dòng)狀態(tài)，提高跟蹤的可靠性.筆者采用常速模型來(lái)描述其運(yùn)動(dòng)規(guī)律，并用一矩形來(lái)表示目標(biāo)的輪廓.目標(biāo)狀態(tài)表示為X=和hy為目標(biāo)矩形的長(zhǎng)和寬，狀態(tài)轉(zhuǎn)移概率模型為

式中：Wt是系統(tǒng)噪聲，是跟蹤過(guò)程中的不確定因素，用來(lái)描述狀態(tài)轉(zhuǎn)移模型與目標(biāo)運(yùn)動(dòng)真實(shí)模型之間的差異.

3.2 綜合直方圖粒子濾波跟蹤算法

初始化：在初始幀，通過(guò)手動(dòng)選擇感興趣區(qū)域，并計(jì)算該區(qū)域的綜合直方圖特征，完成目標(biāo)模板的初始化.通過(guò)加高斯噪聲的方式產(chǎn)生N個(gè)粒子各個(gè)粒子的初始權(quán)重均為

重要性采樣：讀入下一幀的圖像，將上一時(shí)刻的粒子狀態(tài)通過(guò)式(14)進(jìn)行傳遞，得到新的粒子.

權(quán)值更新：分別通過(guò)式(6)和式(9)計(jì)算每個(gè)粒子的顏色直方圖和梯度方向直方圖，并通過(guò)式(10)計(jì)算出每個(gè)粒子的綜合直方圖，然后通過(guò)式(13)計(jì)算每個(gè)粒子狀態(tài)對(duì)應(yīng)的觀察似然函數(shù)值(Y|X)，最后通過(guò)式(5)計(jì)算每一個(gè)粒子的權(quán)值并歸一化權(quán)值

若序列未結(jié)束，轉(zhuǎn)重要性采樣，否則，結(jié)束.

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證該算法的有效性，利用多組視頻進(jìn)行了測(cè)試.利用H通道和S通道建立顏色直方圖，且每個(gè)通道均量化為16個(gè)灰度級(jí).梯度方向直方圖量化為8級(jí).與筆者算法進(jìn)行對(duì)比的基于顏色的粒子濾波目標(biāo)跟蹤，顏色直方圖采用RGB顏色模型，且每個(gè)通道量化為16級(jí).實(shí)驗(yàn)圖像大小為320×240，粒子數(shù)目為100，σ2g=0.01.在實(shí)驗(yàn)中，電腦配置為 Pentium(R)4 CPU，1G內(nèi)存，Windows XP操作系統(tǒng)，算法通過(guò)VC++6.0開(kāi)發(fā)平臺(tái)和開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)OpenCV編寫實(shí)現(xiàn).

圖2為室內(nèi)環(huán)境下兩種跟蹤算法對(duì)人體目標(biāo)跟蹤的對(duì)比情況，選取了第137幀，第150幀，第158幀，第162幀圖片.通過(guò)對(duì)比發(fā)現(xiàn)，基于傳統(tǒng)顏色的粒子濾波算法，由于沒(méi)有考慮目標(biāo)顏色與背景相似的情況，導(dǎo)致跟蹤的效果不理想，目標(biāo)從第150幀已經(jīng)出現(xiàn)了偏移，到第158幀時(shí)偏移在繼續(xù)增大，到第162幀時(shí)矩形框與目標(biāo)已經(jīng)完全分離，跟蹤失敗.筆者算法在使用顏色信息的同時(shí)，將具備一定目標(biāo)結(jié)構(gòu)信息的梯度方向直方圖特征也加以提取，從而在受到相似背景顏色的影響時(shí)，可以通過(guò)梯度直方圖特征對(duì)目標(biāo)進(jìn)行準(zhǔn)確跟蹤.

圖3為高速公路上對(duì)汽車的跟蹤，選取了第330幀，第343幀，第349幀和第354幀圖片.在跟蹤過(guò)程中會(huì)受到其他車輛的影響，并且目標(biāo)顏色與路面顏色相似，在利用顏色跟蹤的同時(shí)，利用梯度方向信息區(qū)別目標(biāo)與背景之間的結(jié)構(gòu)差異，跟蹤不會(huì)出現(xiàn)較大偏移，能夠較準(zhǔn)確地跟蹤到目標(biāo).而傳統(tǒng)的跟蹤算法在跟蹤過(guò)程中由于受到背景的干擾，容易造成比較大的偏差，顯然在跟蹤精度上筆者算法優(yōu)于傳統(tǒng)的粒子濾波算法.

圖4給出了筆者算法和文獻(xiàn)［7］算法的跟蹤結(jié)果對(duì)比.該序列中包含了遮擋、相似顏色的背景干擾，選擇了第845幀，第855幀，第858幀和第859幀圖片.從圖中可以看出，由于筆者算法使用的綜合直方圖特征能夠更加準(zhǔn)確地表征目標(biāo)，所以在目標(biāo)處于部分遮擋并且相似背景的情況下，可以較準(zhǔn)確地跟蹤目標(biāo);當(dāng)遮擋結(jié)束后能夠恢復(fù)準(zhǔn)確跟蹤，具有較強(qiáng)的魯棒性.文獻(xiàn)［7］只是將兩種特征簡(jiǎn)單的加權(quán)相加，在一定程度上并不能準(zhǔn)確表征目標(biāo)，因此跟蹤的效果不理想.

5 結(jié)論

筆者提出了一種基于綜合直方圖的粒子濾波視頻目標(biāo)跟蹤算法，融合顏色直方圖和梯度方向直方圖，形成綜合的直方圖特征，增強(qiáng)了對(duì)目標(biāo)的空間結(jié)構(gòu)信息描述.使得似然函數(shù)對(duì)目標(biāo)的描述更加充分.實(shí)驗(yàn)結(jié)果表明，該算法優(yōu)于基于顏色的粒子濾波算法，能夠在復(fù)雜背景或者嚴(yán)重遮擋的情況下對(duì)目標(biāo)進(jìn)行準(zhǔn)確跟蹤，具有較強(qiáng)的魯棒性.

［1］王歡，王江濤，任明武，等.一種魯棒的多特征融合目標(biāo)跟蹤新算法［J］.中國(guó)圖象圖形學(xué)報(bào).2009，14(3)：489－495.

［2］KATJA N，ESTHER K M，LUC V G.An adaptive color-based filter［J］.Image Vision Computing，2003，21(1)：99－110.

［3］WENG S K，KUO CM，TU S K.Video object tracking using adaptive Kalman filter［J］.Journal of Visual Communication and Image Representation，2006，17(6)：1190－1208.

［4］GORDON N J，SALMOND D J，SMITHA F M.Novel approach to nonlinear/non-Gaussian Bayesian estimation ［J］.IEE Proc.Radar and Signal Processing，1993，140(2)：107－113.

［5］曾偉，朱桂斌，陳杰，等.多特征融合的魯棒粒子濾波跟蹤算法［J］.計(jì)算機(jī)應(yīng)用.2010，30(3)：644－645.

［6］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［C］//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego：IEEE Computer Society Press，2005：886－893.

［7］陳善靜，楊華，曾凱，等.基于多特征融合的粒子濾波算法研究［J］.計(jì)算機(jī)工程.2011，7(4)：178－180.

［8］沈玉娟，王健.基于粒子濾波跟蹤方法研究［J］.儀表技術(shù)，2010(3)：55－57.

［9］楊小軍，潘泉，王睿，等.粒子濾波進(jìn)展與展望.控制理論與應(yīng)用［J］.2006，23(2)：261－265.

［10］張?jiān)姽穑炝⑿?，趙義正.粒子濾波算法研究現(xiàn)狀與發(fā)展趨勢(shì)［J］.電子信息對(duì)抗技術(shù).2010，25(5)：8－15.

［11］胡仕強(qiáng)，敬忠良.粒子濾波原理及其應(yīng)用［M］.北京：科學(xué)出版社.2010.

［12］NUMMIARO K，VAN G L.An adaptive color-based particle filter［J］.Image and Viaion Computing，2003，21(1)：99－110.

［13］LOWE D.Distinctive image features from scale-invariant keypoints［J］.Journal of Computer Vision，2004，60(2)：91－110.

［14］THACKER N，AHERNA F，ROCKETT P.The bhattacharyya metric an absolute similarity measure for frequency coded data［J］.Kybernetika，1997，34(4)：363－368.