宋佳聲,戴樂陽(集美大學輪機工程學院,福建省船舶與海洋工程重點實驗室,福建廈門361021)

?

應用顏色與光流特征的粒子濾波的視頻跟蹤

宋佳聲,戴樂陽
(集美大學輪機工程學院,福建省船舶與海洋工程重點實驗室,福建廈門361021)

摘要:在視頻跟蹤系統(tǒng)中,為了在連續(xù)幀的圖像空間中找到移動目標的坐標、速度、大小以及旋轉等狀態(tài)信息,并且為了克服單一特征表征造成的可分性差的問題,提出了在3層粒子框架下的基于顏色和運動特征的濾波算法.首先,分析并提出了目標候選模式和原型之間的顏色特征和光流特征的相似度測量方法.然后,通過首層位置粒子的衍生算法使得顏色與光流特征應用于不同層次的粒子中,從而解決了多特征測量的融合問題.實驗結果表明,本算法在無遮擋時能夠不丟失地跟蹤目標,正確地估計目標狀態(tài),并據(jù)此自適應地調整跟蹤窗口的位置、大小和方向;在有遮擋時,算法能正確地預測目標位置并在目標重新出現(xiàn)后能夠及時捕捉目標繼續(xù)跟蹤;本算法的位置跟蹤的相對誤差精度約10%.

關鍵詞:目標跟蹤;粒子濾波;顏色模型;光流模型;層次粒子結構

基于視頻的目標跟蹤廣泛應用于軍事、交通管理和安防監(jiān)控等領域.在20世紀60年代,貝葉斯理論被首次應用于隨機濾波理論之中[1].隨后,蒙特卡羅采樣方法的引入得到了粒子濾波,從而使得貝葉斯濾波能夠實現(xiàn)在線的參數(shù)或狀態(tài)估計[2].Doucet證明了粒子濾波的收斂性[3-4],Gorden等[5]提出的自助法解決了重采樣問題,很快它便被應用到了視頻跟蹤領域[6-7].總體而言,這方面的研究圍繞以下兩個基本的問題展開.第一,目標表觀建模.有的稱之為匹配問題,就是在所有可能的目標中識別(估計)出目標的運動信息.其主要內容是在某個特征空間中對目標原型與候選目標進行相似性測量.常被采用的特征有輪廓[8-9]、顏色[10-12]、紋理[13]、特征點[14]、特征子圖等.因采用單一特征的視頻跟蹤常面臨候選目標可分性差的問題,故而多采用融合多種特征的表觀模型[15-17].本文采用了顏色和光流特征作為表觀模型,與文獻[16]不同的是,本文并不需要計算粒子區(qū)域的光流直方圖,也不需討論融合模型的權值自適應設計,而是將顏色與光流的計算分屬為兩個不同層次的問題.第二,目標運動建模.其目的都是希望所建立的運動模型能夠給出在下一幀圖像中目標的可能狀態(tài),為目標的狀態(tài)估計提供先驗知識.本文將目標狀態(tài)(位置、大小、方向)分解為3個層次的粒子結構,采用參數(shù)可調的二階回歸模型對頂層的位置粒子運動建模,然后,據(jù)此設計相應的目標自適應的跟蹤算法.

1 視頻跟蹤系統(tǒng)的分析與建模

1.1狀態(tài)轉移模型

圖1(a)表示了在圖像坐標下的目標跟蹤窗口,或者稱為觀測窗口.隨著目標移動而自適應地“拖拽”窗口,使得被跟蹤目標始終位于觀測窗口內,并根據(jù)目標的大小與姿態(tài)調整窗口的尺寸與角度.目標運動參數(shù)為:位置(xt,yt)、速度xtyt)、觀測窗口尺寸(rt, ct)及其與坐標軸的夾角θt.

為降低狀態(tài)空間的維數(shù),將狀態(tài)向量St分解為3個層次的粒子,分別對應位置、方向、大小.首先,考慮首層位置粒子,即目標質心點(觀測窗口中心),采用如式(1)二階回歸模型建模,其中Xt=[xt,yt]T,dt-1為過程噪聲,λ為0.5～1之間的速度因子.其次,考慮目標的旋轉粒子,即姿態(tài)變化,以每一個位置粒子為中心旋轉觀測窗口的角度,并且在不同角度下分別選擇不同尺寸的粒子.圖1(b)所示每一個狀態(tài)粒子下產(chǎn)生了18個搜索粒子,對不同的角度、尺寸進行搜索.故形成3個層次的粒子:底層進行目標大小搜索,中間層進行姿態(tài)(角度)搜索,頂層確定目標的具體位置.

圖1　在圖像空間的跟蹤窗口和層次粒子Fig.1 Tracking window and hierarchic particles in image space

1.2狀態(tài)觀測模型

1.2.1基于顏色值的特征提取與相似性測量

根據(jù)文獻[10]提出的核函數(shù)直方圖,將模式中的每個像素投影到特征空間的特征向量乘一個[0,1]內的系數(shù).受此啟發(fā)提出以下顏色值特征提取方法.首先,將每個通道的顏色值范圍[0,255]壓縮到[0,7].然后,模式特征向量Q的第u個特征值計算如式(2).

其中

所謂相似測量,就是考察原型模式與候選模式之間的相似性.將原型的特征向量記為Q,候選模式的特征向量記為P,某一個粒子對應的候選模式與原型模式之間的Bhattacharyya距離定義為如下形式:d=,其中的系數(shù)定義為

最后,將距離轉化為[0,1]內的概率,即當前模式的似然概率:

這里存在的主要問題是,計算所得的各候選模式的似然概率過于接近[16,18].為了找到區(qū)分度更高的似然函數(shù),通過對式(3)在真值附近的一階泰勒展開式分析得到式(5).其中,pu≠0;若pu=0,則取p(Yt| Xit)=0,C為歸一化常數(shù).它考慮了觀測窗口中像素的位置和顏色特征:在模式的每一個像素點所對應的特征下,都將兩者相應的特征值相除并乘以其位置系數(shù),如此遍歷所有像素.

1.2.2基于運動的特征提取及相似性測量

光流是當圖像傳感器與目標物體之間有相對運動時圖像空間中亮度模式變化的速度.文獻[18]提出了光流直方圖并在此基礎上分析某區(qū)域的運動方向與強度,受此啟發(fā)并為了簡化光流算法的計算量,計算觀測窗口內的總光流矢量如下:

首先,獲取觀測窗口范圍內的連續(xù)的2幀(即t與t-1時刻的圖片),按照Horn-Schunck算法[19]計算觀測窗口的光流場{[ui,j,vi,j]T},i,j在觀測窗口內取值.然后,對光流場中所有光流矢量求和并按固定比例κ縮小,得到觀測窗口內在t時刻的總光流矢量:

最后,根據(jù)觀測窗口的總光流矢量計算它在跟蹤窗口坐標中的角度,并轉化為[0,90°]內的夾角ρt,據(jù)此作為相似性比較的依據(jù),取值最小者作為粒子對應跟蹤窗口角度.

1.2.3模式原型特征的更新

環(huán)境或者目標自身的改變都會引起模式原型特征的變化,相應的原型特征向量需要實時更新.更新的依據(jù)一般是模式的觀察值或者估計值.考慮到粒子濾波輸出就是系統(tǒng)狀態(tài)的貝葉斯最優(yōu)估計,從理論上講它是比所有粒子更加接近于真值.因此,在任意t時刻,選取濾波器輸出的狀態(tài)估計值所對應的模式特征PE(s(t))與目標原型特征Qt進行比較,當其相似性大于某個設定閥值時,則按式(8)更新;當小于閥值時,說明出現(xiàn)了丟失目標或者目標被遮擋的情況,則不更新模式原型.

2 跟蹤算法的設計

2.1粒子惡化與重采樣技術

粒子濾波器經(jīng)過多次迭代之后會出現(xiàn)權重惡化的現(xiàn)象.為了解決這個問題,可對粒子實施重采樣算法.具體的重采樣算法主要有多項式分布重采樣、系統(tǒng)重采樣、分層重采樣以及殘差重采樣,各種重采樣的定義和比較見文獻[3,20].這里采用的是多項式分布重采樣算法.產(chǎn)生在[0,1]內服從均勻分布的Ns個隨機數(shù),對任一個ukt,通過t時刻的粒子{Xit,的累積質量函數(shù)的反函數(shù)曲線,找到對應的粒子就是新的粒子,即得.由于每一個新采樣的粒子出現(xiàn)的機會均等,所以新粒子的權重都是1/Ns.這一過程如式(9)所示.

2.2跟蹤算法流程

本文跟蹤算法流程如圖2所示.在跟蹤初始,選定跟蹤目標的最小矩形區(qū)域(跟蹤窗口),據(jù)此初始化目標狀態(tài)參數(shù),并根據(jù)式(2)計算模式原型的顏色特征向量Q0.將狀態(tài)向量中的位置信息作為首層狀態(tài)粒子.根據(jù)均勻的先驗分布,在(x0,y0)周圍采樣Ns個粒子,得到粒子濾波器初始狀態(tài)

在下一幀時,將系統(tǒng)的狀態(tài)轉移概率模型(式(8))作為重要性函數(shù),產(chǎn)生新的Ns個粒子,得到首層粒子的預測值,并據(jù)圖3所示向下衍生:自左而右為粒子衍生,自右而左為粒子參數(shù)求解過程.中間層粒子是根據(jù)首層粒子位置在3個不同角度下搜索目標,根據(jù)式(7)選取最優(yōu)角度;底層粒子進一步在所在位置中采用不同尺寸搜索,根據(jù)式(5)選取最優(yōu)尺寸.按圖2自右而左計算最終得到第k個粒子的狀態(tài)同理計算其他粒子.利用式(5)計算這Ns個粒子的似然概率并歸一化為相應的權值,得的粒子濾波器,其中首層粒子為

圖3　粒子的衍生過程Fig.3 Particle derivative process

根據(jù)所得到的Ns個狀態(tài)值估計系統(tǒng)此刻的狀態(tài)值.根據(jù)E(st)獲取模式比較它與原型的相似性,并據(jù)此決定是否更新原型.若更新,則按照式(8)計算其特征作為新的目標原型特征;否則進一步判斷目標是否消失.若未消失,則進入重采樣進程;否則,退出.實驗中,當觀測窗口內的顏色特征與原型特征相似度小于0.7時,認為此時觀測窗口內已經(jīng)沒有被跟蹤目標,即目標丟失.其中,重采樣據(jù)式(9)執(zhí)行,獲得新的粒子濾波器,其中首層粒子濾波器為.最后,根據(jù)新的首層粒子在下一幀傳播以重復上述過程.

3　實驗結果與分析

在實驗中,算法的首層粒子數(shù)Ns等于20,程序均采用MATLAB 7.1編寫,表1是跟蹤視頻資料.

3.1行人跟蹤實驗

采用了2種不同的算法對Laboratory進行了實驗,實驗段為Laboratory的559～580幀.圖4(a)的圖片是采用Mean-shift算法(相應的實驗程序編寫根據(jù)文獻[10]),圖4(b)的圖片是采用本文跟蹤算法的實驗結果.水平方向的跟蹤軌跡如圖5,算法在每一幀的耗時如圖6所示.

表1　實驗視頻大小及跟蹤范圍Tab.1 Video sizes and the tracking frames

由圖4與圖5可知,在遮擋發(fā)生(即第569幀)時, Mean-shift算法錯誤地估計目標位置,且此后徹底丟失了目標.本文算法不但能在遮擋時正確估計目標位置,且在遮擋消除后迅速的捕捉到目標而繼續(xù)跟蹤(誤差均值15像素,誤差最大值28像素).由圖6可知,運行時間上的區(qū)別主要體現(xiàn)在首幀的初始化過程,Mean-shift為5.79 s,本文算法為1.17 s,在此后的跟蹤過程每幀耗時基本相同,平均每幀耗時分別為0.55和0.54 s.

3.2汽車跟蹤實驗

行駛的車輛在不同的幀中所呈現(xiàn)的角度和大小有很大的差異,本實驗目的在于應用本文算法估計目標車輛的位置、大小和角度.目標的速度由目標中心的幀間差估計.

實驗的跟蹤效果如圖7所示.黑色矩形是狀態(tài)估計的輸出:矩形的中心、對角線以及與X軸的夾角分別對應于目標的位置、目標大小以及運動方向.跟蹤窗口能夠根據(jù)當前幀中目標的狀態(tài)自適應第調整窗口的位置、大小和方向.目標基準數(shù)據(jù)源于庫中的Gruand Truth文件.

圖4　行人實驗跟蹤結果Fig.4 Experimental results of people tracking

圖5　水平方向跟蹤軌跡比較Fig.5 Comparison of path tracking along X-axis

圖6　跟蹤時間比較Fig.6 Comparison of tracking time per frame

為衡量跟蹤精度,對跟蹤誤差進行了統(tǒng)計:以目標在圖像空間的質心作為實際位置,統(tǒng)計矩形中心對它的偏差,得到表2所示的統(tǒng)計結果.表中的相對誤差值(相對誤差=絕對誤差值(像素)÷目標半徑(跟蹤窗口半徑))考慮了目標尺寸的大小變化.從表2可知, 2種視頻中跟蹤誤差的絕對值差異明顯,PetsD3TeC1的絕對誤差較PetsD2TeC1大,這是由于目標像素大小不同引起的:PetsD2TeC1中目標半徑變化過程為63～91;PetsD2TeC1半徑變化范圍:149～90.比較2個視頻的相對誤差數(shù)據(jù),在2個方向上的相對值都比較接近.所以,這里選擇相對誤差值作為跟蹤精度的衡量指標,即選用考慮了目標尺寸的相對誤差作為跟蹤精度的衡量尺度.據(jù)表1可知,本文算法的平均跟蹤誤差約為10%.

圖7　汽車跟蹤實驗結果Fig.7 Experimental results of vehicle tracking

表2　PetsD2TeC1與PetsD3TeC1的運動目標位置跟蹤誤差統(tǒng)計結果Tab.2 Statistical results of position-tracking error in the two video:video 2 and 3.

4 結 論

在貝葉斯濾波的框架下,本文詳細分析了視頻跟蹤系統(tǒng)的狀態(tài)轉移模型與狀態(tài)觀測模型,提出了基于運動目標顏色與運動特征的粒子濾波自適應跟蹤算法.

首先,從目標顏色特征的角度,在對顏色特征向量之間Bhattacharyya距離分解的基礎上提出了一種新的相似性計算方法.其次,從運動特征的角度提出,通過連續(xù)2幀的光流分析檢測目標運動方向進而確定觀測窗口的旋轉角度,并以此作為不同粒子的相似性測量依據(jù).在跟蹤算法方面,從貝葉斯濾波理論與蒙特卡洛方法出發(fā),結合視頻跟蹤特點提出了粒子的3層設計結構,減少了系統(tǒng)狀態(tài)維數(shù)的設計,并且精簡了粒子數(shù)量.最后,設計了2種場景的實驗:人體跟蹤與遮擋情況下的跟蹤、剛體(汽車)運動跟蹤蹤.試驗中采用的20個首層粒子都能得到滿意的實驗效果.在沒有遮擋的情況下,濾波估計輸出的觀測窗口都能夠找到被跟蹤目標,并且根據(jù)目標的變化自適應地調整跟蹤窗口的大小和方向;在有遮擋的情形下也能夠正確地估計出目標狀態(tài),并且在遮擋消除目標重新出現(xiàn)后,算法能夠很快捕捉到并繼續(xù)跟蹤.實驗證明,本文算法能夠正確估計視頻中被跟蹤目標的狀態(tài),位置的相對誤差約為10%.

參考文獻:

[1] HO Y,LEE R.A Bayesian approach to problems in stochastic estimation and control[J].Automatic Control, IEEE Transactions on,1964,9(4):333-339.

[2] KITAGAWA G.Non-Gaussian state-space modeling of nonstationary time series[J].Journal of the American Statistical Association,1987,82(400):1032-1041.

[3] DOUCET A,GODSILL S,ANDRIEU C.On sequential Monte Carlo sampling methods for Bayesian filtering[J]. Statistics and Computing,2000,10(3):197-208.

[4] CRISAN D,DOUCET A.Convergence of sequential Monte Carlo methods[R].Cambridge:University of Cambridge,2000.

[5] GORDON D,SMITH F M.Novel approach to nonlinear and non-Gaussian Bayesian state estimation[J].IEEE Proceedings-F,1993,140(2):107-113.

[6] ISARD M A.Visual motion analysis by probabilistic propagation of conditional density[D].Oxford:University of Oxford,1998.

[7] KUN W,LIU X P.Visual object tracking based on filtering methods[C]∥2011 IEEE Instrumentation and Measurement Technology Conference (I2MTC).Hangzhou,China:IEEE,2011:1-6.

[8] 宋佳聲,胡國清,焦亮.改進的幾何活動輪廓演化及其在目標跟蹤中的應用[J].華南理工大學學報(自然科學版),2015,42(1):72-78.

[9] LI C,XU C,GUI C,et al.Distance regularized level set evolution and its application to image segmentation[J]. IEEE Transactions on Image Processing,2010,19(12): 3243-3254.

[10] COMANICIU D,RAMESH V,MEER P.Kernel-based object tracking[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2003,25(5):564-577.

[11] VALISKA J,MARCHEVSKY S,KOKOSKA R.Object tracking by color-based particle filter techniques in videosequences[C]∥Proceedings of 24th International Conference Radioelektronika.Bratislava,Slovak Republic: IEEE,2014:1-4.

[12] KIM S H,KIM J H,HWANG Y B,et al.Object tracking using KLT aided mean-shift object tracker[C]∥Control,Automation and Systems(ICCAS),2014 14th International Conference on.Gyeonggi-do,South Korea: IEEE,2014:140-145.

[13] DIWAKAR M,PATEL P K,GUPTA K,et al.Object tracking using joint enhanced color-texture histogram [C]∥2013 IEEE Second International Conference on Image Information Processing(ICIIP).Waknaghat, Shimla,H.P.,India:IEEE,2013:160-165.

[14] 牛長鋒,陳登峰,劉玉樹.基于SIFT特征和粒子濾波的目標跟蹤方法[J].機器人,2010,32(2):241-247.

[15] LU X,SONG L,YU S,et al.Object contour tracking using multi-feature fusion based particle filter[C]∥Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications.Singapore:IEEE,2012: 237-242.

[16] 田雋,錢建生,李世銀,等.應用自適應多測量融合粒子濾波的視場跟蹤[J].光學精密工程,2010,18(10): 2254-2261.

[17] SONG J,HU G.Multi-feature visual tracking using adaptive unscented kalman filtering[C]∥The 2013 Sixth International Symposium on Computational Intelligence and Design.Hangzhou,China:IEEE,2013:197-200.

[18] 管志強,陳錢.基于光流直方圖的云背景下低幀頻小目標探測方法[J].光學學報,2009,28(8):1496-1501.

[19] HORN B,SCHUNCK P.Determining optical flow[J]. Artificial Intelligence,1981,17:185-203.

[20] HOL J D,SCHON T B,GUSTAFSSON F.On resampling algorithms for particle filters[C]∥2006 IEEE Nonlinear Statistical Signal Processing Workshop. Cambridge,UK:IEEE,2006:79-82.

[21] The Imagelab Laboratory of University of Modena and Reggio Emilia.Video surveillance online repository[DB/ OL].[2015-01-30].http:∥www.openvisor.org.

[22] Computation Vision Group of University of Reading.Performance evaluation in tracking for surveillance(PETS) [DB/OL].[2015-01-30].http:∥ftp.pets.rdg.ac.uk.

Particle Filtering Based on Color and Optical-flow Features for Video Tracking

SONG Jiasheng*,DAI Leyang
(Fujian Provincial Key Laboratory of Naval Architecture and Ocean Engineering, School of Marine Engineering,Jimei University,Xiamen 361021,China)

Abstract:For purposes of finding targets'state information,such as coordinates,speeds,sizes,and rotation,and to tackle the poor discrimination of color features of different patterns,the filtering algorithm of the three-level-particle frame,based on color and optical-flow features,is proposed for video tracking systems.First,the similarity measuring methods of color and optical-flow features between the target's candidate pattern and its prototype is analyzed and proposed.Then,the color and optical-flow features are applied into different levels of the hierarchic particle filter by the first level position particle's derivative process,which resolves the problem of multi-feature measuring fusion.Experimental results indicate that the proposed algorithm estimates the target's state correctly and tracks the target's state with no failure by adjusting the tracking window's position,size,and rotation adaptively,when there is no occlusion.Furthermore,the algorithm predicts the target's position correctly under occlusion and catches the position shortly when the occlusion disappears.Finally,the algorithm's precision of position tracking is approximately 10% of relative errors.

Key words:target tracking;particle filtering;color model;optical flow model;hierarchy particle structure

*通信作者:songjsh@jmu.edu.cn

基金項目:交通部應用基礎研究項目(2015329815220);福建省教育廳科研項目(JA14175)

收稿日期:2015-06-01 錄用日期:2015-10-08

doi:10.6043/j.issn.0438-0479.2016.02.023

中圖分類號:TP 391.4

文獻標志碼:A

文章編號:0438-0479(2016)02-0285-06

引文格式:宋佳聲,戴樂陽.應用顏色與光流特征的粒子濾波的視頻跟蹤[J].廈門大學學報(自然科學版),2016,55(2):285-290.

Citation:SONG J S,DAI L Y.Particle filtering based on color and optical-flow features for video tracking[J].Journal of Xiamen University(Natural Science),2016,55(2):285-290.(in Chinese)