陳 姝，彭小寧

(1.湘潭大學(xué)信息工程學(xué)院，湖南湘潭411105;2.湘潭大學(xué)智能計算與信息處理教育部重點實驗室，湖南湘潭411105;3.中南大學(xué)信息科學(xué)與工程學(xué)院，湖南長沙410083;4.懷化學(xué)院計算機科學(xué)與技術(shù)系，湖南懷化418008)

粒子濾波作為目標(biāo)跟蹤中的一種常用方法，具有非線性非高斯系統(tǒng)建模功能.由于粒子濾波能夠處理多模式問題，因而它相對其他單模式跟蹤算法(如meanshift)魯棒性更好［1］.粒子濾波采用狀態(tài)模型及觀測模型對動態(tài)系統(tǒng)建模，因而不精確的狀態(tài)模型或觀測模型對跟蹤結(jié)果影響極大.在無規(guī)律運動目標(biāo)跟蹤或低幀率的運動目標(biāo)跟蹤中，目標(biāo)運動的連續(xù)性被破壞，從而使得預(yù)先建立的運動模型(狀態(tài)模型)預(yù)測效果變差，跟蹤出現(xiàn)誤差，隨著誤差積累會造成跟蹤丟失.另一方面，由于光照變化、尺度變化、遮擋或背景成簇等原因，采用單一特征難以表達目標(biāo)外觀的多變性.為了提高觀測模型的精度，目前提出了多種改進方法.Liang Dawei等［2］提出一種結(jié)合邊緣與區(qū)域的觀測模型，王敏等［3］提出一種基于高斯分布來近似估計未知變量的后驗分布的粒子濾波算法，近年來提出的目標(biāo)外觀在線更新也取得了較好的效果［4-5］.

基于檢測的目標(biāo)跟蹤作為另一類目標(biāo)跟蹤方法，如 Adaboost［6］、SVM［7］，其基本思想是在視頻序列的每一幀中應(yīng)用分類器對目標(biāo)進行分類，并將每幀分類結(jié)果組合成一個運動軌跡作為最終的跟蹤結(jié)果.根據(jù)訓(xùn)練樣本產(chǎn)生策略不同分為在線訓(xùn)練及離線訓(xùn)練兩種.離線訓(xùn)練采用傳統(tǒng)的學(xué)習(xí)方法，在跟蹤前使用采集的樣本對分類器進行訓(xùn)練，跟蹤時利用訓(xùn)練好的分類器對目標(biāo)進行分類，分類結(jié)果作為跟蹤結(jié)果.離線方法對于訓(xùn)練樣本集中的目標(biāo)有較好的檢測效果，但是檢測非樣本集中的目標(biāo)效果較差.在線訓(xùn)練方法采用半監(jiān)督訓(xùn)練方法，將每幀的跟蹤結(jié)果作為一個訓(xùn)練樣本［8］.相比較離線訓(xùn)練方法，在線訓(xùn)練得到的分類器具有更好的魯棒性，檢測效果更好.

粒子濾波通過后驗概率來估算運動目標(biāo)的分布，充分利用了目標(biāo)運動的連續(xù)性，在有規(guī)律運動目標(biāo)跟蹤中取得了較好的效果，但是運動變化劇烈則可能會出現(xiàn)跟蹤漂移.目標(biāo)檢測無需知道運動目標(biāo)的先驗狀態(tài)，完全依據(jù)當(dāng)前幀信息進行分類，因而具有自啟動特點，但是其跟蹤結(jié)果精度較差.文中提出一種結(jié)合粒子濾波與在線隨機森林分類的目標(biāo)跟蹤算法，充分利用這兩類跟蹤方法的優(yōu)點來提高跟蹤的精度.

1 粒子濾波原理

在傳統(tǒng)的粒子濾波算法中，動態(tài)系統(tǒng)由兩種模型來表示:狀態(tài)模型和觀測模型.狀態(tài)用x向量表示，觀測用z向量表示.假定上一狀態(tài)已知，狀態(tài)模型用來預(yù)測下一狀態(tài)，其定義如下:

式中:g:Rn×Rm→Rn為狀態(tài)變換函數(shù);vk-1∈Rm為零均值獨立同分布的白噪聲.觀測模型用來度量當(dāng)前觀測下某一狀態(tài)的相似度，其定義為

式中:h:Rn×Rr→Rp為度量函數(shù);nk∈Rr為另一個零均值獨立同分布的白噪聲.

根據(jù)貝葉斯理論，跟蹤就是在假定預(yù)測值z1:k=(z1，z2，…，zk)的情況下計算后驗概率密度p(xk|z1:k).在粒子濾波跟蹤算法中該后驗概率以一個帶權(quán)的粒子集來近似，每個粒子代表目標(biāo)狀態(tài)的一個假設(shè)對應(yīng)的權(quán)值定義為，并且滿足z1:k)由觀測模型(2)計算得到.因而k時刻的目標(biāo)狀態(tài)由下式得到:

在k+1時刻，新的粒子集根據(jù)每個粒子的權(quán)值進行重采樣，重采樣的粒子集再根據(jù)狀態(tài)模型(1)進行系統(tǒng)狀態(tài)傳播，從而可以進行k+1時刻的目標(biāo)跟蹤.這樣不停迭代進行粒子傳播就可以完成整個系統(tǒng)狀態(tài)跟蹤.

由以上分析可知，粒子濾波跟蹤的精度依賴于狀態(tài)模型及觀測模型的可靠性.不精確的狀態(tài)模型及觀測模型都可能造成跟蹤精度下降及跟蹤失效.

2 隨機森林分類器

隨機森林分類器最先由Breima提出，A.Saffari等［9］在此基礎(chǔ)上提出在線學(xué)習(xí)算法.隨機森林分類器作為集成分類器的一種，具有分類效果好、分類速度快、防過擬合等優(yōu)點.一個典型的隨機森林如圖1所示，其基本思想是將多個弱分類器集成一個強分類器，在該森林中，共有N個弱分類器，每個弱分類器由一棵決策樹組成，分類結(jié)果以森林中各棵決策樹的分類結(jié)果平均最大值作為隨機森林分類器的輸出．

圖1 隨機森林示意圖

假設(shè)樣本數(shù)為L，樣本中的變量為M，則隨機森林的訓(xùn)練過程如下:

1)從樣本集中有放回地采樣L個訓(xùn)練樣本，使用這些樣本對每棵決策樹訓(xùn)練．

2)在決策樹的每個分裂點，從M個變量中隨機選擇m個變量(m?M)，將這m個變量中具有最大熵增益的變量作為當(dāng)前分裂點．m值在森林訓(xùn)練過程中保持不變．

3)對每棵決策樹進行無剪枝增長直至葉子節(jié)點為純節(jié)點(即該節(jié)點中的樣本都屬于同一類)或無法再增長．

在分類過程中，以一個W類的分類問題為例，一個樣本q通過每個決策樹Tn有W個輸出結(jié)果(輸出W個置信度，c∈{1，2，…，W}，每個置信度p(n，q)(f(q)=c)表示該樣本q屬于第c類的概率)，最后隨機森林的分類結(jié)果基于所有決策樹結(jié)果的平均，如下式所示:

3 觀測模型在線更新的目標(biāo)跟蹤

3.1 運動模型

文中以向量xk=(xk，yk，sk)T表示目標(biāo)狀態(tài)，其中(xk，yk)T表示上下兩幀中運動目標(biāo)中心點的平移值，sk為尺度變化因子表示目標(biāo)縮放大?。疇顟B(tài)遷移以自回歸模型表示如下:

式中:N(0，Σ)為零向量均值多元高斯函數(shù);Σ為對角矩陣

3.2 隨機森林分類器構(gòu)建

特征的選擇對于分類器至關(guān)重要，文中采用文獻［10］提出的2 bit BP特征作為樣本特征，該特征類似harr-like特征，因而可以使用積分圖進行特征快速提?。o定一個圖像上的目標(biāo)區(qū)域，通過改變特征模板的大小和位置，可在目標(biāo)區(qū)域圖像子窗口中窮舉出大量的2 bit BP特征，其數(shù)目為nf，由這nf個特征構(gòu)成的向量作為隨機森林訓(xùn)練的一個樣本．隨機森林中的決策樹數(shù)量為100，隨機森林訓(xùn)練算法及分類算法參照第2節(jié)，其中m值設(shè)為分類算法中的置信度p(n，q)(f(q)=c)計算如下:

式中:N為屬于該葉子節(jié)點的所有樣本數(shù);Nc為該葉子節(jié)點屬于第c類的樣本數(shù)，N及Nc由訓(xùn)練算法得到．由于只區(qū)分樣本屬于目標(biāo)或者非目標(biāo)，因而W=2，c=1表示樣本屬于目標(biāo)，c=0表示樣本屬于非目標(biāo)．本算法屬于單目標(biāo)跟蹤，因而目標(biāo)檢測判定如下:

式中:Q為采用滑動窗口在整個圖像中取得的侯選目標(biāo)樣本的集合;p1(q)為某個樣本屬于目標(biāo)的概率，定義如下:

式中:N為森林中決策樹的棵數(shù);p(n，q)(f(q)=1)為第n棵決策樹中該侯選樣本屬于目標(biāo)的概率．

3.3 觀測模型

為了計算各個粒子的權(quán)值，故需要計算某個粒子下觀測值的條件概率，為了充分利用隨機森林的統(tǒng)計分類優(yōu)點，相似度綜合考慮了隨機森林分類器的分類結(jié)果及目標(biāo)區(qū)域直方圖相似度，定義如下:

式中:α，β為相似度系數(shù)，滿足α+β=1，其值根據(jù)試驗調(diào)整設(shè)置;q為粒子對應(yīng)的圖像區(qū)域生成的測試樣本;p1(q)為隨機森林分類器計算該樣本屬于目標(biāo)的概率，其定義見式(8);p2(q)為測試樣本直方圖與目標(biāo)初始直方圖的歸一化互相關(guān)值(NCC)，定義如下:

式中:H1為目標(biāo)初始直方圖列向量(由首幀初始化得到);H2為測試樣本q的直方圖列向量;H1(i)，H2(i)分別為H1，H2中的第i個分量.

3.4 具體實現(xiàn)

算法的實現(xiàn)如圖2所示.

圖2 算法整體示意圖

式中:(x，y)T為選定目標(biāo)區(qū)域中的像素點坐標(biāo);(xt，yt)T為變換后的區(qū)域像素點坐標(biāo);θ，s為變換參數(shù)，θ為變換角度，取值范圍為［-3.141 592 6，3.141 592 6］，s為變換尺度，取值范圍為［0.5，1.5］.隨機選擇一組(θ，s)值根據(jù)式(11)將目標(biāo)模板進行變換再計算2 bit BP作為一個訓(xùn)練正樣本.負樣本集則以選定目標(biāo)區(qū)域之外的圖像區(qū)域作為數(shù)據(jù)源，以不同的尺度及位置從這些數(shù)據(jù)源中提取負樣本.

在本算法中還設(shè)定兩個閾值a1，a2，且a1＞a2，其中a1用來判定當(dāng)前跟蹤結(jié)果是否可靠，如果可信度超過該閾值，則將跟蹤結(jié)果作為一個新的正樣本，并從該區(qū)域以外的圖像區(qū)域選擇負樣本，重新訓(xùn)練

算法的基本思想是在粒子濾波的框架下由隨機森林在線學(xué)習(xí)目標(biāo)的特征分布，粒子的權(quán)值由隨機森林的分類概率及直方圖相似度來表示.粒子濾波算法請參照文獻［1］并結(jié)合圖2理解，這里不再綴述.采用文獻［11］類似方法，隨機森林的初始樣本集及目標(biāo)初始直方圖由首幀初始化得到，初始時由用戶通過交互工具在圖像中選定目標(biāo)區(qū)域，根據(jù)區(qū)域圖像信息計算目標(biāo)初始直方圖H1.隨機森林的初始正樣本集由選定目標(biāo)區(qū)域根據(jù)以下變換方程得到:隨機森林分類器.a2用來判定粒子濾波跟蹤是否發(fā)生漂移，如果跟蹤結(jié)果可信度低于該閾值，則表明跟蹤器失效，需要由隨機森林進行目標(biāo)檢測，并根據(jù)檢測結(jié)果進行粒子濾波器重新初始化.

4 試驗結(jié)果

文中采用vc 6.0+opencv實現(xiàn)了本算法，并設(shè)計兩類試驗來驗證算法的有效性，第1類試驗用來驗證跟蹤精度，第2類試驗用來驗證抗漂移能力，試驗所用計算機CPU為酷睿i3(2.1 GHz)處理器，內(nèi)存容量為4 GB.試驗中粒子數(shù)為100，跟蹤目標(biāo)由首幀手工標(biāo)注得到，隨機森林的初始正樣本按照3.4節(jié)方法獲取，在試驗中由于考慮跟蹤目標(biāo)為長方形，因此 θ的取值范圍為［-0.2，0.2］，且兩樣本之間的旋轉(zhuǎn)角度間隔為0.005.初始負樣本從目標(biāo)區(qū)域外的其他區(qū)域隨機獲取.初始化結(jié)果如圖3所示，其中紅色矩形為選中的跟蹤目標(biāo)，綠色區(qū)域為正樣本疊加結(jié)果，藍色矩形為選取的負樣本.

圖3 目標(biāo)初始化及隨機森林正負樣本選取圖

粒子相似度根據(jù)式(9)計算，由于目標(biāo)形變及光照變化影響，初始時計算的直方圖隨著時間推移越來越不能對目標(biāo)進行精確表示.因此，跟蹤過程中系數(shù)α值隨時間逐漸增加，β逐漸減小，初始時α =0.2，β =0.8.在本文算法中，隨機森林作為粒子相似度的判定依據(jù)，而非分類情況，故將隨機森林中葉子節(jié)點的定義按照文獻［12］作以下修正:當(dāng)決策樹的層數(shù)達到6層或者到達當(dāng)前節(jié)點的正樣本(或負樣本)比例大于80%，則稱此節(jié)點為葉子節(jié)點.閾值a1，a2定義為a1=0.85，a2=0.45.

第1類試驗采用文獻［13］項目中的視頻數(shù)據(jù)庫，該視頻記錄一個男子跳繩運動過程，視頻背景復(fù)雜，人體運動劇烈且無規(guī)則.比較算法中的隨機森林分類器由離線樣本集訓(xùn)練，傳統(tǒng)粒子濾波算法中的粒子相似度通過計算歸一化直方圖互相關(guān)值得到.圖4為跟蹤到第84幀時隨機森林中的第1棵子樹，其中空心圓為分裂點，圓內(nèi)數(shù)字為該分裂點所對應(yīng)特征在特征集中的序號，圓邊括號中的數(shù)字為在該節(jié)點進行分裂時選取的特征.箭頭下方括號中的數(shù)字［n:m］，其中n為某一2 bit BP特征，m為該特征值所對應(yīng)的樣本數(shù)，例如第2行［1，92］表示第12號特征其值為1時的樣本有92個.方框為葉子節(jié)點，方框中的數(shù)字分別為正負樣本的數(shù)目.

本文算法計算第84幀的粒子相似度過程如圖5所示，只顯示4個粒子相似度計算結(jié)果，計算所用參數(shù)為 α =0.65，β=0.35.

圖4 隨機森林中第1棵子樹示意圖

圖5 粒子相似度計算過程

由圖5可知歸一化互相關(guān)值不能準(zhǔn)確反映粒子真實相似性(例如白色矩形框粒子互相關(guān)值)，而本文算法綜合隨機森林的檢測結(jié)果能提高粒子相似準(zhǔn)確度.

圖6為目標(biāo)跟蹤中心點軌跡圖，由圖可知，跟蹤結(jié)果反映人體跳繩運動周期往復(fù)變化規(guī)律.圖7為部分幀跟蹤結(jié)果，圖8為前50幀本文算法與傳統(tǒng)粒子濾波算法及隨機森林檢測算法的定量比較結(jié)果，跟蹤誤差定義為跟蹤目標(biāo)中心點與目標(biāo)真實值中心點的圖像歐氏距離，目標(biāo)中心點真實值由手動標(biāo)注得到.

圖6 人臉中心點跟蹤軌跡圖

圖7 跳繩運動視頻序列跟蹤結(jié)果比較

圖8 不同跟蹤方法錯誤曲線圖

由圖8可知本文算法跟蹤結(jié)果在大多數(shù)幀中都優(yōu)于傳統(tǒng)粒子濾波算法及隨機森林檢測結(jié)果，原因在于隨機森林沒有考慮上一幀目標(biāo)位置的先驗知識，由于光照、視點變化及目標(biāo)運動使得目標(biāo)外觀發(fā)生變化，而傳統(tǒng)粒子濾波算法中的粒子相似度計算單一，沒有考慮這些變化量.

根據(jù)圖8觀察可知，在第30幀時由于目標(biāo)運動幅度過大，根據(jù)運動模型生成的粒子不能較好地覆蓋運動目標(biāo)區(qū)域，因而粒子濾波跟蹤結(jié)果誤差較大.本文算法檢測到跟蹤結(jié)果不可靠時，由隨機森林檢測運動目標(biāo)作為跟蹤結(jié)果，從而提高了跟蹤精度.同時，根據(jù)檢測結(jié)果進行粒子重新初始化，可有效抵抗跟蹤漂移.圖9分別為第30幀時粒子集分布結(jié)果、第30幀隨機森林在線檢測結(jié)果以及重新初始化后的粒子集在第31幀的分布結(jié)果.

圖9 隨機森林檢測及粒子重新初始化

表1為跟蹤準(zhǔn)確的視頻幀數(shù)統(tǒng)計結(jié)果，跟蹤準(zhǔn)確的判定采用文獻［14］所述標(biāo)準(zhǔn).

表1 不同跟蹤方法正確跟蹤結(jié)果統(tǒng)計

第 2 類試 驗 采用 MILTrack［15］(tracking with online multiple instance learning)項目中的視頻數(shù)據(jù)庫.在Tiger1視頻中，一個玩具虎由人舞動快速移動，并不時被周圍植物部分遮擋，從而造成被跟蹤目標(biāo)成像模糊.Tiger1跟蹤結(jié)果如圖10所示，其中在第110幀時由于嚴重遮擋使得粒子濾波跟蹤出現(xiàn)漂移，算法應(yīng)用隨機森林檢測運動目標(biāo)并進行了粒子重新初始化.盡管運動目標(biāo)存在局部遮擋及光照變化，但是在大多數(shù)幀中跟蹤結(jié)果仍然比較精確.

圖10 Tiger1視頻序列跟蹤結(jié)果

5 結(jié)論

針對粒子濾波跟蹤方法中的漂移問題，文中提出了一種結(jié)合在線隨機森林分類的粒子濾波跟蹤算法，結(jié)論如下:

1)該算法充分利用模板直方圖的先驗知識及隨機森林的在線更新能力，通過改進粒子濾波的觀測模型來提高目標(biāo)跟蹤精度.

2)在跟蹤過程中，目標(biāo)運動的快速性及無規(guī)律性使得傳統(tǒng)粒子濾波出現(xiàn)跟蹤漂移，而本文算法通過對跟蹤結(jié)果可靠性檢測來判斷當(dāng)前跟蹤結(jié)果，當(dāng)出現(xiàn)錯誤跟蹤時，利用隨機森林檢測跟蹤目標(biāo)，并對粒子濾波器進行重新初始化.

3)兩類試驗結(jié)果表明本文算法比傳統(tǒng)粒子濾波及隨機森林的跟蹤精度有一定程度提高，并且能夠抵抗傳統(tǒng)粒子濾波的跟蹤漂移.

References)

［1］Yao Anbang，Lin Xinggang，Wang Guijin，et al.A compact association of particle filtering and kernel based object tracking［J］.Pattern Recognition，2012，45(7):2584-2597.

［2］Liang Dawei，Huang Qingming，Yao Hongxun，et al.Novel observation model for probabilistic object tracking［C］∥Proceedings of2010IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE Computer Society，2010:1387-1394.

［3］王 敏，張 冰.基于一種改進粒子濾波算法的目標(biāo)跟蹤研究［J］.江蘇科技大學(xué)學(xué)報:自然科學(xué)版，2008，22(1):63-67.Wang Min，Zhang Bing.Research on target tracking based on improved particle filter algorithm［J］.Journal of Jiangsu University of Science and Technology:Natural Science Edition，2008，22(1):63-67.(in Chinese)［4］Liu Baiyang，Huang Junzhou，Yang Lin，et al.Robust tracking using local sparse appearance model andK-selection［C］∥Proceedings of2011IEEE Conference on Computer Vision and Pattern Recognition.Providence:IEEE Computer Society，2011:1313-1320.

［5］Ross D A，Lim J，Lin R S，et al.Incremental learning for robust visual tracking［J］.International Journal of Computer Vision，2008，77:125-141.

［6］Yeh Y J，Hsu C T.Online selection of tracking features using AdaBoost［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19(3):442-446.

［7］Li Xi，Anthony D，Wang Hanzi，et al.Graph modebased contextual kernels for robust SVM tracking［C］∥Proceedings of the IEEE International Conference on Computer Vision.Barcelona:IEEE Computer Society，2011:1156-1163.

［8］Zdenek K，Jiri M，Krystian M.P-N learning:bootstrapping binary classifiers by structural constraints［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE Computer Society，2010:49-56.

［9］Saffari A，Leistner C，Santner J，et al.Online random forests［C］∥Proceedings of2009IEEE12th International Conference on Computer Vision Workshops.Kyoto:IEEE Computer Society，2009:1393-1400.

［10］Zdenek K，Jiri M，Krystian M.Online learning of robust object detectors during unstable tracking［C］∥Proceedings of2009IEEE12th International Conference on Computer Vision Workshops.Kyoto:IEEE Computer Society，2009:1417-1424.

［11］王愛平，萬國偉，程志全，等.支持在線學(xué)習(xí)的增量式極端隨機森林分類器［J］.軟件學(xué)報，2011，22(9):2059-2074.Wang Aiping，Wan Guowei，Cheng Zhiquan，et al.Incremental learning extremely random forest classifier for online learning［J］.Journal of Software，2011，22(9):2059-2074.(in Chinese)

［12］王麗婷，丁曉青，方 馳.基于隨機森林的人臉關(guān)鍵點精確定位方法［J］.清華大學(xué)學(xué)報:自然科學(xué)版，2009，49(4):543-546.Wang Liting，Ding Xiaoqing，F(xiàn)ang Chi.Accurate localization of facial feature points based on random forest classifier［J］.Journal of Tsinghua University:Science and Technology，2009，49(4):543-546.(in Chinese)

［13］Li Yuan，Ai Haizhou，Yamashita T，et al.Tracking in low frame rate video:a cascade particle filter with discriminative observers of different lifespans［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30(10):1728-1740.

［14］Everingham M，Gool L V，Williams C K I，et al.The pascal visual object classes(voc)challenge［J］.International Journal of Computer Vision，2010，88:303-338.

［15］Babenko B.Tracking with online multiple instance learning(MILTrack)project［DB/OL］.［2009］.http:∥vision.ucsd.edu/～ bbabenko/project-miltrack.shtml.