張玉榮

（1.武漢理工大學信息工程學院，湖北武漢430070；2.徽商職業(yè)學院電子信息系，安徽合肥230061）

基于多變量動態(tài)建模的粒子濾波行人跟蹤算法實現(xiàn)

張玉榮1，2

（1.武漢理工大學信息工程學院，湖北武漢430070；2.徽商職業(yè)學院電子信息系，安徽合肥230061）

對于行人運動模型是線性系統(tǒng)，噪聲符合高斯分布，采用邊檢測邊跟蹤的卡爾曼濾波算法，試驗達到了預期的效果。但在實際中行人的隨機行走具有很大的不確定性，不一定是線性系統(tǒng)和高斯分布，此時利用Kalman濾波就會導致跟蹤失敗。研究了基于先檢測后跟蹤的加權顏色直方圖為匹配模板，基于動態(tài)建模的粒子濾波實現(xiàn)對行人的有效跟蹤。在初始幀利用AdaBoost算法確定行人的位置、大小等狀態(tài)信息，以行人矩形框內的加權顏色直方圖作為跟蹤的目標模板，初始化粒子集。在后續(xù)的視頻圖像中，利用粒子濾波算法實現(xiàn)行人跟蹤。結果表明，即使在目標有遮擋、陰影等復雜噪聲背景下，提出的方法也能很好地跟蹤到視頻序列中行人。

行人檢測；行人跟蹤；AdaBoost；加權顏色直方圖；粒子濾波

行人跟蹤不僅能夠提供行人的運動軌跡，也為后期的行為識別（如異常動作檢測等）提供了準確可靠的信息。在視頻序列中，為了估計行人的運動軌跡，可利用行人檢測算法確定初始幀圖像的行人狀態(tài)作為先驗信息，結合行人的狀態(tài)方程和觀測方程對行人在后續(xù)幀的位置、速度、寬高等進行估計［1-3］。

目前，行人跟蹤的方法有基于檢測的方法和基于跟蹤的方法兩大類［1］。當行人運動模型為線性系統(tǒng)，噪聲符合高斯分布時，采用邊檢測邊跟蹤的卡爾曼濾波算法，可以得到最小均方誤差意義上狀態(tài)的最優(yōu)估計，試驗達到了預期的效果。但也存在著跟蹤過程過多依賴檢測性能的問題。另外，行人運動的自主性很強，運動軌跡是隨機、不確定的，行走過程中可能發(fā)生短時全部遮擋或局部遮擋，屬于非線性系統(tǒng)，原來的運動模型不一定符合實際行人行走的規(guī)律，并且利用最優(yōu)貝葉斯估計的預測與更新方程計算時，存在高維積分運算，很難把最優(yōu)解析解形式狀態(tài)解出，此時使用Kalman濾波無法實現(xiàn)可靠地跟蹤［4-5］。而基于Monte-Carlo思想和遞推貝葉斯估計的粒子濾波在非線性、非高斯分布的系統(tǒng)中得到了研究者的推廣，非常適合非線性系統(tǒng)，即使在目標有遮擋、陰影等復雜噪聲背景下，也能很好地跟蹤到視頻序列中行人。因此本文以加權顏色直方圖為匹配模板，基于動態(tài)建模的粒子濾波實現(xiàn)對行人的有效跟蹤。

1 基于卡爾曼濾波的行人跟蹤算法

利用卡爾曼濾波對行人進行跟蹤，需要首先確定行人的運動模型（即狀態(tài)方程）和觀測模型，然后再利用卡爾曼濾波的遞推方程組估計行人的運動狀態(tài)。

1.1 運動模型與觀測模型

視頻目標與點目標跟蹤的不同是：視頻目標的狀態(tài)除了目標的質心位置，還要包括目標的輪廓大小。對于行人跟蹤，通常采用外接矩形框表示目標的輪廓［6］。在第t幀圖像中行人的狀態(tài)向量表示為

其中，（xt，yt）為行人矩形框質心點第t幀圖像的像素位置，（Δxt，Δyt）分別為質心的變化率，（ht，wt）為行人外接矩形框的高度和寬度，（Δht，Δwt）分別為矩形框高度和寬度的變化率。在相鄰幀之間，視頻目標運動的機動性不是很大，在大多數(shù)情況下采用一階常速模型表述行人變化規(guī)律。隨時間變化的目標的狀態(tài)方程可以表示為

其中，ΔT為幀率的倒數(shù)，稱為采樣周期，Wt-1為多變量的高斯白噪聲。

行人檢測得到的是觀測向量Zt=（xt，yt，ht，wt）T，則系統(tǒng)的觀測模型為

使用卡爾曼濾波跟蹤行人，首先要確認狀態(tài)變量的初始狀態(tài)值X0和誤差方差矩陣的初始值P0。本文利用行人檢測算法在連續(xù)兩幀圖像上進行檢測，確定行人矩形區(qū)域質心位置、矩形寬高、位置變化率、寬高變化率，然后從第3幀開始跟蹤行人。因此，狀態(tài)向量的初始值可表示為

由于Pt在Kalman濾波中反復更新，因此可以將狀態(tài)的誤差方差矩陣初始值P0設置為較大初值。假設初始行人在x方向和y方向速度離真實速度有±5個像素誤差，在x方向和y方向離真實位置有±10個像素的誤差。由于行人腿部運動，使得行人矩形框的寬度比高度有較大的變化，所以矩形窗口的寬度誤差設為±10個像素，寬度變化率設為±5個像素，高度誤差設為±5個像素，高度的變化有±3個像素的誤差。因此，誤差方差矩陣初始值可表示為［1］

利用初始條件、狀態(tài)方程、觀測方程、誤差方差矩陣等已知條件，代入卡爾曼濾波遞推方程組進行行人狀態(tài)的估計。

1.2 利用卡爾曼濾波實現(xiàn)行人跟蹤的試驗

本文采用邊檢測邊跟蹤的卡爾曼濾波跟蹤算法對攝像機采集的視頻序列進行行人跟蹤。行人跟蹤的具體流程為：

（1）視頻序列連續(xù)兩幀檢測到行人后，按式（4）求出狀態(tài)向量的初始值；

（2）通過前一時刻行人的狀態(tài)向量運動模型預測出行人在下一幀中的狀態(tài)。以此時狀態(tài)向量的位置元素（x，y）為中心，在寬、高元素的基礎上放大2倍，得出行人的感興趣區(qū)域；

（3）在感興趣區(qū)域利用AdaBoost行人檢測算法檢測行人，獲得當前時刻下行人的觀測信息；

（4）利用觀測信息校正預測的狀態(tài)向量，通過卡爾曼濾波方程組得到狀態(tài)向量的最優(yōu)估計；最后轉入第（2）步進行下一幀行人的跟蹤。

利用Kalman濾波和AdaBoost行人檢測算法實現(xiàn)視頻序列行人跟蹤，效果較好，如圖1所示。但該算法的觀測量主要依賴于行人檢測算法的準確率。假如某一幀行人檢測算法的效果不好，如圖1中的第140幀，那么跟蹤效果就會受到影響，跟蹤軌跡偏離較大。更糟糕的是，如果某一幀中無法檢測出行人，那么就會導致跟蹤失敗。另外行人運動模型也是根據(jù)經(jīng)驗得到的線性系統(tǒng)，噪聲也是符合高斯分布條件的。但在實際中行人的隨機行走具有很大的不確定性，不一定是線性系統(tǒng)和高斯分布，此時再利用Kalman濾波就會導致跟蹤失敗。因此可根據(jù)觀測向量的時間序列建立符合行人運動規(guī)律的狀態(tài)模型，定時更新狀態(tài)模型，利用粒子濾波避免線性系統(tǒng)、高斯分布的限制，就能達到跟蹤的高可靠性。

圖1 Kalman濾波算法實現(xiàn)單個行人跟蹤

2 利用粒子濾波實現(xiàn)單個行人跟蹤的試驗

運用加權顏色直方圖的粒子濾波算法跟蹤視頻中的單個行人目標。筆者選取校園內的三個場景隨機拍攝了視頻序列，三個場景都分別拍攝了兩組視頻，一組視頻是1個行人；為模擬相似物的干擾，跟蹤行人有交叉運動，另一組多添加1個行人。視頻采集用惠普TrueVision HD攝像機，每幀速率為10 fps，幀的像素為320×240。這些視頻數(shù)據(jù)采集包括跟蹤目標的隨意轉動和相似物樹影以及光照變化等比較復雜的背景［2］。

2.1 初始化

首先利用雙閾值運動區(qū)域分割的AdaBoost行人檢測算法，給出跟蹤人所在區(qū)域的位置信息的起始狀態(tài)p（x0），其中狀態(tài)向量為x0=｛x0，y0，vx，vy，hx，hy，at_dot｝，檢測初始幀中的目標行人。使用加權顏色直方圖作為觀測模型，按式求出加權顏色直方圖分布作為目標模型。然后在目標行人區(qū)域的中心點附近選取一些粒子，并初始化粒子集，每個粒子的狀態(tài)為，其中是在初始狀態(tài)的基礎上按照高斯分布N（0，0.42）疊加的隨機干擾。

2.2 粒子的傳播

對于視頻目標來說，在目標變化機動性很小的相鄰兩幀之間，可以用一階常速模型表述行人的運動變化。初始目標隨時間的狀態(tài)改變方程可表示為

其中，A為系統(tǒng)傳遞矩陣，B為噪聲矩陣，ΔT為采樣周期，是視頻幀率的倒數(shù)，wk-1為一個多變量的高斯白噪聲。粒子集中的每個粒子按式（6）進行改變，由k-1時刻傳播到k時刻，粒子集就更新了分布。隨著行人目標的運行，行人矩形框每間隔20幀就用中心點x、y坐標、矩形半寬、半高四個狀態(tài)量形成的時間序列建立4個AR（p）模型［7］。然后由新的狀態(tài)方程確定粒子的傳播。給出AR模型階數(shù)p=3的x坐標數(shù)據(jù)建立的模型為

誤差εxt～N（0，5.101 7）。AR模型階數(shù)p=1的y坐標數(shù)據(jù)建立的模型為

誤差εyt～N（0，10.127 0）。矩形半寬hx的80幀數(shù)據(jù)建立的AR模型階數(shù)p=6，模型為

誤差εhxt～N（0，5.884 9）。矩形半高hy的80幀數(shù)據(jù)建立的AR模型階數(shù)p=1，模型為

誤差εhyt～N（0，4.345 8）。這樣就由前p時刻的狀態(tài)確定狀態(tài)xt，yt，hxt，hyt。

2.3 粒子的觀測值計算

在獲得新的粒子集后計算它們用來確定的矩形候選區(qū)域的觀測值，即加權顏色直方圖分布q?iu，i=1，…，Np。然后計算目標模型與各個粒子的候選模型，相似度函數(shù)值di，i=1，…，Np。并根據(jù)di計算出粒子對應的顏色觀測似然函數(shù)值，歸一化用以更新粒子的權值

2.4 重采樣

根據(jù)粒子集的匱乏程度來決定是否對粒子集進行重采樣。按隨機采樣將權值大的粒子多次復制，具體采用如下幾個步驟：

（3）令xi?xj，權重值重新定義為wi=1/N。為實現(xiàn)重采樣，需要在采樣總數(shù)保持不變的情況下多次復制權重較大的粒子。

到此，粒子集經(jīng)過系統(tǒng)狀態(tài)方程的預測，又經(jīng)過觀測方程的更新，最后新的狀態(tài)估計就是粒子集加權求和［8］。這個狀態(tài)估計處的加權顏色直方圖分布和目標模型的相似度值滿足一定條件就更新目標模型。

3 仿真跟蹤效果

（1）實驗中只有一個跟蹤行人視頻圖像。在3個場景中跟蹤的效果如圖2～4所示。

圖2 場景1：對一個行人的跟蹤效果

圖2所在的視頻包含346幀圖像，跟蹤一個目標。在第1幀矩形框中心分散80個粒子點。第293幀因為背景的影響，此目標粒子集在向背景漂移使得跟蹤矩形框與實際行人有一定程度的偏離，但在第300幀后，又逐步達到有效跟蹤。

圖3 場景2：跟蹤目標反方向行走

由圖3可知，由于受到環(huán)境變化的影響，粒子濾波在行人跟蹤過程中效果會受到一定程度的影響，如第101幀，但到了第110幀又重新跟蹤上了。當目標在第143幀開始轉向，向反方向行走時，同樣也能順利地跟蹤上目標。

圖4 場景3：復雜場景下對單個人的跟蹤

圖4所在的視頻包含244幀，行人目標相對較小，且左側圖像區(qū)域由于房屋、樹的倒影，以及汽車顏色的影響，光線偏暗，粒子傳播到左側區(qū)域時，分散度較大，跟蹤矩形框會與實際行人有較大的偏離，但到最后還是能跟蹤上目標。

（2）實驗中有兩個行人的視頻圖像。還是對其中一個行人進行跟蹤，而另一個人與跟蹤目標有相交情況，此時運用粒子濾波跟蹤到的效果如圖5、6所示。

圖5 當跟蹤目標遇到行人交叉相遇而目標不被遮擋

圖5所在的視頻包含232幀，目標相對較小，當跟蹤目標在行走遇到其他行人沒有被遮擋時，在樹木倒影、光照變化的影響下，該粒子濾波算法能夠實現(xiàn)正確的跟蹤。

圖6 當跟蹤目標遇到行人交叉相遇且目標被遮擋

圖6所在的視頻包含252幀，目標相對較小，當跟蹤目標在行走時遇到其他行人時，且目標被行人遮擋，在樹木倒影、光照變化的影響下，該粒子濾波算法也能實現(xiàn)正確的跟蹤。

4 結語

對視頻序列的單個行人采用兩種方法進行跟蹤。一種是邊檢測邊跟蹤的Kalman濾波行人跟蹤算法，另一種是基于加權顏色直方圖的先檢測后跟蹤粒子濾波行人跟蹤算法［3］。針對第1種方法，先建立行人運動模型和觀測模型；然后從初始狀態(tài)向量開始預測下一時刻行人可能出現(xiàn)的候選區(qū)域，在候選區(qū)域中進行AdaBoost行人檢測［5］，縮小檢測范圍，校正了Kalman濾波預測的狀態(tài)向量，保證了跟蹤的精度。但該算法過多依賴檢測效果的優(yōu)劣，因此使用第2種方法，先檢測初始視頻幀，確定行人的位置、寬高等作為跟蹤的先驗信息；由先驗信息計算加權顏色直方圖作為構建似然函數(shù)的目標模板，初始化粒子的狀態(tài)分布［9］；然后利用狀態(tài)轉移模型預測粒子下一時刻的狀態(tài)分布，計算每個粒子對應的加權顏色直方圖與目標模板的似然函數(shù)值，并更新粒子權值；根據(jù)有效粒子的個數(shù)判斷是否進行重采樣，并對目標模板更新；最后由所有粒子的加權和估計行人的運動狀態(tài)。實驗表明，該算法在環(huán)境光照變化大、目標半遮擋、全遮擋的情況下，都能有效地實現(xiàn)行人跟蹤。

［1］GORDONN.A hybrid bootstrap filter for target tracking in clutter［J］.IEEETransactionson Aerospaceand Electronic Systems, 1997,33（1）:353-358.

［2］李鍇,馮瑞.基于粒子濾波的多特征融合視頻行人跟蹤算法［J］.計算機工程,2012,38（24）:141-145.

［3］朱志宇.粒子濾波算法及其應用［M］.北京:科學出版社,2010:3-32,190-206.

［4］朱偉.基于人體匹配解決多人體跟蹤中遮擋問題的方法研究［D］.上海:上海交通大學,2009.

［5］李偉,何鵬舉,楊恒,等.基于雙閾值運動區(qū)域分割的AdaBoost行人檢測算法［J］.計算機應用研究,2012,29（9）: 3571-3574,3576.

［6］郭曉東.轎車前方行人識別及碰撞預警系統(tǒng)研究［D］.沈陽:東北大學,2012.

［7］鄭曉薇,于夢玲.基于Matlab多核集群的人臉識別算法的并行化設計［J］.計算機應用,2011,31（10）:2597-2599.

［8］郭烈.基于單目視覺的車輛前方行人檢測技術研究［D］.長春:吉林大學,2007.

［9］胡士強,敬忠良.粒子濾波原理及其應用［M］.北京:科學出版社,2010.

【責任編輯：王桂珍 foshanwgzh@163.com】

Particle filter algorithm for tracking person tracking based on dynam icmodeling

ZHANG Yu-rong
（1.School of Information Engineering,Wuhan Universityof Technology,Wuhan 430070,China; 2.Department of Electronics Information,Huishang Vocational College,Hefei230061,China）

We study on particle filtering algorithm for tracking person based on theweighted color histogram.In the thesis,we use themethod with detecting person firstly and tracking itsecondly.First,we apply the pedestrian detection algorithm to rectangle the persons in the images and compute the status information,like position, scale,and so on.Then we compute theweighted color histogram in the rectangle region as target template.Then we initialize the particle setaccording to the startstatus.The random workmodel isused asstate equation in the initial tracking stage to propagate the state ofparticles.Thenwe compute theweighted colorhistogram of the each particle as observation data,and also compute the similarity coefficient between them and the target template. According to the similarity coefficient,each particle isweighted by thenew value.Then allweighted particlesare summed to get the final state estimation to be output.Finally,the particles were re-sampled to reduce the degradation.Since the personswalk in the uncertainty and random,one state equation isnoteffective to be used to track the target during thewhole procedure.Sowe propose themethod with dynamical state equation update based on time series to reduce the estimation error.The experimental results show that the proposedmethod can well track the video sequences in the presenceofcomplexbackground such asocclusion and shadow.

pedestrian detection;pedestrian tracking;AdaBoost;weighted colorhistogram;particle filtering

TP391.4

A

2017-05-12

安徽省自然科學研究重點項目（KJ2016A685）；安徽省教育廳質量工程項目（2014jxtd110，2015tszy089）

張玉榮（1976-），女，安徽廬江人，徽商職業(yè)學院副教授，武漢理工大學博士生。

1008-0171（2017）04-0047-07