吳靜靜，尤麗華，安　偉，宋淑娟，周德強

（1.江南大學機械工程學院，江蘇無錫214122；2.江蘇省食品先進制造裝備技術重點實驗室，江蘇無錫214122）

基于概率假設密度的目標數(shù)變化視頻跟蹤算法

吳靜靜1，2，尤麗華1，2，安偉1，2，宋淑娟1，2，周德強1，2

（1.江南大學機械工程學院，江蘇無錫214122；2.江蘇省食品先進制造裝備技術重點實驗室，江蘇無錫214122）

針對概率假設密度（PHD）濾波無法跟蹤未知起始位置新生目標的問題，提出一種基于新生目標強度檢測的PHD跟蹤框架.針對原高斯混合PHD無法確定目標航跡問題，在跟蹤框架中設計了基于auction的“航跡-狀態(tài)估計”關聯(lián)算法，給出了航跡識別的數(shù)學表述和具體實現(xiàn)方法.然后，給出了變目標數(shù)的多目標跟蹤框架的高斯混合實現(xiàn)方法.采用MATLAB編程實現(xiàn)了所提出算法，并使用因目標新生和遮擋導致目標數(shù)變化的2種行人數(shù)據(jù)庫進行了驗證試驗.結果表明，新算法通過目標位置觀測值更新新生目標的強度函數(shù)，提高了PHD濾波對新目標和遮擋目標的響應性，能夠有效跟蹤任意時刻未知位置的新生目標，并能夠輸出目標航跡，提高了多目標跟蹤的目標數(shù)估計準確性，降低了跟蹤誤差.

多目標跟蹤；概率假設密度；新生目標；高斯混合；航跡識別

doi∶10.3969/j.issn.1671-7775.2015.06.014

視頻目標跟蹤的目的是根據(jù)目標的特征如位置、速度、色彩、形狀、紋理等以及目標描述模型在連續(xù)圖像幀之間建立對應關系，進而獲得目標位置和形狀等目標狀態(tài)信息.一般視頻目標跟蹤方法可以分成2類∶①數(shù)據(jù)驅動算法，直接建立目標模板和候選區(qū)域的相似度函數(shù)，利用匹配運算或優(yōu)化算法將跟蹤問題轉化為局部的迭代尋優(yōu)問題，如mean-shift跟蹤［1］；②基于模型的概率跟蹤算法，該類方法將目標跟蹤問題轉換為目標狀態(tài)估計問題，目標狀態(tài)的所有信息均包含于狀態(tài)的后驗密度中，目標狀態(tài)后驗密度可根據(jù)貝葉斯濾波來求解，如粒子濾波跟蹤［2］.

在單目標跟蹤場景下，貝葉斯濾波首先預測目標狀態(tài)的概率密度，然后利用當前幀的新量測對預測狀態(tài)概率密度進行更新獲得狀態(tài)后驗概率密度.在線性高斯條件下，貝葉斯濾波的閉合形式的遞推方法等同于卡爾曼濾波［3］.在非線性非高斯條件下，貝葉斯濾波的有效實現(xiàn)方法是粒子濾波算法［4］.

在多目標跟蹤場景下，1994年Mahler首次系統(tǒng)地針對多傳感器多目標跟蹤問題提出了有限集統(tǒng)計理論［4］，并以此為數(shù)學理論基礎提出隨機有限集框架下的多目標貝葉斯濾波.Mahler結合點過程理論給出了Possion條件下近似的隨機有限集的一階矩遞推濾波公式，從而得到了多目標貝葉斯濾波的近似即PHD濾波器［5］.B.N.Vo等［6］給出PHD濾波器在線性高斯條件下的解析解，GM-PHD（Gaussian mixture PHD）方法即高斯混合PHD濾波，已用于各種傳感器信號的目標跟蹤問題.GM-PHD借鑒了高斯混合濾波算法的思想，具有計算量小，強大的去除雜波能力，狀態(tài)抽取可靠，易于處理多目標跟蹤中目標的消亡和遮擋等優(yōu)點，但該方法有2個缺點∶①由于GM-PHD的輸出為狀態(tài)估計的隨機集，無法給出目標身份（航跡）特征信息；②無法跟蹤位置未知的新生目標.

文中擬提出基于GM-PHD濾波的變目標數(shù)視頻跟蹤算法.首先采用運動檢測方法，實現(xiàn)運動目標的快速有效分割，提取前景目標的質心，尺寸作為目標量測；同時利用運動檢測結果設計新生目標強度更新方法，用以產生新生目標強度函數(shù)；以新目標強度函數(shù)和檢測結果（量測）為輸入，完成GM-PHD濾波遞推，輸出估計的目標數(shù)和狀態(tài)；最后提出基于auction［7］的航跡識別方法進行“航跡-狀態(tài)估計”關聯(lián)以識別目標航跡.

1 目標模型

1.1運動模型

采用一個w X h矩形表示目標區(qū)域，則目標狀態(tài)向量可以表示為xk=（pox，k，poy，k，ux，k，uy，k，w，h）T，其中Pok=（pox，k，poy，k）為矩形的中心，vk=（ux，k，uy，k）為目標中心在圖像的水平和豎直方向的速度.假設目標運動在相鄰圖像幀間機動性不強，采用線性高斯常速模型來建立運動模型，其運動模型的數(shù)學表述為

式中∶F為狀態(tài)轉移矩陣；uk為零均值協(xié)方差為Qu的高斯白噪聲序列.F和Qu定義如下∶

式中∶In和0n分別為n X n單位矩陣和零矩陣；Δ為采樣周期；σu為系統(tǒng)噪聲標準差

1.2觀測模型

視頻跟蹤算法的量測可由運動檢測算法［S］獲得，提取檢測圖像中目標斑塊的質心和大小作為目標位置坐標和尺寸的觀測值，構建目標觀測并建立觀測方程.假設目標的一個觀測向量為zk=（Pok，w，h）T，則線性高斯觀測模型為

式中∶H為觀測矩陣；wk為零均值協(xié)方差矩陣為Qw的高斯白噪聲.H和Qw定義如下∶

式中σw為觀測噪聲標準差.

2 基于auction的航跡識別算法

2.1航跡識別問題的數(shù)學表述

航跡識別的目的是獲得目標在整個跟蹤任務

時間內的身份.如引言所述，PHD濾波的結果是不帶有目標身份或航跡特征的目標狀態(tài)隨機集.為克服該缺點，文中設計了基于auction算法［7］的航跡識別方法.文中將目標航跡識別問題看作二維分配問題，即將當前k+1時刻的目標狀態(tài)估計Xk+1分配給上一個時刻k已確認的目標航跡Tk，而最優(yōu)二維分配的求解可轉化為求取關聯(lián)代價函數(shù)和的極小值.假設Xk+1包含Nk+1個狀態(tài)估計Tk包含Lk個航跡則“航跡-狀態(tài)估計”關聯(lián)的目標函數(shù)可以定義為

滿足約束條件∶

式中∶am，n為二值變量，狀態(tài)估計與航跡關聯(lián)時取1，否則為0；cm，n為二者相關聯(lián)的代價.目標航跡識別的基本原理如圖1所示，即建立和計算關聯(lián)代價cm，n，采用auction優(yōu)化算法求解航跡與狀態(tài)估計的關聯(lián)目標函數(shù)（7）的極值，當關聯(lián)目標函數(shù)取得極值時實現(xiàn)“航跡-狀態(tài)估計”最優(yōu)分配，從而提取目標航跡.

圖1　基于auction的航跡識別原理

3 目標數(shù)變化的GM-PHD跟蹤算法

3.1概率假設密度濾波原理

在隨機集框架下，多目標狀態(tài)和量測集合均由隨機有限集表示，狀態(tài)估計由多目標貝葉斯濾波求解.為解決高維貝葉斯濾波中多維函數(shù)積分計算困難的問題，R.P.S.Mahler提出了PHD濾波［5］.為避免傳播整個多目標狀態(tài)的后驗概率密度，PHD濾波遞推多目標狀態(tài)隨機集（random finite set，RFS）的后驗概率密度的一階矩，即強度或概率假設密度（PHD）.對于一個概率分布為P的狀態(tài)隨機有限集合NΞ，其強度函數(shù)（或PHD函數(shù)）u（x）可定義為狀態(tài)空間中任意一個區(qū)域R中目標數(shù)的積分，即

PHD濾波將多目標狀態(tài)的RFS分為3種∶新生目標RFS.孵化目標RFS和幸存目標RFS.如果以γk（·）表示k時刻新生目標的PHD，以βk|k-1（·|ζ）表示k時刻從k-1時刻狀態(tài)為ζ的目標分裂出的孵化目標PHD，pS，k（ζ）表示目標在k時刻仍然存在的概率（生存概率），pD，k（x）表示檢測概率，κk（·）表示k時刻雜波RFS的密度，那么PHD濾波的遞推形式如下∶

式中uk|k-1（x）和uk（x）分別為多目標貝葉斯濾波的預測和更新強度函數(shù).在線性高斯條件下，當以高斯混合模型描述強度函數(shù)時，PHD遞推可以得到解析解，即高斯混合PHD濾波［6］.文中目標數(shù)變化的概率假設密度濾波的高斯混合實現(xiàn)在3.2節(jié)闡述.

3.2目標數(shù)變化的概率假設密度濾波實現(xiàn)

跟蹤系統(tǒng)框圖如圖2所示，下面以k+1時刻為例說明算法的高斯混合實現(xiàn)［6］.

圖2　目標數(shù)變化的目標跟蹤系統(tǒng)框圖

對檢測到的目標更新，即使用第1步得到的量測隨機集對預測PHD進行更新，對每一個z∈Zk+1且j=1，2，…，Jk+1|k，更新預測PHD，計算得到后驗PHD高斯元的權值，均值及協(xié)方差為

式中κk（z）為泊松分布的雜波RFS的強度函數(shù).

5）對以上輸出的更新后高斯元進行修剪，主要任務是對于距離很近的高斯元進行合并，對極小權值的高斯元進行刪除.該步驟是GM-PHD去除雜波的核心步驟.

6）狀態(tài)抽?。?］，對于高斯元的權值大于閾值（一般取0.5），其所對應的期望值作為目標狀態(tài)

7）采用文中第3部分提出的航跡識別方法進行目標身份識別，輸出帶有身份標識的航跡Tk+1.

4 試驗結果

采用行人監(jiān)控視頻數(shù)據(jù)庫“OneShoPOneWait2front”和“Meet-SPlit-3rdGuy”進行試驗，視頻中包括目標新生，目標完全遮擋和部分遮擋，以及目標消失等目標數(shù)目變化場景.文中實例采用Matlab仿真軟件實現(xiàn).試驗參數(shù)的設置如下∶觀測噪聲標準差σw=3；狀態(tài)噪聲標準差為σu=4；檢測概率pD= 0.99；目標繼續(xù)生存概率pS=0.9；幀單位面積平均雜波數(shù)λc=0.02；每個雜波的概率分布u=（3S0 X 2S0）-1；合并高斯元的門限值U=3；裁剪高斯元的門限值T=0.1；采樣時間Δ=4 s.

為從視頻中提取目標觀測值（位置，大小等），運動目標檢測算法常在濾波之前實施［10］.鑒于測試視頻背景復雜，文中采用基于背景更新的自適應運動目標檢測方法［S］.圖3為測試視頻1的原始圖像.圖4是文中運動檢測算法得到的檢測后的二值化圖像，目標量測（質心位置和尺寸）由對檢測后圖像中的光斑連通域分析得到.表1給出了對圖4連通域分析后得到的量測.以圖像最左上角點為坐標原點（0，0），水平向右和豎直向下分別為X軸和Y軸正方向建立坐標系，使用四元組描述一個斑塊（目標）的質心位置和尺寸，并作為一個量測.

圖3　部分原始圖像

圖4　部分運動目標檢測后的分割圖像

表1　部分圖像幀的量測數(shù)據(jù)

由表1可見，經過圖像檢測后得到的量測不僅包含了來源于目標的量測，還有虛假目標的量測（雜波）.

圖5給出了GM-PHD直接對量測濾波后的結果，其中“*”指示了目標質心位置，矩形框為目標尺度大小.

圖5　原GM-PHD跟蹤結果

在使用量測對預測PHD的高斯元進行更新后，更新后的高斯元只有當其權值大于狀態(tài)抽取的閾值時方能保留，而小于該閾值的高斯元均會被刪除.當新生目標強度函數(shù)未知時，由新生目標量測更新后的高斯元的權值會很小而被當作雜波刪除，進而發(fā)生丟跟問題.因此原標準GM-PHD在含有新生目標的圖像（見圖5第3S2，930幀）中沒有跟蹤上新目標.由于原GM-PHD輸出的是目標狀態(tài)隨機集，不包含目標航跡信息，圖5中沒有目標航跡標識，僅指示了目標位置和尺度估計.

圖6給出了文中算法的部分跟蹤結果.圖6使用標記“*”，“o”，“Δ”和“?”分別給出了4個目標的質心位置，確認了目標在視頻序列前后幀的身份信息，實現(xiàn)了航跡識別.與圖5相比，可見文中算法既能跟蹤位置未知的新生目標，又能夠識別目標航跡.

圖6　文中算法跟蹤結果

為了定量分析GM-PHD濾波的主要過程，圖7給出了第3S2幀圖像中PHD預測、PHD更新和PHD修剪過程，以及第735幀和930幀修剪后強度函數(shù).

圖7　強度函數(shù)的預測，更新和修剪過程比較

其中圖7a，7b，7c左圖為標準GM-PHD（原GMPHD）結果，而右圖為文中算法結果.可見，與文中第3部分分析一致，高斯混合PHD實現(xiàn)PHD濾波的過程，主要為采用一組高斯混合模型或者多個高斯元逼近強度函數(shù)（PHD），再依據(jù)Bayesian原理對強度函數(shù)進行PHD遞推（包括對上一圖像幀或上一時刻的后驗PHD的預測，以及PHD更新），從而實現(xiàn)后驗強度函數(shù)（后驗PHD）在各幀圖像間（各跟蹤時刻）的傳播.在PHD更新后，為減少計算量以及保證狀態(tài)抽取可靠性，需對更新后的PHD進行修剪，即合并距離較近的高斯元以及去除權值小于閾值T（文中取0.1）的高斯元（見圖7c）.修剪后的高斯混合形式的后驗強度函數(shù)（后驗PHD）包含了目標狀態(tài)的所有信息，狀態(tài)抽取時選取權值大于一個閾值（一般取0.5）高斯元，選取的高斯元數(shù)為目標數(shù)估計，各高斯元的均值參數(shù)構成了目標狀態(tài)估計隨機集由圖7a，7b，7c左圖（原GM-PHD）和右圖（文中算法）對比可見，原GM-PHD在預測，更新和修剪階段均比文中算法少了一個新生目標的高斯元，原GM-PHD濾波無法自動起始新生目標.

圖8給出了文中算法和原GM-PHD的位置估計結果，其中以圖像最左上角點為坐標原點（0，0），水平向右和豎直向下分別為X軸和Y軸正方向，圖像采集時間為時間軸t建立三維坐標系.

圖8　目標位置估計比較結果

由圖8可見，原GM-PHD只能給出目標位置估計的隨機集而無法識別目標航跡，而且發(fā)生了航跡丟失問題，即無法跟蹤新生的目標3和目標4.

圖9對比了原GM-PHD的目標數(shù)估計，文中算法的目標數(shù)估計，以及真實目標數(shù).通過統(tǒng)計計算，文中算法對目標數(shù)估計的準確率可達到97.31％（621幀/640幀），而原GM-PHD算法僅為64.06％（410幀/640幀）.

圖9　目標數(shù)估計比較曲線

由圖9中曲線可見，文中算法與原GM-PHD比較，大大提高了目標數(shù)估計的準確性.主要改進在于文中算法能夠在各幀圖像中檢測出新生目標位置，自適應更新新生目標強度函數(shù)，減少了新生目標航跡丟失的問題.此外，文中算法對目標狀態(tài)估計-航跡實施關聯(lián)計算，在實現(xiàn)航跡識別的同時進一步去除了虛假目標狀態(tài)估計，確保了狀態(tài)估計的準確性.

OSPA距離［11］可以實現(xiàn)目標狀態(tài)估計與真實狀態(tài)在最優(yōu)配對情況下2個集合之間的距離度量，常用來衡量多目標跟蹤誤差.當目標數(shù)估計或狀態(tài)估計包含誤差時，OSPA距離將大幅增大.圖10給出了文中算法和原GM-PHD的OSPA跟蹤誤差曲線.

圖10　OSPA距離比較曲線

由于OSPA對目標數(shù)估計錯誤有嚴重判罰，即當目標數(shù)估計與真值有偏差時，OSPA距離會表現(xiàn)出顯著增大態(tài)勢.原GM-PHD對于新生強度函數(shù)未知的場景無法起始新目標并保持跟蹤，因此圖10中GM-PHD的誤差曲線呈現(xiàn)多峰特點.與原GM-PHD相比，文中算法產生的OSPA距離顯著降低，算法的誤差較小，具有較高的跟蹤精度.

為進一步驗證算法性能，引入了帶有遮擋的目標跟蹤場景“Meet-SPlit-3rdGuy”作為測試視頻.圖11對比了文中算法和原GM-PHD的目標航跡估計結果.為定量分析位置估計結果，以圖像最左上角點為坐標原點（0，0），水平向右和豎直向下分別為X軸和Y軸正方向，圖像采集時間為時間軸t，圖12分別建立X-t二維坐標系，以及Y-t二維坐標系，繪制了位置估計-時間圖.

圖11　目標航跡估計比較結果

圖12　目標位置估計-時間比較結果

由圖11a和圖12a可見，原GM-PHD方法在第405幀和第450幀左右發(fā)生交叉后遮擋.在第405幀和第450幀遮擋后，由于缺少新生目標檢測和新生目標強度函數(shù)更新機制，原GM-PHD在目標遮擋后出現(xiàn)航跡丟失問題.與此不同，圖11b和圖12b的航跡和位置估計結果表明，文中算法對于目標遮擋前后均能得到較準確的目標位置估計，并能識別目標航跡.

5 結 論

1）文中提出的目標數(shù)變化場景下改進的GMPHD目標跟蹤算法可充分利用運動目標檢測得到的量測數(shù)據(jù)起始新目標，并以此更新新生目標強度函數(shù)，從而提高了PHD濾波對于新生目標的響應性.本新生目標強度函數(shù)更新方法，在跟蹤過程中產生新目標，或遮擋后產生新目標等目標數(shù)變化情況下，具有較高的新目標檢測能力，能夠提高PHD濾波對未知位置的新生目標的跟蹤穩(wěn)健性.

2）通過基于auction的航跡識別方法實現(xiàn)“狀態(tài)-航跡”數(shù)據(jù)關聯(lián)，由于關聯(lián)隱含的上下文信息約束，文中算法在識別目標身份的同時提高了目標狀態(tài)估計的準確性.

3）2個仿真試驗結果表明文中算法能夠在目標數(shù)發(fā)生變化和目標發(fā)生交叉情況下，取得較為魯棒的估計狀態(tài)，并能夠識別目標航跡.

（

）

［1］Beyan C，Temizel A.AdaPtivemean-shift for automated multi-object tracking［J］.IET Computer Vision，2012，6（1）∶1-12.

［2］陳 姝，彭小寧.基于粒子濾波和在線隨機森林分類的目標跟蹤［J］.江蘇大學學報∶自然科學版，2014，35（2）∶207-213. Chen Shu，Peng Xiaoning.Object tracking based on Particle filter and online random forest classification［J］. Journal of Jiangsu Uniuersity∶Natural Science Edition，2014，35（2）∶207-213.（in Chinese）

［3］Macagnano D，de Abreu G T F.AdaPtive gating formultitarget tracking with Gaussian mixture filters［J］.IEEE Transactions on Signal Processing，2012，60（3）∶1533-153S.

［4］Yin Shen，Zhu XiangPing.Intelligent Particle filter and its aPPlication to faultdetection ofnonlinear system［J］. IEEE Transactions on Industrial Electronics，2015，62（6）∶3S52-3S61.

［5］Mahler R P S.Multitarget Bayes filtering via first-order multitargetmoments［J］.IEEE Transactionson Aerospace and Electronic Systems，2003，39（4）∶1152-117S.

［6］Vo BN，MaW K.The Gaussianmixture Probability hy-Pothesis density filter［J］.IEEE Transactions on Signal Processing，2006，54（11）∶4091-4104.

［7］Shi Q，Comaniciu C，Jaffrès-Runser K.An auctionbased mechanism for cooPerative sensing in cognitive networks［J］.IEEE Transactions on Wireless Communications，2013，12（S）∶3649-3661.

［S］吳靜靜，胡士強.基于概率假設密度的多目標視頻跟蹤算法［J］.控制與決策，2010，25（12）∶1S61-1S65. Wu Jingjing，Hu Shiqiang.Probability hyPothesis density filter based multi-target visual tracking［J］.Control and Decision，2010，25（12）∶1S61-1S65.（in Chinese）

［9］Yuan J.Active contour driven by region-scalable fitting and Bhattacharyya distance energies for ultrasound image segmentation［J］.IET Image Processing，2012，6（S）∶1075-10S3.

［10］Greggio N，Bernardino A，LaschiC，et al.Fastestimation of Gaussianmixturemodels for image segmenatation［J］.Machine Vision and Applications，2012，23（4）∶773-7S9.

［11］Ristic B，Vo B N，Clark D.Performance evaluation of multi-target tracking using the OSPA metric［C］∥Proceedings of the 13th Conference on Information Fusion. Edinburgh，UK∶IEEEComPuter Society，2010，Article number∶5712055.

（責任編輯 梁家峰）

Tracking a varying number of targets in videos based on Probability hyPothesis density filtering

Wu Jingjing1，2，You Lihua1，2，An Wei1，2，Song Shujuan1，2，Zhou Deqiang1，2
（1.School of Mechanical Engineering，Jiangnan University，Wuxi，Jiangsu 214122，China；2.Jiangsu Key Laboratory of Advanced Food Manufacturing EquiPment&Technology，Wuxi，Jiangsu 214122，China）

∶To solve the Problem that Probability hyPothesis density（PHD）filterwas not able to track birth targets of unknown Positions，a PHD filtering framework was ProPosed based on new target detection.To overcome the inability to yield target tracks of original PHD filter，a″track-state estimate″association algorithm was designed to Present mathematical formulation and imPlementation method for track recognition.The imPlementation of themulti-target tracking framework for a varying number of targetswas ProPosed.The ProPosed algorithm was realized by MATLAB，and two Pedestrian surveillance data setswith new targets and occlusion were adoPted to evaluate the Performance.The results show that the ProPosed tracker can imProve the resPonse of PHD filter to new births and targets after occlusion by uPdating the intensity of new birth targets in terms of Position observations.The birth targets of unknown Positions can be tracked in the scenario at any time with good accuracy of target number and state estimation.

∶multi-target tracking；Probability hyPothesis density；birth target；Gaussian mixture；track recognition

TP391.41

A

1671-7775（2015）06-0697-0S

吳靜靜，尤麗華，安 偉，等.基于概率假設密度的目標數(shù)變化視頻跟蹤算法［J］.江蘇大學學報∶自然科學版，2015，36（6）∶697-704.

2015-07-21

國家自然科學基金資助項目（61305016）；江南大學自主科研計劃青年基金資助項目（JUSRP1059）

吳靜靜（19S2—），女，安徽滁州人，博士（wjjlady720@jiangnan.edu.cn），主要從事數(shù)字圖像處理、模式識別及信息融合研究.

尤麗華（1955—），女，江蘇淮安人，教授（lhyou@jiangnan.edu.cn），主要從事機電一體化測控技術、圖像處理及測量技術等研究.