路 紅，李宏勝，費(fèi)樹(shù)岷，郭 婧，李文成

（1.南京工程學(xué)院 自動(dòng)化學(xué)院，江蘇 南京211167；2.東南大學(xué) 自動(dòng)化學(xué)院，江蘇 南京210096）

0 引 言

基于視頻的運(yùn)動(dòng)目標(biāo)跟蹤是機(jī)器視覺(jué)的核心問(wèn)題，其難點(diǎn)在于目標(biāo)被遮擋、待匹配區(qū)域附近干擾過(guò)強(qiáng)、目標(biāo)特征變化時(shí)易產(chǎn)生誤匹配，致使跟蹤持續(xù)性難以保證。Mean shift算法是一種基于核密度估計(jì)的非參數(shù)模式匹配算法，通過(guò)建立加權(quán)直方圖來(lái)描述目標(biāo)的顏色分布。該方法利用像素概率密度函數(shù)梯度最優(yōu)化方法，通過(guò)迭代，收斂于概率密度函數(shù)的局部極大值，實(shí)現(xiàn)快速目標(biāo)定位。當(dāng)目標(biāo)周圍被遮擋時(shí)，由于周圍像素權(quán)重小，不會(huì)對(duì)目標(biāo)定位產(chǎn)生劇烈的影響［1］。但是Mean shift尋找局部最優(yōu)的特點(diǎn)使得在多峰值非高斯分布的復(fù)雜環(huán)境下可能丟失全局最優(yōu)點(diǎn)。為了解決這個(gè)問(wèn)題，不少文獻(xiàn)提出了尋找全局最優(yōu)的方法。其中通過(guò)附加預(yù)測(cè)環(huán)節(jié)（如 Kalman預(yù)測(cè)）［2－5］和多特征融合［6－10］方法成為研究的重點(diǎn)。但是復(fù)雜場(chǎng)景中遮擋判斷和處理、模板更新可靠性，以及逐幀匹配過(guò)程中的誤差累積等問(wèn)題仍然制約著跟蹤魯棒穩(wěn)定性提高。為此相應(yīng)的遮擋判斷［3，9，11－12］，特征和 尺 度 更 新［9，13－15］方 法 相 繼 提 出。 而 對(duì)誤差累積［2，15］問(wèn)題的針對(duì)性研究目前仍較少。文獻(xiàn) ［15］通過(guò)改進(jìn)目標(biāo)描述機(jī)制來(lái)抑制直方圖特征描述存在的誤差累積問(wèn)題，但對(duì)遮擋跟蹤沒(méi)有涉及。

針對(duì)上述問(wèn)題，本文提出一種復(fù)雜場(chǎng)景中遮擋目標(biāo)自適應(yīng)跟蹤方法。利用自適應(yīng)Kalman濾波器預(yù)測(cè)和校正目標(biāo)跟蹤軌跡，以解決Mean shift目標(biāo)搜索易陷入局部最優(yōu)點(diǎn)的問(wèn)題。根據(jù)鄰幀分量相似度偏差權(quán)衡x和y方向相似度的可靠性，并據(jù)此計(jì)算相似度融合權(quán)值，以使可靠性較高的分量相似度在最終相似度融合中占較大比重。通過(guò)噪聲協(xié)方差和目標(biāo)狀態(tài)參數(shù)更新校正目標(biāo)跟蹤軌跡，并通過(guò)折中當(dāng)前幀和前面幀中目標(biāo)參數(shù)更新目標(biāo)狀態(tài)和特征模型。實(shí)驗(yàn)結(jié)果表明該方法能有效提高全局最優(yōu)點(diǎn)的搜索效率和跟蹤魯棒穩(wěn)定性。

1 遮擋目標(biāo)自適應(yīng)跟蹤

1.1 目標(biāo)特征模型描述和核函數(shù)

目標(biāo)特征模型采用目標(biāo)位置附近橢圓形圖像區(qū)域Rh的色調(diào)和飽和度加權(quán)色彩直方圖u＝｛u1，u2｝表示。為了減小目標(biāo)尺度影響，分別在行、列方向選擇不同尺度參數(shù)h＝｛hx，hy｝將橢圓歸一化為單位圓。設(shè) ｛xi＊｝i＝1，2…，n為目標(biāo)模型上歸一化后的像素坐標(biāo)位置。則目標(biāo)特征模型q描述如式（1）示。其中u為色度級(jí)，共m級(jí)，δ為Kronecker delta函數(shù)。k（x）為核函數(shù)。在Mean shift中，常用的核函數(shù)有均勻核函數(shù)、高斯核函數(shù)及Epanechnikove核函數(shù)等。均勻核函數(shù)規(guī)定了所有落入Rh的采樣點(diǎn)，無(wú)論其離中心x遠(yuǎn)近，對(duì)最終的 Mean shift向量計(jì)算具有相同貢獻(xiàn)。高斯核和Epanechnikov核均為中間凸起的單調(diào)遞減核輪廓函數(shù)，采樣點(diǎn)對(duì)最終的Mean shift向量計(jì)算取決于其離中心x的距離。其中，高斯核是最優(yōu)核，如圖1所示。本文選擇高斯核。

圖1 高斯核

當(dāng)前圖像幀中，以空間點(diǎn)s為中心、相同核輪廓函數(shù)和帶寬h的候選目標(biāo)區(qū)域內(nèi)，候選目標(biāo)特征模型p描述如式（2）所示。其中 ｛xi｝i＝1，2…，nh

1.2 自適應(yīng)加權(quán)相似度

設(shè)qu，x，l，pu，x，l分別為色彩分量l沿x 方向計(jì)算的目標(biāo)模型和候選模型，二者間相似度ρx，l基于Bhattacharrya系數(shù)度量，如式（3）所示。同理可得ρy，l。其中l(wèi)＝1，l＝2分別表示色調(diào)和飽和度色彩分量。t為幀序號(hào)

x向融合相似度ρx如式（4）示。同理可得ρy

設(shè)鄰幀相似度差值△ρx為

則x和y方向相似度融合權(quán)值ax和ay如式（6）所示。由于該權(quán)值與當(dāng)前分量相似度的可靠性成正比，即：可靠性大則在最終融合相似度中的權(quán)重就大，從而使相似度計(jì)算具有自適應(yīng)性。

目標(biāo)模型q和候選模型p間的融合相似度ρ（s，t）如式（7）所示

1.3 基于 Mean shift的模板匹配

對(duì)于經(jīng)典的Bhattacharyya系數(shù)定義式，在s點(diǎn)泰勒展開(kāi)，可知相似度取最大值時(shí)對(duì)應(yīng)式（8）取得最大值［3］，即：搜索目標(biāo)的當(dāng)前最優(yōu)觀測(cè)位置

設(shè) K（x） 核 中 心 位 置 遞 推 序 列 為 ｛sj｝j＝1，2…，nh， 則Mean shift遞推過(guò)程如式（9）示，其中 g（x）＝－k′（x），xi為2維圖像空間中nh個(gè)采樣點(diǎn)

給定一個(gè)初始點(diǎn)sj，Mean shift遞推過(guò)程就是循環(huán)執(zhí)行式（9），使sj不斷沿概率密度的梯度方向移動(dòng)k（x）核中心的過(guò)程。在概率密度大的地方，迭代移動(dòng)的步長(zhǎng)小一些；反之大一些。滿足一定條件時(shí)，Mean shift算法將收斂到sj附近峰值。

1.4 目標(biāo)模型更新

由于目標(biāo)自身特征漸變、遮擋以及場(chǎng)景噪聲干擾等，使得已有目標(biāo)模型難以保證跟蹤的魯棒準(zhǔn)確性。而模型何時(shí)更新及如何更新則是基于模板匹配的跟蹤系統(tǒng)的關(guān)鍵問(wèn)題之一。目標(biāo)模型更新不足，則導(dǎo)致跟蹤不穩(wěn)定；模型過(guò)更新，則逐幀誤差累積嚴(yán)重，致使跟蹤失敗。本文綜合當(dāng)前幀和前面幀序列作用以及遮擋判斷以更新目標(biāo)特征和尺度模型，如式（10），（11）所示，有效緩解了上述問(wèn)題

popt和hopt分別表示最優(yōu)候選模型和最優(yōu)目標(biāo)尺度。h－為Kalman先驗(yàn)估計(jì)尺度，T1為相似度閾值。ξ為縮放倍數(shù)，可據(jù)視頻采樣率和被跟蹤目標(biāo)尺度進(jìn)行調(diào)整。由于高斯核函數(shù)對(duì)于遠(yuǎn)離目標(biāo)中心點(diǎn)的像素賦予的權(quán)值小，對(duì)部分遮擋目標(biāo)跟蹤穩(wěn)定性好，因此模型更新以ρ（t）＜T1對(duì)應(yīng)的目標(biāo)全部或嚴(yán)重遮擋為臨界（此時(shí)模板更新無(wú)可信賴特征信息，不需更新模板）。

相對(duì)于固定尺度跟蹤，文獻(xiàn) ［13］采用的變尺度跟蹤需要三倍耗時(shí)。為了提高跟蹤實(shí)時(shí)性，同時(shí)保證跟蹤持續(xù)穩(wěn)定性，本文算法首先比較h1，h2和h3的整數(shù)值，對(duì)于相等整數(shù)值，只進(jìn)行1次尺度匹配。

1.5 Kalman參數(shù)更新和目標(biāo)速度校正

目標(biāo)狀態(tài)估計(jì)采用一階Kalman濾波器。狀態(tài)向量選擇X＝［x y vxvyhxhy］T。其中（x，y）和（vx，vy）分別為目標(biāo)外接矩形框中心坐標(biāo)和速度。X–和P＋分別為目標(biāo)狀態(tài)Kalman先驗(yàn)估計(jì)和后驗(yàn)估計(jì)協(xié)方差。Mean shift迭代搜索的最佳候選目標(biāo)模型作為Kalman軌跡校正的觀測(cè)值。并根據(jù)ρ（t）、系統(tǒng)噪聲協(xié)方差Q和測(cè)量噪聲協(xié)方差R折中X–和觀測(cè)值后驗(yàn)估計(jì)X＋。

為了解決逐幀匹配過(guò)程中的模型更新誤差和狀態(tài)估計(jì)誤差等引起的誤差累積問(wèn)題，這里用最近的N幀Mean shift迭代誤差更新Q和R。如式（12）－（14）所示

式中：M——Mean shift在第τ幀中迭代位置sc的個(gè)數(shù)，I2×2——2×2單位陣。ρ（t）＜T1時(shí)，Q——零，R——無(wú)窮大，因此X＋＝X–，即：目標(biāo)軌跡的延續(xù)完全依賴估計(jì)。速度v＝｛vx，vy｝校正如式（15）所示

1.6 跟蹤算法流程

基于Mean shift的遮擋目標(biāo)跟蹤流程如圖2所示。首先在以Kalman預(yù)測(cè)的目標(biāo)矩形框內(nèi)計(jì)算候選目標(biāo)核色彩直方圖模型，然后利用Mean shift迭代搜索概率分布的峰值點(diǎn)（相似度最大時(shí)對(duì)應(yīng)的目標(biāo)位置），最后根據(jù)遮擋和場(chǎng)景干擾情況選擇性自適應(yīng)更新模型。最優(yōu)候選目標(biāo)確定的目標(biāo)位置和尺度作為目標(biāo)狀態(tài)觀測(cè)值，帶入Kalman濾波器修正目標(biāo)運(yùn)動(dòng)軌跡，并對(duì)第t＋1幀中的目標(biāo)軌跡做出預(yù)測(cè)。

圖2 跟蹤算法流程

感興趣被跟蹤目標(biāo)通過(guò)手動(dòng)確定。相似度極大值（對(duì)應(yīng)目標(biāo)觀測(cè)值）搜索步驟如下：

步驟1：利用式（9）和式（7）計(jì)算sj＋1和ρ（sj＋1），若ρ（sj＋1）＜ρ（sj），則sj＋1＝（sj＋1＋sj）/2，并重復(fù)步驟1，否則轉(zhuǎn)步驟2；

步驟2：若｜｜sj＋1－sj｜｜＜ε，則轉(zhuǎn)步驟3；否則sj＝sj＋1并轉(zhuǎn)步驟1；

步驟3：若目標(biāo)尺度不需更新，則hopt和對(duì)應(yīng)的sj＋1作為目標(biāo)觀測(cè)值；若需更新尺度，則更新后轉(zhuǎn)步驟1。

2 實(shí)驗(yàn)結(jié)果與討論

如圖3和圖5所示的兩個(gè)視頻是在南京市區(qū)某路面交通場(chǎng)景拍攝的320×240AVI錄像，幀率為30幀/秒，并基于Windows XP，Pentium 4，1G內(nèi)存計(jì)算機(jī)進(jìn)行了仿真試驗(yàn)。取N＝3，ξ＝1/20，Kalman噪聲協(xié)方差初始化為單位矩陣，狀態(tài)轉(zhuǎn)移矩陣設(shè)置為

測(cè)量矩陣設(shè)置為

式中：I2，O2——2×2單位矩陣和零矩陣。

2.1 相似特征障礙物遮擋下的目標(biāo)跟蹤

圖3為對(duì)視頻1第1～42幀中單運(yùn)動(dòng)目標(biāo)（騎車人）的跟蹤實(shí)驗(yàn)結(jié)果。目標(biāo)從視頻左方駛向右方，途中從一根與騎車人衣服顏色特征相似的柱子后穿過(guò)。從第11幀開(kāi)始目標(biāo)被部分遮擋，第24幀開(kāi)始被全部遮擋，第28幀開(kāi)始從遮擋物右側(cè)部分復(fù)出，第40幀開(kāi)始遮擋結(jié)束。圖3（a）中綠色 “＊”點(diǎn)標(biāo)記的是各幀中紅色框所跟蹤的目標(biāo)中心位置構(gòu)成的目標(biāo)運(yùn)動(dòng)軌跡，其局部放大圖如圖3（b）所示。目標(biāo)在第27幀和28幀中的中心位置發(fā)生了較大跳躍，這是Mean shift迭代在概率密度小的區(qū)域步長(zhǎng)增大的體現(xiàn)，相對(duì)于固定步長(zhǎng)搜索法，該方法提高了目標(biāo)定位速度。

圖3 場(chǎng)景障礙物遮擋下的目標(biāo)跟蹤軌跡

在目標(biāo)預(yù)測(cè)位置附近進(jìn)行Mean shift搜索需要的迭代次數(shù)減少。雖然運(yùn)動(dòng)目標(biāo)受到較大干擾和被全部遮擋時(shí)需要的迭代次數(shù)有所增加，如圖4中第21，24和25幀，但是總平均迭代次數(shù)僅為2次。

圖4 各幀Mean shift迭代次數(shù)

2.2 多目標(biāo)場(chǎng)景中的互遮擋跟蹤

圖5為對(duì)視頻2第4476～4502幀中多行為狀態(tài)下的多目標(biāo)（主要是車輛）跟蹤實(shí)驗(yàn)結(jié)果。天藍(lán)色框跟蹤的目標(biāo)獨(dú)立運(yùn)行，黃色框跟蹤的目標(biāo)始終處于靜止?fàn)顟B(tài)。第4484幀開(kāi)始紅色框被深藍(lán)色框跟蹤的目標(biāo)遮擋，第4490幀開(kāi)始被后者全部遮擋，第4494幀開(kāi)始從左側(cè)部分復(fù)出，第4499幀開(kāi)始遮擋結(jié)束。深藍(lán)色框跟蹤的目標(biāo)在第4492～4502幀中被小樹(shù)遮擋。與跟蹤框同色的 “＊”點(diǎn)標(biāo)記的是各幀中被跟蹤目標(biāo)的運(yùn)動(dòng)軌跡。圖5（a）為第4486幀時(shí)的目標(biāo)運(yùn)動(dòng)軌跡，圖5（b）為第4502幀時(shí)的目標(biāo)運(yùn)動(dòng)軌跡。

對(duì)上述兩視頻序列中的運(yùn)動(dòng)目標(biāo)跟蹤結(jié)果進(jìn)行統(tǒng)計(jì)，跟蹤正確率為100%。由實(shí)驗(yàn)結(jié)果可知，本文方法能有效融合Mean shift迭代和Kalman估計(jì)以校正目標(biāo)運(yùn)動(dòng)軌跡。給出的目標(biāo)狀態(tài)、模型及協(xié)方差更新方法進(jìn)一步保證了跟蹤的魯棒準(zhǔn)確性，較好實(shí)現(xiàn)了對(duì)場(chǎng)景障礙物遮擋和目標(biāo)間互遮擋、部分和全部遮擋目標(biāo)的跟蹤。本文方法對(duì)獨(dú)立運(yùn)行目標(biāo)和靜止目標(biāo)的跟蹤也具有良好跟蹤性能。

3 結(jié)束語(yǔ)

本文給出一種基于Mean shift和軌跡校正的自適應(yīng)目標(biāo)跟蹤方法。將Kalman預(yù)測(cè)和 Mean shift目標(biāo)搜索相結(jié)合，利用Mean shift迭代軌跡誤差校正噪聲協(xié)方差，并利用Kalman后驗(yàn)估計(jì)校正目標(biāo)跟蹤軌跡，提高了全局最優(yōu)點(diǎn)收斂性能。通過(guò)自適應(yīng)融合x(chóng)和y方向分量相似度，提高了相似度計(jì)算的可靠性。目標(biāo)狀態(tài)參數(shù)、特征和尺度模型選擇性自適應(yīng)更新，進(jìn)一步保證了跟蹤的快速魯棒穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明該方法是有效的。本文目標(biāo)跟蹤初始化通過(guò)手動(dòng)完成，進(jìn)一步結(jié)合運(yùn)動(dòng)檢測(cè)實(shí)現(xiàn)跟蹤系統(tǒng)的自動(dòng)起始是我們下一步的工作。

［1］XUE Chen，ZHU Ming，LIU Chunxiang.Review of tracking algorithms under occlusions ［J］.Chinese Journal of Optics and Applied Optics，2009，12（5）：388－394（in Chinese）.［薛陳，朱明，劉春香.遮擋情況下目標(biāo)跟蹤算法綜述 ［J］.中國(guó)光學(xué)與應(yīng)用光學(xué)，2009，l2（5）：388－394.］

［2］LI Haojie，LIN Shouxun，ZHANG Yongdong.A survey of video based human motion capture ［J］.J Computer－Aided Design ＆Computer Graphics，2006，18（11）：1645－1651（in Chinese）.［李豪杰，林守勛，張勇東.基于視頻的人體運(yùn)動(dòng)捕捉綜述 ［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2006，18（11）：1645－1651.］

［3］SUN Zhongsen，SUN Junxi，SONG Jianzhong，et al.Anti－occlusion arithmetic for moving object tracking ［J］.Optics and Precision Engineering.2007，15（2）：267－271（in Chinese）.［孫中森，孫俊喜，宋建中，等.一種抗遮擋的運(yùn)動(dòng)目標(biāo)跟蹤算法 ［J］.光學(xué)精密工程，2007，15（2）：267－271.］

［4］LIU Weijin，ZHANG Yujin.Edge－color－h(huán)istogram and Kalman filter－based real－time object tracking ［J］.Journal of Tsinghua University，2008，48（7）：1104－1107（in Chinese）.［劉惟錦，章毓晉.基于Kalman濾波和邊緣直方圖的實(shí)時(shí)目標(biāo)跟蹤 ［J］.清華大學(xué)學(xué)報(bào)，2008，48（7）：1104－1107.］

［5］CHEN Yuan，YU Shengsheng，SUN Weiping，et al.Object tracking using an improved kernel method ［C］.Sichuan：Proc of the International Conference on Embedded Software and Systems，2008：511－515.

［6］Ido Leichter， Michael Lindenbaum，Ehud Rivlin. Mean shift tracking with multiple reference color histograms ［J］.Computer Vision and Image Understanding，2010，114（3）：400－408.

［7］SHAN Caifeng，TAN Tieniu，WEI Yucheng.Real－time hand tracking using a mean shift embedded particle filter ［J］.Pattern Recognition，2007，40（7）：1958－1970.

［8］YUAN Guanglin，XUE Mogen，HAN Yusheng，et al.Mean Shift object tracking based on adaptive multi－features fusion［J］.Journal of Computer Research and Development，2010，47（9）：1663－1671（in Chinese）.［袁 廣 林， 薛 模 根， 韓 裕 生，等.基于自適應(yīng)多特征融合的Mean Shift目標(biāo)跟蹤 ［J］.計(jì)算機(jī)研究與發(fā)展，2010，47（9）：1663－1671.］

［9］Charay Lerdsudwichai，Mohamed Abdel－Mottaleb，A－Nasser Ansari.Tracking multiple people with recovery from partial and total occlusion ［J］.Pattern Recognition，2005，38（7）：1059－1070.

［10］ZHOU Huiyu，YUAN Yuan，SHI Chunmei.Object tracking using SIFT features and mean shift ［J］.Computer Vision and Image Understanding，2009，113（3）：345－352.

［11］Kairoek Choeychuen，Pinit Kumhom，Kosin Chamnongthai.Robust ambiguous target handling for visual object tracking［J］.Int J Electron Commun，2010，64（10）：960－970.

［12］BO Wu，Ram Nevatia，Tracking of Multiple.Partially occluded humans based on static body part detection ［C］.New York：Proc of IEEE Conference on Computer Vision and Pattern Recognition，2006：951－958.

［13］NING Songpeng，YANG Jie，LIU Zhi.Mean shift blob tracking with kernel histogram filtering and hypothesis testing ［J］.Pattern Recognition Letters，2005，26（5）：605－614.

［14］JIA Jingping，ZHAO Rongchun.Adaptive tracking of objects in image sequences using improved Mean Shift algorithm ［J］.Application Research of Computers，2005，22（2）：247－251（in Chinese）.［賈靜平，趙榮椿.使用Mean Shift進(jìn)行自適應(yīng)序列圖像目標(biāo)跟蹤 ［J］.計(jì)算機(jī)應(yīng)用研究，2005，22（2）：247－251.］

［15］JIA Jingping，ZHANG Feizhou，CHAI Yanme.Object tracking using the trust－region method in scale－space with probability distribution images generated by kernel density estimation ［J］.J Tsinghua University，2009，49（4）：595－598（in Chinese）.［賈靜平，張飛舟，柴艷妹.基于核密度估計(jì)尺度空間的目標(biāo)跟蹤算法 ［J］.清華大學(xué)學(xué)報(bào)，2009，49（4）：595－598.］