王　閃， 吳　秦

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122)

?

全局運(yùn)動(dòng)補(bǔ)償?shù)膭?dòng)態(tài)背景下運(yùn)動(dòng)軌跡跟蹤算法*

王閃， 吳秦

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122)

針對(duì)動(dòng)態(tài)背景下，一般跟蹤算法存在著被動(dòng)跟蹤的滯后或偏移的問題，提出了一種結(jié)合Kalman濾波器的Mean-Shift跟蹤算法。對(duì)運(yùn)動(dòng)矢量進(jìn)行預(yù)處理，得到一個(gè)平穩(wěn)更能反映運(yùn)動(dòng)信息的矢量場(chǎng)；利用Mean-Shift搜索算法精確地確定對(duì)象位置；此基礎(chǔ)上,利用Kalman濾波器算法進(jìn)行運(yùn)動(dòng)估計(jì)預(yù)測(cè)，來確定運(yùn)動(dòng)的軌跡。實(shí)驗(yàn)表明：與現(xiàn)有的方法相比，該方法可從復(fù)雜場(chǎng)景中更準(zhǔn)確地對(duì)運(yùn)動(dòng)對(duì)象進(jìn)行軌跡的跟蹤。

全局運(yùn)動(dòng)補(bǔ)償； 壓縮域； 軌跡跟蹤

0　引　言

近年來,運(yùn)動(dòng)對(duì)象的軌跡跟蹤一直是人們備受關(guān)注的多學(xué)科交叉課題。主要對(duì)象的軌跡跟蹤在很多應(yīng)用中起到非常重要的作用，現(xiàn)在已經(jīng)應(yīng)用在很多APP應(yīng)用中。大部分跟蹤算法基于外觀特征模板，即先離線或在線學(xué)習(xí)一個(gè)外觀模型來描述目標(biāo)，然后使用該模型在圖像區(qū)域進(jìn)行搜索，尋找與外觀模型最相似的目標(biāo)，這種思想比較簡(jiǎn)易，比較適用于剛性且對(duì)象與背景色差相差較大的視頻序列[1]。在此基礎(chǔ)上Ross D A提出離線學(xué)習(xí)自適應(yīng)目標(biāo)外觀變化的外觀模型，雖然能適應(yīng)目標(biāo)外觀的變化，但是沒有考慮背景信息，而這些被丟棄的背景信息很可能提高跟蹤的穩(wěn)定性和準(zhǔn)確性[2]?，F(xiàn)在，除了基于外觀模型方法之外，比較常用的運(yùn)動(dòng)對(duì)象跟蹤算法包括基于3D模型的方法、基于活動(dòng)輪廓模型的方法等[3～5]。其中，Nummiaro K等人采用粒子濾波結(jié)合Mean-Shift的方法進(jìn)行目標(biāo)跟蹤，但是粒子濾波器本身的復(fù)雜計(jì)算降低了跟蹤的實(shí)時(shí)性。雖然很多跟蹤算法被提出，但以上算法都面臨一個(gè)挑戰(zhàn)性的問題，因?yàn)樵谙袼赜蛑羞M(jìn)行的，所以,會(huì)很容易受到光照、遮擋、姿態(tài)和顏色的影響。隨著視頻分辨率的逐漸提高，在像素域研究也越來越受到很多限制。所以，壓縮域中的研究慢慢受到重視，文獻(xiàn)[6]介紹了一種基于Snake方法的跟蹤推理方法來解決車輛遮擋跟蹤問題。但是，這些方法只是在監(jiān)控視頻且不太擁擠的情況下相對(duì)有效。而離子濾波可以對(duì)擁擠的情況有較好的魯棒性，Hue將離子濾波應(yīng)用在目標(biāo)跟蹤上，主要優(yōu)點(diǎn)是可以進(jìn)行多目標(biāo)的目標(biāo)跟蹤，但在跟蹤過程中易出現(xiàn)偏移的現(xiàn)象。

分析上述文獻(xiàn)方法，在針對(duì)對(duì)象單一、監(jiān)控視頻和具有剛性運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)軌跡具有較好的效果，但針對(duì)背景運(yùn)動(dòng)和非剛性物體的運(yùn)動(dòng)對(duì)象，不能正確地進(jìn)行運(yùn)動(dòng)對(duì)象的軌跡跟蹤。為了實(shí)現(xiàn)較低的時(shí)間復(fù)雜度和實(shí)時(shí)性，本文算法在壓縮域中進(jìn)行，并提出了一種基于全局運(yùn)動(dòng)補(bǔ)償?shù)膭?dòng)態(tài)背景下的運(yùn)動(dòng)軌跡跟蹤算法，首先對(duì)運(yùn)動(dòng)矢量(MV)進(jìn)行預(yù)處理，得到一個(gè)平穩(wěn)更能反映運(yùn)動(dòng)信息的矢量場(chǎng)；然后利用Kalman進(jìn)行平穩(wěn)濾波和預(yù)測(cè)，將結(jié)果重新作用于檢測(cè)器，對(duì)其進(jìn)行校正；最后，此基礎(chǔ)上利用Mean-Shift搜索算法精確的確定對(duì)象位置來確定運(yùn)動(dòng)的軌跡跟蹤。相比其他算法，本文算法不僅滿足實(shí)時(shí)要求，并且有良好的精度，在針對(duì)背景復(fù)雜下具有較好的魯棒性。

1　全局運(yùn)動(dòng)參數(shù)模型的建立

針對(duì)全局運(yùn)動(dòng)，需要滿足一定的運(yùn)動(dòng)變化模型，不同的運(yùn)動(dòng)所對(duì)應(yīng)的運(yùn)動(dòng)參數(shù)也不同，常見的運(yùn)動(dòng)參數(shù)模型有2—參數(shù)模型、6—參數(shù)模型和8—參數(shù)模型，分別對(duì)應(yīng)為平移投影模型、仿射投影模型和透視投影模型[7，8]。如圖1所示。

圖1　不同運(yùn)動(dòng)模型的形變Fig 1　Deformation of different motion model

由于2—參數(shù)平移模型有很大的局限性，不太合適用于復(fù)雜背景下的跟蹤，所以在本文中使用的是6—參數(shù)仿射模型，雖然6—參數(shù)仿射模型沒有8—參數(shù)透視模型靈活，但是6—參數(shù)仿射模型在去除全局運(yùn)動(dòng)的研究中應(yīng)用更廣泛。令6—參數(shù)仿射模型參數(shù)為m，則

M=[m1,m2,m3,m4,m5,m6]

(1)

若在t幀中，一個(gè)塊的坐標(biāo)為(x,y)，被轉(zhuǎn)換的參考幀的坐標(biāo)為(x',y')， 則

x'=m1+m2x+m3x,y'=m4+m5y+m6y

(2)

所以,得到v(x,y)為

v(x,y)=(x'-x,y’-y)

(3)

最后將運(yùn)動(dòng)模型運(yùn)用到整個(gè)矢量場(chǎng)，求出最后的殘差。

2　在動(dòng)態(tài)背景下的運(yùn)動(dòng)對(duì)象軌跡跟蹤方法

在使用6—參數(shù)全局運(yùn)動(dòng)參數(shù)模型的條件下，本文算法的流程圖如圖2所示。

圖2　算法的流程圖Fig 2　Flow chart of algorithm

2.1運(yùn)動(dòng)矢量預(yù)處理

將H．264壓縮視頻中的運(yùn)動(dòng)矢量場(chǎng)歸一化為4×4的塊，用矢量中值濾波能夠消除孤立矢量噪聲并且平滑相鄰塊之間運(yùn)動(dòng)矢量的差異。使用滑動(dòng)窗方法進(jìn)行中值濾波，首先定義N×N窗函數(shù)內(nèi)各元素之間的差異度

(4)

式中vi和vj為N×N窗內(nèi)的運(yùn)動(dòng)矢量；L為歐幾里德距離。將di升序排列映射到vi。最后根據(jù)式(5)，以排序后的vout作為最后的輸出結(jié)果，即

(5)

式中cor(v(N+1)/2,v)=‖v(N+1)/2,v‖/(‖v(N+1)/2‖‖v‖)，v為平均矢量，p為預(yù)設(shè)的閾值。

H.264/AVC編碼標(biāo)準(zhǔn)采用7種不同的宏塊分割尺寸，使得對(duì)應(yīng)都一個(gè)單獨(dú)的參考幀序號(hào)和運(yùn)動(dòng)矢量。導(dǎo)致提取出來的運(yùn)動(dòng)矢量場(chǎng)是一個(gè)不規(guī)則的稀疏場(chǎng)，不便于運(yùn)動(dòng)對(duì)象的檢測(cè)與跟蹤，因此，有必要對(duì)運(yùn)動(dòng)矢量場(chǎng)進(jìn)行預(yù)處理。首先進(jìn)行運(yùn)動(dòng)矢量場(chǎng)的迭代累積，由于得到的運(yùn)動(dòng)矢量場(chǎng)含有噪聲，需要進(jìn)行濾除。為減輕運(yùn)算，將運(yùn)動(dòng)矢量的X和Y方向的絕對(duì)值和作為運(yùn)動(dòng)矢量的幅值，即

(6)

2.2Mean-Shift搜索算法

Mean-Shift 檢測(cè)對(duì)象區(qū)域采用運(yùn)動(dòng)矢量方向角作為特征空間，對(duì)視頻序列中的運(yùn)動(dòng)對(duì)象進(jìn)行跟蹤。在0°-360°的范圍內(nèi)對(duì)矢量方向角量化，以20°作為步長(zhǎng)，分成18個(gè)量化等級(jí)。最終得到的矢量方向角直方圖覆蓋整個(gè)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)特征。運(yùn)動(dòng)對(duì)象所對(duì)應(yīng)的運(yùn)動(dòng)矢量分布的區(qū)域的中心位置記為x0，運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)矢量對(duì)應(yīng)的塊的位置記為{xi}，i=1,2,…,n。如果對(duì)象模型表示成m個(gè)值的直方圖，其形式為q={qv},v=1,2,…,m，則對(duì)象運(yùn)動(dòng)矢量分布

(7)

式中函數(shù)o:R→{1,2,…,m} 為xi在直方圖中的索引映像，δ[·]為Delta函數(shù)，C為歸一化系數(shù)。一般地，像素域跟蹤對(duì)象易受背景顏色影響，但矢量方向角基于運(yùn)動(dòng)矢量更加可靠，且不受對(duì)象形狀變化的影響。為了更好說明靠近對(duì)象中心的矢量方向角更可靠，引入核函數(shù)估計(jì)，式(7)改寫成

(8)

式中h為帶寬，k(·)為輪廓函數(shù)。對(duì)目標(biāo)模型建立特征后，后面的視頻序列對(duì)應(yīng)的運(yùn)動(dòng)矢量，可能存在目標(biāo)的區(qū)域稱為候選區(qū)域。首先假定目標(biāo)的中心位置x，該區(qū)域中的矢量方向角對(duì)應(yīng)的位置為{xi},i=1,2,…,n。跟蹤過程即首先建立目標(biāo)模型，然后在候選模型中找一個(gè)與目標(biāo)模型分布最相似的候選模型作為當(dāng)前幀的目標(biāo)位置。

2.3卡爾曼濾波器

目標(biāo)跟蹤需要進(jìn)行校正學(xué)習(xí)，并預(yù)測(cè)得到下一幀的位置信息，而其重點(diǎn)是在于對(duì)樣本的校正，這一部分的計(jì)算對(duì)實(shí)時(shí)性的影響起到非常關(guān)鍵的作用。卡爾曼濾波是一種經(jīng)典的運(yùn)動(dòng)預(yù)測(cè)模型和優(yōu)化迭代的算法，僅僅只利用當(dāng)前幀的檢測(cè)位置信息與前一幀的跟蹤位置信息來預(yù)測(cè)得到當(dāng)前幀的位置信息，其參數(shù)也是迭代得到，需要的空間容量特別的小，其速度非常的快。所以，本文結(jié)合卡爾曼濾波來進(jìn)行下一幀運(yùn)動(dòng)對(duì)象的預(yù)測(cè)?？柭鼮V波可作為一個(gè)線性隨機(jī)的微分方程，由目標(biāo)方程和狀態(tài)方程組成進(jìn)行迭代，即

Xk=AXk-1+BUk-1+Wk

(9)

Zk=HXk+Vk

(10)

式中Xk為第k次迭代的系統(tǒng)狀態(tài)變量，Uk為第k次迭代時(shí)對(duì)系統(tǒng)的控制量，A和B為系統(tǒng)參數(shù)，Zk為第k次迭代時(shí)的測(cè)量量，H為測(cè)量系統(tǒng)的參數(shù)。Wk和Vk分別為過程和測(cè)量的噪聲?？梢曰谇耙粻顟B(tài)而預(yù)測(cè)出當(dāng)前的狀態(tài)

(11)

(12)

(13)

(14)

(15)

3　實(shí)驗(yàn)與結(jié)果分析

采用標(biāo)準(zhǔn)測(cè)試視頻序列進(jìn)行評(píng)估實(shí)驗(yàn)，視頻采用的是YUV4:2:0格式的序列，所有的幀速為30fps和H.264/AVCJMV.18.0進(jìn)行編碼，平臺(tái)采用AMDAthlon(tm)IIX4 645處理器，主頻3.1GHz。為了體現(xiàn)本文提出的算法的魯棒性和穩(wěn)定性，在整個(gè)實(shí)驗(yàn)中采用同樣的參數(shù)序列，采用標(biāo)準(zhǔn)測(cè)試序列Coastguard,Hallmonitor,Stefan,Garden,Foreman和Mobile等序列進(jìn)行了實(shí)驗(yàn)，跟蹤軌跡效果分別為圖3所示，其中，黑色實(shí)線為本文算法的跟蹤軌跡，灰色虛線為groundtruth的軌跡。

圖3　運(yùn)動(dòng)對(duì)象軌跡跟蹤Fig 3　Trajectory tracking of motion object

圖3中，(a)Coastguard視頻序列，從中可以看出小船遇到大船時(shí)，相機(jī)出現(xiàn)突然下移的過程，本文算法依然能正確的跟蹤。(b),(d),(e)為非剛性運(yùn)動(dòng)目標(biāo)，本文算法依然可以準(zhǔn)確跟蹤，其中，(d)在跟蹤和分割方面都具有較高的難道。(c),(f)既存在背景的運(yùn)動(dòng)也存在其他因素的干擾，本文算法在保證去除背景運(yùn)動(dòng)的前提下依然能正確跟蹤，以上六種視頻序列包含了多種復(fù)雜情況，由此體現(xiàn)了本文算法的魯棒性。為了能體現(xiàn)很佳的效果，對(duì)算法進(jìn)行比較，從精確度(p)、召回率(r)和f值(r)方面進(jìn)行對(duì)比，其定義如下

(16)

(17)

(18)

式中TP為被模型預(yù)測(cè)為正的正樣本(truepositives)，F(xiàn)P為被模型預(yù)測(cè)為負(fù)的負(fù)樣本(falsepositives)，F(xiàn)N為被模型預(yù)測(cè)為負(fù)的正樣本(falsenegatives)。如圖4所示。

圖4　準(zhǔn)確度、召回率和f值結(jié)果對(duì)比Fig 4　Results comparion of accuracy，recall rate and f value

其中，圖4(a)為運(yùn)動(dòng)軌跡的準(zhǔn)確度，可以體現(xiàn)跟蹤軌跡和真實(shí)軌跡的對(duì)比，圖(b)和(c)分別為召回率和f值的對(duì)比，具體計(jì)算如式(17)、式(18)所示。從圖4可以看出，文獻(xiàn)[9]也存在較高的精確度，但在召回率和f值方面與本文算法相差較大，主要原因取決于每幀的跟蹤精度。所以，本文算法在路徑跟蹤方面具有較高的魯棒性。

4　結(jié)束語

本文基于全局運(yùn)動(dòng)補(bǔ)償在動(dòng)態(tài)背景下進(jìn)行運(yùn)動(dòng)軌跡跟蹤，提出了一種結(jié)合Kalman濾波器的Mean-Shift跟蹤算法，從而準(zhǔn)確地對(duì)運(yùn)動(dòng)對(duì)象進(jìn)行軌跡跟蹤。然而，同像素域相比，壓縮域處理最小單元是4×4塊，壓縮域丟失一些特征，所以最終的跟蹤框會(huì)抖動(dòng)；對(duì)于這些缺點(diǎn)的解決，在檢測(cè)運(yùn)動(dòng)對(duì)象方面，可以增加運(yùn)動(dòng)目標(biāo)的“特征”，比如運(yùn)動(dòng)矢量的幅值，宏塊類型等信息，這些也是今后努力的方向。

[1]BlackMJ,JepsonAD.EigenTracking:Robustmatchingandtra-ckingofarticulatedobjectsusingaview-basedrepresentation[J].InternationalJournalofComputerVision,1998,26(1):63-84.

[2]RossDA,LimJ,LinRS,etal.Incrementallearningforrobustvisualtracking[J].InternationalJournalofComputerVision,2015,77(1-3):125-141.

[3]MehmoodK,MrakM,CalicJ,etal.Objecttrackinginsurveillancevideosusingcompresseddomainfeaturesfromscalablebit-streams[J].SignalProcessingImageCommunication,2009,24(10):814-824.

[4]AlliliMS,ZiouD.Objecttrackinginvideosusingadaptivemixturemodelsandactivecontours[J].Neurocomputing,2008,71(10-12):2001-2011.

[5]NummiaroK,Koller-MeierE,GoolLV.Objecttrackingwithanadaptivecolor-basedparticlefilter[J].LectureNotesinCompu-terScience,2002,2449(2):353-360.

[6]KamijoS,NishidaT,SatohS,etal.Automatedbehaviorandstatisticalanalysisfromtrafficimagesbasedonprecisevehicletra-ckingalgorithm[C]∥ProceedingsofIEEE2002the5thInternationalConferenceonIntelligentTransportationSystems,IEEE,2002:920-925.

[7]李慶瀛,褚金奎,李榮華,等.基于卡爾曼濾波的移動(dòng)機(jī)器人運(yùn)動(dòng)目標(biāo)跟蹤[J].傳感器與微系統(tǒng),2008,27(11):66-68,71.

[8]聶衛(wèi)科,朱從光,房鼎益,等.隨機(jī)布署平面?zhèn)鞲衅麝嚵袑?shí)現(xiàn)色噪聲下運(yùn)動(dòng)節(jié)點(diǎn)跟蹤算法[J].傳感器與微系統(tǒng),2014,33(12):141-145.

[9]ZhangK,ZhangL,YangMH.Real-timecompressivetracking[C]∥EuropeanConferenceonComputerVision,Springer-Verlag,2012:864-877.

吳秦，通訊作者，E—mail：qinwu@jiangnan.edu.cn。

Motion trajectory tracking algorithm based on global motion compensation in dynamic background*

WANG Shan， WU Qin

(College of IOT Engineering, Jiangnan University,Wuxi 214122,China)

Dynamic background,general tracking algorithm has problem of passive tracking lag or shift,propose an algorithm which combines Kalman filter and Mean-Shift tracking algorithm.Preprocess motion vector to get a smooth vector field which can reflect movement information very well; using Mean-Shift searching algorithm to determine object position precisely;motion estimation prediction is carried out by using Kalman filter algorithm on this basis,to determine movement track.Experiment shows that this method can track trajectory more accurately from complex scene compared with existing methods.

global motion compensation; compressed domain; trajectory tracking

2016—06—01

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202312)；中央高?；究蒲谢鹳Y助項(xiàng)目(JUSRP51510)

TP 391

A

1000—9787(2016)08—0137—04

王閃(1990-)，男，安徽阜陽人，碩士研究生，主要研究方向?yàn)闄C(jī)器視覺與視頻編解碼。

DOI:10.13873/J.1000—9787(2016)08—0137—04