趙 龍 肖軍波

(北京航空航天大學(xué) 飛行器控制一體化技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京100191)

遮擋情況下的運(yùn)動(dòng)目標(biāo)跟蹤是運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤領(lǐng)域中的難題.為解決運(yùn)動(dòng)遮擋問(wèn)題，國(guó)內(nèi)外學(xué)者已進(jìn)行了大量的研究，提出了許多有效的方法.文獻(xiàn)［1-2］通過(guò)提取對(duì)目標(biāo)形狀、大小和尺度不變的 SIFT(Scale-invariant Feature Transform)特征，在遮擋過(guò)程中利用未被遮擋的特征點(diǎn)構(gòu)造多維矩陣反解出目標(biāo)的位置和大小，該算法提取的特征點(diǎn)具有很強(qiáng)的魯棒性，但計(jì)算量大，且在目標(biāo)被嚴(yán)重遮擋時(shí)無(wú)法提取有效特征點(diǎn);文獻(xiàn)［3-4］提出了利用像素灰度預(yù)測(cè)值和測(cè)量值的差異來(lái)判斷該像素是否發(fā)生遮擋，進(jìn)而確定模板如何更新，但該方法不適用于目標(biāo)運(yùn)動(dòng)軌跡變化較大的情況.文獻(xiàn)［5-7］提出了基于概率外觀模型Condensation的跟蹤方法，該方法通過(guò)在未遮擋情況下建立目標(biāo)顏色模型并實(shí)時(shí)更新，來(lái)保持目標(biāo)顏色的空間分布信息，但無(wú)法解決目標(biāo)與遮擋物顏色相近情況下的跟蹤.文獻(xiàn)［8-9］利用匹配誤差判定子模板是否被遮擋，用整體的目標(biāo)灰度相關(guān)匹配來(lái)實(shí)現(xiàn)對(duì)目標(biāo)的有效跟蹤，但該方法同樣不適用于目標(biāo)遮擋較為嚴(yán)重的情況;文獻(xiàn)［10-11］將目標(biāo)前景進(jìn)行分塊，通過(guò)各子塊表決確定最佳匹配位置來(lái)實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤，但由于子塊中包含了背景信息，且僅采用單峰值子塊表決值作為目標(biāo)的真實(shí)運(yùn)動(dòng)偏移量會(huì)導(dǎo)致誤匹配.文獻(xiàn)［12］采用動(dòng)態(tài)模板和遮擋檢測(cè)的方法(VMTM，Variant-mask Template Match)解決了目標(biāo)發(fā)生遮擋時(shí)的跟蹤問(wèn)題，但更新后模板與真正目標(biāo)相差較大，在完全遮擋下無(wú)法對(duì)目標(biāo)進(jìn)行有效跟蹤.

在對(duì)文獻(xiàn)［10-12］進(jìn)行研究的基礎(chǔ)上，提出一種改進(jìn)的基于子塊模板匹配的抗遮擋跟蹤方法(IMTM，Improved Multi-blocks Template Match).該方法采用改進(jìn)后的目標(biāo)遮擋判定準(zhǔn)則，通過(guò)對(duì)目標(biāo)模板進(jìn)行自適應(yīng)分塊，在搜索區(qū)域內(nèi)對(duì)子塊位移量進(jìn)行加權(quán)表決來(lái)獲得目標(biāo)真實(shí)位置，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)在多種遮擋情況下的快速穩(wěn)定跟蹤.

1 改進(jìn)的抗遮擋跟蹤方法

1.1 目標(biāo)遮擋判定

文獻(xiàn)［10］中采用Bhattacharyya系數(shù)來(lái)判定目標(biāo)是否被場(chǎng)景中的靜物遮擋，即

式中，H1和H2為前后兩幀中目標(biāo)灰度模板規(guī)一化后直方圖;L為直方圖劃分的顏色區(qū)間數(shù)量.

當(dāng)目標(biāo)與遮擋物顏色相差較大時(shí)，Bhattacharyya系數(shù)迅速增大;否則，當(dāng)目標(biāo)與遮擋物顏色相近時(shí)，Bhattacharyya系數(shù)沒(méi)有明顯變化，因此單獨(dú)靠Bhattacharyya系數(shù)不能準(zhǔn)確判定目標(biāo)是否發(fā)生遮擋.為此，本文提出改進(jìn)的遮擋判定準(zhǔn)則為

式中，TB為Bhattacharyya系數(shù)的閾值，TB∈(0，1);γs和φs分別為計(jì)算目標(biāo)在第t幀與第t-1幀的像素面積之比以及有效前景點(diǎn)數(shù)之比.

1.2 改進(jìn)的抗靜物遮擋跟蹤方法

針對(duì)靜物遮擋運(yùn)動(dòng)目標(biāo)的跟蹤，文獻(xiàn)［10］采用固定邊長(zhǎng)在當(dāng)前目標(biāo)矩形框中分割子塊，得到的子塊包含了背景信息，且目標(biāo)面積較大時(shí)算法匹配計(jì)算量將成倍增加.為克服此缺點(diǎn)，本文根據(jù)目標(biāo)寬高(w，h)來(lái)自適應(yīng)分配模板子塊的邊長(zhǎng)為

為避免目標(biāo)邊緣劇烈變化導(dǎo)致邊緣子塊無(wú)效，當(dāng)模板子塊包含的有效前景像素之和大于閾值時(shí)，將該子塊作為候選匹配子塊.

利用文獻(xiàn)［12］中的方法進(jìn)行候選匹配子塊匹配時(shí)易出現(xiàn)單峰表決值，導(dǎo)致計(jì)算出的位移量不是目標(biāo)整體的真實(shí)位移量.為此本文提出一種改進(jìn)的基于加權(quán)平均的表決方法，利用文獻(xiàn)［12］中的方法選出票數(shù)最高的3個(gè)位移量{d1，d2，d3}，并計(jì)算出他們最高票數(shù)的總額，根據(jù)每位票數(shù)所占總額的權(quán)重βi進(jìn)行累加求和，進(jìn)而得到改進(jìn)后的運(yùn)動(dòng)位移量為

目標(biāo)完成匹配后，在進(jìn)行模板子塊更新時(shí)，為減少相關(guān)性較小的子塊對(duì)匹配可靠性的影響，本文除了利用文獻(xiàn)［12］中的方法對(duì)歷史目標(biāo)子塊進(jìn)行篩選以外，還采用了低通濾波器(IIR，Infinite Impulse Response)對(duì)每個(gè)歷史目標(biāo)子塊灰度值進(jìn)行自適應(yīng)加權(quán)更新，即

式中，It為子塊的灰度值;bt為子塊匹配上的灰度值;pmax為最高票數(shù)所占的票數(shù)比率;Tp為所設(shè)濾波器閾值，取值范圍為(0，1);λ為子塊更新率，取值范圍為(0.0，0.3］.通過(guò)對(duì)歷史目標(biāo)子塊進(jìn)行自適應(yīng)實(shí)時(shí)更新，能夠有效避免前景噪聲和模板滯后引起的誤匹配.為實(shí)現(xiàn)對(duì)目標(biāo)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，根據(jù)目標(biāo)在當(dāng)前幀的質(zhì)心坐標(biāo)(x，y)、矩形寬高(w，h)和瞬時(shí)速度(vx，vy)等信息，利用卡爾曼濾波模型預(yù)測(cè)目標(biāo)在下一幀中的狀態(tài).卡爾曼濾波模型的狀態(tài)向量和觀測(cè)向量為

當(dāng)目標(biāo)在預(yù)測(cè)鄰域內(nèi)未檢測(cè)出新目標(biāo)時(shí)，表明該目標(biāo)已被完全遮擋，此時(shí)采用卡爾曼濾波模型對(duì)目標(biāo)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)和跟蹤;當(dāng)目標(biāo)離開(kāi)遮擋區(qū)域被重新檢測(cè)到時(shí)，本文提出一種新的匹配方法來(lái)實(shí)現(xiàn)目標(biāo)的對(duì)接跟蹤.

本文采用重現(xiàn)目標(biāo)的感興趣矩形(ROI，Rectangle of Interest)完成跟蹤，定位規(guī)則見(jiàn)表1，由新目標(biāo)的運(yùn)動(dòng)速度vx和vy來(lái)確定歷史目標(biāo)原始模板的ROI位置和尺寸，并計(jì)算模板灰度前景Ft.根據(jù)式(1)計(jì)算Ft與新目標(biāo)灰度前景Fc的Bhattacharyya系數(shù)dB.如果滿足dB＜TB，則認(rèn)為目標(biāo)匹配成功，用新目標(biāo)的運(yùn)動(dòng)信息對(duì)歷史目標(biāo)進(jìn)行更新;否則，目標(biāo)匹配失敗，開(kāi)始新一輪的目標(biāo)跟蹤.

表1 重現(xiàn)目標(biāo)的ROI定位規(guī)則

目標(biāo)對(duì)接匹配示意圖如圖1所示，實(shí)線矩形框表示新目標(biāo);虛線矩形框表示歷史目標(biāo)的原始模板;圖中箭頭代表目標(biāo)運(yùn)動(dòng)方向.由于目標(biāo)運(yùn)動(dòng)速度vx和vy均為正，因此將模板的ROI區(qū)域設(shè)置為右下角.本文抗遮擋跟蹤算法流程圖如圖2所示.

圖1 目標(biāo)對(duì)接匹配示意圖

圖2 本文目標(biāo)抗遮擋跟蹤算法流程圖

2 實(shí)驗(yàn)測(cè)試及結(jié)果分析

為驗(yàn)證本文提出算法的性能，針對(duì)各種不同視頻序列進(jìn)行實(shí)驗(yàn)測(cè)試.

測(cè)試視頻1為文獻(xiàn)［12］中采用的 CAVIAR(Context Aware Vision using Image-based Active Recognition)多人行走視頻序列，圖像為384像素×288像素;測(cè)試視頻2為實(shí)際拍攝的多人部分遮擋視頻序列，圖像為364像素×281像素;測(cè)試視頻3和4采用IEEE跟蹤和監(jiān)控性能評(píng)估標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)(PETS，Performance Evaluation of Tracking and Surveillance)中的車輛完全遮擋視頻序列，圖像為768像素×576像素;測(cè)試視頻5和6為北京航空航天大學(xué)數(shù)字導(dǎo)航中心視頻數(shù)據(jù)庫(kù)中的行人完全遮擋視頻序列，圖像為640像素×480像素.所有視頻序列的幀率均為25幀/s.

利用測(cè)試視頻1～6分別對(duì)文獻(xiàn)［12］中提出的VMTM方法和本文方法進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)測(cè)試，實(shí)驗(yàn)結(jié)果如圖3～圖8所示，其中虛線矩形框和軌跡為VMTM算法的跟蹤結(jié)果，實(shí)線矩形框和軌跡為本文算法的跟蹤結(jié)果.

圖3 測(cè)試視頻1的兩種方法結(jié)果

圖4 測(cè)試視頻2的兩種方法結(jié)果

圖5 測(cè)試視頻3的兩種方法結(jié)果

圖6 測(cè)試視頻4的兩種方法結(jié)果

圖7 測(cè)試視頻5的兩種方法結(jié)果

圖8 測(cè)試視頻6的兩種方法結(jié)果

從圖3和圖4的測(cè)試結(jié)果中可以得出，兩種方法在目標(biāo)被部分遮擋、甚至嚴(yán)重遮擋情況下仍能實(shí)現(xiàn)目標(biāo)的持續(xù)穩(wěn)定跟蹤，兩種方法的目標(biāo)跟蹤矩形框和軌跡與真實(shí)值基本一致.這是因?yàn)楸疚姆椒ㄅcVMTM方法均采用子塊模板表決來(lái)獲取目標(biāo)的整體位移量.通過(guò)對(duì)圖5～圖8中目標(biāo)在完全遮擋情況下的跟蹤結(jié)果進(jìn)行分析，采用VMTM方法跟蹤的目標(biāo)矩形框和軌跡與實(shí)際目標(biāo)存在較大偏差，模板漂移比較嚴(yán)重，而且當(dāng)目標(biāo)再次出現(xiàn)時(shí)，無(wú)法準(zhǔn)確跟蹤目標(biāo);而采用本文算法則不存在上述偏差和漂移，在目標(biāo)因遮擋再次出現(xiàn)時(shí)，依然能夠準(zhǔn)確跟蹤目標(biāo).造成兩種算法差異的主要原因是本文方法可以根據(jù)子塊表決結(jié)果得到加權(quán)后的位移量，避免單峰表決值不能代表整體子塊位移量的缺陷，同時(shí)歷史目標(biāo)模板可以根據(jù)子塊表決情況自適應(yīng)地進(jìn)行更新，可以有效地防止遮擋物噪聲成為模板的一部分，進(jìn)而減少匹配誤差.利用視頻3分別對(duì)兩種方法進(jìn)行實(shí)驗(yàn)測(cè)試，獲得跟蹤目標(biāo)質(zhì)心坐標(biāo)與真實(shí)質(zhì)心坐標(biāo)的對(duì)比結(jié)果如圖9和圖10所示.

圖9 兩種方法與真實(shí)值在x軸上的軌跡對(duì)比

圖10 兩種方法與真實(shí)值在y軸上的軌跡對(duì)比

從圖9和圖10可以看出，在第20幀目標(biāo)進(jìn)入遮擋狀態(tài)時(shí)，兩種方法通過(guò)子塊模板匹配得到的質(zhì)心軌跡相差很小，誤差均在真實(shí)值附近;而在第35幀目標(biāo)進(jìn)入完全遮擋狀態(tài)時(shí)，VMTM方法得到的質(zhì)心坐標(biāo)逐漸偏離真實(shí)值，而本文方法得到的質(zhì)心軌跡依然能與真實(shí)值的變化趨勢(shì)保持一致;在第53幀目標(biāo)再次出現(xiàn)時(shí)，存在一個(gè)明顯的軌跡跳變，這是因?yàn)檎鎸?shí)值是整個(gè)跟蹤目標(biāo)的質(zhì)心坐標(biāo)，而本文方法檢測(cè)到的質(zhì)心坐標(biāo)是目標(biāo)前景的質(zhì)心坐標(biāo)，在目標(biāo)尚未完全脫離遮擋狀態(tài)時(shí)會(huì)與真實(shí)值有差異，而在遮擋結(jié)束后二者的軌跡將逐漸重合，保證在目標(biāo)再次出現(xiàn)后能夠準(zhǔn)確地跟蹤目標(biāo).

3 結(jié)論

針對(duì)運(yùn)動(dòng)目標(biāo)在遮擋情況下的跟蹤難題，提出一種改進(jìn)的目標(biāo)抗遮擋跟蹤算法，建立了目標(biāo)抗遮擋跟蹤的準(zhǔn)則，實(shí)現(xiàn)了目標(biāo)的抗融合遮擋跟蹤.通過(guò)多種測(cè)試視頻進(jìn)行測(cè)試驗(yàn)證，本文方法在不同遮擋情況下，均能實(shí)現(xiàn)對(duì)剛體及非剛體運(yùn)動(dòng)目標(biāo)的穩(wěn)定跟蹤.

References)

［1］ Lowe G D.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91-110

［2］ Zhou Huiyu，Yuan Yuan，Shi Chunmei.Object tracking using SIFT features and mean shift［J］.Computer Vision and Image Understanding，2009，113(3):345-352

［3］ Senior A，Hampapur A，Tian Yingli，et al.Appearance models for occlusion handling［J］.Image and Vision Computing，2006，24(11):1233-1243

［4］ Zhang Jin，Sun Hongguang，Guan Weizhou，et al.Robust human tracking algorithm applied for occlusion handling［C］ //Proceedings International Conference on Frontier of Computer Science and Technology.Changchun:［s.n.］，2010:546-551

［5］ Gross R，Mattews I，Baker S.Active appearance models with occlusion［J］.Image and Vision Computing，2006，24(6):593-604

［6］ Khan M S，Shah M.Tracking multiple occluding people by localizing on multiple scene planes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31(3):505-518

［7］ Ablavsky V，Thangali A，Sclaroff S.Layered graphical models for tracking partially-occluded objects［C］ //Proceedings IEEE Conference on Computer Vision and Pattern Recognition.Alaska:IEEE，2008:1-8

［8］ Zhou Yue，Tao Hai.A background layer model for object tracking through occlusion［C］ //Proceedings IEEE Conference on Computer Vision and Pattern Recognition.Wisconsin:IEEE，2003:1079-1085

［9］ Wang Yan，Liu Tao，Li Ming.Object tracking with appearancebased kalman particle filter in presence of occlusions［C］ //Global Congress on Intelligent Systems.Hongkong:Conference Publishing Services，2009:288-293

［10］ Zhang Zui，Gunes H，Piccardi M.Tracking people in crowds by a part matching approach［C］ //Proceedings IEEE 5th International Conference on Advanced Video and Signal Based Surveillance.New Mexico:IEEE，2008:88-93

［11］ Latecki J L，Miezianko R.Object tracking with dynamic template update and occlusion detection［C］ //Proceedings IEEE 18th International Conference on Pattern Recognition.Hongkong:IEEE，2006:188-193

［12］ Pan Jiyan，Hu Bo.Robust occlusion handling in object tracking［C］ //Proceedings IEEE Conference on Computer Vision and Pattern Recognition.Minnesota:IEEE，2007:1-8