魯琴，肖晶晶，羅武勝

(國防科學(xué)技術(shù)大學(xué)機(jī)電工程與自動(dòng)化學(xué)院，長沙410073)

基于多尺度混合模型多特征融合的單目標(biāo)跟蹤

魯琴，肖晶晶，羅武勝

(國防科學(xué)技術(shù)大學(xué)機(jī)電工程與自動(dòng)化學(xué)院，長沙410073)

為實(shí)現(xiàn)高動(dòng)態(tài)環(huán)境中的目標(biāo)跟蹤，本文提出了一種基于多尺度混合模型多特征融合的單目標(biāo)跟蹤算法。該算法自適應(yīng)提取并融合多種圖像特征從而實(shí)現(xiàn)復(fù)雜環(huán)境中的目標(biāo)實(shí)時(shí)跟蹤。針對(duì)圖像目標(biāo)的高動(dòng)態(tài)特性及環(huán)境遮擋等問題，算法通過計(jì)算當(dāng)前觀測(cè)樣本的置信度完成模板的自適應(yīng)更新。利用國際計(jì)算機(jī)視覺學(xué)會(huì)目標(biāo)跟蹤數(shù)據(jù)庫中具有典型特征的十個(gè)標(biāo)準(zhǔn)視頻對(duì)跟蹤算法進(jìn)行測(cè)試。測(cè)試結(jié)果表明，在高動(dòng)態(tài)環(huán)境及目標(biāo)存在大變形情況下，本文提出的跟蹤算法比同類算法的跟蹤精度有顯著提高。

單目標(biāo)跟蹤；多尺度混合模型；多特征融合

0 引言

近年來，低成本、小尺寸的圖像傳感器孕育了分布式視頻傳感器網(wǎng)絡(luò)的蓬勃發(fā)展，傳統(tǒng)基于人工的目標(biāo)跟蹤和識(shí)別遠(yuǎn)遠(yuǎn)無法滿足海量視頻應(yīng)用需求。在此背景下，研究基于視頻圖像處理的目標(biāo)自動(dòng)跟蹤算法以及開發(fā)高效的目標(biāo)自動(dòng)跟蹤識(shí)別系統(tǒng)[1]迫在眉睫。

目前基于視頻圖像處理的目標(biāo)跟蹤算法主要包含目標(biāo)模板提取、時(shí)空移動(dòng)模型和模板更新三個(gè)步驟[2]。在步驟一中，目前一般采用全局模板[3-4]和局部模板[5-6]□?ehovin[7]等提出的利用全局、局部模板交互制約完成的特征學(xué)習(xí)方法，近期Lu[8]等人也提出用O-A樹完成不同模板下的特征提取。這些方法都是在隨機(jī)局部區(qū)域內(nèi)完成特征提取，并沒有經(jīng)過有效的圖像分割，因此提取的特征常因大量前景和背景信息導(dǎo)致不穩(wěn)定，進(jìn)而使得跟蹤失效。在步驟二中，算法將通過時(shí)空移動(dòng)模型對(duì)目標(biāo)位置完成預(yù)測(cè)，主要方法有均值平移[9](Mean Shift)，卡爾曼濾波[10](Kalman Filter)，粒子濾波[11](Particle Filter)三種。其

中，均值平移雖然簡單但是容易陷入局部最優(yōu)，卡爾曼濾波因其應(yīng)用場(chǎng)景需要具有模型運(yùn)動(dòng)的先驗(yàn)知識(shí)，并且噪聲符合高斯分布，而往往不適用于圖像領(lǐng)域的目標(biāo)跟蹤。粒子濾波因不需要先驗(yàn)知識(shí)而被廣泛應(yīng)用在圖像目標(biāo)的時(shí)空預(yù)測(cè)中，但其匹配過程中容易被環(huán)境干擾產(chǎn)生奇異點(diǎn)，使得最后的估計(jì)量遠(yuǎn)離真值，導(dǎo)致跟蹤失效。針對(duì)步驟三，目前通常采用預(yù)先設(shè)定的固定參數(shù)來控制模型更新[11]，但此類算法無法解決高動(dòng)態(tài)變化環(huán)境中目標(biāo)特征模型變化速度不一致問題。

圍繞這三個(gè)步驟中存在的問題，許多算法相繼被提出[12-15]。通過國際標(biāo)準(zhǔn)測(cè)試庫測(cè)試[16]，綜合性能較好的算法有Hare等人提出的Struck[3]算法、Mei等人基于粒子濾波的時(shí)空運(yùn)動(dòng)模型提出的L1[4]算法、Henriques等人提出基于循環(huán)結(jié)構(gòu)特征(Circulant Structure Kernels，CSK)[14]算法以及Zhong等人提出的Sparsity-based Collaborative Model(SCM)[15]算法等。測(cè)試同時(shí)表明，這些算法仍然無法較好實(shí)現(xiàn)高動(dòng)態(tài)環(huán)境中的大變形目標(biāo)跟蹤。為此，本文提出了一種基于多尺度混合模型多特征融合的單目標(biāo)跟蹤算法。利用超像素分割方法將目標(biāo)區(qū)域分割成大小一致的超像素，完成目標(biāo)的局部以及全局特征提??；然后利用采樣后混合模板中的特征完成實(shí)時(shí)跟蹤；最后通過計(jì)算當(dāng)前觀測(cè)樣本的置信度完成模板的自適應(yīng)更新。

1 混合模型提取

1.1 全局特征模型

首先，通過初始化的矩形框，利用傅里葉變換提取彩色空間內(nèi)的循環(huán)結(jié)構(gòu)特征[12]，完成對(duì)目標(biāo)全局信息提取。

1.2 局部特征模型

全局模型中提取的是循環(huán)結(jié)構(gòu)特征，當(dāng)目標(biāo)經(jīng)歷大變形時(shí)將無法準(zhǔn)確描述目標(biāo)。因此，需要將模板分裂成許多局部區(qū)域，通過在局部區(qū)域中提取顏色直方圖來彌補(bǔ)全局特征的不足，完成對(duì)目標(biāo)的精確描述。

為了得到穩(wěn)定的局部區(qū)域，首先利用Simple Linear Iterative Clustering(SLIC)[13]算法對(duì)全局模板進(jìn)行超像素分割，得到大小一致，緊湊的超像素，將每個(gè)超像素里的簇頭作為局部區(qū)域的中心，每個(gè)局部區(qū)域中顏色直方圖(式(3))形成一個(gè)特征庫，表示為

2 多特征融合跟蹤

完成基于混合模型的特征提取后，需要利用得到的特征庫進(jìn)行目標(biāo)匹配跟蹤。由于跟蹤對(duì)象具有運(yùn)動(dòng)連續(xù)性，因此首先對(duì)目標(biāo)先前估計(jì)狀態(tài)的周邊區(qū)域進(jìn)行均勻采樣，然后在每一個(gè)采樣區(qū)域中提取全局結(jié)構(gòu)特征，將其與模板中的全局特征進(jìn)行比較，得到權(quán)重M(z)=F-1{AUZ}。則在全局模板中，通過尋找滿足

的最優(yōu)解作為當(dāng)前目標(biāo)的估計(jì)量。其中匹配過程必須滿足一定的相似度限制λ1。式(4)條件限制滿足，表示新觀測(cè)到的目標(biāo)與模板高度相似，反之，則表明目標(biāo)已經(jīng)產(chǎn)生了較大的形變，需要進(jìn)一步的利用局部模板

中所提取的特征庫進(jìn)行目標(biāo)匹配跟蹤。

首先擴(kuò)大目標(biāo)區(qū)域完成超像素(SLIC[13])分割，并在新形成的局部區(qū)域中提取各自對(duì)應(yīng)的顏色直方圖(式 (3))得到一組新的特征的向量，表示為其中NC為待匹配特征庫中局部區(qū)域的個(gè)數(shù)。然后利用巴氏距離B(,)計(jì)算目標(biāo)每個(gè)局部區(qū)域的特征與新分割到的局部區(qū)域的特征的相似度：

其中：ζ為特征向量hi、hj中的顏色色段，Nb為色段個(gè)數(shù)。

根據(jù)兩個(gè)特征的向量相似性比較，得到一個(gè)多個(gè)特征的相似度矩陣，表示為

其中：hi為目標(biāo)i區(qū)域所對(duì)應(yīng)的顏色直方圖，為目標(biāo)在潛在匹配區(qū)域j對(duì)應(yīng)的顏色直方圖。Ni為目標(biāo)模型中的特征向量個(gè)數(shù)，Nj為當(dāng)前幀下觀測(cè)到的特征向量個(gè)數(shù)。

為完成局部模板中多特征的優(yōu)化匹配，需要求解

整個(gè)特征庫匹配的過程將重復(fù)式(7)與式(8)直到局部模型中的特征庫全部匹配或者滿足式(9)則停止匹配過程。

算法中，每個(gè)局部特征匹配都相當(dāng)于一個(gè)弱分類器判斷特征是否找到了合適的匹配。當(dāng)優(yōu)化匹配結(jié)束后，這些由不同特征向量組成的弱分類器將形成一個(gè)強(qiáng)分類器，即當(dāng)一定數(shù)量(80%)的局部區(qū)域都找不到匹配時(shí)，認(rèn)為目標(biāo)處于全遮擋情況，其所有對(duì)應(yīng)的特征將處于休眠狀態(tài)。新的目標(biāo)區(qū)域的大小由匹配后局部區(qū)域的分布決定。

3 模板更新

為解決高動(dòng)態(tài)變化環(huán)境中目標(biāo)特征模型變化速度不一致問題，提出一種基于置信度的目標(biāo)模板自適應(yīng)更新算法。置信度定義為

其中：hi為目標(biāo)區(qū)域的模板特征為對(duì)應(yīng)新匹配的區(qū)域特征。B(,)是巴氏距離，用來測(cè)量兩個(gè)特征的相似度。由式(10)可知，匹配值越高，則代表新的估計(jì)量越相似，此時(shí)更新的速度相應(yīng)變快；反之，匹配值越低，則表示估計(jì)量越不可靠，此時(shí)更新速度將變慢。

4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)選取的10個(gè)視頻是國際標(biāo)準(zhǔn)視頻庫中通過視覺協(xié)會(huì)標(biāo)定后，經(jīng)過相應(yīng)特性分析被標(biāo)志為最容易跟蹤失敗的視頻，其包含：目標(biāo)大變形，背景干擾，光線變化，低分辨率，運(yùn)動(dòng)模糊及遮擋。對(duì)比的4個(gè)算法Struck[3]，L1[4]，CSK[14]，SCM[15]是在CVPR[16]數(shù)據(jù)庫測(cè)試中表現(xiàn)最優(yōu)良的跟蹤算法(國際上共有29個(gè)算法經(jīng)過統(tǒng)一測(cè)試庫評(píng)價(jià))。其中，SCM算法使用了在全局區(qū)域和局部區(qū)域的混合模型中提取的同質(zhì)特征，被認(rèn)為與本文算法思想最相近。本算法在8 GB內(nèi)存、i5的處理器上運(yùn)用Matlab及C混合編程達(dá)到平均每秒8幀的速度。其中關(guān)鍵的兩個(gè)參數(shù)1λ(式(4))，2λ(式(7))分別取值為0.5，0.1。

4.1 定性分析

圖1顯示了測(cè)試視頻圖像及測(cè)試結(jié)果。其中，從左至右，從上到下分別為：Bolt、Basketball、Jogging、Singer、Fish、Diving、Gymnetics、Torus、Trellis和Woman。

其中，Bolt的目標(biāo)非常小，極易因背景干擾導(dǎo)致跟蹤失敗。Basketball中，其他運(yùn)動(dòng)員頻繁干擾目標(biāo)，并且散光燈對(duì)目標(biāo)成像造成影響。Jogging場(chǎng)景相對(duì)簡單，但經(jīng)過電線柱時(shí)，目標(biāo)被完全遮擋，如果沒有合理的遮擋判斷方法，當(dāng)目標(biāo)重新出現(xiàn)時(shí)，算法將找不到目標(biāo)。Singer中，目標(biāo)有強(qiáng)光干擾，且尺度劇烈變化，如果不及時(shí)更新模板，會(huì)造成跟蹤失敗。Fish中，目標(biāo)快速移動(dòng)，并且形狀也會(huì)迅速的發(fā)生變化，并且由于水中的視線較差，如果僅用結(jié)構(gòu)特征將會(huì)很難得到準(zhǔn)確的匹配結(jié)果。Diving和Gymnastic中，目標(biāo)都具有激烈的形變，同時(shí)，Diving視頻環(huán)境非常雜亂，Gymnastic視頻環(huán)境因有與目標(biāo)相似的顏色而對(duì)目標(biāo)跟蹤產(chǎn)生巨大的干擾。Torus目標(biāo)中心鏤空，因此含有大量的背景信息，該奇怪的形狀使得大多數(shù)算法跟蹤到的是背景而不是目標(biāo)本身。Trellis經(jīng)歷了劇烈的顏色光影變化，如果僅使用顏色特征則無法成功的跟蹤任務(wù)，其必須配合以結(jié)構(gòu)特征。Woman中，其視場(chǎng)被車輛遮擋，并且由于攝像頭聚焦的改變會(huì)產(chǎn)生短暫的運(yùn)動(dòng)模糊，而使得結(jié)構(gòu)特征變得異常模糊。從測(cè)試結(jié)果可知：只有將結(jié)構(gòu)、顏色特征相結(jié)合，并具有局部遮擋判斷的算法才能成功完成目標(biāo)跟蹤。

圖1 測(cè)試結(jié)果Fig.1Test results

4.2 定量分析

目前針對(duì)目標(biāo)跟蹤提出了很多的評(píng)價(jià)指標(biāo)。文獻(xiàn)[17]通過對(duì)現(xiàn)有指標(biāo)進(jìn)行相關(guān)性分析，指出最具有典型代表性的評(píng)價(jià)指標(biāo)為：中心誤差和跟蹤精度。其中，中心誤差指真實(shí)目標(biāo)中心與跟蹤后匹配目標(biāo)中心的偏差，跟蹤精度為真實(shí)目標(biāo)區(qū)域與匹配區(qū)域的交集與其并集之比的百分比(也稱為交疊區(qū)域百分比)。表1和表2分別給出了本文算法與Struck、L1、CSK和SCM算法在10個(gè)視頻中進(jìn)行目標(biāo)跟蹤的處理結(jié)果。

表1和表2的實(shí)驗(yàn)結(jié)果表明，本文提出的算法在Bolt、Basketball、Jogging、Fish、Diving、Gymnastic、Torus視頻中進(jìn)行目標(biāo)跟蹤，中心誤差和跟蹤精度指標(biāo)均為最優(yōu)。Singer，Trellis,Woman三個(gè)視頻中排名第二。從這三個(gè)視頻中可以看出，當(dāng)目標(biāo)的變形較小時(shí)，其它算法也能擁有優(yōu)異的跟蹤效果。但是當(dāng)目標(biāo)變形較大時(shí)，本文所提出的算法具有明顯的優(yōu)越性。

為了進(jìn)一步分析文中所提出的多尺度混合模型中的超像素分割和基于置信度的自適應(yīng)模板更新對(duì)最終結(jié)果的影響，采取單一變量法進(jìn)行了對(duì)比實(shí)驗(yàn)。對(duì)比算法分別為：本文提出的完整的跟蹤算法、去除超像素分割后的混合模型跟蹤算法和去除自適應(yīng)模板更新后的跟蹤算法。采用文獻(xiàn)[7]中所提出的“閾值-跟蹤成功率“的平衡曲線顯示結(jié)果(圖2)。由圖2可知，利用超像素分割形成局部區(qū)域特征是算法最終結(jié)果優(yōu)秀的關(guān)鍵，自適應(yīng)模板更新則很大程度上提升了算法的魯棒性。

表1 中心誤差比較Table 1Comparison of center error

表2 精度比較Table 2Comparison of accuracy

圖2 實(shí)驗(yàn)結(jié)果(a)精度比較;(b)中心誤差比較Fig.2Experimental results(a)Comparison of accuracy;(b)Comparison of center error

5 結(jié)論

本文提出了一種基于多尺度混合模型多特征融合的單目標(biāo)跟蹤算法。該算法利用超像素分割方法將目標(biāo)區(qū)域分割成大小一致的超像素，完成目標(biāo)的全局以及局部特征提?。辉谀繕?biāo)搜索過程中，根據(jù)采樣后結(jié)果動(dòng)態(tài)融合不同尺度下的特征完成實(shí)時(shí)跟蹤；最后通過計(jì)算當(dāng)前觀測(cè)樣本的置信度完成模板的自適應(yīng)更新。利用國際計(jì)算機(jī)視覺學(xué)會(huì)目標(biāo)跟蹤數(shù)據(jù)庫中具有典型特征的十個(gè)標(biāo)準(zhǔn)視頻對(duì)跟蹤算法進(jìn)行測(cè)試。測(cè)試結(jié)果表明，在高動(dòng)態(tài)環(huán)境及目標(biāo)存在大變形情況下，本文提出的算法比同類算法的跟蹤精度有顯著提高。

[1]WANG Xiaogang.Intelligent multi-camera video surveillance：A review[J].Pattern Recognition Letters(S0167-8655)，2013，34：3-19.

[2]XIAO Jingjing，Oussalah M.Collaborative Tracking for Multiple Objects in the Presence of Inter-occlusions[J].IEEE Circuits and Systems for Video Technology(S1051-8215)，2015，26(2)：304-318.

[3]Hare S，Saffari A，Torr P H.Struck：Structured output tracking with kernels[C]//Proceeding of IEEE International Conference on Computer Vision，Barcelona，Spain，Nov 6-13，2011：263-270.

[4]MEI Xue，LING Haibin.Robust visual tracking using L1 minimization[C]//Proceeding of IEEE International Conference on Computer Vision，Miami，USA，Jun 20-26，2009：1436-1443.

[5]Kwon J，Lee K M.Highly nonrigid object tracking via patch-based dynamic appearance modeling[J].Pattern Analysis and Machine Intelligence(S0162-8828)，2013，35：2427-2441.

[6]Pernici F，Bimbo A D.Object trackingby oversampling local features[J].Pattern Analysis and Machine Intelligence(S0162-8828)，2014，36(12)：2538-2551.

[7]?ehovin L□Kristan M□Leonardis A.Robust Visual Tracking Using an Adaptive Coupled-Layer Visual Model[J].Pattern Analysis and Machine Intelligence(S0162-8828)，2013，35(4)：941-953.

[8]LU Yang，WU Tianfu，ZHU Songchun.Online object tracking，learning and parsing with and-or graphs[C]//IEEE Computer Vision and Pattern Recognition，Columbus，Ohio，Jun 23-27，2014：3462-3469.

[9]Bradski G R.Computer vision face tracking for use in a perceptual user interface[M].Berlin：IEEE，1998：1-15.

[10]Weng S K，Kuo C M，TU Shukang.Video object tracking using adaptive kalman filter[J].Journal of Visual Communication and Image Representation(S1047-3203)，2006，17(6)：1190-1208.

[11]Nummiaro K，Esther K M，Luc V G.An adaptive colour-based particle filter[J].Image and Vision Computing(S0262-8856)，2003，21(1)：99-110.

[12]Danelljan M，Khan F S，F(xiàn)elsberg M，et al.Adaptive color attributes for real-time visual tracking[C]//IEEE Computer Vision and Pattern Recognition，Columbus，Ohio，Jun 23-27，2014：1090-1097.

[13]Achanta R，Shaji A，Smith A，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].Pattern Analysis and Machine Intelligence(S0162-8828)，2012，34(11)：2274-2282.

[14]Henriques J F，Caseiro R，Martins P，et al.Exploiting the Circulant Structure of Tracking-by-detection with Kernels[C]// European Conference on ComputerVision，F(xiàn)lorence，Italy，Aug 1-8，2012：702-715.

[15]ZHONG Wei，LU Huchuan，Yang M.Robust object tracking via sparsity-based collaborative model[C]//IEEE Computer Vision and Pattern Recognition，Rhode Island，Jun 16-21，2012：1838-1845.

[16]Computer Vision and Pattern Recognition benchmark dataset[EB/OL].https://sites.google.com/site/trackerbenchmark/ benchmarks/v10.

[17]Cehovin L，Kristan M，Leonardis A.Is my new tracker really better than yours?[C]//IEEE Winter Conference on Applications of Computer Vision，Steamboat Springs，USA，Mar 24-26，2014：540-547.

Single Target Tracking with Multi-feature Fusion in Multi-scale Models

LU Qin，XIAO Jingjing，LUO Wusheng
(College of Mechatronics Engineering and Automation, National University of Defense Technology,Changsha 410073,China)

To achieve robust target tracking in a highly dynamic scene,a single target tracking algorithm with multi-feature fusion in multi-scale models is proposed.The proposed models can adaptively fuse multiple features to achieve real time tracking in complex scenes.To tackle the problems of target significant deformation and occlusion,the proposed algorithm computes the confidence of the observation and uses it to update the reference models adaptively.The tracker is tested on ten representative sequences in a standard tracking benchmark.Compared with some other state-of-the-art algorithms,the results demonstrate that the tracking precision has been improved in the highly dynamic scenes with target significant deformation.

single target tracking;multi-scale models;multi-feature fusion

TP301.6

A

10.3969/j.issn.1003-501X.2016.07.003

1003-501X(2016)07-0016-06

2015-09-25；

2016-03-06

國家自然科學(xué)基金資助項(xiàng)目(61171136)

魯琴(1980-)，女(漢族)，湖北武漢人。講師，博士，主要研究工作是多媒體傳感器網(wǎng)絡(luò)信息處理。E-mail:freda0126@sina.com。