茅正沖， 黃舒?zhèn)?/p>

(江南大學(xué) 輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122)

0 引 言

目標(biāo)跟蹤作為計(jì)算機(jī)視覺(jué)領(lǐng)域一項(xiàng)重要的核心技術(shù)，廣泛應(yīng)用于智能視頻監(jiān)控、目標(biāo)行為分析、目標(biāo)識(shí)別以及人機(jī)交互等領(lǐng)域[1～4]。

近幾年，稀疏表示逐漸應(yīng)用于目標(biāo)跟蹤[5，6]，并取得了很好的跟蹤效果。2009年，Mei X等人[7]首次將稀疏表示的理論引入到目標(biāo)跟蹤領(lǐng)域，即L1跟蹤系統(tǒng)。其核心思想是在粒子濾波的框架下，使用一組目標(biāo)模板與平凡模板將每個(gè)候選目標(biāo)線性表示。當(dāng)目標(biāo)候選所擁有的重構(gòu)誤差最小時(shí)，該候選目標(biāo)被選定為跟蹤的對(duì)象。隨后，一些學(xué)者針對(duì)L1跟蹤器不足提出了許多改進(jìn)方法，Bao C L等人[8]對(duì)平凡模板系數(shù)附加上L1范數(shù)，使用加速最近梯度(APG)法,加快稀疏解的收斂速度，提高了跟蹤效率。文獻(xiàn)[9]提出了一種基于稀疏性的協(xié)同模型算法，同時(shí)使用了全局模板與局部模板對(duì)目標(biāo)進(jìn)行描述，融合了稀疏判別的分類器與稀疏性的生成式模型，還引入了有效方法計(jì)算置信度，有效地處理目標(biāo)變化和減輕跟蹤過(guò)程中的漂移問(wèn)題。

本文簡(jiǎn)要概述了稀疏表示的原理，詳細(xì)介紹了改進(jìn)的算法，并通過(guò)實(shí)驗(yàn)得到跟蹤結(jié)果與數(shù)據(jù)證明改進(jìn)的算法與一些主流算法相比的優(yōu)勢(shì)所在。

1 基于稀疏表示的目標(biāo)跟蹤算法

稀疏表示的本質(zhì)是一個(gè)線性近似的問(wèn)題，候選目標(biāo)y都可以表示為字典C=[c1,c2，…，cn]下的線性組合，即

y=Ca=c1a1+c2a2+…+cnan

(1)

式中a=[a1,a2,…,an]T∈Rn為在該冗余字典下候選目標(biāo)的稀疏系數(shù);n為目標(biāo)模板的個(gè)數(shù)。通常在跟蹤過(guò)程中會(huì)出現(xiàn)噪聲、遮擋等情況，引入平凡模板I=[i1,i2,…,in]∈Rd×d對(duì)稀疏表達(dá)式進(jìn)行描述

(2)

式中e=[e1,e2,…,en]T為平凡模板的系數(shù)向量。為了求得合適的解，需要對(duì)稀疏系數(shù)a約束，使用L0范數(shù)求解

(3)

求解式(3)方程在數(shù)學(xué)上是一個(gè)NP-hard問(wèn)題，L0范數(shù)非凸且高度不可微，到目前為止沒(méi)有有效算法來(lái)解決，使用L1范數(shù)來(lái)代替L0范數(shù)，即

(4)

通過(guò)拉格朗日乘數(shù)法可以將上述約束問(wèn)題轉(zhuǎn)換為無(wú)約束問(wèn)題，即

a*=argmin 0.5‖xi-Cai‖2+λ‖ai‖1

(5)

式中λ為一個(gè)常數(shù)，用來(lái)平衡重構(gòu)誤差與稀疏性，式(5)可以通過(guò)最小角回歸(LARS)算法求解。

2 改進(jìn)目標(biāo)跟蹤算法

對(duì)于L1跟蹤算法存在許多不足之處，當(dāng)候選區(qū)域選擇了背景區(qū)域或者在被遮擋的情況下，使用目標(biāo)與平凡模板表示候選樣本時(shí)，平凡模板的系數(shù)不再為零，從而整個(gè)系數(shù)均不再稀疏。L1模板的計(jì)算十分復(fù)雜，不適用于目標(biāo)跟蹤。

2.1 二維主成分分析

與傳統(tǒng)的主成分分析(principal component analysis,PCA)算法相比，二維主成分分析(two-dimensional PCA,2DPCA)是基于二維矩陣而不是一維的向量，圖像矩陣不需要轉(zhuǎn)化為向量，保留了原來(lái)數(shù)據(jù)的多維結(jié)構(gòu)。因此，使用2DPCA較圖像的特征提取在計(jì)算上更有效:

1)計(jì)算樣本總體的散度矩陣

(6)

2)計(jì)算總體散度矩陣G的特征值

λ1≥λ2≥…≥λn

(7)

3)計(jì)算與特征值對(duì)應(yīng)的單位正交特征向量u1,u2,…,un。

4)保留前t個(gè)最大特征值所對(duì)應(yīng)的標(biāo)準(zhǔn)正交特征向量，構(gòu)成特征子空間U

(8)

2.2 L2跟蹤算法

使用2DPCA得到的子空間U構(gòu)成稀疏表示的冗余字典，候選目標(biāo)可以由U來(lái)進(jìn)行稀疏表示，即

y=Ua+e=u1a1+u2a2+…+unan

(9)

式中a=[a1,a2,…,an]∈Rn為稀疏表示的稀疏系數(shù)，通過(guò)L2范數(shù)對(duì)其進(jìn)行求解，即

(10)

式中λ為一個(gè)常數(shù)，用來(lái)平衡重構(gòu)誤差與稀疏性;L2范數(shù)約束項(xiàng)主要作用為：獲得遠(yuǎn)低于L1范數(shù)的稀疏度的解a;使得最小化的解更加的穩(wěn)定。令

(11)

可以得到

a=(UTU+λI)-1UTy

(12)

求得系數(shù)后，可以用U與a表示殘差向量e，即

e=y-Ua

(13)

令P=(UTU+λI)-1UT為投影矩陣，可以看出，P是獨(dú)立于y的，因此，只需處理每一幀圖像，不管有多少候選目標(biāo)，P只需計(jì)算一次?？梢酝ㄟ^(guò)a*=Py將候選目標(biāo)y投影到P上來(lái)。

2.3 動(dòng)態(tài)模型

在粒子濾波中，使用p(xt|xt-1)表示2幀之間的動(dòng)態(tài)模型，本文選取仿射變換的6個(gè)參數(shù)對(duì)目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行描述，目標(biāo)狀態(tài)變量xt為

xt={xt,yt,θt,st,at,φt}

(14)

式中 6個(gè)參數(shù)依次為水平方向平移、垂直方向平移、旋轉(zhuǎn)角度、尺度變化量、縱橫比以及斜切角。一般情況下，狀態(tài)轉(zhuǎn)換模型服從高斯分布，即

p(xt|xt-1)=N(xt;xt-1;ψ)

(15)

式中ψ為對(duì)角協(xié)方差矩陣，其元素為6個(gè)仿射變換參數(shù)的方差。

2.4 目標(biāo)觀測(cè)模型

通常觀測(cè)似然度函數(shù)一般選擇其重構(gòu)誤差，即

(16)

表示目標(biāo)候選的似然概率，當(dāng)候選目標(biāo)稀疏表示的重構(gòu)誤差越小，其稀疏越可靠。但是面對(duì)有遮擋的目標(biāo)，使用式(16)作為衡量標(biāo)準(zhǔn)不能夠很好地對(duì)目標(biāo)進(jìn)行跟蹤，在似然度函數(shù)中，引入重構(gòu)誤差e的L1范數(shù)，以提高目標(biāo)跟蹤的魯棒性與跟蹤的精度

(17)

式中δ為一個(gè)常數(shù)(本文設(shè)置為0.5)。

將N個(gè)候選目標(biāo)人作為視覺(jué)皮層的神經(jīng)元細(xì)胞，將目標(biāo)模板作為外部的輸入信號(hào)，當(dāng)神經(jīng)元接收外界的輸入信號(hào)時(shí)，計(jì)算每個(gè)神經(jīng)元得平均激活率ηi

(18)

即當(dāng)響應(yīng)外部信息的大腦皮層神經(jīng)元平均激活率越高，該神經(jīng)元與外部信息相符合程度越高。應(yīng)用到目標(biāo)跟蹤中，即目標(biāo)的候選與模板的相似度越高。在相似度函數(shù)計(jì)算公式中加入平均激活率，使得目標(biāo)跟蹤更具有準(zhǔn)確性與魯棒性

(19)

2.5 模板更新

在跟蹤過(guò)程中未考慮到光照、遮擋以及姿勢(shì)變化等因素的影響，使用固定的模板往往會(huì)導(dǎo)致跟蹤失敗。若是頻繁的更新模板，跟蹤器以錯(cuò)誤的跟蹤結(jié)構(gòu)來(lái)更新模板，造成目標(biāo)的丟失。本文采用增量子空間學(xué)習(xí)的方法對(duì)模板進(jìn)行更新，以減輕遮擋對(duì)目標(biāo)模板的影響。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 仿真環(huán)境

實(shí)驗(yàn)硬件平臺(tái)是Intel (R) Core i5 CPU M 480 @2.67 GHz的計(jì)算機(jī)，在MATLAB 2012環(huán)境下實(shí)現(xiàn)。在實(shí)驗(yàn)中λ=0.05，目標(biāo)的第一幀由手動(dòng)標(biāo)定，在目標(biāo)區(qū)域縮放至32×32，選取2組視頻序列進(jìn)行實(shí)驗(yàn)。取粒子數(shù)為600，通過(guò)與多示例學(xué)習(xí)(multiple instance learning,MIL)[13]與視覺(jué)增量學(xué)習(xí)(incremental visual learning,IVT)[14]2種算法對(duì)比，并用矩形框?qū)⒏櫟慕Y(jié)果顯示出來(lái)(1號(hào)方框?yàn)楸疚乃惴ǎ?號(hào)方框?yàn)镮VT算法，3號(hào)方框?yàn)镸IL算法)，驗(yàn)證本文算法的有效性與合理性。從公平開(kāi)的視頻庫(kù)中選取3個(gè)視頻序列實(shí)驗(yàn)，在視頻跟蹤過(guò)程中經(jīng)常會(huì)出現(xiàn)不同程度的光照變換、姿勢(shì)變化、局部遮擋以及快速運(yùn)動(dòng)等。

3.2 定性分析

在Cavia 2視頻序列中，目標(biāo)經(jīng)歷了嚴(yán)重的遮擋與尺度的變化。圖1給出了部分跟蹤結(jié)果。第95幀和第103幀時(shí)，MIL算法丟失了目標(biāo)，在隨后幾幀的更新中又重新找到了目標(biāo)。195幀時(shí)目標(biāo)被行人大面積遮擋時(shí)，MIL算法發(fā)生了漂移無(wú)法再恢復(fù)導(dǎo)致跟蹤的失敗，這是由于未考慮背景因素。對(duì)于IVT算法雖然未漂移，但是跟蹤框變得很小，精度很差。通過(guò)圖1的結(jié)果可以看出，本文的算法始終可有效地對(duì)目標(biāo)進(jìn)行跟蹤，體現(xiàn)了其跟蹤的魯棒性與準(zhǔn)確性。

圖1 Cavia2視頻序列部分幀的跟蹤結(jié)果

Car11視頻序列中存在明顯的光照變化，車輛在夜間行駛，光線條件較差，跟蹤的目標(biāo)車輛在與來(lái)車會(huì)車時(shí)光照會(huì)發(fā)生明顯的變化。這些變化可以在Car11的第200幀與260幀看出。部分幀的跟蹤結(jié)果如圖2所示。IVT模型可以很好地克服光照變換造成的影響。MIL模型在第32幀時(shí)目標(biāo)開(kāi)始逐漸的漂移，到210幀時(shí)目標(biāo)已完全漂移并且再也無(wú)法捕獲目標(biāo)。本文算法存在有光線變化與相似目標(biāo)干擾情況下依舊可以很好地對(duì)目標(biāo)進(jìn)行跟蹤。

圖2 Car11視頻序列部分幀的跟蹤結(jié)果

通常情況下假設(shè)跟蹤的目標(biāo)運(yùn)動(dòng)變化比較微弱，在實(shí)際中對(duì)于快速運(yùn)動(dòng)的目標(biāo)一些算法無(wú)法對(duì)其進(jìn)行跟蹤。采用Deer視頻序列，目標(biāo)一直處于運(yùn)動(dòng)變化中，跟蹤困難。部分幀的跟蹤結(jié)果如圖3所示。在第26幀時(shí)使用IVT模型的目標(biāo)開(kāi)始漂移且無(wú)法重新捕獲目標(biāo)，而MIL算法在第37幀也完全丟失了跟蹤目標(biāo)。本文算法成功穩(wěn)定地跟蹤快速運(yùn)動(dòng)的目標(biāo)。

3.3 定量分析

為了更加準(zhǔn)確地評(píng)價(jià)本文算法的優(yōu)劣性，必須采用定量分析方法。本文衡量的準(zhǔn)則是跟蹤結(jié)果與真實(shí)值中心的位置誤差與重疊率。中心點(diǎn)誤差為

圖3 Deer視頻序列部分幀的跟蹤結(jié)果

(20)

式中 (x0,y0)為真實(shí)目標(biāo)中心的坐標(biāo)；(xt,yt)為t時(shí)刻跟蹤算法計(jì)算的目標(biāo)中心的的坐標(biāo)。誤差值越小表示跟蹤的目標(biāo)更加準(zhǔn)確。圖4為不同算法間部分幀測(cè)試視頻中的誤差曲線。表1列出了不同算法的平均中心誤差。本文提出的算法誤差值較小，誤差分布比較平穩(wěn)。

圖5 不同算法的重疊率曲線

重疊率為真實(shí)目標(biāo)區(qū)域與預(yù)測(cè)目標(biāo)區(qū)域間重疊面積的比率

許多文獻(xiàn)的研究表明，一般情況下，系統(tǒng)的不變集包含了垂直頂部不穩(wěn)定平衡點(diǎn)，但并不能保證系統(tǒng)運(yùn)動(dòng)至不穩(wěn)點(diǎn)，系統(tǒng)將在不變集上做周期運(yùn)動(dòng)，這種情況下，須采取另一種控制律打破這種周期運(yùn)動(dòng)，這種切換控制的穩(wěn)定性由開(kāi)關(guān)定律得以保證。一種較為常見(jiàn)的處理方法是，在系統(tǒng)運(yùn)動(dòng)至不變集過(guò)程中，當(dāng)系統(tǒng)的狀態(tài)變量滿足線性化條件時(shí)，將系統(tǒng)線性化，采用線性系統(tǒng)理論來(lái)設(shè)計(jì)控制器[3][5]。線性系統(tǒng)理論已經(jīng)成熟，這里不做過(guò)多討論，線性化帶來(lái)的誤差處理方法可參見(jiàn)文獻(xiàn)[5]。

(21)

式中Rg為真實(shí)目標(biāo)矩形框區(qū)域；Rt為不同跟蹤算法預(yù)測(cè)目標(biāo)矩形框區(qū)域。式(21)分子為兩者的交集，即重疊部分，分母為兩者的并集，即面積之和。重疊率越高，表示目標(biāo)跟蹤算法的效果越好，一般認(rèn)為重疊率高于0.5，表示目標(biāo)正確跟蹤。不同算法的重疊率曲線如圖5所示，平均重疊率如表2。

表2 不同算法的平均重疊率

4 結(jié)束語(yǔ)

本文使用2DPCA與稀疏表示方法進(jìn)行目標(biāo)跟蹤，2DPCA提取的特征構(gòu)成字典與L2范數(shù)最小化進(jìn)行結(jié)合，大幅提高了跟蹤的實(shí)時(shí)性與準(zhǔn)確性。使用了幾組受到光照變化、姿勢(shì)變化、遮擋以及快速運(yùn)動(dòng)影響的測(cè)試視頻與其他算法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明：能夠很好地實(shí)現(xiàn)目標(biāo)跟蹤并且具有較強(qiáng)的魯棒性，未來(lái)將針對(duì)算法精度與實(shí)時(shí)性進(jìn)行完善。

參考文獻(xiàn):

[1] Shu C F,Hampapur A,Lu M,et a1.IBM smart surveillance system(S3):An open and extensible framework for event-based surveillance[C]∥Proceedings of the IEEE International Confe-rence on Advanced Video and Signal-Based Surveillance,Como,Italy,2005:318-323.

[2] Shah M,Javed O,Shafique K.Automated visual surveillance in realistic scenarios[J].IEEE Transactions on Multimedia,2007,14(1):30-39.

[3] 谷 靜,史健芳.分布式粒子濾波算法在目標(biāo)跟蹤中的應(yīng)用[J].傳感器與微系統(tǒng),2014,33(8):158-160.

[4] 施 瀅，高建坡,崔 杰,等.分塊多特征自適應(yīng)融合的多目標(biāo)視覺(jué)跟蹤[J].傳感器與微系統(tǒng),2015,34(9):128-131.

[5] Gmbner H,Gmbner M,Bischof H.Real-time tracking via online boosting[C]∥Proceedings of the British Machine Vision Confe-rence,Edinburgh,UK:BMVA,2006:47-56.

[6] Gmbner H,Leistner C,Bischof H.Semi-supenrised online boosting for robust tracking[C]∥Proceeding of the 10th European Conference on Computer Vision,Marseille,FraJlce:Springer-VerLag,2006:47-56.

[7] Mei X,Ling H.Robust visual tracking using L1 minimization[C]∥Computer Vision,Anchorage,Alaska:IEEE,2009:1436-1443.

[8] Bao C L,Wu Y,Ling H B,et al.Realtime robust L1 tracker using accelerated proximal gradient approach[C]∥ 2012 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2012:1830-1837.

[9] Zhong W,Lu H C,Yang M H.Robust object tracking via sparsity-based collaborative model[C]∥IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Rhode Island,2012.

[10] 楊大為,叢 楊,唐延?xùn)|.基于粒子濾波與稀疏表達(dá)的目標(biāo)跟蹤方法[J].模式識(shí)別與人工智能,2013,26(7):680-687.

[11] Li J Y,Lu X F,Ding L Y,et al.Moving target tracking via particle filter based on color and contour features[C]∥Proceeding of the 2nd International Conference on Information Engineering and Computer Science,Wuhan,China,2010.

[12] Wang D,Lu H C,Yang M H.Online object tracking with sparse prototypes[J].IEEE Transactions on Image Processing,2013,22(1):314-325.

[13] Babenko B,Yang M H,Belongie S.Visual tracking with online multiple instance learning[C]∥Conference on Computer Vision and Pattern Recognition,Florida:IEEE,2009:983-990.

[14] Ross D,Lim J,Lin R S,et al.Incremental learning for robust visual tracking[J].International Journal of Computer Vision,2008,77(1):125-141.

[15] Kwon J,Lee K M.Visual tracking decomposition[C]∥Procee-dings of the International Conference on Computer Vision and Pattern Recognition,San Francisco,USA,2010:1269-1276.

[16] 袁廣林,薛模根.基于稀疏稠密結(jié)構(gòu)表示與在線魯棒字典學(xué)習(xí)的視覺(jué)跟蹤[J].電子與信息學(xué)報(bào),2015,37(3):536-542.