侯躍恩 李偉光 四庫 曾順星 容愛瓊

(1.華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣東 廣州 510640;2.東莞理工學(xué)院 機(jī)械工程學(xué)院，廣東 東莞 523808)

視覺目標(biāo)跟蹤技術(shù)是目前機(jī)器視覺研究的熱點之一，該技術(shù)已經(jīng)廣泛應(yīng)用于機(jī)器人控制、視頻監(jiān)控、駕駛助理、動作識別和人機(jī)交互等領(lǐng)域中.雖然目前有許多視覺目標(biāo)跟蹤算法在一定范圍內(nèi)取得了很好的效果，但仍然存在很多問題有待解決.在被跟蹤目標(biāo)背景、形態(tài)、大小和光照條件發(fā)生劇烈變化的情況下，對目標(biāo)的穩(wěn)定跟蹤仍然具有非常大的挑戰(zhàn)性［1］.

目前，一種稱為稀疏表示的外觀建模技術(shù)在模式識別領(lǐng)域得到了廣泛的應(yīng)用.文獻(xiàn)［2-4］將稀疏表示技術(shù)應(yīng)用在人臉識別過程中并取得了理想的結(jié)果.文獻(xiàn)［5-6］將稀疏表示引入到目標(biāo)跟蹤領(lǐng)域，并提出了一種瑣碎模板，減少了遮擋對跟蹤結(jié)果的影響，但該方法計算量大，難于勝任復(fù)雜的跟蹤環(huán)境.文獻(xiàn)［7］提出了一種結(jié)構(gòu)稀疏表示的方法進(jìn)行目標(biāo)跟蹤，該方法對模板進(jìn)行分塊表示，提高了跟蹤的魯棒性，并通過分塊正交匹配追蹤算法(BOMP)減少了稀疏方程的計算量，同時采用增量學(xué)習(xí)方法更新模板字典，但該方法在目標(biāo)外形和光照變化強(qiáng)烈的情況下魯棒性不強(qiáng).在結(jié)構(gòu)稀疏表示框架下，文獻(xiàn)［8］采用對齊合成法對稀疏系數(shù)進(jìn)行處理，以得到各候選目標(biāo)與目標(biāo)的相似度，該方法既考慮了目標(biāo)的全局信息，又考慮了目標(biāo)的局部性息，具有較高的魯棒性，但該方法只用到了結(jié)構(gòu)稀疏表示的系數(shù)信息，在環(huán)境復(fù)雜的情況下往往會跟蹤失敗.文獻(xiàn)［9］將增量學(xué)習(xí)引入到稀疏表示過程中，提高了運算速度和跟蹤效果，同時在相似度函數(shù)中增加了一個懲罰項減少目標(biāo)被遮擋對跟蹤結(jié)果的影響.文獻(xiàn)［10］結(jié)合稀疏表示和在線外觀建模，提高了跟蹤算法在復(fù)雜環(huán)境下的魯棒性.在稀疏表示框架下，許多基于學(xué)習(xí)分類的跟蹤算法表現(xiàn)出良好的性能.文獻(xiàn)［11］將分類器嵌入到稀疏表示過程中，同時在線更新模板字典和分類器，提高了算法的跟蹤性能，但該方法只考慮了圖像的整體信息，沒有涉及圖像的局部和空間信息，跟蹤準(zhǔn)確度有待提高.文獻(xiàn)［12］利用現(xiàn)實世界的圖像和跟蹤結(jié)果構(gòu)成模板字典進(jìn)行目標(biāo)跟蹤，同時利用基于稀疏表示的分類器區(qū)分目標(biāo)和背景，但該方法實施困難，需要跟蹤視頻以外的輸入信息.文獻(xiàn)［13］用分類器訓(xùn)練一個映射矩陣，通過該映射矩陣選取區(qū)分度高的圖像特征，同時利用結(jié)構(gòu)稀疏系數(shù)直方圖構(gòu)建相似度函數(shù)，提高了跟蹤的準(zhǔn)確度.在結(jié)構(gòu)稀疏表示框架下，文獻(xiàn)［14］通過稀疏系數(shù)訓(xùn)練線性分類器，并提出了一種基于目標(biāo)信息和觀察目標(biāo)信息的兩步定位算法，在一定程度上解決了跟蹤漂移的問題，但該算法的運算量較大，在目標(biāo)形態(tài)和光照變化劇烈的情況下容易丟失目標(biāo).

針對目前跟蹤算法在環(huán)境復(fù)雜的情況下魯棒性不高的問題，文中在結(jié)構(gòu)稀疏表示框架下，提出了一種新的目標(biāo)跟蹤算法.算法通過對結(jié)構(gòu)稀疏表示系數(shù)和殘差得分進(jìn)行排名的方式獲得各候選目標(biāo)的相似度信息，提高了跟蹤算法在復(fù)雜環(huán)境下的魯棒性和準(zhǔn)確度，同時沒有增加額外的計算量.

1 目標(biāo)跟蹤算法研究

文中提出的目標(biāo)跟蹤算法原理見圖1.與其他算法相比，文中的算法有以下特點:

(1)算法通過對稀疏系數(shù)和殘差信息對目標(biāo)的相關(guān)度進(jìn)行排名，采用排名方式使候選目標(biāo)各分塊更具可比性，有效融合了稀疏系數(shù)和殘差信息，采用自然對數(shù)對排名信息進(jìn)行處理，減少了遮擋和噪聲的影響，提高了跟蹤算法魯棒性.

(2)文中構(gòu)造了一種融合目標(biāo)信息和背景信息的稀疏表示模板字典，提出了一種融合背景和目標(biāo)信息的殘差得分代替純粹的殘差信息，使跟蹤算法能更好地區(qū)分目標(biāo)和背景，增加了跟蹤的準(zhǔn)確度.

圖1 跟蹤算法原理Fig.1 Principle of tracking algorithm

1.1 結(jié)構(gòu)稀疏表示

與傳統(tǒng)稀疏表示相比［6］，結(jié)構(gòu)稀疏表示不僅包含了目標(biāo)的全局信息，還包含了目標(biāo)的局部信息和空間信息，具有更高的跟蹤魯棒性［7-8，11，13］.

文中在結(jié)構(gòu)稀疏表示的基礎(chǔ)上，提出了一種含有目標(biāo)模板和背景模板的模板字典.在初始幀，假設(shè)初始幀真實目標(biāo)中心坐標(biāo)為o，則目標(biāo)模板的中心坐標(biāo)Itar在一個半徑為r1的圓形區(qū)域內(nèi)采用高斯分布隨機(jī)獲得，即|Itar-o| ＜r1，而背景模板的中心坐標(biāo)Ibg在一個內(nèi)徑為r1、外徑為r2的圓環(huán)區(qū)域內(nèi)采用高斯分布隨機(jī)獲得，即r1＜|Ibg-o| ＜r2.

假設(shè)T 為有n1個模板的目標(biāo)模板集，T =［t1t2… tn1］，B 為有n2個模板的背景模板集，B =［b1b2… bn2］，T 和B 構(gòu)成文中的稀疏表示模板字典［T，B］，［T，B］∈Rm×n，m 為每個模板的維數(shù)，n=n1+n2，為字典里模板數(shù)量.采用文獻(xiàn)［8］的方法對模板進(jìn)行分塊處理，可以得到分塊模板字典D=［DtarDbg］，其中，Dtar為模板字典目標(biāo)模板部分，Dbg為模板字典背景模板部分，為模板字典第i 個模板第j 個分塊，k 為每個模板分塊的數(shù)量.候選目標(biāo)Y∈Rm×1，采用同樣的處理方式，可得k 個分塊(y1，y2，…，yk).分塊yi可用D 稀疏表示為

式(1)是1 范數(shù)最小化問題，有較大的計算量，為提高計算速度，文中用2 范數(shù)最小化來進(jìn)行稀疏表示，文獻(xiàn)［4］通過試驗證明，在稀疏表示模式識別過程中，2 范數(shù)最小化和1 范數(shù)最小化有幾乎一樣的識別結(jié)果.

由式(2)可以得出:

1.2 稀疏系數(shù)排名算法

在結(jié)構(gòu)稀疏表示框架下，候選目標(biāo)Y 的稀疏系數(shù)為A = (a1，a2，…，ak)T，其中ai= (，，…，)，ai為第i 個分塊yi的系數(shù).如果Y 是真實目標(biāo)，則ai中會獲得較大值，因為這些系數(shù)與yi相對應(yīng).設(shè)ci=++，…，+，則整個樣本Y 能夠得到矩陣C =［c1c2… ck］T∈Rk×1.假設(shè)算法每幀共有N 個候選目標(biāo)，可以獲得矩陣F =［C1C2… CN］∈Rk×N，將矩陣F 每個行向量從大到小排名，得到每個元素在該行的名次，組成一個排名矩陣G∈Rk×N，將G 的每個元素進(jìn)行自然對數(shù)運算，并對每個列向量相加，得到各候選目標(biāo)系數(shù)總名次向量H =(H1，H2，…，HN)T∈R1×N.

圖2 結(jié)構(gòu)稀疏表示系數(shù)排名算法原理Fig.2 Principle of structured sparse representation ranking algorithm

1.3 殘差得分排名算法

在目標(biāo)跟蹤過程中，為了更好地區(qū)別目標(biāo)和背景，文中提出了一種殘差得分.通過對各候選目標(biāo)的殘差得分進(jìn)行排名，可以與系數(shù)排名共同確定目標(biāo)的狀態(tài).

yi的殘差由兩部分組成，第1 部分為與其位置對應(yīng)的目標(biāo)模板線性組合的殘差ζi，第2 部分為與其位置不對應(yīng)的目標(biāo)模板和背景模板線性組合的殘差εi.

第1 部分殘差為

第2 部分殘差為

式中，σi=yi-aiD.

文中定義樣本Y 的第i 個分塊的殘差得分Si為

可以看出，Si不僅包含了與分塊位置對應(yīng)的目標(biāo)信息，還包含了背景和位置不對應(yīng)的目標(biāo)信息，可以使跟蹤算法更好地區(qū)分目標(biāo)和背景，定位精度更高.如果Y 是真實目標(biāo)，則Si獲得一個較大的值，如果Y 不是真實目標(biāo)，則Si獲得一個較小的值.

與上節(jié)計算G 與H 一樣，算法對每個候選目標(biāo)各分塊殘差得分排名，可獲得殘差得分排名矩陣PRk×N和殘差總名次向量Q =(Q1，Q2，…，QN)∈R1×N.

1.4 跟蹤算法

文中在粒子濾波框架下對目標(biāo)進(jìn)行跟蹤，第1 幀初始狀態(tài)采用鼠標(biāo)點取獲得.設(shè)z1，z2，…，zt為第1 幀到第t 幀的目標(biāo)觀測狀態(tài).xit為第t 幀第i 個候選目標(biāo)狀態(tài).則第t 幀的目標(biāo)狀態(tài)xt為

式中，z1:t為目標(biāo)第1 幀到第t 幀的觀測值，p(xt|z1:t)可由下式得到:

式中，p(zt|xt)是相似度變量，p(xt|xt-1)是狀態(tài)轉(zhuǎn)移變量，文中采用6 維仿射變換(ε1，ε2，ε3，ε4，ε5，ε6)定義目標(biāo)的狀態(tài)xt，分別代表x 軸坐標(biāo)、y 軸坐標(biāo)、旋轉(zhuǎn)角、尺度、長寬比和扭角［15］.假設(shè)這6 個參數(shù)相互獨立，都服從高斯分布，則狀態(tài)轉(zhuǎn)移變量可以表示為

式中，Σ 為方差對角矩陣.

文中的相似性函數(shù)與系數(shù)總名次和殘差總名次的關(guān)系為

文中采用稀疏表示和增量學(xué)習(xí)相結(jié)合的方法更新模板字典的目標(biāo)模板，具體參見文獻(xiàn)［8］.

在每次更新目標(biāo)模板的時候，同時用新得到的背景替代原來的背景模板.

文中算法的流程歸納如下.

輸入:①視頻，②首幀目標(biāo)狀態(tài)

獲得初始背景模板和目標(biāo)模板構(gòu)成對象字典

for(f=1:T)，T 為視頻的幀數(shù)

粒子更新，仿射變換

結(jié)構(gòu)稀疏表示各候選目標(biāo)

計算系數(shù)總名次向量H

計算殘差總名次向量Q

利用式(12)計算各候選目標(biāo)相似度函數(shù)

if(符合模板字典更新條件)

目標(biāo)模板更新［8］

背景模板更新

end if

end for

輸出:各幀目標(biāo)狀態(tài)

2 目標(biāo)跟蹤試驗

文中在主頻為2.4 GHz、內(nèi)存為2 GB 的計算機(jī)上用Matlab2009b 對算法進(jìn)行驗證.為證明文中算法的先進(jìn)性，在5 個具有挑戰(zhàn)性的視頻上將4 種先進(jìn)的跟蹤算法與文中算法進(jìn)行比較，它們分別是?1跟蹤算法［6］、SCM 算法［13］、ASLSAM 算法［8］和IVT 算法［16］

文中將目標(biāo)區(qū)域通過仿射變化映射到32 ×32的矩陣上，設(shè)為0.01［8］，粒子數(shù)設(shè)為600［6，8，13，16］，每個樣本分為9 個分塊，相鄰分塊一半面積重疊［8］，模板字典中，目標(biāo)模板和背景模板數(shù)均為30.

2.1 試驗結(jié)果

試驗采用白色實線框表示文中算法結(jié)果，用黑色虛線框表示?1算法結(jié)果，用白色虛線框表示ASLSAM 算法的結(jié)果，用黑色實線框表示SCM 算法的結(jié)果，用黑色點虛線框表示IVT 算法的結(jié)果.

第1 個測試視頻是ThreePastShop2cor(TPS)，該視頻的主要挑戰(zhàn)是目標(biāo)遮擋和相似目標(biāo)干擾，試驗中Σ =［5，5，0.01，0，0.001，0］.試驗結(jié)果如圖3 所示，可以看出，文中算法與SCM 算法可以完成對整個視頻的跟蹤，而?1算法、ASLSAM 算法和IVT 算法都受到了遮擋或相似目標(biāo)的影響而偏離了實際目標(biāo).

第2 個測試視頻是Woman Sequence(WS)，目標(biāo)被遮擋和復(fù)雜的背景是該視頻的主要挑戰(zhàn).試驗中Σ 設(shè)為［4，4，0.02，0，0，0］.從圖4 可以看出，文中算法與SCM 算法能夠完成對整個視頻的跟蹤，而?1算法、ASLSAM 算法和IVT 算法在目標(biāo)被遮擋時失去了目標(biāo).

第3 個視頻是Panda，視頻中，目標(biāo)受到了嚴(yán)重的遮擋，同時發(fā)生了大幅度的旋轉(zhuǎn)，Σ 值為［10，10，0.01，0.18，0，0］.圖5 是視頻的試驗結(jié)果，文中算法完成了整個視頻的跟蹤，SCM 算法在目標(biāo)發(fā)生大幅度旋轉(zhuǎn)時丟失了目標(biāo)，?1、ASLSAM 和IVT 跟蹤算法在目標(biāo)被遮擋時丟失了目標(biāo).

圖3 視頻TPS 的跟蹤結(jié)果Fig.3 Tracking results of TPS

圖4 視頻WS 的跟蹤結(jié)果Fig.4 Tracking results of WS

圖5 視頻Panda 跟蹤結(jié)果Fig.5 Tracking results of Panda

第4 個測試視頻是Trellis，視頻的主要難點是光照的變化和目標(biāo)形態(tài)的變化，實驗中Σ 值為［5，5，0.02，0，0.002，0.001］.圖6 是視頻的試驗結(jié)果，文中算法、SCM 和ASLSAM 算法在第422 幀由于光照和目標(biāo)形態(tài)的變化丟失了目標(biāo)，但文中算法能恢復(fù)對目標(biāo)的跟蹤，而另外兩個算法無法恢復(fù).?1和IVT 算法在228 幀由于光照的變化丟失了目標(biāo).

第5 個視頻是Shaking，視頻的主要挑戰(zhàn)是強(qiáng)烈光照變化和目標(biāo)形態(tài)變化.Σ 值為［10，10，0.01，0，0，0.001］，從圖7 可以看出，文中算法可以完成對整個視頻跟蹤，而其他算法由于光照和目標(biāo)形態(tài)變化強(qiáng)烈在跟蹤過程中失去了目標(biāo).

圖6 視頻Trellis 的跟蹤結(jié)果Fig.6 Tracking results of Trellis

圖7 視頻Shaking 的跟蹤結(jié)果Fig.7 Tracking results of Shaking

2.2 結(jié)果分析

首先對跟蹤誤差進(jìn)行分析，這里對跟蹤誤差的定義是實際目標(biāo)中點到跟蹤結(jié)果中點的歐氏距離.圖8 為5 種跟蹤算法在5 個視頻上的跟蹤誤差圖.從圖中可以看出，與其他算法相比，文中算法在視頻Panda、Trellis 和Shaking 中獲得了最好的跟蹤結(jié)果.在視頻ThreePastShop2cor 和Woman Sequence 中，文中算法與SCM 跟蹤算法都獲得了較好的跟蹤結(jié)果.

為進(jìn)一步說明問題，文中對各個算法的跟蹤誤差最大值、平均值和標(biāo)準(zhǔn)方差進(jìn)行統(tǒng)計，統(tǒng)計結(jié)果見表1，表中加粗下劃線的數(shù)據(jù)為比較中最好結(jié)果，加粗斜體數(shù)據(jù)為比較中第二好結(jié)果.從表中可以看出，文中算法除了在視頻ThreePastShop2cor 和Woman Sequence 的最大值比較中取得第二好的結(jié)果外，在其他的比較中均獲得了最好的結(jié)果.在5 個視頻平均值比較中，文中算法獲得了最好的結(jié)果.

表1 跟蹤誤差的最大值、平均值和標(biāo)準(zhǔn)方差Table 1 Maximum，mean and standard variance values of the location error

由于跟蹤誤差只是反映了跟蹤結(jié)果和實際目標(biāo)中心點的距離，并沒有反映出跟蹤結(jié)果形狀與實際目標(biāo)形狀的關(guān)系，文中采用PASCAL VOC 標(biāo)準(zhǔn)［16］對跟蹤成功率進(jìn)行評估:

式中，Wt是跟蹤結(jié)果，Wg是目標(biāo)的實際狀態(tài)，Z 表示面積.如果某幀的R 大于等于0.5，那么認(rèn)為該幀跟蹤成功，否則認(rèn)為跟蹤失敗.

圖8 5 種跟蹤算法的跟蹤誤差比較Fig.8 Comparison of location errors of 5 trackers

表2 列出了各跟蹤算法的跟蹤成功率，可以看出，文中算法在全部比較中均有最高成功率.

表2 各跟蹤算法成功率Table 2 Success rate of tracking algorithms

除了跟蹤誤差和成功率，跟蹤幀頻也是算法的重要指標(biāo)，IVT 算法幀頻最高，為6.58 幀/s，文中算法與ASLSAM 算法幀頻分別為4.06 幀/s 和4.20 幀/s，而SCM 算法和?1算法實時性較差，幀頻分別為0.47 幀/s 和0.30 幀/s.可見文中算法在提高跟蹤魯棒性和準(zhǔn)確性的基礎(chǔ)上沒有增加計算量.

3 結(jié)語

文中在粒子濾波和結(jié)構(gòu)稀疏表示框架下，提出了一種新的目標(biāo)跟蹤算法.該算法結(jié)合目標(biāo)和背景信息的殘差得分，使跟蹤算法能更好地區(qū)分目標(biāo)和背景信息.文中提出的基于稀疏系數(shù)和殘差得分排名的方法，使稀疏系數(shù)和殘差能更有效地融合，同時對目標(biāo)的遮擋和噪聲干擾更具魯棒性.在試驗部分，將文中算法與?1算法、SCM 算法、ASLSAM 算法和IVT 算法進(jìn)行比較.試驗結(jié)果表明，文中算法在目標(biāo)光照、形態(tài)變化和目標(biāo)被遮擋時具有更好的跟蹤效果.然而，文中算法只適用于目標(biāo)沒有長時間離開視野的情況，同時在特別復(fù)雜的環(huán)境下，文中算法會出現(xiàn)丟失目標(biāo)的情況.未來工作將圍繞這些不足進(jìn)行深入研究.

［1］Yilmaz A，Javed O，Shah M.Object tracking:a survey［J］.ACM Computing Surveys，2006，38(4):1158-1166.

［2］Wright J，Yang Allen Y，Arvind G，et al.Robust face recognition via sparse representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31(2):210-227.

［3］Zhang L，Yang M，F(xiàn)eng X C.Sparse representation or collaborative representation:which helps face recognition［C］∥IEEE International Conference on Computer Vision.Barcelona:IEEE，2011:471-478.

［4］Yang M，Zhang L，Zhang D，et al.Relaxed collaborative representation for pattern classification［C］∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Providence:IEEE，2012:2224-2231.

［5］Mei X，Ling H B.Robust visual tracking and vehicle classification via sparse representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(11):2259-2272.

［6］Mei X，Ling H B.Robust visual tracking using ?1minimization［C］∥Proceedings of 2009 IEEE 12th International Conference on Computer Vision.Kyoto:IEEE，2009:1436-1443.

［7］Bai T X，Li Y F.Robust visual tracking with structured sparse representation appearance model［J］.Pattern Recognition，2012，45(6):2390-2404.

［8］Xu J，Lu H C，Yang M H.Visual tracking via adaptive structural local sparse appearance model［C］∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Providence:IEEE，2012:1822-1829.

［9］Wang D，Lu H C，Yang M H.Online object tracking with sparse prototypes［J］.IEEE Transactions of Image Processing，2013，22(1):314-325.

［10］Chen F，Wang Q，Wang S，et al.Object tracking via appearance modeling and sparse representation［J］.Image and Vision Computing，2011，29(11):787-796.

［11］Bai T X，Li Y F，Zhou X L.Discriminative sparse representation for online visual object tracking ［C］∥Proceedings of the 2012 International Conference on Robotics and Biomimetics.Guangzhou:IEEE，2012:79-84.

［12］Wang Q，Chen F，Yang J M，et al.Transferring visual prior for online object tracking［J］.IEEE Transactions on Image Processing，2012，21(7):3296-3350.

［13］Zhong W，Lu H C，Yang M H.Robust object tracking via sparsity-based collaborative model［C］∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Providence:IEEE，2012:1838-1845.

［14］Wang Q，Chen F，Xu W L，et al.Online discriminative object tracking with local sparse representation［C］∥Proceedings of IEEE Workshop on Applications of Computer Vision.Breckenridge:IEEE，2012:425-432.

［15］Li M，Tan T N，Chen W，et al.Efficient object tracking by incremental self-tuning particle filtering on the affine group ［J］.IEEE Transactions on Image Processing，2012，21(3):1298-1313.

［16］Ross David A，Lim J，Lin R S，et al.Incremental learning for robust visual tracking ［J］.International Journal of Computer Vision，2008，77(1/2/3):125-141.

［17］Everingham M，Gool L V，Williams C，et al.The pascal visual object classes (voc)challenge［J］.International Journal of Computer Vision，2010，88(2):303-338.