文 武，伍立志，張建峰

1(重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶400065) 2(重慶信科設(shè)計(jì)有限公司，重慶400065) E-mail：840062797@qq.com

1 引 言

視覺跟蹤是計(jì)算機(jī)視覺、圖像處理和模式識別等領(lǐng)域研究的熱點(diǎn)之一，普遍用于視頻監(jiān)控、人機(jī)界面和醫(yī)療成像等領(lǐng)域[1].近年來，視覺跟蹤技術(shù)引起了學(xué)術(shù)界及工業(yè)界的廣泛關(guān)注，國內(nèi)外研究者通過不懈的努力，提出了包括跟蹤-學(xué)習(xí)-檢測(Tracking-Learning-Detection，TLD)[2]、壓縮跟蹤(Compressive Tracking，CT)[3]、核相關(guān)濾波(Kernelized Correlation Filter，KCF)[4]以及時(shí)空上下文(Spatio-Temporal Context，STC)[5]等多種優(yōu)秀的視覺跟蹤算法.然而，在實(shí)際跟蹤過程中，一方面目標(biāo)可能產(chǎn)生了形變或進(jìn)行了旋轉(zhuǎn)，另一方面由于光照或遮擋物等外部環(huán)境的影響，導(dǎo)致上述算法不能精準(zhǔn)的實(shí)現(xiàn)目標(biāo)跟蹤.因此，設(shè)計(jì)有效的視覺跟蹤算法至關(guān)重要.

從外觀角度而言，已有視覺跟蹤算法可以分為生成跟蹤算法[6-8]和判別跟蹤算法[9,10]兩類.其中，生成跟蹤算法的基本思想是在尋找當(dāng)前最優(yōu)匹配區(qū)域的基礎(chǔ)上，通過實(shí)時(shí)動態(tài)更新目標(biāo)區(qū)域，從而完成跟蹤.而判別跟蹤算法則是利用訓(xùn)練后的分類器將目標(biāo)和背景分開，進(jìn)而，運(yùn)用二分類知識解決目標(biāo)的跟蹤問題.此外，文獻(xiàn)[11]采用比較準(zhǔn)確的支持向量機(jī)(Support Vector Machine，SVM)訓(xùn)練正負(fù)樣本，在分離目標(biāo)和背景的基礎(chǔ)上提出的結(jié)構(gòu)化輸出跟蹤算法，雖然能夠?qū)崿F(xiàn)目標(biāo)跟蹤，但無法解決處于復(fù)雜背景或發(fā)生遮擋時(shí)產(chǎn)生的漂移問題.文獻(xiàn)[12]提出的視覺跟蹤分解算法(Visual Tracking Decomposition，VTD)，將跟蹤模型分解為由一組稀疏的特征模板構(gòu)成的多個(gè)基本觀察模型來準(zhǔn)確跟蹤目標(biāo)的外觀和動作變化，由于該算法未考慮目標(biāo)背景信息因素，因此在復(fù)雜背景下將導(dǎo)致跟蹤失敗.

STC視覺跟蹤算法[13]建立了目標(biāo)和其上下文區(qū)域的時(shí)空關(guān)系模型，通過計(jì)算置信圖得到新一幀的目標(biāo)位置，由于時(shí)空模型的學(xué)習(xí)和目標(biāo)的檢測都是通過快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)實(shí)現(xiàn)，因此加快了運(yùn)算速度.在STC算法的基礎(chǔ)上，文獻(xiàn)[14]采用動態(tài)分區(qū)方法處理目標(biāo)上下文區(qū)域，同時(shí)根據(jù)賦予權(quán)值改進(jìn)原有算法以達(dá)到更好跟蹤效果的目的；文獻(xiàn)[15]則采用加權(quán)超像素的中層視覺特征代替STC算法中比較粗糙的像素級灰度的底層特征信息且使用自適應(yīng)參數(shù)更新方法以解決時(shí)空上下文模型的參數(shù)固定問題.盡管上述方法在一定程度上能有效跟蹤目標(biāo)，但是在實(shí)際情況中，當(dāng)目標(biāo)在復(fù)雜背景中發(fā)生遮擋時(shí)，會使目標(biāo)跟蹤失敗.

針對STC算法上述問題，本文提出了一種基于粒子濾波的時(shí)空上下文視覺跟蹤算法(ISTC-PF，Improved Spatio-Temporal Context With Particle Filter).首先在STC算法的目標(biāo)局部上下文區(qū)域加入Bhattacharyya系數(shù)進(jìn)行遮擋判別，當(dāng)判定目標(biāo)發(fā)生遮擋時(shí)，從而利用粒子濾波對目標(biāo)運(yùn)動軌跡進(jìn)行預(yù)測估計(jì)以達(dá)到實(shí)時(shí)、準(zhǔn)確、魯棒跟蹤目標(biāo)的目的.

2 時(shí)空上下文算法

STC算法將視覺跟蹤問題轉(zhuǎn)化為求解估計(jì)目標(biāo)中心位置似然的置信圖函數(shù)，即：

c(x)=P(x|o)

(1)

其中，x∈R2表示目標(biāo)中心位置，o表示跟蹤對象.假設(shè)x*為當(dāng)前幀中目標(biāo)的中心位置，則上下文的特征信息定義為：

xc={c(z)=(I(z)，z)|z∈Ωc(x*)}

(2)

其中I(z)表示位置z處的圖像灰度，Ωc(x*)是圍繞x*產(chǎn)生的局部區(qū)域.在跟蹤過程中，利用聯(lián)合概率與邊緣概率之間的相互轉(zhuǎn)化，則式(1)可轉(zhuǎn)化為：

c(x)=P(x|o)

=∑c(z)∈XcP(x，c(z)|o)

=∑c(z)∈XcP(x|c(z)，o)P(c(z)|o)

(3)

其中，條件概率P(x|c(z)，o)表示目標(biāo)與其上下文之間的空間關(guān)系，即目標(biāo)的空間上下文模型.P(c(z)|o)表示上下文先驗(yàn)概率，其作用是對上下文的特征進(jìn)行建模.

2.1 置信圖

對式(1)中的目標(biāo)置信圖函數(shù)c(x)，STC算法用一個(gè)已經(jīng)存在的函數(shù)來表示，即：

(4)

其中，b是歸一化系數(shù)，α是尺度參數(shù)，β是形狀參數(shù).文獻(xiàn)[5]實(shí)驗(yàn)結(jié)果表明β=1時(shí)取得好的跟蹤效果.

2.2 上下文先驗(yàn)概率模型

在STC算法中，對式(3)中的上下文先驗(yàn)概率進(jìn)行建模，如下所示：

P(c(z)|o)=I(z)ωσ(z-x*)

(5)

其中，I(z)表示位置z處的圖像灰度，ωσ是一個(gè)高斯加權(quán)函數(shù)，定義為：

(6)

其中，a是歸一化常數(shù)，使P(c(z)|o)的取值在[0～1]之間，σ為尺度參數(shù).

2.3 空間上下文模型

在STC算法中，式(3)中的空間上下文模型P(x|c(z)，o)定義為：

P(x|c(z)，o)=hsc(x-z)

(7)

其中hsc(x-z)為x與z間的相對距離和方向的非徑向?qū)ΨQ函數(shù).

利用置信圖、空間上下文模型和上下文先驗(yàn)概率模型將式(4)(5)(7)代入(3)式可得：

c(x)=∑c(z)∈XcP(x|c(z)，o)P(c(z)|o)

=∑z∈Ωc(x*)hsc(x-z)I(z)ωσ(z-x*)

=hsc(x)?(I(x)ωσ(x-x*))

(8)

其中，?是卷積運(yùn)算符.由于卷積操作計(jì)算量大、耗時(shí)多，根據(jù)快速傅里葉變換相關(guān)性質(zhì)可將式(8)轉(zhuǎn)換到頻域內(nèi)計(jì)算以減少運(yùn)行時(shí)間，即：

(9)

其中，F(xiàn)表示FFT，⊙表示數(shù)據(jù)元素之間的點(diǎn)乘符號，將式(9)進(jìn)行傅里葉逆變換操作，則得到空間上下文模型為：

(10)

其中，F(xiàn)-1表示逆FFT.

2.4 STC算法目標(biāo)跟蹤過程

STC算法在得到了上述空間上下文模型后，此時(shí)可以對視頻幀中的目標(biāo)進(jìn)行跟蹤，過程如下：

(11)

其中，ρ是有關(guān)學(xué)習(xí)速率的因子.

第t+1幀：對(2)式，更新上下文的特征信息為：

(12)

計(jì)算目標(biāo)的置信圖ct+1(x)為：

(13)

計(jì)算置信圖的極大值就是目標(biāo)的中心位置，表達(dá)式為：

(14)

3 基于粒子濾波的時(shí)空上下文跟蹤算法

STC算法在目標(biāo)跟蹤中對光照變化、目標(biāo)旋轉(zhuǎn)等常見問題展示出快速跟蹤的優(yōu)勢，但在復(fù)雜背景中目標(biāo)發(fā)生遮擋時(shí)，會引起跟蹤漂移等問題.所以本文算法采用Bhattacharyya系數(shù)來判斷目標(biāo)是否發(fā)生遮擋，并且引入粒子濾波算法對下一幀目標(biāo)的中心位置進(jìn)行預(yù)測以滿足跟蹤過程中復(fù)雜背景和遮擋的實(shí)時(shí)性要求.

3.1 遮擋判別

已知目標(biāo)及上下文區(qū)域的顏色直方圖定義為：

(15)

其中，q為顏色直方圖，c為歸一化系數(shù)，ω(·)為高斯加權(quán)函數(shù)，δ(·)為狄拉克函數(shù)，b(xi)為像素xi的顏色直方圖映射函數(shù)，μ為顏色像素概率特征，mi表示第i個(gè)目標(biāo)區(qū)域像素的概率.此時(shí)，目標(biāo)周圍的上下文區(qū)域像素值定義為：

Ii=miOi+(1-mi)Li

(16)

其中，Oi為目標(biāo)圖像，Li為局部上下文區(qū)域圖像.

Bhattacharyya系數(shù)定義為：

(17)

其中，qi(μ)為目標(biāo)直方圖，qi*(μ)為跟蹤區(qū)域直方圖.

如圖1所示，本文實(shí)驗(yàn)中將Bhattacharyya系數(shù)閾值設(shè)置為0.8，當(dāng)Bhattacharyya系數(shù)值大于等于0.8時(shí)，可判定目標(biāo)未發(fā)生遮擋，否則認(rèn)為目標(biāo)發(fā)生遮擋.

圖1 Bhattacharyya系數(shù)變化圖Fig.1 Change of the Bhattacharyya

3.2 粒子濾波算法

粒子濾波算法[16]的核心思想是利用一群帶有權(quán)值和狀態(tài)信息的粒子組成的離散隨機(jī)量來對相關(guān)的概率分布進(jìn)行近似表示，從而產(chǎn)生一個(gè)后驗(yàn)概率分布.粒子濾波算法分為如下六步完成：

2)目標(biāo)的狀態(tài)預(yù)測.每間隔時(shí)間t任取m個(gè)采樣點(diǎn)中的相鄰兩個(gè)點(diǎn)，計(jì)算它們之間的向量為：

Ri=(dxi，dyi)=(xi-xi-1，yi-yi-1)

(18)

據(jù)式(18)，可預(yù)測t+1時(shí)刻的移動方向，而t時(shí)刻狀態(tài)預(yù)測向量為：

(19)

將式(18)代入狀態(tài)預(yù)測方程式(19)，計(jì)算狀態(tài)噪聲協(xié)方差矩陣Qt.

(20)

其中，Xt+1為狀態(tài)預(yù)測向量，A是狀態(tài)轉(zhuǎn)移矩陣，Wt為系統(tǒng)高斯白噪聲向量且Wt∈N(0，Qt).

3)粒子的權(quán)重更新.粒子模型與目標(biāo)模型的相似性表達(dá)式為：

(21)

(22)

則第t幀粒子權(quán)重的計(jì)算公式為：

(23)

其中，σ表示粒子權(quán)重的方差.

此時(shí)引入重要性采樣密度函數(shù)對第t+1幀粒子權(quán)重進(jìn)行更新，表達(dá)式為：

(24)

4)粒子權(quán)重的歸一化.在t+1時(shí)刻，對粒子權(quán)重歸一化結(jié)果為：

(25)

其中，i=1，2，…M.

5)粒子的重采樣.在粒子的重采樣開始之前，先設(shè)定門限樣本點(diǎn)數(shù)為Nth，有效粒子數(shù)為Neff，有效粒子數(shù)的表達(dá)式為：

(26)

當(dāng)Neff

6)目標(biāo)的狀態(tài)估計(jì).t+1時(shí)刻觀測向量的表達(dá)式如式(27)，計(jì)算觀測噪聲協(xié)方差矩陣Rt+1.

Yt+1=BXt+1+Vt+1

(27)

其中，Yt+1為觀測向量，B為觀測系數(shù)矩陣，Vt+1為過程高斯白噪聲向量且Vt+1∈N(0，Rt+1).

通過以上步驟，得到最終目標(biāo)估計(jì)的中心位置表達(dá)式為：

(28)

將式(28)迭代到時(shí)空上下文模型中，可得到下一幀的目標(biāo)中心位置，從而實(shí)現(xiàn)了目標(biāo)在復(fù)雜背景發(fā)生遮擋時(shí)的準(zhǔn)確跟蹤.

3.3 ISTC-PF算法實(shí)現(xiàn)

ISTC-PF算法的實(shí)現(xiàn)分為如下4步完成：

1)開始輸入總的測試視頻圖像幀數(shù)m，當(dāng)m=1時(shí)，初始化目標(biāo)框信息，否則讀取第t幀圖像信息.同時(shí)，根據(jù)目標(biāo)置信圖和上下文先驗(yàn)?zāi)Ｐ完P(guān)系，得到第 幀空間上下文模型，并計(jì)算第t+1幀時(shí)空上下文模型.

2)對時(shí)空上下文模型進(jìn)行Bhattacharyya系數(shù)值的判別，當(dāng)ρi<0.8時(shí)，視為目標(biāo)發(fā)生遮擋.此外，利用粒子濾波算法和采樣數(shù)據(jù)進(jìn)行目標(biāo)狀態(tài)預(yù)測，估計(jì)出目標(biāo)的中心位置并迭代到第t幀時(shí)空上下文模型，計(jì)算出第t+1幀目標(biāo)的中心位置.

3)當(dāng)ρi>=0.8時(shí)，判定目標(biāo)未發(fā)生遮擋，利用第t+1幀的上下文先驗(yàn)?zāi)Ｐ秃蜁r(shí)空上下文模型計(jì)算置信圖，通過獲得置信圖中的極大值來確定目標(biāo)的中心位置.

4)按照上述步驟， ISTC-PF算法運(yùn)行結(jié)束的條件是t>m.

按照上述流程，ISTC-PF算法的流程如圖2所示.

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證ISTC-PF算法的實(shí)時(shí)性和魯棒性，在公開的測試數(shù)據(jù)集上對ISTC-PF算法進(jìn)行實(shí)驗(yàn)測評.實(shí)驗(yàn)平臺為：Intel i5 2.3GHz處理器，4GB內(nèi)存，軟件環(huán)境為 windows10操作系統(tǒng)和Matlab2014b.ISTC-PF算法在整個(gè)實(shí)驗(yàn)過程中的參數(shù)設(shè)置為：置信圖函數(shù)中的參數(shù)α=2.25，β=1，學(xué)習(xí)速率因子ρ和STC算法中的參數(shù)值一樣也為0.075.粒子濾波算法中的粒子權(quán)重的方差參數(shù)σ=2.本文采用了目前比較流行的中心位置誤差和跟蹤框重合率[17]兩種評測標(biāo)準(zhǔn)來量化評價(jià)ISTC-PF算法的性能.中心位置誤差是指跟蹤中實(shí)際獲取的目標(biāo)中心位置與ground-truth表中對應(yīng)時(shí)刻目標(biāo)中心位置之間的歐氏距離，表達(dá)式為：

圖2 ISTC-PF算法流程圖Fig.2 Flow chart of the ISTC-PF algorithm

(29)

(30)

其中，R表示跟蹤框重合率，At表示跟蹤所得到的目標(biāo)框，Ag表示ground-truth表中帶有標(biāo)記的實(shí)際目標(biāo)框.∩和∪分別表示兩個(gè)目標(biāo)框的交集與并集，area(A)表示A的區(qū)域面積.

通過選取Visual Tracker Benchmark庫中具有代表的6個(gè)視頻：Waking2，Coke，Girl，Skating1，Basketball，Singer2.它們包含了目標(biāo)的遮擋、旋轉(zhuǎn)、尺度變化、光照變化及背景區(qū)域干擾等復(fù)雜的應(yīng)用場景，各視頻對應(yīng)的主要特性如表1所示.

表1 實(shí)驗(yàn)視頻的不同特性Table 1 Different characteristics for experimental videos

為驗(yàn)證本文算法對上述6個(gè)U視頻跟蹤的穩(wěn)健性，選取當(dāng)前比較熱門的三個(gè)視覺跟蹤算法進(jìn)行對比實(shí)驗(yàn)：CT、KCF、STC.表2給出了不同算法在測試視頻中的平均跟蹤框重合率對比(加粗表示結(jié)果最優(yōu)，斜體表示結(jié)果次優(yōu))，可見ISTC-PF算法較其他算法在視頻跟蹤中的性能最佳.

表2 平均跟蹤框重合率Table 2 Average Tracking overlap ratio

圖3給出了上述四種算法的中心位置誤差圖，從圖中可以看出ISTC-PF算法在上述6個(gè)測試視頻中的平均中心位置誤差值最小，即本文算法較其他算法在測試視頻中取得了較好的跟蹤效果.

圖3 4種算法的中心誤差圖Fig.3 Center errors of four algorithms

圖4給出了4種算法的跟蹤結(jié)果，對6個(gè)視頻的分析如下：

從圖4(a)Walking2圖像序列可以看出，CT算法的跟蹤效果不佳，在第117幀時(shí)跟蹤目標(biāo)出現(xiàn)了尺度的變化，CT算法由于在跟蹤過程中無尺度更新，跟蹤框逐漸變大，在第194幀時(shí)出現(xiàn)了目標(biāo)的部分遮擋后，在后續(xù)幀的跟蹤中，跟蹤框轉(zhuǎn)移到另外一個(gè)目標(biāo)直到結(jié)束；KCF算法在第117幀后目標(biāo)框下移且保持不變，逐漸脫離跟蹤目標(biāo)；STC算法和ISTC-PF算法在整個(gè)跟蹤過程中基本能保持跟蹤，但是對目標(biāo)的尺度變化處理效果不佳，從圖3Walking2中心位置誤差圖可以看出，ISTC-PF算法的跟蹤效果更好.

圖4 4種算法的跟蹤結(jié)果圖Fig.4 Tracking results of four algorithms

從圖4(b)Coke圖像序列可知，STC算法的跟蹤效果不佳，在第38幀時(shí)目標(biāo)出現(xiàn)嚴(yán)重遮擋，STC算法發(fā)生嚴(yán)重的跟蹤漂移，在后續(xù)幀的跟蹤中，直到跟蹤結(jié)束也無法再跟蹤到目標(biāo).CT算法由于在目標(biāo)特征信息提取的過程中利用了非常稀疏的隨機(jī)測量矩陣，在目標(biāo)出現(xiàn)嚴(yán)重遮擋后，丟失了目標(biāo)的大量信息導(dǎo)致跟蹤漂移.當(dāng)處于38幀目標(biāo)出現(xiàn)第一次嚴(yán)重遮擋時(shí)，由于嚴(yán)重遮擋持續(xù)時(shí)間較短，故此時(shí)KCF算法能準(zhǔn)確跟蹤；但處于255幀目標(biāo)出現(xiàn)第二次嚴(yán)重遮擋時(shí)，由于嚴(yán)重遮擋持續(xù)時(shí)間較長，利用循環(huán)位移的方法不能有效的對特征進(jìn)行提取和進(jìn)行分類器訓(xùn)練，故導(dǎo)致最終目標(biāo)跟蹤漂移.由于ISTC-PF算法引入了粒子濾波對目標(biāo)的運(yùn)動軌跡進(jìn)行估計(jì)和預(yù)測，因此在第38幀及后續(xù)幀的跟蹤中都能實(shí)時(shí)的跟蹤目標(biāo).

圖4(c)Girl圖像序列表示在前352幀時(shí)，只有Girl人臉目標(biāo)出現(xiàn)，STC、CT和KCF算法在目標(biāo)快速旋轉(zhuǎn)情況下都會發(fā)生微小的漂移，但I(xiàn)STC-PF算法卻能精確跟蹤目標(biāo).在第430幀時(shí)，跟蹤結(jié)果不會隨部分局部遮擋而產(chǎn)生較大變化，通過對比452幀和474幀，當(dāng)干擾目標(biāo)重新回到Girl人臉目標(biāo)前時(shí)，KCF算法跟蹤框轉(zhuǎn)移到干擾目標(biāo)人臉上，CT算法跟蹤框發(fā)生較大偏移直到跟蹤結(jié)束，STC算法在第452幀后，部分跟蹤框一直停留在屏幕右下方，而ISTC-PF算法能保持好的跟蹤效果充分證明粒子濾波算法對遮擋處理的優(yōu)越性.

圖4(d)Skating1序列和圖4(e)Basketball顯示了ISTC-PF算法在部分遮擋時(shí)的抗光照變化和背景干擾能力.由于STC算法在頻率域?qū)δ繕?biāo)進(jìn)行建模，受光照影響較小，但是復(fù)雜背景干擾使得上下文區(qū)域選擇影響較大，ISTC-PF算法引入粒子濾波能更好的選擇目標(biāo)周圍的上下文區(qū)域，從而比STC算法的跟蹤性能好.由圖3Skating1和Basketball的中心誤差圖也可以看出ISTC-PF的平均誤差最小，即ISTC-PF算法的跟蹤性能最好.

圖4(f)Singer2序列顯示了ISTC-PF算法的抗旋轉(zhuǎn)能力.在第204幀之前，除了CT算法，其他算法都能跟蹤到目標(biāo)，但是在第204幀之后，目標(biāo)存在平面旋轉(zhuǎn)和離面旋轉(zhuǎn)，使得目標(biāo)姿態(tài)不斷變化，利用粒子濾波進(jìn)行目標(biāo)的特征提取能更好的跟蹤目標(biāo)，從276幀和349幀中可以看出，ISTC-PF算法的跟蹤效果最好.

5 結(jié)束語

本文針對STC視覺跟蹤算法在目標(biāo)處于遮擋及復(fù)雜背景跟蹤效果不理想問題，提出了一種基于粒子濾波的時(shí)空上下文視覺跟蹤算法.通過Bhattacharyya系數(shù)對目標(biāo)遮擋判別且利用粒子濾波算法對遮擋后的目標(biāo)進(jìn)行下一幀的準(zhǔn)確估計(jì)，從而提高了目標(biāo)的跟蹤精度.在選取六組有目標(biāo)遮擋、旋轉(zhuǎn)、光照變化及背景區(qū)域干擾等復(fù)雜背景的測試視頻上進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明所提出算法在性能上都優(yōu)于另外三種研究較熱的視覺跟蹤算法.但是ISTC-PF算法在跟蹤過程中對目標(biāo)尺度不斷發(fā)生變化的處理效果不佳，并且在實(shí)驗(yàn)過程中，只對單目標(biāo)進(jìn)行了跟蹤，沒有對多目標(biāo)跟蹤進(jìn)行研究，因此對目標(biāo)的尺度更新機(jī)制和多目標(biāo)跟蹤是本文下一步研究的方向.