李澤仁，紀(jì) 峰，常 霞，吳仰玉

?

多尺度時(shí)空上下文目標(biāo)跟蹤

李澤仁，紀(jì) 峰，常 霞，吳仰玉

（北方民族大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院，寧夏 銀川 750021）

相關(guān)濾波器在視覺(jué)目標(biāo)跟蹤中得到了廣泛應(yīng)用，針對(duì)復(fù)雜場(chǎng)景下目標(biāo)跟蹤容易出現(xiàn)跟蹤漂移的問(wèn)題，以及現(xiàn)有多尺度跟蹤算法計(jì)算量大的問(wèn)題，本文提出一種實(shí)時(shí)的多尺度目標(biāo)跟蹤方法。首先由時(shí)空上下文模型輸出目標(biāo)位置置信圖完成目標(biāo)定位，再在尺度空間上訓(xùn)練相關(guān)濾波器完成目標(biāo)尺度估計(jì)，最后基于目標(biāo)位置和尺度提出了一種新的時(shí)空上下文模型更新機(jī)制，避免了模型更新錯(cuò)誤。實(shí)驗(yàn)表明：該方法在尺度變化、局部遮擋、目標(biāo)姿態(tài)變化等情況下均能完成魯棒跟蹤，跟蹤正確率較原始時(shí)空上下文跟蹤算法提高了38.4%。

目標(biāo)跟蹤；時(shí)空上下文；多尺度

0 引言

目標(biāo)跟蹤是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)的一個(gè)基礎(chǔ)性研究課題，其任務(wù)是在視頻圖像中的每一幀中估計(jì)出目標(biāo)位置[1]，盡管近幾年目標(biāo)跟蹤取得了很大進(jìn)展，但諸如光照變化、目標(biāo)尺度變化、目標(biāo)被遮擋等各種因素的干擾，使得設(shè)計(jì)一個(gè)能適應(yīng)復(fù)雜場(chǎng)景的目標(biāo)跟蹤方法依然是一個(gè)非常具有挑戰(zhàn)性的課題。根據(jù)目標(biāo)在線(xiàn)模型，當(dāng)前目標(biāo)跟蹤可分為生成式跟蹤算法[2-4]和判別式跟蹤算法[5-8]。

生成式跟蹤算法通過(guò)特征提取完成目標(biāo)模型構(gòu)建，然后利用在線(xiàn)學(xué)習(xí)到的目標(biāo)模型基于最小重構(gòu)誤差，在目標(biāo)局部區(qū)域搜索完成目標(biāo)定位。判別式跟蹤算法主要利用當(dāng)前的檢測(cè)技術(shù)，利用目標(biāo)作為正樣本、背景作為負(fù)樣本訓(xùn)練一個(gè)分類(lèi)器，通過(guò)在線(xiàn)更新的分類(lèi)器判別輸出置信度最高的樣本作為目標(biāo)在當(dāng)前幀的位置。

近年來(lái)相關(guān)濾波器技術(shù)[9]在目標(biāo)跟蹤中得到了廣泛應(yīng)用，基于此文獻(xiàn)[10]在貝葉斯框架下利用時(shí)空上下文（spatio-temporal context, STC）來(lái)完成目標(biāo)跟蹤，在實(shí)時(shí)性和準(zhǔn)確性上都取得了不錯(cuò)效果。然而，STC跟蹤器采用全局模板更新目標(biāo)在線(xiàn)模型，在目標(biāo)尺度發(fā)生變化以及目標(biāo)被遮擋等情況下容易發(fā)生更新錯(cuò)誤，進(jìn)而導(dǎo)致跟蹤漂移。

針對(duì)以上問(wèn)題，本文在利用時(shí)空上下文模型完成目標(biāo)定位的基礎(chǔ)上，在尺度空間上訓(xùn)練相關(guān)濾波器完成目標(biāo)尺度估計(jì)，提出了一種尺度自適應(yīng)的目標(biāo)跟蹤方法。同時(shí)基于目標(biāo)位置和尺度提出了一種新的時(shí)空上下文模型更新機(jī)制，減少了遮擋等外界干擾帶來(lái)的模型更新錯(cuò)誤，提高了目標(biāo)跟蹤的準(zhǔn)確率。

1 時(shí)空上下文跟蹤器（STC）

STC跟蹤器將跟蹤問(wèn)題看成是在每一幀的目標(biāo)置信圖()中的目標(biāo)定位問(wèn)題?；谪惾~斯框架，()可以表示為：

(2)

式中：s(－*)是圖像特征的權(quán)重函數(shù)；是歸一化參數(shù)；是尺度參數(shù)。

因?yàn)檫吘壈尘靶畔⒌目赡苄暂^大，因此式(1)中目標(biāo)置信圖()定義為：

H＋1stc＝(1－)Hstc＋hstc(8)

在目標(biāo)位置置信圖中尋找最大值，則最大值對(duì)應(yīng)位置即為當(dāng)前幀目標(biāo)位置：

從以上的分析可以發(fā)現(xiàn)，STC跟蹤器采用快速傅里葉變換將原本在空域中進(jìn)行的特征提取等操作轉(zhuǎn)換到頻域中進(jìn)行，大大提高了目標(biāo)跟蹤的實(shí)時(shí)性，但由于其采用全局信息更新目標(biāo)在線(xiàn)模型，一旦目標(biāo)出現(xiàn)尺度變化以及目標(biāo)遮擋等情況，勢(shì)必會(huì)引入更多的更新錯(cuò)誤，進(jìn)而最終引發(fā)跟蹤漂移。

2 本文算法

針對(duì)以上存在的問(wèn)題，本文提出如下改進(jìn)策略：在STC模型完成目標(biāo)定位的基礎(chǔ)上，為了給出目標(biāo)精確的尺度變化，在尺度空間上訓(xùn)練一個(gè)獨(dú)立的相關(guān)濾波器。結(jié)合目標(biāo)位置和尺度對(duì)時(shí)空上下文模型進(jìn)行更新，避免引入模型更新錯(cuò)誤。

2.1 相關(guān)濾波器尺度估計(jì)

現(xiàn)有的多尺度跟蹤算法多采用目標(biāo)尺度窮舉搜索的方式，在獲得尺度估計(jì)的同時(shí)，計(jì)算量也隨著候選尺度的個(gè)數(shù)大大提高，難以滿(mǎn)足實(shí)時(shí)應(yīng)用的需求，本文基于相關(guān)濾波器的高效性，提出一種全新的快速尺度估計(jì)策略，大大提高了多尺度跟蹤算法的實(shí)時(shí)性。

至此即完成了目標(biāo)定位和尺度估計(jì)，基于此本文提出了一種自適應(yīng)的時(shí)空上下文模型更新機(jī)制，以適應(yīng)目標(biāo)的尺度變化等各種外觀(guān)變化。

2.2 時(shí)空上下文模型自適應(yīng)更新

式(8)表明：STC跟蹤器采用固定的學(xué)習(xí)率對(duì)時(shí)空上下文模型進(jìn)行更新，一旦目標(biāo)被遮擋或出現(xiàn)劇烈的姿態(tài)變化等，容易將錯(cuò)誤的目標(biāo)信息更新到上下文模型中，考慮到當(dāng)前幀置信圖中極大值反應(yīng)了目標(biāo)受到外界因素干擾的程度，本文采用如下的模型更新機(jī)制：

2.3 算法描述

結(jié)合2.1的目標(biāo)尺度估計(jì)和2.2的時(shí)空上下文模型更新，本文的目標(biāo)跟蹤算法的流程圖描述如圖1所示。

圖1 本文算法框架圖

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)采用常見(jiàn)的6段具有諸如尺度變化、光照變化和姿態(tài)變化遮擋等不同挑戰(zhàn)性的視頻序列，并與原始STC算法[10]以及壓縮感知跟蹤算法CT[8]、多示例學(xué)習(xí)跟蹤算法MIL[6]進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)比算法采用文獻(xiàn)[10]的參數(shù)設(shè)置。實(shí)驗(yàn)視頻幀數(shù)共計(jì)4598幀，其不同的挑戰(zhàn)性如表1所示。

3.1 評(píng)估標(biāo)準(zhǔn)

表1 測(cè)試視頻的主要挑戰(zhàn)性

3.2 結(jié)果分析

3.2.1 定量分析

圖2展示了所有算法的整體性能，紅色（圓形線(xiàn)）代表本文算法的結(jié)果，綠色（虛線(xiàn)）、黑色（實(shí)線(xiàn)）、和藍(lán)色（菱形線(xiàn)）分別代表STC、CT和MIL的跟蹤結(jié)果）。本文的多尺度時(shí)空上下文跟蹤方法（Proposed）在正確率曲線(xiàn)和成功率曲線(xiàn)中均排名第一。在成功率曲線(xiàn)中，本文方法的AUC（area under curve）值比原STC方法提高了0.329，在正確率曲線(xiàn)中，本文方法較原STC方法提高了38.4%，充分驗(yàn)證了本文的多尺度估計(jì)和模型自適應(yīng)更新機(jī)制的有效性。表2給出了算法在各個(gè)視頻序列中的平均中心位置誤差對(duì)比，其中黑體代表最佳性能，斜體代表次優(yōu)性能，可見(jiàn)本文方法在各類(lèi)具有不同挑戰(zhàn)性的視頻中均有不錯(cuò)的表現(xiàn)，所有測(cè)試視頻的平均中心位置誤差為10.3pixel，優(yōu)于其他算法。

由于本文算法采用了尺度相關(guān)濾波器進(jìn)行尺度估計(jì)，并添加了模型自適應(yīng)更新機(jī)制，算法計(jì)算量較原始STC算法有所提升。表3給出了所有評(píng)估算法的平均跟蹤速度對(duì)比，可見(jiàn)本文算法較STC的350FPS的平均跟蹤速度有所降低，但107FPS的跟蹤速度依然可以滿(mǎn)足實(shí)時(shí)應(yīng)用的要求。

3.2.2 定性分析

圖3給出了各種算法在所有測(cè)試視頻上的部分跟蹤結(jié)果（黑色矩形框代表本文算法的跟蹤結(jié)果，藍(lán)色、綠色和紅色分別代表STC、CT和MIL的跟蹤結(jié)果）。（注：該彩色原圖詳見(jiàn)《紅外技術(shù)》網(wǎng)站的電子版）下面將結(jié)合各類(lèi)視頻的不同挑戰(zhàn)性對(duì)算法的性能進(jìn)行分析。

圖2 整體性能的成功率曲線(xiàn)和正確率曲線(xiàn)

表2 算法平均中心位置誤差對(duì)比/pixel

表3 算法平均跟蹤速度對(duì)比

圖3 不同算法的部分跟蹤結(jié)果

1）尺度變化：Car4序列和David序列展示了本文算法對(duì)目標(biāo)尺度變化的適應(yīng)性，在Car4序列中隨著攝像頭與目標(biāo)的距離不斷變化，目標(biāo)尺度經(jīng)歷了一個(gè)由大到小再不斷變大的過(guò)程，可以發(fā)現(xiàn)本文算法可以很好地捕捉到目標(biāo)的尺度變化，而STC算法則在跟蹤框變大后無(wú)法再捕捉到目標(biāo)尺度變小的過(guò)程（如圖3(a)所示）；在David序列中，目標(biāo)在第464幀轉(zhuǎn)身的過(guò)程中目標(biāo)尺度變小，只有本文算法捕捉到了這種變化，跟蹤框自適應(yīng)地進(jìn)行了調(diào)整，充分驗(yàn)證了本文算法相關(guān)濾波器尺度估計(jì)的有效性。

2）全局和局部遮擋：Suv序列和Faceocc2序列展示了本文算法的抗遮擋能力，在Suv序列中，目標(biāo)分別經(jīng)歷了3段不同程度的樹(shù)木遮擋，第206幀左右第一次遮擋后，CT和MIL已經(jīng)丟失目標(biāo)，STC的跟蹤結(jié)果與目標(biāo)中心位置距離越來(lái)越大，而本文方法由于采用了自適應(yīng)的模型更新機(jī)制，能較好抑制背景信息，因此在遮擋后依然能夠定位到目標(biāo)，在Faceocc2序列中人臉受到了不同程度的遮擋，第730幀左右人臉被書(shū)本和帽子遮擋后STC發(fā)生跟蹤漂移，只有本文方法和CT方法取得了較好的跟蹤結(jié)果。

3）光照變化和姿態(tài)變化：目標(biāo)的各種外觀(guān)變化會(huì)影響目標(biāo)在線(xiàn)模型的更新，Car4序列和David序列中出現(xiàn)了不同程度的光照變化，Dog1序列和David序列中的目標(biāo)經(jīng)歷了不同程度的姿態(tài)變化，由于本文方法采用不同的尺度參數(shù)和自適應(yīng)的學(xué)習(xí)率對(duì)目標(biāo)外圍的背景信息進(jìn)行抑制，減少了模型的錯(cuò)誤更新，因此取得了較好的跟蹤效果。

4）快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊：Deer序列中由于目標(biāo)運(yùn)動(dòng)較快帶來(lái)了不同程度的運(yùn)動(dòng)模糊，STC、CT和MIL在第10幀左右即開(kāi)始偏移目標(biāo)，第18幀左右則完全丟失目標(biāo)，只有本文方法成功完成了整個(gè)跟蹤任務(wù)，充分顯示了時(shí)空上下文模型自適應(yīng)地更新目標(biāo)信息的高效性。

4 結(jié)論

針對(duì)現(xiàn)有多尺度目標(biāo)跟蹤算法難以滿(mǎn)足實(shí)時(shí)應(yīng)用的問(wèn)題，本文提出了一種高效的尺度自適應(yīng)目標(biāo)跟蹤算法。在時(shí)空上下文跟蹤器的基礎(chǔ)上，基于相關(guān)濾波器的高效性，提出了一種新的目標(biāo)尺度估計(jì)方法。結(jié)合目標(biāo)位置和尺度，自適應(yīng)更新時(shí)空上下文模型，減少了模型錯(cuò)誤更新，較好地保留了目標(biāo)信息。最后通過(guò)具有不同挑戰(zhàn)性的測(cè)試視頻進(jìn)行實(shí)驗(yàn)，表明：本文方法在尺度變化、局部遮擋、目標(biāo)姿態(tài)變化等情況下均能完成魯棒跟蹤，跟蹤正確率較原始時(shí)空上下文跟蹤算法提高了38.4%。實(shí)驗(yàn)中我們發(fā)現(xiàn)當(dāng)目標(biāo)丟失并重新出現(xiàn)在場(chǎng)景中時(shí)本文算法的跟蹤效果并不理想，下一步擬結(jié)合目標(biāo)重檢測(cè)機(jī)制對(duì)本文算法進(jìn)行改進(jìn)。

[1] Emilio M. Video:[M]. Queen Mary University of London, UK, 2012: 15-24

[2] Ross D, Lim J, Lin R, et al. Incremental learning for robust visual tracking[C]//, 2008: 125-141.

[3] MEI X, LING H. Robust visual tracking and vehicle classification via sparse representation[J]., 2011, 33(11): 2259-2272.

[4] LI H, SHEN C, SHI Q. Real-time visual tracking using compressive sensing[C]/, 2011: 1305-1312.

[5] Grabner H, Leistner C, Bischof H. Semi-supervised On-Line Boosting for Robust Tracking[C]//, 2008, Part I: 234-247.

[6] Babenko B, YANG M H, Belongie S. Robust object tracking with online multiple instance learning[J]., 2011, 33: 1619-1632.

[7] Kalal Z, Matas J, Mikolajczyk K. Tracking-learning-detection[J]., 2012, 34(7): 1409-1422.

[8] ZHANG K H, ZHANG L, YANG M H. Real-time compressive tracking[C]//, 2012: 864-877.

[9] David S Bolme, J Ross Beveridge, Bruce A Draper, et al. Visual object tracking using adaptive correlation filters[C]//, 2010: 2544-2550.

[10] ZHANG K H, ZHANG L, LIU Q S, et al. Fast visual tracking via dense spatio-temporal context learning[C]//, 2014: 127-141.

[11] WU Y, Lim J, YANG M H. Online object tracking: a benchmark[C]//, 2013: 2411-2418.

Multi-scale Object Tracking Based on Spatio-temporal Context

LI Zeren，JI Feng，CHANG Xia，WU Yangyu

(,,750021,)

Correlation filter has been great applied in visual tracking. Aiming at the drift problem in complex situations, a multiple scale tracking method is proposed. Firstly, spatio-temporal context model is used to output the precise location of object by the confidence map. Secondly, the scale estimation is obtained by a trained correlation filter. Finally, based on the new location and scale, a new update mechanism of the spatio-temporal context model is proposed. Experimental results show that the proposed algorithm can complete the robust tracking under the condition of scale changes, partial occlusion, pose variations, etc. Tracking precision is improved by 38.4% compared with the original spatio-temporal context tracking method.

object tracking，spatio-temporal context，scale update

TP391

A

1001-8891(2017)06-0535-06

2016-08-29；

2016-09-01.

李澤仁（1987-），男，安徽阜陽(yáng)人，碩士研究生，研究方向?yàn)橛?jì)算機(jī)圖形圖像處理。

國(guó)家自然科學(xué)基金（61440044，61102008）；北方民族大學(xué)科研項(xiàng)目（2014XYZ04）。