吳騰飛，江艷霞，劉子淵，仲思凱

?

自適應(yīng)預(yù)測(cè)壓縮跟蹤

吳騰飛，江艷霞，劉子淵，仲思凱

( 上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院自動(dòng)化系，上海 200093 )

為解決壓縮跟蹤過快引入跟蹤誤差和樣本采集方面的缺陷，首先，引入基于預(yù)測(cè)向量的采樣搜索策略，通過前兩幀跟蹤到的目標(biāo)位置預(yù)測(cè)后一幀目標(biāo)的運(yùn)動(dòng)方位，并采用扇形區(qū)域采樣方式縮小有效樣本的范圍；其次，根據(jù)前后兩幀跟蹤到的目標(biāo)的對(duì)照來判斷復(fù)雜背景或遮擋的發(fā)生，利用Bhattacharyya系數(shù)自適應(yīng)地改變分類器參數(shù)更新系數(shù)。實(shí)驗(yàn)證明，這些策略避免了因壓縮跟蹤缺陷導(dǎo)致的跟蹤失敗，改進(jìn)后的算法比原算法具有更好的魯棒性和時(shí)效性。

壓縮跟蹤；預(yù)測(cè)向量；自適應(yīng)；貝葉斯分類

0 引 言

目標(biāo)跟蹤作為計(jì)算機(jī)視覺領(lǐng)域的研究分支發(fā)展迅速。近年來研究人員提出許多優(yōu)秀的跟蹤算法及相應(yīng)的特征提取方法，應(yīng)用較為廣泛的有基于濾波理論的目標(biāo)跟蹤方法[1-2]，基于概率理論的目標(biāo)跟蹤方法[3-4]和基于偏微分方程的目標(biāo)跟蹤方法[5-6]。

從信號(hào)分解和逼近理論發(fā)展起來的壓縮跟蹤算法[7-12]簡(jiǎn)單、高效，但是依然存在一些缺陷。經(jīng)過分析，壓縮跟蹤在跟蹤背景復(fù)雜或存在遮擋的情況下，引入過多誤差，跟蹤穩(wěn)定性變差；目標(biāo)搜索窗口設(shè)置為固定的圓形區(qū)域，搜索空間存在大量的無效樣本，尤其是與物體運(yùn)動(dòng)方向垂直的邊緣附近的樣本最為無效，不能準(zhǔn)確更新分類器參數(shù)，而且影響跟蹤速度。針對(duì)以上問題，本文提出了自適應(yīng)預(yù)測(cè)壓縮跟蹤算法(VACT)。VACT中引入預(yù)測(cè)向量，利用前兩幀目標(biāo)所形成的向量來預(yù)測(cè)下一幀目標(biāo)的運(yùn)動(dòng)方位，對(duì)采樣區(qū)設(shè)定半徑和搜索角度，使搜索窗口近似扇形區(qū)域，減小無效樣本的比重，提高目標(biāo)跟蹤的準(zhǔn)確性和時(shí)效性；引入Bhattacharyya系數(shù)[13]改善模板更新策略，改變了原算法根據(jù)經(jīng)驗(yàn)固定更新參數(shù)的模式，使其能夠自適應(yīng)地根據(jù)目標(biāo)的變化調(diào)整學(xué)習(xí)因子，減小遮擋、復(fù)雜背景等對(duì)跟蹤的影響。

1 壓縮跟蹤算法

1.1 壓縮跟蹤算法簡(jiǎn)介

壓縮跟蹤算法建立在如下的條件之上：1) 稀疏隨機(jī)測(cè)量矩陣[14-15]滿足有限等距性質(zhì)[16-17](RIP性質(zhì))。2) 經(jīng)過投影后的低維圖像空間服從獨(dú)立同一分布。3) 提取的低維特征向量服從高斯分布[18]。

壓縮跟蹤流程如圖1所示，將第-1幀中的目標(biāo)利用壓縮感知理論[7-9]經(jīng)過尺度變換后降維處理，然后對(duì)目標(biāo)、背景對(duì)應(yīng)的正負(fù)樣本采樣并提取Haar-like特征[7]，將樣本特征通過貝葉斯分類器判別確定第幀圖像中目標(biāo)的位置，最后更新分類器參數(shù)，進(jìn)而跟蹤第+1幀中目標(biāo)。

圖1 壓縮跟蹤流程圖

1.2 壓縮跟蹤算法的缺陷

目標(biāo)跟蹤過程中樣本的采集直接關(guān)乎跟蹤的準(zhǔn)確性和時(shí)效性，壓縮跟蹤算法采樣示意如圖2所示。圖2中為正樣本采樣半徑、為負(fù)樣本采樣半徑，<<。從圖中可以看出壓縮跟蹤算法采集的樣本中存在很多距離目標(biāo)位置較遠(yuǎn)的樣本，它們對(duì)分類器參數(shù)更新是無效的，并且會(huì)引入噪聲特征，影響后續(xù)分類判別的準(zhǔn)確性。本文提出的基于預(yù)測(cè)向量的采樣策略降低了這一缺陷的影響，改進(jìn)后采樣示意圖如圖3所示，通過前兩幀生成的預(yù)測(cè)向量的指引，樣本搜索區(qū)域明顯減小，有效樣本比重增大。

圖2 壓縮跟蹤采樣示意圖

圖3 VACT采樣示意圖

壓縮跟蹤算法構(gòu)建對(duì)數(shù)貝葉斯分類器[7-8]，分類器參數(shù)均值和方差通過下式進(jìn)行更新：

2 自適應(yīng)預(yù)測(cè)壓縮跟蹤

2.1 預(yù)測(cè)向量

預(yù)測(cè)向量是根據(jù)前兩幀目標(biāo)位置生成，能夠指引待跟蹤目標(biāo)的運(yùn)動(dòng)方位。視頻序列中目標(biāo)的運(yùn)動(dòng)都是連續(xù)的，相鄰圖像間存在對(duì)應(yīng)的時(shí)空關(guān)系，這種時(shí)空關(guān)系在數(shù)學(xué)上就是相鄰圖像上同一位置的兩點(diǎn)之間的連線是近似平滑連續(xù)的。基于以上思路定義如下的預(yù)測(cè)向量和約束角度：

2.2 自適應(yīng)參數(shù)更新

、分別是本次更新的模板參數(shù)和上一幀模板參數(shù)的差值，將、代入上式得：

由式(1)、式(2)、式(7)可知，模型參數(shù)更新由兩部分組成：其中一部分是前一幀目標(biāo)所確定的模型參數(shù)，代表目標(biāo)的穩(wěn)定性；另一部分是由當(dāng)前幀圖像跟蹤點(diǎn)附近樣本學(xué)習(xí)得到的新的模型參數(shù)，代表目標(biāo)的動(dòng)態(tài)性。新舊模型參數(shù)通過學(xué)習(xí)因子線性組合得到更新后的模型參數(shù)。在實(shí)際運(yùn)動(dòng)中會(huì)存在不同復(fù)雜程度的背景及遮擋等情況，學(xué)習(xí)因子應(yīng)當(dāng)是變化的，引入Bhattacharyya系數(shù)(巴氏系數(shù))[13]用于模型參數(shù)更新。巴氏系數(shù)是兩個(gè)統(tǒng)計(jì)樣本重疊量的近似值，源于Bhattacharyya距離(巴氏距離)，用于表征兩個(gè)離散或連續(xù)概率分布的相似性，其公式為，其中，為巴氏系數(shù)，0≤≤1，0≤≤∞。由公式可知與為負(fù)相關(guān)關(guān)系，巴氏系數(shù)越大，重疊度越高，表明巴氏距離越小，圖像和越相似，反之，圖像和差別越大。

對(duì)于跟蹤到的目標(biāo)，使用歸一化直方圖作為跟蹤目標(biāo)的輔助表達(dá)，計(jì)算前一幀和當(dāng)前幀圖像中目標(biāo)的巴氏系數(shù)用于比較前后圖像目標(biāo)間的相似性。新的學(xué)習(xí)因子定義：

由以上討論可知，前后兩幀目標(biāo)圖像重疊度越高，越接近于1，表明它們?cè)较嗨?，需要?duì)前一幀模型參數(shù)較大的學(xué)習(xí)因子；反之，表明它們相似度小，需要對(duì)前一幀模型參數(shù)較小的學(xué)習(xí)因子。

2.3 算法步驟

輸入：第1幀、第幀圖像中的目標(biāo)位置

輸出：第+1幀圖像的目標(biāo)位置及更新后的模型參數(shù)

步驟：

c) 對(duì)(b)中圖像特征分類判別，確定第+1幀圖像的目標(biāo)位置；

d) 根據(jù)式(5)在第+1幀圖像目標(biāo)附近以為半徑采集正樣本，并提取特征；根據(jù)式(6)在第+1幀圖像目標(biāo)附近以為半徑采集負(fù)樣本，并提取特征；

e) 計(jì)算第幀和第+1幀目標(biāo)的巴氏系數(shù)，根據(jù)式(1)、式(2)、式(8)更新分類器參數(shù)。

3 實(shí)驗(yàn)及結(jié)果分析

為了評(píng)估改進(jìn)后算法的跟蹤效果，實(shí)驗(yàn)圖像庫是四個(gè)不同復(fù)雜程度公開的視頻圖像序列，它們分別是(a) David圖像序列，(b) Girl圖像序列，(c) Panda圖像序列，(d) Car圖像序列。進(jìn)行對(duì)比的算法是快速壓縮跟蹤算法(FCT)[8]，多例學(xué)習(xí)跟蹤算法(MIL)[19]，TLD跟蹤算法(TLD)[20]和粒子跟蹤算法(PFT)[21]。實(shí)驗(yàn)中，以上算法參數(shù)的設(shè)置均采用原文中的實(shí)驗(yàn)數(shù)據(jù)。

實(shí)驗(yàn)劃分兩部分：橫向?qū)φ諏?shí)驗(yàn)和縱向?qū)φ諏?shí)驗(yàn)。橫向?qū)φ諏?shí)驗(yàn)是與原算法(CT)正面直接進(jìn)行對(duì)比，縱向?qū)φ諏?shí)驗(yàn)是與上述四種算法進(jìn)行對(duì)比，側(cè)面對(duì)照VACT的跟蹤效果。

3.1 實(shí)驗(yàn)評(píng)判準(zhǔn)則

定義跟蹤正確率TS(TS)和分?jǐn)?shù)score，，其中R為跟蹤到的實(shí)際位置窗口，T為理論上的位置窗口。如果某一幀跟蹤分?jǐn)?shù)大于0.5，則認(rèn)為跟蹤結(jié)果是正確的，正確率TS為所有幀圖像中目標(biāo)跟蹤正確的百分比。實(shí)驗(yàn)中我們以跟蹤時(shí)間和跟蹤正確率TS作為評(píng)判標(biāo)準(zhǔn)。

3.2 實(shí)驗(yàn)初始化

基于相同的初始位置與實(shí)驗(yàn)環(huán)境，環(huán)境為：Matlab2014a和Visual C++6.0，Windows7，2GB Intel(R) Core(TM)2 CPU T6500。VACT中正樣本采樣半徑設(shè)置為5，負(fù)樣本采樣半徑、分別設(shè)置為10、17，中心樣本區(qū)半徑設(shè)置為3，樣本搜索半徑設(shè)置為18。學(xué)習(xí)因子初始值設(shè)置和CT相同為0.85。

表1 樣本搜索角度測(cè)試結(jié)果

3.3 橫向?qū)φ諏?shí)驗(yàn)

采用與文獻(xiàn)[7]中相同的視頻圖像序列—David圖像序列，圖4所示是對(duì)該圖像中人臉的跟蹤結(jié)果。其中以第95、140、185和271幀為代表的圖像中目標(biāo)無遮擋且變化平緩，兩種算法對(duì)目標(biāo)的跟蹤效果相似，但是VACT的時(shí)效性更好(見表2)。而第286、296、388和400幀圖像中目標(biāo)存在手遮擋和眼鏡擾動(dòng)的現(xiàn)象，兩種算法跟蹤的結(jié)果有明顯的差異，因?yàn)镃T在這樣的情況下，容易過快引入干擾誤差，導(dǎo)致跟蹤精度下降；而VACT運(yùn)用預(yù)測(cè)向量策略，縮小無效采樣范圍，減少無效樣本的比重，且學(xué)習(xí)因子可以根據(jù)遮擋情況自動(dòng)地改變大小，能夠減輕遮擋、擾動(dòng)的影響，使跟蹤更加準(zhǔn)確穩(wěn)定。經(jīng)測(cè)定，CT在David視頻集上跟蹤的正確率TS為0.89，VACT跟蹤的正確率TS為0.99，改進(jìn)后算法魯棒性更好。

在不同幀數(shù)下的跟蹤時(shí)間如表2所示，同一組幀數(shù)的跟蹤時(shí)間試驗(yàn)十次取其平均值。

圖4 CT和VACT跟蹤結(jié)果對(duì)比

表2中的數(shù)據(jù)表明隨著幀數(shù)的增加，跟蹤時(shí)間隨著增加，CT和VACT的跟蹤時(shí)間差值逐漸增大，VACT算法基于預(yù)測(cè)向量扇形區(qū)域的采樣空間，降低了跟蹤目標(biāo)所需的時(shí)間。理論上，按照搜索角度的大小進(jìn)行計(jì)算，VACT跟蹤時(shí)間是CT時(shí)間的九分之四，表2中實(shí)際用時(shí)與計(jì)算值有所差別，原因在于算法中的模型參數(shù)更新方法增加了部分計(jì)算量，使得沒有達(dá)到理論值，但是仍然可以看到算法速度得到了改善。

表2 CT和VACT跟蹤時(shí)間對(duì)比

3.4 縱向?qū)φ諏?shí)驗(yàn)

縱向?qū)φ諏?shí)驗(yàn)是采用前面所述的四種算法在四種不同的視頻圖像序列(共3 121幀)中進(jìn)行實(shí)驗(yàn)，并將CT的跟蹤結(jié)果一并比較，實(shí)驗(yàn)結(jié)果如表3、表4和圖5所示。

表3 算法跟蹤正確率

表4 算法跟蹤運(yùn)行時(shí)間

表3、表4中每個(gè)圖像序列實(shí)驗(yàn)值是試驗(yàn)十次平均值，最優(yōu)結(jié)果加粗顯示。表3中結(jié)果表明本文改進(jìn)的算法VACT在跟蹤精度上有一定優(yōu)勢(shì)，在幾個(gè)典型的圖像序列中取得最優(yōu)或次優(yōu)的結(jié)果。其中在Car圖像序列中目標(biāo)物體運(yùn)動(dòng)迅速，存在遮擋和旋轉(zhuǎn)的情況，TLD算法取得較優(yōu)的跟蹤效果，因?yàn)樗狭藱z測(cè)、跟蹤與機(jī)器學(xué)習(xí)的理論，使得跟蹤穩(wěn)定性較好，但是它需要較大的存儲(chǔ)空間和較長(zhǎng)的運(yùn)行時(shí)間，由表4可見其跟蹤時(shí)間遠(yuǎn)大于VACT。

圖5是幾種算法在四中圖像序列的跟蹤結(jié)果。其中(a)、(b)、(c)中目標(biāo)運(yùn)動(dòng)和背景變化緩慢，(a)中存在不同程度的遮擋和光照不均的情況，(b)中背景光照不均勻，(c)中存在復(fù)雜背景，(d)中目標(biāo)運(yùn)動(dòng)較快。由實(shí)驗(yàn)結(jié)果可知，VACT、FCT、TLD跟蹤較為魯棒，CT、MIL和PFT在光照不均勻、遮擋等復(fù)雜背景時(shí)跟蹤會(huì)發(fā)生較大偏移。綜合表3、表4可知，VACT跟蹤目標(biāo)所需時(shí)間最短，跟蹤準(zhǔn)確穩(wěn)定。

圖5 算法跟蹤結(jié)果

4 總 結(jié)

本文針對(duì)壓縮跟蹤算法中樣本采集搜索區(qū)域大且包含過多無效樣本的問題，提出了基于預(yù)測(cè)向量的樣本搜索采集方法，此方法能夠縮小搜尋目標(biāo)的范圍，將搜索目標(biāo)的方向集中在感興趣的位置，降低無效樣本的比重，提高模型參數(shù)的準(zhǔn)確性并降低跟蹤時(shí)間。引入巴氏系數(shù)，根據(jù)前后兩幀跟蹤點(diǎn)位置的圖像差異來實(shí)時(shí)更新模型參數(shù)的學(xué)習(xí)因子，以適應(yīng)目標(biāo)的變化，使得算法在存在遮擋、背景復(fù)雜等情況下能夠抑制誤差積累的速度，提高跟蹤的準(zhǔn)確性和魯棒性。關(guān)于樣本搜索角度的選擇是一個(gè)經(jīng)驗(yàn)值，而該值對(duì)跟蹤效果有一定的影響，需要合理地選擇該角度。最終實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法比原算法具有更好的魯棒性和時(shí)效性。

致 謝：

感謝導(dǎo)師和學(xué)長(zhǎng)的關(guān)懷和幫助，感謝實(shí)驗(yàn)室同學(xué)的幫助，感謝青年基金、滬江基金項(xiàng)目的資助。

[1] 趙欣，王仕成，廖守億，等. 基于抗差自適應(yīng)容積卡爾曼濾波的超緊耦合跟蹤方法 [J]. 自動(dòng)化學(xué)報(bào)，2014，40(11)：2530-2540.

ZHAO Xin，WANG Shicheng，LIAO Shouyi，. An Ultra-tightly Coupled Tracking Method Based on Robust Adaptive Cubature Kalman Filter [J]. Acta Automatica Sinica(S0254-4156)，2014，40(11)：2530-2540.

[2] WANG Baoyun，CHEN Fei，DENG Ping. Online object tracking based on sparse subspace representation [C]// Chinese Control and Decision Conference，Changsha，China，May 31-June 2，2014：3975-3980.

[3] ZHANG Huanqing，YANG Jinlong，GE Hongwei，. An improved GM-PHD Tracker with Track Management for Multiple Target Tracking [C]// International Conference on Control，Automation and Information Sciences (ICCAIS)，Changshu，China，Oct 29-31，2015：185-190.

[4] ZHANG Hongjian，ZHANG Yuewu，YE Bei，. Multi-sensor Multi-target Tracking Based on a Matrix Reformulation of the GM-PHD Filter [C]// The 26th Chinese Control and Decision Conference (CCDC)，Changsha，China，May 31-June 2，2014：2026-2032.

[5] YU Han，WANG Longsheng，YU Yunzhi. A Video Tracking Algorithm for UAV Based on Differential Evolution Particle Filter [C]// Chinese Control Conference (CCC)，Hefei，China，July 25-27，2012：3955-3959.

[6] Bracey S S，Evans K A. Analysis of Tracking Control Designs for a Delay Differential Equation Model used in the Study of Nanoparticle Dosing Strategies [C]// American Control Conference (ACC)，Portland OR，America，June 4-6，2014：353-358.

[7] ZHANG Kaihua，ZHANG Lei，Yang M H. Real-time Compressive Tracking [C]// European Conference on Computer Vision (ECCV)，F(xiàn)lorence，Italy，Oct 7-13，2012：864-877.

[8] ZHANG Kaihua，ZHANG Lei，YANG M H. Fast Compressive Tracking [J]. Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2014，36(10)：2002-2015.

[9] Donoho D L. Compressed Sensing [J]. Transactions on Information Theory(S0018-9448)，2006，52(4)：1289-1306.

[10] WANG Wenping，XU Yan. Effective Weighted Compressive Tracking [C]// The Seventh International Conference on Image and Graphics，Qingdao，China，July 26-28，2013：353-357.

[11] XU Huazhong，YU Fei. Improved Compressive Tracking in Surveillance Scenes [C]// The Seventh International Conference on Image and Graphics，Qingdao，China，July 26-28，2013：869-873.

[12] WU Jiayun，CHEN Daquan，YI Rui. Real-time Compressive Tracking with Motion Estimation [C]// International Conference on Robotics and Biomimetics，Shenzhen，China，Dec 12-14，2013：2374-2379.

[13] 李良福，馮祖仁，陳衛(wèi)東，等. 系數(shù)基于Bhattacharyya系數(shù)的由粗到精的核匹配搜索方法 [J].模式識(shí)別與人工智能，2008，21(4)：514-519.

LI Liangfu，F(xiàn)ENG Zuren，CHEN Weidong，. A Coarse-to-Fine Searching Method with Kernel Matching Based on Bhattacharyya Coefficients [J]. Pattern Recognition and Artificial Intelligence(S1003-6059)，2008，21(4)：514-519.

[14] ZHANG Lijun，JIN Rong，YANG Tianbao，. Random Projections for Classification：A Recovery Approach [J]. Transactions on Information Theory(S0018-9448)，2014，60(11)：7300-7316.

[15] Kim S，Choi S J. Bilinear Random Projections for Locality-Sensitive Binary Codes [C]// Computer Vision and Pattern Recognition，Boston M A，America，June 7-12，2015：1338-1346.

[16] Candes E J，Tao T. Decoding by Linear Programing [J]. Transactions on Information Theory(S0018-9448)，2005，51(12)：4203-4215.

[17] Achlioptas D. Database Friendly Random Projections Johnson-Lindenstrauss with Binary Coins [J]. Journal of Computer and System Sciences(S0022-0000)，2003，66(4)：671-687.

[18] Diaconis P，F(xiàn)reedman D. Asymptotics of Graphical Projection Pursuit [J]. Annals of Statistics(S0090-5364)，1984，12(3)：793-815.

[19] TIAN Peng. Object Tracking with Online Discriminative Sub-instance Learning [C]// International Congress on Image and Signal Processing(CISP)，Shenyang，China，Oct 14-16，2015：35-40.

[20] Kalal Z，Mikolajczyk K，Matas J. Tracking-Learning-Detection [J]. Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2012，34(7)：1409-1422.

[21] Kim I，Awan T W，Soh Y. Background Subtraction-based Multiple Object Tracking Using Particle Filter [C]// International Conference on Systems，Signals and Image Processing，Dubrovnik，Croatia，May 12-15，2014：71-74.

Adaptive and Predictive Compressive Tracking

WU Tengfei，JIANG Yanxia，LIU Ziyuan，ZHONG Sikai

( Department of Automation, School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China )

To deal with the defects of Compressive Tracking (CT) in the tracking error and the sample collection, firstly, the predictive vector was introduced to search samples that can direct motion of the target. Then the fan-shaped sampling areas reduced the amount of computation greatly. Furthermore, we could determine complex background or occlusion through comparison of the neighboring target images, and then update the classifier parameters automatically by applying the Bhattacharyya coefficient. Experiment shows that these improvements can avoid the failure of compressive tracking and the adaptive predictive compressive tracking (VACT) is better than the original algorithm (CT) in robustness and speed.

compressive tracking; predictive vector; self-adaptive; Bayes discriminant

1003-501X(2016)12-0092-07

TP391.41

A

10.3969/j.issn.1003-501X.2016.12.015

2016-03-07；

2016-06-16

國(guó)家自然科學(xué)基金青年基金(61203143)；滬江基金(C14002)資助項(xiàng)目

吳騰飛(1989-)，男(漢族)，河南周口人。碩士研究生，主要研究工作是視頻跟蹤，圖像處理方面。E-mail: wutengfei1409@126.com。