張麗果, 吳 勇, 張 霞

(西安郵電大學(xué) 電子工程學(xué)院， 陜西 西安 710121)

目標(biāo)跟蹤[1]是通過視頻中第一幀的目標(biāo)坐標(biāo)位置信息，預(yù)測下一幀視頻圖像中目標(biāo)的準(zhǔn)確位置，從而生成一條目標(biāo)運(yùn)動(dòng)軌跡。目標(biāo)跟蹤已廣泛應(yīng)用于視頻監(jiān)控、自動(dòng)駕駛和人機(jī)交互等技術(shù)領(lǐng)域[2]。

跟蹤學(xué)習(xí)檢測算法(tracking learning detection，TLD)利用目標(biāo)跟蹤算法，通過跟蹤器和檢測器的相互協(xié)作，可實(shí)現(xiàn)長期目標(biāo)跟蹤。尤其是處理目標(biāo)的快速移動(dòng)、目標(biāo)發(fā)生遮擋和目標(biāo)消失又重現(xiàn)等場景時(shí)效果較好。但是，通常情況下,TLD算法計(jì)算復(fù)雜度高，導(dǎo)致在一些場景中實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)跟蹤難度較大。將核相關(guān)濾波算法引入TLD結(jié)構(gòu)，通過加速TLD算法的跟蹤模塊可提高算法實(shí)時(shí)性[3]；利用前景檢測算法(visual background extractor, Vibe)[4]實(shí)現(xiàn)TLD檢測模塊，雖然降低了TLD算法的復(fù)雜度，提高了算法實(shí)時(shí)性，但是Vibe前景檢測算法要求檢測背景單一，導(dǎo)致算法在復(fù)雜場景準(zhǔn)確率降低；利用基于尺度不變特征變換(scale invariant feature transform，SIFT)特征匹配算法[5]代替跟蹤模塊中的光流法(Lucas-Kanade，LK)[6]，減少了TLD算法的計(jì)算復(fù)雜度，但是與加速穩(wěn)健特征(speed up robust features,SURF)相比[7]，SIFT特征的魯棒性較差，影響算法的整體魯棒性。

為了同時(shí)提高TLD算法的實(shí)時(shí)性和準(zhǔn)確度，本文基于TLD算法的結(jié)構(gòu)，提出一種基于TLD改進(jìn)的目標(biāo)跟蹤算法。將魯棒性較好的SURF特征作為輸入特征，提高正負(fù)樣本池中的樣本質(zhì)量；采用基于支持向量機(jī)(support vector machine, SVM)算法[8]組成的檢測模塊對(duì)當(dāng)前幀圖像中的目標(biāo)進(jìn)行定位，將跟蹤模塊和檢測模塊的輸出結(jié)果在綜合模塊進(jìn)行綜合判斷，最終在當(dāng)前幀圖像中確定跟蹤目標(biāo)的準(zhǔn)確位置。

1 TLD算法原理

TLD算法利用跟蹤器預(yù)測目標(biāo)在連續(xù)幀之間的運(yùn)動(dòng)，生成正樣本，通過檢測器對(duì)圖像做目標(biāo)檢測處理，生成正、負(fù)樣本訓(xùn)練分類器，糾正跟蹤器產(chǎn)生的誤差，實(shí)現(xiàn)長期目標(biāo)跟蹤。TLD算法主要由跟蹤器模塊、檢測器模塊、學(xué)習(xí)模塊及綜合模塊等4個(gè)模塊組成，結(jié)構(gòu)如圖1所示。

圖1 TLD算法整體結(jié)構(gòu)

跟蹤模塊利用光流(Lucas-Kanade，LK)算法估計(jì)目標(biāo)在連續(xù)幀間的運(yùn)動(dòng)。檢測模塊采用方差分類器、級(jí)聯(lián)分類器和最近鄰分類器級(jí)聯(lián)結(jié)構(gòu)實(shí)現(xiàn)，并采用掃描窗口對(duì)視頻的每一幀進(jìn)行處理，定位所有已觀察到的外觀模型。學(xué)習(xí)模塊通過P-N學(xué)習(xí)方法評(píng)估跟蹤器和檢測器的性能，且在運(yùn)行時(shí)使用P專家和N專家在線更新檢測器[9]。綜合模塊根據(jù)跟蹤器和檢測器的輸出結(jié)果確定當(dāng)前幀的目標(biāo)位置。

TLD算法雖然實(shí)現(xiàn)了長期目標(biāo)跟蹤，但是該算法還是存在以下不足。

(1) 以LK光流法為核心的跟蹤模塊是以3個(gè)假設(shè)為前提的，即亮度恒定、時(shí)間連續(xù)或者運(yùn)動(dòng)是“小運(yùn)動(dòng)”以及空間一致性。當(dāng)跟蹤場景中發(fā)生光照變化、跟蹤背景或目標(biāo)突變等情況時(shí)，便會(huì)破壞亮度恒定、時(shí)間連續(xù)性等假設(shè)，導(dǎo)致目標(biāo)跟蹤失敗。

(2) 采用局部二值模式(local binary pattern，LBP)特征作為檢測點(diǎn)，而LBP特征不具有光照不變性和旋轉(zhuǎn)不變性，導(dǎo)致算法整體魯棒性較差。

(3) 采用滑動(dòng)窗口方法，并使用三級(jí)分類器依次過濾每個(gè)候選窗口，導(dǎo)致檢測模塊耗時(shí)比例較大，約占每幀耗時(shí)的65.51%至82.94%，算法實(shí)時(shí)性較差。

2 改進(jìn)的TLD算法

改進(jìn)算法將魯棒性較好的SURF特征代替LBP特征，生成正、負(fù)樣本集。利用生成的正、負(fù)樣本集訓(xùn)練SVM分類器，對(duì)目標(biāo)圖像進(jìn)行分類。在跟蹤過程中，如果目標(biāo)正常跟蹤，則不斷產(chǎn)生新樣本，樣本集也不斷更新；當(dāng)目標(biāo)跟蹤失敗后，需要對(duì)目標(biāo)重新定位，則利用樣本集中的樣本重新訓(xùn)練SVM分類器，啟動(dòng)重定位模塊，如果定位成功，則繼續(xù)跟蹤目標(biāo)。改進(jìn)算法整體結(jié)構(gòu)如圖2所示。

2.1 正負(fù)樣本的產(chǎn)生方式

在目標(biāo)跟蹤中，對(duì)目標(biāo)圖像采用不同的特征描述方式會(huì)產(chǎn)生不同的跟蹤結(jié)果。大多數(shù)基于運(yùn)動(dòng)的跟蹤算法中，目標(biāo)運(yùn)動(dòng)是以剛性運(yùn)動(dòng)為假設(shè)條件，然而這種條件通常不符合真實(shí)的跟蹤情況。

采用一組具有尺度與旋轉(zhuǎn)等局部不變性的SURF特征點(diǎn)表示目標(biāo)。SURF特征的定義[7]為

X=(p,s,r,e),

(1)

式中：p表示SURF特征點(diǎn)的二維坐標(biāo)，即(x,y)，s為SURF特征點(diǎn)的尺寸大小；r表示SURF特征的主方向；e代表64維的SURF特征矢量。

在第1幀中，手動(dòng)標(biāo)定需要跟蹤的目標(biāo)，對(duì)視頻序列的前n幀進(jìn)行跟蹤，并將前n幀的跟蹤結(jié)果作為當(dāng)前n個(gè)正樣本，提取正樣本中關(guān)鍵點(diǎn)的SURF特征，以此表示目標(biāo)。將目標(biāo)特征點(diǎn)的特征矢量組成64維矢量，記作D∈d，其中D為目標(biāo)特征矢量，d=64為SURF特征矢量的維數(shù)。正樣本集記為其中n為正樣本集中的正樣本數(shù)目。

圖2 改進(jìn)算法的整體結(jié)構(gòu)

依據(jù)SURF特征矢量的坐標(biāo)位置p，對(duì)提取的正負(fù)樣本特征進(jìn)行標(biāo)簽標(biāo)定。如果判別當(dāng)前的SURF特征矢量是屬于目標(biāo)圖像，則將其標(biāo)定為正標(biāo)簽，記為+1；反之，若判定SURF特征矢量來自背景圖像，則將其標(biāo)定為負(fù)標(biāo)簽，記為-1。因此，SURF特征矢量對(duì)應(yīng)的標(biāo)簽可定義為

L={+1,-1}。

(3)

利用生成的正負(fù)樣本集訓(xùn)練SVM分類器，通過最小化SVM的損失函數(shù)[8]

f(X)=sgn {w*X+b*},

(4)

得到最優(yōu)權(quán)值w*和最優(yōu)偏置值b*，對(duì)目標(biāo)圖像進(jìn)行分類。

2.2 樣本的更新策略

目標(biāo)跟蹤過程中，由于跟蹤場景中存在多種復(fù)雜的干擾因素，導(dǎo)致目標(biāo)本身與外部環(huán)境會(huì)不斷的發(fā)生變化。為應(yīng)對(duì)這些干擾因素造成的突發(fā)情況，需要在跟蹤過程中根據(jù)目標(biāo)自身及環(huán)境變化情況及時(shí)完成更新樣本集的工作。

樣本更新策略的基本思想是存儲(chǔ)最近的n幀視頻圖像中目標(biāo)圖像的特征點(diǎn)，并采用聚類的方式生成一個(gè)正樣本集合{p1,p2,…,pk}，其中k為正樣本集中所含聚類中心的數(shù)量，而每個(gè)聚類均由多個(gè)正樣本構(gòu)成。

假設(shè)特征集D={x1,x2,…,xn}，對(duì)xi∈D，計(jì)算樣本xi與樣本xj之間的距離，給定閾值ε，統(tǒng)計(jì)dist(xi,xj)≤ε的樣本數(shù)量，即令

Nε(xj)={xi∈D: dist(xi,xj)≤ε}。

(5)

如果xj對(duì)應(yīng)的|Nε(xj)|大于或等于設(shè)定的閾值P(表示總特征數(shù)n的30%)，則認(rèn)為xj是一個(gè)核心對(duì)象。將核心對(duì)象xj的特征距離矩陣T中元素按照從小到大的順序排列，并進(jìn)行聚類，重新確定聚類中心，從而對(duì)樣本池中正負(fù)樣本進(jìn)行更新。特征距離矩陣的表達(dá)式為

(6)

式中di,j表示第i個(gè)特征到第j個(gè)特征的距離。

2.3 目標(biāo)重定位

在目標(biāo)跟蹤過程中，如果目標(biāo)跟蹤正常，樣本池中的正負(fù)樣本會(huì)不斷更新；當(dāng)目標(biāo)跟蹤失敗時(shí)，則需要利用樣本池中的樣本對(duì)目標(biāo)實(shí)現(xiàn)重新定位。改進(jìn)算法采用隨機(jī)抽樣一致性圖像匹配算法和積分圖算法，濾除錯(cuò)誤的匹配點(diǎn)實(shí)現(xiàn)目標(biāo)的重新定位。算法流程如下。

步驟1提取第t幀圖像Ot的SURF特征，將其組成特征集合Ot={o1,o2,…,ot}。

步驟2標(biāo)準(zhǔn)目標(biāo)圖像Ol={o1,o2,…,ol}，l為標(biāo)準(zhǔn)目標(biāo)圖像的個(gè)數(shù)。利用隨機(jī)一致性圖像匹配算法，計(jì)算標(biāo)準(zhǔn)圖像集ol與第t幀圖像Ot的特征點(diǎn)匹配個(gè)數(shù)n,即n=I(Ot,ol)。匹配特征點(diǎn)與標(biāo)準(zhǔn)數(shù)據(jù)集ol的特征點(diǎn)匹配度Rj=n/sj，其中sj表示ol的特征點(diǎn)數(shù)量。取匹配度最大值

確定匹配度最大值對(duì)應(yīng)的ol，重新定位目標(biāo)。

步驟3初始化特征集d={d1,d2,…,dc},對(duì)特征集d構(gòu)建同第t幀圖像Ot同樣大小的二值圖像，初始化坐標(biāo)dreal=0。

步驟4根據(jù)積分圖算法，計(jì)算第t幀圖像Ot與特征集d的積分圖值N=ζ(Ot,d)，如果N大于設(shè)定的閾值α，則dreal=dreal∪caacmuo，通過dreal的坐標(biāo)極值確定目標(biāo)重定位后的坐標(biāo)位置。

2.4 改進(jìn)算法步驟

以TLD算法基本結(jié)構(gòu)為基礎(chǔ)，基于SURF特征與SVM算法的改進(jìn)目標(biāo)跟蹤算法具體步驟如下。

步驟1在第1幀圖像中，手動(dòng)標(biāo)定目標(biāo)的位置，利用跟蹤器提取前n幀目標(biāo)的SURF特征作為正樣本，在第n幀的目標(biāo)周圍的背景區(qū)域提取SURF特征作為負(fù)樣本，構(gòu)成目標(biāo)的正負(fù)樣本集。

步驟2利用目標(biāo)的正負(fù)樣本集訓(xùn)練SVM分類器，通過式(4)得出最優(yōu)的w*值和b*值，對(duì)目標(biāo)進(jìn)行分類。

步驟3提取跟蹤器標(biāo)定的第t幀圖像Ot的SURF特征，構(gòu)成輸入特征矢量X，將該特征矢量代入式(4)，得到對(duì)應(yīng)的輸出f(X)，將輸出結(jié)果映射到邏輯回歸函數(shù)上，得到X的正樣本的概率p(X)。

步驟4設(shè)定正樣本閾值β，如果p(X)≥β，則表明跟蹤成功，并將X添加到正樣本集中，同時(shí)重新計(jì)算聚類中心，并將第t幀圖像Ot周圍區(qū)域的特征點(diǎn)添加到負(fù)樣本池中，更新樣本池中正負(fù)樣本集，Ot則添加到標(biāo)準(zhǔn)目標(biāo)圖像集合Ol中；如果p(X)<β，表明跟蹤失敗，則關(guān)閉跟蹤器。

步驟5如果跟蹤失敗，利用正負(fù)樣本池中的樣本對(duì)SVM分類器重新進(jìn)行訓(xùn)練，獲得新的w*和b*，啟動(dòng)目標(biāo)重新定位模塊。重新定位模塊是由隨機(jī)取樣一致性算法實(shí)現(xiàn)，如果目標(biāo)重定位成功，則啟動(dòng)跟蹤器。

3 實(shí)驗(yàn)結(jié)果與分析

采用C++語言進(jìn)行編程，在Intel Core i7-4510U CPU，主頻2.6 GHz，內(nèi)存配置為4 GB，OpenCV2的配置平臺(tái)進(jìn)行測試。為了驗(yàn)證改進(jìn)算法的有效性，從標(biāo)準(zhǔn)測試集VOT2015[10]和VOT2014[11]選取測試視頻，分別對(duì)比改進(jìn)算法和TLD算法的準(zhǔn)確率和實(shí)時(shí)性。

3.1 算法性能測試

選取BlurCar2、Board和Girl等3組具有光照、旋轉(zhuǎn)、尺度變化、遮擋等跟蹤場景的視頻，分別測試改進(jìn)算法和TLD算法的性能。3組測試視頻的具體信息如表1所示。測試結(jié)果分別如圖3至圖5所示，圖中實(shí)線為目標(biāo)的標(biāo)準(zhǔn)位置，間斷型虛線為改進(jìn)算法的跟蹤結(jié)果，點(diǎn)型虛線為TLD算法的跟蹤結(jié)果。

表1 測試視頻信息

圖3 BlurCar2測試結(jié)果

由圖3可以看出，圖3(a)為BlurCar2視頻測試結(jié)果的第1幀，確定跟蹤目標(biāo)的標(biāo)準(zhǔn)位置；圖3(b)中，目標(biāo)在第77幀發(fā)生模糊運(yùn)動(dòng)，改進(jìn)的算法比TLD算法準(zhǔn)確；圖3(c)中，目標(biāo)在第192幀發(fā)生形變，TLD算法沒有完全框出目標(biāo)位置，改進(jìn)算法可以準(zhǔn)確的跟蹤目標(biāo)；在第284幀，目標(biāo)快速運(yùn)動(dòng)導(dǎo)致運(yùn)動(dòng)模糊，此時(shí)TLD算法跟蹤失敗，改進(jìn)算法的跟蹤結(jié)果相對(duì)較好，如圖3(d)所示。

圖4 Board測試結(jié)果

由圖4可以看出，圖4(a)為Board視頻測試結(jié)果的第1幀，確定跟蹤對(duì)象圖像；圖4(b)中，在第143幀時(shí)，目標(biāo)圖像部分超出視野范圍，TLD算法將背景相似物當(dāng)作目標(biāo)進(jìn)行跟蹤，而改進(jìn)算法跟蹤準(zhǔn)確；圖4(c)中，在第344幀時(shí)，目標(biāo)圖像發(fā)生形變，改進(jìn)算法的跟蹤結(jié)果也比TLD算法好；在第488幀時(shí)，目標(biāo)圖像發(fā)生旋轉(zhuǎn)，改進(jìn)算法的跟蹤結(jié)果比TLD算法跟蹤效果好，如圖4(d)所示。

圖5 Girl測試結(jié)果

由圖5可以看出，圖5(a)為Girl視頻測試結(jié)果的第1幀，確定跟蹤目標(biāo)圖像；圖5(b)中，在第116幀時(shí)，目標(biāo)發(fā)生旋轉(zhuǎn)，與目標(biāo)圖像的標(biāo)準(zhǔn)位置相比，改進(jìn)算法的結(jié)果要比TLD結(jié)果好；圖5(c)中，第305幀時(shí)，目標(biāo)快速移動(dòng)，TLD算法完全偏離跟蹤目標(biāo)，而改進(jìn)算法仍可以準(zhǔn)確跟蹤目標(biāo)；在第438幀時(shí)，目標(biāo)發(fā)生嚴(yán)重遮擋，此時(shí)改進(jìn)算法仍然可以穩(wěn)定的跟蹤目標(biāo)，而TLD算法跟蹤失敗，如圖5(d)所示。

3.2 算法的實(shí)時(shí)性測試

為了測試改進(jìn)算法和TLD算法的實(shí)時(shí)性，選取Campus、Walking、Walking2和Lemming4組視頻作為測試樣例，視頻具體信息如表2所示。

根據(jù)視頻總幀數(shù)與跟蹤所用的總時(shí)間的比值，即每秒鐘處理的幀數(shù)作為運(yùn)算速度的衡量標(biāo)準(zhǔn)，分別對(duì)比改進(jìn)算法、TLD算法和文獻(xiàn)[4]算法的運(yùn)算速度，結(jié)果如表3所示。

表3 算法運(yùn)算速度對(duì)比/ 幀s-1

從表3中可以看出，改進(jìn)算法的平均處理速度可以達(dá)到47.5幀/s，相比于TLD算法，改進(jìn)算法處理速度提升了6倍左右，同時(shí)比文獻(xiàn)[4]算法速度提升了5幀。

為了測試改進(jìn)算法的準(zhǔn)確率，選擇3組不同的視頻,分別對(duì)改進(jìn)算法、TLD算法、文獻(xiàn)[4]算法、壓縮跟蹤算法(compressive tracker, CT)[12]和加權(quán)多示例學(xué)習(xí)跟蹤算法(weighted multiple instance learning tracker, WMILT)[13]進(jìn)行測試，結(jié)果如表4 所示。

表4 算法準(zhǔn)確率對(duì)比表/(%)

從表4中可以看出，改進(jìn)算法對(duì)3組視頻的成功率均值為94.0%。相比于TLD算法提高了1.5倍，相比于文獻(xiàn)[4]改進(jìn)算法提高了0.6%，比WMILT算法提高了44.4%，測試結(jié)果表明改進(jìn)算法的準(zhǔn)確率顯著高于TLD算法。

4 結(jié)語

基于TLD改進(jìn)的目標(biāo)跟蹤算法，在TLD算法結(jié)構(gòu)的基礎(chǔ)上，利用SURF特征作為輸入，生成正負(fù)樣本集；用正負(fù)樣本集對(duì)SVM分類器進(jìn)行訓(xùn)練，并對(duì)輸入目標(biāo)進(jìn)行分類，降低了TLD算法中檢測器模塊的復(fù)雜度，提高了算法的實(shí)時(shí)性。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法的處理速度為47.5幀/秒，準(zhǔn)確率可達(dá)94.0%，與TLD目標(biāo)跟蹤算法相比，當(dāng)目標(biāo)消失并重新出現(xiàn)、嚴(yán)重遮擋和背景噪聲干擾時(shí)，改進(jìn)算法在實(shí)時(shí)性、準(zhǔn)確性上均有所提升。