楊豐瑞，杜　奎，莊　園

(1．重慶重郵信科集團(tuán)股份有限公司，重慶400065；2.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065)

?

TLD目標(biāo)跟蹤算法綜述

楊豐瑞1，杜奎2，莊園2

(1．重慶重郵信科集團(tuán)股份有限公司，重慶400065；2.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065)

TLD目標(biāo)跟蹤算法將檢測(cè)和跟蹤同時(shí)加入跟蹤框架，并引入半監(jiān)督機(jī)器學(xué)習(xí)算法對(duì)鎖定目標(biāo)不斷學(xué)習(xí)以捕獲其最新外觀，使目標(biāo)無(wú)處可逃，從而實(shí)現(xiàn)對(duì)未知目標(biāo)的長(zhǎng)時(shí)跟蹤。簡(jiǎn)要介紹了TLD算法的理論背景和系統(tǒng)框架，并指出其存在的主要缺陷。然后對(duì)各個(gè)缺陷所提出的改進(jìn)方法進(jìn)行詳細(xì)地綜述，并給出自己的評(píng)述。最后總結(jié)全文并展望TLD目標(biāo)跟蹤算法在未來(lái)幾年的發(fā)展趨勢(shì)。

長(zhǎng)時(shí)目標(biāo)跟蹤；半監(jiān)督機(jī)器學(xué)習(xí)；中直流跟蹤器；隨機(jī)森林分類器

目前，基于檢測(cè)和半監(jiān)督學(xué)習(xí)的目標(biāo)跟蹤算法已經(jīng)成為研究的主流[1]。TLD作為一種基于檢測(cè)和半監(jiān)督學(xué)習(xí)的目標(biāo)跟蹤算法，因其具有良好的適應(yīng)性和魯棒性，自問(wèn)世以來(lái)就引起了國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。

自從Zdenek Kalal提出TLD目標(biāo)跟蹤算法以來(lái)，國(guó)內(nèi)外學(xué)者對(duì)此提出了很多改進(jìn)算法，但至今國(guó)內(nèi)外還沒(méi)有一篇綜述對(duì)此進(jìn)行詳盡的闡述。本文從TLD目標(biāo)跟蹤算法所存在的缺陷出發(fā)對(duì)其進(jìn)行全面的綜述和分析。

1　TLD框架結(jié)構(gòu)及原理

2009年，Zdenek Kalal先后提出了一種基于學(xué)習(xí)和分類的新型檢測(cè)器[1]、PN學(xué)習(xí)器[2]和Median-Flow跟蹤器[3]。2010年，在此基礎(chǔ)上他正式提出了一種對(duì)未知目標(biāo)具有長(zhǎng)期跟蹤能力的目標(biāo)跟蹤算法：Tracking-Learning-Detection，即TLD[4]。

1.1TLD提出的背景

傳統(tǒng)跟蹤算法對(duì)運(yùn)動(dòng)目標(biāo)初始化后就可以快速地生成目標(biāo)的運(yùn)動(dòng)軌跡，但傳統(tǒng)跟蹤算法由于僅僅依靠先驗(yàn)信息，所以其在運(yùn)行時(shí)會(huì)不斷累積誤差，而且當(dāng)目標(biāo)在視野中消失后再次進(jìn)入視野內(nèi)，此時(shí)將直接導(dǎo)致跟蹤失?。粋鹘y(tǒng)檢測(cè)算法獨(dú)立評(píng)估每一幀視頻序列，判斷每一幀中是否含有目標(biāo)，如果有目標(biāo)就給出目標(biāo)狀態(tài)信息，檢測(cè)器不會(huì)因目標(biāo)消失而導(dǎo)致檢測(cè)失敗，但是他們需要進(jìn)行離線訓(xùn)練，所以無(wú)法對(duì)未知目標(biāo)進(jìn)行檢測(cè)。

Zdenek Kalal認(rèn)為傳統(tǒng)跟蹤算法或者檢測(cè)算法不具備獨(dú)立應(yīng)對(duì)長(zhǎng)時(shí)目標(biāo)跟蹤的條件，因?yàn)樗鼈兌疾恢苯由婕案櫩蚱坪蟮脑诰€處理，誤差積累勢(shì)必會(huì)越來(lái)越嚴(yán)重。Zdenek Kalal認(rèn)為實(shí)現(xiàn)長(zhǎng)期跟蹤必須滿足以下3點(diǎn)：

1)跟蹤器具備一定的自檢測(cè)能力。

2)加入半監(jiān)督機(jī)器學(xué)習(xí)以實(shí)時(shí)更新目標(biāo)模型。

3)檢測(cè)模塊與跟蹤模塊搭配。

1.2TLD目標(biāo)跟蹤系統(tǒng)框架

TLD算法由4個(gè)模塊構(gòu)成：跟蹤模塊、學(xué)習(xí)模塊、檢測(cè)模塊和整合模塊[4]。在TLD算法中，跟蹤模塊和檢測(cè)模塊并列運(yùn)行，二者相互影響，檢測(cè)模塊可以重置跟蹤模塊，同時(shí)跟蹤模塊又可以通過(guò)學(xué)習(xí)模塊為檢測(cè)模塊提供訓(xùn)練數(shù)據(jù)，緊接著將它們所生成的正負(fù)樣本傳入整合模塊，整合模塊生成正負(fù)樣本參與半監(jiān)督學(xué)習(xí)，此時(shí)負(fù)責(zé)存儲(chǔ)具備表征當(dāng)前目標(biāo)外觀的正負(fù)樣本的目標(biāo)模型得到更新，更新后的目標(biāo)模型又反作用于跟蹤模塊和檢測(cè)模塊。TLD系統(tǒng)框架如圖1所示。

圖1　TLD系統(tǒng)框架圖

2　TLD目標(biāo)跟蹤算法缺陷

近年來(lái)針對(duì)TLD算法存在的缺陷涌現(xiàn)出了相當(dāng)多的改進(jìn)方案。表1對(duì)TLD算法的缺陷、改進(jìn)模塊和對(duì)應(yīng)的改進(jìn)算法進(jìn)行了分類歸納[6-32]。下面3個(gè)章節(jié)將從表1列出的缺陷出發(fā)，以缺陷為單位，對(duì)這些改進(jìn)算法進(jìn)行全面綜述，并給出相應(yīng)的評(píng)述。

表1TLD算法缺陷歸納

主要問(wèn)題具體改進(jìn)模塊相關(guān)文獻(xiàn)手動(dòng)初始化檢測(cè)模塊[6]貪婪搜索檢測(cè)模塊[5,12,14,15,16,17,18,19,28]圖像元方差分類器泛化能力相對(duì)較弱檢測(cè)模塊[12,22]目標(biāo)模型樣本膨脹學(xué)習(xí)模塊[7,11,13,20]對(duì)相似目標(biāo)辨識(shí)能力相對(duì)較弱檢測(cè)模塊、整合模塊[13,14,15]發(fā)生嚴(yán)重遮擋時(shí),目標(biāo)框易漂移檢測(cè)模塊、整合模塊[8,9,10,11,12,13,27,28,32,26]最近鄰分類器耗時(shí)巨大檢測(cè)模塊[24,30]復(fù)雜背景下,目標(biāo)框易漂移檢測(cè)模塊、整合模塊[16,21,29,32]Median-Flow跟蹤器穩(wěn)定性相對(duì)較弱跟蹤模塊[14,23,31]目標(biāo)發(fā)生大尺度形變時(shí),目標(biāo)框易漂移檢測(cè)模塊、跟蹤模塊[6,19,25]

3　針對(duì)TLD算法存在問(wèn)題所提出的解決方案

3.1手動(dòng)初始化

文獻(xiàn)[6]采用運(yùn)動(dòng)目標(biāo)檢測(cè)和SIFT算法來(lái)識(shí)別出最佳匹配區(qū)域作為T(mén)LD初始跟蹤區(qū)域。具體思想如下：1)利用SURF算法提取這兩幀圖像中匹配特征點(diǎn)對(duì)以完成快速注冊(cè)；然后利用RANSAC算法剔除錯(cuò)誤的匹配特征點(diǎn)對(duì)[6]；2)估計(jì)仿射模型得到仿射變換圖像；3)借助運(yùn)動(dòng)直方圖觀察兩個(gè)放射變換圖像之間的差異；4)利用多幀關(guān)聯(lián)技術(shù)提煉出前景跟蹤框，同時(shí)剔除錯(cuò)誤的運(yùn)動(dòng)目標(biāo)；5)利用改進(jìn)型SIFT算法來(lái)確定最優(yōu)的匹配區(qū)域。目標(biāo)自動(dòng)初始化流程如圖2所示。

圖2目標(biāo)自動(dòng)初始化流程圖

文獻(xiàn)[6]所提出的方法確實(shí)實(shí)現(xiàn)了跟蹤目標(biāo)自動(dòng)初始化，但是該方法需要在跟蹤前消耗一定的時(shí)間去完整地遍歷視頻序列，相比原始算法，延長(zhǎng)了初始化時(shí)間。

3.2貪婪搜索

所謂“貪婪搜索”，即TLD 中檢測(cè)器是基于滑動(dòng)窗口掃描的，檢測(cè)器需要對(duì)圖像中可能包含目標(biāo)的子窗口進(jìn)行掃描以確定窗口包含前景目標(biāo)[12]。對(duì)一幀320×240大小的圖像，檢測(cè)模塊大概需要遍歷3萬(wàn)個(gè)子掃描窗口，而其中大概只有10%～25%的子窗口才包含目標(biāo)[4]。

文獻(xiàn)[5]提出ROI(Region Of Interest)理念，采用非全局搜索策略，即直接將目標(biāo)框長(zhǎng)與寬各擴(kuò)大20像素，如果失敗就利用背景抽離技術(shù)得到粗粒度的前景區(qū)域，然后通過(guò)模板匹配技術(shù)得到細(xì)粒度的前景區(qū)域。實(shí)驗(yàn)表明，該方法同時(shí)提高了幀處理速度[5]。

文獻(xiàn)[12，14-15]均將Kalman濾波器預(yù)測(cè)區(qū)域作為目標(biāo)檢測(cè)區(qū)域，大同小異。

文獻(xiàn)[16]在 TLD檢測(cè)模塊中加入Kalman濾波器和Meanshift算法。首先利用Meanshift算法迭代出置信度最高的目標(biāo)區(qū)域，在該區(qū)域上做一外接矩形框，然后將其傳給Kalman濾波器作為預(yù)測(cè)量，最后將Kalman濾波的預(yù)測(cè)區(qū)域作為Meanshift下一幀的初始搜索區(qū)域。

文獻(xiàn)[17]提出一種檢測(cè)區(qū)域自適應(yīng)的方法。該方法利用雙Kalman濾波器加速矯正預(yù)測(cè)區(qū)域。但該策略明顯降低了TLD系統(tǒng)的跟蹤精度。

文獻(xiàn)[18]引入金字塔LK光流法獲取目標(biāo)區(qū)域，該策略具備動(dòng)態(tài)生成掃描框的特性。

文獻(xiàn)[19]引入粒子濾波，隨機(jī)產(chǎn)生K個(gè)特征點(diǎn)作為運(yùn)動(dòng)粒子，接著利用Meanshift算法計(jì)算這些粒子在下一幀中的位置，然后計(jì)算各粒子位置加權(quán)和來(lái)得到下一幀目標(biāo)所在的邊界框。另外，為粒子權(quán)重設(shè)置閾值進(jìn)一步弱化粒子退化產(chǎn)生的影響。

文獻(xiàn)[28]利用基于幀差法的前景運(yùn)動(dòng)目標(biāo)檢測(cè)器替換圖像元方差分類器。該策略在一定程度上增強(qiáng)了系統(tǒng)的實(shí)時(shí)性和魯棒性。

產(chǎn)生“貪婪搜索”的主要原因就是TLD正負(fù)樣本的生成策略不合理，提出新型正負(fù)樣本生成方案方能從源頭解決這個(gè)問(wèn)題。

3.3發(fā)生嚴(yán)重遮擋時(shí)，目標(biāo)框易漂移

基于抗遮擋的目標(biāo)跟蹤方法多依賴于預(yù)測(cè)理論，常見(jiàn)的預(yù)測(cè)手段有：Kalman濾波器、粒子濾波器和馬爾科夫鏈。

文獻(xiàn)[8]提出一種基于Kalman濾波的TLD跟蹤算法，當(dāng)TLD跟蹤成功，TLD為Kalman濾波提供觀測(cè)值，當(dāng)TLD跟蹤失敗，則利用Kalman預(yù)測(cè)值取代觀測(cè)值，隨著遞歸的不斷進(jìn)行，最終輸出目標(biāo)狀態(tài)[8]。

文獻(xiàn)[9]在檢測(cè)模塊中加入SURF特征檢測(cè)器。當(dāng)目標(biāo)出現(xiàn)快速運(yùn)動(dòng)、發(fā)生遮擋時(shí)，啟動(dòng)SURF特征檢測(cè)器提取SURF特征以對(duì)目標(biāo)進(jìn)行二次檢測(cè)，但此時(shí)不參與學(xué)習(xí)過(guò)程，防止采集不正確的正樣本而導(dǎo)致跟蹤失敗。這種策略值得借鑒。

文獻(xiàn)[10]提出一種基于參考點(diǎn)的TLD跟蹤算法，所謂“參考點(diǎn)”，即在每一幀中實(shí)時(shí)地篩選出和目標(biāo)具有一定聯(lián)系的SURF特征點(diǎn)。當(dāng)目標(biāo)因發(fā)生部分或者完全遮擋而跟蹤失敗時(shí)，則可以利用參考點(diǎn)準(zhǔn)確預(yù)測(cè)出目標(biāo)所在區(qū)域。

文獻(xiàn)[11]結(jié)合光電跟蹤系統(tǒng)跟蹤背景相對(duì)簡(jiǎn)單的特點(diǎn)，提出了適用于?？窄h(huán)境的TLD 算法。具體流程如圖3所示。

圖3目標(biāo)自動(dòng)初始化流程圖

文獻(xiàn)[13]使用改進(jìn)的MIL跟蹤器(Online MIL)替換Median-Flow跟蹤器來(lái)進(jìn)行目標(biāo)跟蹤，提高了目標(biāo)在被遮擋情況下跟蹤的魯棒性。

文獻(xiàn)[27]提出了完備的遮擋預(yù)判定的體系。遺憾的是其提出的抗遮擋解決方案相對(duì)于遮擋預(yù)判定的體系來(lái)說(shuō)，過(guò)于粗略。

文獻(xiàn)[28]提出了一種基于時(shí)空上下文目標(biāo)跟蹤(STC)和Kalman濾波器相結(jié)合的新型的跟蹤器，并利用該跟蹤器替代Median-Flow跟蹤器。實(shí)驗(yàn)表明，該新型跟蹤器對(duì)嚴(yán)重遮擋目標(biāo)具有較強(qiáng)的容忍性。

文獻(xiàn)[32]利用霍夫森林替換級(jí)聯(lián)分類器。由于霍夫森林可以充分提取出目標(biāo)的局部空間信息以及多通道特征，因此該策略可以有效增強(qiáng)系統(tǒng)魯棒性。

在目標(biāo)跟蹤領(lǐng)域，對(duì)遮擋目標(biāo)的跟蹤始終沒(méi)有強(qiáng)魯棒性的算法被提出來(lái)，絕大多數(shù)的方案局限于在特定環(huán)境，將其應(yīng)用在其他環(huán)境下可能就會(huì)發(fā)生限位框漂移的現(xiàn)象。上述文獻(xiàn)所提出的方法依然是以特定環(huán)境為前提。

3.4目標(biāo)模型樣本膨脹

所謂“樣本膨脹”，即目標(biāo)模型更新時(shí)缺少限制樣本數(shù)量的策略，隨著跟蹤系統(tǒng)的不斷運(yùn)行，目標(biāo)模型中的正負(fù)樣本數(shù)量會(huì)越來(lái)越多。導(dǎo)致目標(biāo)模型樣本冗余度高。

文獻(xiàn)[7]通過(guò)為目標(biāo)模型中正負(fù)樣本總數(shù)量設(shè)定閾值來(lái)抑制正負(fù)樣本膨脹，當(dāng)正負(fù)樣本總數(shù)量達(dá)到飽和狀態(tài)時(shí)，就替換掉其內(nèi)表征能力最弱的正樣本或者負(fù)樣本。但這種替換策略事實(shí)上違背了目標(biāo)模型的數(shù)據(jù)結(jié)構(gòu)。

文獻(xiàn)[11]通過(guò)分析檢測(cè)模塊各級(jí)分類器的算法時(shí)間復(fù)雜度來(lái)論證：目標(biāo)模型內(nèi)樣本數(shù)量過(guò)多會(huì)嚴(yán)重影響檢測(cè)器的實(shí)時(shí)性。設(shè)圖像塊Pi(i=1，2，…，n)經(jīng)過(guò)方差過(guò)濾器篩選之后剩余數(shù)量為N1，經(jīng)過(guò)隨機(jī)厥分類器篩選之后剩余圖像塊數(shù)量為N2。模型M中當(dāng)前模板數(shù)量為Nt，模板像素?cái)?shù)為Nm，則各級(jí)分類器算法時(shí)間復(fù)雜度如表2所示。

表2級(jí)聯(lián)分類器時(shí)間復(fù)雜度

分類器圖像元方差分類器隨機(jī)厥分類器最近鄰分類器復(fù)雜度O(Nb)O(N1·Nf)O(N2·Nt·Nm)

改進(jìn)更新策略：從正負(fù)樣本空間中剔除相似性最大的正樣本數(shù)據(jù)和相似性最小的負(fù)樣本數(shù)據(jù)。

對(duì)于目標(biāo)模型中正負(fù)樣本的限制均是基于這樣一個(gè)事實(shí)：樣本對(duì)當(dāng)前目標(biāo)外觀的表征能力與加入目標(biāo)模型的時(shí)間順序成反比。

3.5相似目標(biāo)辨識(shí)能力較弱

文獻(xiàn)[13]在TLD框架內(nèi)引入MIL跟蹤器同時(shí)改進(jìn)整合模塊判決策略以此來(lái)應(yīng)對(duì)具有相似干擾目標(biāo)的場(chǎng)景。整合模塊判決策略摒棄原有的權(quán)重論而是將通過(guò)比較跟蹤模塊與檢測(cè)模塊的輸出置信度的大小來(lái)判決目標(biāo)在下一幀的位置。另外，MIL跟蹤器非常出色，但在此引入會(huì)導(dǎo)致框架過(guò)于復(fù)雜。

文獻(xiàn)[14]巧妙地將馬爾科夫預(yù)測(cè)器時(shí)域一致性的優(yōu)點(diǎn)和特定場(chǎng)景進(jìn)行融合，很好地解決了相似目標(biāo)相向而行時(shí)目標(biāo)框漂移的問(wèn)題。

TLD檢測(cè)模塊在面對(duì)相似目標(biāo)時(shí)容易被干擾目標(biāo)同化，最有效的解決方法是通過(guò)融合前景和背景信息設(shè)計(jì)一個(gè)對(duì)相似干擾目標(biāo)具有強(qiáng)魯棒性的檢測(cè)器。

3.6目標(biāo)發(fā)生大尺度形變時(shí)，目標(biāo)框易漂移

文獻(xiàn)[6]引入綜合性能優(yōu)于SIFT和SURF算法的ORB描述器來(lái)增強(qiáng)TLD算法的跟蹤器，改進(jìn)型跟蹤器與原始TLD跟蹤器不同，在限位框內(nèi)不再是均勻產(chǎn)生10×10個(gè)像素點(diǎn)，而是僅僅產(chǎn)生5×5個(gè)均勻像素點(diǎn)，剩下75個(gè)像素點(diǎn)是不均勻分布的ORB特征點(diǎn)。

文獻(xiàn)[19]提出一種基于SAMS算法的尺度自適應(yīng)策略，即使尺度跟隨目標(biāo)動(dòng)態(tài)變化。

大尺度變換和目標(biāo)遮擋長(zhǎng)期以來(lái)被視作阻礙視覺(jué)目標(biāo)跟蹤發(fā)展的攔路虎。在滿足實(shí)時(shí)性的前提下，目前尚沒(méi)有很好的應(yīng)對(duì)策略。

3.7復(fù)雜背景下，目標(biāo)框易漂移

文獻(xiàn)[16]針對(duì)在復(fù)雜場(chǎng)景下，目標(biāo)與背景灰度差異小，方差分類器無(wú)法準(zhǔn)確剔除背景目標(biāo)。于是利用顏色特征彩色直方圖替換灰度直方圖，使方差分類器正常工作。

文獻(xiàn)[21]所提出的方法依然是對(duì)引入顏色特征直方圖對(duì)圖像元方差分類器進(jìn)行改進(jìn)?？傮w與文獻(xiàn)[16]大同小異。

文獻(xiàn)[29]經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)檢測(cè)器沒(méi)有輸出時(shí)，恰恰就是檢測(cè)器中的最后一級(jí)分類器沒(méi)有輸出，但隨機(jī)厥分類器的輸出已經(jīng)很接近目標(biāo)位置了。于是，該文對(duì)第二級(jí)隨機(jī)厥分類結(jié)果進(jìn)行聚類分析，取其外接矩形框作為最終輸出。

上述3篇文獻(xiàn)介紹了TLD框架中檢測(cè)模塊和整合模塊的缺陷，并且提出了行之有效的解決方案，實(shí)驗(yàn)表明，上述改進(jìn)方案確實(shí)可以很好地解決復(fù)雜背景下跟蹤框易漂移的問(wèn)題。

3.8Median-Flow跟蹤器穩(wěn)定性相對(duì)較弱

導(dǎo)致Median-Flow跟蹤器不穩(wěn)定的主要因素是Lucas-Kanade光流法，Median-Flow跟蹤器依賴后者產(chǎn)生具體的跟蹤軌跡。但是光流法又是基于目標(biāo)運(yùn)動(dòng)一致性假設(shè)的，當(dāng)目標(biāo)運(yùn)動(dòng)速度過(guò)快時(shí)，顯然違背了該假設(shè)。在現(xiàn)實(shí)生活中，只有極少數(shù)的情景才滿足目標(biāo)運(yùn)動(dòng)一致性假設(shè)。

文獻(xiàn)[14]所提出的跟蹤器，是基于Cell FoT+算法的。跟蹤器框架如圖4所示。

圖4　跟蹤器框架

文獻(xiàn)[23]引入粒子濾波和積分直方圖來(lái)改進(jìn)跟蹤器。由于中值流跟蹤器采用FB誤差來(lái)實(shí)現(xiàn)跟蹤自檢測(cè)，其需要連續(xù)運(yùn)用兩次金字塔光流法跟蹤特征點(diǎn)。顯然，此舉無(wú)形中增大了出錯(cuò)的風(fēng)險(xiǎn)。粒子濾波算法跟蹤比較準(zhǔn)確，但在長(zhǎng)期跟蹤中會(huì)面臨粒子退化和粒子匱乏的問(wèn)題。粒子濾波和金字塔光流法相結(jié)合的策略，不僅可以減少中值流跟蹤器中累積的誤差，還可以有效緩解粒子退化和粒子匱乏等現(xiàn)象。

在上述所述的方法中，文獻(xiàn)[14]所提出的方法比較優(yōu)秀，跟蹤精度高，但是比較復(fù)雜，時(shí)間復(fù)雜度高。

3.9 最近鄰分類器耗時(shí)巨大

目標(biāo)模型中樣本數(shù)量越大，最近鄰分類器耗時(shí)越大[24]。

文獻(xiàn)[24]將其提出的在目標(biāo)遮擋和跟蹤準(zhǔn)確性上有著良好表現(xiàn)的MGACT算法替換最近鄰分類器。MGACT 算法通過(guò)特征的壓縮，在執(zhí)行最后檢測(cè)時(shí)，可以憑借壓縮特征實(shí)現(xiàn)高速檢測(cè)，進(jìn)而大幅度提升幀處理速度。改進(jìn)檢測(cè)模塊邏輯圖見(jiàn)圖5。

圖5　改進(jìn)檢測(cè)模塊邏輯圖

文獻(xiàn)[30]通過(guò)將前景檢測(cè)、方差濾波、集成分類器和模板匹配串聯(lián)起來(lái)替代原始的檢測(cè)模塊，如圖3所示。在該新型檢測(cè)模塊中，前景檢測(cè)依賴于背景抽離技術(shù)，在每一幀中將所有圖像塊與背景模型進(jìn)行比較，如果兩者相似度低于閾值，那么就濾除該圖像塊，反之將此圖像塊標(biāo)記為正樣本圖像塊，接著傳入到下一級(jí)方法中；模板匹配技術(shù)在這4種“去噪”方法中對(duì)于負(fù)樣本圖像塊的濾除是最嚴(yán)格、最有效果的，因?yàn)閳D像塊之間的比較都是在像素級(jí)展開(kāi)的，先后通過(guò)計(jì)算NCC、d(p1，p2)和d+/-，最后將這4個(gè)參數(shù)歸一化為1個(gè)參數(shù)P+，以此來(lái)精確篩選出正負(fù)圖像塊樣本。

(1)

(2)

(3)

4　總結(jié)

當(dāng)前絕大多數(shù)的研究者都將注意力放在“貪婪搜索”和“目標(biāo)遮擋”上。而“手動(dòng)初始化”和“最近鄰分類器耗時(shí)巨大”這兩大缺陷卻沒(méi)有得到太多的關(guān)注。“手動(dòng)初始化”這一缺點(diǎn)會(huì)在跟蹤啟動(dòng)的時(shí)候就將誤差等干擾因子引入整個(gè)系統(tǒng)，隨著跟蹤系統(tǒng)的不斷進(jìn)行，誤差會(huì)不斷累積，最終將導(dǎo)致跟蹤失敗；“最近鄰分類器耗時(shí)巨大”這一問(wèn)題，是關(guān)乎TLD系統(tǒng)實(shí)時(shí)性的決定性因素，亟待解決。

就目前來(lái)說(shuō)，國(guó)內(nèi)外對(duì)TLD的理論研究還不是很成熟，隨著對(duì)TLD算法研究的不斷深入，越來(lái)越多的缺陷會(huì)被挖掘，同時(shí)也會(huì)涌現(xiàn)出越來(lái)越多的優(yōu)質(zhì)高效地解決方案。

[1]KALALZ，MIKOLAJCZYKK，MATASJ.Forward-backwarderror：automaticdetectionoftrackingfailures[C]//Proc. 20thInternationalConferenceonPatternRecognition(ICPR). [S.l.]：IEEE，2010：2756-2759.

[2]KALALZ，MATASJ，MIKOLAJCZYKK.Onlinelearningofrobustobjectdetectorsduringunstabletracking[C]//Proc.IEEE12thInternationalConferenceonComputerVisionWorkshops(ICCVWorkshops) . [S.l.]：IEEE，2009：1417-1424.

[3]KALALZ，MATASJ，MIKOLAJCZYKK.Pnlearning：bootstrappingbinaryclassifiersbystructuralconstraints[C]//Proc.IEEEConferenceonComputerVisionandPatternRecognition(CVPR) . [S.l.]：IEEE，2010：49-56.

[4]KALALZ，MIKOLAJCZYKK，MATASJ.Tracking-learning-detection[J].IEEEtransactionsonpatternanalysisandmachineintelligence，2012，34(7)：1409-1422.

[5]NEMADEB，BHARADIVA.Adaptiveautomatictracking，learninganddetectionofanyrealtimeobjectinthevideostream[C]//Proc.IEEE5thInternationalConferenceonConfluenceTheNextGenerationInformationTechnologySummit(Confluence). [S.l.]：IEEE，2014： 569-575.

[6]HAILONGW，GUANGYUW，JIANXUNL.Animprovedtracking-learning-detectionmethod[C]//Proc.IEEE34thChineseControlConference(CCC). [S.l.]：IEEE，2015： 3858-3863.

[7]ZHANGP，SUNYQ，YA-LIWU，etal.AparallelimplementationofTLDalgorithmusingCUDA[C]// 2013全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì). 桂林：[出版者不詳]，2013：220-224.

[8]龔小彪，何濤. 基于卡爾曼濾波的抗遮擋TLD跟蹤算法[J]. 信息與電腦(理論版)，2014(4)：195-196.

[9]劉朵. 基于特征描述子的目標(biāo)跟蹤研究[D]. 西安：西安電子科技大學(xué)，2013.

[10]李敏敏.基于TLD模型的目標(biāo)跟蹤方法[D]. 西安：西安電子科技大學(xué)，2013.

[11]王建剛，李醒飛，陳誠(chéng)，等. 改進(jìn)TLD算法在光電跟蹤中的應(yīng)用[J].紅外技術(shù)，2015(10)：824-830.

[12]張帥領(lǐng).基于TLD的視頻目標(biāo)跟蹤算法的研究[D]. 西安：西安電子科技大學(xué)，2014.

[13]高帆，吳國(guó)平，刑晨，等.TLD目標(biāo)跟蹤算法研究[J].電視技術(shù)，2013，37(11)：70-74.

[14]周鑫，錢(qián)秋朦，葉永強(qiáng)，等.改進(jìn)后的TLD視頻目標(biāo)跟蹤方法[J].中國(guó)圖象圖形學(xué)報(bào)，2013(9)：1115-1123.

[15]SUNC，ZHUS，LIUJ.FusingKalmanfilterwithTLDalgorithmfortargettracking[C]//Proc. 2015 34thChineseControlConference(CCC). [S.l.]：IEEE，2015：3736-3741.

[16]金龍，孫涵.TLD視頻目標(biāo)跟蹤方法改進(jìn)[J].計(jì)算機(jī)與現(xiàn)代化，2015(4)：42-46.

[17]曲海成，單曉晨，孟煜，等.檢測(cè)區(qū)域動(dòng)態(tài)調(diào)整的TLD目標(biāo)跟蹤算法[J].計(jì)算機(jī)應(yīng)用，2015(10)：2985-2989.

[18]鄭遠(yuǎn)力，胡志坤. 基于滑動(dòng)掃描框的高速物體的圖像實(shí)時(shí)跟蹤算法[J]. 計(jì)算機(jī)科學(xué)，2015(10)：287-291.

[19]滕飛，劉清，朱琳. 一種快速魯棒的內(nèi)河CCTV系統(tǒng)船舶跟蹤算法[J]. 武漢理工大學(xué)學(xué)報(bào)，2014(5)：80-85.

[20]江博.基于Kalman的TLD目標(biāo)跟蹤算法研究[D]. 西安：西安科技大學(xué)，2013.

[21]肖慶國(guó)，葉慶衛(wèi)，周宇，等.基于Mean-Shift優(yōu)化的TLD視頻長(zhǎng)時(shí)間跟蹤算法[J].計(jì)算機(jī)應(yīng)用研究，2015(3)：925-928.

[22]齊楠楠，揭斐然，謝熙，等.基于TLD的艦船目標(biāo)跟蹤方法研究[J].紅外技術(shù)，2013(12)：780-787.

[23]周雅琪. 結(jié)合濾波理論的內(nèi)河視頻序列船舶TLD跟蹤算法研究[D].武漢：武漢理工大學(xué)，2013.

[24]黃坤. 基于在線學(xué)習(xí)算法的目標(biāo)跟蹤技術(shù)研究[D]. 北京：北京理工大學(xué)，2015.

[25]程立英，張丹，趙姝穎，等.一種基于TLD改進(jìn)的視覺(jué)跟蹤算法[J].科學(xué)技術(shù)與工程，2013(9)：2382-2386.

[26]包涵，黃學(xué)航，陸星家.TLD目標(biāo)追蹤算法研究[J]. 寧波工程學(xué)院學(xué)報(bào)，2012(1)：52-54.

[27]楊萌，楊陽(yáng)，王藝，等. 一種改進(jìn)的TLD算法[J]. 傳感器與微系統(tǒng)，2014(12)：130-133.

[28]呂枘蓬，蔡肖芋，董亮，等. 基于TLD框架的上下文目標(biāo)跟蹤算法[J]. 電視技術(shù)，2015，39(9)：6-9.

[29]成正國(guó)，潘廣貞. 基于TLD的動(dòng)態(tài)背景下視覺(jué)跟蹤技術(shù)研究[J]. 電視技術(shù)，2015，39(7)：111-114.

[30]NEBEHAYG.Robustobjecttrackingbasedontracking-learning-detection[EB/OL]. [2015-12-18].http://www.gnebehay.com/publications/master_thesis/master_thesis.pdf.

[31]CHENGS，LIUG，SUNJ.Robustandfasttracking-learning-detection[C]//Proc. 2015InternationalConferenceonComputerScienceandIntelligentCommunication. [S.l.]：Atlantis，2015.

[32]李俊，謝維信，李良群. 基于空時(shí)線索的TLD視頻跟蹤算法[J]. 信號(hào)處理，2015，31(10)：1287-1293.

杜奎(1990— )，碩士生，主研視覺(jué)目標(biāo)跟蹤；

楊豐瑞(1963— )，博士，教授，主要研究方向?yàn)橥ㄐ判录夹g(shù)應(yīng)用與電信增值業(yè)務(wù)；

莊園(1990— )，女，碩士生，主研蜂窩網(wǎng)下D2D通信的干擾協(xié)調(diào)技術(shù)。

責(zé)任編輯：閆雯雯

Survey on TLD object tracking algorithm

YANG Fengrui1，DU Kui2，ZHUANG Yuan2

((1.ChongqingInformationTechnology(Group)Co.，Ltd.，Chongqing400065，China；2.ApplicationofNewTechnologiesofCommunicationResearchCenter，ChongqingUniversityofPostandTelecommunications，Chongqing400065，China)

In order to enable long-term tracking for unknown objects， a semi-supervized machine learning algorithm is added in object tracking based on TLD algorithm which matches traditional tracking algorithm and detection algorithm for keeping capturing the newest appearances by continuous learning. Firstly， TLD’s theoretical background， tracking framework and major defects are introduced. Then， the improvements of the original algorithm are elaborately disscussed. Finally， the propspects of object tracking based on TLD algorithm are presented.

object tracking；semi-supervized machine learning；median flow tracker；random forest classifier

TN391.41

ADOI： 10.16280/j.videoe.2016.10.021

2015年重慶市研究生科研創(chuàng)新項(xiàng)目(CYS15166)

2015-12-18

文獻(xiàn)引用格式：楊豐瑞，杜奎，莊園. TLD目標(biāo)跟蹤算法綜述[J].電視技術(shù)，2016，40(10)：101-106.YANG F R，DU K，ZHUANG Y. Survey on TLD object tracking algorithm [J]. Video engineering，2016，40(10)：101-106.