摘 要：隨著智能時(shí)代的到來(lái)，圖像處理技術(shù)成為專家學(xué)者研究的熱門，目標(biāo)跟蹤也成為眾多研究者關(guān)注的焦點(diǎn)，其中TLD（Tracking-Learning-Detection）跟蹤算法是一種跟蹤效果穩(wěn)定性、魯棒性、可靠性都很高的跟蹤算法。但其計(jì)算量十分巨大，使一般嵌入式設(shè)備無(wú)法滿足其運(yùn)算要求，跟蹤效果的實(shí)時(shí)性也大打折扣。針對(duì)TLD這種缺陷，文章提出了TLD和卡爾曼濾波器相結(jié)合的目標(biāo)跟蹤算法。在不影響跟蹤效果的魯棒性和可靠性的前提下，使實(shí)時(shí)性有了很大提高，也使對(duì)計(jì)算機(jī)硬件的要求降低了很多。

關(guān)鍵詞：TLD；卡爾曼濾波器；目標(biāo)跟蹤

引言

TLD[1]（Tracking-Learning-Detection）是英國(guó)薩里大學(xué)的一個(gè)捷克籍博士生在其攻讀博士學(xué)位期間提出的一種新的單目標(biāo)長(zhǎng)時(shí)間（long term tracking）跟蹤算法。該算法與傳統(tǒng)跟蹤算法的顯著區(qū)別在于將傳統(tǒng)的跟蹤算法和傳統(tǒng)的檢測(cè)算法相結(jié)合來(lái)解決被跟蹤目標(biāo)在被跟蹤過(guò)程中發(fā)生的形變、部分遮擋等問(wèn)題。同時(shí)，通過(guò)一種改進(jìn)的在線學(xué)習(xí)機(jī)制不斷更新跟蹤模塊的“顯著特征點(diǎn)”和檢測(cè)模塊的目標(biāo)模型及相關(guān)參數(shù)，從而使得跟蹤效果更加穩(wěn)定、魯棒、可靠。

該方法雖然有較好的跟蹤效果，但它需要一個(gè)離線的學(xué)習(xí)過(guò)程。即：在檢測(cè)之前，需要挑選大量的被跟蹤目標(biāo)的樣本來(lái)進(jìn)行學(xué)習(xí)和訓(xùn)練。訓(xùn)練樣本要涵蓋被跟蹤目標(biāo)可能發(fā)生的各種形變和尺度、姿態(tài)變化的情況。所以在數(shù)據(jù)計(jì)算量十分巨大，對(duì)計(jì)算機(jī)硬件要求極高，一般的嵌入式設(shè)備更無(wú)法滿足要求。針對(duì)這一問(wèn)題，文章提出了卡爾曼濾波器和TLD相結(jié)合的解決辦法，利用卡爾曼濾波器來(lái)預(yù)測(cè)運(yùn)動(dòng)目標(biāo)在當(dāng)前幀的可能位置，將它作為TLD的起始位置，TLD會(huì)在這一位置鄰域內(nèi)尋找目標(biāo)在當(dāng)前幀的位置，從而大大縮小了檢測(cè)范圍，計(jì)算量也隨之大大減小，在很大程度上降低了對(duì)硬件的要求，對(duì)跟蹤的實(shí)時(shí)性也有了很大的提高。

1 TLD算法概述

能對(duì)鎖定的目標(biāo)進(jìn)行不斷的學(xué)習(xí)是TLD跟蹤系統(tǒng)最大優(yōu)點(diǎn)，通過(guò)算法計(jì)算出目標(biāo)有可能的各種形變，進(jìn)而達(dá)到較好的跟蹤效果。也就是說(shuō)，系統(tǒng)能持續(xù)不斷地進(jìn)行探測(cè)，獲知目標(biāo)在角度、距離、景深等方面的變化，并及時(shí)檢測(cè)。經(jīng)過(guò)一段時(shí)間的學(xué)習(xí)之后，跟蹤過(guò)程就能達(dá)到較好的效果。TLD算法由三部分組成：跟蹤模塊、檢測(cè)模塊、學(xué)習(xí)模塊。

下面簡(jiǎn)要介紹各模塊工作過(guò)程。

1.1 追蹤模塊

TLD采用的是Median-Flow追蹤算法，該算法具有正反連續(xù)性[2]（forward-backward consistency）。所謂的正反連續(xù)性是指在時(shí)間上的正序追蹤和反序追蹤，產(chǎn)生的軌跡是一樣的。假設(shè)從t時(shí)刻的初始位置x（t）開始進(jìn)行追蹤到t+k時(shí)刻的位置x（t+k），再?gòu)奈恢脁（t+k）反向追蹤t時(shí)刻的預(yù)測(cè)位置x（t）。

1.2 學(xué)習(xí)模塊

TLD跟蹤算法學(xué)習(xí)模塊使用的是P-N學(xué)習(xí)[3]（P-N Learning）。P-N學(xué)習(xí)是一種半監(jiān)督的機(jī)器學(xué)習(xí)算法，它針對(duì)檢測(cè)器對(duì)樣本分類時(shí)產(chǎn)生的兩種錯(cuò)誤提供了兩種“專家”進(jìn)行糾正。

P專家（P-expert）：檢出漏檢（1 negative，正樣本誤分為負(fù)樣本）的正樣本。

N專家（N-expert）：改正誤檢（1 positive，負(fù)樣本誤分為正樣本）的正樣本。

1.3 檢測(cè)模塊

檢測(cè)模塊能夠改正追蹤模塊做出的錯(cuò)誤判定，所以檢測(cè)模塊是追蹤模塊的監(jiān)督者；檢測(cè)模塊通過(guò)計(jì)算新樣本的相對(duì)相似度，如大于0.6，就認(rèn)為是正樣本。分別用Pi和Pj表示正鄰近相似度和負(fù)鄰近相似度。公式里規(guī)范化的相關(guān)系數(shù)用N表示，相似度S的取值范圍在[0，1]之間。

通過(guò)實(shí)驗(yàn)表明：當(dāng)最終相似度大于0.85系統(tǒng)就可以認(rèn)定為跟蹤準(zhǔn)確，當(dāng)相似度小于0.6時(shí)系統(tǒng)認(rèn)為跟蹤發(fā)生偏離，要向系統(tǒng)報(bào)錯(cuò)。

2 卡爾曼濾波器預(yù)估啟動(dòng)點(diǎn)

2.1 濾波器引入

從上面TLD算法的工作過(guò)程我們可以知道，該過(guò)程相當(dāng)復(fù)雜，需要進(jìn)行大量的預(yù)估和計(jì)算，對(duì)計(jì)算機(jī)硬件要求極高，一般硬件很難完成實(shí)時(shí)性的要求，而卡爾曼濾波器對(duì)硬件設(shè)備要求很低，所以我們首先用卡爾曼濾波器預(yù)估目標(biāo)的位置，作為TLD算法中目標(biāo)的起始位置，TLD會(huì)在這一目標(biāo)位置的鄰域內(nèi)找到目標(biāo)的最優(yōu)位置，從而大大減少了TLD尋找目標(biāo)位置的過(guò)程，進(jìn)而減少了計(jì)算量，提高了跟蹤的實(shí)時(shí)性。

2.2 濾波器模型

由于現(xiàn)實(shí)生活中我們跟蹤的目標(biāo)的運(yùn)動(dòng)速度和加速度都是一個(gè)隨機(jī)變量，在做隨機(jī)的非直線運(yùn)動(dòng)，對(duì)我們的跟蹤造成一定麻煩。設(shè)隨機(jī)量加速度，α（t）～N（0，σ2w），令目標(biāo)中心在x軸y軸上的位置分量分別是X（k）與Y（k）。x軸和y軸上的速度分別是X'（k），Y'（k）。頻域模型和時(shí)域模型組成了卡爾曼濾波。

時(shí)域模型：X（k）=A（k-1）X（k-1）+B（K）W（k）

頻域模型：Y（k）=C（k）X（k）+V（k）

用矩陣的形式表示為：

3 實(shí)驗(yàn)仿真與結(jié)果分析

為了比較文章提出的改進(jìn)算法與原始的TLD跟蹤算法的優(yōu)劣，文章首先對(duì)跟蹤目標(biāo)在MATLAB7.0下進(jìn)行仿真實(shí)驗(yàn)，仿真結(jié)果如圖1所示：

從用MATLAB仿真效果來(lái)看，兩種算法的跟蹤效果相差不大，可見文章提出的算法是可以達(dá)到原始算法的魯棒性和可靠性的要求，為了更準(zhǔn)確起見，我們?cè)贚inux系統(tǒng)下，基于Opencv2.3編程實(shí)現(xiàn)該算法，對(duì)下面視頻中運(yùn)動(dòng)的排球進(jìn)行跟蹤，驗(yàn)證改進(jìn)算法的實(shí)時(shí)性能是否有較好的提升。跟蹤效果如圖2、圖3所示：

通過(guò)我們對(duì)排球比賽中排球的跟蹤結(jié)果發(fā)現(xiàn)兩種，兩種跟蹤方法對(duì)排球跟蹤的魯棒性和可靠性相差不大，可以證明我們的跟蹤方法沒(méi)有削弱原來(lái)算法的魯棒性和可靠性。但我們通過(guò)表1表2通過(guò)對(duì)比兩種方法處理同一視頻的20到34幀共15幀圖像處理的時(shí)間分析對(duì)比可以發(fā)現(xiàn)用原始TLD算法跟蹤15幀圖像共消耗時(shí)間0.451S，平均每幀消耗時(shí)間為0.030S。用改進(jìn)后的TLD算法跟蹤15幀圖像共消耗時(shí)間0.286S，平均每幀消耗時(shí)間為0.019S。通過(guò)對(duì)數(shù)據(jù)分析我們發(fā)現(xiàn)改進(jìn)后的算法在不影響跟蹤效果的基礎(chǔ)上處理每幀所用的時(shí)間比原來(lái)減少了35%，證明了我們的算法實(shí)時(shí)性要比原來(lái)算法實(shí)時(shí)性更好。

4 結(jié)束語(yǔ)

TLD跟蹤算法具有在線學(xué)習(xí)機(jī)制和檢測(cè)糾錯(cuò)機(jī)制，通過(guò)不斷學(xué)習(xí)目標(biāo)樣本的變形及在跟蹤過(guò)程中不斷糾錯(cuò)，使跟蹤器具有較好的跟蹤效果。但由于計(jì)算量太大很難滿足跟蹤實(shí)時(shí)性的要求，為解決實(shí)時(shí)性的要求，文章提出了卡爾曼濾波器和TLD跟蹤算法相結(jié)合的算法，首先通過(guò)卡爾曼濾波器預(yù)測(cè)出目標(biāo)可能出現(xiàn)的位置，然后用TLD算法跟蹤在可能出現(xiàn)的位置尋找目標(biāo)位置，從而使TLD算法查找的范圍大大縮減，由于卡爾曼濾波器計(jì)算量比較小，綜合起來(lái)新算法的計(jì)算量比原算法相比計(jì)算量仍然減少了很多，跟蹤的實(shí)時(shí)性得到了提高，實(shí)驗(yàn)數(shù)據(jù)表明新算法跟蹤目標(biāo)所用的時(shí)間更短，也就證明實(shí)時(shí)性得到了提高。

參考文獻(xiàn)

[1]Kalal Z，Matas J，Mikolajczyk K. Online learning of robust object detectors during unstable tracking[C]//Proceedings of the IEEE Online Learning for Computer Vision Workshop. New York： IEEE Press，2009：14171424.

[2]Kalal Z，Mikolajczyk K，Matas J. Forward-backward error： automatic detection of tracking failures[C]//Proceedings of International Conference on Pattern Recognition. New York： IEEE Press，2010：2326.

[3]Kalal Z，Matas J，Mikolajczyk K. P-N learning： bootstrapping binary classifiers by structural constraints[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2010：4956.