焦蓬斐　秦品樂(lè)

摘 要：針對(duì)TLD（tracking-learning-detection）跟蹤算法在檢測(cè)模塊中需要使用滑動(dòng)窗口的方式檢測(cè)大量的子窗口圖像，其運(yùn)算復(fù)雜度較高，本文在原始TLD算法的檢測(cè)模塊之前引入了前景檢測(cè)，減少了后續(xù)檢測(cè)的窗口樣本。改進(jìn)算法在時(shí)間復(fù)雜度上有所降低并通過(guò)實(shí)驗(yàn)驗(yàn)證了改進(jìn)算法的可行性。

關(guān)鍵詞：目標(biāo)跟蹤；TLD；前景檢測(cè)

DOI：10.16640/j.cnki.37-1222/t.2016.09.191

1 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是機(jī)器視覺(jué)研究領(lǐng)域的重要研究?jī)?nèi)容之一。將運(yùn)動(dòng)目標(biāo)從圖像中識(shí)別出來(lái)，對(duì)于人類(lèi)而言是非常簡(jiǎn)單的。但是對(duì)于計(jì)算機(jī)來(lái)說(shuō)卻存在著很多難題。運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤主要利用圖像處理等相關(guān)技術(shù)對(duì)視頻序列圖像處理、分析和理解。它已經(jīng)在遙感遙測(cè)、工業(yè)安防、航天航空、智能機(jī)器人、社會(huì)安防等領(lǐng)域發(fā)揮著重要作用。研究此問(wèn)題具有非常重要的應(yīng)用價(jià)值。

目標(biāo)跟蹤作為計(jì)算機(jī)視覺(jué)領(lǐng)域的核心內(nèi)容，是視頻監(jiān)控、人機(jī)交互等應(yīng)用的重要組成部分。目標(biāo)跟蹤算法通常由特征提取、模型更新、運(yùn)動(dòng)模型、觀測(cè)模型等模塊組成。Kalal等人[1]提出了TLD目標(biāo)跟蹤算法，并得到了廣泛的關(guān)注。TLD算法由跟蹤（Tracking）、檢測(cè)（Detection）、融合（Fusion）、學(xué)習(xí)（Learning）四部分組成。

2 TLD算法簡(jiǎn)介

TLD中各個(gè)模塊的描述如下：

（1）跟蹤模塊：跟蹤點(diǎn)的布局采用了在目標(biāo)圖像框內(nèi)均勻撒點(diǎn)的策略，跟蹤方法使用的是Lucas-Kanade光流法，為了篩選出可靠的跟蹤點(diǎn)，算法采用了前向-后向誤差（forward-backward error）法，即進(jìn)行兩次光流法，再結(jié)合圖像的相關(guān)相似度判定條件來(lái)確定穩(wěn)定的跟蹤點(diǎn)，從而估計(jì)目標(biāo)的位置和大小。

（2）檢測(cè)模塊：跟蹤模塊作為一個(gè)短時(shí)跟蹤器假設(shè)目標(biāo)在整個(gè)圖像序列中可見(jiàn)，若目標(biāo)在圖像序列中消失后又重現(xiàn)或發(fā)生嚴(yán)重形變將導(dǎo)致跟蹤失敗，因此需要檢測(cè)模塊彌補(bǔ)跟蹤模塊的不足。基于滑動(dòng)窗口的檢測(cè)模塊采用級(jí)聯(lián)架構(gòu)分類(lèi)器（方差分類(lèi)器、集成分類(lèi)器、最近鄰分類(lèi)器）。檢測(cè)模塊可能檢測(cè)出多個(gè)結(jié)果，最后將檢測(cè)結(jié)果與跟蹤結(jié)果融合，確定當(dāng)前幀的最優(yōu)輸出結(jié)果。

（3）融合模塊：融合模塊接收跟蹤模塊和檢測(cè)模塊的結(jié)果，在確定目標(biāo)最終的跟蹤位置時(shí)，優(yōu)先考慮跟蹤模塊所得到的結(jié)果，即如果跟蹤模塊的輸出結(jié)果與目標(biāo)圖像的相似度大于閾值，將該位置作為當(dāng)前幀的跟蹤結(jié)果。否則，從檢測(cè)模塊的結(jié)果中篩選出與目標(biāo)相似度最大的圖像作為跟蹤結(jié)果，同時(shí)更新跟蹤模塊的目標(biāo)模板。

（4）學(xué)習(xí)模塊：TLD算法的學(xué)習(xí)過(guò)程是建立在在線(xiàn)模型（online model）的基礎(chǔ)上[2]。在線(xiàn)模型是一個(gè)動(dòng)態(tài)模型，它維護(hù)著一個(gè)大小為15×15的圖像塊的集合。這些圖像塊來(lái)自跟蹤模塊和檢測(cè)模塊所得到的結(jié)果。圖像塊的數(shù)量隨著視頻序列增長(zhǎng)或減小，分別由增長(zhǎng)事件和修剪事件驅(qū)動(dòng)。

3 TLD改進(jìn)算法

TLD原始算法的檢測(cè)模塊中，需要使用滑動(dòng)窗口的方式遍歷圖像中的所有子窗口通過(guò)級(jí)聯(lián)檢測(cè)器，計(jì)算量較大。本文提出的改進(jìn)的算法通過(guò)使用前景檢測(cè)的方法，獲取運(yùn)動(dòng)目標(biāo)大概所在的位置，在較為小的區(qū)間里檢測(cè)子窗口。

改進(jìn)算法在檢測(cè)模塊執(zhí)行前使用前景檢測(cè)算法，提取出運(yùn)動(dòng)目標(biāo)的大致位置。改進(jìn)算法通過(guò)如下步驟實(shí)現(xiàn)前景目標(biāo)的提?。?/p>

（1）計(jì)算背景圖像與存在目標(biāo)圖像的絕對(duì)差I(lǐng)abdDiff=│Ibg-I│，其中Ibg為背景圖像，I為存在檢測(cè)對(duì)象的圖像，求得差分圖像IabdDiff。

（2）將差分圖像將閾值化，轉(zhuǎn)為二值圖像Ibinary，設(shè)定閾值為16。

（3）求取二值圖像中白色像素的連通區(qū)域，我們應(yīng)用了一種標(biāo)記算法，該算法只遍歷圖像一次，將圖像中連通區(qū)域標(biāo)識(shí)出。

（4）第三步會(huì)求得一個(gè)或多個(gè)連通區(qū)域，設(shè)定閾值為10*10，若連通區(qū)域的面積小于100個(gè)像素或區(qū)域的長(zhǎng)、寬小于10，則將該連通區(qū)域排除，剩余的區(qū)域則認(rèn)為是包含目標(biāo)的前景候選區(qū)域，將這些區(qū)域的鄰域窗口送入檢測(cè)模塊，執(zhí)行后續(xù)的級(jí)聯(lián)檢測(cè)。

4 實(shí)驗(yàn)驗(yàn)證

改進(jìn)實(shí)驗(yàn)適用于攝像機(jī)固定的應(yīng)用場(chǎng)景，需要在跟蹤之前獲取背景圖像。實(shí)驗(yàn)采用的測(cè)試集包括 liquor， lemming， box。對(duì)測(cè)試集的描述參見(jiàn)文獻(xiàn)[3]，通過(guò)統(tǒng)計(jì)兩個(gè)測(cè)試集上跟蹤速度（幀率：幀/秒）比較改進(jìn)算法（TLD_FG）與原始TLD算法的性能。由表1可見(jiàn)，改進(jìn)算法在跟蹤速度上有所提高。

5 結(jié)束語(yǔ)

文章通過(guò)分析TLD跟蹤算法在檢測(cè)模塊中的算法復(fù)雜性，提出了引入運(yùn)動(dòng)目標(biāo)前景檢測(cè)的TLD改進(jìn)算法，減小了原始TLD算法在檢測(cè)模塊中的計(jì)算量，通過(guò)實(shí)驗(yàn)驗(yàn)證了改進(jìn)算法有效性與實(shí)時(shí)性。

參考文獻(xiàn)：

[1]Z Kalal，J Matas，K Mikolajczyk.Tracking-Learning-Detection[J]，IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（07）：1409-1422.

[2]Georg Nebehay， Roman Pflug felder. Consensus-based Matching and Tracking of Keypoints for Object Tracking[C]. Applications of Computer Vision （WACV），2014 IEEE Winter Conference on，2014：862-869.

作者簡(jiǎn)介：焦蓬斐（1991-），男，山西忻州人，碩士在讀，研究方向：計(jì)算機(jī)視覺(jué)及圖像處理。