周愛軍， 張 松， 杜宇人

（1.南京師范大學(xué)泰州學(xué)院，江蘇泰州225300；2.揚(yáng)州大學(xué)信息工程學(xué)院，江蘇揚(yáng)州225000）

0 引 言

運(yùn)動(dòng)目標(biāo)跟蹤集成了人工智能、圖像處理、模式識(shí)別以及神經(jīng)網(wǎng)絡(luò)等計(jì)算機(jī)領(lǐng)域的復(fù)雜技術(shù)［1-2］，是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域中研究的熱門課題，廣泛應(yīng)用于身份識(shí)別、車輛導(dǎo)航、視頻檢索、人機(jī)交互、視頻監(jiān)控以及工業(yè)安防等領(lǐng)域。目標(biāo)跟蹤可以理解為對視頻序列的每幀圖像進(jìn)行分析和處理，找到目標(biāo)尺度［3］、顏色［4］、形狀［5］和模式［6］等信息，通過前后幀圖像的匹配［7-8］計(jì)算出目標(biāo)的運(yùn)動(dòng)軌跡。

當(dāng)前主要的跟蹤算法有卡爾曼濾波［9］、Cam shift［10］、粒子濾波［11］和SVM［12］等。當(dāng)目標(biāo)跟蹤過程中存在陰影、遮擋、實(shí)時(shí)性等問題時(shí)，傳統(tǒng)算法缺少檢測和修復(fù)跟蹤偏差相結(jié)合模塊，只能針對特定問題進(jìn)行處理，并且只能在較短的時(shí)間內(nèi)達(dá)到較好的跟蹤效果。當(dāng)目標(biāo)初始化后，這些算法都是通過不同規(guī)則預(yù)測目標(biāo)位置，當(dāng)遇到遮擋和光照的變化時(shí)，就可能產(chǎn)生跟蹤漂移現(xiàn)象，隨著長時(shí)間的漂移累加最終導(dǎo)致目標(biāo)丟失。

跟蹤學(xué)習(xí)檢測（Tracking Learning Detection，TLD）由Kalal提出，在單目標(biāo)長時(shí)間跟蹤中具有很大優(yōu)勢。與傳統(tǒng)算法相比，該算法引入了在線學(xué)習(xí)機(jī)制，找出每1 幀圖像中分類出現(xiàn)錯(cuò)誤的樣本進(jìn)行糾正，并及時(shí)反饋給訓(xùn)練集，更新分類器。這種算法由于將跟蹤、學(xué)習(xí)和檢測相結(jié)合，在學(xué)習(xí)過程中持續(xù)更新目標(biāo)模板參數(shù)，所以具有優(yōu)秀的魯棒性。本文提出了一種基于MeanShift的TLD目標(biāo)跟蹤算法，通過TLD 跟蹤框的置信度來合理選擇MeanShift跟蹤算法迭代起始點(diǎn)，提高算法抗遮擋能力。在TLD跟蹤模塊用Susan角點(diǎn)代替均勻采樣點(diǎn)，減少計(jì)算時(shí)間，提高了跟蹤的實(shí)時(shí)性。

1 TLD算法

相對于傳統(tǒng)的目標(biāo)跟蹤算法，TLD 將跟蹤和檢測結(jié)合起來，并且引用了在線學(xué)習(xí)機(jī)制，使其在跟蹤被遮擋目標(biāo)和目標(biāo)形變等情況下更具魯棒性。它采用半監(jiān)督的學(xué)習(xí)機(jī)制，利用少量監(jiān)督數(shù)據(jù)和海量無監(jiān)督數(shù)據(jù)相結(jié)合，大大提高算法的性能。TLD包括跟蹤、檢測與學(xué)習(xí)模塊，算法框架圖如圖1 所示。

圖1 TLD算法框架

（1）跟蹤模塊。TLD 跟蹤器是在Median Tracker基礎(chǔ)上增加錯(cuò)誤檢測功能的新算法。跟蹤模塊采用了LK光流法［13-14］，且增加了前向和后向誤差檢測功能。在目標(biāo)區(qū)域利用Grid 采樣獲得100 個(gè)樣本點(diǎn)，用LK光流法對這些點(diǎn)進(jìn)行2 次跟蹤，然后計(jì)算對應(yīng)的NCC相關(guān)系數(shù)，并求得中值。最后根據(jù)這些可靠跟蹤點(diǎn)來更新目標(biāo)跟蹤框。

Kalal的Forward-Backward 錯(cuò)誤檢測算法需要2次利用LK光流法。如圖2 所示，點(diǎn)①跟蹤成功；點(diǎn)②經(jīng)過2 次光流后未到達(dá)原來的點(diǎn)，說明點(diǎn)②跟蹤失敗。

圖2 中值流法跟蹤示意圖

實(shí)際情況中，2 次光流后不會(huì)剛好回到原來特征點(diǎn)，存在一定的偏差。假設(shè)2 次光流的偏差小于設(shè)定的閾值，則判定跟蹤成功。2 次光流的差值表示為

式中：p″＝LK（LK（p）），為2 次光流后的點(diǎn)。

TLD算法的跟蹤模塊利用金字塔LK 光流跟蹤和前向后向誤差檢測計(jì)算出跟蹤誤差，去除誤差較大的樣本點(diǎn)。最終通過可靠的特征點(diǎn)計(jì)算出當(dāng)前目標(biāo)的新位置。該算法稱作中值流跟蹤法，算法實(shí)現(xiàn)過程如圖3 所示。

圖3 中值流跟蹤算法的實(shí)現(xiàn)

（2）檢測模塊。TLD 檢測模塊由方差分類器、級(jí)聯(lián)分類器和最近鄰分類器組成。它是通過滑動(dòng)窗口檢測圖像序列。當(dāng)跟蹤過程中出現(xiàn)目標(biāo)丟失，跟蹤器無法從錯(cuò)誤中恢復(fù)，這時(shí)需要利用檢測器進(jìn)行目標(biāo)檢測，找出跟蹤丟失的目標(biāo)。當(dāng)檢測窗口被3 個(gè)檢測器接受可判斷為目標(biāo)窗口。TLD 檢測模塊流程圖如圖4所示。

將目標(biāo)區(qū)域、候選區(qū)域的方差進(jìn)行比較，并將方差小于原始目標(biāo)方差一半的區(qū)域過濾掉，方差計(jì)算式為

圖4 檢測模塊流程圖

式中：D（x）表示灰度方差；E（x2）為圖像塊灰度平方的均值；E2（x）為灰度均值的平方。利用方差檢測器將圖像中不可能成為前景目標(biāo)的區(qū)域?yàn)V除。

TLD級(jí)聯(lián)分類器就是對比一些像素的亮度值，對每個(gè)檢測窗口計(jì)算其概率PPOS，滿足PPOS＞0.5 才能被接受。

通過方差檢測器和級(jí)聯(lián)檢測器的窗口最后需要通過最近鄰檢測器的篩選，選擇與上1 幀目標(biāo)相似度高的為最后的檢測結(jié)果。這兩個(gè)圖像塊之間的相似性度量為

（3）學(xué)習(xí)模塊。TLD學(xué)習(xí)模塊應(yīng)用半監(jiān)督學(xué)習(xí)方法，使用P-N學(xué)習(xí)的方法對檢測器中的每1 幀進(jìn)行估計(jì)，利用P專家找出錯(cuò)誤的負(fù)樣本，N專家找出錯(cuò)誤的正樣本。把結(jié)果反饋給訓(xùn)練集，從而更新分類器。這樣就可以不斷在線更新學(xué)習(xí)。

2 基于MeanShift的TLD跟蹤算法

2.1 MeanShift算法原理

假設(shè)給定d 維空間Rd中n 個(gè)樣本點(diǎn)xi（i ＝1，2，…，n）。在x點(diǎn)的MeanShift向量的基本形式定義為

式中：k是落入Sh區(qū)域內(nèi)的所有樣本點(diǎn)的個(gè)數(shù)；Sh是一個(gè)高維球區(qū)域，半徑為h。滿足以下關(guān)系的y 點(diǎn)的集合

采樣點(diǎn)平均偏移量常用MeanShift向量表示，模板匹配時(shí)往樣本分布占比多的區(qū)域迭代。一般而言，Sh中與x越靠近的樣本點(diǎn)，其與x 周圍的統(tǒng)計(jì)特征關(guān)聯(lián)越大，所以引入核函數(shù)，并根據(jù)每個(gè)樣本點(diǎn)位置不同賦予其對應(yīng)的權(quán)值，擴(kuò)展的MeanShift向量表示為

式中：G（x）是核函數(shù)，一般選擇高斯核函數(shù)；wi為樣本點(diǎn)的權(quán)值。對于樣本空間中某一點(diǎn)z的概率密度可由核概率密度通過下式進(jìn)行估計(jì)：

式中，k（x）表示核函數(shù)K（x）的輪廓函數(shù)。

MeanShift算法是一個(gè)不斷迭代直至達(dá)到最佳位置的過程。如果假設(shè)初始點(diǎn)為x，允許的誤差為ε，則MeanShift算法的具體步驟：①計(jì)算Mh（x）；②把Mh（x）賦給x；③如果mh（x）-x ＜ε，結(jié)束循環(huán)，否則執(zhí)行①。

2.2 基于MeanShift的TLD跟蹤算法

首先對MeanShift 搭建模型和參數(shù)選擇。選擇RGB空間計(jì)算目標(biāo)模板的直方圖，目標(biāo)模板的像素個(gè)數(shù)用N 表示，選擇Epanechikov 核函數(shù)計(jì)算其核顏色直方圖，則目標(biāo)模板的概率密度估計(jì)可以表示為

根據(jù)上1 幀的跟蹤結(jié)果確定當(dāng)前幀的搜索中心坐標(biāo)y。以y為中心的區(qū)域中的每個(gè)像素用｛xi，i ＝1，2，…，n｝表示，則候選模板的概率密度估計(jì)為

采用式（11）求Bahttacharyya（BH）系數(shù)，計(jì)算待匹配目標(biāo)和待選模板間的相似度，BH系數(shù)越大，相似度越高

在迭代搜索候選目標(biāo)的過程中，常用的偏移量小于閾值。實(shí)際應(yīng)用中，迭代次數(shù)更多用來控制搜索，通常情況下?lián)竦螖?shù)設(shè)為20。如果只用迭代，只能適應(yīng)單一尺度的目標(biāo)，不能適應(yīng)目標(biāo)的尺度變化。若前1 幀核函數(shù)帶寬hp，則可以分別利用以下3 種核函數(shù)（h ＝hp，h ＝hp＋Δh，h ＝hp-Δh）來迭代搜索3 次。將BH系數(shù)最大的帶寬作為最優(yōu)帶寬。為避免過度調(diào)節(jié)，將當(dāng)前幀中的帶寬修正

式中：χ是一個(gè)調(diào)節(jié)參數(shù)，經(jīng)過試驗(yàn)測試本文選擇0.1。

基于MeanShift的TLD跟蹤算法步驟如下：

（1）讀入視頻幀，利用鼠標(biāo)手動(dòng)標(biāo)定待跟蹤目標(biāo)，然后分別初始化TLD和MeanShift跟蹤器。

（2）分別啟動(dòng)TLD 和MeanShift 跟蹤器。通過TLD跟蹤器預(yù)估目標(biāo)位置，判斷其置信度。當(dāng)置信度較高時(shí)，以TLD 輸出的目標(biāo)中心位置作為MeanShift跟蹤算法的迭代起點(diǎn)；當(dāng)置信度低時(shí)，將前1 幀中目標(biāo)跟蹤框的中心位置作為跟蹤的迭代開始點(diǎn)。

（3）將最大迭代次數(shù)設(shè)為20，在每1 次迭代搜索中，移動(dòng)搜索中心位置至相似度大的中心位置。

（4）為了進(jìn)行自適應(yīng)尺度變化，動(dòng)態(tài)調(diào)整Mean Shift跟蹤的核函數(shù)半徑。利用相似度最大候選目標(biāo)的核函數(shù)半徑求解最后的候選目標(biāo)尺度。

（5）將MeanShift輸出的目標(biāo)框作為最終的跟蹤預(yù)測框。

（6）判斷它是否是最后1 幀。如果不是，返回步驟（2）判斷新的1 幀；如果是，循環(huán)結(jié)束。

3 算法改進(jìn)

基于MeanShift 的TLD 目標(biāo)跟蹤算法計(jì)算量大，無法實(shí)現(xiàn)跟蹤的實(shí)時(shí)性。本文在TLD 算法的跟蹤模塊引入Susan角點(diǎn)，將Susan算法與TLD算法結(jié)合，用角點(diǎn)替換原均勻采樣點(diǎn)，大大減少了采樣點(diǎn)數(shù)量，降低了跟蹤器的運(yùn)行時(shí)間。

3.1 Susan角點(diǎn)

Susan 算法通過圓形模板遍歷圖像，選擇圓形模板圓心作為核心點(diǎn)，對比模板內(nèi)像素灰度值和核心點(diǎn)灰度值［15］，表示為

式中：I（x，y）是圓形模板中像素點(diǎn)的灰度值（核心像素點(diǎn)除外）；I（x0，y0）表示圓形模板核心像素點(diǎn)灰度值；C（x0，y0）為相似比較函數(shù)；t是設(shè)定的閾值。圓形模板中的像素點(diǎn)是否在USAN 區(qū)域，由該像素點(diǎn)的C值決定。模板中所有符合條件的像素組成核相似區(qū)。一般情況選擇37 像素的模板，Susan 圓形模板如圖5所示。

如圖6 所示，當(dāng)模板位于a 處，USAN 面積和模板面積一樣；當(dāng)模板往直線邊沿挪動(dòng)過程中，USAN 區(qū)域面積逐漸減??；當(dāng)窗口模板核心點(diǎn)為c 和d 處，USAN區(qū)域面積等于模板面積的1／2；當(dāng)模板進(jìn)入b 處，USAN區(qū)域又會(huì)慢慢變大。當(dāng)模板繼續(xù)移動(dòng)，到達(dá)圖6中的h所示目標(biāo)區(qū)域，此時(shí)USAN區(qū)域面積達(dá)到最大。當(dāng)模板核心點(diǎn)到達(dá)角點(diǎn)時(shí)（如圖6 中的e，f，g），此時(shí)USAN區(qū)域面積略等于模板面積1／4，這時(shí)USAN面積最小。

USAN區(qū)域面積表示圖像局部特征強(qiáng)度。面積越小，核心點(diǎn)越有可能是角點(diǎn)，像素點(diǎn)處的USAN區(qū)域面積可用下式計(jì)算：

式中，n（x0，y0）的值表示USAN區(qū)域的面積。

對比每個(gè)像素點(diǎn)的USAN 值和幾何閾值g，通過下式計(jì)算當(dāng)前像素點(diǎn)的初始響應(yīng)函數(shù)值。

式中：g可根據(jù)需要?jiǎng)討B(tài)調(diào)整，不同g 值，Susan 算子具有不同檢測結(jié)果。通常角點(diǎn)檢測中g(shù) ＝0.5Amax（Amax對應(yīng)USAN最大面積，通常由模板大小決定，大多數(shù)情況下Amax＝37）。滿足R響應(yīng)的像素點(diǎn)作為候選角點(diǎn)，在此基礎(chǔ)上利用非極大值抑制確定其是否為角點(diǎn)。

Susan算法的具體步驟如下：①利用圓形模板遍歷整個(gè)圖像，判斷USAN區(qū)域；②計(jì)算核心點(diǎn)USAN面積值；③用式（15）計(jì)算角點(diǎn)初始響應(yīng)函數(shù)；④計(jì)算待選所有角點(diǎn)的非極大值的抑制。

圖5 Susan圓形模板

圖6 Susan特征檢測原理

3.2 算法改進(jìn)

原TLD算法的跟蹤模塊中均勻采樣的100 個(gè)樣本點(diǎn)集有很多會(huì)成為無用樣本點(diǎn)，這樣不僅會(huì)導(dǎo)致跟蹤器的漂移，而且還會(huì)造成大量的計(jì)算量。本文為了解決均勻采樣隨機(jī)產(chǎn)生的特征點(diǎn)無法精確描述跟蹤目標(biāo)，將Susan算法與TLD算法相結(jié)合，利用Susan 算法獲得的角點(diǎn)作為跟蹤點(diǎn)，舍棄原Grid 采樣點(diǎn)，大大提高了跟蹤的魯棒性。改良的跟蹤模塊如圖7 所示。

圖7 改良的跟蹤模塊示意圖

4 實(shí)驗(yàn)分析

本文實(shí)驗(yàn)硬件配置：Core i7 ＠ 2.8 GHz，8 GB 內(nèi)存，軟件環(huán)境為：Visual Studio2012 和Matlab2012a，Opencv2.4.9。

4.1 跟蹤穩(wěn)定性

實(shí)驗(yàn)中跟蹤器部分采用MeanShift 算法迭代尋找最相似目標(biāo)，并且在跟蹤器初始化時(shí)引入Susan 角點(diǎn)。學(xué)習(xí)模塊和檢測模塊與原TLD 保持一致，對公開的Motocross、David、Car視頻序列以及攝像頭獲取的視頻進(jìn)行跟蹤測試。圖8 基于Motocross視頻序列，對比了本文算法和原TLD算法目標(biāo)跟蹤的結(jié)果，紅色框標(biāo)是原TLD算法，黃色框?yàn)楸疚乃惴ǜ櫂?biāo)記。

圖8 Motocross視頻序列的跟蹤

由圖8 可知，圖像在第96 幀和第291 幀分別發(fā)生了較大的尺度變化和遮擋，原TLD算法出現(xiàn)跟蹤目標(biāo)丟失。由于本文引入MeanShift算法，所以具有較強(qiáng)的抗遮擋能力，同時(shí)加入了角點(diǎn)后的改進(jìn)算法有效解決了目標(biāo)尺度變化，所以能夠準(zhǔn)確跟蹤目標(biāo)。相比于原TLD算法，本文算法跟蹤成功率大大提升。表1 為TLD算法和本文算法分別對Motocross、David、Car序列進(jìn)行多次反復(fù)實(shí)驗(yàn)，最終取平均值作為統(tǒng)計(jì)結(jié)果。

表1 跟蹤結(jié)果對比

從表1 可看出，由于本文算法結(jié)合了MeanShift算法，有效地解決遮擋和尺度變化問題，跟蹤成功率進(jìn)一步提高。

對發(fā)生遮擋的車輛進(jìn)行跟蹤測試，視頻序列共159 幀，如圖9 所示。

圖9 遮擋車輛跟蹤結(jié)果

本文TLD算法能夠檢測更多穩(wěn)定點(diǎn)數(shù)目，從而增強(qiáng)了跟蹤的魯棒性。當(dāng)目標(biāo)存在尺度變化、旋轉(zhuǎn)、遮擋、消失后重現(xiàn)等情況時(shí)，原TLD 算法產(chǎn)生跟蹤漂移甚至跟蹤失敗，本文算法能夠準(zhǔn)確跟蹤目標(biāo)。如圖9所示，紅色框標(biāo)記為原TLD 算法跟蹤結(jié)果，黃色框標(biāo)記是基于MeanShift的TLD算法跟蹤結(jié)果。在第10 幀黃色框和紅色框都初始化選定了紅色轎車（如圖9 中的a），在第30 ～53 幀之間出現(xiàn)遮擋后，原TLD算法跟蹤樣本點(diǎn)出現(xiàn)擴(kuò)散漂移和跟蹤錯(cuò)誤的情況；在第71 幀目標(biāo)重新出現(xiàn)后，原TLD 算法沒能重新獲取目標(biāo)，出現(xiàn)了跟蹤丟失。本文算法能夠重新捕捉到目標(biāo)（結(jié)果如134 幀），成功跟蹤被遮擋的目標(biāo)，具有很強(qiáng)的魯棒性。

對攝像頭獲取的視頻跟蹤測試結(jié)果如圖10 所示。圖10（a）為通過人工標(biāo)定跟蹤目標(biāo)對象，圖10（b）目標(biāo)在外界條件良好的情況下的跟蹤結(jié)果，圖10（c）表示跟蹤過程遇到嚴(yán)重遮擋時(shí)的跟蹤效果。實(shí)驗(yàn)表明，本文算法相對于原TLD算法具有較強(qiáng)的抗遮擋能力。

圖10 攝像頭采集目標(biāo)遮擋下跟蹤測試

4.2 跟蹤實(shí)時(shí)性

由圖11 和表2 可以看出，由于均勻采樣產(chǎn)生了很多無用點(diǎn)，導(dǎo)致原TLD算法特征點(diǎn)丟失嚴(yán)重。雖然本文算法具有較少特征點(diǎn)，但經(jīng)過LK光流跟蹤后，特征點(diǎn)基本保持不變。經(jīng)過Susan算法得到的采樣點(diǎn)能夠有效表達(dá)目標(biāo)特征，且大大減少跟蹤中的計(jì)算量。證明本文算法具有更快的跟蹤速度，滿足實(shí)時(shí)跟蹤要求。

圖11 特征點(diǎn)提取

表2 特征點(diǎn)數(shù)量的變化

本文選用跟蹤幀率的平均值作為衡量跟蹤實(shí)時(shí)性指標(biāo)，通過視頻對Motocross、David、Car 視頻序列以及攝像頭輸出的視頻序列作為實(shí)驗(yàn)樣本。各個(gè)視頻序列在不同跟蹤算法下的平均幀率見表3。

表3 不同算法處理速度的比較

通過表3 的比較可以看出：原TLD 算法和基于MeanShift的TLD算法的平均幀率基本相差不大。本文算法由于在跟蹤模塊中引入了角點(diǎn)算法，大大減少了計(jì)算量，所以實(shí)時(shí)性有明顯提高。上述視頻序列經(jīng)過本文的改進(jìn)算法實(shí)時(shí)性基本都有20%左右的提高。

5 結(jié) 語

針對跟蹤過程中目標(biāo)被遮擋容易丟失，本文研究了一鐘將MeanShift 和TLD 結(jié)合的目標(biāo)跟蹤改進(jìn)算法。當(dāng)TLD跟蹤框有較高的可信度時(shí)，以TLD輸出的目標(biāo)中心位置作為MeanShift跟蹤算法的迭代起點(diǎn)；當(dāng)置信度低時(shí)，將前1 幀中目標(biāo)跟蹤框的中心位置作為跟蹤的迭代開始點(diǎn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法能實(shí)現(xiàn)穩(wěn)定跟蹤。同時(shí)針對TLD 算法均勻采樣獲得的特征點(diǎn)中存在較多的無用點(diǎn)，在TLD跟蹤模塊引入了更具魯棒性的Susan角點(diǎn)作為目標(biāo)的特征點(diǎn)。選擇角點(diǎn)后采用金字塔LK 光流法跟蹤，跟蹤過程中保留信息豐富的特征點(diǎn)，抑制了目標(biāo)關(guān)鍵信息點(diǎn)集較少導(dǎo)致的跟蹤漂移。通過實(shí)驗(yàn)表明，本文算法具備比較高的魯棒性和實(shí)時(shí)性。