孫新領(lǐng)，張 皓，趙 麗

（1.河南工學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)系，河南 新鄉(xiāng) 453003；2.山西大學(xué) 軟件學(xué)院，太原 030013）

基于視頻的運(yùn)動(dòng)跟蹤在許多領(lǐng)域有著重要的作用，跟蹤應(yīng)用基于高精度信息，特別是在動(dòng)態(tài)背景的情況下。另外，還需克服遮擋、雜亂背景、對(duì)象尺度變化等問(wèn)題［1］。均值漂移（mean-shift）算法［2-6］是一種常用的跟蹤算法，其通過(guò)計(jì)算連續(xù)幀中目標(biāo)模型和目標(biāo)候選者的Bhattacharyya系數(shù)對(duì)目標(biāo)相似性進(jìn)行估計(jì)，從而實(shí)現(xiàn)目標(biāo)跟蹤。其目標(biāo)模型和候選者的表示主要基于顏色直方圖描述。

Mean-Shift算法只利用顏色特征進(jìn)行跟蹤，實(shí)際上，為了應(yīng)對(duì)不同的情況，應(yīng)利用多個(gè)圖像特征，因?yàn)閱蝹€(gè)特征不能提供不同成像條件下的不變性。為此，學(xué)者提出了多種改進(jìn)的Mean-Shift算法。例如，校正后的背景加權(quán)直方圖（CBWH）通過(guò)減少候選目標(biāo)計(jì)算中背景特征的影響［7］，但是，CBWH方法無(wú)法處理顏色和光照的變化情況。為減少M(fèi)ean-Shift算法中光照變化引起的干擾，Ju等［8］描述了通過(guò)構(gòu)造模糊聚類的模糊顏色直方圖，其生成的顏色區(qū)域的數(shù)量取決于目標(biāo)圖像。Stolkin等［9］提出了一種新的基于顏色的跟蹤算法，名為自適應(yīng)背景的跟蹤器（ABCshift），它使用貝葉斯概率方法對(duì)背景進(jìn)行建模。Zivkovic等［10］將最大期望算法（EM）與Mean-Shift相結(jié)合，提出了EM-shift算法，可同時(shí)估計(jì)描述局部模式的近似形狀和位置的協(xié)方差矩陣，但是EM-shift僅使用顏色信息來(lái)描述模型，并且這種算法的性能很大程度上依賴于目標(biāo)表示，當(dāng)背景混亂復(fù)雜時(shí)，不能很好地實(shí)現(xiàn)跟蹤［11］。

缺乏空間信息會(huì)導(dǎo)致在某些條件下目標(biāo)位置的丟失，例如遮擋和光照變化。因此，更準(zhǔn)確的目標(biāo)表示是實(shí)現(xiàn)精確跟蹤的前提。為此，一些學(xué)者使用顏色和紋理的兩個(gè)加權(quán)特征空間來(lái)描述對(duì)象，通過(guò)它們的互補(bǔ)性來(lái)確保對(duì)目標(biāo)的位置、尺度和方向變化的準(zhǔn)確估計(jì)［12］。例如，楊德紅等［13］采用局部二值模式（LBP）紋理和顏色特征相結(jié)合的LBP-MS算法，以便增強(qiáng)Mean-Shift算法中自適應(yīng)尺度和方向均值漂移框架內(nèi)的目標(biāo)表示。另外，還有學(xué)者通過(guò)融入一些智能濾波器來(lái)提高跟蹤精度，應(yīng)對(duì)遮擋情況。例如，Jeong等［14］提出將卡爾曼濾波與尺度和方向自適應(yīng)MS算法（SOAMS）相結(jié)合。Sangale等［15］將粒子濾波與MS算法相結(jié)合，提出一種多特征視頻序列目標(biāo)跟蹤方法。但是這類方法都存在計(jì)算量較大的問(wèn)題，較難滿足實(shí)時(shí)跟蹤的要求。

本文針對(duì)Mean-Shift算法的缺陷，采用了一種尺度和方向自適應(yīng)的Mean-Shift跟蹤器，在均值漂移跟蹤框架下估計(jì)目標(biāo)的尺度和方向。另外，將LTP紋理特征與顏色特征相結(jié)合，進(jìn)一步增強(qiáng)目標(biāo)模型的表示，提高目標(biāo)跟蹤準(zhǔn)確性。實(shí)驗(yàn)結(jié)果證明了所提出算法的有效性。

1 改進(jìn)型M ean-Shift跟蹤算法

1.1 傳統(tǒng)M ean-Shift算法

Mean-Shift算法的基本思想就是不斷把跟蹤窗口中心向樣本均值移動(dòng)使之收斂（重合）的過(guò)程。傳統(tǒng)Mean-Shift跟蹤器中使用顏色直方圖來(lái)構(gòu)建目標(biāo)模型。被跟蹤對(duì)象的目標(biāo)模型定義為

需要注意的是，k（x）是一個(gè)各向同性的核，它將較小的權(quán)重歸因于遠(yuǎn)離中心的像素。目標(biāo)模型和目標(biāo)候選者之間的相似性是使用Bhattacharyya系數(shù)計(jì)算的，該系數(shù)定義了兩個(gè)標(biāo)準(zhǔn)化直方圖和（y）之間的對(duì)應(yīng)關(guān)系：

尺度方向自適應(yīng)Mean-Shift跟蹤算法使用Bhattacharyya系數(shù)來(lái)估計(jì)目標(biāo)位置、尺度和方向。當(dāng)目標(biāo)區(qū)域（在前一幀中）中的顏色分布接近候選區(qū)域（在當(dāng)前幀中）中的顏色分布時(shí)，該相似度函數(shù)的值較高（接近1）。因此，如果物體及其背景具有顯著不同的顏色分布，隨著B(niǎo)hattacharrya系數(shù)增加，目標(biāo)候選者則更有可能捕獲當(dāng)前幀中的實(shí)際物體［16-17］。因此，目標(biāo)模型與候選模型之間的距離為

其中y0是目標(biāo)在前一幀的位置，ωi可以根據(jù)下式計(jì)算得到：

1.2 改進(jìn)型M ean-Shift算法（IM S）

Jianhua等開(kāi)發(fā)了一種尺度和方向自適應(yīng)的Mean-Shift跟蹤算法，在均值漂移跟蹤框架下估計(jì)目標(biāo)的尺度和方向。已經(jīng)證明該跟蹤器在解決跟蹤對(duì)象的尺度和方向變化的問(wèn)題上是有效的［18］。

由給出的目標(biāo)候選區(qū)域中的像素權(quán)重值描述了它屬于目標(biāo)的概率。零階矩M00即為所有像素的權(quán)重之和，是對(duì)目標(biāo)區(qū)域的估計(jì)，表示如下：

每當(dāng)來(lái)自目標(biāo)像素的權(quán)重ω（xi）變大時(shí)，估計(jì)誤差將是顯著的，反之亦然。根據(jù)Jianhua等的說(shuō)法，通過(guò)以下等式，Bhattacharyya系數(shù)可用于調(diào)整估計(jì)目標(biāo)區(qū)域［18］：

其中c（ρ）是一個(gè)單調(diào)遞增函數(shù)。它用于將M00縮小到實(shí)際目標(biāo)比例，可以定義為

在（0≤ρ≤1）時(shí)，Jianhua等發(fā)現(xiàn)σ的最佳值設(shè)置在1和2之間［18］。如果ρ近似取上限值1，則意味著目標(biāo)候選模型接近目標(biāo)模型。如果它更接近0，則候選模型與目標(biāo)模型不同，因?yàn)閏（ρ）變得非常小并且M00一直擴(kuò)大，直到它超過(guò)目標(biāo)區(qū)域。假設(shè)候選區(qū)域中每個(gè)像素的坐標(biāo)是（xi，1，xi，2），則候選區(qū)域的矩可以定義為

y1的1階矩與零階矩的比率描述了其位置，而2階中心矩描述了目標(biāo)的形狀和方向。使用式（8）（10）和（12）可以重寫(xiě)式為：

要估計(jì)跟蹤對(duì)象的尺度和方向，可以將式（14）轉(zhuǎn)換為協(xié)方差矩陣：

使用奇異值分解（SVD）方法，可以將其轉(zhuǎn)換為

在估計(jì)當(dāng)前幀中目標(biāo)的位置、尺度和方向之后，可以使用式（18）協(xié)方差矩陣定義下一幀中目標(biāo)候選者的大小。

其中Δd用于在下一幀中遞增目標(biāo)候選區(qū)域。目標(biāo)候選區(qū)域的初始位置由式（19）橢圓區(qū)域給出。

2 基于LTP的紋理特征表示

2.1 局部二元模式（LBP）

LBP算子在紋理分析和模式識(shí)別的研究領(lǐng)域中被廣泛應(yīng)用。LBP是一個(gè)高效而簡(jiǎn)單的運(yùn)算符，描述了圖像局部紋理的空間結(jié)構(gòu)。該方法利用中心像素對(duì)每個(gè)像素的P個(gè)鄰居進(jìn)行閾值化，將閾值化的值乘以二項(xiàng)式權(quán)重，并將結(jié)果連接起來(lái)得到LBP碼。最后，將得到的二進(jìn)制代碼分配給中心像素。給定圖像中的一個(gè)像素，通過(guò)將其與其鄰居進(jìn)行比較來(lái)生成LBP。

其中：pc表示中心像素的灰度值；pn表示其鄰居的灰度值；N表示鄰居的數(shù)量；R表示鄰居的半徑。假定圖像的尺寸是I×J，則pc的坐標(biāo)是（0，0），pn的坐標(biāo)為那么，LBP紋理可以通過(guò)構(gòu)建一個(gè)直方圖來(lái)獲得。

其中T是最大LBP碼值。在具有均勻外觀的圖像幀的區(qū)域中，中心像素及其鄰居的灰度值非常接近。因此，LBP算子對(duì)目標(biāo)的描述不具判別性。Marko等成功修改了閾值策略，使得LBP更具判別性，即通過(guò)將式中的LBP算子項(xiàng)sn（pn-pc）替換為sn（pn-pc＋a）［19］。為了增強(qiáng)LBP算子的魯棒性，a的值應(yīng)該相對(duì)小。

2.2 局部三元模式（LTP）

局部三元模式（LTP）紋理描述符是LBP的一種改進(jìn)形式［20］。LTP是二進(jìn)制模式到三元組模式的一種簡(jiǎn)單擴(kuò)展。與LBP一樣，考慮幀中心像素周圍的3×3鄰域，權(quán)值設(shè)為2n，LTP的數(shù)學(xué)表達(dá)式描述如下：

式中，t表示用戶定義的閾值。在LTP方法中，與以中心像素值為閾值的LBP不同，根據(jù)預(yù)先設(shè)置的閾值t對(duì)原始圖像區(qū)域進(jìn)行三值化，生成具有3個(gè)值（1，0，-1）的編碼。為使LTP特征在光照及復(fù)雜背景下具有魯棒性，這里設(shè)置t＝5。將像素x與領(lǐng)域像素pn、中間像素pc和閾值進(jìn)行比較，小于pn-pc-5記為-1，大于pn-pc＋5記為1，范圍內(nèi)取值為0。

為了消除負(fù)值，將三元模式轉(zhuǎn)換為兩個(gè)LBP單元。正數(shù)是高LTP（LTPU），負(fù)數(shù)是低LTP（LTPL）。LTPU是通過(guò)將原始LTP中的負(fù)值替換為零來(lái)生成的，生成LTPL有兩步：首先，將原始LTP中的所有值1都替換成0；之后，將所有負(fù)值都替換成1。計(jì)算用于正和負(fù)分量的兩個(gè)單獨(dú)的LBP描述符，最后將結(jié)果連接起來(lái)。類似LBP編碼的推導(dǎo)過(guò)程，LTP算子的計(jì)算過(guò)程如圖1所示。

圖1 LTP計(jì)算過(guò)程

3 提出方法的步驟

幾種Mean-Shift跟蹤算法利用顏色信息來(lái)表示目標(biāo)。雖然時(shí)間效率較高，但在考慮非剛性物體時(shí)通常會(huì)失敗?；谀繕?biāo)顏色辨別的均值偏移會(huì)受到部分遮擋的影響，尤其是當(dāng)跟蹤對(duì)象與相應(yīng)背景具有相同顏色時(shí)。此外，如今大多數(shù)相機(jī)使用濾鏡來(lái)調(diào)整其白平衡并根據(jù)全局圖像強(qiáng)度執(zhí)行一些色彩校正，這會(huì)極大地影響準(zhǔn)確性。

為了解決這些問(wèn)題，人們提出了各種類型的擴(kuò)展。很多學(xué)者通過(guò)將Mean-Shift與局部方法相結(jié)合來(lái)改進(jìn)該過(guò)程，或通過(guò)引入對(duì)象、背景分類處理嚴(yán)重的遮擋。本文使用LBP紋理的一種變體（局部三元模式LTP）來(lái)構(gòu)建基于尺度的自適應(yīng)Mean-Shift跟蹤算法。通過(guò)顏色和紋理特征的精確組合，顯著增強(qiáng)目標(biāo)的位置、尺度和方向變化的估計(jì)精度，提高在高動(dòng)態(tài)和嘈雜場(chǎng)景中跟蹤非剛性物體的準(zhǔn)確性。

對(duì)于尺度的變化，連續(xù)幀中對(duì)象的縮小或放大通常是一個(gè)漸進(jìn)的過(guò)程。實(shí)際上，相鄰幀中尺度的突然變化使得跟蹤任務(wù)非常具有挑戰(zhàn)性。因此，本文假設(shè)目標(biāo)大小的改變是緩慢的，并且這種假設(shè)在大多數(shù)視頻中是符合現(xiàn)實(shí)的，包括那些具有高動(dòng)態(tài)場(chǎng)景的視頻。

本文運(yùn)用的方法是通過(guò)計(jì)算從目標(biāo)模型和目標(biāo)候選者導(dǎo)出的權(quán)重圖像來(lái)確保移動(dòng)物體的尺度和方向的估值。在尺度自適應(yīng)Mean-Shift跟蹤算法中，每個(gè)像素的權(quán)重值表示它屬于目標(biāo)候選者的概率，并且由（7）定義與的顏色概率的比率的平方根。在本文的方法中，可以通過(guò)LTP紋理與目標(biāo)候選區(qū)域中的目標(biāo)模型的密度分布函數(shù)的組合來(lái)生成這樣的權(quán)重圖像值，即通過(guò)LTP紋理和RGB通道描述目標(biāo)模型和目標(biāo)候選者（y）。

為了獲得目標(biāo)區(qū)域的紋理和顏色分布，本文在式（7）中添加一個(gè)紋理分量LTP。因此，其變?yōu)閡＝R×G×B×LTP。前3個(gè)維度說(shuō)明了顏色通道的量化區(qū)間，第4個(gè)維度（LTP維度）是紋理圖案模式的量化區(qū)間。

本文方法的具體步驟如下：

步驟1初始化迭代次數(shù)k，k→0，設(shè)定Mean-Shift算法收斂過(guò)程中的最大迭代次數(shù)N0為15，兩次迭代的最小距離ε為0.1。

步驟2在初始幀中確定目標(biāo)區(qū)域，計(jì)算LTP紋理和顏色直方圖，得到目標(biāo)模型，目標(biāo)的初始化位置為y0。

步驟3在當(dāng)前幀中，以y0為候選目標(biāo)的中心位置，計(jì)算候選區(qū)域的LTP紋理和顏色直方圖，得到候選模型。

步驟4計(jì)算候選目標(biāo)區(qū)域內(nèi)的各像素權(quán)值ω（xi）。

步驟5迭代計(jì)算得到新的窗口中心y1，令距離迭代次數(shù)＋1；如果距離小于閾值（d＜ε）或達(dá)到最大迭代次數(shù)，則停止迭代，輸出當(dāng)前幀上的跟蹤結(jié)果，并執(zhí)行下一步。否則，返回步驟3，繼續(xù)在當(dāng)前幀中進(jìn)行迭代跟蹤。

步驟6如果當(dāng)前幀是最后一幀，則跟蹤過(guò)程結(jié)束；否則，讀取下一幀作為當(dāng)前幀，返回步驟2。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

為驗(yàn)證本文算法的有效性，采用3個(gè)不同的視頻測(cè)試算法的性能。從包含真實(shí)世界視頻序列的PETS標(biāo)準(zhǔn)數(shù)據(jù)集中選擇出乒乓球（Ball）序列，汽車（Car1）序列和滑板（Skateboarding）序列作為測(cè)試集。其中，乒乓球序列存在目標(biāo)快速移動(dòng)；汽車序列包含了遮擋情況；滑板序列包含了尺度變化情況。

選擇傳統(tǒng)Mean-Shift算法、EM-shift算法和基于LBP紋理的Mean-Shift算法（LBP-MS）與本文算法（LTP-IMS）進(jìn)行對(duì)比實(shí)驗(yàn)。另外，本文選擇了RGB顏色作為特征空間，并將其量化為16×16×16位。

所有算法均在Matlab2013a中實(shí)現(xiàn)，并在具有Intel＠Core i5 2.5GHzCPU和8GB RAM的PC上運(yùn)行。

4.2 結(jié)果分析

首先，為了驗(yàn)證融入紋理特征的有效性，將本文LTP-IMS算法與沒(méi)有紋理特征的傳統(tǒng)Mean-Shift和EM-shift算法進(jìn)行比較。這3種算法在乒乓球視頻上的跟蹤結(jié)果如圖2所示。視頻中，乒乓球快速移動(dòng)，使得它在連續(xù)幀之間的位移很大。

從跟蹤結(jié)果可以看出，Mean-Shift和EM-shift算法都不能跟蹤目標(biāo)，而LTP-IMS算法可以穩(wěn)定地跟蹤目標(biāo)。這是因?yàn)镸ean-Shift和EM-shift算法只采用顏色特征，而LTP-IMS算法使用了紋理和顏色特征來(lái)描述目標(biāo)，使得這些特征對(duì)圖像模糊不敏感。

圖2 乒乓球視頻上的跟蹤結(jié)果

在滑板視頻序列中的3個(gè)幀上，EM-shift跟蹤器、LBP-MS跟蹤器和本文LTP-IMS跟蹤器的跟蹤結(jié)果如圖3中展示。這個(gè)視頻序列中目標(biāo)的尺度發(fā)生了很大的變化，而且背景較為復(fù)雜。

圖3 滑板視頻上的跟蹤結(jié)果

可以看出，各種算法在一開(kāi)始時(shí)都能定位目標(biāo)。但當(dāng)目標(biāo)尺度大幅度變化時(shí)，EM-shift跟蹤器無(wú)法跟蹤滑板運(yùn)動(dòng)員并最終丟失目標(biāo)。另外，滑板與腿部具有與道路相同的顏色，這導(dǎo)致目標(biāo)邊界的重疊。由于使用了LBP紋理，LBP-MS和LTP-IMS的跟蹤效果較好。然而，LBP-MS算法可以跟蹤目標(biāo)，但無(wú)法準(zhǔn)確確定其尺度和方向，因?yàn)槠錈o(wú)法處理姿態(tài)變化。相比之下，LTP-IMS中采用了一種尺度和方向自適應(yīng)的改進(jìn)型Mean-Shift跟蹤算法，可以成功實(shí)現(xiàn)準(zhǔn)確跟蹤，能夠應(yīng)對(duì)虛假邊緣和邊界間隙問(wèn)題。這是因?yàn)樵谀繕?biāo)模型和候選模型之間使用Bhattacharyya系數(shù)、零階矩和校正的2階中心矩，使得高度、寬度和方向變化的估計(jì)非常準(zhǔn)確，可準(zhǔn)確定位并調(diào)整滑板的尺度和方向。

為了評(píng)估跟蹤算法的跟蹤精度，使用中心位置誤差（CLE）作為性能指標(biāo)，它可以測(cè)量估計(jì)物體的中心位置與實(shí)際數(shù)據(jù)之間的誤差，定義如下：

其中：xe和ye表示跟蹤結(jié)果的中心位置；xg和yg表示實(shí)況數(shù)據(jù)的中心位置。

各種算法在3個(gè)視頻序列上的平均CLE如表1所示。可以看到，本文LTP-IMS算法獲得的跟蹤誤差最小。對(duì)于Ball序列，目標(biāo)快速移動(dòng)，使得它在連續(xù)幀之間的位移很大。但由于其背景相對(duì)簡(jiǎn)單，所以各種算法的性能都不差。在Skateboarding序列中，背景復(fù)雜，且目標(biāo)與背景顏色存在重疊。為此，僅利用顏色特征的EM-shift算法不能很好地實(shí)現(xiàn)跟蹤。LBP-MS算法結(jié)合了紋理和顏色特征，所以性能比EM-shift算法要好。而本文LTPIMS算法不僅將LTP紋理特征與顏色特征相結(jié)合，還估計(jì)了目標(biāo)的尺度和方向，所以獲得了最佳性能。

表1 平均中心位置誤差（CLE）

表2列出了3種跟蹤器在實(shí)驗(yàn)序列上的平均迭代次數(shù)。LTP-IMS算法的迭代次數(shù)略微大于LBP-MS算法，但都比較低。這是因?yàn)檫@些算法都能比較準(zhǔn)確地對(duì)目標(biāo)進(jìn)行建模，因此不需要進(jìn)行大量迭代來(lái)收斂。影響EM-shift跟蹤器收斂速度的主要因素是協(xié)方差矩陣的計(jì)算。對(duì)于每次迭代，EM-shift進(jìn)行估計(jì)并運(yùn)行3次平均移位算法，而LBP-MS和LTP-IMS僅在估計(jì)每幀時(shí)進(jìn)行迭代。

表2 各種方法的平均迭代次數(shù)

5 結(jié)束語(yǔ)

本文在Mean-Shift框架中嵌入LTP紋理特征，構(gòu)建一種高效且穩(wěn)定的跟蹤器。該特征提取方法不僅適用于動(dòng)態(tài)運(yùn)動(dòng)，還適用于外觀、姿態(tài)和方向變化的復(fù)雜情況。與其他跟蹤算法進(jìn)行比較評(píng)估，實(shí)驗(yàn)結(jié)果證明了LTP-IMS算法的優(yōu)越性。在下一步工作中，將考慮融入字典學(xué)習(xí)功能以實(shí)現(xiàn)隨機(jī)對(duì)象的跟蹤研究，提高跟蹤器的效率。