代順?shù)h++秦曉飛

摘要：

針對(duì)傳統(tǒng)的STC目標(biāo)跟蹤算法在剛性形變、多尺度自適應(yīng)跟蹤效果不穩(wěn)定問(wèn)題，提出了一種改進(jìn)的STC目標(biāo)跟蹤算法。結(jié)合時(shí)空上下文信息特征，利用PCA自適應(yīng)顏色降維特征建立外觀模型，獲得先驗(yàn)?zāi)Ｐ停辉陬l域進(jìn)行在線學(xué)習(xí)，建立上下文模型；計(jì)算置信圖，找到響應(yīng)分?jǐn)?shù)最大值，預(yù)測(cè)下一幀位置。為驗(yàn)證算法有效性，在Benchmark庫(kù)提供的數(shù)據(jù)集中進(jìn)行算法測(cè)試和分析，結(jié)果證明，其在剛性形變、快速運(yùn)動(dòng)、遮擋、彩色圖像跟蹤中有較好的魯棒性。

關(guān)鍵詞：STC；目標(biāo)跟蹤；顏色特征；顏色融合；降維

DOIDOI：10.11907/rjdk.171542

中圖分類號(hào)：TP312文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：16727800（2017）010005103

0引言

目標(biāo)跟蹤主要是為了估計(jì)目標(biāo)在圖像中的序列位置，是計(jì)算機(jī)視覺(jué)中最具挑戰(zhàn)性的問(wèn)題之一。視覺(jué)目標(biāo)跟蹤在許多應(yīng)用中起著至關(guān)重要的作用，特別是在人機(jī)交互、視頻監(jiān)控和機(jī)器人技術(shù)方面。影響目標(biāo)跟蹤成功的因素很多，主要有光照變化、局部遮擋、景物模糊、物體剛性形變等。本文研究基于STC算法的改進(jìn)目標(biāo)跟蹤算法。雖然視覺(jué)跟蹤技術(shù)取得了重大進(jìn)展，但使用顏色信息通常僅限于簡(jiǎn)單的顏色空間變換。與視覺(jué)跟蹤相反，復(fù)雜的顏色特征已經(jīng)顯示出能夠?yàn)槲矬w識(shí)別和檢測(cè)提供有效信息[1]。在彩色成像方面已經(jīng)對(duì)這些因素的魯棒性進(jìn)行了研究，并成功應(yīng)用于圖像分類和動(dòng)作識(shí)別[24]。本文僅評(píng)估可視對(duì)象跟蹤任務(wù)的顏色轉(zhuǎn)換。

目前處理目標(biāo)跟蹤算法的主要方法有兩種，即生成方法和判別方法[5]。生成方法基于模板或子空間模型解決問(wèn)題搜索與目標(biāo)模型最相似的區(qū)域；判別方法旨在將跟蹤作為二進(jìn)制分類問(wèn)題來(lái)區(qū)分目標(biāo)與背景。與生成方法不同，判別方法使用目標(biāo)和背景信息找到用于區(qū)分目標(biāo)對(duì)象與背景的決策邊界，其樣本補(bǔ)丁在線訓(xùn)練判別式分類器。文獻(xiàn)[6]對(duì)線上跟蹤算法進(jìn)行了綜合評(píng)估。

1時(shí)空上下文算法（STC）

跟蹤問(wèn)題是指通過(guò)計(jì)算估計(jì)的置信圖表示對(duì)象的可能位置：

m（x）=P（xo）（1）

其中x∈R2是對(duì)象位置，o表示場(chǎng)景中存在的對(duì)象。使用先驗(yàn)概率P（o）簡(jiǎn)單表示目標(biāo)位置P（o|x）為后驗(yàn)概率。使用空間上下文信息估計(jì)圖顯示其圖形模型表征。圖中目標(biāo)位置x（即被跟蹤對(duì)象中心的坐標(biāo)）是可以跟蹤的。上下文特征集定義為Xc={c（z）=（I（z），z）z∈Ωc（x）}，其中I（z）表示位置z處的圖像強(qiáng)度Ωc（x）是位置x鄰域目標(biāo)對(duì)象大小的兩倍。通過(guò)邊緣聯(lián)合概率P（x，c（z）o）可以計(jì)算公式（1）中的目標(biāo)位置似然函數(shù)：

m（x）=P（xo）=∑c（z）∈XcP（x，c（z）o）=

∑c（z）∈XcP（xc（z），o）P（c（z）o）（2）

其中條件概率P（xc（z），o）模擬了空間關(guān)系對(duì)象位置，其上下文信息有助于解決歧義退化的圖像測(cè)量問(wèn)題，且P（c（z）o）是上下文先驗(yàn)概率，模擬局部上下文的外觀模型，主要任務(wù)是學(xué)習(xí)P（xc（z），o），彌補(bǔ)了對(duì)象位置與空間上下文位置的差距。

1.1空間上下文模型

條件概率函數(shù)P（xc（z），o）定義為：

P（xc（z），o）=hsc（x-z）（3）

其中hsc（x-z）是對(duì)象位置x與其局部上下文位置z之間的距離函數(shù)，表示編碼對(duì)象與其空間上下文之間的空間關(guān)系。需注意的是，hsc（x-z）不是徑向?qū)ΨQ的函數(shù)（即hsc（x-z）≠hsc（x-z），并需考慮到目標(biāo)和局部上下文之間的不同關(guān)系，有助于解決相似物體在相近位置附近的歧義。然而，在所提出的方法中，雙眼位置在與位置z相似的距離處，與z的相對(duì)位置是不同的，導(dǎo)致不同的空間關(guān)系，即hsc（xl-z）≠hsc（xr-z）。 也即是說(shuō)，非徑向?qū)ΨQ函數(shù)有助于解決模糊度問(wèn)題。

1.2上下文模型

式（2）中，上下文先驗(yàn)概率與簡(jiǎn)單模型上下文外觀有關(guān)：

P（c（z）o）=I（z）ωσ（z-x）（4）

其中I（·）是表示上下文模型的圖像強(qiáng)度，是高斯加權(quán)函數(shù)，定義為：

ωσ（z-x）=ae-z-x2σ2（5）

其中a為將式（4）中P（c（z）o）限制在0～1的歸一化常數(shù)，滿足概率的定義，σ是一個(gè)比例參數(shù)。它模擬了注意力集中在需要詳細(xì)分析的某些圖像區(qū)域的生物視覺(jué)系統(tǒng)的關(guān)注焦點(diǎn)。越接近上下文位置，z越接近當(dāng)前跟蹤目標(biāo)位置x，更重要的是它在即將到來(lái)的幀中預(yù)測(cè)對(duì)象位置，需設(shè)置更大權(quán)重。與使用空間加權(quán)函數(shù)來(lái)表示不同位置上下文重要性的算法不同，該模型越靠近對(duì)象中心位置，上下文位置被抽樣的越多。

1.3置信圖

對(duì)象位置的置信度圖被建模為：

m（x）=P（xo）=be-x-xαβ（6）

其中b是歸一化常數(shù)，σ是一個(gè)縮放參數(shù)，β是一個(gè)形狀參數(shù)。式（6）中的置信度圖m（x）考慮了能夠有效處理位置模糊問(wèn)題目標(biāo)位置的先驗(yàn)信息。目標(biāo)位置模糊問(wèn)題經(jīng)常發(fā)生在視覺(jué)跟蹤中，會(huì)影響跟蹤效果。

1.4快速學(xué)習(xí)上下文模型

由式（3）、（4）、（6），可得：

m（x）=be-x-xαβ=

∑z∈Ωc（x）hsc（x-z）I（z）ωσ（z-x）=hsc（x）（I（x）ωσ（x-x））（7）

其中表示卷積運(yùn)算。式（7）可以轉(zhuǎn)換到快速傅里葉的頻域變換（FFT）算法卷積：

F（be-x-xαβ）=F（hsc（x））⊙F（I（x）ωσ（x-x））（8）

其中F表示FFT函數(shù)，⊙是元素點(diǎn)積。

2改進(jìn)的STC算法

STC目標(biāo)跟蹤算法使用目標(biāo)局部信息和目標(biāo)周圍的上下文信息，使用灰度值特征進(jìn)行目標(biāo)表征。本文使用簡(jiǎn)單的空間上下文模型和時(shí)空上下文更新的策略。在目標(biāo)快速運(yùn)動(dòng)、姿態(tài)變換和背景模糊等復(fù)雜情況下，目標(biāo)表征外觀發(fā)生較大變化，導(dǎo)致更新失敗。STC算法不能及時(shí)更新目標(biāo)尺度，在線學(xué)習(xí)方法容易產(chǎn)生誤差，使得跟蹤效果變差，甚至跟蹤失敗。針對(duì)該問(wèn)題，本文提出了一種基于融合顏色信息時(shí)空上下文的實(shí)時(shí)目標(biāo)跟蹤算法。該算法首先使用灰度特征和自適應(yīng)降維顏色特征建立目標(biāo)模型，通過(guò)學(xué)習(xí)時(shí)空上下文模型，求得目標(biāo)位置和實(shí)際位置的差值，預(yù)測(cè)出下一幀位置。endprint

為了能夠更好地處理目標(biāo)表征外觀的變化，本文引用顏色特征進(jìn)行目標(biāo)表征，通過(guò)降維進(jìn)行處理。采用Danelljian等提出的基于自適應(yīng)顏色屬性的實(shí)時(shí)視覺(jué)跟蹤，將原本RGB 3通道的圖形轉(zhuǎn)化到11通道。每個(gè)單通道分別進(jìn)行處理，將這些單通道的處理結(jié)果進(jìn)行融合。由于多通道運(yùn)算量較大，使用PCA降維方法進(jìn)行處理。從11個(gè)通道中選取2個(gè)主要通道進(jìn)行處理，提升跟蹤精確度。使用自適應(yīng)維數(shù)方式保存有用信息，與此同時(shí)減少顏色屬性數(shù)量，從而顯著提高運(yùn)算速度。通過(guò)最小化損失函數(shù)的形式找到一個(gè)合適的維度降低圖來(lái)滿足當(dāng)前幀，采用加權(quán)函數(shù)描繪最小損失函數(shù)：

ηpt=αpηpd+∑p-1j=1αjηjs（9）

ηpd表示當(dāng)前幀的數(shù)據(jù)項(xiàng)，ηjn表示第j幀平滑數(shù)據(jù)項(xiàng)。每一項(xiàng)數(shù)據(jù)都有權(quán)重函數(shù)控制α1，…，αp。從目標(biāo)周圍上下文模型圖像塊中提取出降維顏色特征塊xp，通過(guò)降維技術(shù)從11維降到10維，然后在10維的標(biāo)準(zhǔn)正交基找到顏色塊xc。通過(guò)降維技術(shù)把D1×D2通過(guò)正交列向量映射位矩陣Bp。該矩陣通過(guò)公式p（m，n）=BTpx∧（m，n），m，n來(lái)計(jì)算新的D2維特征圖p。數(shù)據(jù)項(xiàng)由當(dāng)前外觀的重構(gòu)誤差表示：

ηpd=1MN∑m，n‖p（m，n）-BpBTpx∧（m，n）‖2（10）

對(duì)上式最小化就是對(duì)當(dāng)前幀執(zhí)行主成分進(jìn)行分析（PCA），然而僅僅通過(guò)上式不能更新映射矩陣，需要將時(shí)空上下文模型進(jìn)行更新。

將公式（1）轉(zhuǎn)換到頻域，得到上下文模型。然后進(jìn)行傅里葉變換，可以得到上下文模型的傅里葉變換：

Hstct=MFt-FtF-t=CtDt（11）

其中Ft-是Ft的共軛復(fù)數(shù)，M是置信圖的傅里葉變換。

在跟蹤過(guò)程中，目標(biāo)容易受到外界環(huán)境和自身影響，因此需要及時(shí)更新模板。為提高魯棒性，使用空間上下文模型進(jìn)行更新。

Ct+1=（1-ρ）Ct+ρMFt+1-（12）

Dt+1=（1-ρ）Dt+ρFt+1Ft+1-（13）

使用t+1幀的上下文先驗(yàn)?zāi)Ｐ秃蛅幀的時(shí)空上下文模型計(jì)算置信圖：

mt+1（x）=F-1（CtFt+1Dt）（14）

取t+1幀中的最大置信圖mt+1（x）即可得到t+1幀的目標(biāo)位置。

3實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)平臺(tái)為MATLABR2016a，實(shí)驗(yàn)配置Intel Core i52450M CPU，主頻2.3GHz ，4G內(nèi)存，操作系統(tǒng)Microsoft Windows 10電腦。為了驗(yàn)證算法的有效性，選取OTB13上的視頻序列進(jìn)行測(cè)試。將本文提出的算法與其它29個(gè)算法進(jìn)行比較，其中包括STC算法。實(shí)驗(yàn)測(cè)試序列選取Tiger1、David2、David3測(cè)試序列。這些測(cè)試序列具有剛性形變、快速運(yùn)動(dòng)和彩色圖等特性。紅色實(shí)框表示改進(jìn)的STC算法即CSTC算法，黃色實(shí)框表示STC算法，黑色實(shí)框表示KCF算法。實(shí)驗(yàn)測(cè)試結(jié)果見(jiàn)圖1-圖3。

從soccer序列中可以看出，#95發(fā)生快速運(yùn)動(dòng)，由于STC和KCF只選取了灰度特征值進(jìn)行判斷，但是CSTC算法選取顏色特征融合降維算法，可以看出此時(shí)跟蹤效果良好。在#129序列中可以看到，經(jīng)歷長(zhǎng)時(shí)間跟蹤，此時(shí)STC和KCF不能修正誤差，導(dǎo)致長(zhǎng)時(shí)跟蹤失敗。同時(shí)測(cè)試Tiger1和David3序列，實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性。

4結(jié)語(yǔ)

本文針對(duì)STC灰度特征改進(jìn)算法，提出了一種融合顏色特征和降維算法的改進(jìn)算法，在剛性形變、快速運(yùn)動(dòng)、遮擋、彩色圖等測(cè)試序列中顯示出良好的適應(yīng)性。選取OTB13視頻序列進(jìn)行測(cè)試，結(jié)果表明，改進(jìn)算法在處理上述問(wèn)題時(shí)具有良好的跟蹤效果，驗(yàn)證了算法的有效性。

參考文獻(xiàn)參考文獻(xiàn)：

[1]K ZHANG， L ZHANG， M YANG. Realtime compressive racking[C]. European Conference on Computer Vision，2012：864877.

[2]X JIA， H LU， MH YANG. Visual tracking via adaptive tructural local sparse appearance model[C]. IEEE Conference on Computer Vision & Pattern Recognition，2012：18221829.

[3]L SEVILLALARA， E G LEARNEDMILLER. Distribution fields for tracking[J]. Computer Vision & Pattern Recognition，2012，157（10）：19101917.

[4]ZHANG K， ZHANG L， YANG MH. Realtime compressive tracking[C]. European Conference on Computer Vision，2012：864877.

[5]AHUJA N. Robust visual tracking via multitask sparse learning[C]. In CVPR，2012：20422049.

[6]Y WU， J LIM， M H YANG.Online object tracking： benchmark[C]. In CVPR，2013.

責(zé)任編輯（責(zé)任編輯：黃?。〆ndprint