李曉云， 何秋生*， 張衛(wèi)峰， 梁慧慧， 陳 偉

(1.太原科技大學(xué) 電子信息工程學(xué)院，山西 太原030024; 2.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州221116)

1 引 言

視覺(jué)目標(biāo)跟蹤是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，在光照和尺度變化、遮擋、背景雜亂以及快速運(yùn)動(dòng)、運(yùn)動(dòng)模糊的影響下，跟蹤會(huì)變得非常困難。

跟蹤算法由早期的均值偏移算法(Mean Shift)[1-3]、粒子濾波算法[4-6]、支持向量機(jī)(SVM)[7-9]到多示例學(xué)習(xí)[10-12]，之后相關(guān)濾波器算法在跟蹤過(guò)程中的快速性被大家關(guān)注。Bolme 等[13]是最早提出將相關(guān)濾波用于目標(biāo)跟蹤，將設(shè)計(jì)的最小平方誤差和輸出(Minimum output sum of squared error, MOSSE)采用簡(jiǎn)單的灰度特征訓(xùn)練濾波器，然后根據(jù)響應(yīng)的最大值確定跟蹤目標(biāo)位置，雖然跟蹤速度很快，但是跟蹤精度略有欠缺。之后大家開(kāi)始致力于提高跟蹤算法的精度，并取得了不錯(cuò)的效果。Henriques等[14]提出CSK算法，在相關(guān)濾波的基礎(chǔ)上引入循環(huán)矩陣，解決脊回歸問(wèn)題，提高了算法的精確度，但是由于仍然采用灰度特征，對(duì)目標(biāo)變形、尺度變化、背景雜亂以及快速運(yùn)動(dòng)等問(wèn)題的魯棒性較弱。文獻(xiàn)[15]提出的KCF算法，將HOG特征應(yīng)用到跟蹤算法中，使得跟蹤精度提高，但是當(dāng)目標(biāo)快速運(yùn)動(dòng)、尺度發(fā)生變化及運(yùn)動(dòng)模糊時(shí)，容易導(dǎo)致目標(biāo)跟蹤失敗。 Bertinetto等[16]提出Staple算法，將顏色直方圖特征和HOG特征以一定的融合因子進(jìn)行融合，然后利用融合后的特征訓(xùn)練濾波器，跟蹤精度提高，但是跟蹤速度大幅度降低。Galoogahi等[17]提出BACF算法，在跟蹤過(guò)程中考慮背景信息，解決了目標(biāo)遮擋、快速運(yùn)動(dòng)等問(wèn)題，且提高了跟蹤精度，但對(duì)目標(biāo)尺度變化的適應(yīng)性不強(qiáng)，跟蹤速度也有所下降。文獻(xiàn)[18]和文獻(xiàn)[19]將深度特征應(yīng)用到跟蹤算法中，雖然深度特征對(duì)跟蹤精度有一定的提高，但是跟蹤速度大幅降低。

上文列舉的跟蹤算法及現(xiàn)存的大多數(shù)跟蹤算法都沒(méi)有解決目標(biāo)尺度變化的問(wèn)題。如果目標(biāo)縮小，濾波器就會(huì)學(xué)習(xí)到大量的背景信息，如果目標(biāo)擴(kuò)大，濾波器就會(huì)受到目標(biāo)局部紋理的影響，這兩種情況都有可能出現(xiàn)非預(yù)期的結(jié)果，導(dǎo)致跟蹤漂移和失敗[20]。Danelljan等[21]首次將CN(Color name)應(yīng)用到目標(biāo)跟蹤中，通過(guò)將11 維特征用PCA 進(jìn)行降維抽取，再采用CSK 跟蹤算法實(shí)現(xiàn)跟蹤，跟蹤精度相對(duì)較高，但它在目標(biāo)尺度變化、部分遮擋以及發(fā)生形變時(shí)，效果不太理想[22]。本文提出基于顏色屬性的多尺度目標(biāo)跟蹤算法，解決尺度變化問(wèn)題，實(shí)現(xiàn)自適應(yīng)顏色特征的多尺度目標(biāo)跟蹤。

2 顏色視覺(jué)跟蹤

顏色特征擁有豐富的表現(xiàn)力和較高的辨識(shí)度，CN算法將原始的RGB顏色空間映射到11維顏色屬性空間[23]，對(duì)目標(biāo)在跟蹤過(guò)程中易受環(huán)境變化的問(wèn)題具有一定魯棒性。算法融合了灰度特征和顏色特征，對(duì)每一個(gè)特征通道，都經(jīng)過(guò)Hann窗做預(yù)處理，最終得到灰度和顏色的綜合特征表示[24]。

顏色特征提取完成后，然后對(duì)特征進(jìn)行處理，實(shí)現(xiàn)跟蹤[10]。CN算法是判別式跟蹤方法，根據(jù)分類(lèi)器響應(yīng)最大值確定新一幀目標(biāo)的位置。所以跟蹤問(wèn)題最主要的就是分類(lèi)器設(shè)計(jì)[25]。

(1)

式(1)的解可表示為輸入的線(xiàn)性組合，即

(2)

損失函數(shù)最小時(shí)應(yīng)滿(mǎn)足：

(3)

(4)

3 改進(jìn)的CN跟蹤算法

原始的CN算法是在CSK算法上進(jìn)行的改進(jìn)，但是沒(méi)有解決尺度變化的問(wèn)題。文獻(xiàn)[26]提出一種基于 MOSSE濾波器的尺度估計(jì)方法，本文受其啟發(fā)在CN跟蹤算法的框架下，增加了尺度估計(jì)策略，以實(shí)現(xiàn)自適應(yīng)尺度目標(biāo)跟蹤。

3.1 尺度估計(jì)策略

在跟蹤過(guò)程中，目標(biāo)因運(yùn)動(dòng)其尺度經(jīng)常發(fā)生變化，如果算法不能適應(yīng)目標(biāo)的尺度變化，那么分類(lèi)器的輸出就會(huì)受到一定的影響，從而使得跟蹤效果不佳。本文所采取的方法是，首先對(duì)目標(biāo)位置進(jìn)行估計(jì)，其次根據(jù)估計(jì)位置區(qū)域的信息進(jìn)行尺度估計(jì)，最后根據(jù)尺度估計(jì)結(jié)果更新目標(biāo)的跟蹤結(jié)果。而尺度估計(jì)是通過(guò)相關(guān)濾波器去檢測(cè)目標(biāo)尺度的變化，從而能夠依據(jù)目標(biāo)尺度變化合理地限定搜索區(qū)域。尺度估計(jì)的特征提取過(guò)程如圖1所示。

圖1 尺度估計(jì)的特征提取過(guò)程Fig.1 Feature extraction process of scale estimation

3.2 快速尺度跟蹤

考慮到特征提取過(guò)程中計(jì)算量大的問(wèn)題，本文采用雙線(xiàn)性插值的方法將3.1節(jié)中得到的33個(gè)特征矩陣的維數(shù)統(tǒng)一為初始目標(biāo)區(qū)域特征的維數(shù)，然后對(duì)雙線(xiàn)性插值后的33個(gè)特征矩陣進(jìn)行整合，得到目標(biāo)的尺度特征矩陣xscale。此外，采用正交三角分解對(duì)特征進(jìn)行降維，減少計(jì)算量。

3.2.1 降維

(5)

3.2.2 降維尺度跟蹤

(6)

(7)

在目標(biāo)跟蹤中，由于相鄰兩幀中目標(biāo)的尺度變化很小，為此先利用位置核相關(guān)濾波器檢測(cè)出目標(biāo)位置，然后在周?chē)杉瘶颖?，利用尺度核相關(guān)濾波器檢測(cè)出目標(biāo)尺度，這樣就完成了目標(biāo)位置和尺度的檢測(cè)。

3.3 本文算法流程

本文跟蹤算法中在進(jìn)行位置濾波和尺度濾波時(shí)，均采用高斯函數(shù)輸出，目標(biāo)特征選用多通道的顏色特征和灰度值。首先對(duì)特征通道采用Hann窗進(jìn)行預(yù)處理，然后提取目標(biāo)特征，進(jìn)行降維處理，計(jì)算響應(yīng)值，最后更新目標(biāo)位置和尺度。具體的算法流程如下所示：

Input:輸入圖像patch It ;上一幀的位置Pt-1和尺度St-1;位置模型APt-1、xPt-1和尺度模型ASt-1、xSt-1。Output:估計(jì)的目標(biāo)位置Pt和尺度St;更新位置APt、xPt和尺度模型ASt、xSt。

其中：

位置評(píng)估:(1)根據(jù)視頻前一幀的位置,在當(dāng)前幀中按照前一幀目標(biāo)尺度的2倍提取顏色特征Z;(2)利用Z和APt-1、xPt-1,計(jì)算y;(3)計(jì)算max(y),得到目標(biāo)準(zhǔn)確的位置Pt。尺度評(píng)估:(4)以目標(biāo)當(dāng)前位置為中心,提取33中不同尺度的顏色特征Z’;(5)降維到17維,再使用Z′和ASt-1、xSt-1計(jì)算出yS∧;(6)計(jì)算max(yS∧),得到目標(biāo)準(zhǔn)確的尺度St。模型更新:(7)提取樣本fP和fS;(8)更新位置模型APt、xPt;(9)更新尺度模型ASt、xSt。

4 實(shí)驗(yàn)評(píng)估及結(jié)論

為了驗(yàn)證本文算法的跟蹤效果，選取了OTB2015數(shù)據(jù)集中13個(gè)挑戰(zhàn)性的視頻進(jìn)行測(cè)試，此數(shù)據(jù)集提供精準(zhǔn)的Ground truth和初始框的位置和大小，以便計(jì)算跟蹤精度。本文與近幾年來(lái)跟蹤性能優(yōu)異的10個(gè)算法進(jìn)行對(duì)比，包括CSK、KCF、SAMF 、SRDCF、DCF_CA、MOSSE_CA、STAPLE_CA和SAMF_CA以及CN。

本文主要從跟蹤的準(zhǔn)確性和尺度變化上對(duì)算法的跟蹤效果進(jìn)行評(píng)估，為了方便對(duì)比，選取的對(duì)比算法均采用默認(rèn)參數(shù)。本次實(shí)驗(yàn)機(jī)器配置是：中央處理器為Intel Pentium CPU G3250 @3.20 GHz，運(yùn)行內(nèi)存4 GB，64位操作系統(tǒng)。軟件環(huán)境為：Win7 + Matlab2014。

4.1 快速尺度估計(jì)

在3.2節(jié)中，對(duì)原始的尺度估計(jì)進(jìn)行降維處理，下面將具體分析尺度相關(guān)濾波器的維數(shù)對(duì)跟蹤性能的影響。

圖2 尺度濾波器維數(shù)與跟蹤精度的關(guān)系Fig.2 Relationship between dimension of scale filter and tracking accuracy

如圖2所示，當(dāng)維數(shù)從33維逐漸減小的過(guò)程中，一段范圍內(nèi)跟蹤性能基本保持一致。Y軸的跟蹤精度表示在跟蹤過(guò)程中的成功率，即算法計(jì)算所得的目標(biāo)區(qū)域與真實(shí)目標(biāo)區(qū)域的比值。結(jié)果表明，當(dāng)維數(shù)設(shè)置為17時(shí)，不僅能夠保證跟蹤性能，而且還可以顯著降低特征的維數(shù)，提高計(jì)算速度。

4.2 性能分析

性能分析主要分為 3 個(gè)部分：中心位置誤差、跟蹤成功率和距離精度。

4.2.1 中心位置誤差

4.2.2 距離精度

4.2.3 跟蹤成功率

表1 中心位置誤差結(jié)果匯總表(最優(yōu)結(jié)果用粗體顯示)Tab.1 Summary of central position error results (the optimal results are shown in bold)

表2 跟蹤精度結(jié)果匯總表(最優(yōu)結(jié)果用粗體顯示)Tab. 2 Summary of tracking accuracy results (optimal results shown in bold)

表3 跟蹤成功率結(jié)果匯總表(最優(yōu)結(jié)果用粗體顯示)Tab.3 Summary of track success rate results (best results shown in bold)

4.3 實(shí)驗(yàn)結(jié)果

從表1～3可以看出，在跟蹤性能方面，本文提出的算法優(yōu)于其他算法，在隨后的圖3～5中將給出本算法在跟蹤過(guò)程中的部分視頻幀截圖，能更直觀地體現(xiàn)跟蹤效果。

4.3.1 尺度變化

在跟蹤過(guò)程中，目標(biāo)會(huì)發(fā)生尺度變化，影響跟蹤精度。在圖3所示的視頻幀中，Dog1視頻在跟蹤過(guò)程中尺度變化明顯，從圖1的第一行可以看到，運(yùn)行到第590幀，所有算法基本跟蹤正確，但是到了第908幀，目標(biāo)尺度變大，可以看到，只有本文的算法以及算法STAPLE_CA、SRDCF能夠自適應(yīng)尺度的變化，尤其在第1 039幀表現(xiàn)最為明顯。在后續(xù)幀中，目標(biāo)尺度變小，本文算法也能自適應(yīng)其尺度的變化，成功跟蹤目標(biāo)。在第2行視頻幀Doll中，第886幀目標(biāo)變大，已有大部分算法不能自適應(yīng)其尺度的變化。在第1 637幀及之后，算法CSK和MOSSE_CA就已經(jīng)開(kāi)始偏離目標(biāo)，跟蹤失敗。在第3行Fleetface視頻幀中，第614幀，目標(biāo)不僅尺度發(fā)生變化，而且目標(biāo)具有一定程度的旋轉(zhuǎn)，本文算法表現(xiàn)出良好的跟蹤效果。在第663幀和第693幀中，算法CN已跟丟目標(biāo)。第四行視頻幀Dudek中，大部分算法雖然成功跟蹤，但未能很好的自適應(yīng)目標(biāo)尺度的變化，從而影響其跟蹤成功率，而本文算法在該視頻中仍能達(dá)到100%的跟蹤成功率。

4.3.2 快速運(yùn)動(dòng)與運(yùn)動(dòng)模糊

在跟蹤過(guò)程中，目標(biāo)運(yùn)動(dòng)速度快，會(huì)使目標(biāo)產(chǎn)生模糊的畫(huà)面，對(duì)于跟蹤是一個(gè)巨大的挑戰(zhàn)。在圖4所示的視頻中，第1行是Jumping視頻的跟蹤結(jié)果截圖，因目標(biāo)范圍小，運(yùn)動(dòng)速度快，運(yùn)動(dòng)過(guò)程中畫(huà)面模糊，所以很多算法在此視頻幀中跟蹤失敗。從圖中可以看到，在第25幀、36幀、48幀、86幀以及186幀中，除了SRDCF和本文的算法之外，其他算法均不能準(zhǔn)確跟蹤目標(biāo)。SRDCF在算法中對(duì)尺度做了相應(yīng)的處理，并在算法中加入懲罰項(xiàng)，能夠準(zhǔn)確跟蹤目標(biāo)。第2行的Deer視頻中，從第25幀可以看到，DCF_CA和SAMG已經(jīng)偏離目標(biāo)，在第28幀時(shí)，KCF算法也已跟蹤失敗，雖然之后又成功跟蹤，但是跟蹤成功率下降。第3行Boy1視頻中，目標(biāo)不僅具有快速運(yùn)動(dòng)的特點(diǎn)，而且在尺度方面也有一定程度的變化，第508幀中CSK開(kāi)始偏離目標(biāo)，第513幀已完全偏離。在第4行Fish視頻中，大部分算法跟蹤準(zhǔn)確，但是CSK和CN算法偏離目標(biāo)。本文算法在這組視頻中，跟蹤效果均優(yōu)于其他算法，在Jumping視頻中表現(xiàn)最為明顯，取得了99.8%的跟蹤成功率。

4.3.3 光照變化與背景雜亂

視頻中經(jīng)常會(huì)有光照變化明顯以及雜亂的背景信息，在跟蹤過(guò)程中處理這些干擾是一個(gè)很大的難題。圖5所示的第一行是Shaking視頻，該視頻光照變化大，而且目標(biāo)與背景顏色相似，背景也非常雜亂，僅在第5幀中，MOSSE_CA已經(jīng)偏離目標(biāo)，第22幀中，只有CSK、SAMF_CA和本文算法跟蹤成功。第69幀、162幀和239幀中，DCF_CA也表現(xiàn)出良好的跟蹤效果，除此之外，其他算法均跟蹤失敗。第2行的Skating1視頻中，不僅光照變化明顯，背景復(fù)雜，而且目標(biāo)還有一定程度的尺度變化，對(duì)于不能自適應(yīng)尺度變化的算法來(lái)說(shuō)，跟蹤成功率不高。第82幀時(shí)，SAMF_CA就已經(jīng)開(kāi)始偏離目標(biāo)，第30幀已完全偏離目標(biāo)。在第267幀、291幀和362幀中，本文算法能夠自適應(yīng)其尺度的變化，跟蹤效果優(yōu)于其他算法。在第3行的Trellis視頻中，第128幀MOSSE_CA開(kāi)始偏離目標(biāo)，第430幀MOSSE_CA、CSK和CN都跟蹤失敗。第四行的CarDark視頻中，大部分算法都成功跟蹤。在這組視頻中，本文算法均取得了很好的跟蹤效果，尤其在Shaking和Skating1視頻中表現(xiàn)最為明顯，以96.4%和89.5%的跟蹤成功率優(yōu)于其他算法。

圖3 部分尺度變化的跟蹤結(jié)果截圖Fig.3 Screenshots of partial scale changes tracking results

圖5 部分光照變化與背景雜亂的跟蹤結(jié)果截圖Fig.5 Screenshots of light variations and background clutter tracking results

5 結(jié) 論

本文提出自適應(yīng)顏色特征的多尺度目標(biāo)跟蹤算法，將原始RGB圖像映射到11維的顏色屬性特征空間，從而實(shí)現(xiàn)了顏色特征的魯棒表示。利用基于顏色特征的核跟蹤方法對(duì)目標(biāo)進(jìn)行快速準(zhǔn)確地跟蹤。在尺度估計(jì)上，通過(guò)在目標(biāo)周?chē)匦螀^(qū)域計(jì)算顏色特征，設(shè)計(jì)尺度相關(guān)濾波器，解決跟蹤過(guò)程中目標(biāo)尺度變化的問(wèn)題。本文提出的自適應(yīng)顏色特征多尺度跟蹤算法擁有以下幾個(gè)優(yōu)點(diǎn)：

(1)對(duì)于目標(biāo)尺度變化具有較強(qiáng)的適應(yīng)性(如Dog和Doll序列的結(jié)果)；

(2)對(duì)于快速運(yùn)動(dòng)與運(yùn)動(dòng)模糊的視頻，本算法運(yùn)算速度快，能夠以高精度成功跟蹤；

(3)對(duì)于光照變化和背景雜亂具有較好的抵抗能力，這是因?yàn)閷⒃嫉?RGB 顏色映射到 CN 特征空間，提高了顏色表示的魯棒性。

實(shí)驗(yàn)結(jié)果表明，本文算法既保持了顏色特征跟蹤快速準(zhǔn)確的優(yōu)點(diǎn)，又很好地實(shí)現(xiàn)了尺度變化、快速運(yùn)動(dòng)以及背景干擾下的魯棒跟蹤。