楊 浩，鐘小勇，黃林輝

(江西理工大學(xué) 理學(xué)院，江西 贛州 341000)

0 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)中一個(gè)重要的研究方向，在動(dòng)作識(shí)別[1]、視頻監(jiān)控[2]和無(wú)人機(jī)[3]領(lǐng)域已經(jīng)具有了廣泛應(yīng)用。然而跟蹤情況復(fù)雜多變，目標(biāo)跟蹤容易受光照、遮擋和背景干擾等因素干擾，在實(shí)際應(yīng)用中，長(zhǎng)時(shí)間穩(wěn)定跟蹤目標(biāo)依舊是待解決的問(wèn)題。目標(biāo)跟蹤根據(jù)觀測(cè)模型可分為生成式模型和判別式模型[4]。如今主流跟蹤模型為判別式模型，基于相關(guān)濾波的目標(biāo)跟蹤算法是典型的判別式模型，由于其優(yōu)越的精確性和魯棒性而廣受關(guān)注。

早在2010年，Bolme等[5]將相關(guān)濾波引入目標(biāo)跟蹤算法，提出了最小平方誤差輸出和(MOOSE)跟蹤算法，該算法通過(guò)計(jì)算目標(biāo)與樣本的最小平方差的方式訓(xùn)練濾波器，同時(shí)計(jì)算從時(shí)域轉(zhuǎn)入傅里葉域，減小計(jì)算量，具有較快的跟蹤速度。2012年，Henriques等[6]在MOOSE基礎(chǔ)上加入循環(huán)結(jié)構(gòu)，提出了了循環(huán)結(jié)構(gòu)檢測(cè)(CSK)跟蹤算法，該算法通過(guò)循環(huán)矩陣擴(kuò)充目標(biāo)樣本，提高了分類能力，由于CSK算法使用單通道的灰度特征，目標(biāo)特性表現(xiàn)不足。2014年，Henriques等[7]針對(duì)此問(wèn)題提出了核相關(guān)濾波(KCF)算法，該算法擴(kuò)充單通道，使用多通道的梯度直方圖(HOG)特征，提升目標(biāo)的表征能力，使跟蹤精度有了較大提高。

近年來(lái)，深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)和目標(biāo)分類方向具有較好的表現(xiàn)[8]。很多學(xué)者也將深度卷積神經(jīng)網(wǎng)絡(luò)引入目標(biāo)跟蹤領(lǐng)域，有效地提高了跟蹤的準(zhǔn)確性?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法主要分為2類：一類為端到端離線訓(xùn)練的目標(biāo)跟蹤算法，主要有基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法[9]，該類算法具有較高的精度，但丟棄實(shí)時(shí)更新模型，當(dāng)目標(biāo)形狀發(fā)生變化，同時(shí)周圍出現(xiàn)過(guò)多與目標(biāo)相似物體時(shí)，容易丟失目標(biāo)；另一類則是深度特征和相關(guān)濾波結(jié)合的目標(biāo)跟蹤算法[10]，采用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)作為特征提取工具。使用深度特征有效提高了目標(biāo)表征能力，但只適用單一特征和固定學(xué)習(xí)率，當(dāng)跟蹤過(guò)程中出現(xiàn)遮擋情況容易丟失目標(biāo)。

針對(duì)以上問(wèn)題，本文提出一種基于先驗(yàn)機(jī)制的級(jí)聯(lián)目標(biāo)跟蹤方法。利用先驗(yàn)機(jī)制計(jì)算出當(dāng)前幀出現(xiàn)的挑戰(zhàn)情況，在不同情景選擇適當(dāng)特征，同時(shí)加入級(jí)聯(lián)結(jié)構(gòu)預(yù)測(cè)目標(biāo)位置，提高跟蹤精確度。當(dāng)背景出現(xiàn)干擾時(shí)，學(xué)習(xí)率進(jìn)行階段性衰減，減少模型的污染，解決固定學(xué)習(xí)率引起的魯棒性差的問(wèn)題。

1 判別式相關(guān)濾波模型

相關(guān)濾波模型使用嶺回歸方式訓(xùn)練分類器，在下一幀計(jì)算出最大響應(yīng)值作為目標(biāo)位置。設(shè)一幀圖像為X，對(duì)當(dāng)前圖像進(jìn)行提取目標(biāo)多通道特征xi。損失函數(shù)如下所示：

(1)

式中，y為期望目標(biāo)；hi(i=1,2,…,D)表示每個(gè)通道所獲取的濾波器；*表示循環(huán)卷積；λ為正則化參數(shù)。濾波器hi通過(guò)式(1)轉(zhuǎn)入頻域求解可得：

(2)

在后續(xù)幀利用訓(xùn)練好的濾波器進(jìn)行預(yù)測(cè)目標(biāo)位置。對(duì)下一幀圖像，設(shè)其搜索區(qū)域?yàn)閦，對(duì)此區(qū)域進(jìn)行檢測(cè)，通過(guò)式(3)獲得響應(yīng)圖r：

(3)

最后采用插值的方式更新外觀模型和濾波器模型，更新方式為：

(4)

式中，t為當(dāng)前幀的序號(hào)；η為學(xué)習(xí)率；x為目標(biāo)樣本模型；h為濾波器模型。

2 基于先驗(yàn)機(jī)制的級(jí)聯(lián)目標(biāo)跟蹤算法

2.1 目標(biāo)跟蹤算法整體流程

本文提出目標(biāo)跟蹤算法主要由目標(biāo)先驗(yàn)、級(jí)聯(lián)預(yù)測(cè)和模型更新3部分組成，整體流程如圖1所示。目標(biāo)先驗(yàn)部分主要利用上一幀訓(xùn)練好的濾波器預(yù)測(cè)目標(biāo)位置，然后對(duì)目標(biāo)區(qū)域進(jìn)行先驗(yàn)，判別出當(dāng)前幀出現(xiàn)的挑戰(zhàn)情況，進(jìn)而選取適當(dāng)特征進(jìn)行級(jí)聯(lián)。級(jí)聯(lián)預(yù)測(cè)采用2級(jí)預(yù)測(cè)方式；第1級(jí)預(yù)測(cè)目標(biāo)位置并傳遞給第2級(jí)；第2級(jí)以上一級(jí)預(yù)測(cè)的目標(biāo)位置為中心提取特征，再次計(jì)算出目標(biāo)位置，以此來(lái)減少目標(biāo)定位誤差。當(dāng)目標(biāo)區(qū)域受到干擾，在模型更新階段，使學(xué)習(xí)率衰減，減輕模型污染。

圖1 目標(biāo)跟蹤算法整體流程Fig.1 Overall flowchart of target tracking algorithm

2.2 目標(biāo)定位漂移問(wèn)題

級(jí)聯(lián)結(jié)構(gòu)在很多領(lǐng)域都有涉及，如語(yǔ)音處理[11]和深度特征提取[12]，通過(guò)對(duì)目標(biāo)逐漸剖析，獲取更精確的信息。文獻(xiàn)[13]發(fā)現(xiàn)前一幀預(yù)測(cè)位置與目標(biāo)真實(shí)位置越接近，后續(xù)幀計(jì)算目標(biāo)位置越準(zhǔn)確，所以在檢測(cè)階段加入級(jí)聯(lián)結(jié)構(gòu)來(lái)提高跟蹤精確度。

雖然使用級(jí)聯(lián)結(jié)構(gòu)在無(wú)干擾場(chǎng)景下能夠減少定位誤差，但是當(dāng)目標(biāo)區(qū)域受到干擾時(shí)，如運(yùn)動(dòng)模糊和光照等原因，在級(jí)聯(lián)結(jié)構(gòu)的第1級(jí)目標(biāo)定位會(huì)發(fā)生飄移，而且這樣的情況還會(huì)延續(xù)到下一級(jí)。具體以O(shè)TB數(shù)據(jù)集中圖像序列分析，如圖2(a)75幀、圖2(b)171幀和圖2(c)12幀所示。因運(yùn)動(dòng)模糊、目標(biāo)旋轉(zhuǎn)和快速運(yùn)動(dòng)等原因，使用單特征預(yù)測(cè)目標(biāo)位置，其定位誤差繼續(xù)增加，而采用相同特征級(jí)聯(lián)預(yù)測(cè)目標(biāo)位置，出現(xiàn)連續(xù)漂移現(xiàn)象，其定位誤差相比單特征更高。

圖2 不同特征目標(biāo)位置與真實(shí)值位置誤差Fig.2 Error diagram of target position and true value for different features

使用不同的特征進(jìn)行級(jí)聯(lián)能夠消除連續(xù)漂移問(wèn)題，圖3為視頻序列集singer2每幀定位誤差，箭頭指示為使用顏色名稱(CN)特征跟蹤目標(biāo)發(fā)生嚴(yán)重漂移位置。如圖3(a)所示，在目標(biāo)未丟失前，并未出現(xiàn)因第1級(jí)漂移而引起的第2級(jí)繼續(xù)漂移的現(xiàn)象。雖然預(yù)測(cè)階段使用不同特征級(jí)聯(lián)使得連續(xù)漂移問(wèn)題得以解決，但是由于光照影響，使用單特征和HOG+CN特征級(jí)聯(lián)進(jìn)行跟蹤都發(fā)生失敗，計(jì)算的位置與真實(shí)值位置的偏差持續(xù)增加。如圖3(b)所示，采用CN特征為第1級(jí)，HOG特征為第2級(jí)的方式進(jìn)行跟蹤。由于HOG特征對(duì)光照具有魯棒性，使用此方式進(jìn)行級(jí)聯(lián)，并未發(fā)生丟失情況，位置誤差保持在一定范圍內(nèi)。第1級(jí)跟蹤結(jié)果即便因光照輕微漂移，第2級(jí)使用的特征只要能夠應(yīng)此幀出現(xiàn)的光照問(wèn)題，依舊能夠解決因挑戰(zhàn)情況而引起的目標(biāo)丟失問(wèn)題。

圖3 singer2視頻序列每幀位置誤差Fig.3 Position error diagram of each frame of the singer2 video sequences

圍繞如何獲取每幀最適當(dāng)?shù)奶卣?，本文提出目?biāo)先驗(yàn)的方式。在預(yù)測(cè)目標(biāo)位置前了解當(dāng)前幀出現(xiàn)的光照變化和快速運(yùn)動(dòng)情況，針對(duì)性地選擇特征級(jí)聯(lián)，達(dá)到減少目標(biāo)定位誤差的目的。

2.3 基于先驗(yàn)機(jī)制的手工特征選擇方案

先驗(yàn)機(jī)制在圖像處理領(lǐng)域有了廣泛應(yīng)用，通過(guò)先驗(yàn)圖像信息來(lái)有效處理圖像。近些年也有學(xué)者將目標(biāo)先驗(yàn)的方式引入目標(biāo)跟蹤，文獻(xiàn)[14]通過(guò)暗通道先驗(yàn)的方式，通過(guò)圖像去模糊的方式來(lái)提高跟蹤性能。文獻(xiàn)[15]通過(guò)去除目標(biāo)背景信息，先驗(yàn)出更詳細(xì)目標(biāo)初始特征，當(dāng)跟蹤發(fā)生丟失時(shí)，使用先驗(yàn)的特征進(jìn)行目標(biāo)搜索。與上述先驗(yàn)方式不同，本文采用的先驗(yàn)機(jī)制主要檢測(cè)目標(biāo)每一幀面臨的挑戰(zhàn)，靈活地選擇適合的特征并搭配級(jí)聯(lián)結(jié)構(gòu)，以此來(lái)提高跟蹤精確度。

在不同的場(chǎng)景特征表現(xiàn)能力不同，CN特征對(duì)目標(biāo)形變魯棒性較好，但容易受光照影響，而HOG特征卻恰好相反。雖然二者具有互補(bǔ)作用，但表現(xiàn)方式不同，直接融合有時(shí)表現(xiàn)不佳。而在預(yù)測(cè)階段采用級(jí)聯(lián)方式，不同特征相互獨(dú)立，能夠充分利用不同特征優(yōu)勢(shì)。先驗(yàn)機(jī)制可以判別當(dāng)前幀出現(xiàn)的光照情況，針對(duì)性選擇手工特征進(jìn)行跟蹤。圖像的均值表示一幅圖像平均亮度。圖像在低亮度情況下，通過(guò)攝像頭獲取的圖像顏色信息缺失較大[16]，導(dǎo)致目標(biāo)特征學(xué)習(xí)不足，從而引起目標(biāo)丟失。而在圖像亮度適當(dāng)?shù)那闆r下，圖像顏色特性能夠準(zhǔn)確表現(xiàn)，便于區(qū)分目標(biāo)與背景。如圖4(a)所示，目標(biāo)區(qū)域亮度較低，目標(biāo)顏色特征表現(xiàn)不足，圖像歸一化均值較低，此時(shí)使用CN特征進(jìn)行跟蹤容易丟失目標(biāo)。如圖4(b)所示，目標(biāo)區(qū)域顏色明亮，目標(biāo)顏色特性表現(xiàn)較好，圖像歸一化均值較高，此時(shí)使用CN特征能夠較好表征目標(biāo)。

(a)目標(biāo)區(qū)域亮度較低

(b)目標(biāo)區(qū)域亮度正常圖4 目標(biāo)區(qū)域圖像歸一化均值Fig.4 Normalized mean of target area image

本文通過(guò)預(yù)測(cè)的目標(biāo)位置，再計(jì)算目標(biāo)區(qū)域圖像歸一化均值，以此選擇每一級(jí)特征。圖像均值計(jì)算公式為：

(5)

式中，A表示圖像均值；F(i,j)為像素值大??；M，N分別為圖像的行和列數(shù)。為了更直觀地表現(xiàn)圖像亮度情況，對(duì)圖像均值進(jìn)行歸一化處理：

(6)

式中，Anom，A，F(xiàn)max，F(xiàn)min分別為均值數(shù)據(jù)的歸一化值、圖像像素均值、圖像像素最大值和最小值。

設(shè)置閾值，當(dāng)歸一化均值大于0.7或者小于0.4時(shí)，目標(biāo)顏色特性表現(xiàn)不足，使用CN特征跟蹤容易丟失目標(biāo)，由于第2級(jí)具有修正第1級(jí)誤差的作用，此時(shí)第1級(jí)使用CN特征，第2級(jí)使用HOG特征能夠較好地解決因光照引起目標(biāo)特征表現(xiàn)不足而導(dǎo)致目標(biāo)丟失問(wèn)題。當(dāng)圖像歸一化均值在區(qū)間(0.4,0.7)時(shí)，能夠較好地表現(xiàn)目標(biāo)顏色特征，此時(shí)第1級(jí)使用HOG特征，第2級(jí)使用CN特征的方式級(jí)聯(lián)能夠較好應(yīng)地對(duì)目標(biāo)形變問(wèn)題。具體特征選擇方式為：

(7)

2.4 深度特征拓展

深度特征對(duì)目標(biāo)形變、光照具有較好的魯棒性，能夠準(zhǔn)確定位目標(biāo)位置，可是深層的語(yǔ)義特征難以區(qū)分過(guò)暗的目標(biāo)和明亮的背景[17]。雖然手工特征在精確度上較深度特征不足，但是特定跟蹤情況下具有更好效果，依舊具有較高使用價(jià)值。針對(duì)這些考慮，先對(duì)目標(biāo)區(qū)域特性進(jìn)行檢測(cè)，再選擇不同特征進(jìn)行級(jí)聯(lián)操作。

級(jí)聯(lián)結(jié)構(gòu)第2級(jí)計(jì)算出目標(biāo)位置為最終位置，相比于第1級(jí)更為重要。在一般情況下，第1級(jí)選擇手工特征，第2級(jí)選擇魯棒性更高的深度特征。目標(biāo)區(qū)域檢測(cè)主要從目標(biāo)亮度、目標(biāo)快速運(yùn)動(dòng)、背景與目標(biāo)亮度3個(gè)方面進(jìn)行處理，根據(jù)不同情況來(lái)選擇特征。

目標(biāo)亮度檢測(cè)：通過(guò)計(jì)算預(yù)測(cè)目標(biāo)區(qū)域歸一化均值來(lái)選取第1級(jí)特征，當(dāng)均值判別圖像亮度適當(dāng)，使用CN特征，反之使用HOG特征，這樣在第1級(jí)別能夠達(dá)到更精確的目標(biāo)定位。

目標(biāo)快速運(yùn)動(dòng)檢測(cè)：手工特征在預(yù)測(cè)目標(biāo)階段使用的搜索框相比深度特征的搜索框更小，當(dāng)目標(biāo)發(fā)生快速運(yùn)動(dòng)時(shí)使用手工特征容易丟失目標(biāo)，第2級(jí)難以修正，此時(shí)只使用深度特征進(jìn)行跟蹤效果最好。目標(biāo)快速運(yùn)動(dòng)通過(guò)計(jì)算前后幀目標(biāo)距離進(jìn)行判別，即：

(8)

式中，Pt為先驗(yàn)階段預(yù)測(cè)的目標(biāo)位置；Pt-1為上一幀目標(biāo)位置；d為前后幀目標(biāo)位置距離。當(dāng)d>10時(shí)，認(rèn)為目標(biāo)發(fā)生快速運(yùn)動(dòng)。

背景與目標(biāo)亮度檢測(cè)：當(dāng)目標(biāo)區(qū)域亮度過(guò)暗而背景區(qū)域亮度偏亮?xí)r，使用深度特征容易丟失目標(biāo)。針對(duì)這個(gè)情況，計(jì)算目標(biāo)區(qū)域與目標(biāo)背景區(qū)域歸一化均值，當(dāng)判別目標(biāo)昏暗并且背景明亮?xí)r，此幀只使用具有光照魯棒性的HOG特征進(jìn)行目標(biāo)位置預(yù)測(cè)，保證精度同時(shí)減少計(jì)算量。

除上述3種情況外，由于手工特征的局限性，在一些情況下目標(biāo)定位發(fā)生漂移嚴(yán)重甚至丟失目標(biāo)，以至于第2級(jí)修正不足導(dǎo)致最終結(jié)果不理想。在進(jìn)行第2級(jí)目標(biāo)定位操作前，先使用置信值判斷，當(dāng)置信值滿足要求時(shí)才將第1級(jí)預(yù)測(cè)的目標(biāo)位置傳輸給第2級(jí)。

本文置信值使用平均峰值相關(guān)能量(APCE)為判別標(biāo)準(zhǔn)，APCE表示響應(yīng)圖的震蕩程度。當(dāng)穩(wěn)定跟蹤目標(biāo)時(shí)，響應(yīng)圖峰值較大，整體波動(dòng)較小。而當(dāng)目標(biāo)發(fā)生遮擋，運(yùn)動(dòng)模糊時(shí)，目標(biāo)較容易丟失，同時(shí)響應(yīng)圖峰值較小，整體波動(dòng)嚴(yán)重。

本文利用0.7倍的APCE平均值作為閾值，以20幀為一組，計(jì)算每20組內(nèi)的平均APCE值。當(dāng)每一幀APCE值大于0.7倍的平均APCE值時(shí)，表明穩(wěn)定跟蹤目標(biāo)，此時(shí)將第1級(jí)計(jì)算的結(jié)果傳輸給下一級(jí)，反之舍棄第1級(jí)結(jié)果。APCE計(jì)算如下：

(9)

式中，F(xiàn)max,Fmin表示響應(yīng)圖上峰值的最大值和最小值；F(W,H)表示響應(yīng)圖上(W,H)位置的響應(yīng)值。

特征選擇具體步驟如下：

步驟①:計(jì)算前后幀目標(biāo)距離，當(dāng)判別為快速運(yùn)動(dòng)時(shí)，使用深度特征計(jì)算目標(biāo)位置作為最終結(jié)果，不再進(jìn)行后續(xù)步驟，反之繼續(xù)下一步操作。

步驟②:背景與目標(biāo)亮度檢測(cè)，當(dāng)目標(biāo)昏暗而背景明亮?xí)r，使用HOG特征計(jì)算目標(biāo)位置作為最終結(jié)果，不再進(jìn)行下一步操作。當(dāng)判別目標(biāo)歸一化均值滿足要求時(shí)，級(jí)聯(lián)結(jié)構(gòu)使用CN特征作為第1級(jí)，不滿足則第1級(jí)使用HOG特征。選擇好第1級(jí)特征后，預(yù)測(cè)目標(biāo)位置，然后進(jìn)行下一步操作。

步驟③:計(jì)算第1級(jí)響應(yīng)圖的APCE值，不滿足要求時(shí)，丟棄第1級(jí)的預(yù)測(cè)結(jié)果，只使用深度特征計(jì)算目標(biāo)位置。當(dāng)滿足要求時(shí)，根據(jù)第1級(jí)計(jì)算的目標(biāo)位置，再次提取目標(biāo)的深度特征，最后計(jì)算出目標(biāo)位置作為結(jié)果。

2.5 基于目標(biāo)先驗(yàn)機(jī)制的級(jí)聯(lián)結(jié)構(gòu)

選擇級(jí)聯(lián)結(jié)構(gòu)如圖5所示，整體結(jié)構(gòu)以當(dāng)前幀圖像和前一幀目標(biāo)位置p0作為輸入，輸出為經(jīng)過(guò)2級(jí)級(jí)聯(lián)得到的目標(biāo)位置P2。每一級(jí)與上一幀訓(xùn)練好的濾波器hk(k=1,2,3)進(jìn)行相乘預(yù)測(cè)目標(biāo)位置。hk(k=1,2,3)為HOG特征、CN特征、卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取的特征訓(xùn)練的濾波器，各濾波器相互獨(dú)立。本文使用的CNN特征為經(jīng)過(guò)預(yù)訓(xùn)練的VGG19網(wǎng)絡(luò)提取的特征。

圖5 選擇級(jí)聯(lián)結(jié)構(gòu)Fig.5 Cascade structure selection

目標(biāo)先驗(yàn)首先將上一幀的預(yù)測(cè)目標(biāo)位置p0輸入當(dāng)前幀，然后以p0為中心，提取目標(biāo)大小為Sò的HOG特征x(p0)={x(l)(Sò),p0}l，l表示通道數(shù)。將提取的特征帶入式(3)計(jì)算出r，再將r代入式(10)計(jì)算出最大響應(yīng)對(duì)應(yīng)目標(biāo)位置Pr：

Pr=max(r)。

(10)

根據(jù)預(yù)測(cè)的位置進(jìn)行目標(biāo)先驗(yàn)，然后根據(jù)不同場(chǎng)景選擇第1級(jí)和第2級(jí)使用的特征。級(jí)聯(lián)結(jié)構(gòu)由2級(jí)組成，第1級(jí)主要為粗定位，第2級(jí)主要解決目標(biāo)漂移、丟失問(wèn)題和修正目標(biāo)定位誤差的問(wèn)題。第1級(jí)接收上一幀預(yù)測(cè)的目標(biāo)位置P0，根據(jù)先驗(yàn)機(jī)制選擇特征，提取以P0為中心目標(biāo)特征x(p0)，然后將上一幀訓(xùn)練的濾波器hi與提取特征x(p0)帶入式(11)，計(jì)算出第1級(jí)預(yù)測(cè)的目標(biāo)位置P1：

(11)

第2級(jí)接收第1級(jí)傳輸?shù)哪繕?biāo)位置P1，根據(jù)目標(biāo)先驗(yàn)的要求，在當(dāng)前幀提取相應(yīng)的特征x(p1)，最后通過(guò)式(12)計(jì)算出最終目標(biāo)位置P2。

(12)

2.6 模型更新機(jī)制

傳統(tǒng)的相關(guān)濾波目標(biāo)跟蹤算法采用固定學(xué)習(xí)率更新模型，當(dāng)跟蹤過(guò)程中出現(xiàn)快速運(yùn)動(dòng)、光照和遮擋等情況，目標(biāo)區(qū)域產(chǎn)生過(guò)多干擾，固定學(xué)習(xí)率更新模型將造成模型污染，容易導(dǎo)致跟蹤丟失。

為處理此問(wèn)題，本文采用一種階段性衰減學(xué)習(xí)率的方式進(jìn)行模型更新。首先利用先驗(yàn)機(jī)制和APCE值判別當(dāng)前幀的情況，當(dāng)出現(xiàn)快速運(yùn)動(dòng)、光照變化和遮擋情況，對(duì)學(xué)習(xí)率進(jìn)行衰減，直至度過(guò)挑戰(zhàn)情況。其次，防止學(xué)習(xí)率長(zhǎng)時(shí)間減小而導(dǎo)致學(xué)習(xí)不足，周期性初始化學(xué)習(xí)率。以20幀為一周期，在周期內(nèi)進(jìn)行衰減，超過(guò)20幀則初始化學(xué)習(xí)率，并重新累計(jì)幀數(shù)。衰減方式為：

ηt={kηt-1}，

(13)

式中，η為更新學(xué)習(xí)率；t為當(dāng)前幀數(shù)；k為衰減系數(shù)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)計(jì)

計(jì)算機(jī)硬件配置：I5-6700@2.3 GHz處理器，8 GB內(nèi)存，Windows 10操作系統(tǒng)，實(shí)驗(yàn)運(yùn)行環(huán)境為Matlab2017B。參數(shù)設(shè)置：正則化參數(shù)λ為1×10-4，初始學(xué)習(xí)率為0.01。使用OTB_2013，OTB_2015和TC-128數(shù)據(jù)集來(lái)測(cè)試本文算法。

實(shí)驗(yàn)使用精確度和成功率來(lái)評(píng)估跟蹤結(jié)果，精確度是通過(guò)計(jì)算跟蹤過(guò)程中目標(biāo)中心位置和標(biāo)準(zhǔn)中心位置的歐氏距離。計(jì)算公式為：

(14)

式中，xt和yt表示通過(guò)目標(biāo)跟蹤算法計(jì)算出的目標(biāo)位置；xt0和yt0則表示準(zhǔn)確的目標(biāo)坐標(biāo)。

成功率通過(guò)計(jì)算目標(biāo)框和預(yù)設(shè)框之間的重合率來(lái)進(jìn)行表現(xiàn)，即：

(15)

式中，St表示跟蹤過(guò)程中計(jì)算出的目標(biāo)尺度框面積；Sb表示目標(biāo)準(zhǔn)確的尺度框面積；∩，∪分別表示交集、并集。

3.2 本文算法與主流算法對(duì)比實(shí)驗(yàn)

OTB_2013數(shù)據(jù)集在目標(biāo)跟蹤領(lǐng)域應(yīng)用廣泛，其中包含51個(gè)具有挑戰(zhàn)性的視頻。在OTB_2013數(shù)據(jù)集上，使用本文算法與6種主流算法進(jìn)行比較，6種算法分別為ECO-HC[18]，LMCF[19]，SiamFC3s[20]，CF2，BACF和CFNet[21]。圖6為本文算法與其他算法的對(duì)比結(jié)果，本文算法的精確度和準(zhǔn)確度分別為0.892，0.648。相比ECO-HC算法，本文算法精度提高了2.9%，成功率提高了0.1%，與基于深度學(xué)習(xí)的SiamFC3s算法相比，精度提高了9%，成功率提高了6.3%，精度和準(zhǔn)確度都排名第一。

(a)距離精度

(b)重疊成功率圖6 在OTB_2013數(shù)據(jù)集測(cè)試結(jié)果Fig.6 Test results in OTB_2013 dataset

OTB_2015數(shù)據(jù)集由100個(gè)視頻序列集組成，相比OTB_2013數(shù)據(jù)集，視頻數(shù)量更多，更具挑戰(zhàn)性。在OTB_2015數(shù)據(jù)集上使用6種算法與比本文算法進(jìn)行對(duì)比，6種算法分別為CF2，LMCF，Staple[22]，SRDCF，SiamFC3s和CFNet。對(duì)比結(jié)果如圖7所示，本文算法在數(shù)據(jù)集測(cè)試的精確度達(dá)到0.843，成功率達(dá)到0.614，相比其他算法具有更好的表現(xiàn)。

(a)距離精度

(b)重疊成功率圖7 在OTB_2015數(shù)據(jù)集測(cè)試結(jié)果Fig.7 Test results in OTB_2015 dataset

為了進(jìn)一步檢測(cè)本文算法的有效性，使用6種算法在TC-128數(shù)據(jù)集上與本文算法進(jìn)行對(duì)比，6種算法分別為BACF[23]，Staple，SRDCF，SiamFC，HDT[24]和CF2。與OTB數(shù)據(jù)集不同，TC-128數(shù)據(jù)集由128個(gè)具有顏色的視頻序列組成，包含更多顏色信息。表1展示了對(duì)比結(jié)果，其中加粗表示此類數(shù)據(jù)得分最高，下劃線表示得分第二。本文算法的精度和準(zhǔn)確度分別為0.514，0.709，相比其他算法準(zhǔn)確度更高，結(jié)果表明使用合適的手工特征和深度特征級(jí)聯(lián)能夠有效提高跟蹤性能。

表1 7種算法在TC-128數(shù)據(jù)集測(cè)試結(jié)果對(duì)比Tab.1 Comparison of the test results of seven algorithms on TC-128 dataset

定性分析：圖8為7種算法在OTB數(shù)據(jù)集中3個(gè)視頻序列跟蹤結(jié)果對(duì)比。圖8(a)面對(duì)光照問(wèn)題，由于目標(biāo)過(guò)于昏暗而背景明亮，使用深度特征的CF2，SiamFC3s和CFNet算法對(duì)目標(biāo)特征學(xué)習(xí)不足，不易于區(qū)分背景，在27幀丟失目標(biāo)。其他算法利用HOG特征對(duì)光照具有魯棒性的特性，能夠準(zhǔn)確地跟蹤目標(biāo)。本文算法計(jì)算目標(biāo)歸一化均值，選擇適當(dāng)?shù)奶卣鳎材軌蚍€(wěn)定跟蹤目標(biāo)。

(a)Singer2序列跟蹤結(jié)果

(b)Motor Rolling序列跟蹤結(jié)果

(c)Lemming序列跟蹤結(jié)果圖8 7種算法在不同視頻序列結(jié)果對(duì)比Fig.8 Comparison of the results of seven algorithms in different video sequences

圖8(b)面對(duì)快速運(yùn)動(dòng)問(wèn)題，在27～28幀，目標(biāo)快速運(yùn)動(dòng)，LMCF，SRDCF算法出現(xiàn)嚴(yán)重漂移，34幀開(kāi)始完全丟失目標(biāo)，而本文通過(guò)目標(biāo)先驗(yàn)機(jī)制判別出目標(biāo)快速運(yùn)動(dòng)的狀態(tài)，只采用深度特征，能夠準(zhǔn)確地跟蹤目標(biāo)。

圖8(c)面對(duì)遮擋問(wèn)題，在313幀目標(biāo)出現(xiàn)輕微遮擋，318幀CF2算法開(kāi)始發(fā)生漂移，370幀目標(biāo)發(fā)生遮擋后，重新出現(xiàn)在未遮擋區(qū)域，CF2，SRDCF，Staple和CFNet算法丟失目標(biāo)，本文采取學(xué)習(xí)率階段性衰減的方式，減少跟蹤過(guò)程中的外觀模型受到的污染，依舊能夠跟蹤目標(biāo)。

3.3 消融實(shí)驗(yàn)

為了客觀表現(xiàn)選擇級(jí)聯(lián)結(jié)構(gòu)的有效性，在相關(guān)濾波目標(biāo)跟蹤算法框架中加入級(jí)聯(lián)結(jié)構(gòu)，并通過(guò)OTB_2013數(shù)據(jù)集進(jìn)行驗(yàn)證。圖9給出了使用單特征和使用不同方式的手工特征級(jí)聯(lián)在OTB_2013數(shù)據(jù)集上的對(duì)比結(jié)果，其中OURS為選擇級(jí)聯(lián)，‘+’前為第1級(jí)使用的特征，‘+’后為第2級(jí)使用的特征，‘+’前后相同為相同特征級(jí)聯(lián)，反之為不同特征級(jí)聯(lián)。

(a)距離精度

(b)重疊成功率圖9 基于各類特征選擇的跟蹤算法在OTB_2013數(shù)據(jù)集中的測(cè)試結(jié)果Fig.9 Test results of tracking algorithms based on various feature selections on OTB_2013 dataset

從圖9可以看出，使用相同特征級(jí)聯(lián)的算法相比單級(jí)的算法精確度和準(zhǔn)確度更低，表明了使用相同特征級(jí)聯(lián)的跟蹤算法存在漂移的問(wèn)題。采用不同特征進(jìn)行級(jí)聯(lián)相比使用單特征跟蹤算法精確度和準(zhǔn)確度更高，能夠修正目標(biāo)定位誤差。選擇級(jí)聯(lián)能夠較好地應(yīng)對(duì)每幀圖像問(wèn)題，相比使用不同特征級(jí)聯(lián)，能進(jìn)一步提升準(zhǔn)確度。

使用同樣方式，在CF2算法的基礎(chǔ)上加上手工特征進(jìn)行級(jí)聯(lián)，在OTB_2013數(shù)據(jù)集上進(jìn)行驗(yàn)證，如圖10所示。

(a)距離精度

(b)重疊成功率圖10 在CF2算法中運(yùn)用本文方法的前后對(duì)比Fig.10 Comparison of the results in the CF2 algorithm before and after using the proposed method

從圖10可以看出，使用手工特征和深度特征級(jí)聯(lián)能夠提高目標(biāo)跟蹤的精確性和魯棒性。通過(guò)先驗(yàn)機(jī)制能夠在第1級(jí)選擇適當(dāng)特征定位目標(biāo)位置，第2級(jí)能夠較好地修正目標(biāo)的漂移，減小定位誤差。

時(shí)間效率分析：使用單特征和不同方式的手工特征級(jí)聯(lián)在OTB_2013數(shù)據(jù)集上運(yùn)行速度和成功率對(duì)比如表2所示。先驗(yàn)方式和級(jí)聯(lián)結(jié)構(gòu)無(wú)可避免地增加了計(jì)算量，在犧牲速度的情況下，成功率有了明顯的提升，相比使用CN特征，HOG特征成功率分別提升了13.5%，5.63%，并且跟蹤速度依舊能夠達(dá)到61幀/秒，依舊具有較快運(yùn)行速度。

表2 基于各類特征選擇的跟蹤算法運(yùn)行速度和成功率對(duì)比Tab.2 Comparison of running speed and success rate of different features tracking algorithm

4 結(jié)束語(yǔ)

為提高目標(biāo)精確度和處理光照、快速運(yùn)動(dòng)和遮擋問(wèn)題，提出了一種具有選擇級(jí)聯(lián)結(jié)構(gòu)和學(xué)習(xí)率階段性衰減結(jié)構(gòu)的目標(biāo)跟蹤算法。對(duì)于跟蹤過(guò)程中的復(fù)雜情景，使用先驗(yàn)機(jī)制計(jì)算目標(biāo)在當(dāng)前幀出現(xiàn)的挑戰(zhàn)情況，有效根據(jù)不同情景選取適當(dāng)特征預(yù)測(cè)目標(biāo)位置，并且使用級(jí)聯(lián)結(jié)構(gòu)修正目標(biāo)定位誤差。同時(shí)，利用學(xué)習(xí)率階段性衰減的方式，減緩目標(biāo)外觀模型固化，在遮擋情況下實(shí)現(xiàn)穩(wěn)定跟蹤目標(biāo)。