胡昭華 鈕夢(mèng)宇 邵曉雯 卞飛飛 王玨

關(guān)鍵詞： 目標(biāo)跟蹤; 深度特征; 自適應(yīng)核相關(guān); 卷積神經(jīng)網(wǎng)絡(luò); 濾波響應(yīng); 跟蹤速度

中圖分類號(hào)： TN911.73?34; TP391.41 ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）01?0051?06

Abstract： The manual feature or a certain layer feature in neural network is mostly used in existing target tracking algorithms， which is adverse for tracking. Therefore， a multi?layer deep feature based target tracking algorithm with adaptive updating is presented. The pre?trained deep convolutional neural network is used to extract the low?layer and high?layer information respectively to describe the spatial and semantic features of the target. Two filtering templates are obtained by studying the two?layer feature information， and the corresponding filtering responses are acquired. Two filtering responses determine the final tracking result by means of different weights. The adaptive updating scheme of object appearance model and filtering template is designed in the algorithm to adapt to the appearance variation and occlusion of the object. The multi?level deep feature is used to describe the object appearance. The extracted feature is adopted to train two filtering templates. The kernel correlation method used to solve the filtering responses can improve the accuracy of tracking results， and quicken the tracking speed. The experimental results show that， in comparison with the existing tracking algorithms， the proposed algorithm can deal with the multiple challenges perfectly， and its tracking speed can fully meet the requirement of real?time tracking task.

Keywords： object tracking; deep feature; adaptive kernel correlation; convolutional neural network; filtering response; tracking speed

0 ?引 ?言

目標(biāo)跟蹤[1]是人們長(zhǎng)久關(guān)注的一個(gè)領(lǐng)域，其在日常生活中的應(yīng)用非常廣泛。現(xiàn)有的目標(biāo)跟蹤算法一般分為兩種：一種是基于傳統(tǒng)特征表達(dá);另一種是基于深度特征表達(dá)。傳統(tǒng)的特征表達(dá)依賴于手動(dòng)提取的特征，這樣并不能獲取目標(biāo)物體的語(yǔ)義特征，對(duì)于目標(biāo)物體表象的外觀變化沒(méi)有很好的魯棒性。隨著大規(guī)模可視化數(shù)據(jù)集的出現(xiàn)和計(jì)算能力的快速發(fā)展，深度神經(jīng)網(wǎng)絡(luò)（DNNs）特別是卷積神經(jīng)網(wǎng)絡(luò)（CNNs）用其強(qiáng)大的特征表達(dá)能力，在計(jì)算機(jī)視覺(jué)領(lǐng)域（圖像分類、目標(biāo)跟蹤、區(qū)域檢測(cè)）取得了突破性成果，這些通過(guò)CNNs從大量帶標(biāo)簽的數(shù)據(jù)中學(xué)習(xí)獲得了豐富的特征信息。對(duì)于不同類別的對(duì)象具有很強(qiáng)的區(qū)分能力。

目前CNNs在目標(biāo)跟蹤中的應(yīng)用[2?5]，主要研究思路分為兩種：一種是先離線訓(xùn)練網(wǎng)絡(luò)，跟蹤時(shí)提取網(wǎng)絡(luò)中某一層，一般是最后一層得到的特征，進(jìn)行分類從而實(shí)現(xiàn)跟蹤;另一種是設(shè)計(jì)簡(jiǎn)化的卷積神經(jīng)網(wǎng)絡(luò)，擺脫離線訓(xùn)練而完全在線運(yùn)行。例如文獻(xiàn)[3]中首先在輔助數(shù)據(jù)集上離線訓(xùn)練一個(gè)兩層的CNNs，而后將其應(yīng)用于在線跟蹤當(dāng)中;文獻(xiàn)[4]中提出一種在線卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，其特點(diǎn)在于只進(jìn)行在線學(xué)習(xí)。不管是在線訓(xùn)練還是離線訓(xùn)練，這些方法大多數(shù)是單一地提取某一層特征作為跟蹤的外觀特征，分類時(shí)也是采用單一的運(yùn)動(dòng)模型進(jìn)行特征分類，雖然相比以前的傳統(tǒng)特征表示，跟蹤效果有了很大改善，但是跟蹤的準(zhǔn)確性還有待提高。

從2010年文獻(xiàn)[6]將相關(guān)濾波的思想第一次應(yīng)用于目標(biāo)跟蹤領(lǐng)域之后，近幾年，核相關(guān)濾波算法飛速發(fā)展。文獻(xiàn)[7]的工作主要解決的問(wèn)題是核相關(guān)濾波算法的boundary effects（由循環(huán)矩陣導(dǎo)致的），在loss function中引入懲罰項(xiàng)，期望抑制離中心較遠(yuǎn)特征的影響。隨著深度學(xué)習(xí)的發(fā)展，文獻(xiàn)[8]又在文獻(xiàn)[7]的基礎(chǔ)上結(jié)合深度卷積特征，使準(zhǔn)確率相應(yīng)地有所提高。

CNNs具有以下特性：網(wǎng)絡(luò)最后幾層的特征主要反映目標(biāo)的語(yǔ)義特征，這些特征能很好地應(yīng)對(duì)目標(biāo)的外觀表象變化;淺層及中間層特征主要包含目標(biāo)物體的空間特征，能更精確地確定目標(biāo)的具體位置。

本文融合這兩種層級(jí)特征的優(yōu)點(diǎn)，并且結(jié)合計(jì)算速度較快的核相關(guān)濾波算法跟蹤框架，提出一種基于多層深度特征的自適應(yīng)更新跟蹤方法。該方法利用經(jīng)過(guò)預(yù)訓(xùn)練的CNNs提取目標(biāo)區(qū)域圖像的卷積第8層和第16層特征，分別利用嶺回歸方法訓(xùn)練兩個(gè)不同的濾波模板，根據(jù)響應(yīng)圖的形狀確定更新策略。本文利用多層特征的信息能更好地描述目標(biāo)物體，并且采用自適應(yīng)更新模板策略，在跟蹤中能更好地應(yīng)對(duì)目標(biāo)外觀變化、遮擋等挑戰(zhàn)因素。

1 ?本文的算法總體思路

本文提出的基于多層深度特征的目標(biāo)跟蹤算法的具體思路如圖1所示。算法主要分為三個(gè)階段：

1） 當(dāng)跟蹤視頻輸入網(wǎng)絡(luò)后，如圖1所示，首先確定視頻當(dāng)前幀的目標(biāo)搜索區(qū)域，將此區(qū)域圖像輸入已經(jīng)完成預(yù)訓(xùn)練的CNNs（圖1中的CNNs網(wǎng)絡(luò)是簡(jiǎn)圖，完整結(jié)構(gòu)見(jiàn)圖3）中，分別提取卷積第8層和卷積第16層特征，運(yùn)用核相關(guān)的知識(shí)求得相應(yīng)的兩個(gè)濾波模板[w8]和[w16]（見(jiàn)式（5））。此階段可視為學(xué)習(xí)階段。

2） 每一次學(xué)習(xí)階段之后都及時(shí)更新學(xué)習(xí)階段得到的目標(biāo)外觀[x]和濾波模板[w]（見(jiàn)式（9）和式（10））。

3） 由上一幀的檢測(cè)結(jié)果確定當(dāng)前幀的搜索區(qū)域，通過(guò)之前已經(jīng)預(yù)訓(xùn)練好的CNNs的其中兩層（conv8和conv16）確定新的兩個(gè)目標(biāo)外觀表達(dá)，與更新之后的目標(biāo)外觀作互相關(guān)計(jì)算，再與上一幀更新之后的濾波模板作用得出相應(yīng)的濾波響應(yīng)，將兩個(gè)響應(yīng)加權(quán)求和得出結(jié)果的峰值即最后的跟蹤位置。

3 ?實(shí)驗(yàn)及評(píng)估

網(wǎng)絡(luò)預(yù)訓(xùn)練采用的是ImageNet數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果分析基準(zhǔn)為Visual Tracker Benchmark。本實(shí)驗(yàn)中利用已經(jīng)訓(xùn)練好的VGG?19[11]提取目標(biāo)區(qū)域的特征，具體采用19層網(wǎng)絡(luò)中的卷積第8層和卷積第16層特征，得到的響應(yīng)圖所占權(quán)重分別為0.5和1，學(xué)習(xí)率為0.02。初始幀目標(biāo)位置已知。

為了測(cè)試本文提出算法的性能，實(shí)驗(yàn)中對(duì)包含了51個(gè)不同屬性的視頻標(biāo)準(zhǔn)測(cè)試集進(jìn)行測(cè)試。這些視頻中涉及目標(biāo)遮擋（Occlusion，OCC）、光照變化（Illumination Variation，IV）、尺度變化（Scale Variation，SV）、快速運(yùn)動(dòng)（Fast Motion，F(xiàn)M）、背景雜亂（Background Clutters，BC）、平面內(nèi)旋轉(zhuǎn)（In?Plane Rotation，IPR）等多種挑戰(zhàn)因素。實(shí)驗(yàn)中將本文算法與目前比較流行的10種跟蹤算法進(jìn)行定量和定性的對(duì)比。這些算法分別簡(jiǎn)寫(xiě)為DeepSRDCF[7]，TLD[8]，IVT，CSK[9]，CT[12]，DFT，ASLA，L1APG，ORIA，SCM。

3.1 ?定性評(píng)估

本文從實(shí)驗(yàn)數(shù)據(jù)集中隨機(jī)抽取4個(gè)同時(shí)包含較多挑戰(zhàn)因素的視頻，如圖6所示。圖6a），圖6b），圖6d）都存在嚴(yán)重的目標(biāo)遮擋干擾因素，圖6b）除了目標(biāo)遮擋還存在明顯的光照變化，圖6b），圖6c）中目標(biāo)進(jìn)行劇烈運(yùn)動(dòng)，會(huì)導(dǎo)致目標(biāo)發(fā)生明顯的形變。這些視頻都存在很多干擾跟蹤結(jié)果的因素，對(duì)于檢測(cè)跟蹤器的性能更有說(shuō)服力。

從這些視頻的檢測(cè)結(jié)果中可以看出，本文算法相比其他跟蹤器來(lái)說(shuō)可以更好地跟蹤到目標(biāo)。如圖6所示，CSK是一種僅采用一層深度網(wǎng)絡(luò)的跟蹤算法，從結(jié)果中可以明顯看出本文算法比CSK算法跟蹤效果更好。TLD、DeepSRDCF算法都是采用傳統(tǒng)特征的跟蹤算法，對(duì)比結(jié)果中也可以看出本文算法的優(yōu)越性。

實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的優(yōu)勢(shì)：

1） 本文采用深度特征表達(dá)目標(biāo)，并且利用多層的特征，能更精確地確定目標(biāo)的外觀模型表達(dá);

2） 本文提取多層深度特征，并沒(méi)有直接將特征表達(dá)融合，而是對(duì)應(yīng)地訓(xùn)練兩個(gè)濾波模板，最后使兩個(gè)濾波模板相互作用，使在外觀變化明顯的情況下也能有效地實(shí)現(xiàn)跟蹤;

3） 本文算法進(jìn)行逐幀實(shí)時(shí)更新目標(biāo)外觀模型和濾波模板，能克服目標(biāo)的外觀變化以及變化的背景等干擾因素。

3.2 ?整體性能評(píng)估

為了分析算法的整體性能，本文使用中心位置誤差（Center Location Error）以及最新的評(píng)估基準(zhǔn)：TRE（時(shí)間魯棒性度量，Temporal Robustness Evaluation）、OPE（一次性評(píng)估，One?pass Evaluation）和SRE（空間魯棒性度量，Spatial Robustness Evaluation）進(jìn)行定量評(píng)估。

實(shí)驗(yàn)中測(cè)試了對(duì)于含有較多挑戰(zhàn)因素的10個(gè)視頻序列的平均中心位置誤差，表1展示了本文方法和其他6種方法的對(duì)比結(jié)果。其中最好的結(jié)果用粗體和下劃線表示。規(guī)定中心位置誤差越小，跟蹤效果越好。從表1可以看出，雖然本文方法不是在每個(gè)視頻中都有最小的中心位置誤差，但是相對(duì)其他跟蹤算法來(lái)說(shuō)，整體上本文算法有很好的跟蹤效果。

本文圖7表示本文算法與當(dāng)前比較流行的6種算法對(duì)于三個(gè)評(píng)估指標(biāo)的對(duì)比。其中圖7a）～圖7c）評(píng)估的是算法的精度（precision），圖7d）～圖7f）評(píng)估的則是算法的成功率（success）。從圖7可以明顯看出，對(duì)于兩種指標(biāo)，無(wú)論是成功率還是精度，本文算法都在其他算法之上，說(shuō)明本文提出的方法性能有很好的優(yōu)越性。

同時(shí)跟蹤的效果會(huì)受到不同挑戰(zhàn)因素的影響。本文加入了外觀模型和濾波模型的自適應(yīng)更新策略，對(duì)目標(biāo)遮擋、快速運(yùn)動(dòng)等情況有更好的魯棒性。圖8舉例說(shuō)明和分析了本文跟蹤器在OCC，SV，F(xiàn)M三種挑戰(zhàn)因素下的成功率。從圖8中可以看出，在這三種情況下本文算法都位居第一，并且遠(yuǎn)遠(yuǎn)高于第二名，說(shuō)明本文算法跟蹤的效果更好。而其他的算法都是采用傳統(tǒng)的特征提取方法，這表明深度特征的優(yōu)越性，以及自適應(yīng)更新策略的效果，能更好地表達(dá)目標(biāo)并實(shí)現(xiàn)跟蹤。

4 ?結(jié) ?語(yǔ)

本文提出一種多層深度特征的目標(biāo)跟蹤算法。采用經(jīng)過(guò)預(yù)訓(xùn)練的深度學(xué)習(xí)框架CNNs表示目標(biāo)外觀特征。低層特征能很好地識(shí)別目標(biāo)的邊界信息，可以準(zhǔn)確地反映目標(biāo)的位置變化，而高層特征反映的是目標(biāo)的語(yǔ)義特征，可以很好地表達(dá)目標(biāo)的外觀變化。綜合運(yùn)用不同層特征能對(duì)目標(biāo)外觀變化有更好的魯棒性，同時(shí)通過(guò)核相關(guān)的方法彌補(bǔ)了深度卷積神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)間長(zhǎng)的缺點(diǎn)，大大縮短了計(jì)算時(shí)間，并且算法中設(shè)計(jì)了濾波模板和目標(biāo)外觀實(shí)時(shí)更新模塊，能有效地應(yīng)對(duì)目標(biāo)的外觀變化。通過(guò)大量的實(shí)驗(yàn)結(jié)果表明，在面對(duì)不同的挑戰(zhàn)因素時(shí)，本文提出的算法都有較大的優(yōu)勢(shì)。但是本文設(shè)計(jì)的算法在運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)過(guò)程中損失了一定的速度，雖然提高了準(zhǔn)確率，但使得跟蹤的速率有所降低，今后將尋求解決這一問(wèn)題的方案，使得效率和準(zhǔn)確率更高。

參考文獻(xiàn)

[1] LI X， HU W， SHEN C. A survey of appearance models in visual object tracking [J]. ACM transactions on intelligent systems and technology， 2013， 4（4）： 5801?5848.

[2] WANG L， LIU T， WANG G， et al. Video tracking using learned hierarchical features [J]. IEEE transactions on image processing， 2015， 24（4）： 1424?1435.

[3] WANG N， LI S， GUPTA A， et al. Transferring rich feature hierarchies for robust visual tracking [J]. Computer science， 2015（1）： 45?53.

[4] HONG S， YOU T， KWAK S， et al. Online tracking by lear?ning discriminative saliency map with convolutional neural network [C]// Proceedings of the 32nd International Conference on Machine Learning. Lille： ACM， 2015： 597?606.

[5] LI H， LI Y， PORIKLI F. Deeptrack： learning discriminative feature representations online for robust visual tracking [J]. IEEE transactions on image processing， 2016， 25（4）： 1834?1848.

[6] BOLME D S， ROSS BEVERIDGE J， DRAPER B A， et al. Visual object tracking using adaptive correlation filters [C]// 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 2544?2550.

[7] DANELLJAN M， HAGER G， KHAN F S， et al. Learning spatially regularized correlation filters for visual tracking [C]// IEEE International Conference on Computer Vision. Santiago： IEEE， 2015： 4310?4318.

[8] DANELLJAN M， H?GER G， KHAN F S， et al. Convolutional features for correlation filter based visual tracking [C]// 2016 IEEE International Conference on Computer Vision Workshop. Santiago： IEEE， 2016： 621?629.

[9] HENRIQUES J F， CASEIRO R， MARTINS P， et al. High?speed tracking with kernelized correlation filters [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（3）： 583?596.

[10] 胡昭華，邢衛(wèi)國(guó)，何軍，等.多通道核相關(guān)濾波的實(shí)時(shí)跟蹤方法[J].計(jì)算機(jī)應(yīng)用，2015，35（12）：3544?3549.

HU Z H， XING W G， HE J， et al. Real?time object tracking method based on multi?channel kernel correlation filter [J]. Computer applications， 2015， 35（12）： 3544?3549.

[11] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [J]. Computer science， 2014， 34（2）： 1409 ?1456.

[12] ZHANG K， ZHANG L， YANG M H. Real?time compressive tracking [C]// 2014 European Conference on Computer Vision. Berlin： ACM， 2014： 864?877.