何 容，賴際舟，呂 品，劉國輝，王 博

(1.南京航空航天大學(xué)自動(dòng)化學(xué)院，南京 211106； 2. 江蘇金陵智造研究院有限公司，南京 210001)

0 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中的重要組成部分，其在給定第一幀目標(biāo)初始位置的情況下，預(yù)測連續(xù)圖像序列的目標(biāo)位置。目標(biāo)跟蹤在自動(dòng)駕駛、智能監(jiān)控系統(tǒng)等實(shí)時(shí)視覺應(yīng)用中發(fā)揮著重要作用。

在軍事領(lǐng)域，目標(biāo)跟蹤技術(shù)能夠?qū)崟r(shí)獲取移動(dòng)目標(biāo)的位置，從而完成對目標(biāo)的精確打擊與追蹤。在自動(dòng)駕駛領(lǐng)域，無人駕駛車輛通過目標(biāo)跟蹤技術(shù)對行人、車輛等交通參與載體保持密切跟蹤，并借此制定自身的導(dǎo)航與控制策略，提升無人駕駛的安全性。

在計(jì)算機(jī)視覺中，目標(biāo)跟蹤算法基于原理可大致被分為生成式目標(biāo)跟蹤算法與鑒別式目標(biāo)跟蹤算法。生成式目標(biāo)跟蹤算法先建立目標(biāo)模型或提取目標(biāo)特征，在跟蹤過程中僅使用目標(biāo)特征進(jìn)行鄰域的搜索與匹配，不考慮背景信息。然而背景信息同樣影響著跟蹤算法的性能，在不考慮背景信息的情況下，跟蹤器往往難以應(yīng)對目標(biāo)遮擋、光照變化以及運(yùn)動(dòng)模糊等情況，易造成跟蹤失敗。與之相比，鑒別式目標(biāo)跟蹤算法將跟蹤問題視為分類問題，在建模及特征提取中考慮背景信息，在復(fù)雜運(yùn)動(dòng)場景下具有更好的魯棒性。目前，一些先進(jìn)的鑒別式跟蹤算法已經(jīng)實(shí)現(xiàn)了對目標(biāo)的高速跟蹤，例如L1T[1]、CT[2]、Struck[3]、TLD[4]等。近年來，基于相關(guān)濾波的判別式跟蹤算法取得了顯著的進(jìn)展[5-7]，使得視覺跟蹤算法能夠在保證實(shí)時(shí)性的前提下，實(shí)現(xiàn)魯棒高效的跟蹤。

然而，視覺跟蹤任務(wù)仍存在著一些挑戰(zhàn)以及關(guān)鍵性問題。核相關(guān)濾波(Kernel Correlation Filter，KCF)視覺跟蹤器一般通過在線學(xué)習(xí)與更新目標(biāo)的外觀特征進(jìn)行目標(biāo)的跟蹤定位[8]，這類方法易受光照等環(huán)境因素與目標(biāo)姿態(tài)變化的影響，且一般不具備處理遮擋與重新初始化的能力。針對上述問題，文獻(xiàn)[9]與文獻(xiàn)[10]提出了分塊跟蹤匹配的方法，但該方法受限于分塊特征以及匹配方法的魯棒性，僅在部分遮擋情況下應(yīng)用效果較好。文獻(xiàn)[11]與文獻(xiàn)[12]使用RGB-D傳感器，通過分析深度信息以及KCF跟蹤器的響應(yīng)值進(jìn)行遮擋的判斷與處理，但該方法的判斷成功率與捕獲深度圖的精度有關(guān)。

針對相似干擾與目標(biāo)形變問題，為了提高跟蹤結(jié)果的魯棒性，跟蹤與檢測結(jié)合互補(bǔ)的方式被廣泛應(yīng)用。隨著深度神經(jīng)網(wǎng)絡(luò)的普及，許多基于神經(jīng)網(wǎng)絡(luò)的跟蹤算法應(yīng)運(yùn)而生。文獻(xiàn)[13]將相關(guān)濾波器作為深層神經(jīng)網(wǎng)絡(luò)中的可微層，能夠?qū)W習(xí)與相關(guān)濾波器緊密耦合的深層特征。文獻(xiàn)[14]利用遞歸神經(jīng)網(wǎng)絡(luò)對目標(biāo)進(jìn)行建模，提高了跟蹤器在相似干擾情況下的魯棒性。然而神經(jīng)網(wǎng)絡(luò)往往需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，在線獲取的目標(biāo)跟蹤結(jié)果作為訓(xùn)練樣本可能無法滿足對訓(xùn)練樣本數(shù)量的需求。

由此可見，在目標(biāo)跟蹤領(lǐng)域，遮擋以及相似干擾等具有挑戰(zhàn)性的情況下，跟蹤器的精度與魯棒性仍有待提高。針對該問題，本文提出了一種基于改進(jìn)KCF的視覺魯棒目標(biāo)跟蹤方法。創(chuàng)新點(diǎn)主要包括：1)針對遮擋判斷問題，提出了基于檢測輔助的改進(jìn)KCF目標(biāo)跟蹤算法，設(shè)計(jì)了檢測跟蹤結(jié)合架構(gòu)，利用檢測與跟蹤結(jié)果的相關(guān)性進(jìn)行遮擋與干擾的判斷；2)針對相似干擾以及遮擋/丟失后的重定位問題，提出了基于拓展特征匹配的抗干擾目標(biāo)跟蹤方法，設(shè)計(jì)構(gòu)建了目標(biāo)ORB(Oriented FAST and Rotated BRIEF)特征模板，通過在檢測結(jié)果范圍內(nèi)進(jìn)行特征匹配的方式，實(shí)現(xiàn)了目標(biāo)的重新定位。本文方法將目標(biāo)檢測器、KCF與ORB特征匹配相結(jié)合，有效解決了目標(biāo)遮擋、相似干擾、形變等問題，實(shí)現(xiàn)了對目標(biāo)快速穩(wěn)定的跟蹤。

1 改進(jìn)KCF魯棒目標(biāo)跟蹤算法架構(gòu)

為提高傳統(tǒng)KCF跟蹤方法在遮擋以及相似干擾情況下的跟蹤魯棒性，本文對傳統(tǒng)的KCF算法進(jìn)行了拓展，增添了目標(biāo)檢測器模塊與目標(biāo)特征模板的構(gòu)建模塊，如圖1所示。在獲取到新一幀的圖像后，分別利用跟蹤器的跟蹤結(jié)果以及目標(biāo)檢測器的檢測結(jié)果，通過二者的相關(guān)性分析進(jìn)行跟蹤結(jié)果的檢測，判斷是否存在遮擋及相似干擾的情況。在無遮擋或干擾的情況下，提取跟蹤結(jié)果中的ORB關(guān)鍵點(diǎn)進(jìn)行目標(biāo)特征模板的構(gòu)建；在發(fā)生遮擋或相似干擾后，根據(jù)目標(biāo)檢測結(jié)果以及特征模板匹配，實(shí)現(xiàn)對跟蹤目標(biāo)的重定位。

圖1 改進(jìn)KCF魯棒目標(biāo)跟蹤算法框架Fig.1 Improved robust target tracking algorithm framework based on kernel correlation filtering

2 基于檢測輔助的改進(jìn)KCF目標(biāo)跟蹤算法

(1)KCF目標(biāo)跟蹤算法

KCF算法的實(shí)質(zhì)是求解嶺回歸問題。在KCF算法中，以上一幀圖像的跟蹤結(jié)果x為基樣本，將x進(jìn)行循環(huán)位移得到m×n個(gè)大小一致的樣本xi,i=1,2,…,m×n，利用xi及嶺回歸方法完成分類器的訓(xùn)練。在嶺回歸中，訓(xùn)練器的任務(wù)是找到一個(gè)回歸函數(shù)使得損失函數(shù)最小，即

(1)

(2)

經(jīng)過映射函數(shù)φ(xi)，樣本在新的映射空間中的線性回歸函數(shù)為

f(z)=ωTφ(z)

=αTφ(X)φ(z)

(3)

(4)

KZ=C(kxz)

(5)

其中，x表示訓(xùn)練基樣本;z表示檢測基樣本;C表示循環(huán)位移過程函數(shù)。在KCF檢測過程中，計(jì)算z的響應(yīng)度為

(6)

響應(yīng)最大的區(qū)域即為跟蹤目標(biāo)所在位置。

(2)檢測輔助的KCF目標(biāo)跟蹤算法

跟蹤器的更新策略影響著其跟蹤定位精度。KCF算法易于實(shí)現(xiàn)且具有明顯的速度優(yōu)勢，但其更新方式使得新引入的訓(xùn)練樣本快速覆蓋歷史儲(chǔ)存目標(biāo)的外觀信息，導(dǎo)致KCF只能記錄目標(biāo)較新的外觀，且只能適應(yīng)連續(xù)的外觀模型。因此，一旦引入錯(cuò)誤的訓(xùn)練樣本，所有保留的外觀信息將被污染。KCF本身也不具備對跟蹤結(jié)果進(jìn)行判斷的能力，當(dāng)目標(biāo)被遮擋或跟蹤結(jié)果已經(jīng)出現(xiàn)漂移時(shí)，跟蹤器只會(huì)利用污染的模板進(jìn)行接下來的匹配，極易導(dǎo)致跟蹤器的漂移以及跟蹤失敗。

針對上述問題，本文通過增添視覺檢測模塊，輔助KCF進(jìn)行質(zhì)量判斷與遮擋判別。在跟蹤目標(biāo)類別確定的情況下，結(jié)合檢測器及跟蹤結(jié)果進(jìn)行遮擋與丟失的判斷。這種方法可以避免引入錯(cuò)誤的訓(xùn)練樣本，縮小目標(biāo)檢索過程中的檢測范圍(在短時(shí)間遮擋時(shí)只需要檢測原始目標(biāo)候選區(qū)域及其周圍區(qū)域)，并增加跟蹤器在復(fù)雜環(huán)境下的魯棒性。

本文利用目標(biāo)檢測器進(jìn)行跟蹤結(jié)果的輔助判斷，并且輔助進(jìn)行目標(biāo)丟失后的重定位，因此需要保證檢測結(jié)果的準(zhǔn)確性。為了保證目標(biāo)檢測結(jié)果的可靠性，并且考慮到進(jìn)一步開發(fā)的實(shí)時(shí)性，選用YOLOv3[15]作為目標(biāo)檢測器。YOLOv3是J.Red-mon等在2017年提出的目標(biāo)檢測算法，是YOLO算法的第3個(gè)版本，其在COCO[16]數(shù)據(jù)集上實(shí)現(xiàn)了在51ms內(nèi)mAP達(dá)到57.9%的效果，能夠同時(shí)保證準(zhǔn)確率與檢測速率，滿足本文的開發(fā)需求。在本文中，選取行人作為固定的跟蹤類目進(jìn)行算法的闡述與驗(yàn)證。

(7)

(8)

3 基于拓展特征匹配的抗干擾目標(biāo)跟蹤方法設(shè)計(jì)

在實(shí)際的跟蹤應(yīng)用中，常會(huì)出現(xiàn)同種類目標(biāo)的相似干擾情況。經(jīng)典KCF算法中，采用HOG(Histogram of Oriented Gridients)[17]特征進(jìn)行跟蹤目標(biāo)的描述，往往只能學(xué)習(xí)到目標(biāo)的邊緣特征，若存在同種類相似目標(biāo)于跟蹤目標(biāo)附近時(shí)，跟蹤器易出現(xiàn)目標(biāo)混淆的情況;且存在相似干擾時(shí)，與跟蹤結(jié)果相關(guān)的檢測結(jié)果也不止一個(gè)，此時(shí)遮擋與丟失的判斷也會(huì)受到影響。

在運(yùn)動(dòng)目標(biāo)的跟蹤過程中，為解決相似干擾及遮擋后的重定位問題，跟蹤器往往設(shè)計(jì)使用多種特征對跟蹤目標(biāo)進(jìn)行描述。本文使用具有尺度及旋轉(zhuǎn)不變性的ORB特征作為跟蹤目標(biāo)的拓展描述，在無遮擋及干擾時(shí)，構(gòu)建目標(biāo)的自適應(yīng)特征模板，通過特征匹配在干擾及遮擋后完成跟蹤目標(biāo)的重定位。

(1)拓展特征模板構(gòu)建

ORB[18]是Ethan Rublee于2011年提出的一種基于視覺信息檢測與描述特征點(diǎn)的算法，具有尺度及旋轉(zhuǎn)不變性，并且對尺度、方向、外觀、光照變化以及遮擋均不敏感，使用ORB進(jìn)行跟蹤目標(biāo)的拓展特征描述能夠很好地處理相似干擾及遮擋后的重定位問題。

本文使用構(gòu)建特征模板的方式實(shí)現(xiàn)目標(biāo)的ORB特征描述，其由ORB關(guān)鍵點(diǎn)及其特征描述子構(gòu)成，定義如下

(9)

其中，Vm×n表示構(gòu)建的目標(biāo)ORB特征模板，為一m×n維矩陣，其中m表示特征點(diǎn)個(gè)數(shù)，n表示特征點(diǎn)對應(yīng)的n維描述子(本文中n=256)；gn(pi,θi) 表示特征點(diǎn)pi的旋轉(zhuǎn)不變描述子，其相對BRIEF算子fn(pi)進(jìn)行了特征方向θi的角度校正，利用校正后的測試點(diǎn)對(xij,yij)∈Qθi進(jìn)行二進(jìn)制描述子的計(jì)算，得到了具有旋轉(zhuǎn)不變性的關(guān)鍵點(diǎn)特征。

(2)自適應(yīng)特征模板更新

隨著場景、目標(biāo)形態(tài)及外觀的變化，ORB特征模板需要進(jìn)行自適應(yīng)更新。為了保證目標(biāo)特征模板的時(shí)效性，本文借鑒文獻(xiàn)[19]中的模板更新策略，為每一特征點(diǎn)設(shè)置一保留等級(jí)，得到的拓展特征模板為

(10)

其中，Ri表示特征模板中第i個(gè)特征點(diǎn)的保留等級(jí)，反映了該特征點(diǎn)屬于該跟蹤目標(biāo)的置信度。將保留等級(jí)的最大值設(shè)置為Rmax。

特征模板自適應(yīng)更新過程如圖2所示。利用第t幀目標(biāo)跟蹤結(jié)果進(jìn)行ORB關(guān)鍵點(diǎn)的提取，得到其特征集Vobj，并將其與已經(jīng)構(gòu)建的特征模板VRt進(jìn)行特征匹配。將VRt中匹配成功的特征點(diǎn)更新為Vobj中的對應(yīng)點(diǎn)，并將其保留等級(jí)設(shè)置為最大值；將匹配失敗的特征點(diǎn)保留等級(jí)減1。若跟蹤結(jié)果特征集中存在未匹配成功的特征點(diǎn)，則說明目標(biāo)由于外觀變化出現(xiàn)了新的特征，將這些特征作為新特征加入特征模板中，并將其保留等級(jí)最大化。為了保證特征模板中某一特征點(diǎn)保留等級(jí)降為0，說明該特征長期沒有得到匹配，則刪除該特征點(diǎn)的所有信息。

圖2 自適應(yīng)目標(biāo)特征模板更新示意圖Fig.2 Adaptive target feature template update diagram

(3)抗干擾相似目標(biāo)判斷及目標(biāo)重定位

(11)

4 實(shí)驗(yàn)結(jié)果與分析

為對本文算法進(jìn)行評估并驗(yàn)證其實(shí)際效果，本文在測試集與移動(dòng)機(jī)器人上都進(jìn)行了充分的實(shí)驗(yàn)驗(yàn)證。通過測試集驗(yàn)證試驗(yàn)，對跟蹤算法的精度及成功率進(jìn)行了定量的評估；通過移動(dòng)機(jī)器人平臺(tái)視覺跟蹤驗(yàn)證試驗(yàn)，對算法在實(shí)際的移動(dòng)機(jī)器人跟蹤場景中的現(xiàn)實(shí)跟蹤效果進(jìn)行了驗(yàn)證。

(1)數(shù)據(jù)集視覺跟蹤驗(yàn)證試驗(yàn)

本文選用測試集為公開的跟蹤算法性能評估測試集OTB-2015[20]，該測試集包括100個(gè)帶有9種標(biāo)記屬性的視頻序列，覆蓋了視覺跟蹤的挑戰(zhàn)性問題，如光照變化、尺度變化、遮擋形變、運(yùn)動(dòng)模糊等。本文選取OTB-2015中以行人為跟蹤目標(biāo)的jogging1-2和Girl2等6組視頻序列進(jìn)行測試驗(yàn)證，這些視頻涵蓋了尺度變化、目標(biāo)形變、遮擋、平面內(nèi)外旋轉(zhuǎn)等視覺跟蹤挑戰(zhàn)性情況。為更好地說明所提算法的有效性與優(yōu)越性，本文將其與KCF算法進(jìn)行對比，并對兩種算法進(jìn)行了跟蹤結(jié)果的定性評估。

圖3所示為本文算法與KCF算法在遮擋及相似干擾情況下的跟蹤結(jié)果。圖3(a)為OTB-2015中jogging-2視頻序列KCF算法及本文算法的實(shí)驗(yàn)結(jié)果對比圖。在該序列中，41幀時(shí)目標(biāo)行人開始出現(xiàn)障礙物遮擋情況，在51～54幀時(shí)被完全遮擋，64幀時(shí)再次完全出現(xiàn)。如圖第52幀及63幀結(jié)果，本文方法對目標(biāo)行人的遮擋情況進(jìn)行了判別，在遮擋時(shí)暫停了跟蹤；當(dāng)目標(biāo)行人經(jīng)過遮擋后再次出現(xiàn)時(shí)，通過前期構(gòu)建的目標(biāo)ORB特征模板成功對目標(biāo)行人進(jìn)行了重定位，跟蹤器重新初始化并工作。而KCF跟蹤器在出現(xiàn)遮擋時(shí)仍然進(jìn)行工作，不斷引入錯(cuò)誤的特征導(dǎo)致其不斷出現(xiàn)漂移，最終造成了跟蹤失敗。

圖3(b)為OTB-2015中Girl2視頻序列KCF算法及本文算法的實(shí)驗(yàn)結(jié)果對比圖。該視頻序列在第92幀時(shí)出現(xiàn)了相似物遮擋干擾情況。如圖所示，本文算法成功利用檢測結(jié)果確定了相似物的遮擋干擾，并利用ORB特征模板繼續(xù)跟蹤過程，在遮擋過程中圖像中的所有行人都不滿足式(11)中的重定位條件，因此無跟蹤結(jié)果(如115幀所示)；而目標(biāo)再次出現(xiàn)后，算法成功進(jìn)行重定位，重新初始化跟蹤器繼續(xù)跟蹤過程。KCF算法由于無法判斷遮擋，跟蹤失敗。

(a) Jogging-2處理結(jié)果對比

(b) Girl2處理結(jié)果對比圖3 OTB-2015視頻序列實(shí)驗(yàn)結(jié)果Fig.3 OTB-2015 video sequence experiment results

圖4所示為本文算法及KCF算法跟蹤精確度對比圖[20]，其中包括2個(gè)指標(biāo)：跟蹤精確度及跟蹤成功率。跟蹤精確度反映了跟蹤結(jié)果(bbox)與真值的中心位置誤差小于一定閾值的幀數(shù)百分比，一般將閾值為20的精確度作為跟蹤算法的精度代表值；跟蹤成功率反映了跟蹤結(jié)果(bbox)與真值的重合度大于某個(gè)閾值的幀數(shù)百分比，一般情況下，重合度大于50%即視為跟蹤成功。

(a)跟蹤精確度

(b)跟蹤成功率圖4 所提方法與KCF算法性能曲線Fig.4 The proposed method and KCF algorithm performance curve

由實(shí)驗(yàn)結(jié)果可知，本文算法與KCF算法相比，能有效地改善目標(biāo)跟蹤的精度，對干擾及遮擋等情況進(jìn)行判別，并根據(jù)檢測結(jié)果實(shí)現(xiàn)目標(biāo)的重定位。

(2)移動(dòng)機(jī)器人平臺(tái)視覺跟蹤驗(yàn)證試驗(yàn)

在實(shí)際的應(yīng)用場景中，目標(biāo)跟蹤算法經(jīng)常被搭載在智能移動(dòng)平臺(tái)中，在該使用場景下，跟蹤目標(biāo)以及進(jìn)行視覺感知的攝像頭在場景中均為移動(dòng)體。為驗(yàn)證所提算法在移動(dòng)平臺(tái)下(實(shí)際動(dòng)背景下)的實(shí)地使用效果，本文進(jìn)行了移動(dòng)機(jī)器人平臺(tái)驗(yàn)證試驗(yàn)。實(shí)驗(yàn)使用移動(dòng)機(jī)器人平臺(tái)為百度自動(dòng)駕駛開發(fā)套件Apollo D-Kit，使用視覺傳感器為Kinect v2型RGB-D攝像頭(圖5)。實(shí)驗(yàn)中采集1734幀圖像，像素為640×480。

圖5 移動(dòng)機(jī)器人視覺跟蹤驗(yàn)證平臺(tái)Fig.5 Visual tracking and verification platform for mobile robot

在整個(gè)測試序列中，跟蹤目標(biāo)全程處于附近有其他目標(biāo)類別的情況。在視頻開始時(shí)，目標(biāo)行人與干擾行人并排貼近行走，在視頻中段分別出現(xiàn)了一次相似類別遮擋情況以及一次相似干擾情況。實(shí)驗(yàn)結(jié)果表明，當(dāng)目標(biāo)經(jīng)過遮擋后再次出現(xiàn)時(shí)，本文跟蹤算法能夠準(zhǔn)確地判斷遮擋并重新鎖定目標(biāo)，不會(huì)與其他行人混淆;當(dāng)存在相似干擾時(shí)，跟蹤器也能準(zhǔn)確地判別出目標(biāo)行人。圖6所示為目標(biāo)在相似遮擋以及相似干擾情況下的跟蹤結(jié)果。圖7所示為移動(dòng)機(jī)器人視覺跟蹤驗(yàn)證試驗(yàn)算法性能曲線。

圖6 移動(dòng)機(jī)器人平臺(tái)視覺跟蹤驗(yàn)證結(jié)果Fig.6 Verification results of vision tracking for mobile robot platform

(a)跟蹤精確度

(b)跟蹤成功率

5 結(jié)論

針對遮擋及相似干擾問題，本文提出了一種結(jié)合基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測、KCF及ORB特征的視覺魯棒目標(biāo)跟蹤算法。算法分析與試驗(yàn)結(jié)果表明：

1)跟蹤器的更新策略影響著其跟蹤定位精度。本文算法利用檢測器與相關(guān)性分析對跟蹤結(jié)果進(jìn)行質(zhì)量判斷，實(shí)現(xiàn)了跟蹤過程中對遮擋及目標(biāo)丟失的判別，使跟蹤器在遮擋/丟失等情況下停止更新。

2)本文算法通過拓展特征模板的構(gòu)建與匹配，對目標(biāo)的視覺特征進(jìn)行了補(bǔ)充描述，實(shí)現(xiàn)了跟蹤器的抗干擾相似目標(biāo)判斷及丟失后的目標(biāo)重定位。

3)本文所提方法提高了KCF方法在遮擋及相似干擾情況下的魯棒性，在保障實(shí)時(shí)性的前提下，有效地提高了跟蹤精度。算法在遮擋、相似性干擾比較強(qiáng)的環(huán)境下表現(xiàn)良好，驗(yàn)證了本文算法的可信性和可靠性。

4)移動(dòng)機(jī)器人平臺(tái)驗(yàn)證試驗(yàn)證明了本文算法在移動(dòng)平臺(tái)的可行性。在集成了960M GPU的工控機(jī)移動(dòng)平臺(tái)中，本文算法可滿足實(shí)時(shí)運(yùn)行需求。