符 強(qiáng)，昌 濤，任風(fēng)華，紀(jì)元法*

(1.桂林電子科技大學(xué)廣西精密導(dǎo)航技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，廣西 桂林541004；2.衛(wèi)星導(dǎo)航定位與位置服務(wù)國家地方聯(lián)合工程研究中心，廣西 桂林541004；3.桂林電子科技大學(xué)電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004)

1 引言

隨著人工智能的發(fā)展，目標(biāo)跟蹤技術(shù)在軍用、民用等諸多領(lǐng)域都具有極大的應(yīng)用價(jià)值，如智能視頻監(jiān)控、軍事制導(dǎo)、視覺導(dǎo)航、無人駕駛等。目標(biāo)跟蹤的主要任務(wù)是估計(jì)視頻中目標(biāo)的運(yùn)動(dòng)軌跡，這是計(jì)算機(jī)視覺中一個(gè)基礎(chǔ)且重要的問題。目標(biāo)跟蹤算法雖然在近幾十年來取得了很大的進(jìn)展，但在實(shí)際應(yīng)用場景中往往受到尺度變化、光照變化、背景復(fù)雜等因素的影響，目標(biāo)跟蹤算法的研究仍然是一個(gè)難題。

由于基于相關(guān)濾波的目標(biāo)跟蹤算法具有較好的實(shí)時(shí)性和較高的準(zhǔn)確性，近年來受到廣大國內(nèi)外研究人員重視。Bolme等[1]首次將信號處理領(lǐng)域的相關(guān)濾波引入到目標(biāo)跟蹤領(lǐng)域，并提出了最小輸出誤差平方和濾波(Minimum Output Sum of Squared Error Filter， MOSSE)算法，通過使用灰度特征來對跟蹤目標(biāo)進(jìn)行外觀描述，提升了目標(biāo)的跟蹤效率，達(dá)到了669幀每秒的跟蹤速度，但是此方法的跟蹤精度過低，灰度特征不能很好的預(yù)測目標(biāo)的位置。Henriques等[2]提出了循環(huán)結(jié)構(gòu)核(Circulant Structure Kernel， CSK)算法，它利用在頻域上循環(huán)移位的方式實(shí)現(xiàn)了樣本的密集采樣，進(jìn)而提取目標(biāo)的圖像特征，通過核技巧和快速傅里葉變換來處理目標(biāo)的特征來實(shí)現(xiàn)目標(biāo)跟蹤。隨后Henriques等[2]又提出了核相關(guān)濾波(Kernel Correlation Filter， KCF)算法，該算法利用多通道的方向梯度直方圖(Histogram of OrientrdGradient，HOG)特征替代了CSK算法中的灰度特征，并采用循環(huán)移位的方式構(gòu)建正負(fù)樣本，在保證實(shí)時(shí)性的同時(shí)大幅度的提高了算法的魯棒性。但是HOG特征對目標(biāo)旋轉(zhuǎn)敏感，Danelljan等[3]利用多通道顏色特征進(jìn)行擴(kuò)展，取得不錯(cuò)的跟蹤效果。Bertinetto[14]提出了STAPLE算法，該算法通過將顏色直方圖和HOG特征的檢測響應(yīng)線性相加。提高了跟蹤算法的魯棒性。Li等[4]提出了尺度自適應(yīng)多特征(Scale Adaptive Multiple Feature， SAMF)跟蹤算法，通過將灰度特征、CN特征、HOG特征三者進(jìn)行融合，并引入尺度估計(jì)來適應(yīng)目標(biāo)的尺度變化，展示出了較好的跟蹤結(jié)果。Chao Ma等[5]采用卷積神經(jīng)網(wǎng)絡(luò)對目標(biāo)提取多層卷積特征用于目標(biāo)跟蹤，其跟蹤精度得到了較大的提升，但實(shí)時(shí)性較差。以上跟蹤算法都缺乏對背景信息的感知，Mueller等[6]提出了一種上下文感知相關(guān)濾波(Context-Aware Correlation Filter， CACF)跟蹤算法，該算法通過在目標(biāo)位置的上下左右四個(gè)方向各取了一塊背景區(qū)域，為跟蹤模型合理地增加了更多的背景信息，在對跟蹤速度影響較小的情況下提高了跟蹤的準(zhǔn)確率和魯棒性。

本文在CACF算法的基礎(chǔ)上，提出了基于多特征與尺度自適應(yīng)的目標(biāo)跟蹤算法。與傳統(tǒng)的HOG特征相比，深度特征可以更加有效地描述目標(biāo)的外觀。顏色直方圖特征對目標(biāo)的大小和方向不敏感，于是本文將深度特征與顏色直方圖特征相融合，利用融合后的特征對跟蹤目標(biāo)進(jìn)行檢測，同時(shí)引入了尺度濾波器來適應(yīng)目標(biāo)的尺度變化，最后使用了一種新的模型更新判別依據(jù)APCE，只有當(dāng)APCE值和響應(yīng)最大值同時(shí)分別以一定比例大于各自的歷史平均值時(shí)，才對模型進(jìn)行更新，從而實(shí)現(xiàn)對目標(biāo)準(zhǔn)確、穩(wěn)定的跟蹤。

2 上下文感知相關(guān)濾波器

被跟蹤目標(biāo)的周圍背景環(huán)境信息對跟蹤性能有很大的影響。例如，如果被跟蹤目標(biāo)周圍有很多雜亂的背景信息，上下文感知跟蹤器是一個(gè)非常重要的成功跟蹤器。因此，提出了一個(gè)相關(guān)濾波器的框架，在學(xué)習(xí)階段將目標(biāo)的上下文信息添加到濾波器中。在每一幀中，在感興趣的目標(biāo)x0周圍采樣k個(gè)背景樣本xi作為上下文信息，它們對應(yīng)的循環(huán)矩陣分別為X0和Xi，以目標(biāo)樣本處具有較高的響應(yīng)值與背景樣本處響應(yīng)值接近零為約束條件來訓(xùn)練分類器，從而使得跟蹤器對目標(biāo)與背景有了更高的判別能力。其目標(biāo)函數(shù)的嶺回歸可以表示為

(1)

式中，λ1為正則化系數(shù)，λ2為抑制背景樣本回歸值趨于零的正則化參數(shù)，將式(1)中目標(biāo)樣本的循環(huán)移位矩陣X0和背景樣本的循環(huán)移位矩陣Xi合并可得

(2)

對式(2)求導(dǎo)，并令其導(dǎo)數(shù)為0，解得

(3)

式中，H表示共軛轉(zhuǎn)置，I為單位矩陣，B為分塊循環(huán)矩陣。

(5)

所有循環(huán)矩陣在頻域具有可相似對角化的特性，故可以將循環(huán)矩陣B進(jìn)行如下轉(zhuǎn)換

(6)

(7)

(8)

檢測公式如下

(9)

對偶域上的解為

(10)

(11)

其中向量djl(j，l∈{1，…，k})為

(12)

已知檢測方程為

(13)

由于B包含上下文信息，故檢測公式可以改寫為

(14)

3 本文算法

3.1 基于多特征與尺度自適應(yīng)的目標(biāo)跟蹤算法

本文算法以上下文感知濾波器為基礎(chǔ)框架，提出了一種基于多特征與尺度自適應(yīng)的目標(biāo)跟蹤算法，該算法是通過將顏色直方圖特征與深度特征相融合，利用融合后的特征對跟蹤目標(biāo)進(jìn)行檢測，同時(shí)引入了尺度濾波器來適應(yīng)目標(biāo)的尺度變化，最后使用了一種新的模型更新判別依據(jù)APCE，只有當(dāng)APCE值和響應(yīng)最大值同時(shí)分別以一定比例大于各自的歷史平均值時(shí)，才對模型進(jìn)行更新。

3.2 目標(biāo)的多特征描述

顏色直方圖特征能夠提供對顏色的感知，該特征可以很有效的改善目標(biāo)變形、部分遮擋等造成的影響。但當(dāng)發(fā)生劇烈光照變化時(shí)，單獨(dú)使用顏色直方圖特征不能很好處理光照問題。本文使用ImageNet19上經(jīng)過訓(xùn)練的vgg-net-19網(wǎng)絡(luò)進(jìn)行深度特征提取，淺層特征能夠?qū)W習(xí)目標(biāo)的空間輪廓信息，而深層特征可以學(xué)習(xí)到豐富的語義信息，對目標(biāo)與背景有較強(qiáng)的判別能力，對背景復(fù)雜的適應(yīng)性較強(qiáng)，但隨著卷積神經(jīng)網(wǎng)絡(luò)深度的增加和池化操作，深層特征的特征圖的空間分辨率降低，可能導(dǎo)致無法較好地預(yù)測目標(biāo)的位置，本文利用雙線性插值將不同分辨率的特征圖調(diào)整為固定大小的特征圖。

在目標(biāo)跟蹤中，能否得到高魯棒性的特征是目標(biāo)跟蹤算法的首要任務(wù)，為了較好地解決光照變化、背景復(fù)雜等復(fù)雜挑戰(zhàn)問題，并較好地利用不同特征的優(yōu)勢，本文采用顏色直方圖特征和深度特征conv3-4、conv4-4兩層特征融合來表示目標(biāo)外觀模型，以此增強(qiáng)目標(biāo)的表觀能力。

3.3 尺度自適應(yīng)

目標(biāo)跟蹤在實(shí)際應(yīng)用場景中會存在尺度變化的問題，若在目標(biāo)跟蹤過程中沒有尺度自適應(yīng)模型，在跟蹤過程中如果目標(biāo)發(fā)生尺度變化就可能會導(dǎo)致跟蹤失敗.因此研究人員針對跟蹤過程中目標(biāo)發(fā)生尺度變化這一現(xiàn)象提出了一些改進(jìn)方案，主要有基于尺度、分塊和基于特征點(diǎn)三類方法，其中最經(jīng)典的是基于尺度池的方法，尺度池方法就是將原有的目標(biāo)框進(jìn)行不同尺度的放大和縮小，計(jì)算變化后的目標(biāo)，選擇響應(yīng)值最大的作為跟蹤目標(biāo)框，從而達(dá)到尺度自適應(yīng)追蹤。但是在目標(biāo)跟蹤過程中，相鄰兩幀的時(shí)間間隔通常非常短，因此目標(biāo)在相鄰兩幀之間目標(biāo)的尺度變化是微小且是連續(xù)的，那么對每幀都使用尺度濾波器將大大降低算法的實(shí)時(shí)性，于是本文為了確保跟蹤過程中，目標(biāo)的尺度確實(shí)發(fā)生了變化才啟用尺度濾波器，本文每隔兩幀對目標(biāo)檢測的結(jié)果記錄下來，若連續(xù)十次都出現(xiàn)待跟蹤目標(biāo)的尺度發(fā)生變化，那么就可以確認(rèn)待跟蹤目標(biāo)的尺度確實(shí)發(fā)生了改變，并使用尺度濾波器對目標(biāo)進(jìn)行尺度的放縮。用于尺度評估目標(biāo)樣本尺寸為

(15)

其中，P和R分別為目標(biāo)前一幀的寬和高；并可得：a為尺度因子，取為1.02；S為尺度濾波長度，取為33。

由于輸入樣本中某一個(gè)圖像塊具有d維特征描述，為了得到最佳尺度相關(guān)濾波器h，可以最小化代價(jià)函數(shù)為

(16)

其中，w為相關(guān)濾波器，g為理想相關(guān)輸出，l為表示特征的某一維度；λ為正則化系數(shù)。式(14)在頻域中解為

(17)

為了減少計(jì)算量通過模板更新策略獲取近似的濾波模板

(19)

(20)

求得使y最大的尺度響應(yīng)得分作為下一幀的目標(biāo)尺度。

3.4 模型更新策略

本文引入了LMCF[6]算法中提出的模型更新判別依據(jù)APCE

(21)

式中Fmax和Fmin分別表示響應(yīng)圖中的響應(yīng)最大值和最小值，F(xiàn)w，h表示響應(yīng)圖中位置(w，h)處的響應(yīng)值。這個(gè)模型更新判別依據(jù)APCE可以很好的反映出響應(yīng)圖的振蕩程度，當(dāng)APCE的值足夠大時(shí)，且響應(yīng)圖很平滑，此時(shí)認(rèn)為跟蹤目標(biāo)出現(xiàn)在檢測范圍內(nèi)；當(dāng)APCE的值突然減小時(shí)，此時(shí)認(rèn)為出現(xiàn)了目標(biāo)被遮擋或者目標(biāo)丟失的情況，停止對模型進(jìn)行更新，避免模型發(fā)生漂移。而本文采用的模型更新策略是只有在當(dāng)前幀的APCE值和響應(yīng)最大值Fmax同時(shí)以一定的比例|·|大于各自的歷史平均值時(shí)，才認(rèn)為跟蹤置信度滿足要求，此時(shí)對模型進(jìn)行更新，當(dāng)其中有一項(xiàng)低于其歷史平均值或者兩項(xiàng)都低于各自歷史平均值時(shí)，則認(rèn)為該幀的跟蹤置信度不滿足要求，此時(shí)不對模型進(jìn)行更新。這樣不僅有效地減少了模型的更新次數(shù)，而且有利于防止模型發(fā)生漂移。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文所有的實(shí)驗(yàn)均在CPU為Intel Core i7-7700，主頻為3.60GHz和內(nèi)存8GB的臺式電腦上完成，開發(fā)平臺為64位windows 7專業(yè)版系統(tǒng)上的Matlab R2017a。

為了便于本文算法與近年來一些性能優(yōu)異的算法進(jìn)行對比，實(shí)驗(yàn)選取的標(biāo)準(zhǔn)數(shù)據(jù)測試集為OTB100{8}，OTB100數(shù)據(jù)集包含100組視頻序列，涵蓋多種不同視覺跟蹤挑戰(zhàn)的屬性，如尺度變化、光照變化、背景復(fù)雜等，每段視頻序列可能有多個(gè)屬性，非常具有跟蹤挑戰(zhàn)性。同時(shí)為了展現(xiàn)本文算法的跟蹤性能，將本文算法與當(dāng)前一些性能優(yōu)異的目標(biāo)跟蹤算法做了大量的實(shí)驗(yàn)進(jìn)行對比。選取的主流算法為：CSK[2]、KCF[3]、DSST[9]、TLD[10]、SAMF[12]、Staple[14]等6個(gè)目標(biāo)跟蹤算法。本文算法的參數(shù)如下：正則化系數(shù)λ1=10-4，λ2=20。

4.2 性能評估指標(biāo)

4.3 實(shí)驗(yàn)對比

將本文算法與當(dāng)前一些主流算法在基準(zhǔn)數(shù)據(jù)集OTB100上進(jìn)行實(shí)驗(yàn)對比，得到實(shí)驗(yàn)結(jié)果如圖1、圖2所示，圖1為精確度圖，圖2為成功率圖。

圖1 精準(zhǔn)度圖

圖2 成功率圖

由圖1可知，本文算法的得分為0…842，比排名第二的Staple算法(得分為0.793)高出了0.049，在精準(zhǔn)度上排名第一。從圖2可以看出本文算法在成功率上也排名第一，比第二名的Staple(得分為0.754)高出了0.046。

圖3為本文算法在部分視頻序列的跟蹤效果。圖4為跟蹤算法在尺度變化、光照變化、背景復(fù)雜等特定屬性視頻的跟蹤性能對比，從圖中可以看出本文算法性能優(yōu)于其它對比算法，且充分展現(xiàn)出了本文算法的魯棒性。

5 結(jié)論

本文算法以上下文感知濾波器為基礎(chǔ)框架，提出了一種基于多特征與尺度自適應(yīng)的目標(biāo)跟蹤算法，該算法是通過將顏色直方圖特征與深度特征相融合，利用融合后的特征對跟蹤目標(biāo)進(jìn)行檢測，同時(shí)引入了尺度濾波器來適應(yīng)目標(biāo)的尺度變化，最后使用了一種新的模型更新判別依據(jù)APCE，只有當(dāng)APCE值和響應(yīng)最大值同時(shí)分別以一定比例大于各自的歷史平均值時(shí)，才對模型進(jìn)行更新。最后將本文算法與近年來一些性能優(yōu)異的目標(biāo)跟蹤算法在基準(zhǔn)測試集OTB100上進(jìn)行實(shí)驗(yàn)對比，實(shí)驗(yàn)結(jié)果表明，本文算法的精準(zhǔn)度為0.842，成功率為0.800，均優(yōu)于其它對比算法，充分展現(xiàn)出了本文算法的魯棒性。

圖3 本文算法對部分視頻序列跟蹤結(jié)果

圖4 特定屬性下實(shí)驗(yàn)對比