魏永強，楊小軍

長安大學(xué) 信息工程學(xué)院，西安 710064

1 引言

視覺目標跟蹤作為計算機視覺領(lǐng)域的一個重要研究課題，在智能監(jiān)控[1-3]、人機交互[4-5]、虛擬現(xiàn)實[6-8]中得到廣泛的實際應(yīng)用。視覺目標跟蹤是指當給定要跟蹤的視頻圖像第一幀中目標的初始位置，來計算在下一幀視頻圖像中目標的確切位置[9]。與此同時，對于視頻中的運動目標，其運動的場景非常復(fù)雜并且經(jīng)常發(fā)生變化，容易受到背景相似、光照條件變化、遮擋、外觀變形、快速運動等各種干擾因素；并且目標跟蹤算法還要具備實時性[10]。針對這些問題，許多算法應(yīng)運而生。其中，文獻[11]使用分類方法對目標進行跟蹤。文獻[12]提出TLD（Tracking-Learning-Detection）目標跟蹤框架，嘗試實現(xiàn)目標在完全被遮擋或者目標離開視場等復(fù)雜場景下的長時間目標跟蹤。該框架將長時間目標跟蹤劃分為三個子模塊，即跟蹤、學(xué)習(xí)和檢測模塊。文獻[13]利用SVM方法在線學(xué)習(xí)一個分類器。文獻[14]將顏色屬性作為輸入數(shù)據(jù)，通過將目標在RGB空間的顏色特征轉(zhuǎn)化到CN空間的11維顏色特征，它可以準確、穩(wěn)定地處理豐富的顏色特征，因此用提取到的CN特征訓(xùn)練出來的濾波器更加魯棒。文獻[15]針對傳統(tǒng)的核相關(guān)濾波器樣本尺寸固定的問題，融合了HOG特征和CN特征以及灰度特征；同時使用尺度池技術(shù)對目標進行尺度變化的檢測跟蹤，找到目標的最佳尺度，提高跟蹤器的綜合性能。文獻[16]將尺度濾波器和位置濾波器相結(jié)合，位置濾波器進行當前幀目標的定位，尺度濾波器進行當前幀目標尺度的估計，從而可以選擇不同的特征種類和特征計算方式。文獻[17]通過采用PCA降維，尺度由33個減少到17個，提高了速度和魯棒性。針對在遮擋的情況下可能導(dǎo)致追蹤失敗。文獻[18]通過將空間和時間正則化納入DCF框架，有效解決邊界效應(yīng)，可以在有遮擋情況下成功追蹤目標，同時能夠很好地適應(yīng)較大的外觀變化，該模型在準確率、魯棒性和速度方面都表現(xiàn)良好，可實時追蹤目標。文獻[19]使用每一幀灰度圖像中的目標圖像塊訓(xùn)練濾波器，在頻域進行相關(guān)濾波，實現(xiàn)目標的實時跟蹤。在該框架基礎(chǔ)上，基于相關(guān)濾波的跟蹤算法取得了極大的突破，大大擴展了相關(guān)濾波的應(yīng)用范圍。文獻[20]中，在時域中的相關(guān)運算數(shù)學(xué)表達式為：

式中f和h、g分別表示要跟蹤的視頻圖像、濾波器模板、響應(yīng)輸出。為加速計算，對上式進行快速傅里葉變換。將輸入的圖像以及濾波器進行二維傅里葉變換，然后將時域中的卷積變成頻域內(nèi)的點乘，得到下式：

⊙表示點乘，?表示復(fù)共軛。為了能獲得一個將訓(xùn)練數(shù)據(jù)映射到期望輸出的濾波器，通過建立最小化輸出平方和誤差模型來求解濾波模板?？紤]到目標外觀變化的影響，因此對初始跟蹤框進行隨機仿射變換來產(chǎn)生n個圖像作為參考樣本，從而提高濾波器模板的魯棒性。由此得到目標函數(shù)：

利用目標函數(shù)可以訓(xùn)練出最優(yōu)的相關(guān)濾波模板。

基于核相關(guān)濾波的算法憑借實時性優(yōu)勢得到廣泛應(yīng)用。但由于采用傳統(tǒng)的淺層手工特征，在實際跟蹤過程中存在精度過低問題。針對此問題，本文提出的算法基于核相關(guān)濾波框架，并利用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型（殘差網(wǎng)絡(luò)[21]）來提取深度特征，在滿足實時性的同時，精度也有較大的提升。

2 核濾波相關(guān)

自從 MOSSE（Minimum Output Sum of Squared Error）算法把相關(guān)濾波的思想運用到目標跟蹤問題中，憑借極快的跟蹤速度，相關(guān)濾波算法不斷得到改進。CSK跟蹤算法，引入圖像的循環(huán)移位采樣、巧用核函數(shù)等方法進行跟蹤。后來，在原有的核相關(guān)濾波算法的基礎(chǔ)上，把此算法拓展到具有多個通道特征的情況，提出了KCF[22]算法。該算法主要流程可分為以下四個方面。

2.1 樣本構(gòu)造

在分類時如何構(gòu)造所需要訓(xùn)練的樣本是一個非常關(guān)鍵的問題。傳統(tǒng)方法中利用在視頻圖像上臨近目標區(qū)域采集得到的樣本作為正樣本，離目標較遠的區(qū)域采集得到的樣本為負樣本。但這種采樣方法不足之處在于：采集到的樣本沒有規(guī)律，采集的樣本過多，在進行訓(xùn)練的時候會很耗時。于是，KCF算法通過對目標區(qū)域進行循環(huán)采樣，既能獲得足夠多的合理訓(xùn)練樣本，又能在計算的過程中利用循環(huán)矩陣的性質(zhì)把求解過程轉(zhuǎn)化到傅里葉域中實現(xiàn)，提高了算法的速度。

2.2 訓(xùn)練分類器

算法的主要目標是從訓(xùn)練樣本中學(xué)習(xí)一個多通道的卷積濾波器。假設(shè)第i個訓(xùn)練樣本為xi，對應(yīng)標簽為yi，對樣本訓(xùn)練的目標就是要獲取一個函數(shù)來表示輸入與輸出，分類器的訓(xùn)練可以通過最小下式來獲得：

其中，w為向量參數(shù)（濾波模板系數(shù)），λ為正則化參數(shù)。

2.3 目標位置檢測

通過下式來計算檢測樣本z對應(yīng)的回歸值為：

當待檢測樣本的個數(shù)很多時，計算非常耗時，為此，在樣本檢測過程中，采取與樣本訓(xùn)練同樣的方式，循環(huán)構(gòu)造檢測樣本，定義訓(xùn)練樣本x和檢測樣本z的核矩陣：f()

z表示循環(huán)移位構(gòu)造得到的檢測樣本對應(yīng)的回歸響應(yīng)，利用循環(huán)矩陣的性質(zhì)，可以在離散傅里葉域先求出：

其中⊙表示點乘，對上式兩邊使用傅里葉逆變換即可獲取回歸響應(yīng)。整個過程中在傅里葉域上進行各種運算，減少運算量、更加快速。

2.4 更新分類器

由于目標的外觀模型是不斷變化的，同時，目標的歷史信息也極為重要。因此采用如下的更新公式來更新分類器：

3 結(jié)合深度特征的核相關(guān)濾波

3.1 用CNN提取深度特征

在目標跟蹤領(lǐng)域，文獻[23]提出不同的卷積層輸出的特征圖特性不同：深層次的卷積層會提取出更抽象的特征，包含更豐富的語義信息，在區(qū)分不同種類物體時能力較強，而且對形變和遮擋比較魯棒；淺層次的卷積層特征將會提供更具體的局部特征，它們在區(qū)分同類物體的不同個體時，區(qū)分能力更強，但對于外觀變化并不魯棒。因此，為了使卷積神經(jīng)網(wǎng)絡(luò)的空間分辨能力進一步提升，提出的算法基于核關(guān)濾波框架，并且利用預(yù)訓(xùn)練好的殘差網(wǎng)絡(luò)提取深度特征，得到每一個卷積層的輸出特征，然后結(jié)合相關(guān)濾波來確定目標的位置。

3.2 雙線性插值進行上采樣

由于網(wǎng)絡(luò)中的池化操作，隨著卷積層級的加深，提取到的特征空間分辨率逐步降低，無法對目標進行精確的定位，因此需要使用雙線性插值對提取到的特征進行上采樣，按照公式：

這里xi代表上采樣后的特征圖，hk代表上采樣之前的深度特征圖，αik是插值的權(quán)值。

3.3 相關(guān)濾波結(jié)合深度特征

每個卷積層的輸出都是被用作多個通道特征，對于每一層的輸出特征，大小為M×N×D，M、N代表圖像特征的寬高，D是特征的通道數(shù)。將上采樣后的特征圖xi在M維和N維上的所有循環(huán)移位作為訓(xùn)練樣本，每一個xm,n(m,n)都有一個高斯函數(shù)標簽y(m,n)=符合二維高斯分布。因此可以學(xué)習(xí)得到一個與xi同樣尺寸大小的濾波器w。

λ是正則化參數(shù)。通過快速傅里葉變換將目標函數(shù)轉(zhuǎn)換到頻域：

Y表示傅里葉變換，表示X的復(fù)共軛，代表逐元素點乘。當給定下一幀視頻圖像當中的候選區(qū)域后，然后提取該區(qū)域的深度特征Z，大小為M×N×D，則第l卷積層相關(guān)濾波的響應(yīng)圖可以用下式子計算得到：

其中，F(xiàn)-1表示傅里葉逆變換。則相關(guān)響應(yīng)圖fl的最大值處就是目標位置。

3.4 精確估計目標位置

本文采用CNN各層的輸出作為深度特征，并對每層的輸出均構(gòu)造一個獨立的相關(guān)濾波器。給定一組相關(guān)濾波響應(yīng)特征圖的集合{fl}分層來推斷出每一層特征圖當中的目標位置，用(m?,n?)=argmaxm,nfl(m,n)來表示第l層的最大響應(yīng)位置，則前一個卷積層當中目標的最優(yōu)位置可以用下式求出：

其中，γ為正則化參數(shù)，后一層的響應(yīng)會對前一層的響應(yīng)產(chǎn)生影響。后一層的響應(yīng)值被正則化參數(shù)γ加權(quán)并且反向傳播到前一層的相關(guān)響應(yīng)映射。最后，在空間分辨率最高的卷積層通過最大化式（15）來估計目標的精確位置。

3.5 相關(guān)濾波器更新

為了得到一個更加魯棒的近似，用移動平均來分別更新濾波器式（13）中Wd的分子Ad、分母Bd。

其中，t為視頻幀索引，η為學(xué)習(xí)速率。

4 實驗結(jié)果與分析

4.1 實驗參數(shù)

本文用在ImageNet上訓(xùn)練好的殘差卷積神經(jīng)網(wǎng)絡(luò)提取深度特征。為了提高特征圖的空間分辨率，輸出特征不經(jīng)過池化層。給定視頻幀的搜索窗口大小是目標大小的2倍，把每一個卷積層提取到的深度特征縮放到固定尺寸。每一個卷積層上用于訓(xùn)練濾波器的參數(shù)是一樣的，式（12）的正則化參數(shù)設(shè)置為10?4，用核帶寬為0.1的高斯函數(shù)產(chǎn)生標簽。把式（13）中學(xué)習(xí)速率設(shè)置為0.001。

4.2 評價標準

本文主要選用OTB50和OTB100[24]中的視頻序列進行實驗評測，遵循文獻[24]實驗設(shè)置。采用主流的評價指標來衡量跟蹤效果。第一個是精確度曲線，定義為跟蹤目標的中心位置和手工標定的準確位置之間的平均歐氏距離，一般選擇曲線在閾值為20像素處的精確度來對比不同的算法，歐式距離為：D=成功率指對于視頻的每一幀，當跟蹤得到的目標區(qū)域BT與目標真實區(qū)域BG交集除以并集得到的VOR大于某個閾值時，代表跟蹤是成功的但這種方法不具有代表性，因此通常使用每一個成功率圖曲線下方的面積（AUC）作為替代，用于對目標跟蹤算法進行排序。

4.3 定量比較分析

將本文提出的算法和一些算法進行對比。對比的算 法 包 括 ECO_DEEP[25]、SRDCF[26]、STRCF[18]、DCF[27]、CCOT_HOG[28]、BACF[29]。提出的算法通過深度特征融合，極大地提升了性能，同時，由于實驗選取的數(shù)據(jù)集包含各種挑戰(zhàn)因素，在不同的視頻幀中，本文算法都取得了較好的結(jié)果。跟蹤結(jié)果精確度圖，成功率圖如圖1所示。

圖1 算法精確度、成功率圖

為了進一步驗證本文算法對光照變化、尺度變化、運動模糊、遮擋、快速運動等各種干擾因素的魯棒性，圖2給出了與其他各種算法的對比。

從圖2得出，本文提出的算法由于采用更輕量級的主干網(wǎng)絡(luò)架構(gòu)來提取深度特征，能夠在大多數(shù)干擾因素下取得較好的跟蹤效果。

圖2 各種干擾因素下的對比

4.4 定性比較分析

為了體現(xiàn)本文提出算法的跟蹤性能，在OTB50、OTB100數(shù)據(jù)集上選取了一些視頻序列進行測試，對不同算法的跟蹤結(jié)果進行對比，跟蹤結(jié)果如圖3所示。

圖3 算法在不同視頻跟蹤結(jié)果

綜合上述實驗的對比結(jié)果，在不同干擾因素視頻中本章算法表現(xiàn)了其優(yōu)越的跟蹤性能。從圖3中可以看出，在Jogging視頻序列中第55幀目標被電線桿完全遮擋，其他四種算法雖然也能成功到跟蹤目標，但本文算法能迅速地找到目標，跟蹤精度更高，能夠完成全跟蹤過程，說明本文算法可處理完全遮擋，魯棒性好。在freeman序列中，目標在行走過程中存在旋轉(zhuǎn)現(xiàn)象，從第237幀可知，由于目標旋轉(zhuǎn)，其他四種算法均陸續(xù)出現(xiàn)漂移，跟丟目標。而本文算法利用深度特征，因此能夠精確地跟蹤目標，保證了算法的高效性。在skiing視頻序列中，由于目標存在快速運動、旋轉(zhuǎn)、尺度的變化且目標運動方向發(fā)生急劇變化，對算法跟蹤產(chǎn)生了較大干擾，只有本文提出的算法能夠有效地一直成功跟蹤目標，其他算法均跟蹤失敗。在soccer視頻序列中，存在背景雜波、快速變形、運動模糊、超出平面外旋轉(zhuǎn)等干擾，本文算法的跟蹤效果優(yōu)于其他四種算法。

5 結(jié)論

針對相關(guān)濾波目標跟蹤算法中手工特征帶來的一些問題。本文提出的算法基于核相關(guān)濾波框架，并利用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型（殘差網(wǎng)絡(luò)）來提取深度特征，充分考慮了不同卷積層的深度特征特性，使用對不同類別物體判別能力較強的高層特征和對同類間不同物體判別能力較強的淺層特征，將不同層次的深度特征進行融合，增強了深度特征的判別能力，提升了目標跟蹤算法的性能。在選定的視頻序列上進行對比實驗得到的結(jié)果表明，得益于深度特征融合算法，本文提出的算法優(yōu)于相關(guān)的對比算法。