張燦龍,李燕茹,李志欣,2,王智文

(1.廣西師范大學(xué) 廣西多源信息挖掘與安全重點實驗室，廣西 桂林 541004；2.廣西區(qū)域多源信息集成與智能信息處理協(xié)同創(chuàng)新中心，廣西 桂林 541004；3.廣西科技大學(xué) 計算機科學(xué)與通信工程學(xué)院，廣西 柳州 545006)

目標跟蹤是完成視覺監(jiān)控[1-2]、人機交互[3-4]、車輛導(dǎo)航[5-6]、醫(yī)學(xué)診斷[7-8]等諸多視頻場景分析和理解任務(wù)的基礎(chǔ)，其本質(zhì)是在每幀圖像中標記出目標的位置、大小和形狀。目標模型的好壞是跟蹤能否成功的關(guān)鍵，因此，按照目標建模方式將目標跟蹤算法分為生成式模型[9]與判別式模型[10]這2類。生成式模型通過在線學(xué)習(xí)方式直接描述目標的觀測，然后進行目標搜索，尋找樣本與目標的聯(lián)合概率，選擇與目標模型最匹配的圖像區(qū)域作為當(dāng)前真實目標的估計來完成目標定位。生成式模型一般有基于核[11]、基于稀疏表示[12]等方法，其經(jīng)典算法有粒子濾波[13]、mean-shift[14]、卡爾曼濾波[15]等。與生成式模型不同的是，判別式模型充分利用了目標和背景信息，將目標跟蹤看作是一個目標前景和背景的二分類問題，通過計算其條件概率來判斷是目標還是背景，從而降低算法的復(fù)雜度。目標的快速運動、遮擋、光照變化、背景混亂、運動模糊、大變化尺度等問題仍是目標跟蹤當(dāng)前所面臨的主要挑戰(zhàn)[16-17]。

近年來，基于相關(guān)濾波的跟蹤方法被廣泛研究，并取得了較好的效果。文獻[18]最早將相關(guān)濾波應(yīng)用到目標跟蹤領(lǐng)域中，提出了最小平方和輸出(minimum output sum of squared error，MOSSE)跟蹤算法。MOSSE在空間域上的表達為帶線性核的脊回歸，因此，Henriques等[19-20]在脊回歸中引入循環(huán)結(jié)構(gòu)來增加樣本，使用核技巧解決樣本不可分問題，提出了循環(huán)結(jié)構(gòu)的目標檢測跟蹤器(exploiting the circulant structure of tracking-by-detection with kernels，CSK)[19]和核化相關(guān)濾波跟蹤算法(kernelized correlation filters，KCF)[20]，利用循環(huán)矩陣的循環(huán)結(jié)構(gòu)和快速傅里葉變換對檢測器的訓(xùn)練進行加速。Danelljan等[21]在CSK基礎(chǔ)上，將RGB空間的圖像映射到CN空間，對多通道顏色特征進行擴展，每個通道圖像單獨處理，然后利用PCA對特征進行降維，以此來提高算法實時性。另外，Danelljan等[22]還在MOSSE算法基礎(chǔ)上增加一個尺度濾波，提出了一種判別性尺度空間跟蹤器(discriminative scale space tracker，DSST)。

以上基于相關(guān)濾波的跟蹤算法在速度和尺度變化上表現(xiàn)良好，但由于沒有處理目標遮擋的機制，在目標產(chǎn)生遮擋時容易導(dǎo)致跟蹤失敗。文獻[23]提出一種基于可靠分塊的跟蹤器(reliable patches trackers，RPT)來實現(xiàn)自動判斷每幀目標的初始位置，該方法首先使用蒙特卡羅方法投票來選擇可靠的塊，然后使用核相關(guān)濾波器對每個可靠子塊進行跟蹤來得到當(dāng)前幀目標的位置。由于蒙特卡羅濾波對目標模型和噪聲沒有限制，從而間接導(dǎo)致RPT的實時性較差，不能滿足跟蹤算法在速度上的要求。

上述基于相關(guān)濾波方法從不同方面來提升算法的跟蹤性能，KCF和CSK等基本能實現(xiàn)實時跟蹤，但是由于它們都使用單一特征進行目標表示，從而影響算法的跟蹤精度。為此，本文以核相關(guān)濾波器為基礎(chǔ)模型，提出一種多特征融合與目標自適應(yīng)分塊的跟蹤算法。該算法首先對目標進行自適應(yīng)分塊，并對各子塊提取HOG特征和CN特征進行融合；然后，在核相關(guān)濾波跟蹤算法框架下，使用融合特征對各子塊目標進行建模，得到各子塊的最大響應(yīng)位置；最后，通過對各子塊的最佳響應(yīng)位置進行加權(quán)平均來得到目標最終位置。此外，本文還提出一種自適應(yīng)更新策略來處理有效子塊。

1 核相關(guān)濾波跟蹤算法

與大多數(shù)判別式跟蹤算法相同，KCF在每一幀的跟蹤中包括目標檢測、訓(xùn)練2部分。在目標圖像序列的第一幀中，用機器學(xué)習(xí)訓(xùn)練一個目標檢測器來獲得目標的中心位置，然后使用檢測到的目標位置去預(yù)測下一幀目標的最優(yōu)位置，最后使用檢測結(jié)果來更新訓(xùn)練集，進而更新目標檢測器。KCF方法使用循環(huán)矩陣進行樣本采集，利用嶺回歸訓(xùn)練檢測器，采用快速傅里葉變換對算法進行加速計算。在第t幀中，訓(xùn)練采用的損失函數(shù)為

(1)

式中：x是樣本數(shù)據(jù)；y是回歸目標；w是分類器權(quán)重系數(shù)；λ是正則化參數(shù)；f是分類函數(shù)；‖·‖為范數(shù)運算。在樣本線性可分情況下，根據(jù)嶺回歸求解得

w=(XTX+λI)-1XTy,

(2)

式中：X是由樣本數(shù)據(jù)循環(huán)移位構(gòu)成的循環(huán)矩陣；y是由所有樣本標簽yi串聯(lián)組成的高斯標簽函數(shù)；I為單位矩陣。

式(2)在傅里葉域中寫成

(3)

在實際情況下，樣本大多是線性不可分的，為此引入核函數(shù)，將低維線性不可分樣本映射到高維空間，使樣本線性可分。其中核函數(shù)可表示為k(x,x′)=φT(x)φ(x′)，k(x,x′)為核函數(shù)，φT(x)和φ(x′)表示將低維特征空間中線性不可分的樣本映射到高維特征空間的映射函數(shù)。利用核函數(shù)將低維線性不可分樣本映射到高維空間后的樣本權(quán)重組合為

(4)

式中αi是樣本xi在非線性空間中對應(yīng)的分量，即轉(zhuǎn)化為求α的最小值。利用核函數(shù)理論[24]和嶺回歸得到式(4)的解為

(5)

式中K為循環(huán)矩陣。由于式(5)中存在復(fù)雜的求逆過程，故將其轉(zhuǎn)到傅里葉域中求解。α在對偶空間的解為

(6)

(7)

式中：F-1表示傅里葉逆變換；σ是高斯核函數(shù)的帶寬。

在第t+1幀中，使用輸入圖像z作為計算傅里葉域中響應(yīng)的基樣本，根據(jù)式(4)將分類器響應(yīng)輸出表示為

(8)

式中：xi是模型的訓(xùn)練樣本；z是檢測區(qū)域。利用循環(huán)矩陣加快計算，得到第t+1幀的最終響應(yīng)為

(9)

2 本文方法

針對跟蹤過程中出現(xiàn)目標遮擋、形變等問題，本文在核相關(guān)濾波跟蹤算法框架下，利用目標圖像的大小和長寬比對目標進行自適應(yīng)分塊；對于每個子塊，采用HOG和CN的多通道聚合特征對目標進行跟蹤，得到各子塊的最大響應(yīng)位置；通過對各個子塊的最大響應(yīng)位置進行加權(quán)平均來獲得最終的目標位置。對每個有效子塊進行自適應(yīng)模型更新，無效子塊進行重新劃分。本文提出的基于核相關(guān)濾波的塊跟蹤器(block tracker based on KCF，BKCF)的整體結(jié)構(gòu)如圖1所示。

圖1 BKCF算法結(jié)構(gòu)Fig.1 BKCF structure

2.1 目標自適應(yīng)分塊

為了使目標被分割后所產(chǎn)生的每個子塊的大小適中且變化不大，必須規(guī)定一個基準的目標尺寸。通過實驗發(fā)現(xiàn)取基準值T1=900像素比較合適，并記實際目標圖像的像素數(shù)與基準像素數(shù)T1之間的比值向上取整為δ。同時，為了使每個子塊的外在高寬比盡可能與目標圖像保持一致，本文將跟蹤框的高寬比T2也作為自適應(yīng)分塊的重要依據(jù)。最終采取自適應(yīng)分塊方式為：當(dāng)T2<1時，將目標水平方向均等分為3×δ塊，垂直方向均等分為2×δ塊，如圖2(a)所示；當(dāng)T2>1時，將目標水平方向分均等分為2×δ塊，垂直方向均等分為3×δ塊，如圖2(b)所示；當(dāng)T2=1時，在垂直和水平方向各等分為2×δ塊，如圖2(c)所示。

(a) T2<1,δ=1

(c) T2=1,δ=1

2.2 子塊特征提取與融合

目標特征是視覺跟蹤的基礎(chǔ)，目標跟蹤利用目標特征來區(qū)分不同目標和目標定位，所以特征的選擇至關(guān)重要，直接影響著算法的魯棒性。目前相關(guān)濾波跟蹤算法普遍采用灰度特征(Gray)、方向梯度直方圖(HOG)[25]、顏色特征(CN)這3種特征。Gray特征建模計算比較簡單，雖然提高了算法的時間魯棒性，但由于其對目標的描述能力有限，從而導(dǎo)致跟蹤精度不高。HOG特征主要是對目標的區(qū)域信息進行描述，通過計算和統(tǒng)計圖像局部區(qū)域信息，有效保留目標的位置信息，具有光照不變性。KCF算法通過單獨采用Gray或HOG特征進行對比實驗，發(fā)現(xiàn)使用HOG作為目標特征的跟蹤效果會更好。CN特征作為全局特征的一種，對目標有直觀、快速的整體描述，是現(xiàn)有圖像處理中常用特征。顏色模型通常使用個3個參數(shù)的三維坐標來描述特征，常用的顏色模型有RGB顏色空間、YUV顏色空間、YIQ顏色空間、HSV顏色空間等，其中最基礎(chǔ)的是RGB空間。在實際運用中，顏色特征對光照敏感，當(dāng)目標顏色與背景顏色相同或相近時會直接導(dǎo)致目標描述失敗?；贖OG特征和CN特征兩者的互補性，本節(jié)使用文獻[25]的方法將RGB空間轉(zhuǎn)換為CN空間[26]，并利用核函數(shù)多通道聚合方法對HOG特征和CN特征進行加權(quán)融合，得到融合特征。核函數(shù)選用高斯核函數(shù)

(10)

式中：xc是第c個通道HOG特征和CN特征的融合特征；σ為高斯核函數(shù)的帶寬。

2.3 子塊跟蹤與目標定位

(11)

(12)

2.4 子塊更新

在復(fù)雜場景下，跟蹤目標容易被遮擋，如果不能及時更新目標模型就會造成跟蹤漂移，從而導(dǎo)致目標丟失。為此，本節(jié)針對跟蹤錯誤或被遮擋的子塊提出了一種更新方式。在跟蹤過程中，使用子塊檢測區(qū)域響應(yīng)圖的峰值旁瓣比(peak to side lobe ratio，PSR)來判斷子塊是否被遮擋，當(dāng)PSR小于一定的閾值時就認為跟蹤目標產(chǎn)生遮擋。子塊的PSR計算公式為

(13)

(14)

式中η是模板的學(xué)習(xí)速率，實驗中取η=0.125。為確保子塊的有效性和防過擬合的產(chǎn)生，T3的取值是關(guān)鍵，經(jīng)過多次實驗測試，T3的值取目標跟蹤框?qū)蔷€長度的一半時效果最優(yōu)。

3 實驗與分析

為了驗證BKCF算法的魯棒性，根據(jù)文獻[27]提供的標準數(shù)據(jù)集中部分圖像序列來測試BKCF算法[27]，數(shù)據(jù)集中圖像序列的屬性包括：光照變化(illumination variation，IV)、尺度(scale variation，SV)、遮擋(occlusion，OCC)、形變(deformation，DEF)、運動模糊(motion blur，MB)、快速運動(fast motion，F(xiàn)M)、平面內(nèi)旋轉(zhuǎn)(in-plane rotation，IPR)、平面外旋轉(zhuǎn)(out-of-plane rotation，OPR)、超出視野(out-of-view，OV)、背景雜波(background clutters，BC)、低分辨率(low resolution，LR)。部分圖像序列屬性如表1所示。本章采用CSK、KCF、DSST和RPT這4種算法與BKCF算法進行定性和定量比較。實驗平臺環(huán)境為Windows 7操作系統(tǒng)，Intel Core(TM) i7-6700 3.40 GHz處理器，使用MATLAB R2014a編程實現(xiàn)。

表1 部分測圖像序列屬性列表Tab.1 List of partial image sequence attributes

3.1 實驗定性分析

為了驗證BKCF算法在處理目標產(chǎn)生遮擋、尺度變化、快速移動、目標交匯等問題時的魯棒性，選取Jogging1、Walking2等圖像序列進行對比實驗。圖3給出了部分圖像序列中對應(yīng)幀號的跟蹤結(jié)果。

3.1.1 遮擋實驗

通過跟蹤Jogging1、Human3等圖像序列來測試當(dāng)目標產(chǎn)生遮擋時算法的魯棒性。在圖3(a)和圖3(c)中，目標行人的運動速度較為平緩，主要是目標行人在經(jīng)過紅綠燈桿時產(chǎn)生嚴重遮擋，如圖3(a)所示，在第73幀之前，目標沒有產(chǎn)生遮擋，BKCF與KCF等都能穩(wěn)定地跟蹤目標，第73幀后，目標被完全遮擋。當(dāng)目標重現(xiàn)視野范圍時，KCF、DSST等算法出現(xiàn)漂移或者直接丟失目標，但是BKCF仍然可以準確地標注出目標位置。在圖3(c)中，目標行人在與其中一個行人靠近，產(chǎn)生遮擋后再通過紅綠燈桿，產(chǎn)生二次遮擋后，KCF等算法的目標模型都產(chǎn)生漂移，BKCF通過對判斷為遮擋的無效子塊進行重采樣來減小遮擋問題給算法帶來的影響，因此當(dāng)目標產(chǎn)生遮擋時，BKCF仍可以魯棒地跟蹤目標。

3.1.2 目標快速移動實驗

利用Box和Matrix展示背景雜波、目標快速移動、光照變化時的跟蹤結(jié)果。在圖3(b)中，目標的分辨率偏低，且與背景的某些區(qū)域相似，在第454幀之前，除了CSK之外的算法，目標都能較穩(wěn)定地被跟蹤，在第479幀時，目標向下移動產(chǎn)生局部遮擋，且目標本身顏色與其附近背景及其相近，4種算法都能捕抓到目標。在第500幀時，目標位置向右移后，可以明顯看到 CSK、KCF、DSST都跟蹤失敗，RPT和BKCF能較好地跟蹤到目標。

在圖3(d)中，由于Matrix圖像序列屬性較多，CSK和KCF最先出現(xiàn)跟蹤漂移。在第13幀時，DSST、RPT和BKCF算法都能較好地跟蹤到目標，在第36幀到第37幀之間，目標快速從上方移動到了下方，且目標部分被手臂遮擋住。針對這種情況的產(chǎn)生，DSST和RPT由于缺少對應(yīng)的模型更新策略，無法適應(yīng)目標快速移動，從而導(dǎo)致算法失效，BKCF算法針對子塊模型更新提出了一種新的更新策略，能對目標進行有效地捕獲。

3.1.3 尺度變化實驗

利用Walking2和CarScale圖像序列測試目標尺度產(chǎn)生變化時BKCF、CSK、KCF、DSST、RPT的跟蹤性能。在圖3(e)中，目標沿走廊一直向前走，目標尺度逐漸變小，在第197幀時產(chǎn)生遮擋，各算法均能實現(xiàn)對目標準確跟蹤。在第387幀時，CSK、KCF和RPT算法雖然能捕捉到目標，但是它們的跟蹤窗尺寸無明顯變化，并且目標在縮小的同時算法的檢測區(qū)域并沒有改變，導(dǎo)致整個檢測區(qū)域中背景像素增加，從而影響算法的魯棒性。DSST算法和BKCF算法在此圖像序列測試中能穩(wěn)定地跟蹤目標。在圖3(f)中，與圖3(e)情況相反，隨著幀數(shù)的推移，目標跟蹤車輛從遠到近，尺度逐步增大，在第157幀時目標尺寸是第60幀的2倍，第197幀時目標尺寸是第60幀的3.5倍，BKCF仍然可以有效地跟蹤目標。

圖3 各算法的目標跟蹤結(jié)果Fig.3 Tracking result of each algorithm

3.1.4 相似目標靠近與目標交匯實驗

利用Football圖像序列測試相似目標靠近與目標交匯時BKCF、CSK、KCF、DSST、RPT的跟蹤性能。如圖3(g)所示,在第117幀時目標球員靠近背景球員，發(fā)生交匯現(xiàn)象，除CSK算法發(fā)生了漂移以外，其余算法基本能成功跟蹤目標。在第124幀和第131幀跟蹤結(jié)果中，可以明顯發(fā)現(xiàn)CSK、KCF、DSST算法的跟蹤結(jié)果產(chǎn)生了漂移，原因是CSK、KCF、DSST算法都是使用單一特征，當(dāng)目標與相似背景發(fā)生重疊時，算法無法正確判斷出該區(qū)域是目標還是背景，導(dǎo)致檢測結(jié)果會被目標附近的背景目標吸引，從而使目標跟蹤發(fā)生偏移。本文的BKCF算法通過循環(huán)采樣，利用多通道技術(shù)融合HOG特征和CN特征，并使用融合后的特征來對目標和背景進行正負樣本分類，所以出現(xiàn)目標交匯的現(xiàn)象時，仍能穩(wěn)定地跟蹤目標。

3.2 實驗定量分析

定量分析采用中心誤差、重疊率和幀率(frame per second,FPS)作為評價指標。設(shè)人工標注的目標真實位置中心坐標為(xtrue,ytrue)，跟蹤算法在跟蹤過程中輸出結(jié)果的中心位置為(xG,yG)，γtrue和γG分別為人工標注的邊界框和跟蹤結(jié)果的邊界框。則：

式中：m為圖像序列總幀數(shù)；|·|為目標區(qū)域內(nèi)像素點個數(shù)；∩和∪分別為2個邊界框所構(gòu)成區(qū)域的交集和并集。中心誤差越小，跟蹤精度越高，重疊率越高，跟蹤結(jié)果越可靠。

表2 各算法在11個圖像序列的跟蹤精度Tab.2 Tracking accuracy of each algorithm in 11 image sequences

表3 各算法在11個圖像序列的跟蹤成功率Tab.3 Tracking success rate of each algorithm in 11 image sequences

表4 各算法在11個圖像序列的跟蹤速度Tab.4 Tracking speed of each algorithm in 11 image sequences

在算法實時性方面，加入了平均幀率評判標準。BKCF在KCF基礎(chǔ)上添加了分塊和特征融合機制，增加了算法的復(fù)雜度。從表4中可以看，隨著幀數(shù)的增加，BKCF的平均幀率雖然降低了，但是相比于DSST和RPT，仍能夠保持在每秒57幀，基本滿足實時要求。表5為各跟蹤方法在11個圖像序列的各個屬性上的平均跟蹤精度。從表5可以看出，BKCF算法在處理遮擋、形變、旋轉(zhuǎn)等影響因素上的平均跟蹤精度較高，但因為CN特征對光照較敏感，BKCF算法在處理光照變化問題時跟蹤效果稍弱。

表5 各算法在11個圖像序列屬性的平均精度Tab.5 Average accuracy of each tracking algorithm in 11 image sequence attributes

圖4和圖5為BKCF算法與其他4種算法在11組實驗的定性分析，其中圖4是11組實驗各跟蹤算法的準確率，圖5是11組實驗各跟蹤算法的成功率。綜合圖4和圖5可得：BKCF跟蹤算法的跟蹤準確率和成功率高于CSK、KCF、DSST和RPT。相比于采用單一特征中效果最好的KCF，BKCF使用的是HOG和CN特征融合來表示目標，準確率和成功率分別提高了15.9和7.5個百分點，這表明特征的選擇對于算法魯棒性的重要性。RPT利用蒙特卡羅投票機制對子塊目標進行可靠性判斷，但蒙特卡羅濾波實時性較差，從而間接導(dǎo)致RPT不能滿足速度上的要求。BKCF算法采用較簡單的分塊方式，利用KCF對子塊進行跟蹤，對無效子塊進行重采樣。相比于RPT，BKCF算法的準確率和成功率分別提高了10.2和6.5個百分點。

圖4 5種跟蹤算法的準確率Fig.4 Accuracy of 5 tracking algorithms

圖5 5種跟蹤算法的成功率Fig.5 Success rate of 5 tracking algorithm

4 結(jié)語

針對目標跟蹤過程中產(chǎn)生遮擋、尺度變換等問題，本文在KCF算法的基礎(chǔ)上提出了一種融合多特征與區(qū)域聯(lián)合目標跟蹤算法。實驗結(jié)果表明BKCF算法在滿足實時跟蹤速度的要求下，在一定程度上提高了對尺度變化、遮擋等問題的處理能力。今后研究工作：將BKCF算法模型與深度學(xué)習(xí)網(wǎng)絡(luò)模型結(jié)合，尋找適合的深度學(xué)習(xí)網(wǎng)絡(luò)模型，對目標提取深度特征；探索更有效的目標劃分和特征融合策略，建立更高效的模型，從而提高跟蹤算法的精度。