王科平， 武帥帥， 王紅旗

(河南理工大學(xué) 電氣工程與自動化學(xué)院，河南 焦作 454000)

0 引 言

目標(biāo)跟蹤在人機交互、機器人等領(lǐng)域得到廣泛應(yīng)用。近年來,學(xué)者們將相關(guān)濾波[1～8]方法引入目標(biāo)跟蹤框架之中，并取得很好的跟蹤效果。Bolme D S等人[1]提出了最小輸出平方誤差和(minimum output sum of squared error,MOSSE)跟蹤方法，首次采用目標(biāo)的循環(huán)移位作為訓(xùn)練樣本，并利用循環(huán)矩陣的性質(zhì)在頻域中進(jìn)行分類器的求解，使得目標(biāo)跟蹤的速度達(dá)到超速。Henriques J F等人[2]將核函數(shù)引入相關(guān)濾波目標(biāo)跟蹤，采用目標(biāo)的灰度值作為目標(biāo)特征，使用目標(biāo)的循環(huán)移位作為訓(xùn)練樣本，并將其映射到核函數(shù)空間進(jìn)行分類。但灰度特征受光照變化等影響較大，為此Henriques J F等人[7]提出了KCF(kernelized correlation filters)跟蹤方法，采用梯度方向直方圖(histogram of oriented gradient,HOG)特征作為目標(biāo)特征，提高了跟蹤的穩(wěn)定性。Danelljan M等人[4]采用CN(color name)特征作為目標(biāo)特征，由于CN特征將11維顏色特征縮到2維，有效降低了外界環(huán)境變化對目標(biāo)的干擾。Galoogahi H K等人[6]有限邊界相關(guān)濾波跟蹤方法，通過減少循環(huán)移位造成的合成樣本和對樣本進(jìn)行仿射變換的方法來訓(xùn)練分類器，提高了跟蹤的穩(wěn)定性。但當(dāng)目標(biāo)被遮擋或者跟蹤框發(fā)生漂移時，上述跟蹤方法仍持續(xù)更新目標(biāo)模型和濾波器模型，導(dǎo)致背景信息更新到目標(biāo)模型和濾波器模型中。為了解決這個問題，Asha C S等人[9]提出自適應(yīng)學(xué)習(xí)率相關(guān)濾波視覺跟蹤，根據(jù)目標(biāo)運動的速度來確定目標(biāo)模型和濾波器模型的更新率，使跟蹤的穩(wěn)定性得到一定提高。Wang M等人[10]采用多峰檢測的方法來決定是否更新目標(biāo)模型和濾波器模型，雖然能夠判斷目標(biāo)遮擋和漂移，但當(dāng)目標(biāo)因姿態(tài)變化或者旋轉(zhuǎn)時濾波器響應(yīng)同樣會出現(xiàn)多峰情況，導(dǎo)致模型不能及時更新。

針對目標(biāo)因姿態(tài)變化、旋轉(zhuǎn)等情況被誤判為目標(biāo)被遮擋、漂移的情況，使濾波器模型和目標(biāo)模型能夠?qū)崟r有效更新，本文提出一種基于協(xié)方差特征的目標(biāo)跟蹤質(zhì)量評估方法。首先，利用相關(guān)濾波方法找到目標(biāo)的估計位置；其次，通過獲取目標(biāo)估計位置的協(xié)方差特征；最后通過比較估計位置的協(xié)方差特征與模型的協(xié)方差特征的相似性決定是否更新目標(biāo)模型和濾波器模型。

1 CSK跟蹤

CSK跟蹤算法具有很高的跟蹤速度，其使用目標(biāo)圖像塊的周期循環(huán)移位作為訓(xùn)練樣本，通過核化分類響應(yīng)與期望響應(yīng)的最小平方誤差和訓(xùn)練一個分類器，并通過線性差分方式更新分類器和目標(biāo)模型。

1.1 分類器訓(xùn)練

在第t幀視頻中，以獲取目標(biāo)為中心獲取包含目標(biāo)的圖像塊x，大小為M×N，M,N分別為圖像塊的高和寬。以x為基樣本，所有循環(huán)移位得到圖像塊xm,n(m,n)∈{0,…,M-1}×{0,…,N-1}作為訓(xùn)練樣本。分類期望響應(yīng)為一個高斯函數(shù)Y，ym,n為對應(yīng)于訓(xùn)練樣本xm,n的訓(xùn)練標(biāo)簽。通過找到一個w使得分類響應(yīng)f(x)=wTx與期望響應(yīng)Y的平方誤差和最小，即

‖Xw-Y‖2+λ‖w‖2

(1)

(2)

1.2 目標(biāo)檢測

在新的一幀視頻中，以上一幀目標(biāo)位置為中心截取大小為M×N的圖像塊z，以z的循環(huán)移位作為候選樣本，線性分類器在頻域可表示為

(3)

(4)

式中p為視頻幀的索引，γ為學(xué)習(xí)率。

2 基于協(xié)方差特征模型更新

提出的采用區(qū)域協(xié)方差特征旨在解決兩個問題：目標(biāo)發(fā)生旋轉(zhuǎn)、姿態(tài)變化時模型更新和目標(biāo)被遮擋、跟蹤框發(fā)生漂移時模型更新。

2.1 區(qū)域協(xié)方差特征

區(qū)域協(xié)方差特征[11]能夠描述不同特征之間的相關(guān)性。I為一維灰度圖像或三維彩色圖像，F(xiàn)為從I中提取的W×H×d維特征圖像，滿足F(x,y)=φ(I,x,y)。對一個給定區(qū)域R?F用{fk}k=1，…，n表示區(qū)域R內(nèi)的d維特征點，用d×d的協(xié)方差矩陣表示區(qū)域R為

(5)

式中μ為區(qū)域內(nèi)特征點的均值向量。

兩個協(xié)方差矩陣C1，C2的相似性[11]表示為

(6)

式中 {λi(C1,C2)}i=1,…,d為C1,C2的廣義特征值。ρ的值越小，C1,C2越相似。

2.2 模型更新策略

在目標(biāo)跟蹤過程中，由于目標(biāo)以及背景均為動態(tài)變化，因此，目標(biāo)模型和濾波器模型需要進(jìn)行實時更新。CSK跟蹤算法采用式(4)更新目標(biāo)模型和分類器模型，沒有對目標(biāo)遮擋和跟蹤框漂移情況進(jìn)行判斷，容易將背景信息引入濾波器模型和目標(biāo)模型。文獻(xiàn)[10]采用多峰檢測方式進(jìn)行目標(biāo)遮擋判斷，但目標(biāo)姿態(tài)變化和旋轉(zhuǎn)同樣會使濾波響應(yīng)出現(xiàn)多峰情況。

本文提出新的模型更新方法：首先在視頻初始幀的目標(biāo)位置，以目標(biāo)區(qū)域Rt的協(xié)方差特征作為協(xié)方差特征模型Cmod，在新的一幀視頻中采用相關(guān)濾波跟蹤方法獲取新的目標(biāo)位置，在新的目標(biāo)位置計算目標(biāo)區(qū)域Rn的協(xié)方差Cnew；然后通過式(6)計算Cmod與Cnew的相似；最后根據(jù)協(xié)方差的相似性更新模型。模型更新方法如下

(7)

式中T1,T2為協(xié)方差相似性閾值，ρupd為協(xié)方差矩陣Cmod與Cnew的相似性，γ1,γ2,γ3為對應(yīng)閾值下的學(xué)習(xí)率。為了能夠更好地適應(yīng)目標(biāo)變化，本文對協(xié)方差模型進(jìn)行更新，當(dāng)ρupd

2.3 算法步驟

1)以t-1幀視頻中目標(biāo)的位置為中心，在第t幀中截取1+p倍目標(biāo)大小的圖像塊并提取圖像塊CN特征；

2)利用式(3)計算濾波響應(yīng)f(z)，f(z)的最大值位置即為第t幀視頻中目標(biāo)位置；

3)在第t幀目標(biāo)位置計算目標(biāo)的協(xié)方差特征，根據(jù)式(6)計算相似性，并通過式(7)計算模型學(xué)習(xí)率；

4)在第t幀中以步驟(2)中獲取的目標(biāo)位置為中心截取1+p倍目標(biāo)大小的圖像塊并根據(jù)式(4)更新目標(biāo)模型；

5)提取步驟(4)中截取圖像塊的CN特征，根據(jù)式(2)計算分類器，并根據(jù)式(4)更新分類器模型；

6)記錄第t幀目標(biāo)位置，并重復(fù)步驟(1)～步驟(6)。

3 實驗分析

3.1 實驗環(huán)境與參數(shù)設(shè)置

實驗的軟件平臺為MATLAB 2014a，硬件平臺為筆記本電腦，性能參數(shù)：Intel(R) Core(TM) i7-4710MQ CPU @ 2.50 GHz，運行內(nèi)存為8 GB(RAM)。實驗參數(shù)設(shè)置如表1。

表1 實驗參數(shù)

3.2 性能評估方法

為了驗證本文所提算法的有效性，使用OTB—2013[12]中給出的數(shù)據(jù)集，對視頻的11種屬性進(jìn)行評估。實驗中將所提算法與CN，KCF，CSK，CT[13]，Struck[14]，TLD[15]6種主流算法進(jìn)行比較,并采用精度和成功率作為評價標(biāo)準(zhǔn)。11種屬性分別為尺度變化(SV)、光照變化(IV)、遮擋(OCC)、運動模糊(MB)、形變(DEF)、快速運動(FM)、平面外旋轉(zhuǎn)(OPR)、平面內(nèi)旋轉(zhuǎn)(IPR)、復(fù)雜背景(BC)、出視野(OV)、低分辨率(LR)。結(jié)果如表2、表3所示。

表2 7種算法在11種屬性上的平均精度

表3 7種算法在11種屬性上的平均成功率

3.3 實驗結(jié)果分析

3.3.1 整體分析

如表2所示為在11種屬性上7種跟蹤算法的精度，精度是指跟蹤位置與目標(biāo)真實位置的歐氏距離小于某個閾值的視頻幀數(shù)占視頻總幀數(shù)的比值，本文取閾值為20個像素。從表中可以看出本文所提算法在目標(biāo)DEF和目標(biāo)OCC方面均優(yōu)于其他算法。表3給出了7中算法在11種屬性上的成功率，成功率是指目標(biāo)框與人工標(biāo)定目標(biāo)框的重疊率大于某個閾值的視頻幀數(shù)占總視頻幀數(shù)的比率，閾值設(shè)為0.5。從表中可以得出與上述同樣的結(jié)論。由整體精度圖和成功率圖，可以看出本文所提算法較KCF的精度和成功率分別提高了1.5 %和1.5 %，較CN算法的精度和成功率分別提高了3.6 %和5 %。

3.3.2 遮擋與形變分析

如圖 1所示，圖中Jogging序列在第70幀發(fā)生 ，在第85幀離開遮擋物，在第97幀時只有本文算法和TLD算法在跟蹤目標(biāo)。圖中Girl序列在第87，302，469幀分別發(fā)生轉(zhuǎn)身、搖頭和遮擋情況，所提算法能夠很好辨別遮擋，同時在轉(zhuǎn)身、遮擋情況下不更新模型，跟蹤效果良好。

圖1 目標(biāo)遮擋和姿態(tài)變化跟蹤結(jié)果

4 結(jié) 論

本文算法針對目標(biāo)遮擋、形態(tài)變化，利用協(xié)方差特征的相似性來評估目標(biāo)跟蹤質(zhì)量從而自適應(yīng)更新模型，實驗表明:本文算法有效改善了目標(biāo)遮擋、形變時跟蹤問題，同時在整體跟蹤效果上也優(yōu)于其他6種算法，表明本文算法在解決目標(biāo)遮擋、形變方面具有良好的魯棒性。