范文兵, 張璐璐

(鄭州大學(xué) 電氣與信息工程學(xué)院,河南 鄭州 450001)

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要研究方向。運(yùn)動(dòng)目標(biāo)跟蹤算法按照工作原理可分為生成式方法和判別式方法,而相關(guān)濾波算法是一種判別式跟蹤方法[1],它通過循環(huán)移位來產(chǎn)生訓(xùn)練樣本,并在傅里葉域中進(jìn)行計(jì)算,大大提高了算法效率,因此,得到了廣泛研究。Bolme 等[2]提出最小輸出平方和誤差 (minimum output sum of squared error,MOSSE)算法,并首次引入相關(guān)濾波進(jìn)行圖像跟蹤。Henriques等[3]提出循環(huán)結(jié)構(gòu)內(nèi)核 (circulant structure of tracking-by-detection with kernel,CSK)跟蹤器,隨后又改進(jìn)了CSK跟蹤器,提出了多通道特征的核相關(guān)濾波器(kernelized correlation filter,KCF)[4]?；谀繕?biāo)尺度變化問題,Danelljan等[5]提出快速區(qū)分尺度空間跟蹤(fast discriminative scale space tracker,fDSST)算法,引入一種基于尺度金字塔的相關(guān)濾波器來檢測尺度變化,實(shí)現(xiàn)相關(guān)濾波與尺度濾波相結(jié)合。

針對跟蹤過程中的目標(biāo)遮擋問題,目前大部分的改進(jìn)側(cè)重點(diǎn)在搜集更多目標(biāo)特征,從而在跟蹤中得到較大的目標(biāo)響應(yīng)。Li等[6]通過融合CN特征和HOG特征,提出尺度自適應(yīng)多特征濾波算法(scale adaptive with multiple feature tracker,SAMF)。Bertinetto等[7]提出互補(bǔ)學(xué)習(xí)的跟蹤方法Staple,通過2種互補(bǔ)特征因子顏色直方圖和HOG特征進(jìn)行融合。除此之外,還有一些其他針對目標(biāo)遮擋問題的跟蹤算法。Kalal等[8]提出跟蹤學(xué)習(xí)檢測算法(tracking learning detection,TLD),引入學(xué)習(xí)和檢測概念,通過先驗(yàn)知識實(shí)現(xiàn)對目標(biāo)的長期跟蹤。陳麗萍等[9]通過在核相關(guān)濾波中加入高置信度判斷以及重檢機(jī)制來實(shí)現(xiàn)長時(shí)目標(biāo)跟蹤。潘振福等[10]將峰值旁瓣比作為跟蹤目標(biāo)檢測的標(biāo)準(zhǔn),在跟蹤失敗時(shí)通過目標(biāo)檢測器在圖像中重新檢測目標(biāo)。上述方法雖然可以在一定程度上處理遮擋問題,但是仍然存在一些不足。第一,許多算法無法判斷出目標(biāo)遮擋的具體程度,并且采用固定的學(xué)習(xí)率不能自適應(yīng)地更新模型。第二,在目標(biāo)遮擋情況下,這些算法單純依靠外觀模型,忽略了目標(biāo)的運(yùn)動(dòng)信息。

本文在KCF目標(biāo)跟蹤算法的框架基礎(chǔ)上,提出一種抗遮擋的目標(biāo)跟蹤算法。首先,傳統(tǒng)KCF算法缺少對跟蹤結(jié)果的遮擋檢測,為了評估跟蹤結(jié)果的可靠性,算法引入響應(yīng)的峰值旁瓣比來判斷遮擋類型。其次,針對KCF算法采用固定學(xué)習(xí)率進(jìn)行模型更新而導(dǎo)致跟蹤漂移的問題,算法實(shí)現(xiàn)根據(jù)遮擋類型來自適應(yīng)改變學(xué)習(xí)率參數(shù)。當(dāng)目標(biāo)被部分遮擋時(shí),自適應(yīng)降低目標(biāo)模型更新的學(xué)習(xí)率,減少背景或者遮擋物對目標(biāo)模型的影響;當(dāng)嚴(yán)重遮擋發(fā)生時(shí),停止目標(biāo)模型的更新。最后,為了解決KCF算法在遮擋場景中丟失跟蹤目標(biāo)的問題,算法加入卡爾曼濾波(Kalman filter,KF)構(gòu)建運(yùn)動(dòng)模型來預(yù)測嚴(yán)重遮擋下的目標(biāo)位置。

1 核相關(guān)濾波算法原理

核相關(guān)濾波算法首先提取目標(biāo)的樣本特征;其次利用循環(huán)矩陣生成大量訓(xùn)練樣本;再次通過高斯濾波器計(jì)算目標(biāo)區(qū)域和待測區(qū)域的相關(guān)響應(yīng)值,最大響應(yīng)值位置即是目標(biāo)中心;最后選擇新目標(biāo)區(qū)域的特征來更新目標(biāo)模型。

KCF 算法以嶺回歸方式訓(xùn)練濾波器,假設(shè)訓(xùn)練樣本為xi,其目的是尋找一個(gè)目標(biāo)分類器f(xi)=wTxi,使得濾波器期望輸出yi和訓(xùn)練樣本xi之間的均方誤差函數(shù)最小,即

(1)

式中:λ為正則化參數(shù);w為分類器權(quán)重系數(shù),w的最優(yōu)解[4]為

w=(XTX+λI)-1XTy。

(2)

式中:X為數(shù)據(jù)矩陣;I為單位矩陣;y為期望目標(biāo)回歸矩陣。

利用循環(huán)矩陣和傅里葉變換性質(zhì),式(1)在頻域中的解為

(3)

找到w的最佳值等同于找到α的最佳值,其中α計(jì)算公式為

α=(K+λI)-1y。

(4)

式中:K為由Ki,j=k(xi,xj)組成的核矩陣。基于循環(huán)結(jié)構(gòu)和快速傅里葉變換(FFT),矩陣α變換為

(5)

式中:kxx為核矩陣K第1行元素組成的向量。

輸出響應(yīng)計(jì)算公式為

(6)

式中:F-1為離散傅里葉逆變換;f(z)為輸出響應(yīng)值,其最大值就是待跟蹤目標(biāo)所在位置。

KCF目標(biāo)跟蹤算法采用線性插值并且以固定的學(xué)習(xí)率對模型進(jìn)行更新,更新方式如下:

(7)

式中:γ為學(xué)習(xí)率;αt、xt和αt-1、xt-1分別表示第t幀和第t-1幀的參數(shù)和目標(biāo)模板。

在KCF目標(biāo)跟蹤算法的更新公式(7)中,學(xué)習(xí)率γ是一個(gè)固定值,但是當(dāng)目標(biāo)遇到遮擋時(shí),若仍然按照固定的學(xué)習(xí)率γ對模型進(jìn)行更新,就會(huì)學(xué)習(xí)到遮擋物特征,導(dǎo)致在后續(xù)跟蹤過程中將此遮擋物作為跟蹤目標(biāo),造成跟蹤失敗。為了解決這個(gè)問題,本文在KCF跟蹤的框架基礎(chǔ)上引入了遮擋判斷機(jī)制、模型自適應(yīng)更新策略以及遮擋情況下的卡爾曼濾波預(yù)測估計(jì)。

2 改進(jìn)的核相關(guān)濾波算法

原有的核相關(guān)濾波算法不能適應(yīng)目標(biāo)尺度變化,當(dāng)目標(biāo)尺度發(fā)生變化時(shí),濾波器在更新時(shí)會(huì)引入更多的背景信息。為了能夠?qū)崿F(xiàn)自適應(yīng)尺度變化,原算法引入Danelljan等[5]提出的尺度估計(jì)方法。本文的遮擋處理框架由遮擋檢測方法、KCF基本跟蹤器和卡爾曼濾波預(yù)測模塊組成。由遮擋檢測方法確定遮擋類型。在非遮擋和部分遮擋的情況下,KCF基本跟蹤器使用目標(biāo)可見部分的外觀信息來估計(jì)目標(biāo)位置;在嚴(yán)重遮擋情況下,運(yùn)行卡爾曼濾波預(yù)測模塊,使用目標(biāo)的運(yùn)動(dòng)模型來預(yù)測目標(biāo)位置。算法流程如圖1所示。

圖1 基于改進(jìn)的核相關(guān)濾波目標(biāo)跟蹤算法流程

2.1 遮擋檢測方法

當(dāng)遮擋情況發(fā)生時(shí),遮擋檢測方法在基本跟蹤器和預(yù)測系統(tǒng)中起著重要作用?；靖櫰鹘柚矬w的外觀模型來實(shí)現(xiàn)跟蹤,而預(yù)測系統(tǒng)借助物體的運(yùn)動(dòng)模型來估計(jì)目標(biāo)位置[11]。在MOSSE跟蹤器中[2],響應(yīng)的峰值旁瓣比PSR可以用來評估目標(biāo)跟蹤狀態(tài)以及受遮擋的程度。在本文中引入了PSR作為跟蹤質(zhì)量評估的標(biāo)準(zhǔn),第t幀PSR為

(8)

式中:max(ft(z))為第t幀響應(yīng)的峰值;μt和δt分別為第t幀響應(yīng)的平均值和標(biāo)準(zhǔn)偏差。

在正常條件下跟蹤目標(biāo)時(shí),每幀的PSR通常在20～60。當(dāng)嚴(yán)重遮擋發(fā)生時(shí),PSR下降到7以下,基于PSR范圍獲得固定閾值以估計(jì)遮擋狀態(tài)[12]。但是并不是所有序列的PSR都在20～60,當(dāng)目標(biāo)快速移動(dòng)或者具有低分辨率時(shí),其PSR保持在低值。因此采用固定閾值來估計(jì)目標(biāo)遮擋狀態(tài)是不合理的。

在本文中,與單獨(dú)在一幀中考慮PSR不同,假設(shè)在前幾幀不發(fā)生遮擋的情況下,將前N幀PSR的平均值μ作為遮擋檢測的標(biāo)準(zhǔn)(在本文中設(shè)置N=10),分別定義0.25μ和0.75μ為低閾值TL和高閾值TH,μ和當(dāng)前幀的PSR差值為d。當(dāng)dTH時(shí),目標(biāo)被嚴(yán)重遮擋,停止更新模型,通過預(yù)測器來估計(jì)目標(biāo)位置。

在前幾幀沒有被遮擋的情況下,所選模板和搜索窗口之間的相關(guān)性較高,所以前幾幀上的PSR具有最大值。當(dāng)目標(biāo)完全沒有被遮擋時(shí),需要更新μ,所以μ是所有幀中的最大值,即PSRt≤μ。這一條件將體現(xiàn)在2.2節(jié)的模型自適應(yīng)更新上。

2.2 自適應(yīng)模型更新

在KCF算法中,目標(biāo)模型的學(xué)習(xí)率是固定值。當(dāng)目標(biāo)被遮擋時(shí),模型中的遮擋信息會(huì)被更新,導(dǎo)致跟蹤失敗[12]。本文使用自適應(yīng)學(xué)習(xí)率代替固定學(xué)習(xí)率來更新外觀模型:

(9)

式中:學(xué)習(xí)率參數(shù)γt根據(jù)式(8)中計(jì)算的PSRt自適應(yīng)地改變;β為一個(gè)常數(shù),通常設(shè)置為0.025,可以提高目標(biāo)跟蹤性能[5]。

2.3 卡爾曼濾波預(yù)測跟蹤算法

KCF目標(biāo)跟蹤算法基于目標(biāo)在上一幀中所處位置的特征相似性來搜索目標(biāo)在當(dāng)前幀中的位置,沒有利用目標(biāo)的運(yùn)動(dòng)信息,并過分依賴特征最大響應(yīng)值來確定目標(biāo)位置[13]。而KF對運(yùn)動(dòng)目標(biāo)具有良好的運(yùn)動(dòng)約束,可以有效地減少跟蹤失敗[13]。因此,基于KCF跟蹤框架,可以將KF視為運(yùn)動(dòng)信息的補(bǔ)充,KF通過對目標(biāo)狀態(tài)的測量和預(yù)測來估計(jì)其當(dāng)前狀態(tài)。跟蹤目標(biāo)的運(yùn)動(dòng)狀態(tài)方程為

xk=Fkxk-1+wk;

(10)

yk=Hkxk+vk。

(11)

(12)

(13)

KF算法可分為2個(gè)步驟:預(yù)測步驟和更新步驟。

預(yù)測步驟為

(14)

(15)

更新步驟為

(16)

(17)

Pk|k=(I-KkHk)Pk|k-1。

(18)

2.4 算法步驟

步驟1 根據(jù)第1幀中的目標(biāo)信息,完成核相關(guān)濾波器及其相關(guān)參數(shù)的初始化。

步驟2 在待檢測圖像區(qū)域中提取目標(biāo)HOG特征,根據(jù)式(6)得到目標(biāo)位置PtKCF。

步驟3 使用Danelljan等[5]提出的方法估計(jì)目標(biāo)的尺度,根據(jù)式(8)計(jì)算響應(yīng)的PSRt值。

步驟4 根據(jù)前N幀的PSR值計(jì)算μ,分別計(jì)算出TH和TL;并通過前N幀的目標(biāo)位置來初始化卡爾曼濾波器。

步驟5 根據(jù)式(8)計(jì)算t←N+1幀的PSRt的值,并計(jì)算d。①若目標(biāo)未被遮擋,即dTH,停止更新KCF模型,利用卡爾曼濾波器預(yù)測目標(biāo),根據(jù)式(17)得到預(yù)測位置PtKF,并根據(jù)式(16)～(18)更新卡爾曼濾波器。

步驟6 設(shè)置t←t+1,重復(fù)步驟5,直至視頻序列結(jié)束。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 環(huán)境設(shè)置

為了評估本文算法,實(shí)驗(yàn)均在Intel(R)Core(TM)i5-1135G7,主頻2.4 GHz,內(nèi)存16 GB的計(jì)算機(jī)上進(jìn)行驗(yàn)證,采用MATLAB R2018b作為實(shí)驗(yàn)仿真平臺(tái)。在OTB-2013數(shù)據(jù)集[15]上采用一次通過評估對跟蹤器進(jìn)行評估,使用基于中心位置誤差的距離精度和基于重疊率的成功率作為跟蹤器的評估標(biāo)準(zhǔn)。距離精度DP表示中心位置誤差低于某個(gè)閾值的正確跟蹤幀數(shù)百分比。重疊成功率OS表示邊界框重疊率超過一定閾值的幀數(shù)百分比,使用曲線下面積AUC來衡量跟蹤器性能。幀率FPS表示視頻總幀數(shù)與所消耗時(shí)間的比值。在實(shí)驗(yàn)中,選擇20像素為精度閾值,0.5為重疊閾值。

本文算法的參數(shù)設(shè)置與KCF算法一致,使用4×4的單元大小提取HOG特征,直方圖方向?yàn)?,采樣窗口大小為最初區(qū)域的1.5倍,正則化參數(shù)λ=10-4,高斯核帶寬σ=0.5。尺度相關(guān)濾波器參數(shù)設(shè)置與DSST算法[5]一致,如2.2節(jié)設(shè)置β為0.025。

3.2 跟蹤性能分析

為了驗(yàn)證本文算法的有效性,選取OTB-2013數(shù)據(jù)集中的36組彩色視頻序列進(jìn)行測試,并將本文KCF-KF算法與SAMF[6]、STAPLE[7]、KCF[4]、TLD[8]4種經(jīng)典目標(biāo)跟蹤算法進(jìn)行比較。表1為5種算法的性能指標(biāo),KCF-KF算法的距離精度和重疊成功率分別為0.796和0.692,均為最佳值。KCF-KF算法的幀率為31.2幀/s,雖然算法速度有所下降,但仍然滿足實(shí)時(shí)性要求。圖2為 KCF-KF算法與其他4種傳統(tǒng)算法的精度和成功率曲線對比圖。

表1 5種跟蹤算法的性能指標(biāo)

圖2 不同跟蹤算法的精度曲線和成功率曲線

為了更直觀地展示KCF-KF算法在遮擋情況下的跟蹤性能,選取jogging1、lemming、soccer、tiger1、woman 5組具有遮擋屬性的視頻序列,將KCF-KF算法與SAMF、Staple、KCF、TLD 4種算法進(jìn)行實(shí)驗(yàn)對比,跟蹤結(jié)果如圖3所示。在jogging1視頻序列中,面臨的主要挑戰(zhàn)為遮擋。當(dāng)目標(biāo)在第72幀被嚴(yán)重遮擋后,KCF、SAMF、STAPLE 3種算法均存在跟蹤漂移,TLD算法通過在線檢測機(jī)制,可以在第98幀目標(biāo)變得完全可見后重新定位目標(biāo)。KCF-KF算法中由于加入卡爾曼濾波來預(yù)測目標(biāo)位置,可以在目標(biāo)被嚴(yán)重遮擋的幀中,通過估計(jì)目標(biāo)位置達(dá)到準(zhǔn)確跟蹤。在lemming視頻序列中,運(yùn)動(dòng)目標(biāo)在左右快速移動(dòng)時(shí)被遮擋,第337幀被嚴(yán)重遮擋。當(dāng)目標(biāo)離開遮擋區(qū)域后,KCF、SAMF、Staple、TLD 4種算法均丟失了目標(biāo),只有KCF-KF算法在第396幀準(zhǔn)確跟蹤目標(biāo)。在soccer視頻序列中,背景復(fù)雜且目標(biāo)顏色與背景顏色相似,在跟蹤過程中容易學(xué)習(xí)到太多的背景信息。從圖3(c)的結(jié)果中可以看到,相比于其他4種算法,只有KCF-KF算法能夠有效跟蹤目標(biāo)。在tiger1視頻序列中,目標(biāo)經(jīng)歷遮擋、光照變化和尺度變化等干擾。SAMF算法、STAPLE算法和KCF-KF算法都能夠跟蹤目標(biāo),但從圖3(d)的跟蹤結(jié)果看出,KCF-KF算法對目標(biāo)位置的估計(jì)更加準(zhǔn)確。在woman視頻序列中,目標(biāo)從第565幀被長時(shí)間遮擋,KCF-KF算法在模型更新模塊實(shí)現(xiàn)了學(xué)習(xí)率自適應(yīng),能夠優(yōu)化更新模型,從圖3(e)中可以看出,KCF-KF算法跟蹤效果最好。綜合幾種算法在具有遮擋屬性視頻序列上的跟蹤效果,KCF-KF算法能夠解決目標(biāo)被遮擋時(shí)跟蹤失敗的問題,性能最佳。

圖3 不同算法在遮擋視頻序列上的跟蹤結(jié)果

4 結(jié)論

本文在傳統(tǒng)KCF算法的基礎(chǔ)上,對其抗遮擋能力不足的問題進(jìn)行改進(jìn),實(shí)現(xiàn)了一種核相關(guān)濾波和卡爾曼濾波預(yù)測結(jié)合的抗遮擋圖像目標(biāo)跟蹤方法。算法通過遮擋判別模塊判斷目標(biāo)的遮擋狀態(tài),并對模型更新機(jī)制進(jìn)行了優(yōu)化,能夠自適應(yīng)更新模型的學(xué)習(xí)率。此外,還增加了一個(gè)卡爾曼濾波預(yù)測模塊,當(dāng)目標(biāo)被嚴(yán)重遮擋時(shí),使用位置預(yù)測模塊來定位目標(biāo)。相比于傳統(tǒng)跟蹤算法,所提算法在抗遮擋方面具有更好的性能。在未來的工作中,可將研究重點(diǎn)放在提取更豐富的目標(biāo)特征上,進(jìn)一步完善算法的性能。